KZKY memo

自分用メモ.

2014-12-27から1日間の記事一覧

Spark Streaming 2

基本的な話のまとめ. 一連のフロー Conf作ってStreamingContextに渡す インプットソースを決める Transformation(s)をして,DStreamに対する出力を決める start, awaitTermination, stopの順で呼ぶ DStream (Discretized Stream) 入ってきたデータをDStream…

Spark Streaming 1

基本的に https://spark.apache.org/docs/latest/streaming-programming-guide.html のまとめ. データソース Kafka Flume HDFS/S3 Kinesis Twitter TCP Akka Actor 処理フロー 入ってきたデータをDStream (Discretized Stream)でバッチに分割してバッチ毎の…

Scala Worksheet

Scala Worksheetってなんだか知らなかった.https://github.com/scala-ide/scala-worksheet/wiki/Getting-Started IDE上でREPLのようなことができて,かつアウトプットが隣に出てくる便利ツール. これで,作ったクラスのIDE上でのDebug/Testが簡単にできる.

GraphX 4

GraphXのPregelAPI関連のまとめ.はじめにGoogleのPregel Paperの概要をまとめてから,GraphXのPregelAPIをまとめる. Pregel Paper 概要 Balk Synchronous Parallelの実装 superstepを1単位としたMessage Passing source verticesからメッセージをdestinat…

Ubuntu14 Disable Fcitx Virtual Keyboard

"Ctrl + Alt + B"でvirtual Keyboardが出てきてしまうのが非常にやだったので Virtual Keyboardを無効化する設定. Superkey -> Fcitx -> Adon -> 拡張をクリック -> Virtual Key Boardのみチェックをはすす 右上のアイコンからFcitx再起動 Virtual Key Boar…