Fault-tolerance Semanticsについての話．基本はここのまとめ Spark RDDのfalut-tolerence semantics Spark RDDのfalut-tolerence semanticsのおさらい． イミュータブルで決定的に再計算可能で分散化されており，自分の決定的操作の系譜を覚えている． ワー…

Performance Tuning基本的にはこれのまとめStreamingで気を配るは以下２点 クラスタのリソースを効率的に使用してのデータバッチの処理時間 バッチを受け取ってからすぐ処理できるような適切なバッチサイズ Reducing the Processing Time of each Batch Spar…

基本的な話のまとめ． 一連のフロー Conf作ってStreamingContextに渡す インプットソースを決める Transformation(s)をして，DStreamに対する出力を決める start, awaitTermination, stopの順で呼ぶ DStream (Discretized Stream) 入ってきたデータをDStream…

基本的に https://spark.apache.org/docs/latest/streaming-programming-guide.html のまとめ． データソース Kafka Flume HDFS/S3 Kinesis Twitter TCP Akka Actor 処理フロー 入ってきたデータをDStream (Discretized Stream)でバッチに分割してバッチ毎の…

Scala Worksheetってなんだか知らなかった．https://github.com/scala-ide/scala-worksheet/wiki/Getting-Started IDE上でREPLのようなことができて，かつアウトプットが隣に出てくる便利ツール． これで，作ったクラスのIDE上でのDebug/Testが簡単にできる．

GraphXのPregelAPI関連のまとめ．はじめにGoogleのPregel Paperの概要をまとめてから，GraphXのPregelAPIをまとめる． Pregel Paper 概要 Balk Synchronous Parallelの実装 superstepを１単位としたMessage Passing source verticesからメッセージをdestinat…

"Ctrl + Alt + B"でvirtual Keyboardが出てきてしまうのが非常にやだったので Virtual Keyboardを無効化する設定． Superkey -> Fcitx -> Adon -> 拡張をクリック -> Virtual Key Boardのみチェックをはすす 右上のアイコンからFcitx再起動 Virtual Key Boar…

Spark1.0になるにともないデータのスパース表現に対応したよう． インプリは，Breeze (scalaの場合)に依存している． Classification and regression linear models でL1, L2 正則化項の両方に対応している． 基本はSGDで解いているよう． SVMs 誤差関数がヒ…

Graph Operatorsのまとめ．Graph Operatorはいろいろある．細かい話は，API Docみろと書いてある． Property Operators RDD.mapのgraphX版． graph.vertices.map{}より最適．インデックスを保存して再利用すため． class Graph[VD, ED] { def mapVertices[VD…

Graph Builder ファイルからデータを読んでGraphを作るために，GraphBuilderクラスが用意されている． GraphBuilderはedgeのrepartiionをしない edge groupがHDFSのblockに対応する感じ 同一の辺 (identical edge)はRDDの同じパーティションに置かれる ここ…

GraphXをさわってみた． GraphXはSparkに内容されているSpark APIの一つ.2014/12/24の時点で0.9なので注意． 基本的に https://spark.apache.org/graphx/ https://spark.apache.org/docs/0.9.0/graphx-programming-guide.html#summary-list-of-operators の…

Eclipse + Spark (Scala) + Gradle でSpark Application(jarファイル)を実行一般的な開発では， EclipseでSpark (Scala)を書く Eclipseで実行したりデバッグしたりする 最後にjar化してclusterで実行 というステップをとるのが自然だと思う．sbtでbuildでな…

Ubuntu14.04でインプットメソッドフレームワークを切り替える．Ubuntu13からibus15になって非常に使いづらくなったらしい． 入力ソースの切り替え時に，カーソル上に切り替えソースが出てきて，どの文字を打っているのか全くわからん． 代わりにに，Fcitxを…

お試しで動かしているCloudera Managerを４から５にしたのでその時のメモ． UninstallしてからInstallしていることに注意． Uninstallation この手順に従う http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v4-6-3/Cloudera-Ma…

Makfile基本的書き方まとめ数年ぶりにMakefileを書くことになったので以前にあったメモのまとめ． 基本文法 ターゲット:依存するファイル コマンド (複数行可） %はワイルドカード 自動変数 変数名 役割 $@ ターゲット名 $% ターゲットメンバー名 $< 最初の…

Python multiprocessingでWokerPoolを作る．multiprocessing.Poolはタスクの実行にグローバル関数しか渡せないの不便だと思う． WorkerPool Worker Task の３クラスを作ってJava ConcurrentのExecuterServiceのようにマルチプロセッシングしたい． そうした…

Scala 20news Wordcountを忘れないようにメモ． val src_path = "/home/kzk/datasets/news20/news20.dat" val s = Source.fromFile(src_path); var map = scala.collection.mutable.Map[String, Long]() for (l <- s.getLines) { val sl = l.split(" ") for …

学生の頃にまとめたMAP推定 (Maximum A Posteriori Estimation)をslide shareにアップロードしたのでそれをはりつける．

最近のUbuntuは acroreaderが使えない感じなのでいくつかpdf viewerを列挙してみる． evince デフォルトで入っているPdf Viewer 適当に見るだけならこれで問題ない． xpdf これも上記と同じような感じ． Okular 結構高機能なpdf viewer. Reviewができて，pop…

Ubuntu14.04ではUnity2dがそもそも使えないよう． なので，Unity3dでどうにかしてアイコングループを作らずに， 快適にアプリケーションを切り替えたい．そのための作業メモ． Install the compizconfig-settings-manager sudo apt-get install compizconfig…

Gradleで自作Taskの作り方． 自作Taskは task taskName(type: customTask) { }で使えるようになる．自作手順 DefaultTaskをextendしたクラスを作成 @TaskAction アノテーションをメソッドにつける // Use the default greeting task hello(type: GreetingTas…

ScalaでハマったCollectionの話．ScalaのCollectionは基本的にImmutableなのでCollectionに新しい値を追加するときは， 追加したい要素が追加された新しい(newされた)Collectionインスタンスが返ってくると考えたほうがいい．さらに，ScalaのListは一方方向…

EclipseでGradleを使ってScalaで開発をする時のセットアップと配布物(distribution, fatjar, jar-with-dependency)を作る際のメモ Eclipse との連携基本 Gradle IDE help -> eclipse market place -> gradle ide Groovy Eclipse gradle DSLのサポートをする…

Installation (Ubuntu14.04) 最新版を入れる $ sudo add-apt-repository ppa:cwchien/gradle $ sudo apt-get update $ sudo apt-get install gradle 超基本構文 task taskName { processing somthing } task taskName << { // equivalent to task X {doLast …

ubuntu12.04 unity disappear - KZKY's memo ubuntu12.04 unity disappear - KZKY's memoの続き． https://ask.openstack.org/en/question/3542/error-installing-nova-compute/にあるように， $ sudo apt-get -y autoremove --purge nova-* $ sudo apt-get …

ubuntu12.04からubuntu14.04にして，Ctrl + SpaceでIMEの有効/無効ができななくなった． そんな時の対処法．これはibusの場合なので注意． 次/前のソースへ切り替えを無効化 設定→テキスト入力→日本語(Mozc)/日本語(Anthy)→次のソース切り替え/前のソースへ…

Ubuntu12.04で再起動後，Unityが起動しなくなった．lightgdmのログイン画面にて，unity-2d/unity-3dを選択するアイコンをタップしても，recoveryとuser-definedしかでてこなない https://www.liberiangeek.net/2012/10/reset-unity-in-ubuntu-12-04-precise-…

python-online-machine-learning-library 3 - KZKY's memo python-online-machine-learning-library 3 - KZKY's memoの続き． Online Learning Methodsを簡単に評価した．batch methodとの比較では，Liblinearを使用，ただし，Liblinearはscikit-learnのイン…

python-online-machine-learning-library 2 - KZKY memo python-online-machine-learning-library 2 - KZKY memoの続き．Online Learning Methodsを簡単に評価した．batch methodとの比較では，Liblinearを使用，ただし，Liblinearはscikit-learnを使用して…

この記事の続き．python-online-machine-learning-library - KZKY's memo python-online-machine-learning-library - KZKY's memo ここでDLできる．Confidence WeightedとExactly Soft Confidence Weightedは 多値分類 スパースデータ の対応をした． 次はLi…