GraphX 4

spark hadoop graphx scala pregel akka

GraphXのPregelAPI関連のまとめ．はじめにGoogleのPregel Paperの概要をまとめてから，GraphXのPregelAPIをまとめる． Pregel Paper 概要 Balk Synchronous Parallelの実装 superstepを１単位としたMessage Passing source verticesからメッセージをdestinat…

2014-12-24

GraphX 1

spark graphx scala pregel

GraphXをさわってみた． GraphXはSparkに内容されているSpark APIの一つ.2014/12/24の時点で0.9なので注意．基本的に https://spark.apache.org/graphx/ https://spark.apache.org/docs/0.9.0/graphx-programming-guide.html#summary-list-of-operators の…

2014-12-21

Scala 20news Wordcount

scala wordcount

Scala 20news Wordcountを忘れないようにメモ． val src_path = "/home/kzk/datasets/news20/news20.dat" val s = Source.fromFile(src_path); var map = scala.collection.mutable.Map[String, Long]() for (l <- s.getLines) { val sl = l.split(" ") for …

2014-12-13

Scala Listの落とし穴

scala scala list

ScalaでハマったCollectionの話．ScalaのCollectionは基本的にImmutableなのでCollectionに新しい値を追加するときは，追加したい要素が追加された新しい(newされた)Collectionインスタンスが返ってくると考えたほうがいい．さらに，ScalaのListは一方方向…

2014-12-13

Eclipse + Gradle + Scalaで開発

gradle eclipse scala

EclipseでGradleを使ってScalaで開発をする時のセットアップと配布物(distribution, fatjar, jar-with-dependency)を作る際のメモ Eclipse との連携基本 Gradle IDE help -> eclipse market place -> gradle ide Groovy Eclipse gradle DSLのサポートをする…

2014-03-23

Scala 超まとめメモ

scala

Scalaをある程度理解してきたので，まとめのメモ基本 switch-case obj match {case obj_1:type if () => processing; case obj_2:type if () => processing; ...} apply obj.method, new ClassNameがobj(), ClassName()で呼び出せる unapply companion obje…