読者です 読者をやめる 読者になる 読者になる

KZKY memo

自分用メモ.

Spark MLlibの概要

Machine Learingのライブラリ概要

内容がSpark0.9の時のものなので,

Spark MLlibの概要 (Spark 1.2) - KZKY's memo

を参考にすること.

概要

  • Machine Learingのライブラリ (充実はしていない)
  • method
    • SVM (L1, L2)-norm
    • Ridge Regression (L1, L2)-norm
    • NB
    • CF (user-item matrixの穴埋め系)
      • ALS
      • Matrix Factorization
    • K-Means

Depedency

  • jblas
  • gfortran (libgfortranかも)
  • NumPy

eclipseで実行まで

  • pom.xmlGUI経由でaddすると0.8.0-incubatingしかでない
    • scala2.9に依存している(ぽい)
    • reflectionでエラー
      • scala2.10とscala2.9でreflectionのAPIが違うことが原因なのか?
  • pom.xml (直接追加でrepositoryから取得できた)
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>0.9.0-incubating</version>
    </dependency>
    
    <dependency>
	  <groupId>org.apache.spark</groupId>
      <artifactId>spark-mllib_2.10</artifactId>
      <version>0.9.0-incubating</version>
    </dependency>