Spark MLlibの概要

Machine Learingのライブラリ概要

内容がSpark0.9の時のものなので，

Spark MLlibの概要 (Spark 1.2) - KZKY's memo

を参考にすること．

概要

• Machine Learingのライブラリ (充実はしていない)
• method
  • SVM (L1, L2)-norm
  • Ridge Regression (L1, L2)-norm
  • NB
  • CF (user-item matrixの穴埋め系)
    • ALS
    • Matrix Factorization
  • K-Means

Depedency

• jblas
• gfortran (libgfortranかも)
• NumPy

Note

• sparse matrix formatには対応してないよう
  • http://mail-archives.apache.org/mod_mbox/spark-user/201402.mbox/%3CCAJgQjQ8HJ5WC=wJmQWzsdkW3Eig_fztnpOwVKEt4q8bhY4eSqw@mail.gmail.com%3E

eclipseで実行まで

• pom.xmlでGUI経由でaddすると0.8.0-incubatingしかでない
  • scala2.9に依存している(ぽい)
  • reflectionでエラー
    • scala2.10とscala2.9でreflectionのAPIが違うことが原因なのか？
• pom.xml (直接追加でrepositoryから取得できた)

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>0.9.0-incubating</version>
    </dependency>
    
    <dependency>
	  <groupId>org.apache.spark</groupId>
      <artifactId>spark-mllib_2.10</artifactId>
      <version>0.9.0-incubating</version>
    </dependency>