KZKY memo

自分用メモ.

Cloudera Manager 5 Installation

お試しで動かしているCloudera Managerを4から5にしたのでその時のメモ.
UninstallしてからInstallしていることに注意.

Installation

  • OS

Error/Warn

  • 頑張ってエラー対処するよりも,OS clean installationしたほうが早いかも
  • 過去にCM経由でHadoopを入れていると結構エラーがでる
    • 必要なディレクトリが既にあってversioning/formatなどのエラーが多発

oracle java

  • message
パッケージ oracle-j2sdk1.7 は利用できません。
/var/log/cloudera-manager-installer/2.install-oracle-j2sdk1.7.log lines 1-8/8 (END)
  • workaround
sudo yum clean all
sudo rm -rf /var/cache/yum/x86_64/6/cloudera-manager

cloudera-manager-agent

  • message
BEGIN yum list installed cloudera-manager-agent
読み込んだプラグイン:fastestmirror, security
エラー: 表示するパッケージはありません
END (1) 
$ sudo sed -i 's/ja_JP/en_US/' /etc/sysconfig/i18n
  • centos info (CM5を入れたOS)
    • 日本語インストール
    • CentOS release 6.6 (Final)

oracle java reference

  • open jdk not supported
Cloudera は、OracleのJVM バージョン 1.6.0_31 および 1.7.0_55 以降をサポートします。OpenJDK はサポートされていません。gcj は動作しないことが確認されています。以下のコンポーネントバージョンの表をチェックして、サポートされていない Java バージョンが搭載されたホストを特定してください。 
  • workaround
    • symlinkの付け替え
$ sudo alternatives --install /usr/bin/java java /usr/java/jdk1.8.0_25/bin/java 180000

namenode format

  • message
コマンド(48)が失敗しました
  • workaround
$ sudo rm -rf /dfs/nn/current

HDFS serviceがスタートできない

  • message
Failed to execute command Start on service HDFS
  • role log
java.io.IOException: Incompatible clusterIDs in /dfs/dn: namenode clusterID = cluster17; datanode clusterID = cluster25
  • workaround
    • cluster idが違うだけ
    • 過去の/dfs/dn/currentが残っているので削除
$ sudo rm -rf /dfs/dn/current

Sqoop 2 サービスを開始しています

  • message
Failed to execute command Start on service Sqoop 2
org.apache.sqoop.connector.autoupgrade=true
org.apache.sqoop.framework.autoupgrade=true

Oozie データベースを作成しています

  • message
Error: DB schema exists
$ sudo rm -rf /var/lib/oozie/*

After Installation

お決まりのQuasiMonteCarloを実行

sudo -u hdfs hadoop jar \ 
/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
pi 10 100

感想

  • Cloudera Manager UIがイケてる
  • dfs.block.sizeが128 MBになってた
  • Sparkがインテグされた