Cloudera Manager 5 Installation
お試しで動かしているCloudera Managerを4から5にしたのでその時のメモ.
UninstallしてからInstallしていることに注意.
Uninstallation
この手順に従う
機能比較 (Express, Enterprise)
Express版で.
Installation
- Latest Version DL page
- http://www.cloudera.com/content/cloudera/en/downloads/cloudera_manager/cm-5-2-1.html
- 下の方にタブができたのでquick start guideに手順が載っている
- quickstart guideでとりあえずは十分
- OS
- CentOS release 6.6 (Final)
Error/Warn
- 頑張ってエラー対処するよりも,OS clean installationしたほうが早いかも
- 過去にCM経由でHadoopを入れていると結構エラーがでる
- 必要なディレクトリが既にあってversioning/formatなどのエラーが多発
oracle java
- message
パッケージ oracle-j2sdk1.7 は利用できません。 /var/log/cloudera-manager-installer/2.install-oracle-j2sdk1.7.log lines 1-8/8 (END)
- workaround
sudo yum clean all sudo rm -rf /var/cache/yum/x86_64/6/cloudera-manager
cloudera-manager-agent
- message
BEGIN yum list installed cloudera-manager-agent 読み込んだプラグイン:fastestmirror, security エラー: 表示するパッケージはありません END (1)
- workaround
- https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user-jp/pGdGKHnYT0I
- system全体でデフォルト言語設定を変える
- 英語環境ならCentOS6.5, 6.6でも問題ないらしい
$ sudo sed -i 's/ja_JP/en_US/' /etc/sysconfig/i18n
oracle java reference
- open jdk not supported
Cloudera は、OracleのJVM バージョン 1.6.0_31 および 1.7.0_55 以降をサポートします。OpenJDK はサポートされていません。gcj は動作しないことが確認されています。以下のコンポーネントバージョンの表をチェックして、サポートされていない Java バージョンが搭載されたホストを特定してください。
- workaround
- symlinkの付け替え
$ sudo alternatives --install /usr/bin/java java /usr/java/jdk1.8.0_25/bin/java 180000
namenode format
- message
コマンド(48)が失敗しました
- workaround
$ sudo rm -rf /dfs/nn/current
HDFS serviceがスタートできない
- message
Failed to execute command Start on service HDFS
- role log
java.io.IOException: Incompatible clusterIDs in /dfs/dn: namenode clusterID = cluster17; datanode clusterID = cluster25
- workaround
- cluster idが違うだけ
- 過去の/dfs/dn/currentが残っているので削除
$ sudo rm -rf /dfs/dn/current
Sqoop 2 サービスを開始しています
- message
Failed to execute command Start on service Sqoop 2
- workaround
- http://mapredit.blogspot.jp/2014/05/cloudera-manager-fails-to-upgrade.html
- sqoop configのsafety valve に下記を追加
org.apache.sqoop.connector.autoupgrade=true org.apache.sqoop.framework.autoupgrade=true
Oozie データベースを作成しています
- message
Error: DB schema exists
- workaround
$ sudo rm -rf /var/lib/oozie/*
After Installation
お決まりのQuasiMonteCarloを実行
sudo -u hdfs hadoop jar \ /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \ pi 10 100
Port Memo
感想
- Cloudera Manager UIがイケてる
- dfs.block.sizeが128 MBになってた
- Sparkがインテグされた