Spark on YARN

spark yarn hadoop

Spark on YARNのまとめ Sparkのアーキテクチャとしてクラスタマネージャーはプラッガブル． Spark Standalone 登場人物/役割の総括 Master/Slave (or Wokrer) クラスターマネジャー Driver SparkContextを持っているmainクラス Executor ワーカーで起動され…

2015-01-12

Hadoop Yarnの基本

hadoop yarn spark

YARN SparkのYARN-modeを使うかもしれないので基本をメモ． 1つのJob, DAG of JobsなどのApplicationをクラスターで実行させることが可能 Applicationは，MapReduceに限らない JobTrackerの役割をリソースマネジメントとスケジューリング/モニタリングに分割…

2014-12-28

Spark Streaming 4

spark spark-streaming scala hadoop yarn akka

Fault-tolerance Semanticsについての話．基本はここのまとめ Spark RDDのfalut-tolerence semantics Spark RDDのfalut-tolerence semanticsのおさらい．イミュータブルで決定的に再計算可能で分散化されており，自分の決定的操作の系譜を覚えている．ワー…

2014-12-28

Spark Streaming 3

spark spark-streaming scala hadoop yarn mesos akka

Performance Tuning基本的にはこれのまとめStreamingで気を配るは以下２点クラスタのリソースを効率的に使用してのデータバッチの処理時間バッチを受け取ってからすぐ処理できるような適切なバッチサイズ Reducing the Processing Time of each Batch Spar…

2014-12-27

Spark Streaming 2

spark spark-streaming hadoop scala yarn

基本的な話のまとめ．一連のフロー Conf作ってStreamingContextに渡すインプットソースを決める Transformation(s)をして，DStreamに対する出力を決める start, awaitTermination, stopの順で呼ぶ DStream (Discretized Stream) 入ってきたデータをDStream…

2014-12-22

Cloudera Manager 5 Installation

cloudera manager cm5 cloudera manager5 hadoop spark yarn

お試しで動かしているCloudera Managerを４から５にしたのでその時のメモ． UninstallしてからInstallしていることに注意． Uninstallation この手順に従う http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v4-6-3/Cloudera-Ma…

KZKY memo

自分用メモ．

yarn