（２日目）HDFSとMapReduceのハートビートの設定
2日目です。書き溜めた技術情報を書き続けてみるテスト中。
技術ネタ
HDFSのハートビートなど
a) ハートビート(デフォルト3秒: dfs.heartbeat.interval)1) DataNodeからNameNodeに一定間隔で送付される。以下の情報が含まれる。(容量、使用量、残量、送信実行中の数、xceiver数(コネクション数)、failedVolumesなど。 2) NameNodeからの応答の中に、ローカルブロックの無効化依頼や、それらを他のDNにコピーする指示が含まれる
b) ブロックレポート(デフォルト1時間毎:dfs.blockreport.intervalmsec)1) ブロック情報。DNが全てのローカルに保存されているブロックについての情報をNNに通知
2) 応答で削除すべきブロックについての情報を返す
c) ブロックスキャナーレポート(デフォルト3週間毎:fs.datanode.scan.period.hours)2) DNが自分の管理しているブロックに対してチェックを行う(間隔)
MapRecuce のハートビートなど
HDFS同様に、TaskTracker -> JobTrackerは定期的にハートビート通信を行っている。 DataNode -> NameNode 間のハートビートと異なり、値は調整できません。 (詳細は MAPREDUCE-1906 を参照:https://issues.apache.org/jira/ browse/MAPREDUCE-1906) タスクのプロセス(子プロセス)とTaskTrackerの間のチェック方法/間隔です が、i) 子プロセスが進行状況を報告
ii) TaskTrackerのスレッドが定期的にチェック (3s)。タイムアウトはmapred.task.timeout で調整可能。
Cloudera World Tokyo 2013の資料
さて、本日、Cloudera World Tokyo 2013の資料が公開されたようです。 http://www.cloudera.co.jp/cwt2013-session.html 未公開セッションのうち、一部の資料は講演の方に掲載確認中とのこと。 当日はほとんどセッションに参加できなかったので、公開されたのは非常に嬉しい限り。これを読んで勉強します。
Hadoop Advent Calendar 2013
本日のHadoopアドベントカレンダー2013は garagekidztweetz さんです。無茶振りにも関わらず、快く引き受けていただきました。いつも素晴らしいブログを拝見させていただいています。ありがとうございます。http://d.hatena.ne.jp/garage-kid/20131202/hadoopadventcalendarday2
