９日目です（すみません、土日に書くのは休むことにしました） ご存知の通り、HDFSはマスターとスレーブ群から構成されます。スレーブノードを大量に用意することで、膨大なデータを蓄積することができます。 現状のHDFSでは、個々のデータノードが持ってい…

ちょっと遅れましたが6日目です。 昨日Hue 3.5がリリースされました。 今までgithubからソースを落としてビルドしていましたが、バイナリを使ってみましょう。

元記事 5日目です 3日目に書いたMapReduceのスケジューラでうち、フェアスケジューラには「プリエンプション」という設定ができます。この設定をすることで、例えば緊急度の高くない長時間実行されているタスクを強制的にKillして、すぐに実行する必要がある…

元記事 ４日目です。 本日はHadoopアドベントカレンダー2013の立候補がいないようなので、あえて書く@choplinさんが今 (22:30)書いて下さっているとのこと。凄い！ありがとうございます！ ＃決して無理強いはしてないはず、、、、、と信じたい（汗 本日のお…

元記事 ３日目です。 本日のHadoopアドベントカレンダー2013は@shiumachi氏の「HBase 0.96 で導入される新しいコンパクション「Exploring Compaction」」です。コンパクションも進化しているということがわかりますね。 さて、MapReduceでJobTrackerにジョブ…

元記事 2日目です。書き溜めた技術情報を書き続けてみるテスト中。 技術ネタ HDFSのハートビートなど a) ハートビート(デフォルト3秒: dfs.heartbeat.interval) 1) DataNodeからNameNodeに一定間隔で送付される。以下の情報が含まれる。(容量、使用…

元記事 Hadoopアドベントカレンダー2013、１日目です。 みんな大好き、かわいい象のマスコット（画像）でお馴染みのApache Hadoop（以下Hadoop）。運良く初日を取れたので、2013年のHadoop関連の話題をまとめてみました。 ※このブログの内容は所属している組…

Hadoop Advent Calendar 2013が始まっています！ 初日分は本家のブログに書きましたが、こっそりと一人アドベントカレンダー（？）でHadoopネタを書き溜めています（笑 どこまで続けられるかわかりませんが、こちらにも転記しておくことにします