HDFSが変わる？HDFSのイレイジャーコーディング対応
※このブログは本家（http://linux.wwing.net）のバックアップコピーです
Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応やアクセス制御(ACL)、NFSv3への対応など、セキュリティの強化や利便性の向上なども進化しています。
このように進化を続けているHDFSですが、現在開発が進んでいる機能のひとつにイレージャーコーディングへの対応というものがあります。
HDFS-7285：Erasure Coding Support inside HDFS
イレージャーコーディングとはソフトウェアエンジニアには耳慣れない言葉ですが、興味深かったのでまとめてみました。
続きを読む2014年版Hadoopアドベントカレンダーまとめ
2014版Hadoopアドベントカレンダーまとめ
年末なので久しぶりにこちらのブログも更新します。本家はこちらをどうぞ。
Tech Blog | Linux and Hadoop and other technologies
今年も各所でアドベントカレンダーが実施されていましたが、昨日のクリスマス、25日でほとんどのカレンダーが終わりましたね。
なお、2014年のHadoop関連アドベントカレンダーは、把握しているだけで以下の３つ。
「Hadoop関連（全部俺）Advent Calendar 2014」、睡眠時間を削って書いたので、かなり内容にムラがありますが、ご参考になれば幸いです。
Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita
Hadoop Advent Calendar 2014 - Qiita
Hadoop関連（全部俺） Advent Calendar 2014 - Adventar
Apache Hadoop 2.3.0 公開
Apache Hadoop 2.3.0 公開！
（注）この記事は http://linux.wwing.net のバックアップコピーです
昨日、Apache Hadoop 2.3.0 が公開されました！
http://hadoop.apache.org/releases.html#20+February%2C+2014%3A+Release+2.3.0+available
全く貢献できていませんが、公開おめでとうございます！ 
New Releaseに書かれている注目すべき機能はこの３つのようです。
続きを読む
（５日目）MRv1におけるフェアスケジューラでのプリエンプション
5日目です
3日目に書いたMapReduceのスケジューラでうち、フェアスケジューラには「プリエンプション」という設定ができます。この設定をすることで、例えば緊急度の高くない長時間実行されているタスクを強制的にKillして、すぐに実行する必要があるジョブのタスク用にスロットを空けることができます。
続きを読む（４日目）HueでCSVデータからHiveのテーブルを作る
４日目です。
本日はHadoopアドベントカレンダー2013の立候補がいないようなので、あえて書く@choplinさんが今 (22:30)書いて下さっているとのこと。凄い！ありがとうございます！ ＃決して無理強いはしてないはず、、、、、と信じたい（汗
本日のお題はHueとHiveについてです。
Hiveでテーブルを作成してデータをロードする場合には、1) CREATE TABLEを使用してテーブルを作成し、2) LOAD DATA INPATHなどを使ってデータをロードする、というような手順を踏みます。あるいは、既にデータがHDFS上にある場合、外部テーブルを利用することもできます。
続きを読む
