HDFSのヘテロジニアス対応

HDFSとヘテロジニアスな構成

一般的に、Hadoopは同一構成のサーバを大量に並べる方が、運用が簡単です。非均一な構成は、特に設定ファイルの管理、チューニングが厄介です。 そんな中、HDFS-2832で「Enable support for heterogeneous storages in HDFS」というチケットを見つけました。これは、データノードを「単一のストレージ」として扱うのではなく、データノードを「ストレージのコレクション」として扱うところです。

ストレージのコレクション？

HDFSは、データノードが使用しているストレージの種類、ファイルシステムの種類に関与しません。つまり、/dev/sdaはHDDでext4、/dev/sdbはSSDでxfs、、という構成も可能です。これは良い点もあるのですが、例えば特定のデータはSSDに、それ以外はHDDに、というような書き込みを行うことはできません。 このチケットではHDFSにストレージの種類の情報を持たせる拡張を行い、上記のようなデータの種類によるストレージの選択や、ブロックのレプリケーションも一つはSSDに配置するなど、柔軟な構成が取れることを目指しているようです。 まだ先は長そうですが、SSDが普及してくるに従ってこのようなチケットが増えてきそうですね。

注）本家ブログは http://linux.wwing.netです。はてなブログはバックアップ／待避用のため、内容が古いことがあります。