Tech Blog 〜ぞうの日記

HadoopやLinux関連の技術的な内容の紹介です

2013-07-01から1ヶ月間の記事一覧

Hue 2.5でHBaseアプリを動かす(成功編)

昨日失敗したHue2.5、ようやく成功したので手順を書いておきます。 Hueのダウンロード hueのソースコードは http://gethue.com からダウンロードできます。 最新版を使うため、githubにあるソースをクローンしました。昨日ダウンロードしたソースとdiffを取…

象本3版出版記念セミナー

オライリー&Clouderaによるセミナーが7/24の夜に開催されます。 タイトル:『プログラミング Hive』 『Hadoop 第3版』刊行記念 Hadoopセミナー 申し込み、詳細:http://connpass.com/event/2944/ 現時点で残り48名なので、興味のある方はお早めに!

Hue 2.5がHBaseに対応!

今日Twitterを見ていたところ、 という気になる情報が。 Apache HBaseの操作を行うには HBase Shell、またはAPIを使うのが一般的で、GUIで操作(例えばテーブル作成とか)したいという要望は以前からありました。 スクリーンショットを見ると何となく凄そう…

Cloudera Impalaの言語リファレンス

Impalaは(少なくとも現状では)SQL92に準拠していないので、サポートしていないデータタイプやクエリがあります。ドキュメントが更新されていたので、備忘録がてらリンクを貼っておきます。 ImpalaがサポートしているDML/DDL、節など http://www.cloudera.c…

Hadoop 第3版(象本3版)の発売が決定!

象本! 「象本」の愛称で有名な、O'ReillyのHadoop。(原題:Hadoop: The Definitive Guide) 第2版の日本語版は2011年7月23日に発売、2年の歳月を経て、ようやく第3版の発売が7/26に確定したとのことです。(まだウェブには公開されていません) #思えばち…

Hadoopを10分で試す(まとめ)

Hadoopを使ってみたい! 新しく何かを始めようと思った時、面倒だなぁと思うことは多いものです。書籍やブログをみて「これは役立ちそうだ」と思っても、ちょっと試すことにさえにも辿り着けず、頓挫しているものがTODOリストやPocket(旧Readitlater)に大…

HDFSが高速に?mmapによるzero-copyでの読み込み

本日公開されたHDFSの高速化に関連するJIRAの2つ目です。 通常、アプリケーションはread()などのシステムコール経由でファイルを読み出します。 このHDFS-4953はmmap()システムコールを使用することで、読み取り時にかかるオーバーヘッドを減らそうというも…

HDFSが高速に?キャッシュメカニズムの追加

本日公開された HDFS-4949 のJIRAは、HDFSにインメモリキャッシュ機構を導入しようというものです。 Jiraに添付されているドキュメントより興味深い点を抜粋してみます:Centralized cache management 問題点1:複数ノードでのキャッシュの利用 HDFS上のデー…