推奨ディレクトリ構成forHadoop

Hadoopセットアップ >

目次 †

他のバージョン †

1. Hadoop2.0

ディレクトリ一覧 †

1. 複数のディスクを搭載している場合には、それぞれ /grid/vol/{0..n} にマウントすることとします。
2. 完全分散環境ではLDAPにて設定しますが、hdfs、mapred 両ユーザは hadoop グループに属します。
3. デフォルトでは ${hadoop.tmp.dir}（デフォルト値: /tmp/hadoop-${user.name}） をルートにその他の多くのディレクトリが構成されますが、セキュアHadoopでは適切にディレクトリのパーミションを設定する必要があるため、それらの設定をすべて上書きする必要があります。また ${hadoop.tmp.dir} は文字通り一時作業領域（jar展開のためなど）として引き続き使用されますので、すべてのユーザが作成可能である必要があります。

構成についての留意点 †

1. RPMまたはDebianパッケージを利用する場合には、標準の /etc/hadoop や /var/run/hadoop を使用しても良いかもしれません。ただし、ログ出力先についてはかなりのサイズになりますので、マウントしている最初のHDD（/grid/vol/0/var/log）にすべきでしょう。
2. Apache配布のアーカイブを利用する場合、標準では /usr/local 以下に展開すべきですが、LinuxTaskController?がその設定ファイル taskcontroller.cfg が格納されているディレクトリのパーミッションをrootの書込権限のみであるかどうかチェックするため、Debian環境（/usr/local のモードが2775です）では問題となります。それを回避するため、上記ではアーカイブを /grid/usr 以下に展開しています。

他のHadoopディストリビューションで使用する場合の留意点 †

CDH †

1. PIDファイルの格納先は、デフォルトの /var/run/hadoop-0.20 のままで良いでしょう。
2. ログファイルの格納先は、出力量を考慮するとデフォルト（${HADOOP_HOME}/logs = /usr/lib/hadoop-0.20/logs）ではなく、上記のディレクトリ構成（/grid/vol/0/var/log）のように大容量ディスクに変更するのがよいでしょう。