推奨ディレクトリ構成forHadoop2.0

Hadoopセットアップ >

目次 †

他のバージョン †

1. Hadoop1.0

ディレクトリ一覧 †

1. 複数のディスクを搭載している場合には、それぞれ /grid/vol/{0..n} にマウントすることとします。
2. 完全分散環境ではLDAPにて設定しますが、hdfs、yarn、mapred 各ユーザは hadoop グループに属します。
3. デフォルトでは ${hadoop.tmp.dir}（デフォルト値: /tmp/hadoop-${user.name}） をルートにその他の多くのディレクトリが構成されますが、セキュアHadoopでは適切にディレクトリのパーミションを設定する必要があるため、それらの設定をすべて上書きする必要があります。また ${hadoop.tmp.dir} は文字通り一時作業領域（jar展開のためなど）として引き続き使用されますので、すべてのユーザが作成可能である必要があります。
4. 灰色文字で示したディレクトリは、MapReduce? Ver.1で構築する場合に設定が必要なものです。YARNで構築する場合には不要です。

構成についての留意点 †

1. Apache配布のアーカイブを利用する場合、標準では /usr/local 以下に展開すべきですが、LinuxContainerExecutor?がその設定ファイル container-executor.cfg が格納されているディレクトリのパーミッションをrootの書込権限のみであるかどうかチェックするため、Debian環境（/usr/local のモードが2775です）では問題となります。それを回避するため、上記ではアーカイブを /grid/usr 以下に展開しています。

他のHadoopディストリビューションで使用する場合の留意点 †

CDH †

1. PIDファイルの格納先は、デフォルトの /var/run/hadoop-* のままで良いでしょう。
2. ログファイルの格納先は、出力量を考慮するとデフォルト（/var/log/hadoop-*）ではなく、上記のディレクトリ構成（/grid/vol/0/var/log）のように大容量ディスクに変更するのがよいでしょう。