No. | ディレクトリ | 種別 | オーナ | モード | 説明 | 備考 |
---|
ローカルファイルシステム上 |
---|
| /grid | dir | root:root | 0755 | | |
| /grid/etc | dir | root:root | 0755 | | |
| /grid/etc/keytabs | dir | root:root | 0755 | | |
| /grid/etc/keytabs/${this.cluster.name} | dir | root:root | 0755 | keytabファイル格納用 | |
| /grid/usr | dir | root:root | 0755 | アプリケーショントップ | |
| /grid/usr/hadoop -> /grid/usr/hadoop-${VERSION} | symlink | root:root | - | | |
| /grid/usr/hadoop-${VERSION} | dir | root:root | 0755 | Hadoop実体 | |
| /grid/vol | dir | root:root | 0755 | | |
| /grid/vol/{0..n} | dir | root:root | 0755 | 各HDDマウントポイント | |
| /grid/vol/{0..n}/swap.file | file | root:root | 0644 | ファイルベースのswap領域 | |
| /grid/vol/{0..n}/var | dir | root:hadoop | 0775 | Hadoop可変データ格納ルート | |
| /grid/vol/0/var/lib/hdfs/checkpoint | dir | hdfs:hdfs | 0755 | チェックポイントデータ | ${fs.checkpoint.dir} 冗長化のため複数ディスク上のディレクトリを推奨 |
| /grid/vol/0/var/lib/hdfs/name | dir | hdfs:hdfs | 0755 | NameNodeデータ | ${dfs.name.dir} 冗長化のため複数ディスク上のディレクトリを推奨 |
| /grid/vol/{0..n}/var/lib/hdfs/data | dir | hdfs:hdfs | 0700 | DataNodeデータ | ${dfs.data.dir} IO分散のため複数ディスク上のディレクトリを推奨 |
| /grid/vol/0/var/lib/mapred/history | dir | mapred:mapred | 0755 | ジョブ履歴中間ファイル出力先 | ${hadoop.job.history.location} |
| /grid/vol/{0..n}/var/lib/mapred/local | dir | mapred:mapred | 0755 | ジョブ実行用ローカル領域 | ${mapred.local.dir} IO分散のため複数ディスク上のディレクトリを推奨 |
| /grid/vol/0/var/log | dir | root:hadoop | 0775 | ログ出力用 | hadoop-env.sh、log4j.propertiesで設定 |
| /grid/vol/0/var/log/hdfs | dir | hdfs:hadoop | 0755 | HDFSログ出力用 | 同上 |
| /grid/vol/0/var/log/mapred | dir | mapred:hadoop | 0755 | MapReduce?ログ出力用 | 同上 |
| /grid/vol/0/var/run | dir | root:hadoop | 0775 | PIDファイル格納用 | hadoop-env.shで設定 |
| /grid/vol/{0..n}/tmp | dir | root:root | 1777 | 一時作業領域 | ${mapred.temp.dir} IO分散のため複数ディスク上のディレクトリを推奨 |
| /tmp | dir | root:root | 1777 | システム標準の一時作業領域 | |
| /tmp/hadoop-${user.name} | dir | 各ユーザ | 0755 | 一時作業用のルートディレクトリ | ${hadoop.tmp.dir} |
HDFS上 |
---|
| / | dir | hdfs:hdfs | 0755 | | デフォルト |
| /grid/vol/0/var/lib/mapred | dir | mapred:mapred | 0700 | | |
| /grid/vol/0/var/lib/mapred/system | dir | mapred:mapred | 0700 | | ${mapred.system.dir} |
| /grid/vol/0/var/lib/mapred/jobstatus | dir | mapred:mapred | 0755 | ジョブ状態一時的永続化領域 | ${mapred.job.tracker.persist.jobstatus.dir} |
| /grid/vol/0/var/lib/mapred/history/done | dir | mapred:mapred | 0700 | | ${mapred.job.tracker.history.completed.location} |
| /user | dir | hdfs:hdfs | 0755 | ホームディレクトリルート | ${mapreduce.jobtracker.staging.root.dir} ジョブ実行時にステージング領域のルートとしても利用 |
| /tmp | dir | hdfs:hdfs | 1777 | | 効果的にクォータ設定できないため作成しません。 |