[[Hadoop]] >

* 目次 [#y71ef45d]

#contents

* Hadoopのパフォーマンスを改善したい [#xa84105e]
-[[Hadoopチューニング]]
-[[Hadoop圧縮検証]]

* HDFSのデータをOS再起動時にも保持する最も簡単なセットアップ方法 [#v83274c8]

 Hadoop のデフォルト設定では、HDFSのデータなどはローカルファイルシステム上の ''/tmp 配下''に保存されます。これは、全ノードのOS再起動時におけるデータ消失の可能性を孕んでいます。完全にシャットダウンしないクラスタは別にして、このような設定は、運用上、問題となります。したがって、以下のような手順で、データの保存領域を /tmp 以外に設定しておくことはある運用環境(たとえば、開発環境やある程度小規模なクラスタ)において有益となるでしょう。
+ デーモンの起動ユーザを ''hadoop'' に固定します。設定ファイル中の ${user.name} が hadoop になります。
+ 設定ファイル core-site.xml の ''hadoop.tmp.dir'' プロパティに、/tmp 配下ではない以下のような''ファイルが永続化される''パスを設定します。
#geshi(xml,number){{
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/local/hadoop/cache/${user.name}</value>
    </property>
}}
+ ローカルファイルシステム上に hadoop ユーザの読み書き可能な ''${hadoop.tmp.dir} ディレクトリ''を作成します。前項の設定例の場合には、/var/local/hadoop/cache/hadoop になります。もう一つの方法としては、(同じ例で)/var/local/hadoop/cache をフルアクセスで作成し、sticky bin を立てて(パーミッション 1777)おきます。

** このセットアップ手順の理由 [#aa1008ec]

- ''hadoop.tmp.dir'' プロパティを変更すると、変数展開により以下の主なプロパティ値も変更されます。したがって、hadoop.tmp.dir のみを変更すればデータ保存領域などを一括して変更することが可能となっています。また、hadoop.tmp.dir の値は、ローカルファイルシステムばかりではなくHDFSのベースディレクトリになることにも注意が必要です。以下の例では、HDFS上に COLOR(green){/var/local/hadoop/cache/hadoop/mapred/system} が作成されます。
|~No.|~プロパティ|~デフォルト設定(1のみ上書)|~変数展開後の値|~実際のロケーション|~備考|
|1|hadoop.tmp.dir|''/var/local/hadoop/cache/${user.name}''|''/var/local/hadoop/cache/COLOR(blue){hadoop}''|-|設定例です。|
|2|dfs.name.dir|${hadoop.tmp.dir}/dfs/name|''/var/local/hadoop/cache/COLOR(blue){hadoop}''/dfs/name|file:/||
|3|dfs.data.dir|${hadoop.tmp.dir}/dfs/data|''/var/local/hadoop/cache/COLOR(blue){hadoop}''/dfs/data|file:/||
|4|fs.checkpoint.dir|${hadoop.tmp.dir}/dfs/namesecondary|''/var/local/hadoop/cache/COLOR(blue){hadoop}''/dfs/namesecondary|file:/||
|5|mapred.system.dir|${hadoop.tmp.dir}/mapred/system|''/var/local/hadoop/cache/COLOR(blue){hadoop}''/mapred/system|COLOR(red){hdfs://hostname/}||
|6|mapred.local.dir|${hadoop.tmp.dir}/mapred/local|''/var/local/hadoop/cache/COLOR(blue){hadoop}''/mapred/local|file:/||

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS