Hadoopセットアップ >

note.pngDEPRECATED!: この内容は陳腐化しています。ご利用は非推奨です。CDHをご参照ください。

目次

Cloudera 配布版(CDH: Cloudera's Distribution for Hadoop)の特徴

  • リポジトリが用意され、deb および RPMパッケージとして配布されています。
  • サーバ起動ユーザ(通常は hadoop)のSSH設定が必須ではありません。その代わりに、各ノードで適切なサービスを起動させる必要があります(各起動スクリプトが、/etc/init.d にインストールされるのはそのためでしょう)。
  • HDFSのパーミッション機能がデフォルトで無効となっています。HDFS管理と各アプリケーション運用の簡便さを選択しています*1
  • 設定セット(の切り替え)は、alternativesシステムで管理されます。

Debian系環境でのセットアップ

事前準備(Clouderaリポジトリの登録)

  1. Cloudera のリポジトリを APT ライン(/etc/apt/source.line または、/etc/apt/sources.list.d/cloudera.list を作成して)に追加します。DISTRO の部分は、使用しているディストリビューションのコードネーム(lenny、jauntyなど)を指定します。
    1. CDHのバージョンを明示的に指定する場合(以下は、Cloudera's Distribution for Hadoop Ver. 3 の例です)大規模クラスタのアップグレードには準備が必要ですので、この指定方法がおすすめです。
      deb http://archive.cloudera.com/debian DISTRO-cdh3 contrib
      deb-src http://archive.cloudera.com/debian DISTRO-cdh3 contrib
    2. 安定版をインストールする場合
      deb http://archive.cloudera.com/debian DISTRO-stable contrib
      deb-src http://archive.cloudera.com/debian DISTRO-stable contrib
    3. テスト版をインストールする場合
      deb http://archive.cloudera.com/debian DISTRO-testing contrib
      deb-src http://archive.cloudera.com/debian DISTRO-testing contrib
  2. Clouderaリポジトリの公開鍵を登録してAPTインデックスを更新し、Hadoop関連パッケージを確認します。
    $ wget -O - http://archive.cloudera.com/debian/archive.key | sudo apt-key add -
    $ sudo aptitude update
    $ sudo aptitude search hadoop

疑似分散モードのセットアップ

  1. 疑似分散モードの設定パッケージをインストールします。依存関係によりコアパッケージも自動でインストールされます。hadoop ユーザの作成と namenode の初期化も行われます。なお、Cloudera の Hadoop パッケージは、non-free の Sun の JRE を要求しますのでAPTラインの設定にご注意ください。
    $ sudo aptitude install hadoop-<version>-conf-pseudo
  2. 以下のコマンドですべてのサービスを起動あるいは停止します。
    $ for service in /etc/init.d/hadoop-<version>-*; do sudo $service start; done
    $ for service in /etc/init.d/hadoop-<version>-*; do sudo $service stop; done
    1. 個別にサービスを起動、停止する場合には以下のスクリプトを使用します。
      hadoop-<version>-datanode
      hadoop-<version>-jobtracker
      hadoop-<version>-namenode
      hadoop-<version>-secondarynamenode
      hadoop-<version>-tasktracker
  3. なお、設定ファイルは、alternatives システムで管理されています。
    $ update-alternatives --display hadoop-0.20-conf
    hadoop-0.20-conf - status is auto.
     link currently points to /etc/hadoop-0.20/conf.pseudo
    /etc/hadoop-0.20/conf.empty - priority 10
    /etc/hadoop-0.20/conf.pseudo - priority 30
    Current `best' version is /etc/hadoop-0.20/conf.pseudo.

完全分散モードのセットアップ

Comming Soon.

RedHat?系環境でのセットアップ

事前準備(Clouderaリポジトリの登録)

  1. 適宜、以下の Cloudera リポジトリファイルのいずれかを Yum リポジトリディレクトリ(/etc/yum.repos.d/)に追加します。
    1. cloudera-cdh3.repo: CDHのバージョンを明示してインストールする場合(これは、Cloudera's Distribution for Hadoop Ver. 3 の例です)
    2. cloudera-stable.repo: 安定版をインストールする場合
    3. cloudera-testing.repo: テスト版をインストールする場合
  2. Yumインデックスを更新し、Hadoop関連パッケージを確認します。
    $ sudo yum update yum
    $ sudo yum search hadoop

疑似分散モードのセットアップ

  1. Cloudera の Hadoop パッケージは、JDK 1.6以上を要求しますが、自動ではその依存パッケージをインストールしませんので、あらかじめSunのJDKなどをインストールしておきます。
  2. 疑似分散モードの設定パッケージをインストールします。依存関係によりコアパッケージも自動でインストールされます。hadoop ユーザの作成と namenode の初期化も行われます。
    $ sudo yum install hadoop-<version>-conf-pseudo
  3. 以下のコマンドですべてのサービスを起動あるいは停止します。
    $ for service in /etc/init.d/hadoop-<version>-*; do sudo $service start; done
    $ for service in /etc/init.d/hadoop-<version>-*; do sudo $service stop; done
    1. 個別にサービスを起動、停止する場合には以下のスクリプトを使用します。
      hadoop-<version>-datanode
      hadoop-<version>-jobtracker
      hadoop-<version>-namenode
      hadoop-<version>-secondarynamenode
      hadoop-<version>-tasktracker
  4. なお、設定ファイルは、alternatices システムで管理されています。
    $ alternatives --display hadoop-0.20-conf
    hadoop-0.20-conf - status is auto.
     link currently points to /etc/hadoop-0.20/conf.pseudo
    /etc/hadoop-0.20/conf.empty - priority 10
    /etc/hadoop-0.20/conf.pseudo - priority 30
    Current `best' version is /etc/hadoop-0.20/conf.pseudo.

完全分散モードのセットアップ

Comming Soon.

リソース


*1 元々、HDFSのパーミッションは純粋なセキュリティ上の機能ではありませんので、この運用は誤りではありません。

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2013-04-27 (土) 19:59:40 (2744d)