Oozie >

Yahoo! 公式サイト配布版

通常のHadoopクラスタに対して

前準備

  1. ビルドされたサンプルを展開します。
    $ tar xvzf oozie-examples.tar.gz
    $ cd examples
  2. 前準備のためのスクリプトを実行し、入力データとワークフローアプリケーションを HDFS にコピーします。
    $ prepare-examples.sh
    $ hadoop fs -put input-data input-data
    $ hadoop fs -put workflows /tmp/`whoami`/workflows

Oozie ワークフローアプリケーションの実行

  1. ジョブを実行し、結果を確認します(以下の例では、ジョブ自体は失敗しています)。
    $ oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
    job: 0000000-100704142649046-oozie-username-W
    $ oozie job -oozie http://localhost:8080/oozie -info 0000000-100704142649046-oozie-username-W
    Job ID : 0000000-100704142649046-oozie-username-W
    -------------------------------------------------------------------------------------------
    Workflow Name : map-reduce-wf
    App Path      : hdfs://localhost:9000/tmp/username/workflows/map-reduce
    Status        : KILLED
    Run           : 0
    User          : username
    Group         : users
    Created       : 2010-07-04 05:40
    Started       : 2010-07-04 05:40
    Last Modified : 2010-07-04 05:40
    Ended         : 2010-07-04 05:40
    
    Actions
    --------------------------------------------------------------------------------------------
    ID                                                  Status   Ext ID    Ext  Status Err Code  
    --------------------------------------------------------------------------------------------
    0000000-100704142649046-oozie-username-W@hadoop1    ERROR    -         ERROR       FS001     
    --------------------------------------------------------------------------------------------

HadoopWithSecurity (Yahoo! Hadoop 0.20.S Virtual Machine)クラスタに対して

前準備

  1. Hadoop クラスタとのセキュアな連携設定行っておきます。
  2. TGT をキャッシュしてから、データとワークフローアプリケーションをHDFSにアップロードします。
    $ kinit
    ...
    $ hadoop fs -put input-data input-data
    $ hadoop fs -put workflows /tmp/`whoami`/workflows

Oozie ワークフローアプリケーションの実行

Cloudera 配布版

前準備

$ tar xvzf oozie-examples.tar.gz
$ cd examples
$ ./prepare-examples.sh
$ hadoop fs -put input-data input-data
$ hadoop fs -put workflows /tmp/`whoami`/workflows

通常のHadoopクラスタに対して

Map/Reduceジョブ

  1. Map/Reduceジョブを実行してみます。
    $ oozie version
    Oozie client build version: 1.6.2-0.20.2-320--SNAPSHOT
    $ oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
    job: 0000000-100719100607118-oozie-tomc
  2. ジョブの状態を確認すると、サスペンドされています。ログを確認すると、JobTracker のURL設定が適切ではないようです。
    $ oozie job -oozie http://localhost:8080/oozie -info 0000000-100719100607118-oozie-tomc
    Job Id: 0000000-100719100607118-oozie-tomc
    -----------------------------------------------------------------------------------------------------
    Workflow Name :  map-reduce-wf
    App Path      :  hdfs://localhost:8020/tmp/hadoop/workflows/map-reduce
    Status        :  SUSPENDED
    Run           :  0
    User          :  hadoop
    Group         :  users
    Created       :  2010-07-19 03:16 +0000
    Started       :  2010-07-19 03:16 +0000
    Last Modified :  2010-07-19 03:20 +0000
    Ended         :  -
    
    Actions
    -----------------------------------------------------------------------------------------------------
    Action Name    Type        Status     Transition   Ext. Id               Ext. Status     Error Code    Started                 Ended
    -----------------------------------------------------------------------------------------------------
    hadoop1        map-reduce  START_MANUAL-            -                     -               JA006         -                       -
    -----------------------------------------------------------------------------------------------------
  3. 一度、ジョブをkillします。
    $ oozie job -oozie http://localhost:8080/oozie -kill 0000000-100719100607118-oozie-tomc
  4. ジョブ設定ファイル(map-reduce-job.properties)の以下の箇所を修正し、再度実行します。
    1. jobTracker=localhost:8021
    2. #jobTracker=localhost:9001
  5. 今後は成功したようです。
    $ oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
    job: 0000001-100719100607118-oozie-tomc
    $ oozie job -oozie http://localhost:8080/oozie -info 0000001-100719100607118-oozie-tomc
    Job Id: 0000001-100719100607118-oozie-tomc
    -----------------------------------------------------------------------------------------------------
    Workflow Name :  map-reduce-wf
    App Path      :  hdfs://localhost:8020/tmp/hadoop/workflows/map-reduce
    Status        :  SUCCEEDED
    Run           :  0
    User          :  hadoop
    Group         :  users
    Created       :  2010-07-19 03:35 +0000
    Started       :  2010-07-19 03:35 +0000
    Last Modified :  2010-07-19 03:36 +0000
    Ended         :  2010-07-19 03:36 +0000
    
    Actions
    -----------------------------------------------------------------------------------------------------
    Action Name    Type       Status    Transition  Ext. Id              Ext. Status    Error Code   
    Started                 Ended
    -----------------------------------------------------------------------------------------------------
    hadoop1        map-reduce OK        end         job_201007191034_0002 SUCCEEDED      -            
    2010-07-19 03:36 +0000  2010-07-19 03:36 +0000
    -----------------------------------------------------------------------------------------------------

HadoopWithSecurity (Yahoo! Hadoop 0.20.S Virtual Machine)クラスタに対して

前準備

Oozie の Kerberos 認証設定を無効のまま(参考テスト)


トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS