Oozie >

Cloudera配布版

前準備

$ tar xvzf oozie-examples.tar.gz
$ cd examples
$ ./prepare-examples.sh
$ hadoop fs -put input-data input-data
$ hadoop fs -put workflows /tmp/`whoami`/workflows

通常のHadoopクラスタに対して

Map/Reduceジョブ

  1. Map/Reduceジョブを実行してみます。
    $ oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
    job: 0000000-100719100607118-oozie-tomc
  2. ジョブの状態を確認すると、サスペンドされています。ログを確認すると、JobTracker のURL設定が適切ではないようです。
    $ oozie job -oozie http://localhost:8080/oozie -info 0000000-100719100607118-oozie-tomc
    Job Id: 0000000-100719100607118-oozie-tomc
    -----------------------------------------------------------------------------------------------------
    Workflow Name :  map-reduce-wf
    App Path      :  hdfs://localhost:8020/tmp/hadoop/workflows/map-reduce
    Status        :  SUSPENDED
    Run           :  0
    User          :  hadoop
    Group         :  users
    Created       :  2010-07-19 03:16 +0000
    Started       :  2010-07-19 03:16 +0000
    Last Modified :  2010-07-19 03:20 +0000
    Ended         :  -
    
    Actions
    -----------------------------------------------------------------------------------------------------
    Action Name    Type        Status     Transition   Ext. Id               Ext. Status     Error Code    Started                 Ended
    -----------------------------------------------------------------------------------------------------
    hadoop1        map-reduce  START_MANUAL-            -                     -               JA006         -                       -
    -----------------------------------------------------------------------------------------------------
  3. 一度、ジョブをkillします。
    $ oozie job -oozie http://localhost:8080/oozie -kill 0000000-100719100607118-oozie-tomc
  4. ジョブ設定ファイル(map-reduce-job.properties)の以下の箇所を修正し、再度実行します。
    1. jobTracker=localhost:8021
    2. #jobTracker=localhost:9001
  5. 今後は成功したようです。
    $ oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
    job: 0000001-100719100607118-oozie-tomc
    $ oozie job -oozie http://localhost:8080/oozie -info 0000001-100719100607118-oozie-tomc
    Job Id: 0000001-100719100607118-oozie-tomc
    -----------------------------------------------------------------------------------------------------
    Workflow Name :  map-reduce-wf
    App Path      :  hdfs://localhost:8020/tmp/hadoop/workflows/map-reduce
    Status        :  SUCCEEDED
    Run           :  0
    User          :  hadoop
    Group         :  users
    Created       :  2010-07-19 03:35 +0000
    Started       :  2010-07-19 03:35 +0000
    Last Modified :  2010-07-19 03:36 +0000
    Ended         :  2010-07-19 03:36 +0000
    
    Actions
    -----------------------------------------------------------------------------------------------------
    Action Name    Type       Status    Transition  Ext. Id              Ext. Status    Error Code   
    Started                 Ended
    -----------------------------------------------------------------------------------------------------
    hadoop1        map-reduce OK        end         job_201007191034_0002 SUCCEEDED      -            
    2010-07-19 03:36 +0000  2010-07-19 03:36 +0000
    -----------------------------------------------------------------------------------------------------

HadoopWithSecurity クラスタに対して

前準備

Oozie の Kerberos 認証設定を無効のまま(テスト)

Oozie の Kerberos 認証設定を有効に

TODO


トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS