[[Oozie]] >

#contents

* Cloudera配布版 [#kc31c13a]
- CDH3 のOozie tarボールに同梱されているサンプルジョブを実行してみます。

** 前準備 [#f81804c6]

 $ tar xvzf oozie-examples.tar.gz
 $ cd examples
 $ ./prepare-examples.sh
 $ hadoop fs -put input-data input-data
 $ hadoop fs -put workflows /tmp/`whoami`/workflows

** Map/Reduceジョブ [#w10585a9]
** 通常のHadoopクラスタに対して [#mba07f48]
- (HadoopWithSecurity ではなく)通常のHadoopクラスタを対象に、Oozie のKerberos認証は無効にしていた場合(つまり、ユーザ認証などは行われない)。

*** Map/Reduceジョブ [#w10585a9]

+ Map/Reduceジョブを実行してみます。
 $ oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
 job: 0000000-100719100607118-oozie-tomc
+ ジョブの状態を確認すると、サスペンドされています。ログを確認すると、JobTracker のURL設定が適切ではないようです。
#geshi(){{
$ oozie job -oozie http://localhost:8080/oozie -info 0000000-100719100607118-oozie-tomc
Job Id: 0000000-100719100607118-oozie-tomc
------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------
Workflow Name :  map-reduce-wf
App Path      :  hdfs://localhost:8020/tmp/hadoop/workflows/map-reduce
Status        :  SUSPENDED
Run           :  0
User          :  hadoop
Group         :  users
Created       :  2010-07-19 03:16 +0000
Started       :  2010-07-19 03:16 +0000
Last Modified :  2010-07-19 03:20 +0000
Ended         :  -

Actions
------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------
Action Name    Type        Status     Transition   Ext. Id               Ext. Status     Error Code    Started                 Ended
------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------
hadoop1        map-reduce  START_MANUAL-            -                     -               JA006         -                       -
------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------
}}
+ 一度、ジョブをkillします。
 $ oozie job -oozie http://localhost:8080/oozie -kill 0000000-100719100607118-oozie-tomc
+ ジョブ設定ファイル(map-reduce-job.properties)の以下の箇所を修正し、再度実行します。
#geshi(bash,number){{
jobTracker=localhost:8021
#jobTracker=localhost:9001
}}
+ 今後は成功したようです。
#geshi(){{
$ oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
job: 0000001-100719100607118-oozie-tomc
$ oozie job -oozie http://localhost:8080/oozie -info 0000001-100719100607118-oozie-tomc
Job Id: 0000001-100719100607118-oozie-tomc
------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------
Workflow Name :  map-reduce-wf
App Path      :  hdfs://localhost:8020/tmp/hadoop/workflows/map-reduce
Status        :  SUCCEEDED
Run           :  0
User          :  hadoop
Group         :  users
Created       :  2010-07-19 03:35 +0000
Started       :  2010-07-19 03:35 +0000
Last Modified :  2010-07-19 03:36 +0000
Ended         :  2010-07-19 03:36 +0000

Actions
------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------
Action Name    Type       Status    Transition  Ext. Id              Ext. Status    Error Code   
Started                 Ended
------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------
hadoop1        map-reduce OK        end         job_201007191034_0002 SUCCEEDED      -            
2010-07-19 03:36 +0000  2010-07-19 03:36 +0000
------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------
}}

** HadoopWithSecurity クラスタに対して [#a6f88742]

*** 前準備 [#ue489b2c]

- TGT をキャッシュしてから、データとワークフローアプリケーションをHDFSにアップロードします。
 $ kinit
 ...
 $ hadoop fs -put input-data input-data
 $ hadoop fs -put workflows /tmp/`whoami`/workflows

*** Oozie の Kerberos 認証設定を無効のまま(テスト) [#o50aabbd]

- Oozieの設定不備状態を意味しますが、試みにジョブを実行してみます。
- 認可オペレーションが実行できずに失敗します。
 $ oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
 Error: E0501 : E0501: Could not perform authorization operation,
 Call to localhost/127.0.0.1:8020 failed on local exception: java.io.EOFException

*** Oozie の Kerberos 認証設定を有効に [#eb0f85d6]

TODO


トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS