Hadoop >

エラーの忘却

HadoopMapReduceフレームワーク

Pig

  • 不正なデータは、無いもの(null)として処理されます。
    1. grunt> cat numbers.txt
    2. 1,2,3,4,5
    3. 2,4,6,b,10
    4. 3,6,9,12,15
    5. 4,8,12
    6. grunt> A = load '/user/hadoop/work/numbers.txt' using PigStorage(',')
    7. >> as (
    8. >>   col1:int,
    9. >>   col2:int,
    10. >>   col3:int,
    11. >>   col4:int,
    12. >>   col5:int
    13. >> );
    14. grunt> dump A;
    15. ...
    16. (1,2,3,4,5)
    17. (2,4,6,,10)
    18. (3,6,9,12,15)
    19. (4,8,12,,)
    20. grunt> B = filter A
    21. >> by not(col1 is null or col2 is null or col3 is null or col4 is null or col5 is null);
    22. grunt> dump B;
    23. ...
    24. (1,2,3,4,5)
    25. (3,6,9,12,15)

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-01-23 (土) 21:10:29 (3040d)