Hadoop >

目次

DFSシェル

  • HDFS の操作は以下のコマンドで行います。これは、対話シェルではないので、対話シェルとしては、Pig の Grunt*1 を利用するとよいでしょう。
    $ $HADOOP_HOME/bin/hadoop fs <command> ...
    または
    $ $HADOOP_HOME/bin/hadoop dfs <command> ...

パーミッション

  • HDFSには、Ver. 0.16.x より POSIX をモデルにしたパーミッション機能が実装されました。デフォルトで有効となっていますが、設定で無効にすることも可能です。
  • ただし、HDFSのパーミッションは、機能上、以下の点が異なります。
    • HDFS 上でファイルを実行することはできませんので、ファイルの実行権限は無効です。したがって、ファイルの suid、sgid、sticky の各パーミッションもありません。また、シンプルさを重視して、ディレクトリの suid、sgid、sticky パーミッションも実装されていません。ただし、ファイル、ディレクトリの新規作成時には、ユーザの一次グループではなく、BSDライクに親ディレクトリのグループが引き継がれます(Linux などでいえば、ディレクトリの sgid パーミッションに相当します)。
    • パーミッションチェックのためのユーザ識別子、グループ識別子リストは、デフォルトではクライアントプロセスのオーナーのそれが引き継がれます。しかし、アプリケーションコードなどで、hadoop.job.ugi プロパティに任意のユーザを指定することによりそれらを変更することが可能です。
    • スーパーユーザは、root ではなく、NameNode プロセスのオーナー(通常、hadoop にします)がスーパーユーザとなります。
    • また、スーパーユーザグループ(デフォルトでは、supergroup)を設定することも可能で、そのグループに属するユーザは、スーパーユーザとなります。
    • なお、現時点では、HDFS はユーザ認証機構(またその委譲機構)を提供しておらず、NameNodeへのユーザ識別子の引き渡しは認証トークンではなく、平文です。したがって、HDFS のパーミッションは、セキュリティを目的としたものではなく、不注意によるデータ削除などを防ぎ、クラスタの円滑な利用をサポートするものと言えます。

クォータ

Hadoopアーカイブ(Hadoop Archives, HAR)

レプリケーションメカニズム


*1 HDFS のパーミッション管理にはまだ対応していないようです。

添付ファイル: filehdfs_repl.png 496件 [詳細] filehdfs_ls.png 627件 [詳細] filehdfs05.png 604件 [詳細] filehdfs04.png 622件 [詳細] filehdfs03.png 639件 [詳細] filehdfs02.png 673件 [詳細] filehdfs01.png 694件 [詳細]

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2013-01-08 (火) 21:38:13 (2114d)