☰

hdfsディレクトリ内のすべてのファイルを一覧表示します

tag-icon • tag-icon hadoop hdfs
hdfsディレクトリ内のすべてのファイルを一覧表示します

1 つのコンポーネントで何らかのエラーが発生したため、HDFS 内のファイルが蓄積され、その数は 2123516 と膨大になりました。すべてのファイルを一覧表示し、その名前を 1 つのファイルにコピーしたいのですが、次のコマンドを実行すると、Java ヒープ スペース エラーが発生します。

hdfs dfs -ls /tmp/content/

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Arrays.java:3332)
    at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:137)
    at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:121)
    at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:421)
    at java.lang.StringBuffer.append(StringBuffer.java:272)
    at java.net.URI.appendSchemeSpecificPart(URI.java:1911)
    at java.net.URI.toString(URI.java:1941)
    at java.net.URI.<init>(URI.java:742)
    at org.apache.hadoop.fs.Path.initialize(Path.java:145)
    at org.apache.hadoop.fs.Path.<init>(Path.java:126)
    at org.apache.hadoop.fs.Path.<init>(Path.java:50)
    at org.apache.hadoop.hdfs.protocol.HdfsFileStatus.getFullPath(HdfsFileStatus.java:215)
    at org.apache.hadoop.hdfs.DistributedFileSystem.makeQualified(DistributedFileSystem.java:252)
    at org.apache.hadoop.hdfs.DistributedFileSystem.listStatus(DistributedFileSystem.java:311)
    at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:842)
    at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:902)
    at org.apache.hadoop.fs.FileSystem.globStatusInternal(FileSystem.java:1032)
    at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:987)
    at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:965)
    at org.apache.hadoop.fs.shell.Command.runAll(Command.java:62)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:1822)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:1895)

ファイルを一覧表示する他の方法はありますか? また、2400000 個のファイルを一覧表示するには、どれくらいのヒープ スペースが必要ですか?

答え1

HADOOP_HEAPSIZE環境変数を設定することで、CLI ヒープ サイズを増やすことができます。次に例を示します。

$ HADOOP_HEAPSIZE=1000 hdfs dfs -ls /tmp/content

数字はMB単位なので、優しくしてください:)

もっと大きな問題は、コンソール上の 200 万を超えるファイルをどうするかということです。出力をどこかにリダイレクトする予定はありませんか?

関連情報