Hadoop FileSystem - Wie lösche ich alle Dateien, die in einem bestimmten hdfs-Verzeichnis keine Größe haben?

Question

Ich habe ein hdfs Verzeichnis A im Pfad:/user/A

Wie lösche ich alle Dateien innerhalb A, die von Nullgröße sind?

Answer 1

Dies könnte

hdfs dfs -ls -R /path/to/directory/ | grep part- | awk '{ if ($5 == 0) print $8 }' | xargs hdfs dfs -rm

Answer 2

Löschen von Dateien nur hilfreich sein:

hdfs dfs -rm $(hdfs dfs -ls -R /user/A/ | grep -v "^d" | awk '{if ($5 == 0) print $8}') 

-Test, was Sie zuerst bekommen, da es viele HDFS Formate, die Metadaten oder Dateien mit 0 haben Byte-Größen (wie Parkett ... ERFOLG, .. TEMPORARY usw.)

hdfs dfs -ls -R /user/A/ | grep -v "^d" | awk '{if ($5 == 0) print $8}'