Unterstützt HDFS Sonderzeichen (Umlaute, etc ..)?

Question

Ich versuche, eine Datei mit Umlauten zu hdfs hinzufügen, aber, wenn ich mich eine Fehlermeldung wie diese zu erhalten unter

++ hdfs dfs -put $'data/R\366\337el.doc' solr/test/test.data 
put: `test.data/R��el.doc': No such file or directory 

Was soll ich dann tun? Übersetzen Sie die Dateien mit ä zum Beispiel nach ae oder gibt es eine andere Möglichkeit, damit umzugehen?

Answer 1

HDFS speichert diese Zeichenfolgen mit Java, deren Zeichenfolgen UTF-16-codiert sind. Auf dem Draht verwendet Hadoops RPC UTF-8, das Umlaute und verschiedene andere Zeichen enthält.

Wahrscheinlich haben Sie festgestellt, dass Ihre Shell die Codierung oder die Zeichen nicht zu unterstützen scheint.

Im Zweifelsfall können Sie immer die Java-API verwenden, um Dateien in HDFS zu schreiben, was das Schreiben von Code erfordert.