Daten an vorhandene Datei in HDFS Java anfügen

Question

Ich habe Probleme, Daten an eine vorhandene Datei in HDFS anzufügen. Ich möchte, dass, wenn die Datei existiert, dann eine Zeile anhängen, wenn nicht, erstellen Sie eine neue Datei mit dem angegebenen Namen.

Hier ist meine Methode zum Schreiben in HDFS.

Eigentlich schreibt diese Methode in HDFS und erstellt eine Datei, aber wie ich erwähne hängt nicht an.

Dies ist, wie ich meine Methode testen:

RunTimeCalculationHdfsWrite.hdfsWriteFile("RunTimeParserLoaderMapperTest2", "Error message test 2.2", context, null); 

Der erste param ist der Name der Datei, die zweite ist die Nachricht und die beiden anderen params sind nicht wichtig.

Also hat jemand eine Idee, was ich vermisse oder falsch mache?

Answer 1

HDFS lässt append Operationen nicht zu. Eine Möglichkeit, dieselbe Funktionalität wie das Anhängen zu implementieren, ist:

• Überprüfen Sie, ob die Datei vorhanden ist.
• Wenn die Datei nicht existiert, erstellen Sie eine neue Datei. & In neue Datei schreiben
• Wenn die Datei existiert, erstellen Sie eine temporäre Datei.
• Zeile von Originaldatei lesen & dieselbe Zeile in temporäre Datei schreiben (Newline nicht vergessen)
• Schreiben Sie die Zeilen, die Sie an die temporäre Datei anhängen möchten.
• Schließlich löschen Sie die ursprüngliche Datei & verschieben (umbenennen) die temporäre Datei in die ursprüngliche Datei.

Answer 2

Eigentlich kann man auf eine HDFS Datei anhängen:

Aus Sicht der Client anhängen Betrieb zunächst Anfügen von Distributed File nennt, würde dieser Vorgang ein Stream-Objekt FSDataOutputStream Rückkehr aus. Wenn der Client Daten an diese Datei anhängen muss, kann er out.write aufrufen, um zu schreiben, und ruft out.close zum Schließen auf.

I HDFS Quellen überprüft, gibt es DistributedFileSystem#append Methode:

FSDataOutputStream append(Path f, final int bufferSize, final Progressable progress) throws IOException 

Einzelheiten finden Sie presentation.

Sie können auch über die Befehlszeile anhängen:

hdfs dfs -appendToFile <localsrc> ... <dst> 

hinzufügen Linien direkt von stdin:

echo "Line-to-add" | hdfs dfs -appendToFile - <dst> 

Answer 3

Gelöst .. !!

Anhang wird in HDFS unterstützt.

Sie müssen nur einige Konfigurationen und einfachen Code zu tun, wie unten dargestellt:

Schritt 1: set dfs.support.append als wahr in hdfs-site.xml:

<property> 
    <name>dfs.support.append</name> 
    <value>true</value> 
</property> 

Stopp Alle Ihre Daemon-Dienste mit stop-all.sh und starten Sie es erneut mit start-all.sh

Schritt 2 (Optional): Nur Wenn Sie eine single-node-Cluster haben, so müssen Sie s et Replikationsfaktor auf 1 wie folgt:

Durch Befehlszeile:

./hdfs dfs -setrep -R 1 filepath/directory 

Oder Sie können zur Laufzeit durch Java-Code das gleiche tun:

fShell.setrepr((short) 1, filePath); 

Schritt 3: Code für Erstellen/Anhängen von Daten in die Datei:

public void createAppendHDFS() throws IOException { 
    Configuration hadoopConfig = new Configuration(); 
    hadoopConfig.set("fs.defaultFS", hdfsuri); 
    FileSystem fileSystem = FileSystem.get(hadoopConfig); 
    String filePath = "/test/doc.txt"; 
    Path hdfsPath = new Path(filePath); 
    fShell.setrepr((short) 1, filePath); 
    FSDataOutputStream fileOutputStream = null; 
    try { 
     if (fileSystem.exists(hdfsPath)) { 
      fileOutputStream = fileSystem.append(hdfsPath); 
      fileOutputStream.writeBytes("appending into file. \n"); 
     } else { 
      fileOutputStream = fileSystem.create(hdfsPath); 
      fileOutputStream.writeBytes("creating and writing into file\n"); 
     } 
    } finally { 
     if (fileSystem != null) { 
      fileSystem.close(); 
     } 
     if (fileOutputStream != null) { 
      fileOutputStream.close(); 
     } 
    } 
} 

Bitte lassen Sie mich für jede andere Hilfe wissen.

Prost. !!