Ich bin ein Neuling zu NIFI, mein Anwendungsfall ist von einem Hafen zu lesen und zu hdfs im Parkettformat zu schreiben, meine Forschung sagt, es gibt etwas namens KiteSDK, mit dem ich als Parkett speichern kann .Ich richtig? .Bitte Rat. Jedes Beispiel würde helfen.apache nifi, hdfs parkett format
Es gibt sicherlich Prozessoren in Apache NiFi zur Verfügung, um Ihnen den Weg zu helfen. ListenTCP kann Daten von einem Socket erfassen. Sie können einige der Transformations-Prozessoren abhängig von Ihrem Datentyp verwenden, um sie zu konvertieren. Nicht sicher, ob Parkett als Ausgabeformat direkt unterstützt wird. Und natürlich wird die Lieferung an HDFS unterstützt. Für fehlende Teile können Sie ein JIRA in der Apache-Community erstellen oder einen Beitrag schreiben oder ein Inline-Skript mit ExecuteScript schreiben. Viele Optionen.
Dank Joe
können Sie den PutParquet Prozessor verwenden.