Ich arbeite an einem Projekt und muss Linie von Dateitransformation verfolgen. nehme an, eine Datei namens SomeTextFile.txt geht unter mehreren Bienenstock-Aktionen und in der letzten Phase produzieren sie einige großartige Ergebnisse nach Bedarf.Ist ein Spark Hook als Hive Hook
Fall: 1 Datei ging wie
Datei (wenn i hive Aktion über Datei anwenden) -> FileAfterAction1 -> FileAfterAction2 ---> FinalResultantFile
i in diesem Fall bin Verwenden von Hive-Hook, der Daten in Bezug auf den Zwischenprozess speichert, der auf File.say in einer Textdatei angewendet wurde, und aus dieser Textdatei liest lineageEngine-Code die Lineage dieser Final-Datei und generiert diese.
Jetzt, da Funken im Tech-Stack involviert sind, kann der Client die Funkenaktion auch auf die Datei anwenden.
Fall: 2 dasselbe passiert über Datei, aber jetzt ist es Spark Aktion.
Frage- Gibt es eine Möglichkeit, Zwischeninformationen zwischen Dateianfang und -ende zwischen Transformationen zu nehmen.
Was ich bisher vom Web bekommen habe, ist die Funkentransformation, die den Zwischendiagramm erzwingt, aber in meinem Fall wird der Client die Spark-Aktion anstelle der Spark-Transformation anwenden. Steigen Sie ein, wenn Sie etwas Bandbreite haben.