Apache NiFi - OutOfMemory Fehler: GC Overhead Limit überschritten auf SplitText Prozessor

Question

Ich versuche NiFi verwenden, um große CSV-Dateien (potenziell Milliarden von Datensätzen) mit HDF 1.2 zu verarbeiten. Ich habe meinen Flow implementiert und alles funktioniert gut für kleine Dateien.

Das Problem ist, dass, wenn ich versuche, die Dateigröße auf 100 MB (1M Datensätze) zu schieben ich ein java.lang.OutOfMemoryError: GC overhead limit exceeded vom SplitText Prozessor erhalte verantwortlich für die Datei in einzelne Datensätze zu splitten. Ich habe nach dem gesucht, und es bedeutet im Grunde, dass der Garbage Collector zu lange ausgeführt wird, ohne viel Heap-Speicherplatz zu erhalten. Ich erwarte, dass zu viele Flow-Dateien zu schnell generiert werden.

Wie kann ich das lösen? Ich habe versucht, die nifi-Konfiguration in Bezug auf den maximalen Heap-Speicher und andere speicherbezogene Eigenschaften zu ändern, aber nichts scheint zu funktionieren.

Jetzt habe ich eine Zwischen SplitText mit einer Zeilenzahl von 1K und das ermöglicht es mir, den Fehler zu vermeiden, aber ich sehe das nicht als eine solide Lösung für, wenn die eingehende Datei möglicherweise viel mehr werden wird als das, ich fürchte, ich werde das gleiche Verhalten vom Prozessor bekommen.

Jeder Vorschlag ist willkommen! Danke

Answer 1

Der Grund für den Fehler ist, wenn 1M Datensätze mit einer Zeilenanzahl von 1 aufteilen, erstellen Sie 1M Flow-Dateien, die 1M Java-Objekte gleichsetzen. Insgesamt ist es üblich, zwei SplitText-Prozessoren zu verwenden und alle Objekte gleichzeitig zu erstellen. Sie könnten wahrscheinlich eine noch größere Split-Größe beim ersten Split verwenden, vielleicht 10k. Für eine Milliarde Datensätze frage ich mich, ob ein drittes Level sinnvoll wäre, aufgeteilt von 1B auf vielleicht 10M, dann 10M auf 10K, dann 10K auf 1, aber ich müsste damit spielen.

Einige zusätzliche Dinge zu berücksichtigen sind die Erhöhung der Standard-Heap-Größe von 512 MB, die Sie bereits getan haben, und auch herauszufinden, ob Sie wirklich auf 1 Zeile aufgeteilt werden müssen. Es ist schwer zu sagen, ohne etwas anderes über den Fluss zu wissen, aber in vielen Fällen, wenn Sie jede Zeile irgendwo liefern möchten, könnten Sie möglicherweise einen Prozessor haben, der eine große Datei mit Begrenzern einliest und jede Zeile zum Ziel streamt. Zum Beispiel funktionieren PutKafka und PutSplunk so, dass sie eine Datei mit 1M Zeilen aufnehmen und jede Zeile zum Ziel streamen können.