Funken vs Flink wenig Speicher verfügbar

Question

ich bauen einen Funken und Flink k-Means-Anwendung. Mein Testfall ist ein Clustering auf 1 Million Punkte auf einem 3-Knoten-Cluster.

Wenn In-Memory-Engpässe beginnen, beginnt Flink auf die Festplatte auszulagern und arbeitet langsam, funktioniert aber. jedoch Spark-Vollstrecker verlieren, wenn der Speicher voll ist und beginnt wieder (Endlosschleife?).

Ich versuche, die Speichereinstellung mit Hilfe der Mailingliste hier anzupassen, danke. Aber Spark funktioniert immer noch nicht.

Müssen Konfigurationen konfiguriert werden? Ich meine Flink arbeitet mit wenig Speicher, Spark muss es auch können; oder nicht?

Answer 1

Ich bin kein Spark Experte (und ich bin ein Flink Mitarbeiter). Soweit ich weiß, kann Spark nicht auf die Festplatte übertragen werden, wenn nicht genug Hauptspeicher vorhanden ist. Dies ist ein Vorteil von Flink over Spark. Spark kündigte jedoch einen neuen Projektaufruf "Tungsten" an, um verwalteten Speicher ähnlich wie Flink zu ermöglichen. Ich weiß nicht, ob diese Funktion bereits verfügbar: https://databricks.com/blog/2015/04/28/project-tungsten-bringing-spark-closer-to-bare-metal.html

Es gibt ein paar SO Frage zu Funken aus Speicherproblemen (eine Internet-Suche mit "spark out of memory" yield viele Ergebnisse auch):

spark java.lang.OutOfMemoryError: Java heap space Spark runs out of memory when grouping by key Spark out of memory

Vielleicht einer dieser Hilfe.