2016-08-01 17 views
0

verwendete ich Cache() und bestehen() auf Dataframe througout meiner Anwendung. Und ich möchte wissen, muss ich unpersist aufrufen() auf jedem Datenrahmen, den ich zwischengespeichert habe, um allen Speicher und die Platte freizugeben, die besetzt worden sind, wenn mein Programm endet? Wird Funke diesen Beruf automatisch beseitigen?
DankClean Spark Cache-Daten

Antwort

2

Sobald Funkenkontext gestoppt ist, wird Speicher von selbst frei. Wenn Sie den Speicher freigeben möchten, bevor Sie den Kontext anhalten, müssen Sie in diesem Fall unpersist aufrufen.

+0

Die auf der Festplatte zwischengespeicherten Daten werden entfernt, wenn der Funkenkontext endet. Habe ich recht? –

+0

Ja, die Daten von der Festplatte werden gelöscht, sobald der Funkenkontext gestoppt wird. –