3
Ist es möglich, Datenrahmen von Apache Spark zu Feder (https://github.com/wesm/feather) Datei zu exportieren?Wie speichere ich eine Datei im Federformat Speicher von Spark?
A
Antwort
1
IIUC können Sie versuchen:
import feather
import pandas as pd
#df is spark df
pdf = df.toPandas()
feather.write_dataframe(pdf, 'test.feather')
Ja, aber im Idealfall möchte ich nicht den gesamten Datenrahmen in den Speicher laden. Szenario: Verarbeiten Sie mit Spark einen Datenrahmen (Merkmalsextraktion) aus dem Speicher und speichern Sie ihn in einer Federdatei. Laden Sie dann die Datei in Python \ R hoch (wahrscheinlich auf einem anderen Computer mit größerer Speicherkapazität). –
Sorry, ich bin kein Experte für Funken. Vielleicht wird eine andere Lösung hilfreicher sein. – jezrael
Kein Problem. Deine Antwort ist nur Lösung, die wir bisher haben :) –