So konvertieren Spark R-Datenrahmen in R-Liste

Question

Dies ist mein erstes Mal, um Spark R zu versuchen, die gleiche Arbeit zu tun, die ich mit RStudio, in Databricks Cloud Community Edition getan habe. Aber traf einige seltsame Probleme.

Es scheint, dass Spark R Pakete wie ggplot2, plyr unterstützen, aber die Daten müssen im R-Listenformat sein. Ich könnte diese Art von Liste in R Studio generieren, wenn ich train <- read.csv("R_basics_train.csv") verwenden, Variable train Hier ist eine Liste, wenn Sie typeof(train) verwenden.

Jedoch, in Spark R, wenn ich die gleichen CSV-Daten wie "trainieren" lesen, wird es in Dataframe konvertiert, und dies ist nicht der Spark Python DataFrame, den wir zuvor verwendet haben, da ich collect() Funktion nicht verwenden kann wandeln sie in die Liste .... Wenn Sie typeof(train) verwenden, zeigt die Art "S4" ist, aber in der Tat ist die Art Datenrahmen ....

So ist es trotzdem in Spark-R, die ich in Datenrahmen R umwandeln Liste, damit ich Methoden in ggplot2, plyr verwenden kann?

Sie können die ursprüngliche CSV-Trainingsdaten finden Sie hier: train

Answer 1

Später fand ich, dass r_df <- collect(spark_df) verwendet, wird Spark-Datenrahmen in R Datenrahmen, konvertieren, obwohl nicht R Zusammenfassung() verwenden, auf dessen Datenrahmen, mit R Datenrahmen, Wir können viele R-Operationen durchführen.

Answer 2

Nicht sicher, wenn Sie dies als Nachteil von sparkR nennen, aber um viele gute Funktionen, die R zu bieten hat, wie z. B. Datenerforschung, ggplot Bibliotheken, müssen Sie Ihre pyspark Datenrahmen in normalen Datenrahmen zu konvertieren anrufen sammeln

df <- collect(df)