Spark 2.0.0: SparkR CSV-Import

Question

Ich versuche, eine CSV-Datei in SparkR (mit Spark 2.0.0) zu lesen - & versucht, mit den neu hinzugefügten Funktionen zu experimentieren.

Mit RStudio hier.

Ich erhalte einen Fehler beim "Lesen" der Quelldatei.

Mein Code:

Sys.setenv(SPARK_HOME = "C:/spark-2.0.0-bin-hadoop2.6") 
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"))) 
sparkR.session(master = "local[*]", appName = "SparkR") 
df <- loadDF("F:/file.csv", "csv", header = "true") 

Ich erhalte eine Fehlermeldung bei an der loadDF Funktion.

Der Fehler:

loadDF("F:/file.csv", "csv", header = "true") 

Error in invokeJava(isStatic = TRUE, className, methodName, ...) : java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:422) at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:258) at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:359) at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:263) at org.apache.spark.sql.hive.HiveSharedState.metadataHive$lzycompute(HiveSharedState.scala:39) at org.apache.spark.sql.hive.HiveSharedState.metadataHive(HiveSharedState.scala:38) at org.apache.spark.sql.hive.HiveSharedState.externalCatalog$lzycompute(HiveSharedState.scala:46) at org.apache.spark.sql.hive.HiveSharedSt

Bin ich hier etwas Spezifikation fehlt? Irgendwelche Hinweise, um fortzufahren, würden geschätzt werden.

Answer 1

ich das gleiche Problem haben. Aber Similary Problem mit diesem einfachen Code

createDataFrame(iris) 

Mai bei der Installation einige falsch sein?

UPD. JA ! Ich finde eine Lösung.

Diese Lösung auf dieser Basis: Apache Spark MLlib with DataFrame API gives java.net.URISyntaxException when createDataFrame() or read().csv(...)

Für R nur Sitzung durch diesen Code starten:

sparkR.session(sparkConfig = list(spark.sql.warehouse.dir="/file:C:/temp")) 

Answer 2

Vielleicht sollten Sie versuchen, die CSV mit dieser Bibliothek zu lesen

https://github.com/databricks/spark-csv

Sys.setenv(SPARK_HOME = "C:/spark-2.0.0-bin-hadoop2.6") 

library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"))) 

sparkR.session(master = "local[*]", appName = "SparkR") 

Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.4.0" "sparkr-shell"') 

sqlContext <- sparkRSQL.init(sc) 

df <- read.df(sqlContext, "cars.csv", source = "com.databricks.spark.csv", inferSchema = "true")