spark-dataframe

2Hitze

1Antwort

Wie anwenderdefinierte Funktion auf jede Teilmenge anwenden, die von einer Gruppe durch Operation in Apache Spark gebildet wird?

Ich habe einen Datenrahmen, die wie folgt aussieht: [ID_number,cust_number,feature1,feature2,feature3,....] Jetzt möchte ich eine Abfrage schreiben, die Gruppen von ID_NUMBER und eine benutzerdefini

0Hitze

1Antwort

Split ein Funke Datenrahmen mit zeilenbegrenzer

Hier ist mein Datenrahmen Die Basis RDD, dass dieser Datenrahmen arbeitet an mit Index gezippt. Ich möchte diesen ursprünglichen Datenrahmen in mehrere Datenrahmen aufteilen, wobei das Trennzeichen au

-1Hitze

1Antwort

JSON-Felder werden standardmäßig sortiert, wenn sie in Spark konvertiert werden. Datenrahmen

Wenn ich einen Datenrahmen aus der JSON-Datei erzeuge, werden die Felder aus der JSON-Datei standardmäßig im Datenrahmen sortiert. Wie vermeidet man diese Sortierung? Jsonfile mit einer json Nachricht

0Hitze

1Antwort

Apache Zeppelin schlägt beim Lesen csv mit pyspark

Ich verwende Zeppelin-Sandbox 0.5.6 mit Spark 1.6.1 auf Amazon EMR. Ich lese csv Datei befindet sich auf s3. Das Problem ist, dass manchmal Ich bekomme Fehler beim Lesen der Datei. Ich muss den Interp

0Hitze

1Antwort

definieren Eingangsparameter für UDF in Funken scala

ich in scala arbeite und Funken ich ein UDF bin definieren, hier ist es def udfcrpentcd = udf((CORP_ENT_CD:String)=>{ state_name match{ case "IL1" if state_name.contains("IL1")=> "IL1"

2Hitze

2Antwort

Spark UDAF: java.lang.InternalError: Fehlerhafter Klassenname

Ich verwende Spark 1.5.0 von CDH 5.5.2 Distro. Ich wechselte von 2.10.4 zu Scala 2.10.5. Ich verwende den folgenden Code für UDAF. Ist das irgendwie String vs UTF8String Problem? Wenn ja, wird jede Hi

0Hitze

1Antwort

Spark (Scala) sqlDataFrame Joins funktioniert nicht wie erwartet

Ich dachte, ich wüsste, dass SQL-Joins, aber jetzt bin ich mir nicht so sicher. Ich habe einen Datenrahmen mit Filmbewertungen und einen anderen Datenrahmen mit userIds und deren Indizes. Ich möchte b

3Hitze

1Antwort

Wildcard öffnen Scala Funken

Hallo ich sagen, ich habe ein paar Tische mit den gleichen Header in mehrere CSV-Dateien gespeichert Ich möchte so etwas tun scala> val files = sqlContext.read .format("com.databricks.spark.csv") .o

9Hitze

3Antwort

Wie erhält man einen Wert vom Row-Objekt in Spark Datareframe?

für averageCount = (wordCountsDF .groupBy().mean()).head() ich Row(avg(count)=1.6666666666666667) aber wenn ich versuche: averageCount = (wordCountsDF .groupBy().mean()).head().getFl

0Hitze

1Antwort

Wie kann ein sparkR-Datenframe entpivot werden?

Ich versuche, einen Datenrahmen in SparkR zu transponieren/zu entmutigen. Ich finde keine direkte Methode, die im SparkR-Paket verfügbar ist, um das Unpivoting eines Datenrahmens durchzuführen. Ich bi