spark-dataframe

1Hitze

1Antwort

Wie schreibe ich riesige Daten (fast 800 GB) als Hive Orc Tabelle in HDFS mit SPARK?

Ich arbeite in Spark Project seit letzten 3-4 Monaten und vor kurzem. Ich mache eine Berechnung mit einer großen History-Datei (800 GB) und einer kleinen inkrementellen Datei (3 GB). Die Berechnung ge

-2Hitze

1Antwort

Spark SQL DataFrame - Wie transformiert man und erstellt einen neuen?

Ich habe einen DataFrame erstellt aus dem Lesen einer Parkettdatei. Ich wollte diesen DataFrame transformieren und einen neuen DataFrame erstellen. Mein Input File: Name PhoneNumber Shankar 23232322

3Hitze

1Antwort

Warum ist mein Spark DataFrame viel langsamer als RDD?

ich einen sehr einfachen Spark-Datenrahmen habe, und wenn ein Datenrahmen groupby ausgeführt wird, die Leistung ist schrecklich - etwa 8x langsamer als die (in meinem Kopf) äquivalent RDD reduceByKey

20Hitze

4Antwort

Wie erstellt man DataFrame aus Scalas Liste der Iterables?

Ich habe folgenden Scala Wert: val values: List[Iterable[Any]] = Traces().evaluate(features).toList und ich mag es einen Datenrahmen konvertieren. Wenn ich versuche, die folgenden: sqlContext.create

3Hitze

2Antwort

Array [Zeile] in Datenrahmen in Spark/Scala konvertieren

Ich möchte Array[org.apache.spark.sql.Row] in ein DataFrame konvertieren. Kann mir jemand einen besseren Weg vorschlagen? Ich habe versucht, es zuerst in RDD umzuwandeln und dann versuchte, es in Data

5Hitze

1Antwort

pyspark: merge (Außen-Join) zwei Datenrahmen

Ich habe die folgenden zwei Datenrahmen: DF1: Id | field_A | field_B | field_C | field_D 1 | cat | 12 | black | 11 2 | dog | 128 | white | 19 3 | dog | 35 | yellow | 20 4

0Hitze

1Antwort

Schnellste Möglichkeit, mehrere numpy Arrays in Spark rdd zu laden?

Ich bin neu in Spark. In meiner Anwendung möchte ich eine RDD aus vielen numpigen Arrays erstellen. Jedes numpy Array ist (10.000, 5.000). Derzeit versuche ich folgendes: rdd_list = [] for np_array i

2Hitze

1Antwort

pyspark: Beitritt mit Schema? Oder das Schema in eine Liste umwandeln?

Ich verwende den folgenden Code zwei Datenrahmen zu verbinden: new_df = df_1.join(df_2, on=['field_A', 'field_B', 'field_C'], how='left_outer') Der obige Code funktioniert gut, aber manchmal df_1 un

1Hitze

2Antwort

Anfügen einer Spalte an Dataframe mithilfe von mitColumn und callUDF

Ich versuche, eine neue Spalte zu einem bestimmten Datenrahmen basierend auf den anderen Spalten desselben Datenrahmens hinzuzufügen. Karte ist ein String-Boolean Karte Unten ist mein Code. hiveContex

3Hitze

2Antwort

Spark Datarefames: Wie kann ich die Reihenfolge der Spalten in Java/Scala ändern?

Nachdem ich zwei Datenrahmen verbunden habe, finde ich, dass die Spaltenreihenfolge geändert hat, was ich vermutete. Ex: Anschließen von zwei Datenrahmen mit Säulen [b,c,d,e] und [a,b] auf b ergibt ei