apache-spark-sql

5Hitze

1Antwort

Integration von Spark SQL und Apache Drill über JDBC

Ich möchte einen Spark SQL DataFrame aus den Ergebnissen einer Abfrage über CSV-Daten (auf HDFS) mit Apache Drill erstellen. I erfolgreich konfiguriert Spark-SQL, um es über JDBC zu machen eine Verbin

11Hitze

2Antwort

Unterschied zwischen na(). Drop() und Filter (col.isNotNull) (Apache Funke)

Gibt es einen Unterschied in der Semantik zwischen df.na().drop() und df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull() && !df.col("onlyColumnInOneColumnDataFrame").isNaN()) wo df ist Apa

7Hitze

1Antwort

Wie sammle ich eine einzelne Spalte in Spark?

Ich möchte eine Aktion für eine einzelne Spalte ausführen. Leider, nachdem ich diese Spalte transformiert habe, ist sie jetzt nicht mehr ein Teil des Datenrahmens, von dem sie kam, sondern ein Column-

12Hitze

1Antwort

Verwenden Sie collect_list und collect_set in Spark SQL

Entsprechend der docs, die collect_set und collect_list Funktionen sollten in Spark SQL verfügbar sein. Aber ich kann es nicht zur Arbeit bringen. Ich benutze Spark 1.6.0 mit einem Docker image. Ich v

8Hitze

2Antwort

Wie kann ich zusätzliche Parameter an UDFs in SparkSql übergeben?

Ich möchte die Datumsspalten in einer DataFrame analysieren, und für jede Datumsspalte kann die Auflösung für das Datum ändern (d. H. 2011/01/10 => 2011/01, wenn die Auflösung auf "Monat" festgelegt i

8Hitze

2Antwort

Wie ein Funke Datenrahmen cachen und es in einem anderen Skript

Referenz Ist es möglich, einen Datenrahmen zwischenzuspeichern und dann in einem anderen Skript verweisen (Abfrage) es ... Mein Ziel ist wie folgt:? in Skript 1, einen Datenrahmen (df) Run Skript 1 un

11Hitze

3Antwort

SPARK SQL - Update MySql Tabelle mit DataFrames und JDBC

Ich versuche, einige Daten auf MySql mit Spark SQL DataFrames und JDBC-Verbindung einzufügen und zu aktualisieren. Es ist mir gelungen, neue Daten mit dem SaveMode.Append einzufügen. Gibt es eine Mögl

20Hitze

4Antwort

Wie füge ich eine dauerhafte Spalte von Zeilen-IDs zu Spark DataFrame hinzu?

Diese Frage ist nicht neu, aber ich finde überraschendes Verhalten in Spark. Ich muss eine Spalte von Zeilen-IDs zu einem DataFrame hinzufügen. Ich habe die DataFrame-Methode monoton_increasing_id() b

14Hitze

1Antwort

Filter Funken DataFrame auf Zeichenfolge enthält

Ich verwende Spark 1.3.0 und Spark Avro 1.0.0. Ich arbeite von the example on the repository page. Das folgende Code funktioniert gut val df = sqlContext.read.avro("src/test/resources/episodes.avro")

7Hitze

2Antwort

Was ist der Unterschied zwischen Shuffle Read und Shuffle Write von Spark?

Ich muss ein Spark-Programm ausführen, das sehr viele Daten enthält. Ich versuche, das Funke-Programm zu optimieren und durch die Funke-UI zu arbeiten und versuche, den Shuffle-Teil zu reduzieren. Es