apache-spark-sql

0Hitze

1Antwort

pyspark.sql Verständnis Syntax und Unterschied zwischen den Funktionen explodieren und splitten

Ich nehme eine mooc. Es hat einen shakespeareDF Datenrahmen, die unter Text hat word | +-------------------------------------------------+ |1609 | | | |the sonnet

0Hitze

1Antwort

Löschen Tabellen durch Regex

Gibt es eine Möglichkeit zum Löschen mehrerer Tabellen mit einem Regex in SparkSQL? Ich möchte so etwas wie dies tun: sqlContext.sql("DROP TABLE IF EXISTS job*") Wo job* für alle Tabellen mit job St

7Hitze

2Antwort

Spark-Funktionen vs UDF-Leistung?

Spark bietet jetzt vordefinierte Funktionen, die in Datenrahmen verwendet werden können, und es scheint, dass sie stark optimiert sind. Meine ursprüngliche Frage sollte schneller sein, aber ich habe s

0Hitze

1Antwort

Apache Spark - schnellste Möglichkeit, SQL zu verwenden?

Nach meinem Wissen kann Spark SQL mit zwei verschiedenen Syntaxen verwenden. Die erste ist die .sql() Funktion, zum Beispiel zu verwenden: DataFrame df = sqlContext.read().parquet("../loc/of/this");

0Hitze

2Antwort

Spark SQL: Aggregat Spaltenwerte innerhalb einer Gruppe

Ich muss die Werte einer Spalte articleId zu einem Array aggregieren. Dies muss innerhalb einer Gruppe geschehen, die ich zuvor per groupBy erstellt habe. Meine Tabelle sieht wie folgt vor: | customer

0Hitze

1Antwort

SqlContext Passing, wenn eine Methode

-I-Tests haben folgende Testfall: test("check foo") { val conf = new SparkConf() val sc = new SparkContext(conf) val sqlc = new SQLContext(sc) val res = foo("A", "B") assert(

-2Hitze

1Antwort

Bietet Databricks empfohlene Spark-Parameter für einen bestimmten Cluster und Datensatz?

Ich habe gerade einen 7-Knoten-Funke-Cluster mit jedem Arbeiter mit 8 GB Speicher und 4 Kernen erstellt. Es ist kein riesiger Cluster, aber scheitert mit "GC Overhead Limit überschritten" für nur 10 G

4Hitze

1Antwort

Datenrahmen partitionBy auf verschachtelte Spalten

Ich versuche, wie unten partitionBy auf einem verschachteltes Feld zu nennen: val rawJson = sqlContext.read.json(filename) rawJson.write.partitionBy("data.dataDetails.name").parquet(filenameParquet)

0Hitze

1Antwort

Spark-Fensterfunktion aggregiert durch häufigsten Wert in Zeile

Ich möchte die am häufigsten vorkommende Zeichenfolge in einer Zeile in einem bestimmten Fenster abrufen und diesen Wert in einer neuen Zeile haben. (benutze Pyspark) So sieht meine Tabelle aus. windo

0Hitze

2Antwort

Wie Spark-Anwendung als Daemon ausführen

Ich habe eine grundlegende Frage zum Ausführen von Spark-Anwendung. Ich habe einen Java-Client, der mir Anfrage für Abfragedaten senden wird, die sich in HDFS befindet. Die Anforderung, die ich erhalt