apache-spark-sql

0Hitze

1Antwort

Ist es ineffizient, Spark SQL-Datenrahmen manuell zu iterieren und Spaltenwerte zu erstellen?

Um ein paar ML-Algorithmen auszuführen, muss ich zusätzliche Datenspalten erstellen. Jede dieser Spalten enthält einige ziemlich intensive Berechnungen, bei denen es darum geht, gleitende Durchschnitt

0Hitze

1Antwort

Abfrage JSON-Daten aus Hbase mit SPARK SQL

Ich habe eine Tabelle in Hbase als -------------------------------------------------------------------------- | rowkey | Name | marks | | 1 | ABC | {"mathematics":"30","science":"50"} |

0Hitze

1Antwort

Spark - So konvertieren Sie Kartenfunktionsausgabe (Zeile, Zeile) Tupel zu einem Dataframe

Ich muss ein Szenario in Spark mit Scala API schreiben. Ich übergebe eine benutzerdefinierte Funktion an einen Dataframe, der jede Reihe von Datenrahmen nacheinander verarbeitet und Tupel (Row, Row) z

1Hitze

1Antwort

Wie wird die Scheibe eines Arrays in Spark SQL (Dataframes) gezogen?

1Hitze

1Antwort

Apache Spark geschachtelt Iterationen in Scala Statistiken RDD erzeugen

Ich habe eine RDD hergestellt von RowKey = client_id, Kampagnen = ein Json Array von {campaign_id: CAMPAIGN_NAME} val clientsRDD = resultRDD.map(ClientRow.parseClientRow) // change RDD of ClientRow o

0Hitze

2Antwort

Apache Funken JDBC-Verbindung Lese-Schreib-Treiber fehlt

Hallo gibt es bereits viele Fragen gibt, zu diesem Thema, die Lösung immer war: umfassen Fahrer über sbt-Baugruppe Funken submit`s Option --packages sie schnell zu laden ich hier ein Minimum Beispiel

3Hitze

1Antwort

Füllen Pyspark Datenrahmen Spalte Nullwert mit Mittelwert aus derselben Spalte

Mit einem Datenrahmen wie diese, rdd_2 = sc.parallelize([(0,10,223,"201601"), (0,10,83,"2016032"),(1,20,None,"201602"),(1,20,3003,"201601"), (1,20,None,"201603"), (2,40, 2321,"201601"), (2,30, 10,"201

3Hitze

1Antwort

MongoDB-Abfragefilter mit der Spark-MongoDB-Bibliothek von Stratio

Ich versuche, eine MongoDB-Sammlung mit der Spark-MongoDB von Stratio library abzufragen. Ich folgte this Thread zu beginnen mit und ich bin zur Zeit das folgende Stück Code ausgeführt wird: reader =

1Hitze

1Antwort

Spark-SQL - registriert temporäre Tabelle nicht

finde ich den folgenden Befehl: spark-shell --packages datastax:spark-cassandra-connector:1.6.0-s_2.10 Dann hör ich den Zusammenhang mit: sc.stop Dann laufe ich diesen Code in der REPL: val conf =

4Hitze

1Antwort

Partitionierung von mehreren Spalten in Spark-SQL

Mit Spark-SQL die Fensterfunktionen, muss ich nach mehreren Spalten partitionieren, um meine Daten Abfragen ausführen, wie folgt: val w = Window.partitionBy($"a").partitionBy($"b").rangeBetween(-100,