apache-spark-sql

7Hitze

2Antwort

Ich habe einen DataFrame aus einer SQLServer-Tabelle geladen. Es sieht wie folgt aus: >>> df.show() +--------------------+----------+ | timestamp| Value | +--------------------+----------+ |2015

13Hitze

1Antwort

Mehrere Aggregate Operationen auf der gleichen Säule eines Funkens Datenrahmen

Ich habe drei Arrays von String-Typ enthält folgende Informationen: groupBy Array: Namen der Spalten I enthalten, zu einer Gruppe von meine Daten wollen. Aggregat-Array: enthält Namen von Spalten, die

6Hitze

2Antwort

Funken Lesen von Daten aus MySQL parallel

Im Versuch, Daten aus MySQL und schreiben Sie es zurück zu Parkett Datei in s3 mit bestimmten Partitionen wie folgt lauten: df=sqlContext.read.format('jdbc')\ .options(driver='com.mysql.jdbc.Driv

7Hitze

3Antwort

Wie erstelle ich einen benutzerdefinierten Transformer aus einer UDF?

Ich habe versucht, eine Pipeline mit benutzerdefinierten Stufen zu erstellen und zu speichern. Ich muss ein column zu meinem DataFrame hinzufügen, indem ich benutze. Daher fragte ich mich, ob es mögli

7Hitze

1Antwort

Spark SQL-Leistung: Version 1.6 vs Version 1.5

Ich habe versucht, die Leistung von Spark SQL Version 1.6 und Version 1.5 zu vergleichen. In einem einfachen Fall ist Spark 1.6 ziemlich schneller als Spark 1.5. In einer komplexeren Abfrage - in mein

8Hitze

1Antwort

Verbinden von DynamoDB aus Spark-Programm, um alle Elemente aus einer Tabelle mit Python zu laden?

Ich habe ein Programm geschrieben, um Elemente in die DynamoDB-Tabelle zu schreiben. Jetzt möchte ich alle Elemente aus der DynamoDB-Tabelle mit PySpark lesen. Gibt es Bibliotheken in Spark?

5Hitze

2Antwort

spark.ml StringIndexer wirft "Unseen Label" auf fit()

Ich bereite ein Spielzeug spark.ml Beispiel vor. Spark version 1.6.0, läuft auf Oracle JDK version 1.8.0_65, pyspark, ipython notebook. Erstens hat es kaum etwas mit Spark, ML, StringIndexer: handling

12Hitze

2Antwort

bestimmte Zeile von Spark Datenrahmen erhalten

Gibt es eine Alternative für df[100, c("column")] in Scala Spark Data Frames. Ich möchte eine bestimmte Zeile aus einer Spalte des Spark-Datenrahmens auswählen. zum Beispiel 100th Reihe in oben R ents

6Hitze

1Antwort

Spark SQL Row_number() PartitionBy Sortieren Desc

Ich habe erfolgreich erstellt row_number()partitionBy von in Spark mit Window, aber würde dies nach absteigend, anstatt der Standard aufsteigend sortieren. Hier ist mein Arbeitscode: from pyspark impo

5Hitze

1Antwort

java.lang.UnsupportedOperationException: 'Schreiben in eine nicht leere Cassandra-Tabelle ist nicht erlaubt

Ich habe Szenario, wo ich Streaming-Daten empfangen wird, die von meinem Spark-Streaming-Programm verarbeitet wird und die Ausgabe für jedes Intervall an meine angehängt wird vorhandene Cassandra-Tabe