apache-spark-sql

0Hitze

2Antwort

Spark SQL: Spaltenwerte können nur eine Kombination von A, T, G, C oder N sein

Ich versuche eine Spark-Tabelle abzufragen, um alle Zeilen in der Spalte 'ref' zu finden, die Buchstaben enthalten, die nicht A sind. T, G, C oder N. Ein gültiges Ergebnis sollte nur diese Buchstaben

0Hitze

1Antwort

Spark sql: Wie filtere ich einen Datenrahmen zweimal und dann zusammen?

Ich versuche zu filtern und beizutreten, um einen einfachen Drehpunkt zu machen, aber sehr seltsame Ergebnisse zu bekommen. val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.

12Hitze

1Antwort

Wie ändert man den Spaltentyp in DataFrames von String auf Date?

Ich habe einen Datenrahmen, der zwei Spalten (C, D) als String-Spalte Typ definiert haben, aber die Daten in den Spalten sind tatsächlich Daten. zum Beispiel hat Spalte C das Datum als "01-APR-2015" u

0Hitze

1Antwort

NoSuchMethod Ausnahme beim Lesen von Kassandra-Tabellen aus Pyspark

Ich versuche, Daten aus Cassandra-Schlüssel in Pyspark zu lesen. Hier ist mein Code: from pyspark import SparkContext from pyspark import SparkConf from pyspark.sql import SQLContext conf = Sp

2Hitze

1Antwort

Schnellste Möglichkeit zu überprüfen, ob DataFrame (Scala) leer ist?

Wie wenn Datenrahmen (Scala) einzuchecken schnellste Weg leer ist? Ich benutze DF.limit (1) .rdd.isEmpty, schneller als DF.rdd.isEmpty, aber nicht ideal.Is es einen besseren Weg das zu tun?

2Hitze

2Antwort

Wie kann ich eine for-Schleife in Spark mit scala parallelisieren?

Zum Beispiel haben wir eine Parkettdatei mit dem Schlusskurs von 2000 Stocksymbolen in den letzten 3 Jahren, und wir wollen den fünftägigen gleitenden Durchschnitt für jedes Symbol berechnen. So erste

2Hitze

1Antwort

Spark DataFrame Cache Große TempTable

Ich habe eine Spark-Anwendung mit einem sehr großen Dataframe. Ich registriere gerade den Datenrahmen als eine tempTable, so dass ich mehrere Abfragen dagegen durchführen kann. Wenn ich RDDs verwende,

3Hitze

3Antwort

Wie kann ich (Spark1.6) saveAsTextFile zum Anhängen bestehender Datei machen?

In SparkSQL, verwende ich DF.wirte.mode (SaveMode.Append) .json (xxxx), aber diese Methode, diese Dateien wie der Dateiname ist zu komplex und zufällig bekommen, kann ich nicht verwenden api zu bekomm

2Hitze

1Antwort

Scala - erste Quartil, dritte Quartil und IQR von Funken SqlContext Datenrahmen ohne Hive

Ich habe einen Datenrahmen: data.show() +--------+------+------------------+ | Count| mean| stdev| +--------+------+------------------+ | 5| 6337| 1684.569470220803| | 3| 7224| 567.825090440

1Hitze

2Antwort

Spalte Namen nicht in Datenframe Funken

Ich arbeite derzeit mit Funken Streaming und Daten von meinem Kafka in Json erhalten. Ich konvertiere meine RDD in Dataframe und registrieren Sie es als Tabelle. Nachdem ich, dass, wenn ich eine Abfra