apache-spark-sql

0Hitze

1Antwort

Apache Funke 1.6+ Fehler beim Laden der Klasse für Datenquelle LIBSVM

habe ich die precompile Version von Apache Funken herunterladen 1.6.0/1.6.1 und wenn ich versuche, scala> val data = sqlContext.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt") in me

1Hitze

1Antwort

pyspark Zeilennummer Datenrahmen

Ich habe ein Datenframe, mit Spalten Zeit, a, b, c, d, val. Ich möchte einen Datenrahmen mit zusätzlicher Spalte erstellen, die die Zeilennummer der Zeile innerhalb jeder Gruppe enthält, wobei a, b, c

1Hitze

1Antwort

Zugriff auf untergeordnete Felder einer verschachtelten JSON-Daten mit Hilfe von Sparksql

Ich mache eine explorative Datenanalyse mit Protokolldaten von Hadoop-Jobverlaufsdateien. unten ist die Probendaten für die Analyse {"type":"AM_STARTED","event":{"org.apache.hadoop.mapreduce.jobhistor

4Hitze

1Antwort

- Schema für Typen Jeden nicht

unterstützt Ich versuche, eine UDF zu erstellen, die negativen Werte in einer Spalte ersetzen wird mit 0 Mein Datenrahmen wird - df bezeichnet und enthält eine Spalte namens avg_x . Dies ist mein Code

1Hitze

1Antwort

Verwendet Spark SQL Cassandra Sekundärindizes?

Wir verwenden Cassandra, um eine Reihe von Analysetabellen zu speichern, zB "Benutzerklicks", "Benutzeranmeldungen" usw. Unser Datenmodell ist so konzipiert, dass unsere Anwendung immer nach dem Parti

0Hitze

2Antwort

Spark Thriftserver stellt keine Verbindung zur richtigen Hive-Datenbank her

Ich benutze einen Spark ThriftServer, damit ich Spark SQL-Befehle für Daten ausführen kann, die ich in einer Hive-Tabelle gespeichert habe. Als ich beginnen die beeline meine aktuellen Tabellen zu zei

2Hitze

1Antwort

Merkmal Zeile ist abstrakt; kann nicht

instanziiert habe ich den folgenden Code zwei Zeilen zu fusionieren versuchen: import org.apache.spark.sql._ def mergeRow(row1:Row, row2:Row):(Boolean, Row)= { var z:Array[String] = new Ar

2Hitze

1Antwort

Spark Scala: das Schema abrufen und speichern

Ist es möglich, das Schema einer RDD abzurufen und in einer Variablen zu speichern? Weil ich einen neuen Datenrahmen von einer anderen RDD mit dem gleichen Schema erstellen möchte. Zum Beispiel unten

8Hitze

2Antwort

Übergeben einer Datenrahmen Spalte und externe Liste zu udf unter mitColumn

Ich habe ein Spark-Datenframe mit folgender Struktur. Das bodyText_token hat die Tokens (verarbeitete Wörter). Und ich habe eine verschachtelte Liste der definierten Schlüsselwörter root |-- id: stri

0Hitze

1Antwort

Apache Spark SQL-Datenframe-Filter Multi-Regeln von String

Ich würde Funken Dataframe verwenden, um Inhalte nach "wie" suchen und wir können 'oder' Funktion tun wie sql '|| so zu filtern. Aber ich muss viele Strings filtern, wie könnte ich die String-Liste od