apache-spark-sql

3Hitze

1Antwort

Einfügen von Daten in eine Hive Tabelle mit HiveContext mit Spark-Scala

konnte ich Daten in eine Hive Tabelle von meinem Funken Code wie unten val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) sqlContext.sql("CREATE TABLE IF NOT EXISTS e360_models.employ

0Hitze

2Antwort

Laden Sie Daten von Mysql-Datenbank mit Hilfe von Scala IDE im Spark-Framework

Ich habe dieses Problem. IDE Scala gibt mir einen Fehler, weil es besagt, dass read Methode in sqlContext.read.format("jdbc").options(options) nicht zu SQLContext Objekt gehört. Muss ich eine Abhängig

1Hitze

1Antwort

Spark SQL: Wie wird es RDD-Operationen zugeordnet?

Wenn ich Funken lernen SQL, habe ich eine Frage in meinen Gedanken: Wie gesagt, das Ergebnis der SQL-Ausführung ist SchemaRDD, aber was passiert hinter der Szene? Wie viele Transformationen oder Aktio

0Hitze

1Antwort

"spark.sql.execution.id ist bereits festgelegt" Ausnahme auf SparkSQL

Ich bin mit dieser Ausnahme mit Spark-SQL über Hive-Tabellen konfrontiert. Dies geschieht insbesondere, wenn meine Frage hat sowohl mit als auch INSERT-Klauseln, dh es funktioniert, wenn ich die WITH-

1Hitze

1Antwort

Spark liest die Cassandra UDT Spalte

Ich habe Spalte in meiner Cassandra Tabelle mit dem Namen 'ABC_lines'. Dies ist ein UDT-Datentyp. Der UDT-Name ist "ABC_om_line" Wenn ich das Schema der Tabelle ABC_lines ansehe, sieht mein Spaltentyp

3Hitze

3Antwort

Hinzufügen einer zusätzlichen Spalte, die den Unterschied zwischen dem nächsten Unterschied einer vorherigen Spalte darstellt

Mein Szenario wird möglicherweise anhand eines Beispiels näher erläutert. Sagen wir, ich folgende Daten hatte: Type Time A 1 B 3 A 5 B 9 ich eine zusätzliche Spalte jeder Zeile hinzufügen möchten, die

3Hitze

3Antwort

Wie konvertiert man PythonRDD (von Zeilen in JSONs) zu DataFrame?

Ich versuche mehrere JSONs zu lesen, um einen DataFrame zu erstellen. Ich stelle mehrere JSONs-Dateien in ein PythonRDD zusammen, und wenn ich versuche, in DataFrame zu konvertieren, schlägt es fehl.

0Hitze

1Antwort

Abfrage mit Spark-SQL mit array_contains liefert keine Ergebnisse

Hier ist das Schema I mit (seinem einen kleineren Datenrahmen von einem größeren Schema) für eine root |-- NET: array (nullable = true) | |-- element: struct (containsNull = true) | | |-- BDZ_BUNDL

2Hitze

1Antwort

Gibt es eine Möglichkeit, Spark mit einem Postgis-Geometrietyp mit einer Tabelle zu verbinden?

Ich versuche, Funken zu einer PostgreSQL-Datenbank mit Postgis zu verbinden. ich es auf diese Weise verbinden: val jdbcDF = sc.read.format("jdbc").options( Map("url" -> "jdbc:postgresql://dbHost:

4Hitze

1Antwort

Spark Deduplicate-Spalte im Datenframe basierend auf Spalte in anderen Datenrahmen

Ich versuche, Werte in einer Spark-Dataframe-Spalte basierend auf Werten in einer anderen Dataframe-Spalte zu deduplizieren. Es scheint, dass withColumn() nur innerhalb eines einzigen Datenrahmens fun