apache-spark-sql

0Hitze

1Antwort

Neu zu Spark. Ich möchte eine Transformation in der "WordList" -Spalte eines Funken DataFrame, df, des Typs org.apache.spark.sql.DataFrame = [id: string, wordList: array<string>] machen. Ich benutze D

0Hitze

2Antwort

Wie füge ich Wert in leeren Datenrahmen in Spark ein

Ich entwickle eine Spark-Anwendung mit SPARK SQL, einer meiner Arbeit ist die Auswahl Wert aus zwei Tabellen und fügen Sie es in eine leere Tabelle, die mein Ergebnis ist. aber dafür ich mit Funken am

10Hitze

1Antwort

Apache Spark 2.0: java.lang.UnsupportedOperationException: Kein Encoder gefunden für java.time.LocalDate

Ich verwende Apache Spark 2.0 und case class für Erwähnung Schema für DetaSet erstellen. Wenn ich versuche, benutzerdefinierten Encoder zu definieren, nach How to store custom objects in Dataset?, für

6Hitze

1Antwort

Nicht in der Lage führen zu holen aus hive Transaktion freigegeben Tabelle durch Funken SQL

Hintergrund: - Ich bin mit HDP mit spark1.6.0 und hive 1.2.1 Schritte folgen : - erstellen hive Tabelle: - hive> CREATE TABLE orctest(PROD_ID bigint, CUST_ID bigint, TIME_ID timestamp, CHANNEL_ID big

1Hitze

1Antwort

Apache Spark MLlib mit DataFrame API gibt java.net.URISyntaxException wenn createDataFrame() oder read(). Csv (...)

In einer eigenständigen Anwendung (läuft auf Java8, Windows 10 mit Spark-xxx_2.11: 2.0. 0 als jar Abhängigkeiten) nächster Code einen Fehler gibt: /* this: */ Dataset<Row> logData = spark_session.cre

5Hitze

1Antwort

aus einem Bienenstock Tabelle lesen und schreiben zurück, um es Funken sql

Ich bin eine Hive Tabelle mit Spark-SQL zu lesen und es zu einem scala val val x = sqlContext.sql("select * from some_table") Dann mach eine Verarbeitung mit dem Datenrahmen x I zuweisen und Schließ

2Hitze

1Antwort

Spark DataFrame mapPartitions

Ich muss die verteilte Berechnung auf Spark DataFrame fortsetzen, wobei einige willkürliche (nicht SQL-) Logik auf Brocken von DataFrame aufgerufen wird. ich getan habe: def some_func(df_chunk):

8Hitze

2Antwort

Wie eine Struktur in einem Funkendatenrahmen zu glätten?

1Hitze

1Antwort

Verwenden der Hive-Datenbank in spark

Ich bin neu in spark und versuche, einige Abfragen auf Tpcds-Benchmark-Tabellen mit HortonWorks Sandbox auszuführen. http://www.tpc.org/tpcds/ Es gibt kein Problem bei der Verwendung von Hive durch Sh

0Hitze

2Antwort

Kumulative Summe einer Partition in PySpark

Ich muss eine Spalte mit einer Gruppennummer erstellen, die basierend auf den Werten in der Spalte TRUE inkrementiert. Ich kann nach ID partitionieren, also denke ich, dass dies das Inkrement zurückse