apache-spark-sql

0Hitze

1Antwort

Scala: Speichern Ergebnis in einer ToDf-Tabelle

Ich versuche, einige Analysen in ToDF TempTable zu speichern, aber eine die folgenden Fehler erhalten ": 215: Fehler: Wert toDF ist kein Mitglied von Double". Ich lese Daten einer Cassandra-Tabelle, u

0Hitze

1Antwort

indexOf Funktion auf Datenrahmen

Ich habe eine Tabelle mit einer Spalte des Typs String. Ich möchte eine weitere Spalte mit einem Teil der Kette erhalten, die durch die Position des Zeichens "-" definiert ist. Beispiel: Die Spalte ha

2Hitze

1Antwort

Datensätze von Arrays in Spark (1.6.1)

Also habe ich versucht, ein Projekt, an dem ich arbeite, um die Dataset-API zu reformatieren, und hatte einige Probleme mit Codierungsfehlern. Nach dem, was ich gelesen habe, denke ich, dass ich in de

20Hitze

4Antwort

Wie erstellt man DataFrame aus Scalas Liste der Iterables?

Ich habe folgenden Scala Wert: val values: List[Iterable[Any]] = Traces().evaluate(features).toList und ich mag es einen Datenrahmen konvertieren. Wenn ich versuche, die folgenden: sqlContext.create

0Hitze

1Antwort

Teilstring einer Spalte aus einem anderen SQL

Ich habe die folgende Tabelle. +--------------------+-----+ |fardet_cd_fare_basis|part2| +--------------------+-----+ | MEO00RIG| 00R| | MEO00RIG| RIG| | MEO00RIG| I| +-------------------

19Hitze

3Antwort

Pyspark String in Datumsformat konvertieren

Ich habe ein Datum pyspark Datenframe mit einer Zeichenfolge Spalte im Format MM-dd-yyyy und ich versuche, dies in eine Datumsspalte zu konvertieren. Ich habe versucht: df.select(to_date(df.STRING_COL

3Hitze

1Antwort

Aggregate Array-Typ in Spark-Dataframe

Ich habe einen Dataframe Auftrag: +-----------------+-----------+--------------+ | Id| Order | Gender| +-----------------+-----------+--------------+ | 1622|[101330001]| Male| | 1622|

0Hitze

2Antwort

Spark: Wie erstelle ich einen Job für die Funkeverarbeitung

Ich benutze spark-sql, um den Job auszuführen und was sollte der Produktionsbefehl sein? Kann ich den Befehl spark-sql als Produktionsauftrag verwenden? Danke, Virendra

1Hitze

2Antwort

SparkSQL-Scala mit POM

Ich habe ein Problem mit Cloudera VM und Spark. Zunächst einmal bin ich bei Spark völlig neu, und mein Chef hat mich gebeten, Spark auf Scala in einer virtuellen Maschine zu testen. Ich habe die virtu

0Hitze

1Antwort

Verbindung zu SparkSQL nicht möglich

Ich verwende Remote-Mysql-Metastore für Hive. Wenn ich den Hive-Client starte, läuft es perfekt. aber wenn ich versuche, spark-sql entweder über funken-shell oder durch spark-submit zu verwenden, kann