apache-spark-sql

1Hitze

1Antwort

Warum wird nur einer von Spark-Jobs mit nur einem Executor ausgeführt?

Mein Spark Cluster hat 1 Master und 2 Arbeiter. Die Anwendung liest CSV-Dateien von s3 in DataFrames, registriert sie als temporäre Tabellen und verwendet sqlContext, um SQL-Abfragen zum Erstellen neu

3Hitze

3Antwort

withColumn erlaubt mir nicht max() Funktion zu verwenden, um eine neue Spalte zu erzeugen

ich einen Datensatz wie dieses: a = sc.parallelize([[1,2,3],[0,2,1],[9,8,7]]).toDF(["one", "two", "three"]) Ich möchte einen Datensatz haben, die eine neue Spalte hinzufügt, die auf den größten Wert

12Hitze

2Antwort

Wie werden Datensätze in mehreren Spalten verknüpft?

Gegeben zwei Funken Datensätze, A und B kann ich eine auf einzelne Spalte verbinden Sie wie folgt vor: a.joinWith(b, $"a.col" === $"b.col", "left") Meine Frage ist, ob Sie mehrere Spalten mit einer

0Hitze

1Antwort

Erste Wochen- und Tagesmittelwerte der Zeitstempel-Daten

ich derzeit Daten auf einem Spark-Datenrahmen, die als solche formatiert ist: Timestamp Number ......... ...... M-D-Y 3 M-D-Y 4900 Die Zeitstempel-Daten in keiner Weise einheitlich oder konsist

2Hitze

2Antwort

Spark-Datenframe ist nicht sortiert nach der Sortierung

Ich verarbeite eine JSON-Datei, um zwei JSON-Dateien mit Spark (Version 1.6.1) zu generieren. Die Größe der Eingabedatei beträgt ca. 30 ~ 40G (100M Datensätze). Für die generierten Dateien ist der grö

-2Hitze

1Antwort

Lesen eines JSON in Funke

Ich habe eine Tabelle in Cassandra, wo es eine Spalte des Typs 'Text' hat. Der Wert, den es enthält, ist ein JSON-Datentyp. Also in jedem Datensatz wird diese Spalte einen Wert wie haben. { "a": "1",

0Hitze

1Antwort

Split ein Funke Datenrahmen mit zeilenbegrenzer

Hier ist mein Datenrahmen Die Basis RDD, dass dieser Datenrahmen arbeitet an mit Index gezippt. Ich möchte diesen ursprünglichen Datenrahmen in mehrere Datenrahmen aufteilen, wobei das Trennzeichen au

0Hitze

1Antwort

SparkSQL Aggregator: Typ Mismatch Fehler

Ich benutze Databricks Community Edition mit Spark 2.0 Vorschau. habe ich versucht, den folgenden (einfachen) Code: import org.apache.spark.sql.expressions.Aggregator import org.apache.spark.sql.Enco

3Hitze

2Antwort

Wie die Datenbank in SparkSQL über Hive in Spark 1.3 angegeben werden

Ich habe einen einfachen Scala-Code, der Daten aus der Hive-Datenbank abruft und eine RDD aus der Ergebnismenge erstellt. Es funktioniert gut mit HiveContext. Der Code ähnelt diesem: val hc = new Hive

0Hitze

1Antwort

definieren Eingangsparameter für UDF in Funken scala

ich in scala arbeite und Funken ich ein UDF bin definieren, hier ist es def udfcrpentcd = udf((CORP_ENT_CD:String)=>{ state_name match{ case "IL1" if state_name.contains("IL1")=> "IL1"