apache-spark-sql

14Hitze

1Antwort

Kodieren und Assemblieren mehrerer Features in PySpark

Ich habe eine Python-Klasse, die ich benutze, um einige Daten in Spark zu laden und zu verarbeiten. Unter verschiedenen Dingen, die ich tun muss, erzeuge ich eine Liste von Dummy-Variablen, die aus ve

8Hitze

1Antwort

Was bedeutet Bühne in den Funkenprotokollen?

Wenn ich einen Job mit Funken starte, bekomme ich die folgenden Protokolle? [Stage 0:> (0 + 32)/32] Hier 32 entspricht der Anzahl der Partitionen von rdd, die ich gefragt habe. Allerdings bekomme ich

17Hitze

2Antwort

Spark-Werte aus einer Reihe extra

Ich habe folgenden Datenrahmen val transactions_with_counts = sqlContext.sql( """SELECT user_id AS user_id, category_id AS category_id, COUNT(category_id) FROM transactions GROUP BY user_id,

7Hitze

4Antwort

Spark DataFrame und Umbenennen mehrerer Spalten (Java)

Gibt es eine bessere Möglichkeit, alle oder mehrere Spalten zur gleichen Zeit einer bestimmten SparkSQL DataFrame voranzustellen oder umzubenennen als mehrere Male dataFrame.withColumnRenamed() aufruf

5Hitze

2Antwort

pyspark: TypeError: IntegerType kann kein Objekt vom Typ <type 'unicode'>

Programmierung mit pyspark auf einem Spark Cluster, die Daten sind groß und in Stücken so kann nicht in den Speicher geladen werden oder überprüfen Sie die Gesundheit der Daten leicht im Grunde sieht

5Hitze

1Antwort

WARN ReliableDeliverySupervisor: Verbindung mit Remote-System ist fehlgeschlagen, Adresse ist jetzt für [5000] ms gesperrt. Grund: [distanzierte]

Ich bin mit den folgenden Satz auf aws entfachen val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.implicits._ case class Wiki(project: String, title: String, count: Int, b

7Hitze

3Antwort

So speichern Sie einen Funken DataFrame als CSV auf der Festplatte?

zum Beispiel Ergebnis dieser df.filter("project = 'en'").select("title","count").groupBy("title").sum() , die ein Array zurückkommen würde. So speichern Sie einen Funken DataFrame als csv auf der Fe

13Hitze

1Antwort

Explode (Transponieren?) Mehrere Spalten in Spark SQL Tabelle

Ich benutze Spark SQL (ich erwähne, dass es in Spark ist, falls das die SQL-Syntax betrifft - ich bin nicht vertraut genug, um sicher zu sein) und ich habe eine Tabelle, die ich neu strukturieren möch

19Hitze

4Antwort

Der beste Weg, um den maximalen Wert in einer Spark-Datenframesspalte zu erhalten

Ich versuche herauszufinden, wie man den größten Wert in einer Spark-Dataframe-Spalte am besten erhält. Betrachten Sie das folgende Beispiel: df = spark.createDataFrame([(1., 4.), (2., 5.), (3., 6.)],

6Hitze

2Antwort

Apache zeppelin Tutorial Fehler "SQL-Interpreter nicht gefunden"

Im "Zeppelin Tutorial" Notebook, kann ich nicht % SQL-Interpreter verwenden. Es wird "sql interpreter not found" ausgeben. Aber die Funken Befehle funktionieren gut, sowie %md und %sh. Hier das Protok