apache-spark-sql

5Hitze

1Antwort

Ich habe eine einfache UDF zum Konvertieren oder Extrahieren einiger Werte aus einem Zeitfeld in einem Temptabl in Spark. Ich registriere die Funktion, aber wenn ich die Funktion mit sql aufrufen, lös

2Hitze

2Antwort

Was ist eine effiziente Möglichkeit, nach Spalten zu partitionieren, aber eine feste Anzahl von Partitionen beizubehalten?

Was ist der beste Weg, um die Daten durch ein Feld in eine vordefinierte Anzahl von Partitionen zu partitionieren? Ich partitioniere derzeit die Daten durch Angabe der partionCount = 600. Es wurde her

3Hitze

4Antwort

Spark SQL auf ORC-Dateien gibt nicht korrekt Schema (Spaltennamen)

Ich habe ein Verzeichnis mit ORC-Dateien. Ich schaffe einen Datenrahmen den Code unten mit var data = sqlContext.sql("SELECT * FROM orc.`/directory/containing/orc/files`"); Es Datenrahmen mit diesem

1Hitze

2Antwort

pyspark mit HCatalog Tabelle in Zeppelin

Ich habe eine Tabelle HCatalog Tabelle mit Partitionen Zuordnung zu einigen Zip-Dateien in S3 erstellt. In Zeppelin, habe ich einen Absatz die %pyspark Modul mit folgenden Codes: Absatz 1: %pyspark f

1Hitze

1Antwort

PySpark bedingte Inkrement

Ich bin neu in PySpark und ich versuche, einige Python-Code zu konvertieren, der eine neue Variable "COUNT_IDX" ableitet. Die neue Variable hat einen Anfangswert von 1, wird jedoch um 1 erhöht, wenn e

0Hitze

1Antwort

Clean Spark Cache-Daten

verwendete ich Cache() und bestehen() auf Dataframe througout meiner Anwendung. Und ich möchte wissen, muss ich unpersist aufrufen() auf jedem Datenrahmen, den ich zwischengespeichert habe, um allen S

0Hitze

2Antwort

Erstellen einer aggregierten Metriken aus JSON-Logs in Apache Funke

Ich fange mit Apache Funke an. Ich habe eine Anforderung, ein JSON-Protokoll in eine abgeflachte Metriken zu konvertieren, kann auch als eine einfache CSV betrachtet werden. Für z. "orderId":1, "

1Hitze

1Antwort

Übergabe von SQLContext zwischen Klassen

Ich habe eine Hauptklasse in einer Datei, die ein sqlContext Objekt erstellt. Allerdings habe ich zahlreiche Klassen, die sqlContext verwenden, aber ich finde keinen guten Weg, um es zwischen den Klas

8Hitze

2Antwort

Verbinden von zwei DataFrames in Spark SQL und Auswählen von Spalten von nur einem

Ich habe zwei DataFrames in Spark SQL (D1 und D2). ich innere versuche verbinden beide D1.join(D2, "some column") und wieder Daten von nur D1, nicht die vollständigen Datensatz. Sowohl D1 als auch D2

0Hitze

2Antwort

Sparksql: Json-Array, das die Reihenfolge der Elemente verwaltet

Ich habe einige JSON-Daten, bei denen eines der Elemente ein Array ist. Hier ist ein Beispieldatensatz: { "name": "Michael", "Schulen": [{ "sname": "Stanford", "Jahr": 2010} { "sname": "berkeley", "Ja