apache-spark-sql

2Hitze

1Antwort

SaveAsHadoopDataset schließt nie Zookeeper

Verbindung I den Code unten bin mit zu schreiben, um Hbase jsonDStream.foreachRDD(new Function<JavaRDD<String>, Void>() { @Override public Void call(JavaRDD<String> rdd) throws Exception

2Hitze

2Antwort

org.apache.spark.sql.Row kann nicht in Spark 2.0-Vorschau gelöst werden

Ich bin bereits mit Spark 1.6.1 und jetzt Auswertung von Spark 2.0 Preview, aber ich bin nicht in der Lage, org.apache.spark.sql.Row zu finden . Dies ist erforderlich, da ich meinen Dataframe-Code in

6Hitze

1Antwort

Wie bekomme ich Datum und Uhrzeit vom String?

Ich habe einen Datenrahmen mit folgendem Schema: root |-- date : string (nullable = true) Der Wert sieht aus wie 201605250000. Wie kann ich Datum, Stunde und mm aus dieser Zeichenfolge extrahi

3Hitze

2Antwort

Die Verwendung von dropDuplicates im Datenframe verursacht Änderungen in der Partitionsnummer

Ich habe einen großen Datenrahmen, den ich mit 800 Partitionen erstellt habe. df.rdd.getNumPartitions() 800 Als ich dropDuplicates auf dem Datenrahmen verwenden, ändert es die Partitionen für mich

6Hitze

1Antwort

Spark - Shuffle Read Blocked Time

In letzter Zeit habe ich die Leistung einiger großer, shuffle schwerer Jobs optimiert. Mit Blick auf die Spark UI habe ich eine Option namens "Shuffle Read Blocked Time" im Abschnitt mit den zusätzlic

1Hitze

1Antwort

Wie mit dieser Art von Protokoll enthält json

Hier ist das Protokoll behandeln: "V2|ip-10-203-5-16|PSDK_KINESIS_LOG|PSDK_DEFAULT|2016-05-12 00:00:05|VP|aa2ddfdb-4387-49c0-9651-92cc83b8e905|{"vid":"2237031","fdn":"FDNB1995115","type":"0","version"

0Hitze

1Antwort

Spark-Abfrage etwas falsch, weil die Verarbeitung in einer Stufe blockiert und bleibt dort blockiert, bis die Festplatte voll

Im Ausführen dieser Abfrage unten auf Spark, aber es funktioniert nicht. Wenn es bei der Stufe 13 ankommt, blockiert es. Und der Speicherplatz erhöht sich, während blockiert wird in der gleichen Phase

7Hitze

1Antwort

Pivot String Spalte auf Pyspark Datenrahmen

Ich habe eine einfache Datenrahmen wie folgt aus: rdd = sc.parallelize( [ (0, "A", 223,"201603", "PORT"), (0, "A", 22,"201602", "PORT"), (0, "A", 422,"201601", "DOCK"), (1,

2Hitze

2Antwort

Wie wirkt sich die Menge der Daten in Spark gemischt

Zum Beispiel Im Ausführen einiger Abfragen auf Funken, und in der Spark-UI kann ich sehen, dass einige Abfragen mehr shuffle haben, und diese Shuffle scheint, ist die Menge der Daten lokal gelesen und

-2Hitze

1Antwort

Auswertung mehrerer Elemente oder Schlüssel-Wert in Spark-

Meine Eingangsdatenprobe sieht wie folgt aus (Land, Zone, Temperatur) Ind,Z1,10 Jap,Z2,20 Ind,Z1,30 Ind,Z2,10 Jap,Z1,20 Anforderung Temperatur für die jeweiligen Zonen zusammenfassend wird. Ausg