apache-spark-1.6

3Hitze

1Antwort

Spark-Streaming-Anwendung fehlschlägt mit KafkaException: String überschreitet die maximale Größe oder mit Illegal

TL; DR: Meine sehr einfachen Funken Streaming-Anwendung fehlschlägt in den Fahrern mit der „KafkaException: String die maximale Größe überschreitet“. Ich sehe die gleiche Ausnahme in dem Testamentsvol

0Hitze

2Antwort

Erste Nicht-Null-Werte in der Gruppe erhalten nach (Spark 1.6)

Wie kann ich die ersten Nicht-Null-Werte von einer Gruppe erhalten? Ich habe versucht mit first mit coalesceF.first(F.coalesce("code")) aber ich bekomme nicht das gewünschte Verhalten (ich scheine die

0Hitze

2Antwort

Laufender Funke-Job wird nicht in der UI angezeigt

Ich habe meinen Funke-Job wie hier erwähnt bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jar ohne Erwähnung der --master Parameter oder spark.master Parameter übergeben. Stattdessen wird

15Hitze

1Antwort

PySpark Serialisierung EOFError

Ich lese in einer CSV wie ein Spark DataFrame und führen darauf Maschinen lernen. Ich bekomme immer eine Python-Serialisierung EOFError - keine Ahnung warum? Ich dachte, es könnte ein Speicherproblem

1Hitze

2Antwort

So registrieren Sie S3-Parkettdateien in einem Hive-Metastore mit Spark auf EMR

Ich verwende Amazon Elastic Map Reduce 4.7.1, Hadoop 2.7.2, Hive 1.0.0 und Spark 1.6.1. Anwendungsfall: Ich habe ein Spark-Cluster für die Verarbeitung von Daten verwendet. Diese Daten werden in S3 al

0Hitze

1Antwort

So führen Sie eine dynamische Partition basierend auf Zeilenanzahl in DataFram für einen Spaltenwert

Ich versuche, eine Eingabedatei basierend auf accountId zu partitionieren Aber diese Partition wurde nur erstellt, wenn dataFrames mehr als 1000 Datensätze enthält. Die ist eine dynamische Ganzzahl, d

1Hitze

2Antwort

Wie wird die Nummer der Partition beim Lesen von Daten aus Cassandra gesteuert?

I verwenden: cassandra 2.1.12 - 3 Knoten spark 1,6-3 Knoten spark cassandra Stecker 1,6 I verwenden Token in Cassandra (nicht vnodes). Ich schreibe einen einfachen Job zum Lesen von Daten aus einer Ca