apache-spark

9Hitze

5Antwort

Spark: JavaRDD <Tuple2> zu JavaPairRDD <>

Ich habe eine JavaRDD<Tuple2<String, String>> und muss es in JavaPairRDD<String, String> umwandeln. Momentan mache ich es, indem ich einfach eine Map-Funktion schreibe, die nur das Eingabetupel zurück

5Hitze

2Antwort

Spark Cassandra Connector - Bereich Abfrage auf Partition Schlüssel

Ich bin der Auswertung von Spark-Cassandra-Connector und ich habe Schwierigkeiten zu versuchen, eine Bereichsabfrage auf Partition Schlüssel zu arbeiten. Gemäß der Dokumentation des Connectors scheint

61Hitze

8Antwort

Wie überschreiben Sie das Ausgabeverzeichnis in spark

Ich habe eine Spark-Streaming-Anwendung, die einen Datensatz für jede Minute produziert. Ich muss die Ergebnisse der verarbeiteten Daten speichern/überschreiben. Wenn ich versuchte, den Dataset zu übe

15Hitze

2Antwort

Spark: Anzahl der Partitionen erhöhen, ohne einen Shuffle zu verursachen?

Wenn die Anzahl der Partitionen verringert werden soll, kann coalesce verwendet werden, was großartig ist, da es kein Shuffle verursacht und augenblicklich sofort funktioniert (erfordert keine zusätzl

13Hitze

3Antwort

Intermittent Timeout Exception mit Funken

Ich habe ein Funken-Cluster mit 10 Knoten, und ich bin immer diese Ausnahme nach dem Spark-Kontext zum ersten Mal mit: 14/11/20 11:15:13 ERROR UserGroupInformation: PriviledgedActionException as:iuber

17Hitze

2Antwort

Wie bekomme ich eine SQL-Zeile_number Entsprechung für eine Spark RDD?

Ich muss eine vollständige Liste der Zeilennummern für eine Datentabelle mit vielen Spalten generieren. In SQL, dies würde wie folgt aussehen: select key_value, col1, col2, col3,

10Hitze

2Antwort

Spark-Streaming: Kann nicht Split berechnen, Block nicht

gefunden Ich versuche, Funken mit Kafka Streaming zu verwenden (Version 1.1.0), aber der Funkenjob hält aufgrund dieser Fehler Absturz: 14/11/21 12:39:23 ERROR TaskSetManager: Task 3967.0:0 failed 4 t

5Hitze

1Antwort

Spark-Fehler: Nicht genügend Speicherplatz zum Zwischenspeichern der Partition rdd_8_2 im Speicher! Freier Speicher ist 58905314 Bytes

Wenn ich einen Spark-Job mit seinem Beispielcode BinaryClassification.scala mit meinen eigenen Daten ausführen, zeigt es immer die Fehler wie "Nicht genügend Speicherplatz, um Partition rdd_8_2 im Spe

19Hitze

4Antwort

Zugriff auf Spark-SQL RDD-Tabellen durch den Thrift Server

Ich habe eine temporäre Tabelle mit Spark-SQL registriert, wie in [this section] beschrieben: people.registerTempTable("people") // I can run queries on it all right. val teenagers = sqlContext.sql(

38Hitze

2Antwort

Wie mit Executor-Speicher und Treiberspeicher in Spark umzugehen?

Ich bin verwirrt über den Umgang mit Executor-Speicher und Treiberspeicher in Spark. sind Meine Umgebungseinstellungen wie folgt: Speicher 128 G, 16 CPU für 9 VM Centos Hadoop 2.5.0-cdh5.2.0 Funken 1.