apache-spark

2Hitze

1Antwort

Spark Cartesian verursacht keine Shuffle?

Also habe ich versucht, auf Spark-Operationen zu testen, die Shuffling basierend auf diesem Stack-Overflow-Post verursachen: LINK. Es macht jedoch keinen Sinn für mich, wenn die Operation cartesian ke

1Hitze

2Antwort

Java FlatMapFunction in Spark: Fehler: ist nicht abstrakt und überschreibt nicht abstrakte Methode Aufruf (String) in FlatMapFunction

Ich habe versucht, die erste example ausführen. Der Quellcode ist: /*keyWordCount.java */ import org.apache.spark.*; import org.apache.spark.api.java.*; import org.apache.spark.ap

0Hitze

1Antwort

Spark-Streaming-Job-Scheduling die Ausführung steuern?

Ich habe ein Problem, wo in Funken Streaming-i nur über die letzte 1 Minute besorgt bin, damit ich meinen Code entsprechend Nun irgendwann aufgrund verschiedener Ressource geschrieben habe meine gepla

0Hitze

1Antwort

Mutter bissig Bibliothek nicht verfügbar: Diese Version von libhadoop ohne bissig Unterstützung gebaut wurde

ich den obigen Fehler bekam, als ich MLUtils saveAsLibSVMFile wurde mit. versuchte verschiedene Ansätze wie unten, aber nichts hat funktioniert. \t \t /* \t \t conf.set("spark.io.compression.codec"

1Hitze

1Antwort

HBase in Scala lesen - it.nerdammer

Ich möchte HBase Daten in einem Spark-Stream-Code zum Nachschlagen und weitere Verbesserung der Streaming-Daten lesen. Ich benutze spark-hbase-connector_2.10-1.0.3.jar. In meinem Code die folgende Zei

-2Hitze

1Antwort

spark: Karte durch eindeutigen Wert reduzieren

Ich bin ein Anfänger in Scala Spark und ich habe ein Problem. Ich habe eine Karte wie diese (mit Millionen von Zeilen): Map("date_create1" -> "user_id1", "date_create1" -> "user_id2", "date_create1" -

8Hitze

2Antwort

Verbinden von zwei DataFrames in Spark SQL und Auswählen von Spalten von nur einem

Ich habe zwei DataFrames in Spark SQL (D1 und D2). ich innere versuche verbinden beide D1.join(D2, "some column") und wieder Daten von nur D1, nicht die vollständigen Datensatz. Sowohl D1 als auch D2

0Hitze

1Antwort

Spark Python Kartenfunktion: Fehler beim Verschlüsseln von utf-8

Ich habe versucht, eine Textdatei mit Python zu verarbeiten. Meine Textdatei ist in der Muttersprache von Vietnamesen, die UTF-8 verwenden. Nachdem ich die Map-Funktion verwendet habe, scheint die Aus

1Hitze

1Antwort

Kann Apache Spark mehrere ähnliche Zeilen in einer Zeile zusammenführen?

Ich bin total neu mit Apache Spark, daher tut es mir sehr leid, wenn meine Frage naiv scheint, aber ich habe keine klare Antwort im Internet gefunden. Hier ist der Kontext meines Problems: Ich möchte

-1Hitze

2Antwort

Filterung mit Scala und Apache Spark

Ich habe ein unmarkiertes Dataset erstellt, das einige Spalten enthält. Die Werte in einer der Spalte sind Frankreich, Deutschland, Frankreich und Großbritannien. Ich weiß, wie unter Verwendung von Co