spark-streaming

1Hitze

1Antwort

Mehrere Funken Streaming-Kontexte auf einem Arbeiter

Ich habe Single-Node-Cluster mit 2 CPUs, wo ich 2 Funken Streaming-Jobs ausführen möchte. Ich möchte auch senden Modus "Cluster" verwenden. Ich verwende den Standalone-Cluster-Manager. Wenn ich eine A

3Hitze

3Antwort

Wie kann ich (Spark1.6) saveAsTextFile zum Anhängen bestehender Datei machen?

In SparkSQL, verwende ich DF.wirte.mode (SaveMode.Append) .json (xxxx), aber diese Methode, diese Dateien wie der Dateiname ist zu komplex und zufällig bekommen, kann ich nicht verwenden api zu bekomm

1Hitze

1Antwort

Spark on Mesos - Ausführen mehrerer Streaming-Jobs

Ich habe zwei Spark-Streaming-Jobs, die ich ausführen möchte, sowie einige verfügbare Ressourcen für Batch-Jobs und andere Operationen. Ich habe Spark Standalone-Cluster-Manager ausgewertet, aber ich

3Hitze

1Antwort

Funken Streaming mit Aggregation

Ich versuche zu verstehen, Funken Streaming in Bezug auf Aggregationsprinzipien. Spark DF basiert auf den Mini-Batches und Berechnungen werden auf dem Minibatch ausgeführt, der innerhalb eines bestimm

0Hitze

1Antwort

Warum sind die Laufzeiten von Aufgaben, die zum selben Job gehören, im Spark-Streaming sehr unterschiedlich?

Schauen Sie auf das Bild unten, diese 24 Aufgaben gehören zu einem gleichen Job und die Menge der Daten für jede Aufgabe verarbeitet wird im Grunde genommen die gleiche Zeit und verwendet GC ist sehr

1Hitze

1Antwort

Warum funktioniert Spark Streaming nicht mehr, wenn ich zwei Eingabestreams sende?

Ich entwickle eine Spark-Streaming-Anwendung, in der ich die Eingabeströme von zwei Servern in Python verwenden muss, die jeweils eine JSON-Nachricht pro Sekunde an den Spark-Kontext senden. Mein Prob

0Hitze

1Antwort

Wie profile ich funke Anwendung, um Zeit von der Anwendung in jeder Phase

Ich versuche, Performance-Tests auf einem meiner Spark-Jobs, die Daten in den Speicher lädt und führt dann Spark-SQL-Operationen auf die Daten und schließlich zurück das Ergebnis für den Benutzer. Ich

3Hitze

1Antwort

Spark-Streaming-Anwendung fehlschlägt mit KafkaException: String überschreitet die maximale Größe oder mit Illegal

TL; DR: Meine sehr einfachen Funken Streaming-Anwendung fehlschlägt in den Fahrern mit der „KafkaException: String die maximale Größe überschreitet“. Ich sehe die gleiche Ausnahme in dem Testamentsvol

0Hitze

1Antwort

nicht gefunden: Wert FlumeUtils

Dies ist mein Code mit Gerinne für die Integration von Funken Streaming: val conf = new SparkConf() .setAppName("File Count") .setMaster("local[2]") val sc = new SparkContext(conf)

5Hitze

1Antwort

Wie Funken DSTREAM Objekte mit einem Funkendatenrahmen

Ich schreibe eine Funke App zu bewerten, wo ich brauche die Streaming-Daten über die historischen Daten zu bewerten, die nun in einer SQL Server-Datenbank sitzt die Idee ist, , spark holt die historis