spark-streaming

2Hitze

1Antwort

Aktionen vor Ende der Mikrocharge in Spark Streaming durchführen

Gibt es eine Möglichkeit, am Ende jeder Mikrocharge im DStream in Spark Streaming etwas zu tun? Mein Ziel ist es, die Anzahl der von Spark verarbeiteten Ereignisse zu berechnen. Spark-Streaming gibt m

1Hitze

1Antwort

Wie finde ich den Dateinamen in Spark Streaming mit FileStream() in Scala?

Ich habe überall nach dem Namen jeder Datei gesucht, die Spark Streaming in der Methode fileStream() aufruft. Es gibt einige Teillösungen in Java, aber ich konnte kein Scala-Beispiel finden. Es gibt a

1Hitze

1Antwort

Herunterfahren von Spark Streaming

Ich bin neu bei Spark und ich habe eine Frage. Ich habe Spark-Streaming-Anwendung, die Kafka verwendet. Gibt es eine Möglichkeit, meiner Anwendung zu sagen, dass sie herunterfahren soll, wenn ein neue

0Hitze

1Antwort

Basisdaten aktualisieren, wenn Spark-Streaming

Foy mein Szenario, die Daten werden von Kafka in Echtzeit mit Funken-Streaming gelesen. Basierend auf den Daten A von einem rdbms (MySQL, usw.), welche die akkumulierten T + 1 Daten sind, wird die Ber

1Hitze

1Antwort

Spark-Streaming-Streaming aktiv Zählung

Die spark docs Zustand: Nur ein Streaming kann in einer JVM zur gleichen Zeit aktiv sein. einen Fall vorstellen, wo wir lesen sind die Planung/Prozessdaten aus zwei Kafka Themen, in denen es einen Job

5Hitze

1Antwort

Übertragen von Datenströmen über mehrere Stapelintervalle hinweg in Spark Streaming

Ich benutze Apache Spark Streaming 1.6.1, um eine Java-Anwendung zu schreiben, die zwei Key/Value-Datenströme verbindet und die Ausgabe in HDFS schreibt. Die zwei Datenströme enthalten K/V-Zeichenfolg

0Hitze

1Antwort

Spark auf Mesos ist viel langsamer als lokale

Ich führe einen Spark-Streaming-Prozess auf einem 16-CPU-64-GB-RAM-Host mit Mesos. Wenn ich es mit Mesos als Cluster-Manager (durch Einstellung --master mesos://leader.mesos:5050) ausgeführt wird, läu

0Hitze

1Antwort

In einer Spark-Streaming-Anwendung, wie die Funktion lines.map() nach einem Zeilenblock ausgeführt wird.foreREDD() führt die Ausführung aus

In einer Spark-Streaming-Anwendung, wie die Funktion lines.map() nach einem Zeilenblock ausgeführt wird. foreachRDD() beendet die Ausführung. Ich bin auch ein minimales Beispiel dafür, was ich will: p

3Hitze

1Antwort

Spark Streaming Daten Pipelines auf Dataproc plötzliche häufige Socket Timeouts

Ich benutze Spark-Streaming auf Google Cloud Dataproc für die Ausführung eines Framework (in Python geschrieben), die aus mehreren kontinuierlichen Pipelines, die jeweils einen einzigen Job auf Datapr

0Hitze

1Antwort

Wie führe ich eine einfache Spark-App mit ZeroMQ auf einem YARN-Cluster aus?

Ich versuche Spark-Anwendung zu starten, die ZeroMQ auf einem YARN Cluster verwendet. Testamentsvollstreckers Protokoll enthält folgende Meldungen: 16/05/24 11:42:09 INFO storage.MemoryStore: Block br