dstream

2Hitze

1Antwort

Aktionen vor Ende der Mikrocharge in Spark Streaming durchführen

Gibt es eine Möglichkeit, am Ende jeder Mikrocharge im DStream in Spark Streaming etwas zu tun? Mein Ziel ist es, die Anzahl der von Spark verarbeiteten Ereignisse zu berechnen. Spark-Streaming gibt m

5Hitze

1Antwort

Übertragen von Datenströmen über mehrere Stapelintervalle hinweg in Spark Streaming

Ich benutze Apache Spark Streaming 1.6.1, um eine Java-Anwendung zu schreiben, die zwei Key/Value-Datenströme verbindet und die Ausgabe in HDFS schreibt. Die zwei Datenströme enthalten K/V-Zeichenfolg

1Hitze

1Antwort

Wie zwei Dstreams kombinieren Pyspark (ähnlich .zip auf normalen RDD) mit

Ich weiß, dass wir (wie cbind in R) zwei RDDs wie unten in pyspark kombinieren: rdd3 = rdd1.zip(rdd2) Ich möchte führen die Gleiches für zwei Dstreams in Pyspark. Ist es möglich oder Alternativen? I

1Hitze

1Antwort

kafka Weitstrahl DSTREAM Karte nicht gedruckt

Ich habe diese einfache Kafka-Stream val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet) // Each Kafka message is a flight val fl

0Hitze

2Antwort

Lesen von Daten aus HBase durch Funken Streaming

So mein Projekt Fluss Kafka -> Spark-Streaming -> HBase Jetzt möchte ich wieder Daten von HBase lesen, die sich über den Tisch durch den vorherigen Auftrag erstellt gehen und tun einige Aggregation un

2Hitze

1Antwort

Wie kann ich zwei DStreams in einer Funktion nach der Filtertransformation im Spark-Streaming zurückgeben?

In einer Funktion gibt es eine Möglichkeit, zwei DStreams nach der Verwendung von filter zurückzugeben? Wenn ich zum Beispiel eine DStream filtere, werden die gefilterten in einer DStream gespeichert

0Hitze

1Antwort

Wie führe ich das Zippen zwischen zwei DStreams in Scala durch?

Ich habe zwei gefensterte dstreams, die ich gerne zippen würde wie das normale Zippen in RDDs. Hinweis: Das Hauptziel ist es, den Mittelwert und die Standardabweichung des Fensters dstream zu berechne

3Hitze

1Antwort

Sortieren einer DSTREAM und unter Erste N

ich einige DSTREAM in Spark-Scala haben und ich möchte es dann oben N. Das Problem nehmen sortieren ist, dass wenn ich versuche, es zu laufen bekomme ich NotSerializableException und die Ausnahmemeldu

1Hitze

2Antwort

Wie zu lösen Typ Mismatch Problem (erwartet: Doppelt, tatsächlich: Einheit)

Hier ist meine Funktion, die quadratischen Fehler berechnet. Die letzte Zeile kann jedoch wegen des Fehlers Type mismatch issue (expected: Double, actual: Unit) nicht übersetzt werden. Ich habe viele