spark-streaming

1Hitze

1Antwort

Spark SQL über Streaming - ArrayIndexOutOfBoundsException

Ich habe den folgenden Code zum Starten einer SQL-Abfrage beim Streaming. Mein Problem ist, dass nach einem der Ergebnisse eine ArrayIndexOutOfBoundsException angezeigt wird. Warum passiert das? impor

0Hitze

1Antwort

Wie findet man die Summe aller Werte in RDDs pro DStream?

Ich benutze Spark-Streaming, um kontinuierlich Daten von Kafka zu lesen und einige Statistiken durchzuführen. Ich streame jede Sekunde. So habe ich eine Sekunde Chargen (dstreams). Jede RDD in diesem

1Hitze

1Antwort

Spark Streaming 1.6.0 EMR mit Python: ClassNotFoundException: org.apache.spark.streaming.kinesis.KinesisUtilsPythonHelper

Ich benutze ein Out-of-the-Box-EMR-Cluster mit Spark 1.6.0 und Zeppelin 0.5.6 auf AWS. Mein Ziel ist es, einen einfachen Spark-Streaming-Kontext zu initialisieren und auf einen internen Kinesis-Stream

1Hitze

1Antwort

Spark: Wie die ursprünglichen Daten abgerufen werden, für die Phase fehlgeschlagen ist?

Wenn während der Verarbeitung eine Ausnahme auftritt, versucht Spark, sie noch dreimal zu verarbeiten, wie in der unteren Protokolldatei zu sehen ist. Es markiert dann die Bühne als fehlgeschlagen. Ic

1Hitze

1Antwort

Neustart ReduceByKeyAndWindows

Ich bin wirklich neu auf Spark und Scala, und ich verwende ReduceByKeyAndWindows, um Wörter in Kafka-Nachrichten zu zählen, weil ich Fensterfunktion verwenden muss. der Zweck meiner Anwendung wird ein

0Hitze

3Antwort

Verknüpfung von Spark-Streaming zu HBase

Ich bin neu in Spark und HBase, aber ich muss die beiden miteinander verbinden, ich habe versucht, die Bibliothek Funken-HBase-Connector aber mit Funken-Submit funktioniert es nicht, obwohl kein Fehle

-1Hitze

1Antwort

Twitter Empfänger läuft nicht in Spark 1.6.0

Aus irgendeinem Grund, wenn ich einen Twitter-Empfänger einschließe und den Streaming-Kontext zu starten, bekomme ich die untenstehende Ausnahme nicht sicher, warum Kann jemand mich wissen lassen, wen

1Hitze

1Antwort

Spark Job Deployment Fehler zu Cloudera

Ich benutze Guice-Architektur bei der Entwicklung meiner Spark-Streaming-Programm. Es kann ohne Fehler in meiner Sonnenfinsternis laufen. Doch nach dem Kompilieren und Einsatz mit funken vorlegen Befe

0Hitze

2Antwort

Funken: Wie „--properties-Datei“ -Option in Eclipse IDE Entwicklung

I Eklipse verwendet bereitzustellen, um meine Funken Anwendung zu entwickeln, während von der Kommandozeile ausgeführt wird, verwenden i Befehl etwas wie folgt aus: spark-submit --master yarn-client -

1Hitze

3Antwort

Kontinuierlich INFO JobScheduler: 59 - Hinzugefügt Jobs für Zeit *** ms, in meinem Spark Standalone Cluster

Wir arbeiten mit Spark Standalone Cluster mit 8 Kernen und 32 GB RAM, mit 3 Knoten Cluster mit der gleichen Konfiguration. Einige Male Streaming-Batch abgeschlossen in weniger als 1sec. einige Male da