spark-streaming

0Hitze

1Antwort

Sollte ich die Zustandsberechnung verwenden? Spark Streaming-Status Berechnung Erklärung

Hier ist mein Fall: Ich erhalte Daten von verschiedenen Geräten, die ihre eigene Unterschrift, einen Zeitstempel und ein Flag haben. I-Filter dann die (flag==SAVE_VALUE) in einer Datei, die eine forea

5Hitze

2Antwort

Wird foreachRDD auf dem Treiber ausgeführt?

Ich versuche, einige XML-Daten, die in einer JMS-Warteschlange (QPID) empfangen werden, mithilfe von Spark Streaming zu verarbeiten. Nachdem ich xml als DStream erhalten habe wandle ich sie in Datafra

0Hitze

2Antwort

Initialisieren eines StreamingKmeans-Modells mit statischen Trainingsdaten

Ich kann ein Spark Kmeans-Modell mithilfe eines Trainingsdatensatzes erstellen. Ich möchte mein Modell an neue Daten anpassen lassen, daher scheint Spark StreamingKmeans für mich großartig zu sein. Es

3Hitze

2Antwort

Durchsatz für Kafka, Spark, Elasticsearch Stack unter GCP/Dataproc

Ich arbeite an einem Forschungsprojekt, bei dem ich eine komplette Datenanalyse-Pipeline auf der Google Cloud Platform installiert habe. Wir schätzen eindeutige Besucher pro URL in Echtzeit mithilfe v

0Hitze

2Antwort

Lesen von Daten aus HBase durch Funken Streaming

So mein Projekt Fluss Kafka -> Spark-Streaming -> HBase Jetzt möchte ich wieder Daten von HBase lesen, die sich über den Tisch durch den vorherigen Auftrag erstellt gehen und tun einige Aggregation un

0Hitze

1Antwort

Ausnahme im Thread "main" org.apache.spark.SparkException: Task nicht serialisierbar "

Ich bekomme den obigen Fehler beim Ausführen des unten stehenden Codes. Ich habe festgestellt, dass es ein serialisierbares Problem gibt, aber ich kann nicht genau nachvollziehen jemand erklären, was

0Hitze

1Antwort

So führen Sie eine dynamische Partition basierend auf Zeilenanzahl in DataFram für einen Spaltenwert

Ich versuche, eine Eingabedatei basierend auf accountId zu partitionieren Aber diese Partition wurde nur erstellt, wenn dataFrames mehr als 1000 Datensätze enthält. Die ist eine dynamische Ganzzahl, d

2Hitze

1Antwort

Spark History Logs sind nicht aktiviert mit Oozie Spark Aktion in Cloudera

Ich versuche, diese Anweisungen zu folgen, um Protokollierungsprotokolle mit Spark Oozie Aktion zu aktivieren. https://archive.cloudera.com/cdh5/cdh/5/oozie/DG_SparkActionExtension.html Um sicherzuste

-1Hitze

1Antwort

Abrufen der Website-Protokolle mit Apache Kafka und Bearbeiten mit Spark Streaming

Ich bin neu bei Apache Kafka.Ich konnte Konsolenhersteller und -verbraucher ausführen, aber jetzt möchte ich die Protokolle der Website meines Freundes mit Apache Kafka und Spark Streaming verarbeiten

0Hitze

1Antwort

Wie führe ich das Zippen zwischen zwei DStreams in Scala durch?

Ich habe zwei gefensterte dstreams, die ich gerne zippen würde wie das normale Zippen in RDDs. Hinweis: Das Hauptziel ist es, den Mittelwert und die Standardabweichung des Fensters dstream zu berechne