spark-streaming

2Hitze

1Antwort

Spark (Streaming) RDD foreachPartitionAsync Funktionalität/Arbeit

Ich werde auf die tatsächliche Frage kommen, aber bitte mit meinem Anwendungsfall zuerst. Ich habe den folgenden Anwendungsfall, sage ich bekam rddStud von irgendwo: val rddStud: RDD[(String,Student)]

-1Hitze

1Antwort

Kafka Spark Streaming XML Parsing/Verarbeitung

Ich habe einige XML-Dateien & Ich habe diese in einem Kafka-Thema & Ich habe Dstream-Objekt des Kafka-Themas erstellt. Ich kann nicht weiter fortfahren, da ich die XML-Daten vom Thema analysieren möch

5Hitze

1Antwort

Spark Streaming - Verarbeitung binärer Datendatei

Ich benutze pyspark 1.6.0. Ich habe vorhandenen Pyspark-Code, um Binärdatei aus AWS S3-Bucket zu lesen. Anderer Spark/Python-Code analysiert die Bits in den Daten, um sie in int, string, boolean usw.

0Hitze

1Antwort

Warum werden alle Elemente gedruckt, obwohl sie in mapWithState identisch sind

Ich sende 3 Mal das gleiche Objekt an JavaPairDStream. Ich aktualisiere seinen Zustand, aber es ist 3 mal gespeichert. Das Drucken von JavaPairDStream bestätigt dies. Function3<InputMessageKey, Option

4Hitze

1Antwort

Spark-Streaming: Batch-Intervall vs Fenster

Ich habe Spark-Streaming-Anwendung, die Kafka-Nachrichten verbraucht. Und ich möchte alle Nachrichten bearbeiten, die die letzten 10 Minuten zusammenkommen. Sieht aus wie es zwei Ansätze sind Arbeit z

0Hitze

1Antwort

to.JSON() in Funken Verwendung pyspark

I verwendet toJSON() Methode Datenrahmen zu RDD von json Dokumente innerhalb transform() Funktion der Funken Streaming zu konvertieren. Ich verwende pyspark für die Codierung wie folgt: def process(rd

1Hitze

2Antwort

Holen Sie sich die Details einer Datei mit Funken geladen

Um Dateien in Funken laden ich diese integrierten Methoden bin mit: JavaPairRDD<String, PortableDataStream> imageByteRDD = jsc.binaryFiles(SOURCE_PATH); oder JavaPairRDD<String, String> miao = jsc.w

0Hitze

1Antwort

Best Practice für die Anmeldung bei Elastic Map Reduce - AWS

Ich plane, Amazon EMR für Spark-Streaming-Anwendung zu verwenden. Amazon bietet eine nette Schnittstelle, um stderr & Controller-Protokoll anzuzeigen. Aber für die Streaming-Anwendung bin ich nicht si

3Hitze

2Antwort

Spark Streaming von Kafka Consumer

Ich muss vielleicht mit Kafka arbeiten und ich bin absolut neu dazu. Ich verstehe, dass es einen Kafka-Produzenten gibt, der die Protokolle von Kafka-Themen bekommt. Ich werde arbeiten, um von Kafka T

1Hitze

1Antwort

Spark-Streaming und Ausführen von Operationen auf streamed Wörterbücher

Seltsamerweise möchte ich als Kontrolle die Anzahl der k, v-Paare in einer Reihe von Wörterbüchern, die ich streame, sehen, aber ich finde, dass ich nicht in der Lage zu tun scheinen Dies. lines = ssc