spark-streaming

2Hitze

1Antwort

Zuordnung von Schlüssel/Wert-Partitionen parallel in Spark Streaming

Ich habe ein Spark-Streaming-Programm im lokalen Modus, in dem ich JSON-Nachrichten von einer TCP-Socket-Verbindung erhalten, mehrere pro Batch-Intervall. Jede dieser Nachrichten hat eine ID, mit der

3Hitze

1Antwort

Wie gruppieren Schlüssel/Werte nach Partition in Spark?

Ich habe eine Spark-Streaming-Anwendung, die mehrere JSON-Nachrichten pro Sekunde empfängt, von denen jede eine ID hat, die ihre Quelle identifiziert. Mit dieser ID als Schlüssel kann ich MapPartition

1Hitze

1Antwort

How to CountByKey in JavaPairDStream ohne foreachRDD?

Das könnte eine sehr triviale Frage sein, aber ich weiß einfach nicht, was falsch ist. Ich habe einen JavaPairDStream, und für jedes Batch-Intervall möchte ich die Anzahl der Schlüssel in meiner RDD i

1Hitze

1Antwort

Wie finde ich heraus, ob DStream leer ist?

Ich habe 2 Eingänge, wobei der erste Eingang Strom ist (zB Eingang1) und der zweite Eingang Stapel (zB Eingang2). Ich möchte herausfinden, ob die Schlüssel in der ersten Eingabe mit einer Zeile oder m

0Hitze

2Antwort

Hafen bestehende PHP-Anwendung in Funken Streaming

Wir in PHP eine riesige bestehende Anwendung, die eine Protokolldatei akzeptiert Initialisiert alle Datenbank, die Ressourcen im Arbeitsspeicher Speicher Prozesse jede Zeile Erstellt eine Reihe von Au

0Hitze

1Antwort

Streamen von Daten auf HDFS mit hohem Durchsatz

Ich habe Daten von einer großen Anzahl von Sensoren (> 500) gestreamt und ich muss diese Daten auf meinem HDFS schreiben. Sensoren senden Daten fast alle 1 Sekunde, und die Größe jeder gedrückten Date

0Hitze

1Antwort

Spark Streaming von einem Ordner in AWS s3 - PySpark

Ich habe einen Ordner "Eingabe" in AWS 3. Ich möchte die neuen Dateien in diesem Ordner streamen. Ich verwende diesen Code: ssc = StreamingContext(sc, 10) rdd = ssc.textFileStream("s3n://dynamodbstre

1Hitze

1Antwort

Pyspark mit der Cassandra-Datenbank von PyCharm IDE verbinden

Ich habe folgendes geschrieben, um eine Verbindung zu einer Cassandra-Datenbank von PyCharm herzustellen. from pyspark import SparkContext, SparkConf from pyspark.sql import SQLContext import os o

2Hitze

1Antwort

Spark-Streaming von Kafka eine Aufgabe hinterherhinken verursacht die gesamte Charge zu verlangsamen

Ich habe eine Spark-Streaming-Anwendung, die Daten von Kafka über das Netzwerk liest. Es ist wichtig zu beachten, dass sich der Cluster und die Kafka-Server in verschiedenen Regionen befinden. Die dur

0Hitze

1Antwort

Spark- und Drools-Integration (Lesen von Regeln aus einer Drl-Datei)

Ich arbeite an einem Spark-Programm, das die Eingabe von der RDD übernimmt und ein paar Sabol-Regeln beim Lesen aus einer drl-Datei ausführt. in der TFL-Datei i eine Regel haben, dass überall dort, wo