spark-streaming

1Hitze

2Antwort

Einfügen von Daten in TitanDB mithilfe von Spark (oder SparkStreaming)

Ich versuche, Elemente mit Hilfe von SparkStreaming (Sammeln von Nachrichten aus einer Kafka-Warteschlange) zu TitanDB hinzuzufügen. Aber es scheint, dass es schwerer als erwartet ist. Hier ist die De

0Hitze

1Antwort

Convert Xml zu Avro von Kafka zu hdfs über Funken Streaming oder Gerinne

Ich möchte Xml-Dateien in avro konvertieren. Die Daten werden im XML-Format vorliegen und zuerst das Kafka-Thema treffen. Dann kann ich entweder runke oder spark-streaming verwenden, um xml nach avro

0Hitze

3Antwort

Spark Streaming: Wie man den Empfänger nach einem Fehler des Empfängers nicht neu startet

Wir verwenden einen benutzerdefinierten Funke-Empfänger, der gestreamte Daten von einem bereitgestellten http-Link liest. Wenn die angegebene http-Verbindung nicht korrekt ist, schlägt der Empfänger f

2Hitze

1Antwort

Getting Streaming Fenster Zeitstempel für Funken

Ich benutze Spark-Streaming, um Daten aus einer Null MQ-Warteschlange in einem bestimmten Intervall zu empfangen, bereichern Sie es und speichern Sie es als Parkett-Dateien. Ich möchte Daten von einem

5Hitze

1Antwort

Ist es möglich, in Kafka + SparkStreaming einen spezifischen Nachrichten-Offset zu erhalten?

Ich versuche, den Offset für eine bestimmte Nachricht in Kafka mithilfe von Spark Direct Stream zu erhalten und zu speichern. Mit Blick auf die Spark-Dokumentation erhalten Sie einfach die Bereichsoff

1Hitze

3Antwort

Streamen von der Datenbank mit Spark-Streaming

Ich möchte Funken-Streaming verwenden, um Daten aus RDBMS-Datenbank wie MySQL zu lesen. aber ich weiß nicht, wie diese JavaStreamingContext mit tun JavaStreamingContext jssc = new JavaStreamingContext

0Hitze

1Antwort

Funken Streaming fehlgeschlagen Chargen

Ich sehe einige gescheitert Chargen in meinem Funken Anwendung Streaming wegen Speichern verwandten Themen wie kann nicht geteilt, Block Input-0-1464774108087 nicht gefunden , berechnen und Ich habe m

6Hitze

1Antwort

Spark Streaming: Wie aktualisiert man zyklisch zwischengespeicherte RDD?

In meiner Spark-Streaming-Anwendung möchte ich einen Wert basierend auf einem Wörterbuch zuordnen, das aus einem Back-End (ElasticSearch) abgerufen wird. Ich möchte das Wörterbuch regelmäßig aktualisi

1Hitze

1Antwort

Spark Streaming Model Overwrite

Diese so einfache Frage. Wie kann ich mein aktualisiertes Modell mit demselben Namen im selben Verzeichnis speichern? org.apache.spark.sql.AnalysisException: path file:/home/mali/model/UpdatedmyRandom

1Hitze

1Antwort

Wann werden Datensätze, die für das Schreiben im Voraus geschrieben werden, mit Spark-Streaming protokolliert?

Ich habe WriteAheadLog in meiner Anwendung aktiviert, die Spark-Streaming verwendet. Wann genau werden die Datensätze in den writeAheadLog geschrieben? Ist es, wenn der Laden (...) aufgerufen wird ode