spark-streaming

12Hitze

4Antwort

So speichern Sie den letzten Offset, den Spark nach ZK oder Kafka verbraucht hat, und können nach dem Neustart zurücklesen

Ich verwende Kafka 0.8.2, um Daten von AdExchange zu empfangen. Dann verwende ich Spark Streaming 1.4.1, um Daten unter MongoDB zu speichern. Mein Problem ist, wenn ich meine Spark Streaming Job zum B

6Hitze

1Antwort

Ausgabe Dstream von Apache Spark in Python

Ich versuche die Technologien, die ich verwenden werde, um eine Echtzeit-Datenpipeline zu erstellen, und ich habe einige Probleme beim Exportieren meiner Inhalte in eine Datei. Ich habe einen lokalen

8Hitze

2Antwort

Streamingkontext im Spark-Streaming nach einer bestimmten Zeit stoppen

Ich erstelle eine Anwendung, die DStreams von Twitter empfängt. Die einzige Möglichkeit, den Streaming-Kontext zu stoppen, besteht darin, die Ausführung zu stoppen. Ich frage mich, ob es eine Möglichk

7Hitze

2Antwort

schreibe eine RDD in HDFS in einem Spark-Streaming-Kontext

Ich habe eine Spark-Streaming-Umgebung mit Funken 1.2.0, wo ich Daten aus einem lokalen Ordner abrufen und jedes Mal, wenn ich eine neue Datei zum Ordner gefunden finde ich eine Transformation durchfü

5Hitze

1Antwort

Wie mehrere Zeilen zu vergleichen?

Ich möchte zwei aufeinanderfolgende Zeilen i mit i-1 von col2 (sortiert nach col1) vergleichen. Wenn item_i der i ten Zeile und der item_[i-1]_row unterschiedlich sind, würde Ich mag die Anzahl der it

9Hitze

1Antwort

Drop Spark Datenrahmen aus Cache

Ich benutze Spark 1.3.0 mit Python API. Während ich riesige Datenframes transformiere, cache ich viele DFs für schnellere Ausführung; df1.cache() df2.cache() einmal Verwendung bestimmter DF vor

5Hitze

2Antwort

Verwenden einer Textdatei als Spark-Streaming-Quelle für Testzwecke

Ich möchte einen Test für meine Spark-Streaming-Anwendung schreiben, die eine Geruchsquelle verbrauchen. http://mkuthan.github.io/blog/2015/03/01/spark-unit-testing/ schlägt die Verwendung von ManualC

15Hitze

1Antwort

Spark Kafka Direct DStream - Wie viele Executoren und RDD-Partitionen im Garn-Cluster-Modus, wenn num-Executors gesetzt ist?

Ich versuche, Spark Kafka Direct Stream Ansatz zu verwenden. Es vereinfacht die Parallelität, indem es so viele RDD-Partitionen wie die Kafka-Topic-Partition erstellt, wie in dieser doc angegeben. Bas

5Hitze

1Antwort

Ist es möglich, die ersten n Elemente jeder RDD in Spark Streaming zu bekommen?

Wenn Spark-Streaming verwendet wird, ist es möglich, die ersten n Elemente jeder RDD in einem DStream zu erhalten? In der realen Welt besteht mein Stream aus einer Anzahl von Ereignissen mit Geotags,

8Hitze

1Antwort

Ist es möglich, einen zuverlässigen Empfänger zu implementieren, der ein nicht graziöses Herunterfahren unterstützt?

Ich bin gespannt, ob es absolut notwendig ist, dass eine Spark-Streaming-Anwendung ordnungsgemäß heruntergefahren wird oder dass das Risiko besteht, doppelte Daten über das Write-Ahead-Protokoll zu ve