spark-streaming

2Hitze

1Antwort

Streamen Sie die neuesten Daten in Cassandra mit Spark-Streaming

Ich habe kontinuierlich Daten von einer externen Quelle in Cassandra geschrieben. Nun, ich bin mit Funken Streaming kontinuierlich diese Daten von Cassandra mit dem folgenden Code zu lesen: val ssc =

0Hitze

1Antwort

Iterieren über ein RDD-Paar, um eine Funktion auf einer RDD ab dem zweiten Wert auszuführen.

Ich habe ein Problem mit einer Funktion (die ich nicht ändern kann), die eine RDD als Eingabe benötigt, aber meine Daten sind in einem solchen Format, dass ich nicht scheinen kann, nur eine RDD in die

6Hitze

2Antwort

Spark MapWithState mischt alle Daten zu einem Knoten

Ich arbeite an einem Scala (2.11)/Spark (1.6.1) Streaming-Projekt und mit mapWithState(), um zu sehen, Daten aus früheren Chargen zu verfolgen. Der Status ist in 20 Partitionen aufgeteilt, erstellt mi

1Hitze

1Antwort

Verwenden count() als eine ganze Zahl in Spark-Streaming

ich ziemlich neu bin Streaming Spark, und mach ein sehr einfaches Programm in Java, das macht folgende: Ich erhalte eine Reihe von Zahlen im String-Format (values5 Variable), 5 jede Sekunde, wandeln s

2Hitze

1Antwort

Spark-Streaming-Anwendung und kafka log4j Appender Ausgabe

Ich teste meine Spark-Streaming-Anwendung, und ich habe mehrere Funktionen in meinem Code: - einige von ihnen arbeiten auf einem DStream [RDD [XXX]], einige von ihnen auf RDD XXX] (nachdem ich DStream

1Hitze

1Antwort

Datei wird bei Verwendung von saveAsNewAPIHadoopFile überschrieben

Wir verwenden Spark 1.4 für Spark-Streaming. Kafka ist eine Datenquelle für den Spark-Stream. Aufzeichnungen werden jede Sekunde auf Kafka veröffentlicht. Unsere Anforderung besteht darin, auf Kafka v

0Hitze

1Antwort

Spark-Streaming-Schema

einen Strom von SparkFlumeEvents Given (oder sagen, jede DSTREAM) Wie funktioniert eine Karte zu einem geeigneten Schema, so dass der Strom mit zu Cassandra gespeichert werden können stream.saveToCass

1Hitze

1Antwort

Vergleiche neuen Wert mit dem vorherigen Durchschnitt in Spark Streaming

Ich habe ein Fenster in Spark Streaming mit 5 ganzzahligen Werten erstellt. Jedes Mal, wenn eine Sekunde verstrichen ist, erhält das Fenster einen neuen Wert und verliert den ältesten. Jedes Mal, wenn

1Hitze

1Antwort

Spark-Mesos-Cluster-Modus ist langsamer als der lokale Modus

Ich übergebe das gleiche Jar, um mit dem lokalen Modus und Mesos-Cluster-Modus zu laufen. Und für einige genau dieselben Stufen gefunden, dauert der lokale Modus nur einige Millisekunden, um zu beende

2Hitze

1Antwort

Scala - Rückgängig eine flatmap nach transfomation

Wie kann ich eine Seq von Maps zu einem einzigen Map dh Seq[Map[String, String]] => Map[String, String] Zum Beispiel fusionieren: val someSeq = rdd.map(_._2).flatMap(...) //some transformation to pr