spark-streaming

5Hitze

1Antwort

Wie streamen Daten aus einer Cassandra-Tabelle?

Ich möchte Daten aus einer Cassandra-Tabelle streamen, die in Echtzeit aktualisiert wird. Ja, es ist eine Datenbank, aber gibt es eine Möglichkeit, das zu tun? Wenn ja, kann ich einen Offset beibehalt

9Hitze

2Antwort

Hinzufügen von benutzerdefinierten Gläsern in jupyter Notebook pyspark

Ich bin mit dem Jupyter Notebook mit Pyspark mit folgendem Docker Bild: Jupyter all-spark-notebook Nun würde Ich mag eine pyspark-Streaming-Anwendung schreiben, die Nachrichten von Kafka verbraucht. I

0Hitze

1Antwort

Spark Streaming Replay

Ich habe eine Spark-Streaming-Anwendung, um Ereignisse zu analysieren, die von einem Kafka-Broker eingehen. Ich habe Regeln wie unten und neue Regeln können durch die Kombination bestehender generiert

10Hitze

2Antwort

So stoppen Sie das Funken-Streaming, wenn die Datenquelle leer ist

Ich habe einen Spark-Streaming-Job, der alle 5 Sekunden von Kafka liest, einige Umwandlungen an eingehenden Daten durchführt und dann in das Dateisystem schreibt. Dies muss nicht wirklich ein Streamin

1Hitze

2Antwort

Wie RD RD zu mehr RDD in Spark hinzufügen?

Ich habe eine RDD und möchte mehr RDD hinzufügen. Wie kann ich das in Spark machen? Ich habe Code wie folgt. Ich möchte RDD aus dem dStream, den ich habe, zurückgeben. JavaDStream<Object> newDStream =

10Hitze

2Antwort

Wie viele RDDs generiert DStream für ein Batch-Intervall?

Erstellt ein Batch-Datenintervall einen und nur einen RDD in DStream, unabhängig davon, wie groß die Menge der Daten ist?

7Hitze

4Antwort

Konvertieren von Spark Streaming-Daten in Spark DataFrame

Bisher hat Spark den DataFrame für das Streaming von Daten nicht erstellt, aber wenn ich die Erkennung von Anomalien durchführe, ist es einfacher und schneller, DataFrame für die Datenanalyse zu verwe

5Hitze

1Antwort

java.lang.UnsupportedOperationException: 'Schreiben in eine nicht leere Cassandra-Tabelle ist nicht erlaubt

Ich habe Szenario, wo ich Streaming-Daten empfangen wird, die von meinem Spark-Streaming-Programm verarbeitet wird und die Ausgabe für jedes Intervall an meine angehängt wird vorhandene Cassandra-Tabe

6Hitze

1Antwort

Wie lese ich Parkett Dateien mit `ssc.fileStream()`, und was ist die Art der Typen an `ssc.fileStream()`

Mein Verständnis von Spark fileStream() Methode ist, dass es drei Arten als Parameter benötigt - K ey, V alue und F ormat. Im Fall von Textdateien sind die entsprechenden Typen LongWritable, Text und

6Hitze

1Antwort

Fehler, wenn ein Streaming

Schaffung öffne ich die Funken Shell spark-shell --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.0 Dann habe ich einen Streaming-Kontext import org.apache.spark._ import org.apache.spark