spark-streaming

1Hitze

1Antwort

jede Daten in mongodb local.oplog.rs, ist es eine Standard bsonobject Struktur

Ich benutze Funken Mongo-Connector, um Daten von Mongodb Sammlung zu hdfs Datei, mein Code funktioniert gut, wenn die Sammlung durch Mongos gelesen wird, aber wenn es kommt zu local.oplog.rs, eine Rep

mongodb spark-streaming mongodb-oplog 2016-05-25

---

0Hitze

1Antwort

Wie Funken verwenden, um von einem Dateisystem-Streaming-Eingang

Ich möchte Funken Streaming verwenden und die Eingabe von Dateisystem (zB HDFS) geben .Wie werde ich es tun

apache-spark spark-streaming 2016-05-25

---

2Hitze

1Antwort

SaveAsHadoopDataset schließt nie Zookeeper

Verbindung I den Code unten bin mit zu schreiben, um Hbase jsonDStream.foreachRDD(new Function<JavaRDD<String>, Void>() { @Override public Void call(JavaRDD<String> rdd) throws Exception

hadoop apache-spark hbase apache-spark-sql spark-streaming 2016-05-25

---

2Hitze

1Antwort

pyspark: Wie konvertiert man Datenfelder mit einer Zeitspalte in ein Spark-Streaming-Objekt?

Nehmen wir an, Sie haben einen Spark-Datenrahmen df mit einer Spalte timestamp für die Zeit, sagen wir im Unix-Zeit-Format (Sekunden seit 1970). Wie mache ich Spark.Streaming dies als eine Eingabe beh

python apache-spark pyspark spark-streaming 2016-05-25

---

2Hitze

1Antwort

Wie wird das Checkpoint-Intervall für das Spark-Streaming-Checkpointing festgelegt?

ich auf der offiziellen Dokumentation Prüfpunktintervall für meine Python Funken Streaming-Skripte, Basis festlegen möchten: Für Stateful Transformationen, die RDD Prüfpunkten erfordern, ist das Stand

java python scala apache-spark spark-streaming 2016-05-25

---

2Hitze

1Antwort

Wie entfernt Daten aus dem Zustand

Ich habe einen sessionization Anwendungsfall zu behandeln. Ich halte meine Sitzungen in-memory dank mapWithstate() und aktualisiert sie für jede eingehende Protokoll. Wenn eine Sitzung mit einem besti

scala session apache-spark spark-streaming 2016-05-26

---

0Hitze

1Antwort

Funken actorStream ClassNotFoundException

Ich versuche, eine akka Schauspieler als Funken actorStream wie dies zu passieren: package com.blah.spark import akka.actor.{ Actor, Props, ActorLogging, Cancellable, ActorRef } import org.apache.s

scala apache-spark spark-streaming 2016-05-27

---

1Hitze

1Antwort

Apache Spark-merge nach updateStateByKey()

Ich versuche, zwei Ströme zu verschmelzen und einer von ihnen sollte Stateful sein (wie statische Daten nicht häufige Aktualisierungen): SparkConf conf = new SparkConf().setAppName("Test Application")

java apache-spark spark-streaming 2016-05-29

---

1Hitze

1Antwort

Java-Ausführung beim Analysieren von JSON RDD aus Kafka Stream

Ich versuche, eine JSON-Zeichenfolge von Kafka mit Spark Stream-Bibliothek zu lesen. Der Code kann eine Verbindung zum Kafka-Broker herstellen, schlägt aber beim Dekodieren der Nachricht fehl. Der Cod

json scala apache-spark apache-kafka spark-streaming 2016-05-30

---

0Hitze

1Antwort

Die Verwendung von memSQL mit Spark-Streaming hat sich sehr verlangsamt, die Events/Sekunde von Spark-Streaming-Job

Ich habe einen Spark-Streaming-Job, der in bestimmten Fällen auf memSQL zugreift. Für die Fälle, in denen es nicht memSQL zugreift, die Ereignisse/s sind um 3000. jedoch für die Fälle, in denen es mem

apache-spark spark-streaming memsql 2016-05-30

---