spark-streaming

0Hitze

1Antwort

Spark Streaming - Java - JSON von Kafka in Cassandra einfügen

Ich schreibe eine einfache Datenpipeline in Spark Streaming mit Java, um JSON-Daten aus Kafka zu ziehen, analysiere den JSON in eine benutzerdefinierte Klasse (Transaction) und füge dann diesen ein Da

1Hitze

1Antwort

Aufzüge Json Extrahieren von JSON-Objekt

Ich habe diesen Code unten: object Test { def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("Spark").setMaster("local[2]") val sc = new SparkContext(sparkCo

2Hitze

2Antwort

Muss das Funken-Streaming die Verarbeitung der vorherigen Datenmenge beenden und dann die nächste Datenmenge verarbeiten, richtig?

Ich setze Funkenstrecke Zeitintervall ist 5s. Wenn die aktuellen 5s sehr viele Daten empfangen, kann das Funken-Streaming nicht in 5 Sekunden abgeschlossen werden, aber der nächste Datenstapel kommt.

3Hitze

1Antwort

Spark-Streaming an Streamsets-Eingang anschließen

Ich habe mich gefragt, ob es möglich wäre, Input für das Streaming von StreamSets bereitzustellen. Ich habe festgestellt, dass Spark-Streaming nicht im StreamSets-Connector-Ziel https://streamsets.com

0Hitze

1Antwort

Kafka Spark-Streaming-Integration

Ich habe Kafka und Funken Streaming mit Maven in meinem System eingerichtet. Ich würde gerne irgendwelche Vorschläge kennen, die mir helfen könnten, größere Operationen durchzuführen, abgesehen davon,

2Hitze

1Antwort

Fehler: Wert samplinct ist kein Mitglied von org.apache.spark.rdd.RDD [String]

Ich probiere succinctRDD für Suchmechanismus aus. Unten ist das, was ich nach dem doc versuchen: import edu.berkeley.cs.succinct.kv._ val data = sc.textFile("file:///home/aman/data/jsonDoc1.txt") va

2Hitze

1Antwort

Verfügt Apache Storm über Maschinenlernbibliotheken wie Apache Spark?

Ich vergleiche Apache Storm und Apache Spark Streaming für die Wahl eines verteilten Echtzeit-Berechnungssystem. Es gibt bereits viele Diskussionen, die Vergleiche zwischen diesen beiden Technologien

2Hitze

1Antwort

Wie verbinde ich elasticsearch mit apache spark streaming oder storm?

Wir erstellen ein Echtzeit-Big-Data-Tool mit Open-Source-Tools. Unser Hauptziel ist es, ein Netzwerk zu überwachen und zu analysieren, indem wir Protokolle von einem Kafka-Server in Echtzeit abrufen.

0Hitze

1Antwort

habe "ClassNotFoundException" beim Lesen von Binlog-Daten von Kafka mit Spark Streaming erhalten

Ich möchte die binlog-Daten von Kafka mit Hilfe von Spark Streaming lesen, die binlog-Daten werden mit canal (die protobuf-2.4.1 verwendet) gesammelt, die ich verwenden muss das Protobuf-2.5.0 in der

0Hitze

1Antwort

Was sind die Hauptunterschiede zwischen logstash und apache storm/spark streaming?

Ich suche ein verteiltes Echtzeit-Computersystem, das Daten von einem Kafka-Server sammelt, um die Daten zu verarbeiten und sie dann in ElasticSearch zu speichern. Wähle ich bereits einige von ihnen: