spark-streaming

12Hitze

1Antwort

Wie kann man mehrere Abhängigkeiten mit --packages für die Spark-Submit angeben?

Ich habe Folgendes als die Befehlszeile, um einen Funken-Streaming-Job zu starten. spark-submit --class com.biz.test \ --packages \ org.apache.spark:spark-streaming-kafka_2.10:1.3.0 \

5Hitze

3Antwort

Spark Streaming von Kafka hat Fehler numRecords darf nicht negativ sein

Seine Art von seltsamen Fehler, weil ich noch Daten auf Kafka und Nachricht von Kafka und Nachricht ist auch seltsam. Ich suche und bekomme keine Ressourcen bezogen auf. Lassen Sie mich meinen Cluster

5Hitze

1Antwort

Wie kann ich das Streaming von Cassandra zu Spark aktivieren?

Ich habe folgenden Funken Job: from __future__ import print_function import os import sys import time from random import random from operator import add from pyspark.streaming import StreamingC

5Hitze

2Antwort

Spark Streaming Kafka Stream

Ich habe einige Probleme beim Lesen von Kafka mit Spark-Streaming. Mein Code ist: val sparkConf = new SparkConf().setMaster("local[2]").setAppName("KafkaIngestor") val ssc = new StreamingContext(spar

5Hitze

1Antwort

"java.io.IOException: Klasse nicht gefunden" auf lange Sicht Streaming-Anwendung

Ich bekomme die Ausnahme unten auf eine lange laufende Spark-Streaming-Anwendung. Die Ausnahme könnte nach ein paar Minuten auftreten, aber möglicherweise auch nicht für Tage. Dies ist mit ziemlich ko

5Hitze

1Antwort

Funken auf Garn Streaming - Container jenseits der physischen Speichergrenzen laufen

ich einen Funken renne auf Yarn-Streaming-Anwendung, Es funktioniert gut für mehrere Tage und danach traf ich ein Problem, die Fehlermeldung aus Garnen Liste unten: Application application_14497273612

5Hitze

2Antwort

Sie müssen Spark erstellen, bevor Sie diesen Programmfehler ausführen, wenn Sie bin/pyspark starten

Ich beginne mit Spark. Ich bekomme ein Problem beim Starten von Funken. ich von Funken offiziellen Website heruntergeladen, ich versuche, von diesem https://spark.apache.org/docs/0.9.0/quick-start.htm

12Hitze

1Antwort

Spark-Streaming-Checkpoints für DStreams

In Spark-Streaming ist es möglich (und obligatorisch, wenn Sie Stateful-Operationen verwenden), die StreamingContext Checkpoints in einen zuverlässigen Datenspeicher (S3, HDFS, ...) von (AND): Metadat

15Hitze

2Antwort

Spark Streaming: foreachRDD aktualisieren meine Mongo RDD

Ich möchte ein neue mongodb RDD jedes Mal erstellen, wenn ich innen foreachRDD eingeben. Allerdings habe ich die Serialisierung Probleme: mydstream .foreachRDD(rdd => { val mongoClient = Mo

10Hitze

2Antwort

Wie verhindert man, dass ein Spark-Streaming-Fenster ein anderes Fenster mit beiden nativen Python-Code blockiert

Ich führe Spark Streaming mit zwei verschiedenen Fenstern (im Fenster für das Training eines Modells mit SKLearn und das andere für die Vorhersage von Werten basierend auf diesem Modell) und ich frage