spark-streaming

0Hitze

1Antwort

Wie wird der Inhalt von JavaMapwithStateDstream an die Textdatei ausgegeben?

alle. Ich habe zwei Fragen zur Anwendung von Spark-Streaming. erste ist, wie JavaMapwithStateDstream Inhalt in die Textdatei ausgeben, ich durch das API Dokument ging, und fand heraus, es ist die Dstr

4Hitze

1Antwort

Spark-Streaming durch Kafka-Empfänger auf Grobkorn Mesos-Cluster

Ich habe Prototyping Spark-Streaming 1.6.1 mit Kafka-Empfänger auf einem Mesos 0.28 Cluster mit groben genarbten Modus. Ich habe 6 Mesos Sklaven jeweils mit 64GB RAM and 16 Cores. Mein Kafka-Thema hat

0Hitze

1Antwort

So integrieren Sie Apache Storm mit Solace Nachrichtenwarteschlange zum Empfangen von Nachrichten von Solace .. genau wie Spark-Streaming-Integration

Ich möchte Nachrichten von Solace Warteschlangen empfangen und in beliebigen Datenspeichern wie Hbase/HDFS über Apache Storm speichern. Solace hat integration guide veröffentlicht, um einen benutzerde

3Hitze

3Antwort

Mid-Stream-Konfiguration Ändern mit Check-Spitz Spark-Stream-

Ich habe einen Spark-Streaming/DSTREAM App wie this: // Function to create and setup a new StreamingContext def functionToCreateContext(): StreamingContext = { val ssc = new StreamingContext(...

1Hitze

1Antwort

Was ist die richtige Art der Verwendung von memSQL Connection-Objekt in Call-Methode von Apache Spark-Code

Ich habe einen Spark-Code, wo der Code in Call-Methode Aufruf an die memSQL-Datenbank zum Lesen aus einer Tabelle. Mein Code öffnet jedes Mal ein neues Verbindungsobjekt und schließt es, nachdem die A

3Hitze

1Antwort

Kombinieren von Spark Streaming + MLlib

Ich habe versucht, ein Random Forest-Modell zu verwenden, um einen Strom von Beispielen vorherzusagen, aber es scheint, dass ich dieses Modell nicht verwenden kann, um die Beispiele zu klassifizieren.

0Hitze

1Antwort

Generieren Sie Daten mit Apache Kafka und erhalten Sie mit Funken Streaming

Ich möchte wissen, wie kann ich in dem gleichen Programm, um Zufallsdaten mit Apache Kafka generieren und erhalten Sie mit Spark-Streaming. Lasst uns einen Anwendungsfall zeigen: I Zufallsdaten wie di

2Hitze

1Antwort

So konvertieren Seq zu RDD beim Arbeiten mit Funken Streaming-Kontext

Ich verwende TestSuiteBase, um einige Tests mit spark-streaming (mit Funken Streaming-Kontext scc) zu erstellen. Dann erstelle ich Dummy-Daten mit output: Seq[Seq[(Double, Double)]]. Schließlich möcht

-1Hitze

1Antwort

So führen Sie Streaming von Twitter-Daten über Apache Spark Streaming aus?

So führen Sie das Streaming von Twitter-Daten über Apache Spark Streaming aus? Zuvor hatte ich die Twitter-Daten über den Kanal abgerufen und in HDFS gespeichert, wo ich die Twitter-Anmeldedaten in de

0Hitze

2Antwort

Methoden können auf einem gestoppten SparkContext nicht aufgerufen werden.

Wenn ich den folgenden Test ausführe, wird "Methoden für angehaltenen SparkContext nicht aufgerufen" ausgelöst. Das mögliche Problem ist, dass ich TestSuiteBase und Streaming Spark Context verwende. A