spark-streaming

0Hitze

1Antwort

Spark-Streaming-Job-Scheduling die Ausführung steuern?

Ich habe ein Problem, wo in Funken Streaming-i nur über die letzte 1 Minute besorgt bin, damit ich meinen Code entsprechend Nun irgendwann aufgrund verschiedener Ressource geschrieben habe meine gepla

0Hitze

1Antwort

Spark-Streaming-Filter-Bedingung innerhalb foreach - NullPointerException

Wir haben eine Stream-Daten, für die ich einige Stamminformationen in einer HBase-Tabelle haben. Für jede Zeile muss ich nach der HBase-Haupttabelle suchen und einige Profilinformationen erhalten. Mei

1Hitze

1Antwort

Kann Apache Spark mehrere ähnliche Zeilen in einer Zeile zusammenführen?

Ich bin total neu mit Apache Spark, daher tut es mir sehr leid, wenn meine Frage naiv scheint, aber ich habe keine klare Antwort im Internet gefunden. Hier ist der Kontext meines Problems: Ich möchte

1Hitze

1Antwort

Spark Streaming MYSql

Ich möchte Datenzeilen, die in externen MySQL-Datenbank nach alle 2 Minuten eingefügt wird. Ich möchte diese Sache mit Spark Streaming zu tun. Aber ich habe diesen Fehler nach Programmablauf für einen

3Hitze

2Antwort

Spark 1.6.1 S3 MultiObjectDeleteException

Ich arbeite mit Spark, um Daten in S3 mit dem S3A URI zu schreiben. Ich benutze auch den Endpunkt s3-external-1.amazonaws.com, um das Problem der späteren Konsistenz bei us-east1 zu vermeiden. Das fol

0Hitze

1Antwort

Spark Streaming verlieren SparkContext

Ich habe ein atypisches Problem. Wenn ich versuche, die empfangene rdd von kafka zu verarbeiten, bekomme ich eine Ausnahme (java.lang.NullPointerException), wenn ich versuche, auf sparkContext zuzugre

3Hitze

1Antwort

Sortieren einer DSTREAM und unter Erste N

ich einige DSTREAM in Spark-Scala haben und ich möchte es dann oben N. Das Problem nehmen sortieren ist, dass wenn ich versuche, es zu laufen bekomme ich NotSerializableException und die Ausnahmemeldu

6Hitze

2Antwort

com.fasterxml.jackson.databind.JsonMappingException: Jackson-Version ist zu alt 2.5.3

Mein OS ist OS X 10.11.6. Ich benutze Spark 2.0, Zeppelin 0.6, Scala 2.11 Wenn ich diesen Code in Zeppelin laufen lasse, bekomme ich eine Ausnahme von Jackson. Wenn ich diesen Code in Spark-Shell ausf

1Hitze

1Antwort

Convert iterable to RDD

Ich möchte von Spark-Streaming zu paar elastischen Suchindizes speichern. Ich erstelle Paare von <key(index), value>, wenn ich groupByKey das Ergebnis ist Tuple von <key(index), Iterable<value>> ausfü

0Hitze

1Antwort

PySpark Mllib Vorhersage aller Zeilen im Datenrahmen

Ich verwende Spark Streaming, um Chargen von JSON-Messwerten von Kafka zu erhalten. Der resultierende Stapel wird von einer RDD in einen Datenrahmen konvertiert. Mein Ziel ist es, eine Klassifizierung