apache-spark

6Hitze

2Antwort

Wie führen Sie die Blockierung von IO in Apache Spark Job durch?

Was ist, wenn, wenn ich RDD traverse, ich Werte im Datensatz durch den Aufruf externer (blockierender) Service berechnen muss? Wie denkst du könnte das erreicht werden? val Werte: Future[RDD[Double]]

5Hitze

1Antwort

Spark 1.0.2 (auch 1.1.0) hängt auf einer Partition

Ich habe ein seltsames Problem in Apache Funke und ich würde etwas Hilfe zu schätzen wissen. Nach dem Lesen von Daten aus hdfs (und einige Konvertierung von JSON zu Objekt) schlägt die nächste Stufe (

12Hitze

2Antwort

Aufgabe nicht Serialisierung Ausnahme beim Ausführen von Apache Funke Job

Das folgende Java-Programm wurde geschrieben, um mit Apache Funke zu experimentieren. Das Programm versucht, eine Liste positiver und negativer Wörter aus einer entsprechenden Datei zu lesen, diese mi

18Hitze

4Antwort

Wie wiederhole ich RDDs in Apache Spark (Scala)

Ich benutze den folgenden Befehl, um eine RDD mit einer Reihe von Arrays mit 2 Strings ["Dateiname", "Inhalt"] füllen. Jetzt möchte ich über jedes dieser Vorkommen iterieren, um etwas mit jedem Datein

5Hitze

1Antwort

Nachteile von Spark-Streaming im Vergleich mit Real-Streaming-Computing-Systemen

Einige sagen, dass Funken-Streaming, obwohl es Ströme in Form von Mikro-Chargen verarbeiten kann, ist es immer noch nicht so ein Streaming-Computing-System wie Sturm. Was sind die begrenzenden Faktore

6Hitze

2Antwort

Wie Skript in Pyspark ausführen und Drop in IPython-Shell, wenn Sie fertig sind?

Ich möchte ein Spark-Skript ausführen und in eine IPython-Shell einfügen, um Daten interaktiv zu untersuchen. Laufen beide: $ IPYTHON=1 pyspark --master local[2] myscript.py und $ IPYTHON=1 spark-su

22Hitze

3Antwort

Wie kann man RDD aus dem Cache nehmen?

I verwendet cache() die Daten im Speicher zwischengespeichert werden, aber ich erkennen die Leistung ohne Cache gespeicherten Daten ich es uncache müssen zu sehen, Daten aus dem Speicher zu entfernen:

5Hitze

1Antwort

Warum schlägt Spark Cassandra Connector mit NoHostAvailableException fehl?

Ich habe Probleme, Spark Cassandra Connector in Scala arbeiten zu bekommen. Ich verwende diese Versionen: Scala 2.10.4 Funke-Core 1.0.2 cassandra-thrift 2.1.0 (meiner installierten cassandra ist v2.1.

6Hitze

1Antwort

Spark: Schnitt Nr. der Ausgabedateien

Ich schrieb ein Spark-Programm, das die Funktionalität eines vorhandenen Map Reduce-Jobs nachahmt. Der MR-Job dauert etwa 50 Minuten pro Tag, aber der Spark-Job dauerte nur 9 Minuten! Das ist großarti

12Hitze

2Antwort

Wie kann ich eine Elementposition in der RDD von Spark erhalten?

Ich bin neu bei Apache Spark, und ich weiß, dass die Kerndatenstruktur RDD ist. Jetzt schreibe ich einige Apps, die Informationen zur Elementposition benötigen. Zum Beispiel muss ich nach dem Konverti