apache-spark

14Hitze

5Antwort

Ich mag meinen Funken Job in Hadoop GARN Cluster-Modus laufen zu lassen, und ich bin mit dem folgenden Befehl ein: spark-submit --master yarn-cluster --driver-memory 1g --executor-memory

8Hitze

1Antwort

In spark Join, tut Tabelle Reihenfolge wie in Schwein?

Bezug zu Spark - Joining 2 PairRDD elements Wenn ein regelmäßigen in den Schweinen verbinden tun, die letzte Tabelle in der Verknüpfung nicht in dem Speicher gebracht, sondern durch stattdessen gestre

5Hitze

2Antwort

Funken: eine RDD von einem REST-Service Erstellen

Gibt es ein out-of-the-Box-Funktionalität in Funken verfügbar eine RDD an einen REST-Dienst zu binden? Das heißt, einen Webdienst aufrufen und eine RDD erhalten. Oder ist der einfachste Ansatz, den Re

18Hitze

1Antwort

Wie Matrix Faktoren in Spark ALS Recommender erhöhen?

Ich bin ein Anfänger in die Welt von Machine Learning und die Verwendung von Apache Spark. Ich habe das Tutorial bei https://databricks-training.s3.amazonaws.com/movie-recommendation-with-mllib.html#a

7Hitze

1Antwort

mit pyspark, lesen/schreiben 2D-Bilder auf Hadoop-Dateisystem

Ich möchte in der Lage sein, Bilder auf einem hdfs-Dateisystem zu lesen/schreiben und nutzen Sie die hdfs-Lokalität. Ich habe eine Sammlung von Bildern, wobei jedes Bild von 2D-Arrays von uint16 Grund

7Hitze

2Antwort

Emit mehrere Paare in der Karte Operation

Lasst uns sagen, ich habe Reihen Telefonanruf zeichnet das Format: [CallingUser, ReceivingUser, Duration] Wenn ich will, um die Gesamtmenge von Zeit wissen, dass ein bestimmter Benutzer am Telefon g

16Hitze

5Antwort

Anzahl der sichtbaren Knoten in PySpark erhalten

Ich führe einige Operationen in PySpark aus, und vor kurzem die Anzahl der Knoten in meiner Konfiguration (die auf Amazon EMR ist). Obwohl ich die Anzahl der Knoten (von 4 auf 12) verdreifacht habe, s

5Hitze

1Antwort

Wie bekomme ich den WebUI-URI von SparkContext?

Ich betreibe pySpark in einem IPython-Notebook. Jedes Notebook hat seinen eigenen sparkContext, und jeder hat eine eigene WebUI an seinem eigenen Port, beginnend mit 4040. Ich möchte den Port oder die

5Hitze

2Antwort

In Funke, "INFO metrics.MetricsSaver: Gespeicherte 10:24 Datensätze zu ...."

Ich verarbeite eine 500M Textdatei (.gz) in Amazon sc3 mit Funken und Funken sql auf Amazon EMR (6-Knoten-Cluster) . Und mein Programm druckt weiterhin "INFO metrics.MetricsSaver: Gespeicherte 10:24 D

5Hitze

1Antwort

Spark Combibybykey JAVA Lambda-Ausdruck

Ich möchte Lambda-Funktion verwenden, um den Durchschnitt von Schlüssel (JavaPairRDD<Integer, Double> pairs) zu berechnen. Aus diesem Grund entwickelte ich den folgenden Code: java.util.function.Funct