apache-spark-standalone

0Hitze

1Antwort

Frühe Initialisierung von Objekten auf Worker-Knoten im Spark-Cluster

Ich verwende Drools mit Spark in einem eigenständigen Cluster. Ich möchte die Wissenssitzung auf alle Arbeiterknoten beim Start laden, d. H. Vor der Map-Reduzierungsaufgabe. Ich habe versucht, die Sta

0Hitze

1Antwort

Nicht alle im Spark Standalone-Cluster verwendeten Knoten

Ich habe einen Spark Standalone Cluster mit zwei virtuellen Maschinen erstellt. In der 1. VM (8 Kerne, 64 GB Arbeitsspeicher) habe ich den Master manuell mit dem Befehl bin/spark-class org.apache.spar

0Hitze

1Antwort

Spark Resource Scheduling - Standalone-Cluster-Manager

Ich habe ziemlich niedrige Konfiguration Testmaschine für meine Daten-Pipelines in Spark entwickelt. Ich werde nur eine AWS t2.large-Instanz verwenden, die nur 2 CPUs und 8 GB RAM hat. Ich muss 2 Funk

3Hitze

1Antwort

Zugang Spark-Shell von verschiedenen Spark-Versionen

TL; DR: Ist es unbedingt notwendig, dass der Spark eine Spark-Shell (Treiber) die genau die gleiche Version des Spark-Master haben? Ich bin mit Funken 1.5.0 zu Spark-1.5.0-cdh5.5.0 über Funken Shell v

1Hitze

2Antwort

Wie funke verteilt im Cluster-Modus ausführen, aber Datei lokal nehmen?

Ist es möglich, Spark eine lokale Datei als Eingabe zu nehmen, aber verteilte verarbeiten? Ich habe sc.textFile(file:///path-to-file-locally) in meinem Code, und ich weiß, dass der genaue Pfad zu der