Warum Spark-Submit und Spark-Shell fehlschlagen mit "Konnte Spark-Assembly JAR nicht finden. Sie müssen Spark erstellen, bevor Sie dieses Programm ausführen."?

Ich habe versucht, Spark-submit zu starten, und ich bekomme "Konnte Spark-Baugruppe JAR nicht finden. Sie müssen Spark vor dem Ausführen dieses Programms erstellen." Wenn ich versuche, Spark-Shell auszuführen, bekomme ich den gleichen Fehler. Was muss ich in dieser Situation tun?Warum Spark-Submit und Spark-Shell fehlschlagen mit "Konnte Spark-Assembly JAR nicht finden. Sie müssen Spark erstellen, bevor Sie dieses Programm ausführen."?

Quelle

2014-12-23 Silver Jay

Sie benötigen weitere Informationen. Wie verpacken Sie Ihr Projekt? Befehlszeile, die funke-submit starten. – gasparms

Ich verpacke es durch Befehl: mvn Paket –

Ihr Spark-Paket enthält keinen kompilierten Spark-Code. Deshalb haben Sie die Fehlermeldung von diesen Skripten spark-submit und spark-shell bekommen.

Sie müssen eine der vorgefertigten Version im Abschnitt "Wählen Sie einen Pakettyp" von the Spark download page herunterladen.

Quelle

2014-12-23 22:13:27 gonbe

Ich bekomme den gleichen Fehler, und habe eine vorgefertigte Version von Spark heruntergeladen .. Laufende Windows – Marin

@Marin Wenn Sie Fragen für Ihr Problem stellen, Würden Sie bitte eine neue Frage stellen und Ihre Umgebung beschreiben (Spark-Version, OS-Version, Java-Version usw.) – gonbe

Versuchen Sie, zuerst mvn -DskipTests clean package zu laufen, um Spark zu bauen.

Quelle

2015-05-05 08:01:28 Lina

Unter Windows habe ich festgestellt, dass die Installation fehlschlägt, wenn sie in einem Verzeichnis mit einem Leerzeichen im Pfad (C: \ Programme \ Spark) installiert ist. Verschieben Sie es in den Stammordner oder ein anderes Verzeichnis ohne Leerzeichen.

Quelle

2016-10-20 22:24:43 jurban1997

10x !! löste es für mich. – user2656851

Dies ist die beste Antwort. Die akzeptierte Antwort ist offensichtlich. –

Das hat es für mich behoben. – Tensigh

Wenn sich Ihre Spark-Binärdateien in einem Ordner befinden, in dem der Name des Ordners Leerzeichen enthält (z. B. "Programme (x86)"), hat dies nicht funktioniert. Ich habe es in "Program_Files" geändert, dann funktioniert der Befehl spark_shell in cmd.

Quelle

2017-01-13 23:16:40 Solomon

Dies ist identisch mit der Antwort von juranan1997 (3 Monate alt). – melpomene

Spark-Installation:

für Fenster Maschine:

 
Download spark-2.1.1-bin-hadoop2.7.tgz from this site https://spark.apache.org/downloads.html 

Unzip and Paste your spark folder in C:\ drive and set environment variable. 

If you don’t have Hadoop, 
you need to create Hadoop folder and also create Bin folder in it and then copy and paste winutils.exe file in it. 

download winutils file from [https://codeload.github.com/gvreddy1210/64bit/zip/master][1] 

and paste winutils.exe file in Hadoop\bin folder and set environment variable for c:\hadoop\bin; 

create temp\hive folder in C:\ drive and give the full permission to this folder like: 

C:\Windows\system32>C:\hadoop\bin\winutils.exe chmod 777 /tmp/hive 

open command prompt first run C:\hadoop\bin> winutils.exe and then navigate to C:\spark\bin> 

run spark-shell

Quelle

2017-09-07 11:52:40

Warum Spark-Submit und Spark-Shell fehlschlagen mit "Konnte Spark-Assembly JAR nicht finden. Sie müssen Spark erstellen, bevor Sie dieses Programm ausführen."?

Antwort

Verwandte Themen