Pyspark Befehl nicht erkannt

Ich habe Anaconda installiert und habe auch Spark 1.6.2 heruntergeladen. Ich verwende die folgenden Anweisungen aus dieser Antwort Funken zu konfigurieren für Jupyter enter link description here Pyspark Befehl nicht erkannt

Ich habe heruntergeladen und entpackt die Funken Verzeichnis als

~/spark

Nun, wenn ich cd in dieses Verzeichnis und in bin ich folgendes

sehen

SFOM00618927A:spark $ cd bin 
SFOM00618927A:bin $ ls 
beeline   pyspark   run-example.cmd  spark-class2.cmd spark-sql  sparkR 
beeline.cmd  pyspark.cmd  run-example2.cmd spark-shell  spark-submit  sparkR.cmd 
load-spark-env.cmd pyspark2.cmd  spark-class  spark-shell.cmd  spark-submit.cmd sparkR2.cmd 
load-spark-env.sh run-example  spark-class.cmd  spark-shell2.cmd spark-submit2.cmd

ich habe auch die Umgebungsvariablen wie meine .bash_profile in der obigen Antwort erwähnt und .profile

Jetzt im spark/bin-Verzeichnis muss ich als erstes prüfen, ob der pyspark-Befehl zuerst auf der Shell funktioniert.

So mache ich das nach cd Funken tun/bin

SFOM00618927A:bin $ pyspark 
-bash: pyspark: command not found

Gemäß der Antwort nach folgenden alle Schritte, die ich nur tun kann

pyspark

in Terminal in ein beliebiges Verzeichnis, und es sollte beginnen ein Jupiter-Notizbuch mit Funkenmotor. Aber selbst der pyspark in der Shell funktioniert nicht. Vergessen Sie nicht, es auf dem Juypter-Notebook laufen zu lassen.

Bitte geben Sie an, was hier falsch läuft.

Edit:

Ich habe

open .profile

im Home-Verzeichnis und das ist, was in dem Pfad gespeichert wird.

export PATH=/Users/854319/anaconda/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/Library/TeX/texbin:/Users/854319/spark/bin 
export PYSPARK_DRIVER_PYTHON=ipython 
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark

Quelle

2016-08-05 Baktaawar

Haben Sie Schritt 8 der Antwort gefolgt? Den bin-Ordner zur PATH-Umgebungsvariablen hinzufügen? – rfkortekaas

Nach cd spark/bin, $ ./pyspark wird funktionieren, haben Sie versucht, dies –

@rfkortekaas Ja, ich folgte Schritt 8 der Antwort. Ich habe alle die im Pfad immer noch nicht funktioniert – Baktaawar

1- Sie müssen JAVA_HOME einstellen und Funkenwege für die Shell, sie zu finden. Nach dem Setzen Sie sie in Ihrem .profile Sie

source ~/.profile

möchten die Einstellung in der aktuellen Sitzung zu aktivieren. Von Ihrem Kommentar kann ich sehen, dass Sie bereits das JAVA_HOME Problem haben.

Hinweis, wenn Sie .bash_profile oder .bash_login haben, werden .profile nicht als here beschrieben arbeiten

2- Wenn Sie in spark/bin sind Sie

./pyspark

die Schale sagen ausführen müssen, dass das Ziel in ist der aktuelle Ordner

Quelle

2016-08-08 11:02:34 ShuaiYuan

Irgendeine Idee, wie man Jaba_HOME Pfad setzt ?. Ich habe die JRE aber installiert .. – Baktaawar

ok ich stelle das auf und jetzt, wenn ich nur pyspark mache öffnet es ein jupyter notebook. Ich muss nicht ./pyspark .. Letztes Ding - was, wenn ich nur den pyspark auf der Konsole öffnen möchte, anstatt ein Notizbuch zu öffnen. Welchen Befehl tippen wir dann? – Baktaawar

Sie müssen die Einstellungen von 'PYSPARK_DRIVER_PYTHON' und' PYSPARK_DRIVER_PYTHON_OPTS' löschen. – ShuaiYuan

Hier ist meine Umgebung Vars, hoffe, es wird Ihnen helfen:

# path to JAVA_HOME 
export JAVA_HOME=$(/usr/libexec/java_home) 

#Spark 
export SPARK_HOME="/usr/local/spark" #version 1.6 
export PATH=$PATH:$SPARK_HOME/bin 
export PYSPARK_SUBMIT_ARGS="--master local[2]" 
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH 
export PYSPARK_DRIVER_PYTHON=jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

^^ die Pyspark_driver_python_opts Option entfernen, wenn Sie das Notebook nicht wollen, zu starten, sonst kann man diese ganz auslassen und es verwenden, auf Ihre Befehlszeile, wenn Sie es brauchen.

Ich habe Anaconda Vars in einer anderen Zeile an den PATH anzuhängen.

Quelle

2016-08-22 02:37:13 Max

Antwort

Verwandte Themen