Ausführen von Spark und Ipython in Windows 10: Ausnahme: Python in Worker hat eine andere Version 3.4 als in Treiber 3.5

Question

Ich habe dieses einfache Tutorial https://ysinjab.com/2015/03/28/hello-spark/ verfolgt, aber ich versuche es unter Windows zu tun. Wenn ich laufe schließlich den Code

file = sc.textFile("C:\war_and_peace.txt") 
warsCount = file.filter(lambda line:"war" in line) 
peaceCount = file.filter(lambda line:"peace" in line) 
warsCount.count() 

Ich erhalte eine Fehlermeldung über Datei "C: \ Spark-\ Python \ lib \ pyspark.zip \ pyspark \ worker.py", Zeile 64, in dem Haupt Ausnahme: Python durch Zugabe von

\ Spark-\ conf \ spark-spek-env.sh : in Arbeitern andere Version 3.4 als in Fahrer 3.5, PySpark kann nicht mit verschiedenen kleineren Versionen

ich habe versucht, die Bearbeitung meine Config-Datei in C laufen

PYSPARK_PYTHON=python3 
PYSPARK_DRIVER_PYTHON=ipython C:\Spark\bin 

Aber das tat Dinge nicht verbessern. Hat jemand eine Lösung?

Answer 1

Versuchen Sie mit absoluten Pfad zu Python ausführbar. Ich habe dieses Problem oft mit Clustern angetroffen. Wenn Sie im Standalone-Modus arbeiten, versuchen Sie es mit einem virtualenv, anaconda oder ähnlichem.

Haben Sie das Problem bei der Ausführung eines Funkenbeispiels?

./bin/spark-submit examples/src/main/python/pi.py