Verwenden von Spark und Python in der gleichen IDE

Question

Ich benutze Spyder (Anaconda) auf Mac für Python-Entwicklung. Ich habe auch PySprak auf meiner Maschine installiert, die ich vom Terminal verwende. Ist es möglich, beide in Spyder zu verwenden, oder irgendwie den Funkenkontext in meinen Python 2.7 zu importieren?

Answer 1

ja ist es möglich, installieren Sie einfach

pip install findspark 

dann

findspark.init() 

https://stackoverflow.com/a/34763240

dann versuchen, laufen pyspark zu importieren, wenn es dann gut funktioniert oder sonst pyspark hinzufügen & versuchen PythonPath wieder

# Add the PySpark classes to the Python path: 
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH