Wie Skript in Pyspark ausführen und Drop in IPython-Shell, wenn Sie fertig sind?

Question

Ich möchte ein Spark-Skript ausführen und in eine IPython-Shell einfügen, um Daten interaktiv zu untersuchen.

Laufen beide:

$ IPYTHON=1 pyspark --master local[2] myscript.py 

und

$ IPYTHON=1 spark-submit --master local[2] myscript.py 

beide Ausfahrt aus IPython einmal getan.

Dies scheint wirklich einfach, aber nicht finden kann, wie es überall zu tun.

Answer 1

Starten Sie die IPython-Shell mit IPYTHON=1 pyspark, dann führen Sie execfile('/path/to/myscript.py'), die Ihr Skript in der Shell ausführen und zurück zu es ausführen sollte.

Answer 2

Wenn Sie die ipython Shell starten mit:

$ IPYTHON=1 pyspark --master local[2] 

Sie tun können:

>>> %run myscript.py 

und alle Variablen im Arbeitsbereich bleiben. Sie können auch Schritt für Schritt debuggen mit:

>>> %run -d myscript.py