Mit Spark Kernel auf Jupyter

Question

Also ich fange gerade mit Jupyter und der Idee von Notebooks an.

Ich programmiere normalerweise in VIM und Terminal, also versuche ich noch etwas herauszufinden.

Ich versuche, einen Toree-Kernel zu verwenden.

Ich versuche, einen Kernel zu installieren, der in der Lage ist, Funke auszuführen und Toree getroffen zu haben. Ich habe toree installiert und es erscheint, wenn ich die Kernel-Liste ausführe. Hier ist das Ergebnis:

$ jupyter kernelspec list Available kernels: python3 C:\Users\UserName\AppData\Local\Continuum\Anaconda3\lib\site-packages\ipykernel\resources bash C:\Users\UserName\AppData\Roaming\jupyter\kernels\bash toree C:\ProgramData\jupyter\kernels\toree

---

Also, wenn ich ein toree Notebook öffnen, wird der Kernel stirbt und wird nicht neu gestartet. Wenn Sie das Notizbuch schließen und erneut öffnen, wechselt der Kernel zu Python3.

Es gibt eine große Fehlermeldung, die an das Host-Terminal und die Notebook-Fehlermeldung gedruckt wird. Es gibt einen anderen Posten, der auf Eis gelegt wurde; Sie sind die gleichen Fehlermeldungen.

folgte ich diese Seite für die Installation von: https://github.com/apache/incubator-toree

Diese Anweisungen sind vor allem für Linux/Mac erscheint ist.

Irgendwelche Gedanken, wie man ein Spark Notebook auf Jupyter bekommt?

Ich verstehe, es gibt nicht viele Informationen hier, wenn mehr benötigt wird. Gib mir Bescheid.

Answer 1

gab ich eine ähnliche Frage an Gitter und antworteten sie sagen (paraphrasiert), dass:

Toree die Zukunft der Funken Programmierung auf Jupyter und wird korrekt auf einem Windows-Rechner installiert haben, scheinen aber die .jar und. SH-Dateien funktionieren nicht korrekt auf der Windows-Maschine.

Ich wusste dies, ich versuchte es auf meinem Linux (Fedora) und einem geliehenen Mac. Sobald jupyter installiert wurde (und Anaconda) trat ich diese Befehle:

$ SparkHome="~/spark/spark1.5.5-bin.hadoop2.6" 
$ sudo pip install toree 
Password: ********** 
$ sudo jupyter toree install --spark_home=$SparkHome 

Jupyter lief die toree Notebook auf beiden Maschinen. Ich vermute, dass eine VM auch funktionieren könnte. Ich will sehen, ob die Bash-Shell des Windows 10 auch damit arbeitet, während ich Windows 7 benutze.

Danke für die anderen Docs!

Answer 2

Die Antwort von @ user3025281 löste das Problem für mich auch. Ich musste die folgende Anpassung für meine Umgebung vornehmen (eine Ubuntu 16.04 Linux Distribution mit Spark 2.2.0 und Hadoop 2.7). Die Downloads sind direkte Dateidownloads von den Hosting-Sites oder einer Mirror-Site.

Sie konfigurieren hauptsächlich Ihre Umgebungsvariablen und rufen dann jupyter auf, vorausgesetzt, dass sie über Anaconda installiert wurde. das ist ziemlich viel es

SPARK_HOME="~/spark/spark-2.2.0-bin-hadoop2.7" 

schreiben Sie diese in Ihre ~/.bashrc Datei und dann Quelle rufen `.bashrc

# reload environment variables 
source ~/.bashrc` 

Installieren

sudo pip install toree 
sudo jupyter toree install --spark_home=$SPARK_HOME 

Und jetzt .... wir gucci

Optional: Am 10. Windows könnten Sie "Bash auf Ubuntu unter Windows" verwenden für Konfigurieren von Jupyter auf einer Linux-Distribution