Wie installiert man Apache Toree für Spark Kernel in Jupyter in (ana) Conda-Umgebung?

Question

Ich versuche Jupyter -Unterstützung für Spark in einer conda Umgebung (die ich mit http://conda.pydata.org/docs/test-drive.html eingerichtet) der anaconda distribution zu installieren. Ich versuche, apache toree als Jupyter Kernel dafür zu verwenden.

Hier ist, was ich tat, nachdem ich Anaconda installiert:

conda create --name jupyter python=3 
source activate jupyter 
conda install jupyter 
pip install --pre toree 
jupyter toree install 

Alles funktionierte gut, bis ich die letzte Zeile erreicht. Dort erhalte ich

Was die Frage aufwirft: Warum sucht es überhaupt in diesem Verzeichnis? Immerhin soll es in der Umwelt bleiben. So exectue I

jupyter --paths 

und bekommen

config: 
    /home/user/.jupyter 
    ~/anaconda2/envs/jupyter/etc/jupyter 
    /usr/local/etc/jupyter 
    /etc/jupyter 
data: 
    /home/user/.local/share/jupyter 
    ~/anaconda2/envs/jupyter/share/jupyter 
    /usr/local/share/jupyter 
    /usr/share/jupyter 
runtime: 
    /run/user/1000/jupyter 

Ich bin nicht ganz sicher, was los ist und wie es weitergehen, um alles läuft in (und wenn möglich nur in) der Conda Umwelt „jupyter“ .

Answer 1

Jupyter versucht, den Kernel standardmäßig in die systemweite Kernel-Registrierung zu installieren. Sie können ein --user-Flag übergeben und es wird ein Benutzer-Kernel-Verzeichnis verwendet. Weitere Details finden Sie unter kernelspec.py. folgende Befehl installiert toree Kernel in den User-Kernel

jupyter toree install --user 

Answer 2

Sie --help können alle verfügbaren Optionen zu sehen:

 
$ jupyter toree install --help 
A Jupyter kernel for talking to spark 

Options 
------- 

Arguments that take values are actually convenience aliases to full 
Configurables, whose aliases are listed on the help line. For more information 
on full configurables, see '--help-all'. 

--user 
    Install to the per-user kernel registry 
--replace 
    Replace any existing kernel spec with this name. 
--sys-prefix 
    Install to Python's sys.prefix. Useful in conda/virtual environments. 
--debug 
    set log level to logging.DEBUG (maximize logging output) 
--kernel_name= (ToreeInstall.kernel_name) 
    Default: 'Apache Toree' 
    Install the kernel spec with this name. This is also used as the base of the 
    display name in jupyter. 
--spark_home= (ToreeInstall.spark_home) 
    Default: '/usr/local/spark' 
    Specify where the spark files can be found. 
--toree_opts= (ToreeInstall.toree_opts) 
    Default: '' 
    Specify command line arguments for Apache Toree. 
--spark_opts= (ToreeInstall.spark_opts) 
    Default: '' 
    Specify command line arguments to proxy for spark config. 
--interpreters= (ToreeInstall.interpreters) 
    Default: 'Scala' 
    A comma separated list of the interpreters to install. The names of the 
    interpreters are case sensitive. 
--python_exec= (ToreeInstall.python_exec) 
    Default: 'python' 
    Specify the python executable. Defaults to "python" 
--log-level= (Application.log_level) 
    Default: 30 
    Choices: (0, 10, 20, 30, 40, 50, 'DEBUG', 'INFO', 'WARN', 'ERROR', 'CRITICAL') 
    Set the log level by value or name. 
--config= (JupyterApp.config_file) 
    Default: '' 
    Full path of a config file. 

To see all available configurables, use `--help-all` 

Examples 
-------- 

    jupyter toree install 
    jupyter toree install --spark_home=/spark/home/dir 
    jupyter toree install --spark_opts='--master=local[4]' 
    jupyter toree install --kernel_name=toree_special 
    jupyter toree install --toree_opts='--nosparkcontext' 
    jupyter toree install --interpreters=PySpark,SQL 
    jupyter toree install --python=python 

Mit jupyter toree install --sys-prefix ist die beste Option für Conda und Venv Umgebungen.