Sparkling Water - Python-Skript als Spark-Anwendung ausführen

Question

Ich habe Probleme mit Sparkling Water, um ein Python-Skript als Spark-Anwendung auszuführen. Ich verwende diesen Befehl, um meinen Skript auf Funken ausführen:

./bin/spark-submit \

--packages ai.h2o:sparkling-water-core_2.10:1.5.12 \

--py-files $SPARKLING_HOME/py/dist/pySparkling-1.5.12-py2.7.egg $SPARKLING_HOME/Python/test.py

und ich habe diese fallen Fehler:

py4j.protocol.Py4JError: Trying to call a package.

Protokolle:

> Traceback (most recent call last): 
    File "/Users/Documents/sparkling-water-1.5.12/Python/test.py", line 5, in <module> 
    hc= H2OContext(sc).start() 
    File "/Users/Documents/sparkling-water-1.5.12/py/dist/pySparkling-1.5.12-py2.7.egg/pysparkling/context.py", line 72, in __init__ 
    File "/Users/Documents/sparkling-water-1.5.12/py/dist/pySparkling-1.5.12-py2.7.egg/pysparkling/context.py", line 96, in _do_init 
    File "/Users/Documents/spark-1.5.2-bin-hadoop2.4/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py", line 726, in __getattr__ 
py4j.protocol.Py4JError: Trying to call a package. 
16/04/11 16:58:39 INFO SparkContext: Invoking stop() from shutdown hook 
16/04/11 16:58:39 INFO SparkUI: Stopped Spark web UI at http://192.168.181.84:4042 
16/04/11 16:58:39 INFO DAGScheduler: Stopping DAGScheduler 
16/04/11 16:58:39 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped! 
16/04/11 16:58:39 INFO MemoryStore: MemoryStore cleared 
16/04/11 16:58:39 INFO BlockManager: BlockManager stopped 
16/04/11 16:58:39 INFO BlockManagerMaster: BlockManagerMaster stopped 
16/04/11 16:58:39 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped! 
16/04/11 16:58:39 INFO SparkContext: Successfully stopped SparkContext 
16/04/11 16:58:39 INFO ShutdownHookManager: Shutdown hook called 
16/04/11 16:58:39 INFO ShutdownHookManager: Deleting directory /private/var/fold 

Wie kann ich dieses Problem beheben? Ich folge genau dem Befehl aus der Broschüre: https://h2o-release.s3.amazonaws.com/h2o/rel-turan/3/docs-website/h2o-docs/booklets/SparklingWaterVignette.pdf

Answer 1

Es ist eigentlich ein kritischer Fehler, den wir in Sparkling Water Team kennen und es ist in einer neuen Version mit anderen Hotfixes behoben. Der Fehler ist bereits behoben (https://0xdata.atlassian.net/browse/SW-107) und ein neues Release sollte bald veröffentlicht werden.

Ich werde Sie auf dem Laufenden halten und Sie wissen lassen, wenn die neue Version herauskommt.

29. April 2016 EDITED

Neue Version mit dem Update ist out.

Für Funken 1,6-http://h2o-release.s3.amazonaws.com/sparkling-water/rel-1.6/3/index.html

Für Funken 1,5-http://h2o-release.s3.amazonaws.com/sparkling-water/rel-1.5/14/index.html

Sie brauchen keine -packages mehr nennen glitzernde Wasser-Kern hinzuzufügen. Die pySparkling-Eizelle enthält bereits alle notwendigen Java/Scala-Klassen, die sie benötigt. Alles, was Sie tun müssen, ist einfach die Datei py-files zu setzen und das sollte es sein.