Wie bekomme ich den WebUI-URI von SparkContext?

Question

Ich betreibe pySpark in einem IPython-Notebook. Jedes Notebook hat seinen eigenen sparkContext, und jeder hat eine eigene WebUI an seinem eigenen Port, beginnend mit 4040.
Ich möchte den Port oder die URI extrahieren und drucken, damit ich zur richtigen WebUI navigieren kann. Wie kann ich diese Information bekommen?

Answer 1

Sie können die vollständige URL direkt in die zugrunde liegenden Scala SparkContext die die SparkUI Seite durch Tunneln erhalten mit:

>>> sc._jsc.sc().uiWebUrl().get() 
u'http://192.168.0.59:6970' 

Das ist ein bisschen unbequem, aber so habe ich nur filed a Pull Request, die einen Accessor fügt hinzu: so können Sie einfach tun:

>>> sc.uiWebUrl 
u'http://192.168.0.59:6970' 

Hoffentlich wird dies in die nächste Version zusammengeführt werden, aber wenn nicht, können Sie einfach Ihre eigene Kopie von Funken mit den Änderungen in der verknüpften Zweig-Patch (oder verwendet Sie die hässliche lang~~POS=TRUNC über).