new Spark StreamingContext failes mit hdfs Fehler

Question

Ich benutze dcos über Azure ACS installiert und installiert hdfs und Funken über dcos Werkzeug mit Standardoptionen.

ein SparkStreamingContext Erstellen gibt:

16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn1. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn2. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
Exception in thread "main" java.lang.IllegalArgumentException: 
java.net.UnknownHostException: namenode1.hdfs.mesos 

Ich erwarte, dass ich den Funken Paket mit dcos package install mit -Optionen umschichten = kann aber nicht herausfinden, was die hdfs.config-url sein sollte. Die https://docs.mesosphere.com/1.7/usage/service-guides/spark/install/#hdfs Dokumente scheinen veraltet zu sein.

Answer 1

Ja, es ist veraltet. Wir werden das beheben.

DC/OS HDFS versorgt nun seine Konfiguration unter http://hdfs.marathon.mesos:[port]/v1/connect