Wie kann ich die Protokollierungsausgabe für den Job zum Senden von Funken auf bluemix erhöhen?

Question

Ich habe einen Python-Job an bluemix spark als Service übergeben und es ist fehlgeschlagen. Leider ist das Protokollieren nicht ausreichend und gibt mir keine Ahnung, warum es gescheitert ist.

Wie kann ich die Log-Level-Ausgabe erhöhen?

Ausgabe von Funken als Dienstleistung:

==== Failed Status output ===================================================== 

Getting status 
HTTP/1.1 200 OK 
Server: nginx/1.8.0 
Date: Thu, 12 May 2016 19:09:30 GMT 
Content-Type: application/json;charset=utf-8 
Content-Length: 850 
Connection: keep-alive 

{ 
    "action" : "SubmissionStatusResponse", 
    "driverState" : "ERROR", 
    "message" : "Exception from the cluster: 
org.apache.spark.SparkUserAppException: User application exited with 255 
    org.apache.spark.deploy.PythonRunner$.main(PythonRunner.scala:88) 
    org.apache.spark.deploy.PythonRunner.main(PythonRunner.scala) 
    sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:95) 
    sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:55) 
    java.lang.reflect.Method.invoke(Method.java:507) 
    org.apache.spark.deploy.ego.EGOClusterDriverWrapper$$anon$3.run(EGOClusterDriverWrapper.scala:430)", 
    "serverSparkVersion" : "1.6.0", 
    "submissionId" : "xxxxxx", 
    "success" : true 
} 
=============================================================================== 

ich die gleiche Arbeit erfolgreich gegen einen BigInsights Cluster ausgeführt haben. Ich bekomme auch viel ausführlichere Ausgaben, wenn ich auf dem Biginsights-Cluster laufe.

Answer 1

Die Dateien stderr-%timestamp% und stdout-%timestamp% werden vom Cluster in Ihr lokales Verzeichnis heruntergeladen, in dem Sie spark-submit.sh ausgeführt haben. Normalerweise finden Sie die Jobprobleme in diesen beiden Dateien.

Referenz: http://spark.apache.org/docs/latest/spark-standalone.html#monitoring-and-logging