0
Ich versuche das Ausführen des spark-submit.sh Skripts durch eine andere Anwendung zu automatisieren. Ich habe jedoch festgestellt, dass, obwohl Spark-Submit einem Fehler bekannt ist (es meldet ERROR: Job failed.), es Null zurückgibt, die angibt, dass das spark-submit.sh-Skript erfolgreich abgeschlossen wurde. Siehe:spark-submit.sh gibt 0 zurück, wenn der Job fehlschlägt
./spark-submit.sh --vcap .vcap.json --deploy-mode cluster --master ...
To see the log, in another terminal window run the following command:
tail -f spark-submit_1463130693N.log
...
ERROR: Job failed.
Log file: spark-submit_1463130693N.log
snowch$ echo $?
0
ich die Ausgabe von dem spark-submit.sh Skript für die Fehlermeldung analysieren könnte, aber das ist nicht sehr robust ist. Benutze ich die richtige Version?
snowch$ ./spark-submit.sh --version
spark-submit.sh VERSION : '1.0.0.0.20160420.1'
Ist das ein Fehler mit dem spark-submit.sh Skript?
Danke @Anh. Es sollte einfach sein, dies zu beheben, braucht nur einen 'exit 1' zwischen den Zeilen 1097 und 1098. Es gibt jedoch wahrscheinlich ein paar andere Orte, an denen' exit 1' benötigt wird, zB nach 1071, 1078: https: // github. com/snow/bluemix-spark-submit-beispiel/blob/master/spark-submit.sh –
.. benötigt auch 'exit 1' in Zeile 781. –