pyspark: IOError: [Errno 20] kein Verzeichnis

Question

Ich bin ein pyspark Job auf AWS-EMR läuft und ich bekam die folgende Fehlermeldung:

IOError: [Errno 20] Not a directory: '/mnt/yarn/usercache/hadoop/filecache/12/my_common-9.0-py2.7.egg/my_common/data_tools/myData.yaml' 

Weiß jemand, was ich vielleicht verpasst haben? Vielen Dank!

Answer 1

Wie die Fehlerzustände my_common-9.0-py2.7.egg ist kein Verzeichnis.

Fehlt Ihnen Platz in Ihrem Weg?

/mnt/yarn/usercache/hadoop/filecache/12/my_common-9.0-py2.7.egg /my_common/data_tools/myData.yaml