Datei hinzufügen, um Treiber Classpath-Datei auf Dataproc

Question

hinzufügen Ich muss eine Konfigurationsdatei zum Treiber Spark Classpath auf Google Dataproc hinzufügen.

Ich habe versucht, --files Option von gcloud dataproc jobs submit spark zu verwenden, aber das funktioniert nicht.

Gibt es eine Möglichkeit, es auf Google Dataproc zu tun?

Answer 1

In Dataproc wird alles, was als --jar aufgeführt ist, zum Klassenpfad hinzugefügt, und alles, was als - Datei aufgelistet wird, wird im Arbeitsverzeichnis jedes Funkexecutors verfügbar gemacht. Auch wenn das Flag --jars ist, sollte es sicher sein, Nicht-Jar-Einträge in diese Liste aufzunehmen, wenn die Datei im Klassenpfad sein muss.