Verwalten Sie Google Dataproc preemptible-Arbeiter persistente Festplatte Größe

Question

Ich benutze Jupyter auf einem Cluster mit Google Dataproc erstellt und es funktioniert sehr gut.

Ich habe versucht, Cluster "Größe" (Maschinentyp, Bootdiskettengröße, Anzahl der Arbeiter, ...) zu meinen Bedürfnissen anzupassen, und es funktioniert ziemlich gut.

Das Hauptproblem ist, ich bekomme nicht, wie man die persistente Festplattengröße für präemptive Arbeiter ändert.

Ich verwende diesen Befehl ein:

gcloud dataproc clusters create jupyter --project <my_project> --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-preemptible-workers 0 --master-boot-disk-size 25 --worker-boot-disk-size 10 --worker-machine-type n1-standard-1 --worker-boot-disk-size 10 

Ich hoffte, dass die „--worker-boot-disk-size 10“ Option auch präemptiv diejenigen angewandt worden wäre, aber es kam nicht.

Gibt es also eine Möglichkeit, die Größe der Boot-Disk-Preemptible-Workers zu ändern?

Wird Google mich für die persistente Festplattennutzung des Preemtible Worker aufladen?

Answer 1

Der Beta-Dataproc-gcloud-Kanal bietet --preemptible-worker-boot-disk-size, die wie das Ding klingt, das Sie wollen.

Zum Beispiel:

gcloud beta dataproc clusters create ... --preemptible-worker-boot-disk-size 500GB 

hier angekündigt: https://cloud.google.com/dataproc/release-notes/service#july_1_2016

Ab september_16_2016 Release, --preemptible-Arbeiter-Boot-Disk-Größe kann, ohne die Schaffung jede präemptiv VMs verwendet werden: https://cloud.google.com/dataproc/docs/release-notes/service#september_16_2016

Answer 2

Beachten Sie: Sie können "--preemptible-worker-boot-disk-size" nur verwenden, während Sie Ihren Cluster erstellen. Wenn Sie erstellen einen Cluster und dann verwenden Sie

gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 

neue präemptiv ntfernungen wird 100GB persistenter Festplattengröße haben. Wenn Sie versuchen, mit:

gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10 

oder

gcloud beta dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10 

es wird nicht funktionieren.