EMR-Cluster aktualisieren?

Question

Ich habe einen kleinen, lang laufenden Cluster auf EMR mit Spark, Zeppelin, Hue, etc .... Ich habe Hue-Benutzer konfiguriert, ich habe mehrere Notizbücher in Zeppelin, die ich benutze ... alles funktioniert gut . Ich verwende jedoch emr-4.3.0 und möchte auf das emr-4.5.0-Image upgraden. Ich möchte den Cluster nicht neu erstellen, da ich alle Anwendungen erneut konfigurieren muss und herausfinden muss, wie die Benutzerdaten übertragen werden (gespeicherte Notizbücher, gespeicherte Abfragen in Hue usw.).

Wie kann ich einen bereits laufenden Cluster auf das neueste EMR-Image aufrüsten?

Answer 1

Leider gibt es keine EMR APIs, um EMR AMIs zu aktualisieren. Sie müssen manuell zu einem neueren AMI migrieren. Wenn Sie über ständige Updates besorgt sind. Einige Vorschläge sind-

1. Hue Benutzerinformationen und Abfragehistorien -> Sie können eine zentrale Farbton DB zum Speichern von Benutzern/query Geschichte auf einer externe Datenbank anstelle von lokalen MySQL verwenden: http://docs.aws.amazon.com/emr/latest/ReleaseGuide/hue-rds.html

2. Zeppelin -> Verwenden Sie den persistenten S3-Speicher zum Speichern von Notebooks