Ich brauche weder Hive noch Pig, und die Amazon Data Pipeline installiert sie standardmäßig auf jedem EMR-Cluster, den es hochfährt. Dies dauert länger als nötig. Irgendwelche Ideen zum Deaktivieren der Installation?Wie zu stoppen Bienenstock/Schwein in Amazon Data Pipeline installieren?
Dies ist heute nicht möglich.
Die einzige Problemumgehung wäre das Starten eines kleinen EMR-Clusters, den Sie zum Testen verwenden (wie bei einem einzelnen Master - m1.small). Dann benutze es mit 'workergroup' und nicht mit 'runsOn'.
Je nach Typ der Aktivitäten, die Sie verwenden möchten, wird das Feld "workergroup" möglicherweise nicht unterstützt. Sie können jedoch immer alles in ein Skript (Python, Shell oder Blah) einfügen und es mit ShellCommandActivity verwenden.
Update (korrekt ChristopherB erinnert):
Von 3.x AMI-Version, Hive und Pig in der AMI selbst gebündelt. Die Schritte ziehen also keine neuen Pakete von S3, sondern nur die Dämonen auf dem Master-Knoten. Wenn Sie sich also nicht Sorgen machen, dass Sie Ihre Ressourcen (CPU, Speicher usw.) verbrauchen, sollte es in Ordnung sein. Sie würden keine nennenswerte Zeit zum Laufen brauchen.
Für EMR AMI 3.x und höher führen die Schritte zum Hinzufügen dieser Ergebnisse zu keinem Betrieb, da die Software mit diesen AMIs bereits für Pig und Hive vorinstalliert ist. – ChristopherB