emr

6Hitze

2Antwort

Verwenden von s3distcp mit Amazon EMR zum Kopieren einer einzelnen Datei

Ich möchte mit s3distcp nur eine einzige Datei in HDFS kopieren. Ich habe versucht, mit dem srcPattern-Argument, aber es hat nicht geholfen und es wirft weiter java.lang.Runtime Ausnahme. Es ist mögli

5Hitze

1Antwort

YARN-Protokollaggregation in AWS EMR - UnsupportedFileSystemException

Ich habe Schwierigkeiten, die YARN-Protokollaggregation für meinen Amazon EMR-Cluster zu aktivieren. Ich verfolge diese Dokumentation für die Konfiguration: http://docs.aws.amazon.com/ElasticMapReduce

15Hitze

1Antwort

AWS EMR führen "bootstrap" Skript auf allen bereits laufenden Maschinen in Cluster

Ich habe einen EMR-Cluster, der 24/7 läuft. Ich kann es nicht ausschalten und das neue starten. Was ich tun möchte, ist etwas wie Bootstrap-Aktion auf dem bereits laufenden Cluster, vorzugsweise mit P

3Hitze

1Antwort

Unterstützung für Hadoop 1.0.1 Jobs auf Amazon EMR

Ich habe einige MR-Jobs mit Java und Hadoop 1.0.1 entwickelt. EMR unterstützt jedoch nur bis zu Hadoop 0.20. Ist es möglich, Hadoop 1.0.1-Jobs auf EMR auszuführen oder muss ich meinen Bibliotheksstape

5Hitze

2Antwort

Laden Sie schnell komprimierte Dateien in Elastic MapReduce

Ich habe eine Reihe von bissig-komprimierten Server-Logs in S3, und ich muss sie mit Streaming auf Elastic MapReduce verarbeiten. Wie kann ich Amazon und Hadoop mitteilen, dass die Protokolle bereits

8Hitze

1Antwort

Wie zu stoppen Bienenstock/Schwein in Amazon Data Pipeline installieren?

Ich brauche weder Hive noch Pig, und die Amazon Data Pipeline installiert sie standardmäßig auf jedem EMR-Cluster, den es hochfährt. Dies dauert länger als nötig. Irgendwelche Ideen zum Deaktivieren d

5Hitze

1Antwort

Wie verwende ich HDFS mit EMR?

Ich denke, dass die Verbindung von EMR zu Amazon S3 aufgrund der Abhängigkeit von der Netzwerkgeschwindigkeit höchst unzuverlässig ist. Ich kann nur Links finden, um einen S3-Standort zu beschreiben.

8Hitze

2Antwort

Wie bereinigt man die Liste der terminierten AWS EMR Cluster?

Ich habe etwa 88 EMR-Cluster, die in meinem AWS-Konto abgeschlossen sind. Wie säubere ich die Liste der beendeten EMR-Cluster? Wird AWS die Liste bereinigen? Wie kommt es, dass die terminierten Cluste

6Hitze

1Antwort

Leistungsproblem in Hive-Version 0.13.1

Ich verwende AWS-EMR, um meine Hive-Abfragen auszuführen, und ich habe ein Leistungsproblem beim Ausführen von Hive-Version 0.13.1. Die neuere Version des Bienenstocks dauerte ungefähr 5 Minuten für d

6Hitze

1Antwort

Wie werden EMR-Cluster-Schritte gleichzeitig ausgeführt?

Hallo Ich habe einen EMR-Cluster. Immer wenn ich "Schritte" einreiche, werden sie nacheinander ausgeführt. Gibt es eine Möglichkeit, "Schritte" gleichzeitig auszuführen? Oder ist der geeignete Anwendu