elastic-map-reduce

6Hitze

3Antwort

Amazon Elastic Map Reduce für die Analyse von s3-Logs

Ich benutze EMR, um Web-Nginx-Logs zu analysieren. Aber ich muss die Protokolle so verarbeiten, dass sie in Zeilen und Spalten aufgeteilt werden können, um die Abfrage zu erleichtern. So machte ich zw

11Hitze

1Antwort

Laden von Daten mit Hive, S3, EMR und Recover Partitions

Gelöst: Siehe Update # 2 unten für die "Lösung" für dieses Problem. ~~~~~~~ In s3, habe ich einige log * .gz Dateien in einer verschachtelten Verzeichnisstruktur gespeichert wie: s3://($BUCKET)/y=2012

9Hitze

6Antwort

Gibt es verteilte Bibliotheken zum maschinellen Lernen für die Verwendung von Python mit Hadoop?

Ich habe mich für Amazon Elastic MapReduce entschieden, um verschiedene Standardaufgaben beim maschinellen Lernen zu übernehmen. Ich habe Python ausgiebig für lokales maschinelles Lernen in der Vergan

6Hitze

2Antwort

Verwenden von s3distcp mit Amazon EMR zum Kopieren einer einzelnen Datei

Ich möchte mit s3distcp nur eine einzige Datei in HDFS kopieren. Ich habe versucht, mit dem srcPattern-Argument, aber es hat nicht geholfen und es wirft weiter java.lang.Runtime Ausnahme. Es ist mögli

6Hitze

2Antwort

Amazon Elastic MapReduce - SIGTERM

Ich habe einen EMR-Streaming-Job (Python), der normalerweise gut funktioniert (z. B. 10 Maschinen, die 200 Eingaben verarbeiten). Allerdings, wenn ich laufen sie gegen große Datenmengen (12 Maschinen

5Hitze

3Antwort

Ist es möglich, hadoop fs -getmerge in S3 auszuführen?

Ich habe einen Elastic Map Reduce-Job, der einige Dateien in S3 schreibt, und ich möchte alle Dateien verketten, um eine eindeutige Textdatei zu erzeugen. Momentan kopiere ich manuell den Ordner mit a

8Hitze

1Antwort

Hadoop-Parameter mit Boto einstellen?

Ich versuche, fehlerhafte Eingaben für meine Amazon Elastic MapReduce-Jobs zu überspringen. Ich verfolge die wunderbare Rezept hier beschrieben: http://devblog.factual.com/practical-hadoop-streaming-d

10Hitze

2Antwort

Konfigurieren der externen Datenquelle für Elastic MapReduce

Wir möchten Amazon Elastic MapReduce auf unserer aktuellen Datenbank verwenden (wir verwenden Cassandra auf EC2). Mit Blick auf die Amazon EMR FAQ, sollte es möglich sein: Amazon EMR FAQ: Q: Can I loa

11Hitze

3Antwort

Wie kann ich auf den Abschluss eines Jobablaufs für Elastic MapReduce in einer Java-Anwendung warten?

Kürzlich habe ich mit Amazon Web Services (AWS) gearbeitet und ich habe festgestellt, dass es nicht viel Dokumentation zu diesem Thema gibt, also habe ich meine Lösung hinzugefügt. Ich schrieb eine An

1Hitze

2Antwort

Ganglia und Amazon Elastic Map Reduce - Probleme bei der Installation

Folgen Sie den Anweisungen für "Initialisieren Ganglia auf einem Job Flow" Ich bekomme meine Cluster, aber sehen keine Ganglia-Prozess läuft (auf 8157). http://docs.amazonwebservices.com/ElasticMapRed