emr

0Hitze

2Antwort

s3-dist-cp und hadoop distcp job endlos in EMR

Ich versuche, 193 GB Daten von s3 nach HDFS zu kopieren. Ich laufe die folgenden Befehle für s3-distcp und hadoop distcp: s3-dist-cp --src s3a://PathToFile/file1 --dest hdfs:///user/hadoop/S3CopiedFil

0Hitze

1Antwort

Ist es möglich, den Namen des derzeit ausgeführten AWS EMR-Schritts ohne Konsole zu erhalten

Wenn es drei Schritte gibt, die in EMR ausgeführt werden, ist es möglich, mithilfe von Shell-Skript zu wissen, welcher Schritt gerade ausgeführt wird. Ich bin in der Lage aktuellen Stand der EMR-Clust

1Hitze

1Antwort

Welche Richtlinie wird für elasticmapreduce benötigt: RunJobFlow in AWS?

ich die AWS DataPipeline bin mit einer AWS Command Line Interface (CLI) ausgeführt werden, die einem EMR Cluster schafft, aber ich die folgende Fehlermeldung erhalten, wenn der Befehl ausgeführt wird:

0Hitze

1Antwort

Amazon Web Services Kinesis, EMR und S3 in der Cloud

Ich habe einen Anwendungsfall, wo ich CSV-Daten von mehreren Windows-Geräten senden müssen, sagen Nutzungsstunden. Wir haben Zielnutzungsstunden z.B. 80 Stunden, die kollektiv abgeschlossen werden müs

0Hitze

1Antwort

Verwenden von Spark-submit extern vom EMR-Cluster-Master

Wir haben einen Hadoop-Cluster in AWS Elastic MapReduce (EMR) mit Spark 1.6.1 ausgeführt. Es ist kein Problem, in den Cluster-Master zu gelangen und Spark-Jobs zu senden, aber wir möchten sie von eine

0Hitze

1Antwort

Apache Pig: OutOfMemoryError mit FOREACH-Aggregation

Ich bekomme einen OutOfMemoryError beim Ausführen einer FOREACH-Operation in Apache Pig. 16/06/24 15:14:17 INFO util.SpillableMemoryManager: first memory handler call- Usage threshold init = 1641021

0Hitze

1Antwort

Was ist aws EMR Amazone-Standard unter Hadoop-Verteilung bei der Auswahl der Preise

Ich habe versucht, die Preise für AWS EMR-Service zu berechnen. Ich habe gegooglet, aber konnte nicht finden, was ist Amazone-Standard unter Hadoop-Verteilungsspalte, die Standard ist. Jede Informatio

7Hitze

1Antwort

Ende des Funkens auf Garn mit "Exit-Status: -100. Diagnose: Behälter freigegeben auf einem * verlorenen * Knoten"

Ich versuche, eine Datenbank mit 1 TB Daten zu laden, um auf AWS mit der neuesten EMR zu funken. Und die Laufzeit ist so lang, dass es nicht einmal in 6 Stunden fertig ist, aber nachdem ich 6h30m gela

1Hitze

1Antwort

EMR-Konfiguration für spark.dynamicAllocation entspricht nicht offizielle Dokumentation

Nach offizieller Spark-Dokumentation (http://spark.apache.org/docs/latest/job-scheduling.html#configuration-and-setup) Funken, wenn sie mit GARN „spark.dynamicAllocation“ Option verwenden, müssen Sie:

2Hitze

1Antwort

Spark RDD-Methode "saveAsTextFile" wirft Ausnahme Auch nach dem Löschen des Ausgabeverzeichnisses. org.apache.hadoop.mapred.FileAlreadyExistsException

Ich rufe diese Methode für eine RDD [String] mit Ziel in den Argumenten auf. (Scala) Auch nach dem Löschen des Verzeichnisses vor dem Start gibt der Prozess diesen Fehler. Ich führe diesen Prozess auf