emr

2Hitze

3Antwort

Brauchen Sie strategische Ratschläge für die Migration von großen Tabellen von RDS zu DynamoDB

Wir haben einige RDS-Tabellen, die riesig sind (über 700 GB), die wir in eine DynamoDB-Tabelle migrieren möchten. Können Sie eine Strategie oder eine Richtung vorschlagen, um dies sauber und parallel

0Hitze

3Antwort

AWS EMR Spark 1.0

Gibt es eine Möglichkeit, Amazon EMR zu zwingen, Spark 1.0.1 zu verwenden? Die derzeit auswählbaren Versionen enden bei 1.4.1. Ich verwende die Alternating Least Squares-Implementierung in MLlib, und

0Hitze

1Antwort

Wie erhalte ich Spark beim Erstellen des Clusters auf den EMR Core/Worker-Knoten/Instanzen von Amazon?

Ich versuche, einen EMR-Cluster mit Spark (1.6.0) und Hadoop (Distribution: Amazon 2.7.1) Anwendungen zu starten. Das Freigabelabel ist emr-4.4.0. Der Cluster wird nach Bedarf eingerichtet, aber er fü

1Hitze

1Antwort

Ausführen eines Spark-Jobs mit Spark-Submit über den gesamten Cluster

Ich habe kürzlich einen Spark-Cluster auf Amazon EMR mit 1 Master und 2 Slaves eingerichtet. Ich kann pyspark ausführen und Aufträge mit spark-submit übergeben. Allerdings, wenn ich einen eigenständig

5Hitze

1Antwort

Spark/Hadoop - Nicht in der Lage, mit serverseitiger Verschlüsselung in s3 zu speichern

Ich verwende AWS EMR Cluster, um Funke-Jobs auszuführen. Um mit s3-Buckets arbeiten zu können, wird die hadoop-Konfiguration mit Zugriffstasten, geheimen Schlüsseln, enableServerSideEncryption und ein

5Hitze

3Antwort

EMR Zündhütchen nicht aufheben Gläser

Ich benutze spark-shell und ich bin nicht in der Lage, externe jars abholen. Ich laufe spark in EMR. ich den folgenden Befehl: spark-shell --jars s3://play/emr/release/1.0/code.jar ich die folgende

7Hitze

1Antwort

Erhalten Sie eine Garn-Konfiguration von der Kommandozeile

In EMR, gibt es eine Möglichkeit, einen bestimmten Wert der Konfiguration mit dem Konfigurationsschlüssel mit dem Befehl yarn erhalten? Zum Beispiel würde Ich mag so etwas wie diese yarn get-config ya

9Hitze

1Antwort

Warum weist Yarn on EMR nicht alle Knoten Spark-Jobs zu?

Ich arbeite auf Apache Spark auf Amazon Elastic Map Reduce (EMR). Momentan laufe ich auf emr-4.1.0, welches Amazon Hadoop 2.6.0 und Spark 1.5.0 beinhaltet. Wenn ich den Job starte, hat YARN alle Worke

14Hitze

3Antwort

Wie starte ich Garn auf AWS EMR

Ich benutze Hadoop 2.6.0 (emr-4.2.0 Bild). Ich habe einige Änderungen in yarn-site.xml vorgenommen und möchte Garn neu starten, um die Änderungen in Kraft zu setzen. Gibt es einen Befehl, mit dem ich

7Hitze

2Antwort

Beenden einer Funkenstufe in aws

Ich möchte eine Reihe von Funkenschritten auf einem EMR-Funke-Cluster einrichten und den aktuellen Schritt beenden, wenn es zu lange dauert. Wenn ich jedoch in den Master-Knoten ssh und die Hadoop-Job