amazon-emr

9Hitze

1Antwort

Warum weist Yarn on EMR nicht alle Knoten Spark-Jobs zu?

Ich arbeite auf Apache Spark auf Amazon Elastic Map Reduce (EMR). Momentan laufe ich auf emr-4.1.0, welches Amazon Hadoop 2.6.0 und Spark 1.5.0 beinhaltet. Wenn ich den Job starte, hat YARN alle Worke

1Hitze

1Antwort

Wie führe ich ein Shell-Skript auf allen Knoten eines EMR-Clusters aus?

Gibt es eine geeignete Möglichkeit, ein Shell-Skript auf jedem Knoten in einem laufenden EMR-Hadoop-Cluster auszuführen? Alles, nach dem ich suche, ruft Bootstrap-Aktionen auf, aber das gilt nur für d

10Hitze

3Antwort

Spark UI auf AWS EMR

Ich bin ein AWS EMR-Cluster mit Spark (1.3.1) über die Dropdown-Liste EMR-Konsole installiert. Spark ist aktuell und verarbeitet Daten, aber ich versuche herauszufinden, welcher Port der WebUI zugewie

5Hitze

1Antwort

Wie Felder in Hive für DynamoDb Amazon Console-Export zugeordnet werden?

Ich versuche, die DynamoDb-Exportdatei zu laden, die von Amazon Dynamodb Web Console mit "Import/Export" Tool in Hive genommen wird. Aber ich konnte die Felder nicht richtig zuordnen, da DynamoDB Web

0Hitze

2Antwort

Spark läuft auf EC2 vs EMR

Wir sind Studenten, die an einem Abschluss-Projekt im Zusammenhang mit der Data Science arbeiten, entwickeln wir eine Recommender Engine mit Spark mit Python (Pyspark) mit Android-Anwendung (Schnittst

12Hitze

3Antwort

Wie wähle ich eine Datei aus aws s3 mit Hilfe von Wildzeichen

Ich habe viele Dateien in S3 Bucket und ich möchte diejenigen Dateien kopieren, die Startdatum von 2012 haben. Dieser Befehl kopiert die gesamte Datei. aws s3 cp s3://bp-dev/bp_source_input/ C:\Busine

1Hitze

1Antwort

Spark Streaming 1.6.0 EMR mit Python: ClassNotFoundException: org.apache.spark.streaming.kinesis.KinesisUtilsPythonHelper

Ich benutze ein Out-of-the-Box-EMR-Cluster mit Spark 1.6.0 und Zeppelin 0.5.6 auf AWS. Mein Ziel ist es, einen einfachen Spark-Streaming-Kontext zu initialisieren und auf einen internen Kinesis-Stream

1Hitze

1Antwort

Garn hält auf EMR Spark-Anwendungs Master

auf das Töten ich einen Funken Anwendung auf EMR EMR-4.3.0 mit 1 Master und 4 Knoten Jeder von ihnen verfügt über 5 GB Speicher und 2 Kerne laufen. Die folgenden sind meine Funken einreichen Optionen

1Hitze

1Antwort

Ausführen eines Spark-Jobs mit Spark-Submit über den gesamten Cluster

Ich habe kürzlich einen Spark-Cluster auf Amazon EMR mit 1 Master und 2 Slaves eingerichtet. Ich kann pyspark ausführen und Aufträge mit spark-submit übergeben. Allerdings, wenn ich einen eigenständig

5Hitze

1Antwort

Wie löschen Sie einen AWS EMR Cluster?

Ich habe mit AWS EMR herum spielen und ich habe jetzt ein paar Cluster, die beendet werden, und dass ich löschen will: Es besteht jedoch keine offensichtliche Möglichkeit ist, sie zu löschen. Wie brin