emr

1Hitze

1Antwort

So drucken Sie das Ergebnis von Reducer in einzelne Datei

Ich verwende Amazon EMR und aufgrund der Art und Weise, wie es funktioniert (parallel) wird meine Ausgabe in mehrere Dateien aufgeteilt. Aber ich würde gerne eine Datei stattdessen mit der richtigen R

0Hitze

2Antwort

Presto Sandbox-Cluster in AWS EMR - Hinzufügen von Connectors (catalog/.properties)

Ich habe gerade einen Presto Sandbox-Cluster in AWS mithilfe von EMR bereitgestellt. Gibt es eine Möglichkeit, meinem Presto-Cluster eine Verbindung hinzuzufügen, abgesehen von der manuellen Erstellun

2Hitze

1Antwort

Ruft der S3NativeFileSystem-Aufruf meine Pyspark-Anwendung auf AWS EMR ab 4.6.0

Meine Spark-Anwendung schlägt fehl, wenn sie auf zahlreiche CSV-Dateien (~ 1000 @ 63MB) von S3 zugreifen und sie in eine Spark RDD pipen muss. Der eigentliche Prozess des Aufteilens der CSV scheint zu

0Hitze

1Antwort

Was ist der Unterschied zwischen Autoscale und Resize EMR Cluster

Bitte erklären Sie mir, wie ich den Cluster mit Python wieder Größe anpassen kann? Geschäftsszenario: Wenn es Mangel an Speicher auf Instanz ist dann ein Kernknoten hinzufügen Wenn es langsam ist (Anz

1Hitze

1Antwort

Ipython auf AWS mit Spark 1.61

Ich versuche, Ipython auf meinem AWS EMR Spark-Cluster mit Spark 1.6.1 auszuführen. Diese guide ist eine ausgezeichnete, scheint aber nur mit Funken 1.3.1 zu funktionieren. Hat jemand irgendwelche Ide

1Hitze

1Antwort

AWS EMR Kerberisierung des Clusters hadoop.security.AccessControlException

Ich versuche, den AWS EMR-Cluster zu kerberisieren. Ich habe die Hadoop-Sicherheit aktiviert, die Kerberos-Principals erstellt und sie auf allen Knoten implementiert. Wenn ich jedoch den nodenode mit

0Hitze

1Antwort

bekommt & Einstellung spark.driver/executor.extraClassPath auf EMR

Soweit ich das beurteilen kann, bei der Einstellung/Verwendung spark.driver.extraClassPath und spark.executor.extraClassPath auf AWS EMR im spark-defaults.conf oder an anderer Stelle als Flag, würde i

1Hitze

1Antwort

EMR-Cluster-Bootstrap-Fehler (Zeitüberschreitung) tritt die meiste Zeit auf, die ich einen Cluster initialisieren

Ich schreibe eine App, die aus 4 verketteten MapReduce-Jobs besteht, die auf Amazon EMR ausgeführt wird. Ich verwende die JobFlow-Schnittstelle, um die Jobs zu verketten. Jeder Job ist in einer eigene

0Hitze

1Antwort

dynamische Pfade in AWS S3

Ich habe eine Reihe von Dateien in s3 in folgendem Pfad Beispiel: s3://bucket/date=2016-01-02/2016-01-02_1012_582.txt s3://bucket/date=2016-01-07/2016-01-07_1415_272.txt Wenn die Dateien ursprüngli

0Hitze

1Antwort

wie Suche Zeichenfolge in einem Ordner von Textdateien mit Python

Ich schreibe einige Skripts, um einige Textdateien in Python zu verarbeiten. Vor Ort liest das Skript aus einer so einzelnen txt-Datei verwenden i index_file = open('index.txt', 'r') for line in