emr

1Hitze

1Antwort

Reduzieren Sie die Anzahl der Hadoop-Mapper für eine große Anzahl von GZ-Dateien

Ich habe einen Anwendungsfall, wo ich 3072 GB-Dateien habe, über die ich eine HIVE-Tabelle erstellen. Jetzt, wenn ich eine Abfrage über diese Tabelle ausführen, erstellt die Abfrage 3072 Mapper und da

0Hitze

1Antwort

Spark Schritt in EMR

kann nicht ausgeführt werden, Ich schätze es, wenn Sie mir etwas Licht geben können. Ich hatte Probleme beim Ausführen von Wortzählung Map reduzieren in Amazon EMR als Spark-Schritt. Aber ich habe es

0Hitze

1Antwort

Cluster-Erstellung - AWS - EMR - *: 9000 bei Verbindungsausnahme fehlgeschlagen: java.net.ConnectException: Verbindung verweigert;

Ich habe vor ein paar Wochen damit begonnen, Tests an der aws emr durchzuführen, aber ich habe ein zufälliges Problem. Ich starte einen Cluster von Konsole wie folgt: Und der Cluster startet erfolgrei

0Hitze

1Antwort

EMR-Cluster erstellen und nach dem Ausführen von Python-Skript von S3 mit boto3 beenden

Ist es möglich, mit Boto3 einen emr-Cluster zu erstellen und ein Python-Skript in s3 zu lesen und dann zu beenden. Ich weiß, dass dies mit dem Erstellen von Cluster und dem anschließenden manuellen Ko

0Hitze

1Antwort

EMR-Cluster aktualisieren?

Ich habe einen kleinen, lang laufenden Cluster auf EMR mit Spark, Zeppelin, Hue, etc .... Ich habe Hue-Benutzer konfiguriert, ich habe mehrere Notizbücher in Zeppelin, die ich benutze ... alles funkti

0Hitze

2Antwort

Projekt Feld Dateiname '-tagFile' Option LOAD PigStorage '-tagFile', Schwein 0,14

Amazon EMR-4.5, Hadoop 2.7.2, Schwein 0,14 Ich möchte projizieren den Dateinamen Feld mit und ausgewählte Felder nach dem Laden mit der Option -tagFile in eine neue Relation. Die Ergebnisse scheinen k

2Hitze

1Antwort

Fehler läuft aws emr create-Cluster von Powershell

Der folgende Befehl schlägt fehl, wenn in einem Powershell-Skript ausführen: aws emr create-cluster --steps file://./monthly_step.json --ec2-attributes KeyName=ff_test,InstanceProfile=EMR_EC2_DefaultR

0Hitze

1Antwort

UnzufriedenerLinkError in Funken-EMR-Auftrag mit nativer Bibliothek

Ich versuche, einen Spark-Job auszuführen, der native shared library (.so) verwendet. Ich benutze --jars, um meine .so an alle Executoren zu kopieren (und die Datei scheint dort zu sein, entlang der f

0Hitze

1Antwort

EMR-Cluster mit externen MySQL als Hive-Metastore

Ich versuche, einen EMR-Cluster mit externen MySQL als Hive-Metastore einzurichten. Ich habe MySQL-Datenbank "Metastore" auf einer EC2-Box und unten in hive-site.xml <configuration> <property> <n

0Hitze

1Antwort

Mappers-Verteilung in einem EMR-Cluster

Wie priorisiert EMR Core- und Task-Knoten beim Verteilen von Mappern? Ist es überhaupt wichtig? Beispiel: Ein Beispieljob benötigt 5 Mapper. Kernknoten und Task-Knoten können unabhängig voneinander 5