amazon-emr

1Hitze

1Antwort

Cassandra schreiben gibt sehr langsam perfomance mit Funken

ich mit um mehr als 500 Millionen Platten eine cassandra Tabelle habe (In 6 Knoten), jetzt versuche ich zum Einfügen von Daten unter Verwendung von Funken cassandra-Stecker in Amazon EMR Tabelle Struk

0Hitze

1Antwort

Cluster-Erstellung - AWS - EMR - *: 9000 bei Verbindungsausnahme fehlgeschlagen: java.net.ConnectException: Verbindung verweigert;

Ich habe vor ein paar Wochen damit begonnen, Tests an der aws emr durchzuführen, aber ich habe ein zufälliges Problem. Ich starte einen Cluster von Konsole wie folgt: Und der Cluster startet erfolgrei

0Hitze

1Antwort

EMR-Cluster aktualisieren?

Ich habe einen kleinen, lang laufenden Cluster auf EMR mit Spark, Zeppelin, Hue, etc .... Ich habe Hue-Benutzer konfiguriert, ich habe mehrere Notizbücher in Zeppelin, die ich benutze ... alles funkti

1Hitze

1Antwort

Running Pig on Tez auf Amazon EMR-4

Ich versuche, Schwein auf tez auf Amazon emr 4.5.0 laufen. Die Konfiguration funktioniert ohne tez, ich versuche nur, es mit Tez zu arbeiten. den Cluster erstellen (von der Kommandozeile), verwenden w

0Hitze

1Antwort

Speichern von Dateien auf EMR EC2-Instanzen

Ich habe Probleme mit dem Festplattenspeicher beim Herunterladen von Dateien von S3 auf meine EMR-Knoten. Ich benutze c3.4xlarge Nodes, die 160GB Speicherplatz haben sollen, aber wenn ich addFile mit

2Hitze

1Antwort

Fehler läuft aws emr create-Cluster von Powershell

Der folgende Befehl schlägt fehl, wenn in einem Powershell-Skript ausführen: aws emr create-cluster --steps file://./monthly_step.json --ec2-attributes KeyName=ff_test,InstanceProfile=EMR_EC2_DefaultR

0Hitze

1Antwort

EMR-Cluster mit externen MySQL als Hive-Metastore

Ich versuche, einen EMR-Cluster mit externen MySQL als Hive-Metastore einzurichten. Ich habe MySQL-Datenbank "Metastore" auf einer EC2-Box und unten in hive-site.xml <configuration> <property> <n

0Hitze

1Antwort

wie startet man emr cluster auf amazon?

Ich habe EMR-Cluster in Amazon Web-Service mit 1 Master und 2 Slaves eingerichtet. Ich weiß nicht, ob ich den start-all.sh Befehl verwenden soll, um die Knoten im Cluster zu starten. Oder, wie kann ic

0Hitze

2Antwort

Hinzufügen einer Schritt- oder Bootstrap-Aktion in EMR 3.10 zum Kopieren einer Datei von local nach s3

Ich benutze Amazon EMR 3.10 für meinen Zweck, wo ich eine Datei von lokal nach Amazon S3 kopieren möchte ... Ich verwende "script- runner.jar "Wo in den Argumenten, ich erwähne einen Befehl in den Arg

3Hitze

1Antwort

Warum läuft meine Spark App nur in einem Executor?

Ich bin immer noch ziemlich neu bei Spark, aber ich konnte die Spark App erstellen, die ich Daten von unserem SQL Server mit JDBC-Treibern verarbeiten kann (wir entfernen teure SPs), die App lädt ein