amazon-emr

1Hitze

1Antwort

EMR-Konfiguration für spark.dynamicAllocation entspricht nicht offizielle Dokumentation

Nach offizieller Spark-Dokumentation (http://spark.apache.org/docs/latest/job-scheduling.html#configuration-and-setup) Funken, wenn sie mit GARN „spark.dynamicAllocation“ Option verwenden, müssen Sie:

1Hitze

1Antwort

Wie auf Amazon Kinesis Streams Dateien in S3 in meinem Pyspark Code zugreifen?

Ich habe einen Bucket auf S3, der aus Kinesis-Stream-Dateien in komprimiertem Format mit 'Snappy' besteht. Die Ordnerstruktur und das Dateiformat ist s3://<mybucket>/yyyy/mm/dd/*.snappy. Ich versuche,

0Hitze

1Antwort

Fehler bei der Analyse Parameter, amazon aws emr

Ich versuche, einen Schritt für Linux-Konsole zu erstellen: aws emr add-steps --cluster-id j-XXXXXXXXXX --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ Args=[

1Hitze

1Antwort

Schritt fehlgeschlagen mit ExitCode, Amazon Emr Hadoop, S3DistCp

Ich versuche, einen "Schritt" zu erstellen und viele kleine Dateien in einem zu sammeln, so dass ich es für Tage trennen kann. Das Problem ist, dass ich intando laufen lasse und mich nicht lassen kann

1Hitze

1Antwort

Wie EMR S3DistCp groupBy richtig?

Ich benutze aws .net SDK, um einen s3distcp-Job zu EMR zu führen, um alle Dateien in einem Ordner mit --groupBy arg zu verketten. Aber was auch immer "groupBy" arg Ich habe versucht, es fehlgeschlagen

5Hitze

2Antwort

Spark-SQL schlägt fehl, weil "Constant Pool Vergangenheit JVM Limit von 0xFFFF gewachsen ist"

ich diesen Code leite auf EMR 4.6.0 + 1.6.1 Zündkerzen: val sqlContext = SQLContext.getOrCreate(sc) val inputRDD = sqlContext.read.json(input) try { inputRDD.filter("`first_field` is not null

0Hitze

1Antwort

pyspark: IOError: [Errno 20] kein Verzeichnis

Ich bin ein pyspark Job auf AWS-EMR läuft und ich bekam die folgende Fehlermeldung: IOError: [Errno 20] Not a directory: '/mnt/yarn/usercache/hadoop/filecache/12/my_common-9.0-py2.7.egg/my_common/data

0Hitze

1Antwort

Ist es möglich, den Namen des derzeit ausgeführten AWS EMR-Schritts ohne Konsole zu erhalten

Wenn es drei Schritte gibt, die in EMR ausgeführt werden, ist es möglich, mithilfe von Shell-Skript zu wissen, welcher Schritt gerade ausgeführt wird. Ich bin in der Lage aktuellen Stand der EMR-Clust

0Hitze

1Antwort

Apache Zeppelin auf EMR login Fehler

Ich habe ein EMR 4.4 Cluster mit Zeppelin/Spark konfiguriert konfiguriert. Ich habe erfolgreich Zeppelin auf localhost eingerichtet und war als anonym angemeldet. Ich fügte einen Benutzer und ein Kenn

1Hitze

1Antwort

Amazon EMR und S3, org.apache.spark.sql.AnalysisException: Pfad s3: //..../var/table existiert bereits

Ich versuche, die Quelle eines Fehlers auf Spark 2.0.0 zu finden, Ich habe eine Karte, die Tabellennamen als Schlüssel und den Datenrahmen als Wert enthält. Ich durchlaufe sie und verwende am Ende spa