emr

0Hitze

1Antwort

Können wir Terraform \ affx Sicherheitsgruppe hinzufügen aws_cloudformation_stack Ressource

Ich verwende Terraform, um emr bereitzustellen. Um dies zu tun, rufe ich Ressource "aws_cloudformation_stack" und dann Anfügen Cloud-Vorlage zum Starten eines EMR. Jetzt möchte ich, dass mein EMR 22 e

0Hitze

2Antwort

MRJob Feststellung, ob inline läuft, lokal, emr oder hadoop

Ich bin building on some old code from a few years back using the commoncrawl dataset mit EMR mit MRJob. Der Code verwendet die folgende innerhalb MRJob Unterklasse Mapperfunktion, um zu bestimmen, ob

0Hitze

2Antwort

Wie wird die Auto Scale UP/DOWN?

Ich bin neu bei AWS EMR, wo ich meine Aufgabenknoten basierend auf der Verwendung automatisch nach oben/unten skalieren muss. Was ich denke, SNS Ereignis auf Cloudwatch Alarm für AppPending (Scale Up)

8Hitze

1Antwort

YARN: Was ist der Unterschied zwischen Anzahl der Executoren und Executor-Kerne in Spark?

Ich lerne Spark auf AWS EMR. Dabei versuche ich den Unterschied zwischen der Anzahl der Executoren (- num-Executor) und Executor-Cores (--executor-cores) zu verstehen. Kann mir bitte jemand sagen? Auc

0Hitze

1Antwort

Übergeben von Aufträgen an den EMR-Cluster mit MRJob

MRJob wartet, bis jeder Auftrag abgeschlossen ist, bevor dem Benutzer die Steuerung zurückgegeben wird. Ich habe einen großen EMR-Schritt in kleinere zerlegt und möchte sie alle auf einmal einreichen.

4Hitze

5Antwort

Erkannte Guava-Problem # 1635, die angibt, dass eine Version von Guava weniger als 16,01 verwendet wird

Ich bin Funke-Job auf emr ausgeführt und mit DataStax-Connector zu Cassandra-Cluster verbinden. Ich bin vor Probleme mit der Guave jar bitte die Details finden wie unten ich unten cassandra bin mit de

1Hitze

1Antwort

Konfigurieren von Zeppelin-env.sh beim Bootstrapping in EMR

Ich habe ein Skript, um EMR mit Spark und Zeppelin über CLI zu starten, sowie eine Bootstrap-Aktion, um Anaconda Python zu installieren. aws emr create-cluster --applications Name=Hadoop Name=Hive Nam

2Hitze

1Antwort

Hadoop gibt weniger Ergebnisse als erwartet zurück

Ich habe zwei Python-Skripte einen Mapper und Reducer (im Grunde Reducer an dieser Stelle druckt nichts anderes) und während lokal bekomme ich 4 Ergebnisse - Strings auf hadoop bekomme ich 3. Wie funk

0Hitze

1Antwort

Wie kann ich ein EBS-Volume mithilfe der AWS-Datenpipeline an einen EMR-Cluster anhängen?

AWS bietet kürzlich die Möglichkeit, ein EBS-Volume an bestimmte Cluster-Instanztypen wie m4 anzuhängen. Während es möglich ist, ein EBS-Volumen mit EMR anzuhängen, kann ich über die AWS-Datenpipeline

0Hitze

1Antwort

EMRSpark erorr: Wert Couchbase ist kein Mitglied von org.apache.spark.sql.DataFrameReader

Ich habe versucht, mein Couchbase Server EMR Spark-1.4.1, zu verbinden, während die angetroffen val airlines = sqlContext.read.couchbase(schemaFilter = org.apache.spark.sql.sources.EqualTo("type", "ai