amazon-emr

23Hitze

1Antwort

So konfigurieren Sie Hochleistungs-BLAS/LAPACK für Breeze auf Amazon EMR, EC2

Ich versuche, eine Umgebung zur Unterstützung der explorativen Datenanalyse in einem Cluster einzurichten. Basierend auf einer ersten Umfrage, was mein Ziel ist, verwende ich Scala/Spark mit Amazon EM

1Hitze

1Antwort

EMR-Cluster-Bootstrap-Fehler (Zeitüberschreitung) tritt die meiste Zeit auf, die ich einen Cluster initialisieren

Ich schreibe eine App, die aus 4 verketteten MapReduce-Jobs besteht, die auf Amazon EMR ausgeführt wird. Ich verwende die JobFlow-Schnittstelle, um die Jobs zu verketten. Jeder Job ist in einer eigene

1Hitze

1Antwort

Welche Richtlinie wird für elasticmapreduce benötigt: RunJobFlow in AWS?

ich die AWS DataPipeline bin mit einer AWS Command Line Interface (CLI) ausgeführt werden, die einem EMR Cluster schafft, aber ich die folgende Fehlermeldung erhalten, wenn der Befehl ausgeführt wird:

0Hitze

1Antwort

Apache Zeppelin schlägt beim Lesen csv mit pyspark

Ich verwende Zeppelin-Sandbox 0.5.6 mit Spark 1.6.1 auf Amazon EMR. Ich lese csv Datei befindet sich auf s3. Das Problem ist, dass manchmal Ich bekomme Fehler beim Lesen der Datei. Ich muss den Interp

0Hitze

1Antwort

Wie kann ich ein EBS-Volume mithilfe der AWS-Datenpipeline an einen EMR-Cluster anhängen?

AWS bietet kürzlich die Möglichkeit, ein EBS-Volume an bestimmte Cluster-Instanztypen wie m4 anzuhängen. Während es möglich ist, ein EBS-Volumen mit EMR anzuhängen, kann ich über die AWS-Datenpipeline

0Hitze

1Antwort

Was ist aws EMR Amazone-Standard unter Hadoop-Verteilung bei der Auswahl der Preise

Ich habe versucht, die Preise für AWS EMR-Service zu berechnen. Ich habe gegooglet, aber konnte nicht finden, was ist Amazone-Standard unter Hadoop-Verteilungsspalte, die Standard ist. Jede Informatio

0Hitze

1Antwort

Best Practice für die Anmeldung bei Elastic Map Reduce - AWS

Ich plane, Amazon EMR für Spark-Streaming-Anwendung zu verwenden. Amazon bietet eine nette Schnittstelle, um stderr & Controller-Protokoll anzuzeigen. Aber für die Streaming-Anwendung bin ich nicht si

1Hitze

2Antwort

amazon emr spark Einreichung von S3 funktioniert nicht

Ich habe einen Cluster auf und läuft. Ich versuche, einen Schritt hinzuzufügen, um meinen Code auszuführen. Der Code selbst funktioniert in einer einzelnen Instanz. Einzige Sache ist, ich kann es nich

0Hitze

1Antwort

Welche Konfiguration sollte für die Einrichtung eines 2-3-Knoten-Hadoop-Clusters auf AWS geeignet sein?

Welche Konfiguration sollte für die Einrichtung eines Hadoop-Clusters mit 2-3 Knoten auf AWS geeignet sein? Ich möchte Hive, HBase, Solr, Tomcat auf Hadoop-Cluster mit dem Zweck, kleine POCs tun. Bitt

6Hitze

1Antwort

Gelesene zufällige Probe der Akten auf S3 mit Pyspark

Ich habe einen Eimer auf S3, der 1000 Akten enthält. Jeder ist etwa 1 GB. Ich möchte eine zufällige Stichprobe dieser Dateien lesen. Sagen wir 5% aller Dateien. Dies ist, wie ich es fileDF = sqlContex