elastic-map-reduce

0Hitze

1Antwort

Gobblin Map-Reduce-Job läuft erfolgreich auf EMR, aber keine Ausgabe in s3

Ich bin GoBlin, um Daten von Kafka zu S3 mit 3 Knoten EMR-Cluster zu bewegen. Ich laufe auf hadoop 2.6.0 und habe auch gegen 2.6.0 goBlin gebaut. Es scheint, als ob map-reduce-Job erfolgreich ausgefüh

1Hitze

2Antwort

So registrieren Sie S3-Parkettdateien in einem Hive-Metastore mit Spark auf EMR

Ich verwende Amazon Elastic Map Reduce 4.7.1, Hadoop 2.7.2, Hive 1.0.0 und Spark 1.6.1. Anwendungsfall: Ich habe ein Spark-Cluster für die Verarbeitung von Daten verwendet. Diese Daten werden in S3 al

0Hitze

2Antwort

Projekt Feld Dateiname '-tagFile' Option LOAD PigStorage '-tagFile', Schwein 0,14

Amazon EMR-4.5, Hadoop 2.7.2, Schwein 0,14 Ich möchte projizieren den Dateinamen Feld mit und ausgewählte Felder nach dem Laden mit der Option -tagFile in eine neue Relation. Die Ergebnisse scheinen k

7Hitze

1Antwort

Erhalten Sie eine Garn-Konfiguration von der Kommandozeile

In EMR, gibt es eine Möglichkeit, einen bestimmten Wert der Konfiguration mit dem Konfigurationsschlüssel mit dem Befehl yarn erhalten? Zum Beispiel würde Ich mag so etwas wie diese yarn get-config ya

5Hitze

2Antwort

Wie schreibt man Daten in Elasticsearch von Pyspark?

Ich habe ELK mit Pyspark integriert. gespeichert RDD als ELK Daten auf dem lokalen Dateisystem rdd.saveAsTextFile("/tmp/ELKdata") logData = sc.textFile('/tmp/ELKdata/*') errors = logData.filter(lamb

0Hitze

1Antwort

Wie kann ich meinen Scalding-Job rekursiv auf seinem Eingabe-Bucket ausführen lassen?

Ich habe einen Verbrühungsjob, der auf EMR läuft. Es läuft auf einem S3-Bucket, der mehrere Dateien enthält. Die Quelle sieht wie folgt aus: MultipleTextLineFiles("s3://path/to/input/").read /* .

1Hitze

1Antwort

Elastic Map Reduce und amazon s3: Fehler bei den Zugriffstasten

Ich bin neu bei Amazon EMR und Hadoop im Allgemeinen. Ich versuche derzeit, einen Pig-Job in einem EMR-Cluster einzurichten und Daten von S3 zu importieren und zu exportieren. Ich habe einen Bucket in

0Hitze

1Antwort

Erstellen eines EMR-Clusters mit AWS SDK for Go

Ich möchte mithilfe von AWS SDK for Go EMR-Cluster erstellen, aber ich finde keinen Weg in der offiziellen Dokumentation. Package: emr — AWS SDK for Go Cound Sie mit einem detaillierten Code mir bitte

2Hitze

1Antwort

AWS EMR PySpark Verbindung mysql

Ich versuche, über pyspark zu einer MySQL mit jdbc zu verbinden. Ich konnte es außerhalb von EMR machen. Aber wenn ich mit EMR versuche, startet pyspark nicht richtig. Der Befehl, den ich in meiner Ma

1Hitze

2Antwort

Mapping einer Reihe von warc.gz-Dateien, EMR

Ich habe einen Streaming-Schritt in AWS/EMR mit einem Mapper und Reducer in Python geschrieben, um einige der Archive in Common Crawl für Sentiment-Analyse zuzuordnen. Ich gehe vom älteren Common-Craw