mrjob

0Hitze

1Antwort

Bootstrapping Abhängigkeiten auf Amazon EMR mit Python Mrjob

Ich versuche, eine Map reduzieren Job auf Amazon EMR mit Python Mrjob und ich habe einige Probleme beim Installieren von Abhängigkeiten. Mein mrjob Code: from mrjob.job import MRJob import re from n

python mrjob 2016-05-20

---

6Hitze

1Antwort

Wie spezifiziert man die Eingabedatei für einen Läufer aus Python?

Ich schreibe ein externes Skript, um einen mapreduce-Auftrag über das Python-mrjob-Modul auf meinem Laptop auszuführen (nicht in Amazon Elastic Compute Cloud oder einem großen Cluster). Ich lese von d

python mapreduce mrjob 2012-09-24

---

0Hitze

1Antwort

Fehler beim MRJOB auf AWS ausgeführt

Ich legte die mrjob.conf Datei in/home-Verzeichnis und versuchte, den Job von Befehl auszuführen, und ich bin immer diese Fehlermeldung: File "/Users/bimalthapa/anaconda/lib/python2.7/site-packages/mr

python amazon-web-services mrjob bigdata 2016-06-14

---

0Hitze

1Antwort

Übergeben von Aufträgen an den EMR-Cluster mit MRJob

MRJob wartet, bis jeder Auftrag abgeschlossen ist, bevor dem Benutzer die Steuerung zurückgegeben wird. Ich habe einen großen EMR-Schritt in kleinere zerlegt und möchte sie alle auf einmal einreichen.

python hadoop emr mrjob 2016-04-26

---

6Hitze

2Antwort

Python Dependency Management auf EMR

Ich sende Code zu Amazon EMR über die Mrjob/Boto-Module. Ich habe einige externe Python-Abhängigkeiten (zB. numpy, boto, etc) und muss jetzt die Quelle der Python-Pakete herunterladen und sie als Tarb

python virtualenv pip elastic-map-reduce mrjob 2013-07-09

---

0Hitze

1Antwort

MRJob gleichen Schlüssel wird an verschiedene Reduzierungen gesendet

So habe ich Hadoop 2.7.1 auf einem 3-Rechner-Cluster installiert. Ich versuche, einen MapReduce-Job mit invertiertem Index mithilfe von MRJob und Hadoop Streaming auszuführen. Hier ist meine Konfigura

python hadoop partitioning hadoop-streaming mrjob 2016-07-09

---

1Hitze

1Antwort

Python mrjob mapreduce wie man die Eingabedatei vorverarbeitet

Ich versuche eine XML-Datei vorzuverarbeiten, um bestimmte Knoten zu extrahieren, bevor sie in MapReduce eingefügt werden. Ich habe den folgenden Code: from mrjob.compat import jobconf_from_env from

python hadoop mrjob bigdata 2016-04-06

---

0Hitze

2Antwort

MRJob Feststellung, ob inline läuft, lokal, emr oder hadoop

Ich bin building on some old code from a few years back using the commoncrawl dataset mit EMR mit MRJob. Der Code verwendet die folgende innerhalb MRJob Unterklasse Mapperfunktion, um zu bestimmen, ob

python hadoop emr mrjob common-crawl 2016-04-23

---

5Hitze

1Antwort

Wie kann ich iterately alle Dateien in einem Verzeichnis mit mrjob

verarbeiten Ich benutze mrjob, um einen Stapel von Dateien zu verarbeiten und einige Statistiken zu erhalten. Ich weiß, ich kann mapreduce Job auf einer einzigen Datei, wie python count.py <some_input

python hadoop mrjob 2012-12-07

---