Hadoop auf Windows-Server

Question

Ich denke über hadoop mit großen Textdateien auf meinem vorhandenes Windows 2003 Server (etwa 10 Quad-Core-Maschinen mit 16 GB RAM)

Die Fragen zu verarbeiten sind:

1. Gibt es eine gute Anleitung zur Konfiguration eines Hadoop-Clusters unter Windows?

2. Was sind die Anforderungen? java + cygwin + sshd? Noch etwas?

3. HDFS, spielt es nett auf Windows?

4. Ich möchte Hadoop im Streaming-Modus verwenden. Irgendwelche Ratschläge, Tools oder Tricks, um meine eigenen Mapper/Reducer in C# zu entwickeln?

5. Was verwenden Sie zum Senden und Überwachen der Jobs?

Dank

Answer 1

Vom Hadoop documentation:

Win32 als Plattform Entwicklung unterstützt. Der verteilte Betrieb hat wurde nicht gut auf Win32 getestet, so dass es nicht als Produktion Plattform unterstützt wird.

Was ich denke übersetzt zu: "Du bist auf dich allein gestellt."

Das heißt, es könnte die Hoffnung sein, wenn Sie nicht mulmig sind über Cygwin und eine Java-Shim installieren, nach der Getting Started page of the Hadoop wiki:

Es ist auch möglich, die Hadoop Daemons als Windows-Dienste laufen mit der Java Service Wrapper (Download dies separat). Dies erfordert immer noch Cygwin als Hadoop installiert werden benötigt seinen df-Befehl.

Ich denke, die Quintessenz ist, dass es nicht unmöglich klingt, aber Sie würden den ganzen Weg stromaufwärts schwimmen. Ich habe jetzt ein paar Hadoop-Installationen (auf Linux für die Produktion, Mac für den Entwickler) gemacht, und ich würde mich nicht mit Windows befassen, wenn es auf anderen Plattformen so einfach ist.

Answer 2

Obwohl nicht die Antwort, die Sie vielleicht hören möchten, würde ich sehr empfehlen, die Maschinen als, sagen wir, Linux-Servern und Betrieb von Hadoop dort umzuwidmen. Sie profitieren von Lernprogrammen, Erfahrungen und Tests, die auf dieser Plattform durchgeführt werden, und verbringen Ihre Zeit damit, Geschäftsprobleme zu lösen, anstatt operative Probleme zu lösen.

Sie können jedoch weiterhin Ihre Jobs in C# schreiben. Da Hadoop die "Streaming" -Implementierung unterstützt, können Sie Ihre Jobs in jeder Sprache schreiben. Mit dem Mono-Framework sollten Sie in der Lage sein, nahezu jeden auf der Windows-Plattform geschriebenen .NET-Code zu verwenden und unter Linux dieselbe Binärdatei auszuführen.

Sie können auch relativ einfach auf HDFS von Windows aus zugreifen. Obwohl ich die Hadoop-Dienste unter Windows nicht empfehlen sollte, können Sie den DFS-Client von der Windows-Plattform aus ausführen, um Dateien in das verteilte Dateisystem zu kopieren .

Für die Übermittlung und Überwachung von Jobs denke ich, dass Sie hauptsächlich auf sich allein gestellt sind ... Ich denke nicht, dass es für das Hadoop-Jobmanagement bereits gute Allzwecksysteme gibt.

Answer 3

Wenn Sie Karte suchen/reduzieren, können Sie versuchen, auf MySpace neue Karte suchen/reduzieren Framework, das auf Windows läuft http://qizmt.myspace.com/