Wie man einen Low-Cost-Cluster einrichten

Question

Bei mir zu Hause habe ich etwa 10 Computer alle verschiedenen Prozessoren und Geschwindigkeiten (alle x86 kompatibel). Ich würde diese gerne zusammenfassen. Ich habe mir openMosix angesehen, aber da sie die Entwicklung aufgehört haben, entscheide ich mich dagegen, sie zu benutzen. Ich würde lieber die neueste oder neuste Version einer Mainstream-Distribution von Linux verwenden (Suse 11, Suse 10.3, Fedora 9 usw.).

Kennt jemand gute Seiten (oder Bücher), die erklären, wie man einen Cluster mit freien Open-Source-Anwendungen, die in den meisten Mainstream-Distributionen üblich sind, zum Laufen bringt?

Ich möchte ein Load-Balancing-Cluster für benutzerdefinierte Software würde ich schreiben. Ich kann etwas wie Folding @ home nicht verwenden, weil ich ständig Kontakt mit jedem Teil der Anwendung brauche. Zum Beispiel, wenn ich eine Simulation laufen lasse und ein Computer kontrolliert, wo der Regen fällt, und einen anderen, der kontrolliert, was meine Pflanzenfresser in der Simulation machen.

Answer 1

Ich habe vor kurzem einen OpenMPI-Cluster mit Ubuntu eingerichtet. Einige bestehende Write Ups sind unter https://wiki.ubuntu.com/MpichCluster.

Answer 2

Sie brauchen nur einen Cluster, wenn Sie wissen, was Sie tun möchten. Komm mit einer tatsächlichen Anforderung zurück, und jemand schlägt eine Lösung vor.

Answer 3

Ihre Frage ist zu vage. Welche Cluster-Anwendung möchten Sie verwenden?

Bei weitem die einfachste Möglichkeit zum Einrichten eines "Clusters" ist die Installation von Folding @ Home auf jeder Ihrer Maschinen. Aber ich bezweifle, dass du das wirklich verlangst.

Ich habe Cluster für Musik/Video-Transkodierung mit einfachen Bash-Skripten und ssh shared Keys zuvor eingerichtet.

Ich verwalte Mail-Server-Cluster bei der Arbeit.

Answer 4

Ich denke, er sucht mit openMosix nach etwas ähnlichem, irgendeiner Art eines allgemeinen Clusters, auf dem jede Anwendung verteilt auf die Knoten laufen kann. AFAIK gibt es nichts Vergleichbares. MPI-basierte Cluster sind das, was am nächsten kommt, aber ich denke, Sie können nur MPI-Anwendungen auf ihnen ausführen.

Answer 5

Linux Virtual Server

http://www.linuxvirtualserver.org/

Answer 6

Werfen Sie einen Blick auf Rocks. Es ist eine Vollblut-Cluster "Distribution" basierend auf CentOS 5.1. Es installiert alles, was Sie benötigen (libs, Anwendungen und Tools), um einen Cluster zu betreiben, und ist einfach zu installieren und zu benutzen. Sie tun all die Feinabstimmung und Konfiguration auf dem Master-Knoten und es hilft Ihnen beim Kickstarten all Ihrer anderen Knoten. Ich habe kürzlich einen Cluster von mehr als 1200 Knoten (über 10.000 Kerne!) Damit installiert! Und würde nicht zögern, es auf einem 4-Knoten-Cluster zu installieren, da die Arbeitslast, um den Master zu installieren, keine ist!

Sie können entweder Anwendungen ausführen, die für Cluster-Bibliotheken wie MPI oder PVM geschrieben wurden, oder Sie können das Queue-System (Sun Grid Engine) verwenden, um alle Arten von Jobs zu verteilen. Oder distcc, um Code der Wahl auf allen Knoten zu kompilieren!

Und es ist Open Source, GPL, kostenlos, alles, was Sie mögen!

Answer 7

Ich benutze PVM und es funktioniert. Aber selbst mit einem netten ssh-Setup, bei dem Sie sich anmelden können, ohne passwd in den Computer einzugeben, können Sie auf einfache Weise Befehle auf Ihren verschiedenen Computerknoten starten.