Meine Frage betrifft die Konfiguration von YARN. Wie kann ich feststellen, wie viele Container ich in meinem Cluster brauche? Mit anderen Worten, was muss ich beachten, um die richtige Menge an Speicher/CPU pro Container zu setzen?Wie kann ich die richtige Anzahl von YARN-Containern ermitteln?
Es gibt einige Best Practices für die Dimensionierung?
Danke.
kann nicht von einem Hortonworks kommentieren, aber die Dimensionierung der gleiche wie cloudera
CPU
1 vcore zum os 1 vcore den hdfs 1 vcore DataNode für die gewidmet sein sollte, Node Manager 1 Vcore für den Vendor-Agent (dies ist rein für Cloudera, nehmen Sie an, es gibt ein ambari Äquivalent)
Alle anderen würde ich Garnbehältern zuweisen. Ich würde ein vcore Multiplayer 4
RAM
Reserve einige für Sie OS zuweisen, es auf Ihrem Betriebssystem abhängt, aber es wäre zwischen 4-8GB wegzunehmen ram für Ihre hdfs DataNode & Ihre NodeManager (min 1gb) Nehmen Sie alle zusätzlichen Ram für andere Dienste reserviert Weisen Sie den Rest für Garn.
war meine Antwort nützlich? – shainnif