2016-06-09 18 views
1

Ich verwende einen MapR (YARN) Cluster mit 3 Knoten. Ich versuche, 6 Samza-Jobs im Cluster für die Verarbeitung von Datenströmen bereitzustellen. Alle Jobs sind korrekt. Ich habe versucht, 2-3 parallel zu implementieren und sie arbeiten. Allerdings, wenn ich alle 6 Samza Jobs parallel bereitstellen, sehe ich folgende Protokolle. Die Tasks werden weiterhin ausgeführt und erzeugen keinen erwarteten Ausgabedatenstrom.ContainerRequestState [INFO] Keine ausstehenden Anforderungen mehr in der Warteschlange

enter image description here

Der Status des Knoten auf meinem Resourcemanager Web-Dashboard ist als folgt- enter image description here

Kann jemand empfehlen, wie dieses Problem gelöst werden kann. Ich denke, dass die Anwendung nicht über ausreichende Ressourcen verfügt, um alle parallel laufen zu lassen. Welche Änderung kann ich versuchen?

+0

Können Sie Ihre Konfiguration des Hadoop-Clusters anzeigen? Wie viele vCore, Speicher ... Weil jeder Container 1 Kern benötigt und jeder Samza-Arbeiter 1024mb (Standard) Speicher benötigt. – MaximeF

Antwort

0
no more pending requests in queue. 

Diese Nachricht bedeutet, dass noch mehr Nachrichten in Ihrem Kafka Topic.