yarn

9Hitze

1Antwort

Wie behalte ich die Log-Dateien von YARN?

Plötzlich funktioniert mein YARN-Cluster nicht mehr, alles, was ich einreiche, schlägt mit "Exit code 1" fehl. Ich möchte dieses Problem aufspüren, aber sobald eine Anwendung fehlgeschlagen ist, lösch

9Hitze

2Antwort

Eigenständiger Manager Vs. Garn Vs. Mesos

Auf 3 Knoten-Spark/Hadoop-Cluster welcher Scheduler (Manager) wird effizient arbeiten? Derzeit verwende ich Standalone Manager, aber für jeden Spark-Job muss ich explizit alle Ressourcenparameter ange

6Hitze

2Antwort

Ausführen von Apache-Funke-Job von Spring Web-Anwendung mit Garn-Client oder einem anderen Weg

Ich habe vor kurzem begonnen, Funken zu verwenden, und ich möchte Funke-Job von Spring-Webanwendung ausführen. Ich habe eine Situation, in der ich Web-Anwendung in Tomcat-Server mit Spring-Boot.Meine

5Hitze

1Antwort

Hinzufügen Garn Cluster-Konfiguration zu Spark-Anwendung

Ich versuche, Funken auf Garn in einer scala sbt Anwendung statt spark-submit direkt zu verwenden. Ich habe bereits eine Remote-Garn-Cluster läuft und ich kann mit dem Garn Cluster Run Spark Jobs in S

6Hitze

3Antwort

"sparkContext wurde heruntergefahren", während Funke auf einem großen Dataset ausgeführt wurde

Wenn spokeJob auf einem Cluster über eine bestimmte Datengröße (~ 2,5GB) ausgeführt wird, bekomme ich entweder "Job abgebrochen, weil SparkContext heruntergefahren wurde" oder "Executor verloren ". We

5Hitze

2Antwort

Container wurde von YARN wegen Überschreitung der Speichergrenzen gelöscht. 52,6 GB 50 GB physischer Speicher verwendet. Betrachten sie die Förderung spark.yarn.executor.memoryOverhead

Lauffunken Job mit 1 TB Daten mit folgenden Konfiguration: 33G Testamentsvollstrecker Speicher 40 Testamentsvollstrecker 5 Kerne pro Testamentsvollstrecker 17 g memoryoverhead Was ist die möglichen Gr

6Hitze

1Antwort

Garn Container Verständnis und Tuning

Hallo wir haben vor kurzem auf Garn von Mr1 aktualisiert. Ich weiß, dass Container ein abstrakter Begriff ist, aber ich verstehe nicht, wie viele jvm-Aufgaben (map, reduce, filter usw.) ein Container

6Hitze

1Antwort

Suchen Sie den Benutzernamen, der den Hadoop-Job beendet hat

Gibt es eine Möglichkeit, den Namen des Benutzers zu finden, der den Job Hadoop gekillt hat? Ich habe keinen Root-Zugriff auf den Cluster Hadoop 2.6.0 Knoten, so dass ich nur die Hadoop-Kommandozeilen

20Hitze

2Antwort

YARN Preempting Ressourcen basierend auf fairen Aktien beim Ausführen eines Spark-Jobs

Ich habe ein Problem mit dem Ausgleich von Apache Spark-Jobs Ressourcen auf YARN Fair Scheduled Warteschlangen. Für die Tests habe ich konfiguriert Hadoop 2.6 (versuchte 2.7 auch) im pseudo-verteilten

9Hitze

1Antwort

Wie werden Container in MapReduce2 basierend auf vcores und memory erstellt?

Ich habe einen winzigen Cluster bestehend aus 1 Master (namenode, sekundärnamenknoten, resourcenmanager) und 2 Slaves (Datanode, nodemanager). Ich habe in dem Garn-site.xml des Masters gesetzt: yarn.s