yarn

1Hitze

1Antwort

Spark-Shell ERROR YarnScheduler: Verlorener Executor

Innerhalb der Spark-Shell bekomme ich die folgende Fehlermeldung zwischen meinem Kommentar einreichen. Worum geht es möglicherweise? scala> 16.04.12 00.49.14 ERROR YarnScheduler: Verlorene Testamentsv

0Hitze

1Antwort

Gibt es Vorschläge zur Verwendung der Knotenbeschriftung in Hadoop YARN?

Node Label ist eine relativ neue Funktion von YARN, die seit Apache Hadoop 2.6 verfügbar ist. Es kann Probleme in verschiedenen Szenarien lösen. Aus Hadoop-JIRA- und Mail-Listen treten jedoch bei viel

0Hitze

1Antwort

Hadoop: Nicht unterstützte Name: hat Schema aber relative Pfadteiligen Fehler

Ich versuche, eine einfache mapreduce in Java zu laufen, aber ich diesen Fehler: Unsupported name: has scheme but relative path-part Wie ich meine korrigieren Code oder mein Hadoop, damit es funktioni

1Hitze

1Antwort

Ist es sinnvoll, Spark auf YARN zu implementieren, wenn ich keine andere Cluster-Software habe?

Ich habe einen Spark-Cluster im Standalone-Modus ausgeführt. Ich führe gerade Code auf, wenn ich Jupyter Notizbuch benutze, das pyspark anruft. Gibt es einen Vorteil für die Verwendung von YARN als Cl

8Hitze

1Antwort

YARN: Was ist der Unterschied zwischen Anzahl der Executoren und Executor-Kerne in Spark?

Ich lerne Spark auf AWS EMR. Dabei versuche ich den Unterschied zwischen der Anzahl der Executoren (- num-Executor) und Executor-Cores (--executor-cores) zu verstehen. Kann mir bitte jemand sagen? Auc

0Hitze

3Antwort

Wo installiere ich Java auf einem Multi-Node-Hadoop-Cluster?

In einem Hadoop-Cluster mit mehreren Knoten, in dem mehrere Slave-Knoten, ein Master-Knoten und ein Client-Knoten vorhanden sind, muss Java installiert sein? Auch müssen wir Hadoop nur auf dem Client-

7Hitze

1Antwort

Wie stoppen Sie eine Spark-Streaming-Anwendung auf YARN?

Ich führe eine Spark-Streaming-Anwendung auf YARN im Cluster-Modus und ich versuche, ein ordnungsgemäßes Herunterfahren zu implementieren, so dass, wenn die Anwendung beendet wird, die Ausführung des

0Hitze

1Antwort

Hadoop Parameter mapreduce.map.memory.mb und mapreduce.map.java.opts

fragen, was sind die Beziehung zwischen den beiden Parametern (mapreduce.map.memory.mb und mapreduce.map.java.opts), und manchmal habe ich Siehe Leute setup mapreduce.map.memory.mb um 2048 und mapredu

3Hitze

1Antwort

Funke Job von Eklipse an Garn-Client mit Skala senden

Ich bin neu zu funken und scala und ich habe eine harte Zeit, einen Spark-Job als YARN-Client einzureichen. Dadurch über die Funken Shell (Funke abschicken) ist kein Problem gleiche gilt für: zuerst e

2Hitze

1Antwort

Was bedeutet die Container-/Ressourcenzuweisung in Hadoop und Spark, wenn sie auf Yarn ausgeführt wird?

Wie spark in-memory läuft Was bedeutet die Ressourcenallokation in Spark beim Laufen auf Garn und wie steht es im Gegensatz zu der Containerzuordnung von hadoop? Nur neugierig zu wissen, wie sich die