yarn

2Hitze

1Antwort

Ich möchte ein Cron erstellen, um eine Garn Anwendung (Spark) durch den Namen der Anwendung zu töten. Aber ich fand Thant Garn-Anwendung -kill benötigt eine Anwendung ID. Gibt es eine Lösung, um es na

2Hitze

1Antwort

Welchen Modus sollten wir verwenden, wenn wir Funken auf Garn laufen lassen?

Ich weiß, es gibt zwei Modi beim Ausführen von Funkenanwendungen auf Garn-Cluster. In Garn-Cluster Modus, der Treiber läuft im Application Master (innerhalb eines YARN-Clusters). In Garn-Client Modus,

3Hitze

3Antwort

Guava-Jar-Konflikt bei der Verwendung von ElasticSearch auf Spark-Job

so habe ich ein Stück Code, der Datensätze in elastisch aufzeichnet. Dieser Code läuft mit Funke und Hadoop. Ich habe gerade Elasticsearch auf 2.3.1 aktualisiert. Wenn ich meinen Code auf dem lokalen

3Hitze

1Antwort

Spark-Streaming-Anwendung fehlschlägt mit KafkaException: String überschreitet die maximale Größe oder mit Illegal

TL; DR: Meine sehr einfachen Funken Streaming-Anwendung fehlschlägt in den Fahrern mit der „KafkaException: String die maximale Größe überschreitet“. Ich sehe die gleiche Ausnahme in dem Testamentsvol

0Hitze

2Antwort

Spark-Executors auf Zeppelin erhöhen

Ich richte einen Cluster mit Hortnworks (HDP 2.4) ein. Ich habe einen 4-Knoten-Cluster mit jeweils 16 GB RAM, 8 CPUs. Ich habe auch Spark installiert mit Zeppelin Notebook, um Python (Pyspark) zu verw

0Hitze

1Antwort

Wie zwei Cluster in mit einem Cloudera Manager mit gemeinsamem NN & GARN Server

I Option getrennte Datenknoten für verschiedene Projekte haben will verwalten (nicht will, Datenknoten zwischen zwei Projekten teilen) ich sehen kann Cloudera Manager, um zwei verschiedene Cluster mit

0Hitze

2Antwort

Überwachung der Anwendungsausführung für Spark Job auf Garn

Ich kann die Anwendungsausführung Informationen im Web-UI im Spark-Standalone-Modus im Detail sehen, aber wenn es um Garn geht, ist es weg. Also, wo kann ich die Ausführungsinformationen sehen, wenn d

1Hitze

2Antwort

Ist mapred-site.xml total nutzlos in Hadoop 2 mit YARN

Ich habe von vielen Hadoop-Seiten erfahren, dass in Hadoop 2 viele Mapred-Site-Konfigurationen nicht mehr funktionieren und stattdessen gam-site.xml verwendet wird. Aber wenn ja, warum bleibt mapred-s

2Hitze

1Antwort

Controlling GARN Speichereinstellungen innerhalb Apache Apex Speichermodell

Ich bin das folgende Protokoll aus dem Web-UI zu sehen, gelegentlich, wenn meine Betreiber jämmerlich. Gibt es eine Möglichkeit, die Speichereinstellungen zu steuern, die für die Kommunikation mit YAR

3Hitze

2Antwort

Force YARN zum Bereitstellen von Spark-Tasks für alle Slaves

Ich habe das SparkPi-Beispiel auf einem Cluster mit 8 Knoten bereitgestellt. Es scheint, dass die mit dem Beispiel verbundenen Aufgaben nicht auf allen Knoten im Cluster bereitgestellt werden, obwohl