yarn

1Hitze

1Antwort

Funkenjob fehlschlägt: storage.DiskBlockObjectWriter: abgefangene Ausnahme während Teil schreibt Rückkehr Datei

Ich habe einen Funken (1.4.1) Anwendung läuft auf Garn, die mit dem folgenden Testamentsvollstrecker Protokolleintrag nicht: 16/07/21 23:09:08 ERROR executor.CoarseGrainedExecutorBackend: Driver 9.4.1

0Hitze

2Antwort

Co-Occurrence-Algorithmus in Hadoop ausführen

Ich habe das folgende Projekt auf Github https://github.com/fbukevin/hadoop-cooccurrence gefunden, das einen Co-Occurrence-Algorithmus in Hadoop verwendet. Ich benutze ein virtualisiertes Ubuntu 14.04

0Hitze

1Antwort

Hadoop Configuration() -Objekt nicht abholen /etc/hadoop/conf/core-site.xml

Ich beginne eine Anwendung, die lädt erstellt ein new YarnConfiguration() Objekt. Wenn ich es ausführe, setze ich HADOOP_CONF_DIR zu /etc/hadoop/conf, wo die Konfigurationsdateien sind. Ich starte dan

1Hitze

1Antwort

Legen Sie benutzerdefinierten java.rmi.server.hostname für jeden Spark-Executor

Ich habe einen Spark-Prozess auf YARN (mit 10 Arbeiter und 10 Hosts), und ich würde gerne JMX auf den Executoren verwenden können. Sagen wir, um zu vereinfachen, ich bin mir sicher, dass es auf jedem

0Hitze

1Antwort

Spark-Job nicht genug Container auf Cluster

Ich habe eine Funken-Anwendung. Welches liest Daten von Oracle in Datenrahmen. Dann konvertiere ich es in JavaRDD und SavingAsTExt in hdfs. Ich führe dies auf Garn auf 8-Knoten-Cluster. Wenn ich den J

1Hitze

2Antwort

Garn Job geht nicht vorbei "Zustand: AKZEPTIERT"

Vielen Dank im Voraus für eine etwaige Hilfe. Ich führe einen Garn Job mit bereitgestellten Hadoop Beispiel. Der Job wird nie abgeschlossen und bleibt im Status "ACCEPTED". Wenn man sich ansieht, was

1Hitze

2Antwort

Wie setze ich den Warteschlangennamen für Pig on Tez?

Wie setze ich einen Warteschlangennamen von einer Befehlszeile aus, wenn ich Pig auf TEZ starte? Ich möchte ein Schwein Skript von der Kommandozeile ausgeführt werden wie zum Beispiel: pig -useHCatalo

2Hitze

1Antwort

Spark History Logs sind nicht aktiviert mit Oozie Spark Aktion in Cloudera

Ich versuche, diese Anweisungen zu folgen, um Protokollierungsprotokolle mit Spark Oozie Aktion zu aktivieren. https://archive.cloudera.com/cdh5/cdh/5/oozie/DG_SparkActionExtension.html Um sicherzuste

2Hitze

1Antwort

Wie startet man einen Spark-Executor neu, nachdem er abgestürzt ist (im YARN-Client-Modus)?

Ist es möglich, einen Spark Executor nach einem Absturz neu zu starten? Ich verstehe, dass die fehlgeschlagenen Aufgaben in den vorhandenen funktionierenden Spark-Executoren erneut ausgeführt werden,

0Hitze

1Antwort

Spring Cloud-Datenfluss in einem Kerberos-fähigen Hadoop-Cluster

Werden in einem kerberos-fähigen Hadoop-Cluster Spring-Cloud-Datenfluss-Garn und die hdfs-Senke funktionieren?