yarn

0Hitze

1Antwort

Probleme beim Laden der Eigenschaften von Dateien aus samza Job auf Garn Cluster ausgeführt

Ich habe eine samza Arbeit, die ich versuche, auf Garn Cluster laufe mit ./bin/run-job.sh --config- Fabrik = org.apache.samza.config.factories.PropertiesConfigFactory --config-path = file: ///home/ans

2Hitze

1Antwort

Verwenden von Hadoop und Spark auf Docker-Containern

Ich möchte Big Data Analytics für meine Arbeit verwenden. Ich habe bereits alle Docker-Sachen implementiert, die Container in Containern erstellen. Ich bin jedoch neu in Big Data und ich habe erfahren

4Hitze

2Antwort

Warum sammelt collect() auf einem DataFrame mit 1 Zeile 2000 Excectors?

Dies ist der einfachste DataFrame, an den ich denken konnte. Ich benutze PySpark 1.6.1. So passt der Datenrahmen vollständig in den Speicher, hat keine Verweise auf irgendwelche Dateien und sieht für

0Hitze

2Antwort

hive hinzufügen ignoriert Partition Anweisung führende Null

Ich habe Ordner auf hdfs /user/test/year=2016/month=04/dt=25/000000_0 benötigen diese über Partition Pfad zu einem Test Tabelle hinzuzufügen. Befehl: ALTER TABLE test ADD IF NOT EXISTS PARTITION (year

9Hitze

2Antwort

Python Spark/Garn Speichernutzung

Ich habe eine Spark Python-Anwendung, die von Garn für die Überschreitung der Speichergrenzen getötet wird. Ich habe einen Schritt mit dem Laden einiger Ressourcen, die ein bisschen schwer sind (500 M

4Hitze

4Antwort

Kann sparklyr mit Funken auf einem Garn-gesteuerten Hadoop-Cluster eingesetzt werden?

Kann die sparklyr R package Verbindung zu YARN-verwalteten Hadoop-Clustern herstellen? Dies scheint in der Dokumentation cluster deployment nicht dokumentiert zu sein. Mit Hilfe der SparkR Paket, das

0Hitze

1Antwort

So erhalten Sie das CPU-Nutzungsprofil einer Garn-basierten Spark-Anwendung

Ich verwende eine Apache Spark-Anwendung mit Garn auf einem Hadoop-Cluster. Nachdem das Programm beendet ist, gibt es eine Möglichkeit, das Profil der CPU-Auslastung dieses Programms zu überprüfen. Gr

7Hitze

1Antwort

Ende des Funkens auf Garn mit "Exit-Status: -100. Diagnose: Behälter freigegeben auf einem * verlorenen * Knoten"

Ich versuche, eine Datenbank mit 1 TB Daten zu laden, um auf AWS mit der neuesten EMR zu funken. Und die Laufzeit ist so lang, dass es nicht einmal in 6 Stunden fertig ist, aber nachdem ich 6h30m gela

0Hitze

1Antwort

Komprimieren Sie die Ausgabe des Hadoop-Archivierungswerkzeugs

Ich verwende Hadoop Archive, um die Anzahl der Dateien in meinem Hadoop-Cluster zu reduzieren, aber für die Datenaufbewahrung möchte ich meine Daten so lange wie möglich aufbewahren. Dann ist das Prob

1Hitze

1Antwort

YARN Parameter zu Heap Dump vor dem Töten Container

Ich habe eine lang laufende Garn Anwendung (nicht m/r) mit Behältern, die gelegentlich überschreiten die Garn Speichergrenze, an dem Punkt Garn tötet die beleidigenden Behälter. Ich finde es schwierig