yarn

0Hitze

2Antwort

Funken Mit einer HDFS-Datei von Kerberos geschützt abrufen

Ich habe Probleme meine Funke Umgebung Einrichtung aus einem kerberisierter HDFS Speicherort der Datei zu lesen. def ugiDoAs[T](ugi: Option[UserGroupInformation])(code: => T) = ugi match { case None

0Hitze

2Antwort

Apache Spark Bereitstellung auf Hadoop Yarn Cluster mit HA-Fähigkeit

Bin neu in der Big Data-Umgebung und begann gerade mit der Installation eines 3-Knoten-Hadoop-Cluster 2.6 mit HA-Fähigkeit mit Zookeeper. Alles funktioniert gut für jetzt und ich habe das Failover-Sze

2Hitze

1Antwort

Wie erhält man den Submission-Hive-Kontext, der mit Tez und Garn funktioniert?

Ich habe versucht, spark-submit zur Arbeit mit org.apache.spark.sql.hive.HiveContext zu bekommen, aber ich komme immer mit java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning . Hi

1Hitze

2Antwort

Verwenden Sie Apache Garn, um C++ - Anwendungen zu verwalten

Yarn verwendet Container, um Ressource für eine Anwendung zu verwalten. Zum Beispiel definiert ein Container die zugewiesenen Speicher-/CPU-Kerne für eine Anwendung. Wie funktioniert das mit C++ - Anw

1Hitze

1Antwort

Docker Funken - Web-UI kann nicht für Ressourcen-Manager zugreifen - Mac PC

Kann nicht Ressourcen-Manager Web-UI zugreifen - Spark-Docker Container - Mac PC Dies sind die Schritte, die ich getan habe: Docker sequenceiq/Funken ziehen: 1.6.0 docker run-es 8088 -p: 8088 -p 8042:

0Hitze

1Antwort

Hadoop Jobs Statistiken mit YARN Resource Manager REST-API + Elasticsearch + Kibana

Mein Ziel ist es, Hadoop-Jobs Statistik-Web-UI für administrative Benutzer bereitzustellen. Ich verwende HortonWorks Hadoop2-Cluster und Jobs, die auf YARN ausgeführt werden. Aus der Architektur Persp

2Hitze

1Antwort

GARN und Hadoop

hatte ich ein paar Fragen zur Auftragsübermittlung an HDFS und die GARN Architektur in Hadoop: So im Hadoop Ökosystem Sie haben eine NameNode für jeden Cluster, die eine beliebige Anzahl von Datenknot

0Hitze

2Antwort

Vorinstallation für Funkengarn Cluster

Ich habe versucht, einen Funken Cluster mit Garn zu machen. Muss ich Garn an allen Knoten anbringen? Ich weiß, Garn wird alle brauchen Glas und MR, aber um sie zu nehmen, nehme ich an, dass Arbeiterkn

1Hitze

2Antwort

Hive Ausgabe Garn

ich Hive SQL auf Garn leite, es Fehler ist das Werfen mit der Bedingung verbinden, ich bin in der Lage externe sowie interne Tabelle zu erstellen, aber nicht-Tabelle, wenn erstellen verwenden Sie den

3Hitze

2Antwort

Laufender Funke-Cluster im Standalone-Modus im Vergleich zu Garn/Mesos

Momentan verwende ich meinen Funke-Cluster als eigenständigen Modus. Ich lese Daten von flachen Dateien oder Cassandra (je nach Job) und schreibe die verarbeiteten Daten an die Cassandra selbst zurück