apache-pig

0Hitze

2Antwort

Um Multistorage für jede Gruppe in Pig zu verwenden

Ich versuche, meine Daten zu gruppieren und in hdfs mit einem Ordner für jeden 'Name' und Unterordner für jeden 'YearMonth' unter jedem Namensordner zu speichern. Eingang: (Date) (name) (col3) (co

0Hitze

1Antwort

Fehler beim Ausführen von Schweine-Skript im tez-Modus mit hacatalog

Ich lief ein pig Skript mit tez als Ausführungs-Engine und mit hcatalog. Unten ist mein Schweineschrift. set exectype=tez; a = load 'hive table' using org.apache.pig.hcatalog.hive.HCatloader();

0Hitze

6Antwort

copyFromLocal Fehler in Schwein Grunt Shell

Ich habe Director in hdfs für ein Projekt erstellt und seine cert_project versucht, csv-Datei mit dem Namen Load Data.csv von lokalen zu hdfs zu kopieren. $ hadoop fs -CopyFromLocal c:\Load Data.csv /

0Hitze

1Antwort

Drop-Hive-Tabelle Partition durch Schwein Skript

Momentan fallen wir die Tabelle täglich und führen das Skript, das die Daten in die Tabellen lädt. Script dauert 3-4 Stunden, während denen keine Daten verfügbar sind. Unser Ziel ist es nun, die alten

1Hitze

1Antwort

PIG-Skript: Reduzierer wurde entfernt, um Platz für ausstehende Kartenversuche zu schaffen

Ich führe mehrere Instanzen desselben PIG-Skripts mit unterschiedlichen Parametern aus. Wenn der Cluster unter hoher Last ist, Map Reduce Jobs Protokolle zeigen viele Reduzierungen vorbelegt, die nimm

0Hitze

1Antwort

Erfordert Apache Pig FOREACH GENERATE?

Ich habe noch nie ein Beispiel von FOREACH in Pig Latin ohne GENERATE gesehen. Benötigen alle FOREACH-Anweisungen GENERATE?

1Hitze

1Antwort

Schweine Merge Listen ohne Schlüssel

In Apache Pig 0.15, habe ich zwei einfache Listen (OHNE ID/Primärschlüssel, etc.), die ich zusammenführen möchte, um eine Liste von Tupeln mit zwei Spalten zu erstellen. Beispiel: Names ----- Peter

0Hitze

1Antwort

Molchausgabe von Multistorage angehängt werden, wenn ich es jeden Tag ausführen

Ich habe eine Reihe von Daten, auf denen ich den Multispeicherbefehl auf Spalte 'Typ' lief und jetzt habe ich diese Pfade in hdfs: "/output/type1/ " "/output/Typ2/", "/output/Typ3/" usw. Nun Everyday

1Hitze

1Antwort

Schweinedurchlaufdatum in JJJJ-MM-TT

Wie kann ich ein Datum an ein Schweine-Skript in einem einfachen JJJJ-MM-TT-Format übergeben? I wie unten ein Datum ist vorbei: pig -f script.pig -param dt="2016-06-03" Innerhalb des Skripts, wenn i

2Hitze

1Antwort

apache PIG mit datafu: Kann UDF nicht lösen

Ich versuche den quickstart von hier: http://datafu.incubator.apache.org/docs/datafu/getting-started.html Ich habe fast alles versucht, aber ich bin mir sicher, dass es meine Schuld irgendwo sein muss