apache-pig

0Hitze

1Antwort

Warum laufen meine Aufgaben in Pig nicht parallel?

Ich lerne Hadoop und mache ein Experiment zu einem Projekt, das als Big-Data-Projekt in Produktion gehen könnte. Im Moment mache ich nur einen Test mit kleinen Datenmengen. Das Szenario ist wie folgt

-3Hitze

1Antwort

Schwein Skript Druck-Dataset bedingt

haben wir zwei Datensätze: Student: Dieser Datensatz enthält Name und Rolle Anzahl der Schüler in einer Klasse Ergebnisse: Dieser Datensatz Rollennummer und Ergebnis (Fail oder Pass) von Studenten ent

0Hitze

1Antwort

Wie Parsen letzten Zeichen eines Feldes und ersetzen durch ein anderes Zeichen in Schwein?

Ich habe Daten in einer Spalte ‚Früchten‘ wie folgt aus: apple/green/ apple/red/ apple/brown , was ich tun muß, ist das Zeichen ‚/‘ am Ende in den Reihen 1 und 2. Keine Änderung in der getan werde

0Hitze

1Antwort

Apache Pig Error - Warum es nicht akzeptieren alle Spalten in chararray

Ich habe folgendes Schwein Script: I'm trying with this: Source_Data = LOAD '/ user/cloudera/Source_Data /' mit PigStorage ('\ t ',' - tagFile '); Data_Schema = FOREACH Source_Data GENE ( (chararray

0Hitze

1Antwort

Wie generiert man einen eindeutigen (zufälligen) Ausgabepfad in Pig?

Ist es möglich, einen eindeutigen Ausgabeordner (s3-Bucket) zu erstellen, indem Sie eine zufällige Nummer eingeben?

1Hitze

1Antwort

Schwein Latein ändern Tupel Wert basierend auf Bedingung während generieren

Ich möchte den Wert eines Tupel beim Generieren ändern - basierend auf einer bestimmten Bedingung. Wenn der Wert 'x' ist, dann setzen Sie ihn im Ausgabetupel auf 'y'. mein Dataset (name,code,id) (re

0Hitze

1Antwort

Mein Schwein Script leere Dateien in HDFS Erstellen

Ich habe diese Aussage: --Insert a new column based on filename Data = LOAD '/user/cloudera/Source_Data' using PigStorage('\t','-tagFile'); Data_Schema = FOREACH Data GENERATE (chararray)$1 AS Dat

2Hitze

1Antwort

Ausnahme in ToDate in Pig für einzelne Zeilen vermeiden

Ich habe eine Eingabe als CSV-Datei, die ich versuche, mit Pig zu verarbeiten. In der CSV gibt es eine Datumsspalte, die für einige Zeilen beschädigte Werte enthält. Bitte schlagen Sie mir einen Mecha

0Hitze

1Antwort

ERROR 2118: Eingangspfad existiert nicht

i Schwein Skript leite von Shell-Skript und ich bin verketten 50 Dateien und es in hdfs setzen, aber wenn ich versuche, die Datei mit Schweinen Skript zu laden ich bin immer Fehler wie eRROR 2118: Ein

0Hitze

1Antwort

Hadoop: Hängen mehr als eine Stunde, um eine Dump der Co-Gruppierung in Schwein Grunzen auszuführen

Es ist mehr als eine Stunde, und der Job läuft noch, ich denke, es ist schon tot, was ich tat, ist sehr einfach: Ich habe zwei sehr kleine Textdateien, und ich importierte sie bereits in hdfs und würd