apache-pig

0Hitze

2Antwort

Nicht möglich, Schwein Tupel zu Python UDF

10 zu übergeben Ich habe master.txt, die 10K Datensätze hat, so wird jede Zeile davon ein Tupel sein & ganze derselben muss an Python UDF übergeben werden. Da es mehrere Datensätze enthält, wird beim

0Hitze

2Antwort

Python UDF in Pig nicht zurück Datensatz

Ich übergebe eine Tasche in Python und erwartet, einen Datensatz aus Python udf zurück zu bekommen. Ich muss in Outputschema etwas falsch machen und am Ende jede Spalte als Tuple bekommen. Jede Hilfe

0Hitze

1Antwort

Wie kann ich Zeilen in Apache Pig filtern?

Ich habe eine txt, und dann lud ich Zeilen aus dem txt, mit diesem Skript: lines = LOAD '/user/hadoop/HDFS_File.txt' AS (line:chararray); Ich brauche alle Linien zu filtern, mit einigen Worten. Ich

0Hitze

1Antwort

Pig: optimale Anzahl von Karten mit einem 4-Knoten-Cluster?

Ich verwende ein Hadoop Cloudera System mit nur 4 Knoten, aber viel Speicherplatz (200 TB). In meinem pig Skript, lade ich mehrere monatliche Dateien, die jeweils etwa 200Gb sind. Ich bemerkte, dass,

0Hitze

1Antwort

ERROR 1070: Kann nicht CqlStorage mit Importen lösen:

Ich habe versucht, dieses Skript auf dem Schwein im lokalen Modus auszuführen: test = LOAD 'cql://phoenix/simple_table/' USING CqlStorage; Aber ich erhalte diesen folgenden Fehler, > 2016-05-10 18:2

1Hitze

3Antwort

PIG: Wie kann man einen großen Datensatz effizient laden und filtern?

Ich habe einen großen Datensatz, aufgeteilt in viele 200 GB Chunks. Im Moment habe ich Schwierigkeiten, die Daten mit Pig zu knacken. Tatsächlich ist mein Cluster ziemlich klein (4 Knoten). Ich denke,

0Hitze

1Antwort

PIG erzeugt leere Zeilen

Ich habe einen einfachen Schwein Job, der eine Spalte von Daten generiert. Um Leerzeilen aus der Ausgabe zu beseitigen, schrieb ich den folgenden Befehl ein: items = FOREACH inputs GENERATE item; ite

1Hitze

1Antwort

Zählung Hashtags in Schweinlatein

Ich habe Beispieldatensatz, die etwa wie folgt aussieht: tmj_dc_mgmt, Washington, en, 483, 457, 256, ['hiring', 'BusinessMgmt', 'Washington', 'Job'] SRiku0728, 福山市, ja, 6705, 357, 273, ['None'] Besi

0Hitze

1Antwort

Apache Pig - Teilstring in anderen String

Momentan arbeite ich in Pig und ich versuche zu überprüfen, ob ein Feldwert (der ein chararray ist) in einem anderen Feld (auch ein chararray) vorhanden ist. Hier ist ein Beispiel. Datei t.txt: 1;This

0Hitze

1Antwort

verständnis Apache Pig GROUP A ALL in PySpark

Ich lerne immer noch große Daten-Tools und maschinelles Lernen. Also hatte ich ein Beispiel mit PIG latin, das eine CSV-Datei lädt und einige Gruppierungen und Analysen durchführt. Y = LOAD '...' Y_a