apache-pig

0Hitze

1Antwort

Ich habe die folgende Struktur GROUPED_ANSWERS_PARENT_ID: {group: chararray,ANSWERS: {(id: chararray,score: long,parentId: chararray)}} Meine Daten wo Punktzahl ist jeweils 27,287,35,37,46,48 ((4,{(

0Hitze

1Antwort

Google Cloud Connector für Hadoop funktioniert nicht mit Pig

Ich verwende Hadoop mit HDFS 2.7.1.2.4 und Pig 0.15.0.2.4 (Hortonworks HDP 2.4) und versuche Google Cloud Storage Connector for Spark and Hadoop (bigdata-interop auf GitHub) zu verwenden . Es funktion

1Hitze

3Antwort

In Schwein möchte ich Gruppen reduzieren, um 1 Element mit bestimmten Typen haben Vorrang

In Schwein, habe ich Spalten A, B, C, ID, ID_Typ. Die möglichen id_types sind "zip", "city", "county", "state" und "country". Ich möchte es so machen, dass es nur eine Instanz von jedem existierenden

0Hitze

1Antwort

beschreiben kann nicht in Pig Makro verwendet werden?

Verwenden von Hadoop Pig. Und ich möchte beschreiben auf einen Alias verwenden, um sein Schema zu sehen, und ich möchte beschreiben in einem Pig-Makro. Beim Beschreiben treten unerwartete Zeichen au

1Hitze

1Antwort

Running Pig on Tez auf Amazon EMR-4

Ich versuche, Schwein auf tez auf Amazon emr 4.5.0 laufen. Die Konfiguration funktioniert ohne tez, ich versuche nur, es mit Tez zu arbeiten. den Cluster erstellen (von der Kommandozeile), verwenden w

0Hitze

1Antwort

auf gleiche Elemente in Tasche in Schwein auf Hadoop

Ich habe eine Alias namens Studenten, ist die Datenstruktur wie dieses (Ergebnis des Befehls describe), studentIDInt:int,courses:bag{(courseId:int,testID:int,score:int)} Dann Studenten zu filtern

1Hitze

1Antwort

Apache Pig Fehler beim Downloaden Json Daten

Ich habe eine JSON-Datei und möchte mit Apache Pig laden. Ich verwende den eingebauten JSONLOADER, um Json-Daten zu laden. Unten sind die Beispiel-JSON-Daten. Hier laden ich Json Daten mit eingebauten

0Hitze

2Antwort

So verarbeiten Sie unstrukturierte Textdaten von Hadoop (PIG/MapReduce)

Ich arbeite an unstrukturierten Textdatei. Ich möchte es von Hadoop verarbeiten , aber ich bekomme ein Problem, um die erforderlichen Daten aus der Datei .pls Hilfe zu extrahieren. meine Datei wie fol

0Hitze

2Antwort

Pig 0.12.0 - Extrahieren der letzten zwei Zeichen aus einer Zeichenfolge

Ich verwende CDH 5.5, Pig 0.12.0. Ich habe eine chararray wie folgt: 25 - 45 und ich möchte 25 und 45 aus dieser Zeichenfolge extrahieren. Also, ich tat dies: minValue = (int)SUBSTRING(value,0,2); ma

-1Hitze

2Antwort

Wie man die verschiedenen Werte in einer Spalte in Pig und Hive zählt

Ich habe eine Datendatei wie unten, die angibt, dass die Reihenfolge gültig oder ungültig ist. Ich möchte die Anzahl der gültigen Bestellungen und die Anzahl der ungültigen Bestellungen berechnen. 1,f