sqoop

0Hitze

1Antwort

Die beste Methode zum Importieren von 20-GB-CSV-Dateien nach Hadoop

Ich habe eine riesige 20-GB-CSV-Datei zum Kopieren in Hadoop/HDFS. Natürlich muss ich alle Fehlerfälle verwalten (wenn der Server oder die Transfer/Load-Anwendung abstürzt). In einem solchen Fall muss

0Hitze

2Antwort

Fehler beim Laufen Sqoop Import - ERROR manager.OracleManager: Fehler Transaktion rückgängig zu machen

ich Sqoop bin mit db zum Laden von Daten aus Oracle Spezifikation hive: CDH-5.5.1 Sqoop 1.4 .2 Initialisation: export SQOOP_HOME=/opt/cloudera/parcels/CDH-5.5.1-1.cdh5.5.1.p0.11/lib/sqoop export

0Hitze

1Antwort

SQOOP INCR load

Für inkrementelle Importe basierend auf einer Datumsspalte, wie extrahieren wir aktualisierte und neue Datensätze OHNE hartkodierendes vorheriges Datum (wir können nicht vorher jedes Datum in der Prod

0Hitze

1Antwort

Extra Backslash in Sqoop Import Ergebnis

Momentan verwende ich Sqoop, um Daten von HP Vertica Datenbank zu Hive zu importieren, für einige Spalten mit Sonderzeichen unterscheidet sich das Ergebnis von den Daten in der Vertica DB, hier ist de

0Hitze

2Antwort

Unit Testing Sqoop Anwendungen

Ich benutze SQOOP als eine Technologie, um viele Daten von MySQL zu HDFS herunterladen. manchmal muss ich einige spezielle Abfragen in shoop schreiben, um die Daten herunterzuladen. Eines der Probleme

0Hitze

1Antwort

Sqoop - Import Max Wert Abfrage schlägt fehl, wenn verwendet Reihenfolge und Limit 1

Ich habe eine einfache Sqoop Abfrage, die ich verwende, um den maximalen Wert der ID einer Tabelle zu importieren und in HDFS zu speichern. Das Speichern in HDFS war etwas, um das der Kunde gebeten ha

0Hitze

1Antwort

Wie erhalten und betrachten Sie Oracle BLOB (Image) -Daten von HDFS zum lokalen System?

Ich habe eine Bilddatei als BLOB in Oracle-Datenbank gespeichert und die Datei auf HDFS übertragen unter Sqoop Befehl - sqoop import --connect jdbc:oracle:thin:@hostname --username -password --m 5 --t

0Hitze

1Antwort

BLOB (Bild) von Oracle in Hive importieren

Ich versuche BLOB (Image) -Daten von Oracle in Hive zu importieren, indem ich den Sqoop-Befehl verwende. sqoop import --connect jdbc:oracle:thin:@host --username --password --m 3 --table tablename --h

0Hitze

1Antwort

Dekomprimieren Sie .deflate-Dateien als Text in HDFS und kopieren Sie das Ergebnis nach local

Nach dem Ausführen eines sqoop Jobs habe ich die Dateien .deflate Erweiterung (Komprimierung ist standardmäßig konfiguriert). Ich weiß, dass ich den Dateiinhalt mit folgendem Befehl anzeigen kann: had

0Hitze

1Antwort

Welche Komponente ist besser, um Daten mit einer Datentransformation von HDFS in Hive zu verschieben?

Ich muss einige Daten von HDFS zu Hive laden. Aber ich brauche einige Aggregationen zwischen den Dateien, die ich in HDFS habe. Ich habe gelesen, dass Sqoop das kann, aber nur mit MySQL. Welche andere