Mein Szenario: Ich werde täglich 100 Datensätze in hdfs durch sqoop zu einer bestimmten Zeit erhalten. Aber, gestern habe ich nur 50 Aufzeichnungen für diese bestimmte Zeit heute ich muss 50 + 100 Aufzeichnungen in hdfs durch sqoop für diese bestimmte Zeit erhalten. Bitte hilf mir. Danke im Voraus.Fehler: sqoop zum Hinzufügen von Datensätzen in hdfs
Antwort
Um dieses Szenario zu behandeln, müssen Sie rechtzeitig eine Where-Bedingung hinzufügen. Keine Frage, wie hoch der Rekord ist.
Sie können so etwas wie dies in Sqoop Import Befehl --query Parameter verwenden:
sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username sqoop \
--password sqoop \
--query 'SELECT * from records
WHERE recordTime BETWEEN ('<datetime>' AND NOW()) \
--target-dir /user/hadoop/records
Sie müssen den in dem Zustand, wie pro Ihrem Tabellenschema ändern.
Weitere Informationen finden Sie unter Sqoop Documentation.
Vielen Dank Sir .. Ich überprüfe dieses .. – user2707767
sqoop -Import --connect jdbc: mysql: // localhost: 3306/Ihr_mysql_Datenbankname --username root -P --query 'SELECT * aus Datensätzen WHERE recordTime BETWEEN (' 'UND JETZT()) --target-dir/wo Sie Daten
für Passwortund machen, wenn Sqoop bitten speichern möchten geben Sie Ihre mysql Passwort z. B. (mein pwd ist root)
so was ist der Fehler, dass? Ihre Frage besagt nicht, dass .... –
wie neue Datensätze gestern und heute Datensätze in sqoop Beispiel hinzufügen – user2707767