Wie der Neuordnungs die Säule mit csv Eingang fester Säule in pentaho

Question

Szenario erhalten:

Ich habe Transformation erstellt Daten in Tabelle aus CSV-Datei zu laden, und ich habe folgende Spalten in CSV-Datei:

1. CUSTOMER_ID
2. company_id
3. EMPLOYEE_NAME

Aber Benutzer kann Eingabedatei geben, mit die Reihenfolge der Spalten (zufällige Reihenfolge) als

1. EMPLOYEE_NAME
2. company_id
3. CUSTOMER_ID

so, wenn ich versuche, Datei zu laden, die zufällige Reihenfolge der Spalten hat, wird Last korrekter Spaltenwerte Kessel per Spaltennamen ...?

Answer 1

Mit ETL Metadata Injection Sie eine Transformation wie diese verwenden können, entweder, um die Daten zu normalisieren, oder es zu Ihrer Datenbank zu speichern:

Dann senden müssen Sie nur noch die richtigen Daten zu dieser Transformation. Sie können die Kopfzeile aus der CSV-Datei lesen und Row Normaliser verwenden, um in das von ETL Metadata Injection verwendete Format zu konvertieren.

Ich habe ein kurzes Beispiel hier: csv_inject on Dropbox, wenn Sie so etwas machen und es von etwas ausführen, die es pro CSV-Datei läuft es sollte funktionieren.

Answer 2

Man könnte so etwas wie dies, wie sie JavaScript versuchen:

//Script here 

var seen; 
trans_Status = CONTINUE_TRANSFORMATION; 
var col_names = ['Customer_Id','Company_Id','Employee_Name']; 
var col_pos; 
if (!seen) { 
    // First line 
    trans_Status = SKIP_TRANSFORMATION; 
    seen = 1; 
    col_pos = [-1,-1,-1]; 
    for (var i = 0; i < col_names.length; i++) { 
     for (var j = 0; j < row.length; j++) { 
      if (row[j] == col_names[i]) { 
       col_pos[i] = j; 
       break; 
      } 
     } 
     if (col_pos[i] === -1) { 
      writeToLog("e", "Cannot find " + col_names[i]); 
      trans_Status = ERROR_TRANSFORMATION; 
      break; 
     } 
    } 
} 

var Customer_Id = row[col_pos[0]]; 
var Company_Id = row[col_pos[1]]; 
var Employee_Name = row[col_pos[2]]; 

Hier die .ktr ist ich versucht: csv_reorder.ktr

(bearbeiten, hier sind die Test csv-Dateien) 1.csv:

Customer_Id,Company_Id,Employee_Name 
cust1,comp1,emp1 

2.csv:

Employee_Name,Company_Id,Customer_Id 
emp2,comp2,cust2 

Answer 3

Ooh, das ist ein böses Javascript!

Der Weg dazu ist mit Metadaten-Injektion. Schauen Sie sich die Beispiele an, aber im Grunde benötigen Sie eine Vorlage, die die Datei liest und wieder ausgibt. Sie verwenden dann eine andere übergeordnete Transformation, um die Überschriften herauszufinden, diese Vorlage zu konfigurieren und sie dann auszuführen.

Es gibt Beispiele im Ordner PDI-Beispiele, und werfen Sie auch einen Blick auf das Beispiel "herauszufinden, Dateiformat" in Matt Casters Blueprints Projekt auf GitHub.

Answer 4

Wenn Sie davon ausgehen, dass die Eingabedatei abgelehnt wird, haben Sie im Grunde keine 4 Lösungen.

1. neu ordnen Sie die Felder in einem externen Editor (nicht verwenden Excel, wenn es Daten enthält)
2. Benutzen Sie den Code in Ihrer Transformation der Spaltenüberschriften und neu anordnen, die Datei zu erfassen.
3. Verwenden Sie die Metadateninjektion wie von Bolav vorgeschlagen
4. Erstellen Sie einen Job. Dieses muss:

a. Laden Sie die Datei in eine temporäre Datenbank. b. Verwenden Sie eine SQL-Anweisung, um die Felder abzurufen (verwenden Sie eine SELECT-Anweisung mit einer ORDER By-Klausel) c. Ausgabe der Datei in der richtigen Reihenfolge