So vermeiden Sie das Hinzufügen von Duplikaten zu U-SQL-Tabellen

Question

Gibt es eine Möglichkeit, das Hinzufügen doppelter Datensätze in U-SQL-Tabellen außer dem Hinzufügen/Abschneiden von Partitionen zu vermeiden. Nehmen wir an, dass nur eindeutige Bezeichner für beide Datensätze unterschiedlich sind.

Answer 1

Da U-SQL-Tabellen aufgrund der begrenzten Skalierbarkeit keine UNIQUE-Einschränkungen bereitstellen, müssen Sie sicherstellen, dass Sie ANTI SEMIJOIN für die eindeutigen Spalten verwenden, um mögliche Duplikate der neuen Daten herauszufiltern, bevor Sie sie einfügen.

Answer 2

Sie können auch ROWNUMBER() in der Abfrage U-SQL

@transactions = 
    SELECT *, 
    ROW_NUMBER() OVER(PARTITION BY Id ORDER BY Id DESC) AS RowNumber 
    FROM @searchlog; 

@result = 
    SELECT Id,Name,Description,Age 
    FROM @transactions 
    WHERE RowNumber == 1; 

verwenden Dies wird die einzigartige Datensatz in einer Datei.