Tipps zum Deduplizieren einer Liste basierend auf der Priorität Spalte

Question

Ich habe eine Reihe von Zeilen, die doppelte Einträge enthalten, da die Daten aus mehreren Quellen stammen. Ich habe auch eine separate Referenztabelle, die die Priorität dieser Datenquellen angibt.

Hat jemand gute Tipps für die effektivste t-SQL, um diese Liste zu deduplizieren? Grundsätzlich

ich habe:

SELECT a.*, b.priority 
FROM tableA as a 
JOIN tableB as b 
ON b.sourceId = a.sourceId 

Ich habe diese in eine temporäre Tabelle platzieren und dann auf eine seltsame Art und Weise zu löschen, die ich nehme an effizienter sein könnte.

Tabelle A hat die gleichen Spalten für die zwei Quellen, aber die Daten können sich unterscheiden - so können sie unterschiedliche Preise haben. Die Herausforderung besteht darin, dass ich den Preis (und alle anderen Informationen) aus der Zeile nehmen muss, die von der Quelle mit der höchsten Priorität kommt. Um die Sache zu komplizieren, habe ich keine Daten für jeden Gegenstand aus ALLEN Quellen.

So kann Element 1 Daten von Quelle A und B enthalten, während Element 2 es nur von Quelle B und C haben kann. Daher muss das Löschen auf einer Einzelartikel-Basis geschehen.

Answer 1

Ich glaube, Sie so etwas tun könnte:

SELECT a.*, b.priority 
FROM tableA as a 
JOIN tableB as b 
ON b.sourceId = a.sourceId and b.priority = (select max(priority) from tableB where b.sourceId = a.sourceId) 

Ich kann mich nicht daran erinnern, ob Tsql ein in Rahmen für die Unterabfrage oder nicht, obwohl haben.

Answer 2

Verwenden Sie ROW_NUMBER, um die zu finden, die Sie behalten möchten, und entfernen Sie dann den Rest.

... und erinnere mich an die vorherige Anweisung mit einem Semikolon ...

with t as (
SELECT a.*, row_number() over (partition by a.sourceid order by b.priority desc) as priorityorder 
FROM tableA as a 
JOIN tableB as b 
ON b.sourceId = a.sourceId 
) 
--select * from t 
delete t 
where priorityorder > 1; 

Rob