Gute MySQL-Abfrage, um ähnliche Werte in einer einzigen Spalte zu finden

Question

Ich habe doppelte Einträge, die sehr ähnlich sind, aber nicht genau. Hier sind einige Beispiele:

- 2016: Obama's America 
- 2016: Obama's America (VF) 

- Hurt Locker 
- The Hurt Locker 

Was wäre eine Abfrage, die ich möglicherweise ähnlich zu bekommen nutzen könnte titles?

Update: Bitte beachten Sie, dass ich nicht versuche, EXAKT-Duplikate zu entfernen. Ich versuche nur, ähnliche Werte in einer einzigen Spalte auszuwählen.

Answer 1

Nicht sicher, das ist der beste Weg oder effizienteste, und es hängt definitiv von der Bedeutung von ähnlich. Wenn die Bedeutung der Titel ist der gesamte Text in einer Zeile enthält aber einige der Text in einer anderen Zeile, dann wie etwas, das sollte funktionieren:

SELECT DISTINCT T.Title 
FROM YourTable T 
    LEFT JOIN YourTable T2 ON T.Title != T2.Title 
WHERE T.Title LIKE CONCAT('%', T2.Title, '%') 
UNION 
SELECT DISTINCT T2.Title 
FROM YourTable T 
    LEFT JOIN YourTable T2 ON T.Title != T2.Title 
WHERE T.Title LIKE CONCAT('%', T2.Title, '%') 
ORDER BY Title 

Und hier ist die SQL Fiddle.

Answer 2

Ich denke, dass dies durch die Messung der Abstand zwischen Strings mit einigen string metric gelöst werden kann.

Levenshtein scheint die bekannteste Metrik zu sein, und ich habe einige Implementierungen davon in Oracle verwendet. Es ist implemented for MySQL auch. Möglicherweise finden Sie eine andere Metrik, die für Sie besser funktioniert.