Optimize Hashing Java

Question

Ich habe eine große Menge an großen Listen von Objekten. Jedes Objekt hat eine eindeutige ID. Es sieht etwa so aus:

List a = {obj1, obj2, obj3} 
List b = {obj3, obj4, obj5} 
List c = {obj1, obj2, obj3} 
// up to 100 million of them 

Jetzt würde ich entfernen „Liste c“ mögen, da sie den gleichen Inhalt wie „-Liste ein“, um Speicherplatz zu sparen hat.

Zu diesem Zweck füge ich sie einfach alle zu einer Hashmap hinzu und überprüfe, ob der Schlüssel bereits existiert. Die Objekte sind tatsächlich Referenzen in einem großen Netzwerkdiagramm. Wenn nur einer falsch ist, stürzt die gesamte Anwendung ab. Denn es ist sehr wichtig, dass es nie für verschiedene Objekte der gleiche Schlüssel ist ich den Standard nicht

List.hashCode() 

Funktion verwenden, aber dies stattdessen tun:

StringBuilder sb = new StringBuilder(); 
    for (List list : myList) 
    sb.append(list.getId()); 
return Hashing.sha256().hashString(sb.toString(), Charsets.US_ASCII).toString(); 

Die perfekt funktioniert gut. Nur ist es sehr langsam. Gibt es eine Möglichkeit, das gleiche Ergebnis in kürzerer Zeit zu erzielen?

Answer 1

Verwenden Sie ein HashSet und die regelmäßige hashcode und methods von List Duplikate zu entfernen. Ihre Implementierungen ähneln Ihrer Idee.

So:

Set<List<String>> uniques = 
    new HashSet<>(Arrays.List<String>asList(a, b, c)); // {a, b}