E-Mail-Deduplizierung

Question

Ist es wahr, dass E-Mails dedupliziert werden können, indem nur einige ihrer Header verwendet werden, da ihre Nachrichten-ID laut RFC eindeutig sein sollte?

Gibt es eine Möglichkeit, die Wahrscheinlichkeit zu berechnen, dass 1 einzelne E-Mail-Adresse in dieser Deduplizierungsmethode verpasst wird (sha512-Hash dieser 3 Header)?

// $email is a parsed array containing 3 keys (mime headers) -> message_id, subject and date. $hashStr = $email['message_id']; $hashStr .= $email['subject']; $hashStr .= $email['date']; $uniqueEmailId = hash('sha512', $hashStr);

Es ist eine Art Mission entscheidend, dass keine einzige E-Mail übersehen wird, sind die Chancen, dass wir mehrere dedupliziert über haben (> 2) Milliarden Mime-Dateien.

Answer 1

Der Hash SHA512 erzeugt einen Hash-Wert mit 512 Datenbits. Unter der Annahme einer zufälligen Verteilung von Bits ergibt dies mehr als 1,34e + 154 mögliche Werte. Selbst mit über 2e + 9 Abtastwerten sind die Chancen einer zufälligen Kollision sehr nahe Null.

Allerdings ist Ihre Eingabe für den Hash nicht ganz so zufällig. message_id ist ein globally unique identifier, der "nur" 5,3e + 36 mögliche Werte hat, und die Zufälligkeit hängt von der Implementierung ab. Laut dem Wiki-Link liegen die Chancen einer Kollision bei 4,2e + 18 Samples bei ca. 50%. E-Mail-Adressen und Daten sind wahrscheinlich deutlich höher als das.

Das heißt, ohne tatsächlich die Wahrscheinlichkeit Mathematik, würde ich sagen, dass die Chancen sind vernachlässigbar.

Answer 2

Wenn die Nachrichten-ID bereits eindeutig ist, hat das Hashing wenig Sinn (und führt daher die zugegebenermaßen vernachlässigbare Wahrscheinlichkeit einer Kollision ein).
Es scheint ein robusterer Ansatz zu sein, die Nachrichten-ID selbst als Basis für einen Vergleich zu verwenden.