Murmurhash 2 Ergebnisse auf Python und Haskell

Question

Haskell und Python scheinen sich nicht auf Murmurhash2-Ergebnisse zu einigen. Python, Java und PHP gaben die gleichen Ergebnisse zurück, Haskell jedoch nicht. Mache ich etwas falsch in Bezug auf Murmurhash2 auf Haskell?

Hier ist mein Code für Haskell Murmurhash2:

import Data.Digest.Murmur32 

    main = do 
    print $ asWord32 $ hash32WithSeed 1 "woohoo" 

Und hier ist der Code in Python geschrieben:

import murmur 

if __name__ == "__main__": 
    print murmur.string_hash("woohoo", 1) 

Python zurück 3650852671 während Haskell 3966683799

zurück

Answer 1

Das murmur-hash Paket (ich bin sein Autor) verspricht nicht, die gleichen Hashes wie andere Sprachen zu berechnen. Wenn Sie sich darauf verlassen, dass Hashes mit anderer Software kompatibel sind, die Hashes berechnet, schlage ich vor, dass Sie newtype Wrapper erstellen, die Hashes berechnen, wie Sie es wollen. Insbesondere für Text müssen Sie mindestens die Kodierung angeben. In Ihrem Fall könnten Sie den Text in eine ASCII-Zeichenfolge mit Data.ByteString.Char8.pack konvertieren, aber das gibt Ihnen immer noch nicht den gleichen Hash, da die ByteString Instanz eher ein Platzhalter ist.

Übrigens, ich verbessere dieses Paket nicht aktiv, weil MurmurHash2 durch MurmurHash3 ersetzt wurde, aber ich akzeptiere weiterhin Patches.

Answer 2

Von einer schnellen Inspektion der Quellen sieht es so aus, als ob der Algorithmus mit 32 Bits gleichzeitig arbeitet. Die Python-Version ruft diese ab, indem sie einfach 4 Bytes gleichzeitig aus der Eingabezeichenfolge aufnimmt, während die Haskell-Version jedes Zeichen in einen einzelnen 32-Bit-Unicode-Index konvertiert.

Es ist daher nicht verwunderlich, dass sie zu unterschiedlichen Ergebnissen führen.