Wie schreibe ich spam filter

Question

Ich bin stecken in einen einfachen Spam-Filter schreiben Ich bin nicht wirklich sicher, wie ich es tun werde.

Bis jetzt habe ich Wordlist und Domain-Filtering, die Punkte bis zu einem bestimmten Schwellenwert geben oder entfernen wird.

Wenn Sie beispielsweise über "v1agr4" aus einer Blacklist-Domain schreiben, erhalten Sie 2 Punkte für Spam, aber wenn Sie über "v1agr4" von einem hotmail.com-Account schreiben, " Ich bekomme nur 1 "Spam-Punkt".

Haben Sie noch andere Vorschläge/Ressourcen?

Dies ist mehr über Spam-Filter Lernen als etwas Unternehmensklasse zu entwickeln

Answer 1

Einige wirklich gute Algorithmus Infos hier:

http://www.paulgraham.com/spam.html

http://www.paulgraham.com/better.html

Aber, im Ernst, warum das Rad neu erfinden?

Nur K9 herunterladen: http://keir.net/k9.html

Answer 2

Blick in Bayesian Spam Filtering.

Ich weiß, Perl hat eine Bibliothek dafür, also würde ich annehmen, dass Java auch einen haben würde.

Answer 3

Ich habe one with all the bells and whistles geschrieben.

Answer 4

Einige Open-Source-Java-Projekte im Zusammenhang mit Bayes-Spam-Filter (das von LFSR Beratung erwähnt wurde):

• Classifier4j
• jBNC
• Naiban

Und ein extra für C++:

• SpamProbe

Answer 5

können Sie delegieren, das zu einem verteilten Service. Akismet ist eine sehr gute Lösung.

Answer 6

Das Schreiben eines Spamfilters hängt von Ihren Anforderungen für Skalierbarkeit ab.

Wenn Sie eine skalierbare Lösung wünschen, dann ist die Inhaltsfilterung wahrscheinlich nicht die klügste Wahl, da sie sehr CPU- und speicherintensiv ist. Stattdessen würden Sie entweder eine Reputations-basierte Filterung oder eine Blacklist-basierte Filterung wählen viel CPU-freundlicher auf Ihrem Server und viel einfacher zu schreiben.

Ich schrieb eine a post on my blog, die die Idee hinter dem Schreiben eines Spam-Filters aus der Sicht des Programmierers erklärt und deckt alle Optionen von Content-based Filtering auf Blacklist-basierte Filterung.