Wie kann ich ausgehende Linkklicks ohne Tracking-Bots verfolgen?

Question

Ich habe ein paar Gedanken dazu, aber ich kann Probleme mit beiden sehen. Ich brauche keine 100% genauen Daten. Eine 80% ige Lösung, die es mir ermöglicht, Verallgemeinerungen über die beliebtesten Domänen zu machen, an die ich Benutzer weiterleite, ist in Ordnung.

Option 1 - Verwenden Sie PHP. Routen Sie Links durch eine Datei track.php, die sicherstellt, dass die verweisende Seite von meiner Domain stammt, bevor Sie den Klick verfolgen. Diese Seite leitet den Benutzer dann an die endgültige beabsichtigte URL weiter. Offensichtlich konnten Bots das spoofen. Mach vieles? Ich könnte auch den User Agent überprüfen. Auch hier weiß ich, dass viele Bots das vortäuschen.

Option 2 - JavaScript verwenden. Führen Sie eine JavaScript-on-Click-Funktion aus, die den Klick in die Datenbank schreibt und den Benutzer dann an die finale URL weiterleitet.

Beide Methoden haben den Anschein, als könnten sie Probleme mit Crawlern verursachen, die meinen ausgehenden Links folgen. Was ist die effektivste Methode zum Verfolgen dieser ausgehenden Klicks?

Answer 1

Die effektivste Methode zum Verfolgen ausgehender Links (sie wird von Facebook, Twitter und fast jeder Suchmaschine verwendet) ist eine Datei des Typs "track.php".

Das Erkennen von Bots kann als ein separates Problem betrachtet werden, und die Methoden werden ziemlich gut durch diese Fragen abgedeckt: http://duckduckgo.com/?q=how+to+detect+http+bots+site%3Astackoverflow.com Aber eine einfache String-Suche nach "bot" im User-Agent wird Sie wahrscheinlich in die Nähe Ihrer 80% bringen * (und nach Treffern auf /robots.txt Ausschau halten wird, je nach Art des Bot, mit dem du es zu tun hast, bekommst du 95% *).

*: eine halb-Vermutung, basierend auf Null konkrete Daten

Answer 2

Nun, Google Analytics und Piwik Javascript dafür.

Da Bots JS nicht verwenden können, haben Sie nur Menschen. Auf der anderen Seite können Menschen JS auch deaktivieren (aber aufrichtig, das ist selten der Fall)

Facebook, Deviantart, WLM, etc verwenden Server-Side-Skript zu verfolgen. Ich weiß nicht, wie sie Bots filtern, aber eine nette robots.txt mit einem oder zwei Filtern, und das sollte gut genug sein, um 80% zu bekommen, denke ich.