MSN bot an URLs falsche Parameter an.

Question

Auf meiner Website http://www.mustseeindia.com/places-around-bangalore "" ist gültige URL.

Beim Crawlen hängt der MSN-Bot eine Zeichenfolge an ihn an und verursacht dort einen Crawling-Fehler.

String angehängt von MSN Bot - "& layout = button_count & show_faces = false & width = 80; & action = wie & Schrift & color = Licht & height = 25"

Wrong URL generiert durch MSN bot - http://www.mustseeindia.com/places-around-bangalore&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25

Dies verhindert, dass 1000 von Seiten auf meiner Website von MSN gecrawlt werden, wie kann ich damit umgehen?

Answer 1

Das ist grundlegende URL-Manipulation und ich sehe nichts Schwieriges auf Ihrer Website (obwohl markup is full of errors), so vermute ich, dass war kein echtes msnbot, aber einige lahme Spambot/Harvester, die als msnbot getarnt.