Kann ich robots.txt verwenden, um bestimmte URL-Parameter zu blockieren?

Question

Bevor Sie mir sagen "Was haben Sie versucht", und "testen Sie dies selbst", möchte ich darauf hinweisen, dass robots.txt Updates langsam für meine Website jede Website auf Suchmaschinen, also wenn Sie theoretische Erfahrung, dass würde geschätzt werden.

Zum Beispiel ist es möglich, zu erlauben:

http://www.example.com 

Und Block:

http://www.example.com/?foo=foo 

Ich bin mir nicht ganz sicher.

Hilfe?

Answer 1

Nach Wikipedia „Die robots.txt-Muster werden durch einfache Teilzeichenfolge Vergleiche angepasst“ und als der GET-String eine URL ist, sollten Sie in der Lage sein, nur noch hinzufügen:

Disallow: /?foo=foo 

oder etwas mehr Phantasie wie

Disallow: /*?* 

, um alle get strings zu deaktivieren. Das Sternchen ist ein Platzhalterzeichen, so dass es mit einem oder mehreren beliebigen Zeichen übereinstimmt.

Example of a robots.txt with dynamic urls.