robots.txt: Bots Verbieten eine gegebene "url Tiefe" für den Zugriff auf

Question

Ich habe Verbindungen mit dieser Struktur:

• http://www.example.com/tags/blah
• http://www.example.com/tags/blubb
• http://www.example.com/tags/blah/blubb (für alle Artikel, die sowohl Tags entsprechen)

ich google will & co alle Links Spinne, die einen Tag in der URL hat, aber nicht die URLs, die zwei oder mehr Tags haben.

Derzeit verwende ich den HTML-Meta-Tag "robots" -> "noindex, nofollow" das Problem zu lösen.

Gibt es eine robots.txt Lösung (die zumindest für einige Suchmaschinen funktioniert) oder muss ich mit "noindex, nofollow" fortfahren und mit dem zusätzlichen Traffic leben?

Answer 1

Ich glaube nicht, dass Sie es robots.txt tun können. The standard ist ziemlich eng (keine Wildcards, muss auf der obersten Ebene sein, etc.).

Was ist mit ihnen disallowing basierend auf User-Agent in Ihrem Server?