Ich habe eine Seite mit dem folgende robots.txt im Stamm:Goobbots Ignorieren von robots.txt?
User-agent: *
Disabled:/
User-agent: Googlebot
Disabled:/
User-agent: Googlebot-Image
Disallow:/
und Seiten auf dieser Site werden immer von Googlebots den ganzen Tag gescannt. Stimmt etwas nicht mit meiner Datei oder mit Google?
Es sollte Disallow: sein, nicht Disabled:.
Google ein Analysetool zur Überprüfung robots.txt Einträge haben, read about it here
Vielleicht möchten Sie auch die IP-Adressen der „Schurkenstaaten“ Roboter überprüfen, um zu sehen, ob sie wirklich im Besitz von Google sind.
Vielleicht ist die Google robots.txt checker eine geben versuchen
Auch glaube ich, dass der Bot auf der Seite geht und nimmt die erste Richtlinie, die sie sich bezieht. In Ihrem Fall würden Googlebot und Googlebot-Image ihre spezifischen Anweisungen niemals sehen, da sie zuerst den "User-Agent: *" respektieren würden.
Ignorieren Sie diese Antwort. Ich habe Informationen gefunden, die darauf hinweisen, dass dies nicht der Fall ist. Der Bot sollte die spezifische Richtlinie finden und es respektieren
Aaargh, ich bin ein Idiot. Vielen Dank. –