2016-08-03 43 views

Antwort

1

Diese Datei sollte frei lesbar sein. Suchmaschinen sind wie Besucher auf Ihrer Website. Wenn ein Besucher diese Datei nicht sehen kann, wird die Suchmaschine sie auch nicht sehen können.

Es gibt absolut keinen Grund zu versuchen, diese Datei zu verstecken.

1

Web-Crawler müssen in der Lage sein, HTTP-GET Ihre robots.txt abzurufen, oder sie können die Datei nicht analysieren und Ihre Konfiguration respektieren.

1

Die Antwort ist nein! Aber die einfachste und sicherste ist auch noch zu versuchen:
https://support.google.com/webmasters/answer/6062598?hl=en

Die robots.txt-Tester zeigt Ihnen, ob Ihre robots.txt-Datei blockiert Google Web-Crawler von bestimmten URLs auf Ihrer Website. Für Beispiel können Sie dieses Tool verwenden, um zu testen, ob der Googlebot-Image-Crawler die URL eines Bilds, das Sie blockieren möchten, aus Google Image Search crawlen kann.

+0

Ich habe meinen Admin-Zugriffsordner von allen IP-Adressen außer meiner IP-Adresse in htaccess eingeschränkt und diesen Ordner in Robots-Datei auch nicht zulassen ... was wird dann passieren? –