Sitemap enthält URLs, die von robots.txt blockiert werden

Question

Wir hatten eine zufällige Situation, in der die robots.txt-Seite unserer Wordpress-Site so eingestellt war, dass sie das Crawling für ungefähr 7 Tage verbot. Ich versuche nun aufzuräumen und die Webmaster-Tools sagen: "Sitemap enthält URLs, die von robots.txt blockiert werden." ., Nachdem ich "die robots.txt eingestellt habe und erlaubt kriechen Es gibt keinen Grund, warum die URLS noch blockiert werden würde und wenn ich die Beispiele besuchen erscheinen sie OK

Robots.txt URL:. http://bit.ly/1u2Qlbx

Sitemap-URL : http://bit.ly/1BfkSmx

Meine URLs, auf denen die robots.txt nach den Webmaster-tools blockiert: http://bit.ly/1uLBRea ODER http://bit.ly/1CsrHnr

Answer 1

Keine Sorge, wenn Sie die URLs erneut aktivieren, werden die Crawler von Google Ihre Seiten erneut bemerken und durchsuchen. Die Nachricht wird innerhalb von Tagen von GWT entfernt.

Eventuell können Sie Ihre robots.txt mit der entsprechenden Funktion von GWT testen.

Answer 2

Verwendung dieses Plugin

https://wordpress.org/plugins/wp-robots-txt/

wird es vorherigen robots.txt entfernen und einfache Wordpress robots.txt gesetzt und für einen Tag warten

Problem gelöst werden kann.

Answer 3

Google kann eine Weile dauern, um Ihre Website erneut zu crawlen. Ich würde sagen, Warten ist wahrscheinlich die einzige Option.

Ich habe bis zu 7 Tagen gebraucht, um die Dinge richtig zu indizieren, nachdem ich eine vollständige Sitemap über Webmaster-Tools eingereicht habe.

Es sieht so aus, als ob Sie Yoast SEO verwenden, das Plugin sollte Ihnen sagen, ob irgendwelche anderen Probleme bestehen.