googlebot

18Hitze

5Antwort

So richten Sie eine robot.txt ein, die nur die Standardseite einer Site zulässt

Angenommen, ich habe eine Website unter http://example.com. Ich würde wirklich gerne zulassen, dass Bots die Homepage sehen, aber jede andere Seite muss blockiert werden, da es für Spider sinnlos ist.

3Hitze

3Antwort

Googlebot meine Website indexieren?

in meiner robots.txt-Datei, ich habe die folgende Zeile User-agent: Googlebot-Mobile Disallow:/ User-agent: GoogleBot Disallow:/ Sitemap: http://mydomain.com/sitemapindex.xml Ich weiß, dass, wenn ich

0Hitze

5Antwort

Wann crawlt Google eine Website neu?

Wann crawlt Google eine Website neu? Und warum hat Google zwei Versionen der gleichen Seite im Cache? http://forum.portal.edu.ro/index.php?showtopic=112733 Cache-Seiten sind: forum.portal.edu.ro/index

5Hitze

2Antwort

Warum und wie benutzt der googlebot die Suchmaschine meiner Website?

Wenn ich von Zeit zu Zeit in meinen Suchprotokollen nachschaue, merke ich, dass der mit Abstand größte Nutzer meiner Suchmaschine der Google-Bot ist. Was gibt? Sucht es nach Inhalten, auf die die Navi

6Hitze

4Antwort

Googlebot respektiert nicht Robots.txt

Aus irgendeinem Grund, wenn ich auf "Analyze robots.txt" des Google Webmaster-Tools nachschaue, um zu sehen, welche URLs von unserer robots.txt-Datei blockiert werden, erwarte ich nicht, was ich erwar

8Hitze

4Antwort

Goobbots Ignorieren von robots.txt?

Ich habe eine Seite mit dem folgende robots.txt im Stamm: User-agent: * Disabled:/ User-agent: Googlebot Disabled:/ User-agent: Googlebot-Image Disallow:/ und Seiten auf dieser Site werden immer

0Hitze

3Antwort

Google Crawler Time Restriction

weiß jemand, dass es möglich ist, eine Eigenschaft einzurichten, um googlebot zu informieren, nur um die Website während eines bestimmten Tages oder Zeitraums (z. B. nur am Wochenende) zu crawlen? Dan