robots.txt

0Hitze

1Antwort

Robots.txt Ordner nicht zulassen, aber Unterordner zulassen

Ich versuche es einzurichten, wo www.url.com/folder nicht erlaubt ist, aber www.url.com/folder/1 zulässig ist. Ich habe es wie folgt festgelegt: User-agent: * Disallow: /folder Allow: /folder/* ,

3Hitze

1Antwort

Verhindern, dass Googlebot Dateitypen in robots.txt und .htaccess indexiert

Es gibt viele Stack Overflow-Fragen zur Verhinderung der Indizierung von Google Bot, zum Beispiel txt Dateien. Es ist das: robots.txt User-agent: Googlebot Disallow: /*.txt$ .htaccess <Files ~ "\.tx

1Hitze

1Antwort

SEO - robots.txt einen Ordner disallowing

Werden diese zwei Zeilen in robots.txt erfolgreich Google von der Indizierung Seiten mit einer URL stoppen, die wie etwas aussieht: http://www.domain-name.com/Produkt-tag/... User-agent: * Disallow:

1Hitze

1Antwort

Rewriterule für robots.txt

Ich habe eine Website wie domain.com/view/nextdomain.com und ich habe Roboter, die versucht, domain.com/view/nextdomain.com/robots.txt zuzugreifen, und ich möchte alle Roboter um stattdessen auf domai

-2Hitze

1Antwort

Erlauben und Verbieten in Robots.txt

http://www.robotstxt.org/orig.html sagt: Disallow:/help sowohl /help.html nicht zulässt und Nun google.com/robots /help/index.html. txt Listen: Disallow: /search Allow: /search/about nach robotpars

0Hitze

2Antwort

Robots.txt - erlauben Sie den Bots, nur über htts zu besuchen

Unsere Seite benutzt nur https, also wird alles http gezwungen, https zu benutzen. Aber es gibt immer noch einige Bots, die ihren Weg in via http erzwingen wollen. Ich habe suchen, konnte aber keinen

0Hitze

1Antwort

Reppy Verhalten seltsam mit bestimmten Einträgen

Ich habe getestet Reppy mit google.com.robots.txt, aber mit bestimmten Einträgen ging es ein bisschen eigensinnig. Unten sind die: Disallow: /alerts/, muss hier ein False erhalten. Allow: /alerts/$, m

0Hitze

1Antwort

Wie zu vermeiden, Suchmaschine Crawling für bestimmte Website in Sitecore Multi-Site-Umgebung

Wir haben Multi-Site-Lösung in Sitecore-Projekt implementiert. Wir haben robots.txt unter dem Stammverzeichnis der Website platziert, um das Crawlen für ein bestimmtes Verzeichnis auf dem Produktionss

0Hitze

1Antwort

Partielles Holen und Rendern aufgrund blockierten Skripts (Twitter-Conversion-Tracking)

Wenn ich Fetch und Render-Tool in Google Webmaster-Tools verwende, gibt es ein "teilweise" (statt "abgeschlossen") Ergebnis, weil ich Twitter Conversion Tracking hinzugefügt habe verweist auf restrikt

0Hitze

1Antwort

Website Beschreibung nicht in Google-Suchmaschine

Meine Website-Beschreibung nicht in Google-Suchmaschine angezeigt. Ich schrieb Beschreibung Meta-Tag innerhalb des Header-Tags. und meine robots.txt-Datei wie unten User-agent: * Disallow:/ Wenn ich