robots.txt

7Hitze

2Antwort

verbieten, wie alle dynamischen URLs in robots.txt Disallow: /?q=admin/ Disallow: /?q=aggregator/ Disallow: /?q=comment/reply/ Disallow: /?q=contact/ Disallow: /?q=logout/ Disallow: /?q=node/add/

5Hitze

3Antwort

Wie ändere ich robots.txt in Plone?

Ich habe eine Plone-Site, die ich administriere, und ich möchte einige Seiten zur Disallow einer robots.txt hinzufügen. Es scheint, dass Plone automatisch eine robots.txt-Datei generiert. Ich kann kei

3Hitze

1Antwort

robots.txt: Bots Verbieten eine gegebene "url Tiefe" für den Zugriff auf

Ich habe Verbindungen mit dieser Struktur: http://www.example.com/tags/blah http://www.example.com/tags/blubb http://www.example.com/tags/blah/blubb (für alle Artikel, die sowohl Tags entsprechen) ich

5Hitze

3Antwort

Asterisk in robots.txt

fragen sich, ob folgende wird Disallow in robots.txt für Google arbeiten: /*.action ich alle URLs mit .Action Endung ausschließen müssen. Ist das korrekt?

15Hitze

4Antwort

Wie verbiete ich bestimmte Seite von robots.txt

Ich erstelle zwei Seiten auf meiner Website, die sehr ähnlich sind, aber verschiedenen Zwecken dienen. Einer ist den Benutzern zu danken, dass sie einen Kommentar hinterlassen, und der andere besteht

3Hitze

3Antwort

Googlebot meine Website indexieren?

in meiner robots.txt-Datei, ich habe die folgende Zeile User-agent: Googlebot-Mobile Disallow:/ User-agent: GoogleBot Disallow:/ Sitemap: http://mydomain.com/sitemapindex.xml Ich weiß, dass, wenn ich

7Hitze

3Antwort

robots.txt Parser Java

Ich möchte wissen, wie Sie die robots.txt in Java analysieren. Gibt es bereits einen Code?

9Hitze

5Antwort

Wie können Crawler mit robots.txt nur auf index.php zugreifen?

Wenn ich nur Crawlern den Zugriff auf index.php erlauben möchte, funktioniert das?

3Hitze

2Antwort

Roboterzugriff für (spezifische) Abfragezeichenfolgen (Parameter) einschränken?

Mit robot.txt ist es möglich, den Zugriff von Robotern auf (spezifische) Werte von Abfrageketten (Parametern) einzuschränken? dh http://www.url.com/default.aspx #allow http://www.url.com/default.aspx

30Hitze

3Antwort

Mehrere Sitemap: Einträge in robots.txt?

Ich habe mit Google gesucht, kann aber keine Antwort auf diese Frage finden. kann eine robots.txt-Datei die folgende Zeile enthalten: Sitemap: http://www.mysite.com/sitemapindex.xml aber ist es mögl