Robots.txt Verwendung

Google hat gerade Tausende von Fehlern für doppelten Inhalt auf meinem Link-Tracker, den ich verwende, ausgelöst.Robots.txt Verwendung

Ich möchte es so machen Google & andere Suchmaschinen nicht meine Seiten auf dem Link-Tracker besuchen.

Ich möchte diese Seiten diese Roboter nicht zulassen, meine Seiten sind:

http://www.site.com/page1.html 
http://www.site.com/page2.html

Wie würde ich meine robots.txt schreiben alle Roboter machen nicht diese Links besuchen, wenn sie in meine Seite sind?

Quelle

2011-01-13 Latox

Du scheint ein netter Kerl diesen Meta-Tag vergeben! – Latox

ein robots.txt Erstellen Sie den folgenden Text enthält:

User-Agent: * 
Disallow: /page1.html 
Disallow: /page2.html

Die Datei dann auf http://www.site.com/robots.txt gestellt werden muss.

Weitere Informationen finden Sie unter .

Darüber hinaus verfügt Google über eine robots.txt tester, die in den Webmaster-Tools zur Verfügung steht, mit der Sie überprüfen können, ob es korrekt formatiert ist.

Quelle

2011-01-13 08:47:05

Ich habe das gerade erstellt, sieht es gut aus? – Latox

Benutzer-Agent: * Disallow: /page1.html Disallow: /page2.html Erlauben:/ – Latox

Diese Version ist perfekt! – stecb

robots.txt muss in der Wurzel Ihrer Website, Anzeige platziert werden, wird es enthalten:

User-agent: * 
Disallow: page1.html 
Disallow: page2.html

"User-agent: *" bedeutet, dass jeder SE Links auf den disallow dirs/Seiten folgen nicht

Edit: Sie sollten auch in Ihrem Seite1 und Seite2

<meta name="robots" content="NOINDEX, NOFOLLOW"/>

Quelle

2011-01-13 08:49:48 stecb

Antwort

Verwandte Themen