8
Sagen wir, ich habe eine dynamische Seite, die URL's aus Benutzereingaben erstellt. Beispiel: www.XXXXXXX.com/browse < -------- (Durchsuchen der Seite)Bestimmte Seitenverzeichnisse nicht zulassen, aber NICHT diese Seite selbst.
Jedes Mal, wenn der Benutzer eine Abfrage eingibt, generiert es mehr Seiten. Zum Beispiel: www.XXXXXXX.com/browse/abcd < -------- (ABCD ist die neue Seite)
Jetzt will ich Google kriechen dieses „Durchsuchen“ Seite zu tun, aber nicht die Unter von ihm erzeugten Seiten.
Ich denke darüber nach, dies meiner robots.txt Seite hinzuzufügen; "Disallow:/browse /"
Wäre das die richtige Entscheidung? Oder verhindert es auch, dass der Googlebot die Seite "Durchsuchen" crawlt? Was soll ich tun, um das optimale Ergebnis zu erhalten?
Ich glaube, Sie den Meta-Tag verwenden können 'keinen Index, keine Folge' auf Ihren inneren Seiten , und benutzen Sie einfach "no follow" auf Ihren Hauptseiten, so google wird nicht mehr "gehen" http://www.robotstxt.org/meta.html –
Diese Unterseiten sind wie in Hunderten, ich don ' Ich denke, ich kann nicht jeder Seite manuell folgen:/ –