Wenn ich diese Zeilen in robots.txt:Robots.txt Priorität Frage
Disallow /folder/
Allow /folder/filename.php
Wird die filename.php dann erlaubt sein?
In welcher Reihenfolge priorisiert Google die Zeilen?
Was hier zum Beispiel passieren ?:
Allow/
Disallow/
ich hauptsächlich beziehe mich auf Google hier als Suchmaschine.
Dank
Für Ihr erstes Beispiel, ja, die Datei /folder/filename.php wird erlaubt, wie Google die spezifischste Regel priorisieren. Weitere Informationen finden Sie unter here oder check Wikipedia's article.
Darüber hinaus hat Google eine detaillierte Dokumentation, wie es robots.txt über here verwendet.
Edit: Für das zweite Beispiel wird die priorisiert werden nach dem Wikipedia Zitat Byron Whitlock in seiner Antwort geschrieben.
+1 und es gibt auch eine ähnliche Frage mit einer Antwort auf http://www.webmasterworld.com/robots_txt/3090841.htm –
er hat Recht. Laut Google http://code.google.com/web/controlcrawlindex/docs/robots_txt.html wird unabhängig davon, welche Regel eine längere Zeichenlänge hat, gefolgt (unabhängig von der Reihenfolge). – dqhendricks
Agree (zumindest wr.t. Google), außer dem zweiten; für das zweite wäre das Ergebnis undefiniert (beide Wege sind gleich spezifisch), so dass man nicht wirklich darauf zählen konnte, dass es in die eine oder andere Richtung gehen würde (oder dass die Suchmaschinen zustimmen würden). Wenn Sie dies in Ihrer robots.txt-Datei sehen, entfernen Sie sie oder machen Sie sie klarer. –
Es ist auf der Suchmaschine ab:
durch Standardimplementierung Während die erste passende robots.txt Muster immer gewinnt, Implementierung von Google unterscheidet dass zulassen Muster mit gleich oder mehr Zeichen in der Direktive Pfad gewinnen über eine passende Disallow-Muster. Bing verwendet die Allow or Disallow-Anweisung, die die spezifischste ist.
Um alle Roboter kompatibel zu sein, wenn man einzelne Dateien in einem ansonsten nicht zugelassen Verzeichnis erlauben will, ist es notwendig, die (n) zulassen Richtlinie zunächst durch die Disallow gefolgt zu platzieren.
BTW, hat Google eine robots.txt-Generator hier: http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449 –
BTW2: Verwendung Sitemaps. http://sitemaps.org/protocol.php –
BTW3 diese werden ignoriert, wenn Sie den Doppelpunkt (":") nach den Anweisungen hinzufügen :-) –