Robots.txt für Anwendung

Kann eine Anwendung innerhalb einer Website eine eigene robots.txt Datei haben?Robots.txt für Anwendung

Zum Beispiel habe ich eine Website unter http://www.example.com laufen und das hat seine robots.txt-Datei.

Wir haben dann eine separate Website als Anwendung unter dieser Domäne ausgeführt haben: http://www.example.com/website-app

Ist es möglich, die Datei robots.txt seperate für die Anwendung zu halten oder muss ich für die Anwendung all die Dinge setzen in die Hauptwurzel robots.txt?

Quelle

2016-07-11 Anonymous

Sie sagen, es läuft als eine separate Website, das heißt, wenn Sie auf "/ website-app" zugreifen, werden Sie eine andere Website mit eigenen Dateien und dann diese Website kann ihre eigene physische robots.txt Datei haben (sollten) - * Allerdings *, aus der Perspektive eines Suchmaschinen-Crawlers, ist diese Seite keine andere Seite, und sie ist Teil von www.test.com, also wird sie www.test.com als dieselbe Seite wie www.test.com sehen/website-app, daher würde ich empfehlen, dass die robots.txt-Dateien inhaltlich ähnlich sind. –

Die Datei robots.txt muss sich in /robots.txt befinden, es gibt keine Möglichkeit, dem Crawler mitzuteilen, dass er irgendwo anders gefunden werden kann (wie zum Beispiel für Favicons). Also, wenn du kannst, solltest du das zu deinem root robots.txt hinzufügen (oder deine Anwendung auf eine Subdomain setzen, wo sie ihre eigene Datei haben kann).

Wenn Sie bestimmte Seiten einzeln steuern möchten, können Sie stattdessen <meta> -Tags verwenden, wie unter robotstxt.org beschrieben. Da dies auf jeder Seite platziert werden muss, wird der Crawler mindestens eine Seite besuchen (aber nicht indexieren), aber er wird nicht auf andere Seiten folgen (es sei denn, Sie sagen es ihm). Für eine kleine Anwendung in einem Unterverzeichnis könnte dies eine gute Lösung sein.

Quelle

2016-07-11 11:16:34

Antwort

Verwandte Themen