0
Heute ist mein Web-Crawler, während die Verbesserung der robots.txt-Standard, stieß ich auf den folgenden Code bei http://www.w3schools.com/robots.txtIst diese robots.txt-Syntax mit einem leeren "Disallow:" korrekt?
User-agent: Mediapartners-Google
Disallow:
Ist diese Syntax korrekt zu unterstützen? Sollte es nicht Disallow: / oder Allow: / je nach dem beabsichtigten Zweck sein?
Danke, das macht alles jetzt viel klarer :) –
ACHTUNG: Ich habe eine robots.txt hinzugefügt, die 'User-agent: * Disallow:' enthält und dann zwei Wochen später die Google Search Konsole überprüft. Noch am selben Tag, an dem die robots.txt erstellt wurde, entfernte Google die Website aus ihrem Index. Diese Datei ist fast nutzlos, es sei denn, Sie möchten eine Suchmaschine wirklich nicht zulassen. Fügen Sie es nicht einfach hinzu, um einige SEO-Tools glücklich zu machen! –