Verhindern, dass Googlebot Dateitypen in robots.txt und .htaccess indexiert

Question

Es gibt viele Stack Overflow-Fragen zur Verhinderung der Indizierung von Google Bot, zum Beispiel txt Dateien. Es ist das:

robots.txt

User-agent: Googlebot Disallow: /*.txt$ 

.htaccess

<Files ~ "\.txt$"> 
    Header set X-Robots-Tag "noindex, nofollow" 
</Files> 

Doch was ist die Syntax für diese beiden, wenn sie versuchen zwei Arten von Dateien zu verhindern indiziert werden? In meinem Fall - txt und doc.

Answer 1

In Ihrer robots.txt-Datei:

User-agent: Googlebot 
Disallow: /*.txt$ 
Disallow: /*.doc$ 

Mehr Details bei Google Webmaster: Create a robots.txt file

---

In der .htaccess-Datei:

<FilesMatch "\.(txt|doc)$"> 
    Header set X-Robots-Tag "noindex, nofollow" 
</FilesMatch> 

Mehr Details hier: http://httpd.apache.org/docs/current/sections.html