robots.txt

42Hitze

1Antwort

robots.txt und .htaccess Syntax highlight

Gibt es eine Möglichkeit, robots.txt und .htaccess-Syntax zu markieren/hervorzuheben? Z.B. mit einem SublimeText2-Plug-in. Ich habe das gefunden, kann aber nicht herausfinden, wie ich es installieren

.htaccess sublimetext2 robots.txt 2013-01-04

---

6Hitze

1Antwort

Erlaube nur Google CSE und verbiete die Google Standardsuche in ROBOTS.txt

Ich habe eine Website, auf der ich eine Google Custom Search Engine verwende. Ich möchte, dass Google CSE meine Website crawlt, aber ich möchte, dass die Ergebnisse einer normalen Google-Suche nicht b

robots.txt google-cse 2013-01-21

---

0Hitze

1Antwort

Stoppen Roboter auf allen auf einem VirtualHost und allen seinen Unterverzeichnissen

Ich habe eine Entwicklung 'Umgebung' unter einem virtuellen Host auf einem Apache-Server. Ich würde diesen virtuellen Host und alle Unterverzeichnisse für die Indexierung durch Suchmaschinen blockiere

apache robots.txt vhosts subdirectories 2012-03-30

---

5Hitze

1Antwort

BingBot & BaiduSpider respektieren nicht robots.txt

Nachdem meine CPU-Auslastung plötzlich über 400% gestiegen ist, weil Bots meine Seite überschwemmt haben, habe ich eine robots.txt wie folgt erstellt und die Datei in meinem root abgelegt, zB "www.exa

cpu-usage robots.txt bots 2012-07-10

---

3Hitze

2Antwort

Python robotparser Modul lädt 'robots.txt' nicht

Ich schreibe einen sehr einfachen Web-Crawler und versuche, 'robots.txt' Dateien zu parsen. Ich fand das robotparser Modul in der Standardbibliothek, die genau dies tun sollte. Ich benutze Python 2.7.

python python-2.7 robots.txt python-module 2012-04-05

---

15Hitze

1Antwort

Serving sitemap.xml und robots.txt mit Spring MVC

Was ist der beste Weg zum Server sitemap.xml und robots.txt mit Spring MVC? Ich möchte Server diese Dateien durch Controller in sauberster Weise.

java spring spring-mvc sitemap robots.txt 2012-09-05

---

0Hitze

1Antwort

Zugriff auf die Datei robots.txt in Java

Ich bin neu in java.Ich möchte einen einfachen Web-Crawler.how erstellen, um auf eine robots.txt-Datei für eine Website in java.actually zuzugreifen, weiß ich nicht viel über robots.txt. Bitte hilf mi

java web-crawler robots.txt 2012-04-10

---

2Hitze

1Antwort

Kann ich eine Datei `robots.txt` für ein Unterverzeichnis auf der Domain meiner Schule verwenden?

Ich besitze Webspace, der bei einer Universität registriert ist. Google hat leider meinen Lebenslauf (Lebenslauf) auf der Website gefunden, aber er hat ihn als wissenschaftliche Publikation falsch ind

robots.txt 2012-04-12

---

2Hitze

1Antwort

Wie kann ich feststellen, ob Apache meinen .htaccess wie vorgesehen verwendet?

Ich möchte verhindern, dass Google PDFs auf meiner Website indexiert. Ich habe meine .htaccess-Datei modifiziert die folgenden Zeilen enthalten, wie von Google Webmaster-Tools vorgeschlagen: <Files ~

.htaccess robots.txt 2012-04-12

---

5Hitze

1Antwort

Kann ich robots.txt verwenden, um bestimmte URL-Parameter zu blockieren?

Bevor Sie mir sagen "Was haben Sie versucht", und "testen Sie dies selbst", möchte ich darauf hinweisen, dass robots.txt Updates langsam für meine Website jede Website auf Suchmaschinen, also wenn Sie

robots.txt 2013-01-02

---