Dynamic robots.txt

Angenommen, ich habe eine Website zum Hosten von Community-Inhalten, die auf eine bestimmte Benutzergruppe ausgerichtet sind. Nun, um eine bessere Community zu schaffen, habe ich einen Off-Topic-Bereich, in dem Community-Mitglieder unabhängig vom Hauptthema der Site posten oder über alles reden können, was sie wollen.Dynamic robots.txt

Jetzt möchte ich wollen die meisten Inhalte von Google indiziert werden. Die bemerkenswerte Ausnahme ist der off-topic Inhalt. Jeder Thread hat seine eigene Seite, aber alle Threads sind im selben Ordner aufgelistet, sodass ich Suchmaschinen nicht einfach aus einem Ordner ausschließen kann. Es muss pro Seite sein. Eine traditionelle robots.txt Datei würde sehr groß werden, also wie könnte ich das sonst erreichen?

Quelle

2008-09-04 Joel Coehoorn

Dies wird für alle gut verhalten Suchmaschinen arbeiten, fügen Sie ihn einfach an die <head>:

<meta name="robots" content="noindex, nofollow" />

Quelle

2008-09-04 15:13:30 UnkwnTech

–

Wenn Apache mit I mod-Rewrite alias robots.txt zu einem Skript verwenden würde, die dynamisch den notwendigen Inhalt erzeugen könnten.

Edit: Wenn IIS verwenden Sie ISAPIrewrite verwenden könnte das gleiche zu tun.

Quelle

2008-09-04 15:12:12

Auf ähnliche Weise zu @James Marshall Vorschlag - in ASP.NET Sie ein Httphandler verwenden könnte Anrufe Roboter umleiten .txt zu einem Skript, das den Inhalt generiert hat.

Quelle

2008-09-04 15:14:01

-1

Sie können durch die Einschränkung Roboter Meta-Tags Suchmaschinen zu lesen oder zu indizieren Ihre Inhalte nicht zuzulassen. Auf diese Weise wird Spider Ihre Anweisungen berücksichtigen und nur solche Seiten indizieren, die Sie möchten.

Quelle

2013-05-10 06:25:13

Sie können implementieren durch robots.txt mit dynamischen Skript Erzeugen des Ausgangs ersetzen. Mit Apache Sie könnten einfache .htaccess-Regel machen, um das zu erreichen.

RewriteRule ^robots\.txt$ /robots.php [NC,L]

Quelle

2013-09-30 09:04:39

-1

Block dynamische Webseite durch robots.txt Verwendung dieser Code

User-agent: *

Disallow:/setnewsprefs?

Disallow: /index.html?

Nicht zulassen: /?

Allow: /? Hl =

Disallow:/hl = * &

Quelle

2014-02-07 11:15:22 Manchun

Gerade für diesen Thread, stellen Sie sicher, dass Sie den Kopf ein noindex-Meta-Tag enthält?. Das ist eine weitere Möglichkeit, Suchmaschinen dazu zu bringen, Ihre Seite nur in robots.txt zu crawlen.

Quelle

2014-05-23 10:40:55

Denken Sie daran, dass eine robots.txt-Sperrung NICHT verhindert, dass Google Seiten indexiert, die Links von externen Seiten enthalten does verhindert das interne Crawlen. Siehe http://www.webmasterworld.com/google/4490125.htm oder http://www.stonetemple.com/articles/interview-matt-cutts.shtml.

Quelle

2014-07-01 08:43:57

Antwort

Verwandte Themen