Angenommen, ich habe eine Website zum Hosten von Community-Inhalten, die auf eine bestimmte Benutzergruppe ausgerichtet sind. Nun, um eine bessere Community zu schaffen, habe ich einen Off-Topic-Bereich, in dem Community-Mitglieder unabhängig vom Hauptthema der Site posten oder über alles reden können, was sie wollen.Dynamic robots.txt
Jetzt möchte ich wollen die meisten Inhalte von Google indiziert werden. Die bemerkenswerte Ausnahme ist der off-topic Inhalt. Jeder Thread hat seine eigene Seite, aber alle Threads sind im selben Ordner aufgelistet, sodass ich Suchmaschinen nicht einfach aus einem Ordner ausschließen kann. Es muss pro Seite sein. Eine traditionelle robots.txt Datei würde sehr groß werden, also wie könnte ich das sonst erreichen?
–