Ich habe eine Website, auf der ich eine Google Custom Search Engine verwende. Ich möchte, dass Google CSE meine Website crawlt, aber ich möchte, dass die Ergebnisse einer normalen Google-Suche nicht berücksichtigt werden. Ich habe dies in meiner robots.txt-Datei der Hoffnung, dass Google CSE Bots würde es ignorieren, da ich die Seiten angegeben wollte ich Google CSE in den Einstellungen kriechenErlaube nur Google CSE und verbiete die Google Standardsuche in ROBOTS.txt
User-agent: *
Disallow:/
Ich denke, die Google CSE Bots müssen auch Roboter gehorchen. txt. Gibt es also eine Möglichkeit, meine Seite dazu zu bringen, Suchmaschinen-Suchanfragen zu vermeiden, damit Google CSE sie dennoch indizieren kann? TIA!
Oh! Ist das immer noch so? – Nirmal