Googlebot ersetzt die Links der Rails App durch Subdomain

Question

Ich habe diese Rails App, mit Domain-Name abc.com. Ich habe auch eine eigene Subdomain für Piwik Statistiken, in dieser Subdomain stats.abc.com.

Googlebot hat irgendwie auch einige Links zu meiner Subdomain aufgelistet.

http://abc.com/login 
http://stats.abc.com/login 
http://abc.com/signup 
http://stats.abc.com/signup 

Die mit stats wird in der App auf die gleiche Seite verweisen, sind aber ganz andere Website behandelt.

Ich habe in robots.txt in stats nach dieser Angelegenheit gestellt, aber frage mich, ob es eine geeignete Möglichkeit, dies zu blockieren, weil ich neue Subdomains in Zukunft haben kann. Hier ist mein Inhalt in robots.txt

User-agent: * 
Disallow:/

Danke.

Answer 1

Robots.txt wird es gut blockieren. Es ist wichtig, sich daran zu erinnern, BEVOR Sie eine Website veröffentlichen - Google ist ziemlich schnell. Einige Suchmaschinen ignorieren robots.txt. Das Beste ist, dass Sie keine Subdomains haben, die nicht wirklich zu Ihrer Situation passen. Ich empfehle, den wahren Zweck von Subdomains zu lesen. Sie sollten nicht dieselbe Website auf verschiedenen Domains bedienen. Sie sollten ein 301 direkt verwenden oder unterschiedliche Inhalte auf verschiedenen (Sub-) Domains haben ... Sofern stats.abc.com kein anderes Material enthält, sollte es keine Subdomain sein. Wozu brauchst du so viele Subdomains?

Sie könnte erkennen den User-Agent, und wenn es ein Bot ist, eine 404 zu