1
Ich verwende Apache 2, um Inhalte zu liefern, und Bing Bot verwendet HTTP/0.9, um Seiten von meinem Server anzufordern, der keine direkten IP-Hosts bedient.Wie sollte ich Spiders/Web Crawler mit HTTP/0.9 umgehen, wenn ich Apache 2 verwende?
Wie soll ich mit der Spinne umgehen, wenn ich nicht weiß, welchen Host sie wollen, aber sie trotzdem brauchen, um meine Seite zu indizieren?
Ich gebe derzeit 400 Bad Request zurück, aber es macht mich nervös, dass meine Seiten nicht für Bing oder Yahoo indiziert werden.
Dank