Die Standardseite gibt 404 nur zurück, wenn ich den Suchbot-Benutzeragenten verwende

Question

Ich habe eine Website mit ASP.NET-Webseiten erstellt (nicht MVC, nicht Webformulare).

Wenn ich in einem Browser auf die Standardseite von mydomain.com zugreife, wird die Standardseite (index.cshtml) angezeigt. Suchmaschinen sehen jedoch eine 404-Seite und wenn ich meinen User-Agent zu Googlebot oder Bingbot ändere, erhalte ich auch einen 404-Fehler.

Dies betrifft nur die Standardseite - wenn ich mydomain.com/index.cshtml verwende, bekomme ich die 404-Seite nicht.

In meinem Code gibt es keine Benutzeragent-Erkennung.

Ich habe die Header beobachtet und es gibt keine Umleitungen, nur eine sofortige 404-Antwort nur bei Verwendung eines Bot User Agent.

Gibt es eine integrierte Erkennung von Benutzeragenten, die sich auf Standardseiten in ASP.NET-Webseiten auswirkt? Oder könnte meine Hosting-Firma etwas machen (Arvixe)?

Ich kann Code hinzufügen, wenn es hilft (aber nicht sicher, welchen Code ich hinzufügen würde), oder einen Link auf die Website.

Answer 1

Ich habe die Ursache des Problems gefunden.

Anscheinend Arvixe Websites wurden gehackt. Der Hacker eingefügt einige Codes in web.config, die nur für Bots eine andere URL anstelle der Homepage angezeigt ...

<rewrite> 
    <rules> 
    <rule name="1" patternSyntax="ECMAScript" stopProcessing="true"> 
     <match url="^$" ignoreCase="true" negate="false" /> 
     <conditions logicalGrouping="MatchAny" trackAllCaptures="false"> 
     <add input="{HTTP_USER_AGENT}" pattern="Googlebot|Yahoo|MSNBot|bingbot" /> 
     </conditions> 
     <action type="Rewrite" url="bot.asp" /> 
    </rule> 
    </rules> 
</rewrite> 

Ich habe Titel/Beschreibung für Sport-Trikots in Bing Suche nach meiner Webseite sehen, die sind Warum untersuchte ich das?

Von einer Suche scheint es, hat dies viele Arvixe Kunden betroffen, werden die meisten wahrscheinlich nie wissen, wie sie ihre Website mit einem Such-Bot User Agent unwahrscheinlich sehen werden.

Es sieht so aus, als ob Arvixe über das Hacking Bescheid wusste und dies bereits durch Entfernen der Spam-Datei (bot.asp oder bot.php) gestoppt hat, aber die web.config nicht behoben wurde. Wenn Sie ein Hosting mit Arvixe geteilt haben, sollten Sie dies jetzt überprüfen.

Sie sollten auch Ihre Google-Suche-Konsole/Analytics-Konten für Besitzer/Benutzer hinzugefügt hinzufügen, wie einige auch gemeldet haben, obwohl Sie eine E-Mail-Warnung davon erhalten hätten.

Ich habe alle meine Arvixe-Passwörter geändert, aber ich bezweifle, dass sie individuelle Account-Passwörter erhalten haben, wahrscheinlich haben sie auf Serverebene gehackt.