Warum crawlt der Googlebot nach/mobile/* - und/m/* -Seiten, auf die nirgendwo verwiesen wird?

Question

Seit Ende Mai habe ich viele neue 404-Fehler auf der Seite "Smartphone-Crawling-Fehler" in der Webmaster-Tools/Google-Suchkonsole. Alle von ihnen beginnen mit/m/oder/mobile /, von denen keine existieren noch mit irgendwo auf der Website verknüpft sind.

Zum Beispiel habe ich einen 404 Fehler für http://www.example.com/mobile/foo-bar/ und http://www.example.com/m/foo-bar Seiten. Laut der Search Console sind diese Seiten in der vorhandenen Seite http://www.example.com/foo-bar/ verknüpft, aber nicht.

Entscheidet sich Googlebot für sich selbst, eine mobile Version jeder Seite zu suchen? Kann ich dieses Verhalten deaktivieren? Dies liegt daran, dass meine Website noch nicht für Mobilgeräte geeignet ist (ein Problem, für das ich eine weitere Warnmeldung von Google erhalten habe).

Answer 1

Sie könnten diese Verzeichnisse in Ihrer robots.txt blockieren, aber das ist ein bisschen ein Workaround. Die bessere Option wäre herauszufinden, woher Googlebot genau diese URLs abruft.

Wenn Sie eine Beispielseiten-URL geteilt haben, bei der Google angibt, dass Sie Links zu den/mobile-Seiten haben, könnte ich mir diese ansehen und herausfinden, wo diese abgerufen wird.

Und nein, Google nicht nur Verzeichnisse auf der off-Chance krabbeln erfinden, die man zufällig in einer mobilen Seite geschlichen haben könnte :)

Answer 2

Als @Jonny 5 in einem Kommentar erwähnt, dies scheint zu sein, Dies geschieht, weil Google vermutet, dass Sie möglicherweise eine mobile Version Ihrer Website in den Verzeichnissen /m und/oder /mobile haben. Nach dem, was ich gelesen habe, werden sie nur diese Verzeichnisse versuchen, wenn sie entschieden, dass die Seiten, die sie ursprünglich indiziert hatten, nicht für Mobilgeräte geeignet waren.

• https://productforums.google.com/forum/#!topic/webmasters/k3TFeCkFE0Q
• https://productforums.google.com/forum/#!topic/webmasters/56CNFxZBFwE

Ein weiterer hilfreicher Kommentar kam von @ user29671, die darauf hingewiesen, dass Ihre Website in der Tat hat: Weitere Informationen über dieses Verhalten kann in diesen Google Produkt-Forum Themen finden einige URLs mit /m und /mobile indexiert. Ich habe festgestellt, dass dies auch für meine Website gilt. Daher kann dieses Verhalten auch auf Websites beschränkt sein, für die Google (aus welchen Gründen auch immer) eine URL /m und/oder /mobile indexiert hat. gehen Um zu testen, ob dies für Ihre Website zutrifft, auf die folgenden URLs und ersetzen example.com mit Domain Ihrer Website:

• https://www.google.com/search?q=site:example.com/m/&filter=0
• https://www.google.com/search?q=site:example.com/mobile/&filter=0

Soweit verhindert dies geht, die beste Wahl erstellt entweder eine für Mobilgeräte optimierte Version Ihrer Website oder leitet die Seiten /m und /mobile auf die Originale zurück.

Answer 3

Ich habe das gleiche Problem seit Dezember 2016. Der Googlebot versucht ständig, meine Webseiten mit den Präfixe/m/und/mobile/zu crawlen.

Alle diese URLs verursachen die 404-Fehler und werden in Google Webmaster-Tools als Fehler aufgelistet.

Die automatische E-Mail wurde von GWT am 2. Januar erhielt 2017

Googlebot für Smartphones identifiziert einen signifikanten Anstieg in der Anzahl der URLs auf http://example.com besagt, dass eine 404 (nicht gefunden) Fehler zurück. Wenn diese Seiten auf Ihrer Desktop-Website vorhanden sind, kann das Anzeigen eines Fehlers für mobile Benutzer eine schlechte Benutzererfahrung darstellen. Diese Fehlkonfiguration kann auch verhindern, dass Google in den mobilen Suchergebnissen die korrekte Seite anzeigt. Wenn diese URLs nicht vorhanden sind, ist keine Aktion erforderlich.

Dies wird durch einen mobilen Crawler getan:

* Ip: 66.249.65.124

-Agent: Mozilla/5.0 (Linux, Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537,36 (KHTML, wie Gecko) Chrom/41.0.2272.96 mobile Safari/537,36 (compatible; Googlebot/2.1)

Browser: Mozilla/5.0 (Linux, Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537,36 (KHTML, wie Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (kompatibel; Googlebot/2.1) *

Sie sind also nicht allein. Nimm es leicht. Es ist ein Google bug :)

Answer 4

Wie zum Umleiten /m und /mobile Seiten auf die Originale zurück, hier ist ein Ausschnitt für nginx:

location /m/ { 
    rewrite ^/[^/]+(/.*)$ $1 permanent; 
} 

location /mobile/ { 
    rewrite ^/[^/]+(/.*)$ $1 permanent; 
} 

Man kann auch alles an die Wurzel umleiten:

location /m/ { 
    return 301 $scheme://$host/; 
} 

location /mobile/ { 
    return 301 $scheme://$host/; 
}