Mehrere Sitemap: Einträge in robots.txt?

Ich habe mit Google gesucht, kann aber keine Antwort auf diese Frage finden.Mehrere Sitemap: Einträge in robots.txt?

kann eine robots.txt-Datei die folgende Zeile enthalten:

Sitemap: http://www.mysite.com/sitemapindex.xml

aber ist es möglich, mehrere Sitemap-Indexdateien in der robots.txt und haben die Suchmaschinen erkennen, dass und kriechen alle der Sitemaps angeben in jeder Sitemap-Indexdatei referenziert? Zum Beispiel wird das funktionieren:

Sitemap: http://www.mysite.com/sitemapindex1.xml 

Sitemap: http://www.mysite.com/sitemapindex2.xml 

Sitemap: http://www.mysite.com/sitemapindex3.xml

Quelle

2010-04-07 user306942

Ja es wird, finden Sie unter: http://ligatures.net/content /expertise/robots-txt-implementation.html – JVerstry

-1

Es ist möglich, sie zu schreiben, aber es ist an der Suchmaschine zu wissen, was damit zu tun ist. Ich vermute, dass viele Suchmaschinen entweder immer mehr Token "verdauen" oder alternativ die letzte Sitemap, die sie als die echte finden, nehmen.

Ich schlage vor, dass die Frage "wenn ich möchte, ____ Suchmaschine meine Website indexieren, wäre ich in der Lage, mehrere Sitemaps zu definieren?"

Quelle

2010-04-07 16:40:04

Ja, das scheint vernünftig. Ich denke, lesen Sie in Google FAQ, dass sie dies unterstützen. – user306942

Google unterstützt dies. Wenn Sie jedoch sicher sein möchten, reichen Sie die Sitemap-Dateien manuell in den Webmaster-Tools ein. –

-1 Es ist in den Protokollspezifikationen. Diese Antwort hier ist eine lahme Entschuldigung dafür, sie nicht zu lesen und anzunehmen, dass alle anderen - insbesondere die Implementatoren - sie auch nicht lesen würden. Die Möglichkeit, Sitemaps in der robots.txt überhaupt nicht zu unterstützen, ist viel höher, als dies nach Spezifikationen zu unterstützen. – hakre

Ja, es ist möglich more than one sitemap-index-file haben:

Sie haben mehr als eine Sitemap-Indexdatei.

Highlight von mir.

Ja, es ist möglich, mehrere Sitemap-Dateien innerhalb robots.txt, siehe auch in the sitemap.org site zur Liste:

Sie mehr angeben können als eine Sitemap-Datei per robots.txt-Datei.
Sitemap: http://www.example.com/sitemap-host1.xml 

Sitemap: http://www.example.com/sitemap-host2.xml 

Highlights von mir, das kann nicht falsch verstanden werden, würde ich sagen, so einfach gesprochen, das getan werden kann.

Dies ist auch notwendig für Cross-Submits, für die btw. die robots.txt wurde gewählt.

Btw Google, Yahoo und Bing, alle sind members of sitemaps.org:

Sitemap 0.90 ist unter den Bedingungen der Attribution-ShareAlike Creative Commons Lizenz angeboten und hat breite Akzeptanz, einschließlich Unterstützung von Google, Yahoo! und Microsoft.

So können Sie sicher sein, dass Ihre Sitemap-Einträge von den Suchmaschinen-Bots richtig gelesen werden.

Einreichen über Webmaster-Tools kann auch nicht weh tun - wie John Muellercommented.

Quelle

2010-07-06 09:19:03

Die Google robots.txt-Dokumentation bestätigt dies für Google und verweist darauf, dass es auch für andere Bots funktionieren sollte: "Es können mehrere Sitemapeinträge vorhanden sein. Als Nicht-Gruppenmitgliedsdatensätze sind diese nicht an einen bestimmten Benutzer gebunden - Agents und können von allen Crawlern verfolgt werden, vorausgesetzt, es ist nicht verboten. " Die Google robots.txt-Dokumentation finden Sie hier: https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt –

Die Frage fragt, ob in der Datei robots.txt mehrere Sitemap-Einträge * index * vorhanden sein können 'nicht, wenn mehrere Sitemap-Einträge vorhanden sind. –

@NigelAlderton: Die Spezifikationen sind ebenfalls klar darüber: [* "Sie können mehr als eine Sitemap-Indexdatei haben." *] (Http://www.sitemaps.org/protocol.html#index). Wenn Sie dann mit dem Abschnitt * Sitemaps & Cross Submits * vergleichen, ist es nicht nur klar, sondern inhärent notwendig, mehrere Indexdateien pro 'robots.txt' für die domänenübergreifende Indexnutzung zuzulassen. – hakre

Wenn Ihre Sitemap über 10 MB (unkomprimiert) oder mehr als 50 000 Einträge Google setzt voraus, dass Sie mit einer Sitemap Index Datei gebündelt mehr Sitemaps verwenden.

Using Sitemap index files (to group multiple sitemap files)

In robots.txt Punkt zu einem Sitemap-Index, der sollte wie folgt aussehen:

<?xml version="1.0" encoding="UTF-8"?> 
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
    <sitemap> 
     <loc>http://www.example.com/sitemap1.xml.gz</loc> 
     <lastmod>2012-10-01T18:23:17+00:00</lastmod> 
    </sitemap> 
    <sitemap> 
     <loc>http://www.example.com/sitemap2.xml.gz</loc> 
     <lastmod>2012-01-01</lastmod> 
    </sitemap> 
</sitemapindex>

Quelle

2012-04-27 05:14:48 scott

Ähm, nicht genau. Von http://www.sitemaps.org/protocol.php: "Jede Textdatei kann maximal 50.000 URLs enthalten und darf nicht größer als 10 MB (10.485.760 Bytes) sein." – ayke

Google hat seitdem die zulässige Größe pro Sitemap-Datei auf 50MB erhöht. http://StackOverflow.com/Questions/2887358/limitation-for-google-sitemap-xml-file-size –

Wäre es besser, Sitemap: in Robots Point sitemapindex.xml oder mehrere sitemap: Zeilen auf jeden zeigen? – WarrenDodsworth

Mehrere Sitemap: Einträge in robots.txt?

Antwort

Verwandte Themen