Konfiguration von Perl-Skript, um XML-Sitemap automatisch für eine sehr große Website zu generieren

Question

Ich bin ein SEO arbeitet für ein Flugbuchungsunternehmen. Wir versuchen, eine XML-Sitemap für unsere Website zu installieren. Ich hatte das Entwicklerteam meiner Firma gebeten, ein Perl-Skript zu installieren, das helfen wird, eine XML-Sitemap für unsere riesige Website (mehr als 150.000 Seiten) zu generieren.

Wir haben die Google Perl Sitemap Generator für die gleiche verwendet, da wir aus bestimmten Gründen nur Perl verwenden können. Die Ausgabedatei hatte eine Menge Mist, da sie hauptsächlich durch die statischen Seiten und andere Inhalte in den Serverordnern gecrawlt wurde (sie folgte im Grunde nicht den URLs von der Homepage und der Website, sondern crawlte jede Datei auf dem Server). Ich bin mir nicht sicher, ob die Terminologie korrekt ist, aber ich denke, Sie werden meinen Standpunkt verstehen.

Die Konfigurationsoptionen sind im obigen Link erwähnt, jedoch können wir nicht herausfinden, welche Parameter verwendet werden, um eine ideale XML-Sitemap ohne unnötige URLs zu erhalten.

Könnte jemand bitte mit dem Perl-Skript helfen oder wie man es konfiguriert.

Answer 1

Erstellen Sie eine Kopie der Website mit 'wget' (Mirror-Option) und erstellen Sie eine Sitemap daraus.

Answer 2

Schau her, hat es den Code: http://www.isrcomputing.com/knowledge-base/linux-tips/240-how-to-create-google-sitemap- using-perl.html

Answer 3

Vielleicht bin ich naiv, aber nicht Sie tun, um eine BFS 'http :: get' aller Links von der Start Wurzel, Parsing jedes a href?

Perl unterstützt das ziemlich gut.