Crawl Links von sitemap.xml über wget Befehl

Question

Ich versuche, alle Links einer sitemap.xml zu crawlen, um eine Website neu zu cachen. Aber die rekursive Option von wget funktioniert nicht, ich bekomme nur als Antwort:

Remote-Datei existiert, enthält aber keine Verbindung - nicht abrufen.

Aber sicher ist die sitemap.xml voll von "http: // ..." Links.

versuchte ich fast jede Möglichkeit, wget, aber nichts für mich gearbeitet:

wget -r --mirror http://mysite.com/sitemap.xml 

Hat jemand weiß, wie alle Links zu öffnen innerhalb einer Website sitemap.xml?

Danke, Dominic

Answer 1

Es scheint, dass wget nicht XML analysieren kann. Also müssen Sie die Links manuell extrahieren. Man könnte so etwas tun:

wget --quiet http://www.mysite.com/sitemap.xml --output-document - | egrep -o "https?://[^<]+" | wget -i - 

ich diesen Trick gelernt here.