2016-05-12 9 views
0

In der URL here gibt es eine große Anzahl von Zip-Dateien, die ich herunterladen und in das Verzeichnis test/files/downloads speichern muss. Ich bin mit wget mit der AufforderungWie lade ich eine große Anzahl von ZIP-Dateien mit wget auf eine URL

wget -i http://bitly.com/nuvi-plz -P test/files/downloads

und es lädt die ganze Seite in eine Datei im Verzeichnis und startet jede Zip-Datei herunterzuladen, aber dann gibt mir ein 404 für jede Datei, die etwas wie

aussieht
2016-05-12 17:12:28-- http://bitly.com/1462835080018.zip 
Connecting to bitly.com|69.58.188.33|:80... connected. 
HTTP request sent, awaiting response... 302 Found 
Location: https://bitly.com/1462835080018.zip [following] 
--2016-05-12 17:12:28-- https://bitly.com/1462835080018.zip 
Connecting to bitly.com|69.58.188.33|:443... connected. 
HTTP request sent, awaiting response... 404 Not Found 
2016-05-12 17:12:29 ERROR 404: Not Found. 

Wie kann ich wget bekommen, um alle Zip-Dateien auf der Seite richtig herunterzuladen?

+1

Sie können nicht. '302' ist eine Weiterleitung. Der neue Speicherort verfügt jedoch nicht über die ZIP-Dateien. – alvits

+0

Sie können versuchen, 'wget -i http://feed.omgili.com/5Rh5AMTrc4Pv/mainstream/posts/ -P Test/Dateien/Downloads'. – alvits

Antwort

1

Sie müssen die Umleitung von bit.ly bekommen und dann alle Dateien herunterladen. Das ist echte hässlich, aber es funktionierte:

wget http://bitly.com/nuvi-plz --server-response -O /dev/null 2>&1 | \ 
    awk '(NR==1){SRC=$3;} /^ Location: /{DEST=$2} END{ print SRC, DEST}' | sed 's|.*http|http|' | \ 
while read url; do 
    wget -A zip -r -l 1 -nd $url -P test/files/downloads 
done 

Wenn Sie den direkten Link verwenden, dies funktioniert:

wget -A zip -r -l 1 -nd http://feed.omgili.com/5Rh5AMTrc4Pv/mainstream/posts/ -P test/files/downloads 
+0

Super, danke! Wo finde ich die Dokumente für wget ?? –

+0

'man wget' oder' wget --help' oder https://www.gnu.org/software/wget/manual/wget.html –