Ich möchte Webseiten in einer Site herunterladen. In meiner 'urls.txt' Datei befinden sich 5000000 URL Links. Es ist ungefähr 300 Millionen. Wie kann man diese URLs mit einem Multithread verlinken und diese Webseiten herunterladen? oder Wie können diese Webseiten heruntergeladen werden?Python, Multithreads, Webseiten abrufen, Webseiten herunterladen
meine Ideen:
with open('urls.txt','r') as f:
for el in f:
##fetch these urls
oder verdreht?
Gibt es eine gute Lösung dafür?
suchen Wollen Sie es selbst programmieren? Sie können dies leicht mit 'wget' machen. – notnoop