2016-07-28 4 views
0

Eigentlich lese ich Urls aus einer Datei, die mit 1 URL pro Zeile enthält, aber in Schleife, wenn ich lese, und öffnen Sie diese URL in Python dies gibt Ausgang BAD RESPONSE 400Python Lesen Urls aus einer Datei

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN""http://www.w3.org/TR/html4/strict.dtd"> 
<HTML><HEAD><TITLE>Bad Request</TITLE> 
<META HTTP-EQUIV="Content-Type" Content="text/html; charset=us-ascii"> 
</HEAD> 
<BODY><h2>Bad Request - Invalid URL</h2> 
<hr><p>HTTP Error 400. The request URL is invalid.</p> 
</BODY></HTML> 
#$#$#$#$#$#$#$#$#$#$#$# 
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN""http://www.w3.org/TR/html4/strict.dtd"> 
<HTML><HEAD><TITLE>Bad Request</TITLE> 
<META HTTP-EQUIV="Content-Type" Content="text/html; charset=us-ascii">  
</HEAD> 
<BODY><h2>Bad Request - Invalid URL</h2> 
<hr><p>HTTP Error 400. The request URL is invalid.</p> 
</BODY></HTML> 
#$#$#$#$#$#$#$#$#$#$#$# 

Dies ist die Ausgabe von 2 URLs.

Aber wenn ich nur eine URL in Datei hinzufügen, liest es es gut und gibt die tatsächliche HTML-Seite aus. (Auch in Schleife)

Hier mein Code von Python

import time 
import cfscrape 
scraper = cfscrape.create_scraper() 
f = open('links.txt') 
f2 = open('pages.html','a') 
for line in iter(f): 
    line2 = line 
    page = scraper.get(line2).content 
    f2.write(page) 
    f2.write("#$#$#$#$#$#$#$#$#$#$#$#") 
    time.sleep(30) 
f.close() 
f2.close() 

Und Hier sind die Links/URLs, die Datei links.txt enthält

http://kissmanga.com/Manga/Mekakushi-no-Kuni 
http://kissmanga.com/Manga/Gigi-Goegoe 

Antwort

1

Try line2 = line-line2 = line.strip()

+0

zu ändern Großer Dank, das hat das Problem gelöst. :) Genial –