Holt einen Wikipedia-Artikel mit Python

Question

ich versuche, einen Wikipedia-Artikel mit Pythons urllib zu holen:

f = urllib.urlopen("http://en.wikipedia.org/w/index.php?title=Albert_Einstein&printable=yes")   
s = f.read() 
f.close() 

jedoch anstelle der HTML-Seite, die ich die folgende Antwort erhalten: Fehler - Wikimedia Foundation:

Request: GET http://en.wikipedia.org/w/index.php?title=Albert_Einstein&printable=yes, from 192.35.17.11 via knsq1.knams.wikimedia.org (squid/2.6.STABLE21) to() 
Error: ERR_ACCESS_DENIED, errno [No Error] at Tue, 23 Sep 2008 09:09:08 GMT 

Wikipedia scheint Anfragen zu blockieren, die nicht von einem Standard-Browser stammen.

Weiß jemand, wie man das umgeht?

Answer 1

Sie müssen die urllib2 verwenden, die urllib in der python std library übergeordnet ist, um den Benutzer-Agent zu ändern.

Gerade vom examples

import urllib2 
opener = urllib2.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/5.0')] 
infile = opener.open('http://en.wikipedia.org/w/index.php?title=Albert_Einstein&printable=yes') 
page = infile.read() 

Answer 2

Versuchen Sie, die User-Agent-Header zu ändern Sie in Ihrer Anfrage zu so etwas wie senden: User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv: 1.9.0.1) Gecko/2008072820 Ubuntu /8.04 (robust) Firefox/3.0.1 (Linux Mint)

Answer 3

Sie müssen sich nicht als Browser-User-Agent ausgeben; jeder User-Agent wird überhaupt funktionieren, nur kein leerer.

Answer 4

Es ist keine Lösung für das spezifische Problem. Es könnte aber interessant sein, stattdessen die mwclient-Bibliothek() zu verwenden. Das wäre so viel einfacher. Vor allem, weil Sie den Inhalt des Artikels direkt erhalten, wodurch Sie den HTML-Code nicht mehr analysieren müssen.

Ich habe es selbst für zwei Projekte verwendet, und es funktioniert sehr gut.

Answer 5

Die allgemeine Lösung, die ich für jede Website verwenden ist auf die Seite zuzugreifen unter Verwendung von Firefox und eine Erweiterung wie Firebug, erfassen alle Details der HTTP-Anforderung einschließlich Cookies.

In Ihrem Programm (in diesem Fall in Python) sollten Sie versuchen, eine HTTP-Anfrage zu senden, die der von Firefox ähnlich ist. Dazu gehören häufig die Felder User-Agent, Referer und Cookie, aber möglicherweise auch andere.

Answer 6

Anstatt zu versuchen, Wikipedia zu überlisten, sollten Sie ihre High-Level API verwenden.

Answer 7

Falls Sie versuchen, auf Wikipedia-Inhalte zuzugreifen (und keine spezifischen Informationen über die Seite selbst benötigen), sollten Sie index.php einfach mit 'action = raw' aufrufen, um die API zu erhalten der wikitext, wie in:

'http://en.wikipedia.org/w/index.php? action = raw & title = Main_Page '

Oder, wenn Sie die HTML-Code, verwenden wollen 'action = machen' wie in:

' http://en.wikipedia.org/w/index .php? action = render & title = Main_Page‘

Sie können auch einen Abschnitt definieren nur ein Teil des Inhalts mit so etwas wie zu bekommen 'section = 3'.

Sie können dann mit dem Modul urllib2 darauf zugreifen (wie in der gewählten Antwort enthalten). Wenn Sie jedoch Informationen über die Seite selbst (z. B. Revisionen) benötigen, verwenden Sie besser den mwclient wie oben beschrieben.

Weitere Informationen finden Sie unter MediaWiki's FAQ.

Answer 8

import urllib 
s = urllib.urlopen('http://en.wikipedia.org/w/index.php?action=raw&title=Albert_Einstein').read() 

Dies scheint für mich zu arbeiten, ohne den Benutzer-Agent zu ändern. Ohne die "Aktion = roh" funktioniert es nicht für mich.

Answer 9

requests ist genial!

Hier ist, wie Sie den HTML-Inhalt mit requests zu bekommen:

import requests 
html = requests.get('http://en.wikipedia.org/w/index.php?title=Albert_Einstein&printable=yes').text 

Fertig!

Answer 10

Wenn Sie die Seite mit ?printable=yes anfordern, erhalten Sie ein relativ sauberes HTML-Dokument. ?action=render gibt Ihnen nur den Körper HTML. Anfordern, die Seite durch die MediaWiki-Aktions-API mit action=parse zu analysieren, gibt Ihnen ebenfalls nur den Body HTML, wäre aber gut, wenn Sie feinere Kontrolle wünschen, see parse API help.

Wenn Sie nur die Seite HTML möchten, damit Sie sie rendern können, ist es schneller und besser, die neue RESTBase API zu verwenden, die eine zwischengespeicherte HTML-Darstellung der Seite zurückgibt. In diesem Fall https://en.wikipedia.org/api/rest_v1/page/html/Albert_Einstein.

Ab November 2015 müssen Sie nicht Ihren User-Agent, sondern it's strongly encouraged einstellen. Auch, fast alle Wikimedia Wikis require HTTPS, so vermeiden Sie eine 301 Redirect und machen http s Anfragen.