Python urllib.urlopen() Anruf funktioniert nicht mit einer URL, die ein Browser akzeptiert

Question

Wenn ich Firefox auf http://bitbucket.org/tortoisehg/stable/wiki/Home/ReleaseNotes zeigen, bekomme ich eine HTML-Seite. Aber wenn ich versuche, dies in Python:

 
import urllib 

site = 'http://bitbucket.org/tortoisehg/stable/wiki/Home/ReleaseNotes' 
req = urllib.urlopen(site) 
text = req.read() 

ich folgendes:

500 Internal Server Error Der Server hat einen internen Fehler oder eine falsche Konfiguration und konnte Ihre Anfrage abzuschließen.

Was mache ich falsch?

Answer 1

Sie machen nichts falsch, bitbucket macht einige User-Agent-Erkennung (zum Beispiel mercurial Clients zu erkennen). Nur changing the user agent behebt es (wenn es nicht urllib als Teilzeichenfolge hat).

Sie sollten ein Problem in Bezug auf diese füllen: http://bitbucket.org/jespern/bitbucket/issues/new/

Answer 2

Ich glaube nicht, dass Sie etwas falsch machen - es sieht so aus, als ob dieser Server nur ausgefallen wäre? Ihr Skript hat für mich funktioniert ("Text" enthielt die gleichen Daten wie im Browser).

Answer 3

Sie tun nichts falsch, oberflächlich, und wie die Fehlerseite sagt, sollten Sie sich an die Administratoren der Website wenden, da sie diejenigen mit den Serverprotokollen sind, die erklären können, was passiert. Glücklicherweise sind Bitbuckets Site-Admins ein freundlicher Haufen!

Kein Zweifel, es gibt einige Header oder Kombination von Headern, die Browser in eine Richtung setzen, urllib setzt einen anderen Weg, und ein Fehler auf dem Server wird im letzteren Fall gekitzelt. Möglicherweise möchten Sie genau sehen, welche Header gesendet werden, z. mit Firebug in Firefox, und reproduzieren diese, bis Sie genau den Server-Fehler isolieren; Wahrscheinlich wird es der User Agent oder ein "Accept" -ish Header sein, der diesen Bug kitzelt.