Ich benutze BeautifulSoup, um eine Webseite zu scrappen. Wenn ich jedoch den Aufruf (unter Verwendung von urllib2 + Python 3.4) in einem Browser tätige, ändert sich die URL bei jedem erneuten Aufruf auf eine eindeutige GUID. Für z. Wenn ich den Anruf http://www ..COM mache, ändert es sich in http://www ..com/DYNAMIC/ID = {GUID wie Zeichenfolge}. Bei allen nachfolgenden Aufrufen von Links auf der Seite wird diese ID an die Anrufe angehängt. Die GUID-ähnliche Zeichenfolge ändert sich bei jedem Aufruf des Browsers. Gibt es eine Möglichkeit, die dynamische Verbindung mit der GUID-ähnlichen Zeichenfolge nach einem Aufruf der Site zu erhalten? Ich versuche, mein Skript unaufdringlich zu machen, also möchte ich das kopflos machen (z. B. vermeiden, Selenium zu verwenden).Wie können wir in Pythons URLlib eine URL erhalten, die nach dem Anruf aktualisiert wird?
Antwort
Die .geturl() Methode existiert genau für diesen Zweck:
from urllib2 import urlopen
print urlopen(url).geturl()
Sorry, das scheint nicht zu funktionieren. Ein Aufruf von urllib.request.urlopen ('http: // www.
@ user1554876 Hmm, vielleicht müssen Sie Cookies mit Ihrer Anfrage senden ... Oder vielleicht ist JavaScript beteiligt, in diesem Fall müssen Sie Selenium verwenden. –
Fast sicher, dass Sie einen benutzerdefinierten Http-Öffner, so etwas wie 'urllib.request.HTTPRedirectHandler' bauen müssen,' urllib.request.HTTPHandler'. Vielleicht möchten Sie auch ein urllib.request.HTTPCookieProcessor registrieren ... – felipsmartins