Wie kann ich lange Webseiten mit einer schönen Suppe analysieren?

Question

Ich habe folgenden Code verwendet, um die Webseite unter dem Link https://www.blogforacure.com/members.php zu analysieren. Es wird erwartet, dass der Code die Links aller Mitglieder der angegebenen Seite zurückgibt.

from bs4 import BeautifulSoup 
    import urllib 
    r = urllib.urlopen('https://www.blogforacure.com/members.php').read() 
    soup = BeautifulSoup(r,'lxml') 
    headers = soup.find_all('h3') 
    print(len(headers)) 
    for header in headers: 
     a = header.find('a') 
     print(a.attrs['href']) 

Aber ich bekomme nur die ersten 10 Links von der obigen Seite. Auch wenn ich die Option "Verschönern" drucke, sehe ich nur die ersten 10 Links. Kann mir jemand helfen, das Problem zu lösen?

Answer 1

Die Ergebnisse werden dynamisch geladen, indem AJAX-Anforderungen an den Endpunkt https://www.blogforacure.com/site/ajax/scrollergetentries.php gestellt werden.

Simulieren sie in Ihrem Code mit requests eine Web-Scraping-Sitzung beibehalten:

from bs4 import BeautifulSoup 
import requests 

url = "https://www.blogforacure.com/site/ajax/scrollergetentries.php" 
with requests.Session() as session: 
    session.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'} 
    session.get("https://www.blogforacure.com/members.php") 

    page = 0 
    members = [] 
    while True: 
     # get page 
     response = session.post(url, data={ 
      "p": str(page), 
      "id": "#scrollbox1" 
     }) 
     html = response.json()['html'] 

     # parse html 
     soup = BeautifulSoup(html, "html.parser") 
     page_members = [member.get_text() for member in soup.select(".memberentry h3 a")] 
     print(page, page_members) 
     members.extend(page_members) 

     page += 1 

Es druckt die aktuelle Seitenzahl und die Liste der Mitglieder pro Seite Mitgliedernamen in eine members Liste zu akkumulieren. Nicht veröffentlichen, was gedruckt wird, da es Namen enthält.

Beachten Sie, dass ich die Schleife absichtlich endlos verlassen habe, bitte herauszufinden, die Ausgangsbedingung. Kann sein, wenn response.json() einen Fehler auslöst.