Verschmelzung von Datenrahmen, die über Web-Scraping erhalten wurde

Question

Ich habe einen Code, der Tabellen von einer Website kratzt, und liest es in Pandas Dataframe. Dies geschieht jedoch durch eine for Schleife, wie die Website entworfen wurde. Als solche sind die Tische alle mit dem gleichen name dh dem Stichwort: sie unter df Name Gibt es

-Code

soup = bs4.BeautifulSoup(driver.page_source, "html.parser") 
    for thead in soup.select(".data-point-container table thead"): 
     tbody = thead.find_next_sibling("tbody") 

     table = "<table>%s</table>" % (str(thead) + str(tbody)) 

     df = pandas.read_html(str(table))[0] 

     print(df) 
     print('-------------') 

Ergebnis

 Table1 FY2012 FY2013 FY2014 FY2015 Last 12 Months 
0 item1 value1 value2 value3 value4 value5 
1 item2 value1 value2 value3 value4 value5 
2 item3 value1 value2 value3 value4 value5 
3 item4 value1 value2 value3 value4 value5 
4 item5 value1 value2 value3 value4 value5 
5 item6 value1 value2 value3 value4 value5 
------------- 

    Table2 FY2012 FY2013 FY2014 FY2015 Last 12 Months 
0 item1 value1 value2 value3 value4 value5 
1 item2 value1 value2 value3 value4 value5 
2 item3 value1 value2 value3 value4 value5 
3 item4 value1 value2 value3 value4 value5 
------------- 

    Table3 FY2012 FY2013 FY2014 FY2015 Last 12 Months 
0 item1 value1 value2 value3 value4 value5 
1 item2 value1 value2 value3 value4 value5 
2 item3 value1 value2 value3 value4 value5 
3 item4 value1 value2 value3 value4 value5 
4 item5 value1 value2 value3 value4 value5 
5 item6 value1 value2 value3 value4 value5 
------------- 

    Table4 FY2012 FY2013 FY2014 FY2015 Last 12 Months 
0 item1 value1 value2 value3 value4 value5 
1 item2 value1 value2 value3 value4 value5 
2 item3 value1 value2 value3 value4 value5 
3 item4 value1 value2 value3 value4 value5 
4 item5 value1 value2 value3 value4 value5 
5 item6 value1 value2 value3 value4 value5 
6 item7 value1 value2 value3 value4 value5 
7 item8 value1 value2 value3 value4 value5 

für mich eine Art und Weise markiert sind alle Datarahmen in nur 1 Dataframe zusammenführen/zusammenführen?

Answer 1

Wenn Sie nur eine Reihe von DataFrames zusammenführen müssen, können Sie sie einfach in einer Liste zusammenfassen und sie dann unter Verwendung von pd.concat zusammenführen.

So etwas sollte funktionieren:

dataframes = [] 

for thread in soup.select(...): 

    #your scraper logic here 

    df = pandas.read_html(...) 
    dataframes.append(df) 

pd.concat(dataframes) 

Does diese Hilfe?