web-scraping

1Hitze

3Antwort

Wie Popup-Fenster in Selenium zu schließen

Schließen Pop-up-Fenster, das direkt nach http://www.cargo.lt/ lädt erscheint nicht geschlossen werden kann. Hier ist, was ich habe: from selenium import webdriver import time driver = webdriver.Fi

0Hitze

1Antwort

Wie kann ich diese unerwünschten leeren Bereiche in meinen Scraped-Daten loswerden?

Ich kratze die Anzahl der Reisenden ins Ausland (Link im Code unten enthalten). Da Zahlen über 999.999 zu einer anderen Klasse gehören als die niedrigeren Zahlen, musste ich zwei getrennte X-Pfade ver

0Hitze

2Antwort

Daten scraping: Wie überprüft man, ob eine Webseite eine bestimmte Zeichenfolge enthält

Ich muss eine "if-Anweisung" erstellen, um zu überprüfen, ob die Zeichenfolge "cette entreprise est member de la FVE" Teil der Webseite ist. item_url = "http://www.fveconstruction.ch/anDetails.aspRT=2

1Hitze

1Antwort

Laravel Goutte nicht Meta-Tags

Im bekommen mit Goutte\Client in Laravel 5.2 und es scheint, dass es nicht den Meta-Tags Inhalt bekommen kann, aber den Titel bekommen, Links, etc. Das gibt leere Zeichenfolge zurück. $parse = $htmlPa

0Hitze

1Antwort

Aufruf der gleichen Spinne programmgesteuert

Ich habe eine Spinne, die Links für die Websites durchläuft. Ich möchte dieselbe Spinne erneut starten, wenn die Ausführung mit anderen Datensätzen beendet ist. Wie kann derselbe Crawler erneut gestar

1Hitze

1Antwort

Was ist der beste Weg, um bestimmten Text aus der Wikipedia Infobox mit BeautifulSoup und Listen zu extrahieren?

Ich benutze BeautifulSoup, um einen bestimmten Text aus Wikipedia's Infoboxen (Einnahmen) zu extrahieren. Mein Code funktioniert, wenn der Umsatztext in einem "a" -Tag ist. Leider haben nicht alle Sei

2Hitze

1Antwort

Alternativen für wget gibt 'ERROR 403: Forbidden'

Ich versuche, Text aus mehreren Pubmed-Papieren mit wget zu bekommen, aber scheint NCBI-Website dies nicht zu erlauben. Irgendwelche Alternativen? Bernardos-MacBook-Pro:pangenome_papers_pubmed_result

0Hitze

1Antwort

Effizientes Lesen und Schreiben große Datei

ich ein einfaches Programm, das Daten von einer Website liest dann schreibt sie in eine Datei mit urllib. Aber die Datei ist mehrere hundert Megabyte in Größe und Python hält Erhöhung Nicht genügend S

0Hitze

1Antwort

Scrapy Tutorial XPath-Code schabt Tabellen mehrmals

Ich bin nach der scrapy Dokumentation Tutorial und ich bin auf der Suche Beispieldaten von der folgenden Website zu kratzen: http://www.docteur.ch/generalistes/generalistes_k_ag.html Nach der Ansicht

1Hitze

3Antwort

Warum findet Beautiful Soup dieses Element nicht mit mehreren Klassen?

Ich versuche, ein Element auszuwählen, die soup.find_all("li", {"class" : "first_result"}) Das Element ist auf jeden Fall auf der Seite mit der Abfrage wie <li class="result first_result"> aussieht, a