web-scraping

6Hitze

3Antwort

Selen pdf automatische download funktioniert nicht

Ich bin neu in Selen und ich schreibe einen Schaber, um PDF-Dateien automatisch von einer bestimmten Website herunterladen. Unten ist mein Code: from selenium import webdriver fp = webdriver.Firefox

6Hitze

1Antwort

Scrapy: catch Antworten mit spezifischen HTTP-Server-Codes

Wir haben ein ziemlich Standard Scrapy Projekt (Scrapy 0,24). Ich möchte bestimmten HTTP-Response-Codes, wie 200, 500, 502, 503, 504 usw. So etwas fangen: class Spider(...): def parse(...):

5Hitze

1Antwort

Python - Selenium und XPATH um alle Zeilen aus einer Tabelle zu extrahieren

Ich benutze Selenium und XPATH um alle Zeilen aus einer Tabelle zu extrahieren, kann aber nur die erste Zeile bekommen. Hier ist, was ich tue: from selenium import webdriver path_to_chromedriver = '

6Hitze

1Antwort

Wie liest man eine HTML-Tabelle mit Rselenium?

Ich verwende Rselenium, um zu einer Webseite zu navigieren. Der folgende Code tut dies. Ich habe nicht die URL zur Verfügung gestellt, weil ich die URL in einer Firma bin mit der Verbindung vpn muss:

10Hitze

1Antwort

Wie verhindert man einen twisted.internet.error.ConnectionLost-Fehler bei der Verwendung von Scrapy?

ich Schaben einige Seiten mit scrapy und die folgende Fehlermeldung erhalten: twisted.internet.error.ConnectionLost Ausgabe Meine Befehlszeile: 2015-05-04 18:40:32+0800 [cnproxy] INFO: Spider opened

5Hitze

3Antwort

Excel VBA "Methode 'Dokument' des Objekts 'IWebBrowser2' fehlgeschlagen"

Ich versuche, eine Formularübergabe in Excel für die Arbeit zu automatisieren, und habe Probleme mit den Grundlagen. Ich erhalte die Fehlermeldung: "Method 'Document' of object 'IWebBrowser2' failed"

8Hitze

1Antwort

R: rvest innerHTML- Extrahieren

Verwendung rvest in R eine web-Seite abzuschaben, würde Ich mag das Äquivalent von innerHTML von einem Knoten vor der Anwendung html_text, insbesondere zu ändern Zeilenumbrüche in Zeilenumbrüche zu ex

5Hitze

1Antwort

Make Scrapy folgen Links und sammeln Daten

Ich versuche, Programm in Scrapy zu schreiben, um Links zu öffnen und Daten von diesem Tag zu sammeln: <p class="attrgroup"></p>. Ich habe es geschafft, dass Scrapy alle Links von der angegebenen URL

5Hitze

1Antwort

Wie verwendet man re() um Daten aus JavaScript Variablen mit scrapy zu extrahieren?

Meine items.py Datei geht so: from scrapy.item import Item, Field class SpiItem(Item): title = Field() lat = Field() lng = Field() add = Field() und die Spinne ist: import scra

6Hitze

3Antwort

Ruby on Rails XPath Json Scrapping Bilder

Ich versuche, Bilder von Websites zu kratzen. Ich benutze Nokogiri und XPath bisher mit begrenztem Erfolg. Für eine typische Website, deren HTML hat img src und kann ich verwenden: tmp2 = Nokogiri::HT