web-scraping

8Hitze

3Antwort

Ich versuche, Daten von der Website zu kratzen: http://uk.investing.com/rates-bonds/financial-futures über VBA, wie Echtzeitpreis, dh Deutsch 5 YR Bobl, US 30Y T-Bond, habe ich versucht, Excel-Web-Abf

11Hitze

1Antwort

scrapy: html-String in HtmlResponse-Objekt konvertieren

Ich habe eine HTML-Zeichenfolge, die ich in scrapy HTML-Antwort-Objekt konvertieren möchte, so dass ich die Selektoren css und xpath verwenden kann, ähnlich wie scrapys response. Wie kann ich es tun?

5Hitze

2Antwort

Wie LinkExtractor Regel zu erstellen, die auf href in Scrapy

Ich versuche, einfache Crawler mit Scrapy (scrapy.org) zu erstellen. Gemäß Beispiel item.php ist erlaubt. Wie kann ich eine Regel schreiben, die URL erlaubt, die immer mit http://example.com/category/

10Hitze

1Antwort

Kratzen mehrere Seiten mit BeautifulSoup und Python

Mein Code schabt erfolgreich tr align = Center-Tags aus [http://my.gwu.edu/mod/pws/courses.cfm?campId=1&termId=201501&subjId=ACCY] und schreibt die Td-Elemente in eine Textdatei. Allerdings gibt es me

5Hitze

3Antwort

BeautifulSoup gibt manchmal Ausnahmen

Die seltsame Sache ist, dass manchmal das BeautifulSoup-Objekt die gewünschten Daten gibt, aber manchmal bekomme ich einen Fehler wie listindex error oder out of range oder nonetype object does not ha

6Hitze

1Antwort

Mit Argumenten in Scrapy-Pipeline auf __init__

Ich habe eine scrapy pipelines.py und ich möchte die angegebenen Argumente erhalten. In meinem spider.py funktioniert es perfekt: class MySpider(CrawlSpider): def __init__(self, host='', domain_i

5Hitze

2Antwort

Scrapy wie Werkzeug für Nodejs?

Ich würde gerne wissen, ob es etwas wie Scrapy für nodejs gibt? Wenn nicht, was denkst du über das einfache Herunterladen und Parsen der Seite mit cheerio? Gibt es einen besseren Weg?

5Hitze

1Antwort

Scrapy mit Selen Crawlen, aber nicht kratzen

Ich habe alle Threads auf Scrapy für AJAX-Seiten und Selen Webdrive installiert, um die Aufgabe zu vereinfachen, kann meine Spinne teilweise crawlen, aber kann keine Daten in meine Artikel. Meine Ziel

8Hitze

1Antwort

Starten von Scrapy aus einer Django-Ansicht

Meine Erfahrung mit Scrapy ist begrenzt, und jedes Mal, wenn ich es benutze, geschieht es immer durch die Befehle des Terminals. Wie kann ich meine Formulardaten (eine URL, die abgekratzt werden soll)

7Hitze

2Antwort

Facebook-Objekt-Debugger - Konnte den Hostnamen nicht in eine gültige IP-Adresse auflösen

Es gibt ein Problem damit, wie Facebook meine Seite für Metadaten kratzt. Wenn ich das Objekt Facebook verwenden Debugger ich die folgende Fehlermeldung erhalten: Ich bin ziemlich sicher, dass dies et