web-scraping

10Hitze

2Antwort

Ich bin nicht in der Lage, die ganze Website zu crawlen, Scrapy kriecht nur an der Oberfläche, ich möchte tiefer kriechen. Googeln für die letzten 5-6 Stunden und keine Hilfe. Mein Code unten: from sc

5Hitze

1Antwort

Scrapy mit einem verschachtelten Array

Ich bin neu zu scrapy und würde gerne wissen, wie man auf Objekt für die Ausgabe in verschachtelten JSON kratzen. Gerade jetzt, ich bin Herstellung JSON, die wie [ {'a' : 1, 'b' : '2', 'c' : 3}, ]

5Hitze

1Antwort

Wie ScrapySharp verwendet wird, um Elemente in einem HTML-Dokument zu analysieren?

Hier ist das Projekt offiziell „Dokumentation“: https://bitbucket.org/rflechner/scrapysharp/wiki/Home Egal, was ich versuche, ich kann die CssSelect() Methode nicht finden, dass die Bibliothek soll hi

5Hitze

1Antwort

CsQuery eine Sammlung von li Artikel analysieren

Hier mein Code ist: CQ dom = CQ.Create(htmlString); var items = dom[".blog-accordion li"]; foreach (var li in items) { var newTournament = false; var test = li["header h2"]; } Innerha

6Hitze

2Antwort

Verwendung von XPath mit CasperJS QuerySelectorAll nicht

Aus irgendeinem Grund zu arbeiten, wenn ich den folgenden Code versuchen ausgeführt wird: var casper = require('casper').create(); var x = require('casper').selectXPath; var links = []; casper.sta

11Hitze

2Antwort

Hochschule/Universität Daten API

Ich versuche, eine Anwendung zu erstellen, mit der Benutzer eine bestimmte Universität nachschlagen können und Daten darüber (Aufnahmerate, SAT-Scores, Größe, etc.) sehen können. Ich kann jedoch keine

6Hitze

2Antwort

OutOfMemoryError während Htmlunit mit für die Verschrottung

Ich bin mit Htmlunit auf einer Website anmelden, auf und dann Daten downloaden aus der Tabelle Wenn ich meinen Code ausführen ist java.lang.OutOfMemoryError verursacht und konnte nicht weiter ausgefüh

7Hitze

1Antwort

CasperJS/PhantomJS viel langsamer als Curl

Wenn ich versuchte curl www.yelp.com dauert es 1,1 Sekunden. Das Abrufen der Seite mit CasperJS dauert jedoch über eine Minute! Ist das normal? Wie finde ich heraus, was Casper/Phantom verlangsamt? Ic

11Hitze

2Antwort

Running Selen Browser auf dem Server (Flask/Python/Heroku)

Ich kratze einige Websites, die scheinen, ziemlich guten Schutz dagegen zu haben. Der einzige Weg, um es zum Laufen zu bringen, ist Selenium zu benutzen, um die Seite zu laden und dann etwas davon zu

7Hitze

1Antwort

Protokollierung auf bestimmte Fehlerprotokolldatei in scrapy

ich tun dies ein Protokoll der scrapy leite: from scrapy import log class MySpider(BaseSpider): name = "myspider" def __init__(self, name=None, **kwargs): LOG_FILE = "logs/spider.log