web-scraping

5Hitze

1Antwort

Scrapy. Wie ändere ich die Spider-Einstellungen nach dem Crawlen?

Ich kann Spider-Einstellungen in Parse-Methode nicht ändern. Aber es muss definitiv ein Weg sein. Zum Beispiel: class SomeSpider(BaseSpider): name = 'mySpider' allowed_domains = ['example.

1Hitze

2Antwort

Nicht sicher, was mit Scrapy zu Iterieren ist

Ich habe ein Problem beim Iterieren eines Crawl mit Scrapy. Ich extrahiere ein Titelfeld und ein Inhaltsfeld. Das Problem ist, dass ich eine JSON-Datei mit allen aufgelisteten Titeln und dann den gesa

1Hitze

1Antwort

HTML Agility Pack - Filter Href Wert Ergebnisse

Ich arbeite an einem Web-Scraper. Der folgende Text zeigt die Ergebnisse des am Ende dieser Frage angegebenen Codes, der die Werte aller hrefs von einer Seite erhält. Ich möchte nur Werte erhalten, di

-2Hitze

1Antwort

Wie kann ich ein Programm zum Lesen von Paketen erstellen, die von einer Site gesendet wurden?

Ich möchte ein Programm erstellen, um mit einer Site zu interagieren. Ich möchte, dass das Programm alle Daten erfasst, die die Site an mich übertragen würde, wenn ich das Site-Fenster geöffnet hätte,

1Hitze

1Antwort

DOMXPath-> bewerten nicht die div i

Guten Tag brauchen finden alle, Ich versuche, Ergebnisse zu kratzen und Erfolg gehabt haben, aber ich bin jetzt stecken. Der folgende Code zeigt, dass es einen DIV mit einer Klasse von 'vsc' gibt, und

1Hitze

2Antwort

Verschrotten: Wie Sie ein Attribut in einem <abbr> Tag

abrufen Ich verwende LXML und Python, um über eine Seite zu verschrotten. Der Link zur Seite ist HERE. Der Schluckauf, dem ich gerade gegenüberstehe, ist, wie man das Attribut im Tag holt. Zum Beispie

0Hitze

3Antwort

Probleme bei der Entwicklung von Web-Scraper

Ich möchte eine Plattform entwickeln, wo Benutzer eine URL eingeben können und dann wird meine Website die Webseite in einem iframe öffnen. Jetzt kann der Benutzer seine Website ändern, indem er einfa

27Hitze

3Antwort

Kopfloser Browser für C# (.NET)?

Ich bin (war) ein Python-Entwickler, der eine GUI-Web-Scraping-Anwendung erstellt. Vor kurzem habe ich beschlossen, auf .NET Framework zu migrieren und die gleiche Anwendung in C# zu schreiben (diese

1Hitze

2Antwort

Kann nicht HTML-Seite erhalten

Ich möchte die HttpWebRequest für die folgende Seite bekommen HTML verwenden: http://inkdispatch.com/brother Derzeit verwende ich: public static string getHTML(string url) { string response

10Hitze

4Antwort

Wie kann ich meine Website vor HTTrack oder anderen Software-Ripping schützen?

Ich habe vor kurzem eine Site-Vorlage genehmigt unter Themeforest. Ich bekomme einfach zu viel Traffic auf meiner Seite und merke, dass meine Demo auf Themeforest von einigen Programmen wie HTTrack ge