2010-12-07 5 views
11

Ich bin auf der Suche nach einer gut bezahlten/kostenlosen Web Scraping-Bibliothek mit .NET-Unterstützung, die eine gute Unterstützung für JavaScript-Verarbeitung bietet und sehr gute Leistung bietet.Gute kostenlose/kostenpflichtige Web Scraping Bibliothek in C# .NET, die Javascripts behandelt

Es sollte eine eigene Browser-Engine und hoffentlich auch einen eigenen JS-Compiler haben.

Wenn das Produkt ausschließlich für das Abschaben im Internet entwickelt wurde, wird es ein großes Plus für uns sein.

Ich habe versucht, Wattin und Selenium, aber beide von ihnen öffnen das Browserfenster, die wir nicht wollen. Ich möchte eine stille Anwendung ohne Browser-Fenster auftauchen.

Benötigen Sie Hilfe von Experten und wertvolle Vorschläge hier.

+0

Ich möchte vorschlagen, dass Debatten, Argumente, Meinungsumfragen und erweiterte Diskussionen wunderbare Dinge sind, und dass das Q & A-Format, das SO bietet, ein ziemlich guter Weg ist, sie zu erleichtern. Die beliebtesten Umfrageergebnisse und die Argumente mit den besten Fakten, Referenzen und Fachkenntnissen werden im Laufe der Zeit abgestimmt. – Shavais

Antwort

2

http://arachnode.net kann dabei helfen.

Es verwendet mshtml.dll, die einen Schritt unter AxShDocVw.dll ist, die das WebBrowser-Steuerelement aktiviert.

Es ist ungefähr 10 Mal schneller pro Thread (als mit dem .NET-Steuerelement) und läuft nicht mehr im Prozess, so dass Sie mehr als zwei Seiten gleichzeitig herunterladen/rendern können.

+0

https://svn.arachnode.net/svn/arachnodenet/trunk/Renderer Benutzername/Passwort: Öffentlich/Öffentliche die Verweise auf arachnode.net entfernen, und Sie werden eine Maden Javascript-Parser für HTML verwenden und darüber hinaus . Flip ein bool und Sie werden eine Kopf (mehr?) Implementierung haben. –