scrapy-shell

1Hitze

1Antwort

Wie extrahiere ich Text mit dem Xpath in Scrapy?

In Ordnung, es scheint, als ob ich alles versucht habe und einfach nicht herausfinden kann, was hier vor sich geht. Der direkte Link zu der Website, die ich versuche zu kratzen ist http://www.ammofast

9Hitze

1Antwort

Set-Header für Scrapy Shell-Anfrage

Ich weiß, dass Sie scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com' die USER_AGENT ändern können, aber wie fügen Sie Anfrage Header?

7Hitze

2Antwort

Scrapy Shell und Scrapy Splash

Wir haben scrapy-splash middleware verwendet, um die geschabte HTML-Quelle über die JavaScript-Engine Splash zu übergeben, die in einem Andock-Container ausgeführt wird. Wenn wir Splash in der Spinne

1Hitze

2Antwort

scrapy kein HTML-Element erkennen, aber es ist auf der Quellseite sichtbar

Ich habe eine Anfrage funktioniert normal auf regulären Browsern aber nicht auf in scrapy Shell. Ein ganzer HTML-Block wird verschwinden, sobald ich "scrapy shell" oder "scrapy crawl" benutze. Ich bin

0Hitze

1Antwort

Scrapy: Schrott Artikel aus HTML und nicht aus URL

Ich stieß auf Scrapy mit der Anforderung des Crawlens und Kratzen beide. Aber je nach Anwendungserfordernis habe ich mich entschieden, nicht mit dem monolithischen Ansatz zu gehen. Alles sollte servic

2Hitze

1Antwort

Scrapy - 301 Redirect in der Shell

Ich kann keine Lösung für das folgende Problem finden. Ich benutze Scrapy (neueste Version) und versuche eine Spinne zu debuggen. Mit scrapy shell https://jigsaw.w3.org/HTTP/300/301.html -> es folgt n

-1Hitze

1Antwort

Scrapy kann "tbody" und "ul" Elemente nicht identifizieren, wie von Firebug

Ich versuche, jeden Titel dieser mailing list zu extrahieren, während Sie registrieren, wie viele Antworten jeder Thread hat. Nach Firebug, die Xpath zum <ul> dass die Titel alles enthält: /html/Körpe