2010-11-18 4 views
5

Ich möchte wissen, welche Programmiersprache eine gute Anzahl von Bibliotheken zur Programmierung eines Webbots bietet? So etwas wie das Crawlen einer Webseite nach Daten. Sagen wir, ich möchte Wetter für die Website weather.yahoo.com holen.Welches ist die beste Programmiersprache, um einen Web-Bot zu schreiben?

Auch wird die Antwort für einen AI Desktop Bot gleich sein?

+0

Alles was mit komfortablen Bibliotheken wirklich kommt. Ich würde mir Python oder Java ansehen, wenn ich du wäre. Je nachdem, wie viel Interaktion und/oder Leistung Sie für Ihren AI-Bot benötigen, würde ich mir funktionale Sprachen (OCaml, Haskell, F #) für diese Art von Aufgabe ansehen. – user507787

+0

gibt es keine spezielle Sprache für solche Jobs? – rda3mon

+0

Ich habe keine Anforderung. Aber sagen wir zu viel Interaktion und hohe Leistung benötigt. – rda3mon

Antwort

10

Hier ist, wie Sie es in Python tun könnte:

from urllib2 import urlopen 
from BeautifulSoup import BeautifulSoup 
soup=BeautifulSoup(urlopen("http://weather.yahoo.com/").read()) 
for x in soup.find(attrs={"id":"myLocContainer"}).findAll("li"): 
    print x.a["title"], x.em.contents 

Drucke:

Volle Prognose für Chicago, Illinois, USA (Haze) [u'35 ... 47 ° F‘ ]
Volle Vorhersage für London, Greater London, England (Leichter Regen) [u'43 ... 45 ° F ']
Volle Vorhersage für New York, New York, Vereinigte Staaten (teilweise bewölkt) [u'42. ..62 ° F ']
Volle Prognose für San Francisco, Kalifornien, USA (Teilweise bewölkt) [u'51 ... 70 ° F ']

+0

Ich schätze Ihren Code. Aber ich habe nur ein Beispiel gegeben. Danke trotzdem. – rda3mon

+8

Ich verstehe das. Ich wollte nur illustrieren, wie es gemacht werden könnte und vielleicht mit etwas anfangen. – cababunga

3

Ich weiß nicht, ob es die besten, aber Python ist auf jeden Fall ziemlich gut und einfach dafür.

1

Eine weitere gute Python-Bibliothek für Screen Scraping und Web-Crawling scrapy ist.