2010-06-23 19 views
14

Ich bemerkte, dass iTunes preview können Sie Seiten über die http:// Protokoll crawlen und kratzen. Viele Links versuchen jedoch, in iTunes und nicht im Browser geöffnet zu werden. Zum Beispiel, wenn Sie auf die iBooks Seite gehen, versucht es sofort eine URL mit einem itms:// Protokoll zu öffnen.Crawling und Scraping iTunes App Store

Gibt es andere Methoden zum Crawlen im App Store oder ist dies der einzige Weg?

Kann die itms:// Protokoll-Links selbst irgendwie gecrawlt werden?

+0

Ok, aber wofür? Crawlen sucht nur nach URLs. Wenn itmc: // - Links auf etwas zeigen, das URLs enthält, können sie als alles gecrawlt werden. Ich verstehe es nicht - was ist die Schwierigkeit hier? – naugtur

Antwort

4

Der einzige Unterschied zwischen http: // Links und itms: // Links ist, dass Sie Ihren User-Agent auf einen iTunes User-Agent einstellen müssen und je nach Version auch einen Bestätigungscode enthalten müssen basierend auf einem nicht so geheimen Algorithmus.

Zum Beispiel dies der Code ist für iTunes 9:

# Some magic. Generates a seed we use for X-Apple-Validation. Adapted from LWP::UserAgent::iTMS_Client. 
function comp_seed($url, $user_agent) { 
    $random = sprintf("%04X%04X", rand(0,0x10000), rand(0,0x10000)); 
    $static = base64_decode("ROkjAaKid4EUF5kGtTNn3Q=="); 
    $url_end = (preg_match("|.*/.*/.*(/.+)$|",$url,$matches)) ? $matches[1] : '?'; 
    $digest = md5(join("",array($url_end, $user_agent, $static, $random))); 
    return $random . '-' . strtoupper($digest); 
} 

jedoch nur, wenn Sie kratzen, sollte iTunes Vorschau für Ihre Zwecke arbeiten, der Link uns Seite an den iBooks gab mehr als genug Informationen hatte kratzen.

21

ich einen anständigen Blick auf die iTunes Search API und die iTunes Enterprise Partner API haben würde

Sie könnten erhalten die meisten/alle benötigten Informationen in einem schönen JSON-Dateiformat.

Wenn Sie nicht die Informationen, die Sie mit der API benötigen bekommen, würde mich interessieren, was es ist :)

+0

Such-API ermöglicht nur die Suche nach Songs? –

+1

Nein.Die Such-API ermöglicht das Durchsuchen aller Inhalte im iTunes Store. Dafür gibt es Beispiele. – philipp

+3

Aber nur eine maximale Anzahl von 200 –

1

Wir haben versucht, uns zu vor etwa einem Jahr Schaben und es wurde einfach zu viel Kopfschmerzen. Philipps Kommentar ist ein guter, da das Unternehmen Feed von Apple (muss mit einem legitimen Gebrauch zu bewerben) hat eine gute Menge an nützlichen Informationen, die Sie möglicherweise in Kratzen.

Es gibt ein paar Firmen, die Daten auch als Service anbieten - abto und AppMonsta sind zwei, von denen ich gehört habe, als ich gesucht habe. Ich kann anscheinend nicht mehr finden, aber http://appmonsta.com scheint zu sein. Die Such-API sieht gut aus (nicht experimentiert), aber begrenzt.

Viel Glück!

4

Wie erwähnt, ist die iTunes Such-API eine einfache Möglichkeit, Daten über Ihre App Store-Angebote im JSON-Format abzurufen.

einfach für diese Abfrage mit dem App-ID, ex (Sie die App-ID, indem Sie die Web-Verzeichnis für Ihre Anwendung bei itunes.apple.com finden):

http://itunes.apple.com/lookup?id=INSERT_YOUR_APP_ID_HERE 

dann analysieren, um die resultierenden JSON nach Herzenslust.