Wikipedia Text herunterladen

Ich bin auf der Suche nach vollständigen Wikipedia-Text für mein College-Projekt herunterladen. Muss ich meine eigene Spinne schreiben, um diese herunterzuladen oder gibt es einen öffentlichen Datensatz von Wikipedia, der online verfügbar ist?Wikipedia Text herunterladen

Um nur einen Überblick über mein Projekt zu geben, möchte ich die interessanten Wörter einiger Artikel herausfinden, die mich interessieren. Aber um diese interessanten Wörter zu finden, plane ich, tf/idf für die Berechnung der Termhäufigkeit zu verwenden jedes Wort und wählen Sie diejenigen mit hoher Frequenz. Aber um die tf zu berechnen, muss ich die gesamten Vorkommen in ganz Wikipedia kennen.

Wie kann das gemacht werden?

Quelle

2010-04-21 Boolean

Obwohl ich Ihre Frage und einfach beantwortet haben, dass unter Hinweis darauf, dass Google Ihre Antworten hat, ist verpönt, wenn Sie googelten 'vollständigen Wikipedia-Text herunterladen' Der Link ist der erste Treffer. Ich sage das in der Hoffnung, dass es helfen wird, Ihr Google-Fu zu verbessern. –

@Sam Holder Ich möchte nur bestätigen. Ist dies der richtige Link zum Herunterladen aller Seiten -http: //dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2 – Boolean

Ja, das scheint alle aktuellen Seiten zu sein, und ist wahrscheinlich was Sie wollen, obwohl ohne genau zu wissen, es ist schwer zu sagen –

von wikipedia: http://en.wikipedia.org/wiki/Wikipedia_database

Wikipedia bietet kostenlose Kopien aller verfügbaren Inhalte an interessierte Nutzer. Diese Datenbanken können für die Spiegelung, den persönlichen Gebrauch, informelle Sicherungen, Offline-Nutzung oder Datenbankabfragen verwendet werden (z. B. für Wikipedia: Wartung). Der gesamte Textinhalt ist unter der Creative Commons Attribution-ShareAlike 3.0 Lizenz (CC-BY-SA) und der GNU Free Documentation License (GFDL) mehrfach lizenziert. Bilder und andere Dateien sind unter verschiedenen Bedingungen verfügbar, wie auf ihren Beschreibungsseiten beschrieben. Hinweise zur Einhaltung dieser Lizenzen finden Sie unter Wikipedia: Copyrights.

Scheint, dass Sie auch Glück haben. Von der Müllkippe Abschnitt:

Ab dem 12. März 2010 die neuesten Müllhalde der englischsprachigen Wikipedia kann bei http://download.wikimedia.org/enwiki/20100130/ finden Dies ist die erste komplette Dump der englischsprachigen Wikipedia seit 2008 erstellt wurden Bitte beachten Sie, dass neuere Dumps (wie der 20100312 Dump) unvollständig sind.

So sind die Daten nur 9 Tage alt :)

Quelle

2010-04-21 13:58:14

Ich upvoted Ihre Antwort über die anderen, einfach weil Sie mehr als nur einen Link zu veröffentlichen. – UnkwnTech

Ich schneide und klebte auch :) –

Ich möchte nur bestätigen. Ist dies der richtige Link, um alle Seiten herunterzuladen -http: //dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2 – Boolean

http://en.wikipedia.org/wiki/Wikipedia_database#Latest_complete_dump_of_english_wikipedia

Quelle

2010-04-21 13:57:27 Armand

Siehe http://en.wikipedia.org/wiki/Wikipedia_database

Quelle

2010-04-21 13:59:03 orithena

die Größe des Dump In Anbetracht, würden Sie wahrscheinlich besser mit der Wortfrequenz in der englischen Sprache bedient werden, oder die verwenden MediaWiki API, um Seiten zufällig zu durchsuchen (oder die am häufigsten aufgerufenen Seiten). Es gibt Frameworks zum Erstellen von Bots basierend auf dieser API (in Ruby, C#, ...), die Ihnen helfen können.

Quelle

2010-04-22 15:19:58 Luk

Wenn Sie einen Text-Version benötigen, kein Mediawiki XML, dann können Sie ihn hier herunterladen: http://kopiwiki.dsd.sztaki.hu/

Quelle

2012-07-09 10:55:18

Großartig! Sehr gute Arbeit. Bitte fügen Sie weitere Sprachen hinzu :-) –

Link ist kaputt. – tmnol

Neuer Link hier: https: //dsd.sztaki.hu/produkte/kopiwiki. – thuzhf

Antwort

Verwandte Themen