Unstrukturierter Text zu strukturierten Daten

Question

Ich suche nach Referenzen (Tutorials, Bücher, akademische Literatur) über die Strukturierung von unstrukturierten Text in einer ähnlichen Weise wie der Google Kalender Quick Add Button.

Ich verstehe das unter der NLP Kategorie kommen kann, aber ich bin nur daran interessiert, in den Prozess von etwas gehen wie „Levi Jeans Größe 32 A0b293“

auf: Marke: Levi, Größe: 32, Kategorie: Jeans, Code: A0b293

Ich stelle mir vor es wäre eine Kombination aus lexikalischen Parsing und maschinellen Lerntechniken.

Ich bin eher sprachunabhängig, aber wenn gedrückt würde Python, Matlab oder C++ Referenzen

Dank

Answer 1

Sie müssen sich mehr Informationen über die Quelle des Textes zur Verfügung stellen (das Web? Benutzereingabe?) Bevorzugen, die Domäne (ist es nur Kleidung?), die mögliche Formatierung und das Vokabular ...

Angenommen, Worst-Case-Szenario müssen Sie NLP lernen lernen. Ein sehr gutes kostenloses Buch ist die Dokumentation von NLTK: http://www.nltk.org/book. Es ist auch eine sehr gute Einführung in Python und die SW ist kostenlos (für verschiedene Verwendungszwecke). Sei gewarnt: NLP ist schwer. Es funktioniert nicht immer. Es macht manchmal keinen Spaß. Der Stand der Technik ist nicht in der Nähe, wo Sie es sich vorstellen.

Angenommen, ein besseres Szenario (Ihr Text ist semi-strukturiert) - ein gutes kostenloses Werkzeug ist pyparsing. Es gibt ein Buch, viele Beispiele und der daraus resultierende Code ist äußerst attraktiv.

Ich hoffe, das hilft ...

Answer 2

aussehen Möglicherweise auf "Collective Intelligence" von Toby Segaran. Ich glaube mich daran zu erinnern, dass ich die Grundlagen in einem Kapitel behandelt habe.

Answer 3

Nach einiger forsch Ich habe festgestellt, dass dieses Problem im Allgemeinen als Information Extraction bezeichnet und haben ein paar Papiere und gespeichert sie in einem Mendeley Sammlung

http://www.mendeley.com/research-papers/collections/3237331/Information-Extraction/

auch als Tai Weiss NLTK angehäuft bemerkt für Python ist ein guter Ausgangspunkt und this Kapitel des Buches, sieht speziell auf die Extraktion von Informationen

Answer 4

Wenn Sie nur für Fälle wie das Beispiel arbeiten, das Sie zitiert, sind Sie besser dran mit einigen m auf einer regelbasierten Basis, die 100% vorhersehbar ist und 90% der Fälle abdeckt, in denen die Produktion stattfinden könnte.

Sie können Listen aller möglichen Marken und Kategorien aufzählen und feststellen, welche in einer Eingabe-Zeichenkette cos gibt es normalerweise sehr wenig Kreuzung in diesen zwei Listen.

Die anderen zwei konnten leicht erkannt und extrahiert werden mit regulären Ausdrücken. (1-3 Ziffern sind immer Größen, etc.)

Ihre Problemdomäne scheint nicht groß genug, um einen schwereren Ansatz wie statistisches Lernen zu rechtfertigen.