Baitech entwickelt Topic-Modeling-Tool zur Analyse von Foren

Herauszufinden, über welche Themen in einem sozialen Netzwerk gesprochen wird oder zu verstehen, welche Richtung die Gespräche der Nutzer eines Internetforums zu einer bestimmten Frage einschlagen, ist nicht einfach: Die Informationen erscheinen verstreut, verteilt auf Tausende von Kommentaren, und eine manuelle Analyse ist nur sehr schwer durchzuführen.

Eine auf Machine Learning basierende Lösung

Um die Herausforderung der Analyse von Informationen in Webforen zu bewältigen, haben wir bei Baitech unser Wissen in den Bereichen Big Data und Machine Learning in die Praxis umgesetzt. Das Projekt, für das eine geschätzte Dauer von 12 Monaten festgelegt wurde, stellte einen praktischen Ansatz für einige unserer früheren Forschungen zu Techniken der natürlichen Sprachverarbeitung (NLP) dar.

Es ging darum, eine automatische Analyse einer Reihe von spanischen Texten (in diesem Fall Kommentare in Meinungsforen) durchzuführen, um zu erfahren, worüber gesprochen wird, und eine Zusammenfassung der wichtigsten Themen zu erhalten. Zudem sollte es möglich sein, nach dem Vorhandensein spezifischer Themen zu suchen, Analysen auf verschiedenen Ebenen durchzuführen oder Erweiterungen der von den Nutzern vorgeschlagenen Themen vorzuschlagen.

Wie man Topic Modeling nutzt, um verständliche Informationen zu generieren

Unser F&E-Team entschied sich für den Einsatz von Machine-Learning-Techniken wie „Topic Modeling“, das in der Erkennung von Mustern im Wortgebrauch und der daraus resultierenden Gruppierung von Textstücken basierend auf diesen Mustern besteht.

Wir haben ein Korpus mit Amazon-Kommentaren erstellt, um das Modell auf die Schreibweise in Foren zu trainieren (informell, mit Rechtschreibfehlern, kurzen und wenig komplexen Sätzen usw.) und testeten verschiedene Techniken des Topic Modeling und des lexikalischen Abgleichs oder Embedding. Am Ende des Projekts hatten wir unser Ziel erreicht: Wir verfügten über ein System, das eine zufriedenstellende Analyse der Hauptthemen jeder Konversation durchführte und die Daten geordnet und leicht verständlich in einem Dashboard präsentierte.

Wirtschaftliche Daten