Fehlerquellen beim Part-of-speech-Tagging am Beispiel verschiedener Textarten (PDF)

Studienarbeit aus dem Jahr 2017 im Fachbereich Germanistik - Linguistik, Note: 1,7, Technische Universität Darmstadt (Institut für Sprach- und Literaturwissenschaft), Veranstaltung: Forschungsthemen der Korpus- und Computerlinguistik - computervermittelte Interaktion (DH), Sprache: Deutsch, Abstract: Automatische Tagger spielen eine wichtige Rolle bei der Bearbeitung grosser Textkorpora. Ohne sie wäre es nicht möglich grosse Textmengen in kurzen Zeiträumen mit bestimmten linguistischen Merkmalen zu annotieren und somit für die weitere Bearbeitung zugänglich zu machen. Viele dieser Tagger sind als Open-Source Software verfügbar.

Das Ziel dieser Arbeit ist es, einen Vergleich zwei solcher Tagger durchzuführen, indem sie auf unterschiedliche deutsche Texte angewandt werden, die von der deutschen Standardvarietät in kleinem bis grossem Umfang abweichen. Anschliessend können die Textstellen betrachtet werden, bei denen die Tagger unterschiedliche Annotationen erzeugen. Der Fokus liegt dabei auf der Frage, welche Probleme durch die Besonderheiten der deutschen Sprache und seiner Varietäten bei den hier verwendeten Taggern beispielhaft auftreten und den daraus resultierenden falschen oder ambigen Annotationen.

Der Aufbau der Arbeit gliedert sich wie folgt: Zunächst werden im Abschnitt 'Methodik' - nach einem kurzen Überblick über den aktuellen Forschungsstand - die verwendeten Part-of-Speech-Tagger (PoS-Tagger) vorgestellt. Anschliessend werden deutsche Texte für den Test der Tagger ausgewählt und vorgestellt. Diese Texte sollen sich in ihrer Abweichung von der deutschen
Standardvarietät möglichst stark unterscheiden, um eine breite Fläche an möglichen "Stolpersteinen" für die Tagger zu bieten. Anschliessend erfolgt die Annotation der ausgewählten Texte mit den ausgewählten Taggern und schliesslich eine Auswertung der resultierenden annotierten Token. Zum Schluss werden die Ergebnisse noch einmal kurz zusammengefasst.