Quelltext der Seite Part-of-speech-Tagging

Unter '''Part-of-speech-Tagging''' ('''POS-Tagging''') versteht man die Zuordnung von [[Wort|Wörtern]] und [[Satzzeichen]] eines [[Text]]es zu [[Wortart]]en ({{enS|part of speech}}). Hierzu wird sowohl die Definition des Wortes als auch der [[Kontext (Sprachwissenschaft)|Kontext]] (z.&nbsp;B. angrenzende [[Adjektiv]]e oder [[Nomen]]) berücksichtigt.

== Verfahren ==
Die Erfassung und Kennzeichnung der Wortarten wurde ursprünglich manuell durchgeführt, im Laufe der Zeit wurde das Verfahren zunehmend durch die [[Computerlinguistik]] automatisiert. Die verwendeten Verfahren können in [[Überwachtes Lernen|überwachtes maschinelles Lernen]] und [[Unüberwachtes Lernen|unüberwachtes maschinelles Lernen]] unterteilt werden. Beim überwachten Lernen werden z.&nbsp;B. [[Hidden Markov Model]]s oder Eric Brills Verfahren oder [[Entscheidungsbaum|Entscheidungsbäume]] (nach Helmut Schmid) verwendet, und alle Wortart-Tags stammen aus einem vordefinierten so genannten Tagset. POS-Tagging ist sprachabhängig. Für das Deutsche wird oft das Stuttgart-Tübingen-Tagset (STTS)<ref>[https://www.linguistik.hu-berlin.de/de/institut/professuren/korpuslinguistik/mitarbeiter-innen/hagen/STTS_Tagset_Tiger STTS (HU Berlin)]</ref> verwendet. Beim unüberwachten Lernen steht das Tagset nicht vorher fest, sondern es entsteht durch ein [[Stochastik|stochastisches]] Verfahren.

== Prinzip ==
Der Satz ''Petra liest einen langen Roman.'' wird mit dem Stuttgart-Tübingen-Tagset (kurz: STTS) wie folgt getaggt:
:Petra/NE liest/VVFIN einen/ART langen/ADJA Roman/NN ./$.
Hinter jedem Wort bzw. Satzzeichen steht das Tag nach einem Schrägstrich. Um das Wort ''einen'' im gegebenen Kontext richtig zu taggen, muss man es von den Formen des gleich lautenden [[Verb]]s unterscheiden; diese würden mit VVINF (für den [[Infinitiv]]) bzw. VVFIN (für die [[Finite Verbform|finite Form]]) getaggt.

Beim überwachten Lernen wird das Tag für ''einen'' mit Hilfe des Kontextes ausgewählt: Aus einem bereits getaggten [[Textkorpus]] wurden vorher z.&nbsp;B. die Wahrscheinlichkeiten für die Tag-Folgen VVFIN-ART, VVFIN-VVINF und VVFIN-VVFIN berechnet (so genanntes Training des Taggers). Da VVFIN-ART deutlich häufiger ist als die anderen beiden Folgen, wird ''einen'' in diesem Satz als ART getaggt. (Die häufige Folge ''kann lesen'' wird nicht mit VVFIN-VVINF, sondern mit VMFIN-VVINF getaggt.)

Beim unüberwachten Lernen gibt es kein vorheriges Training, sondern aus den zu taggenden Sätzen selbst wird errechnet, dass z.&nbsp;B. ''einen'' häufig nach ''liest'' oder ''lese'' steht, aber auch häufig am Satzende. ''Den'' dagegen steht häufig nach ''liest'' oder ''lese'', aber nie oder selten am Satzende. ''Lesen'' steht häufig am Satzende und nie nach ''liest'' oder ''lese''. Deswegen erzeugt der Tagger eine Wortart, zu der z.&nbsp;B. ''den'' gehört, und eine andere, die ''lesen'' enthält. ''Einen'' gehört zu beiden Wortarten. Dass es im gegebenen Satz wie ''den'' getaggt werden sollte, ergibt sich nach derselben Argumentation wie für den Tagger, der mittels überwachtem Lernen trainiert wurde.

== Software ==
Software im Bereich [[Computerlinguistik]] (NLP) ist häufig in der Lage, ein POS-Tagging automatisiert durchzuführen. Die auf den Bildungsbereich ausgerichtete Software [[NLTK]] kann standardmäßig englischsprachige Texte mit dem Tagset Penn Treebank versehen. Zusätzlich ist ein individuell gestaltetes Training mit Hilfe passender Textkorpora möglich.<ref>{{Internetquelle |url=https://nlpforhackers.io/training-pos-tagger/ |titel=Complete guide for training your own POS tagger with NLTK & Scikit-Learn |werk=NLP-FOR-HACKERS |datum=2016-08-21 |zugriff=2019-02-09 |sprache=en-US}}</ref>

POS-Tagging ist sprachabhängig. Pro [[Sprache]] können ein oder mehrere Tagsets existieren. Für deutsche Texte wird von der [[Open Source|Open-Source]]-Software [[Apache OpenNLP|OpenNLP]] der Tagset STTS benutzt, für englische Texte der Tagset Penn Treebank.<ref>{{Internetquelle |autor=Mitchell P. Marcus, Beatrice Santorini, Mary Ann Marcinkiewicz |url=https://catalog.ldc.upenn.edu/docs/LDC95T7/cl93.html |titel=Building a large annotated corpus of English: the Penn Treebank |werk= |hrsg=University of Pennsylvania |datum= |zugriff=2019-02-09 |sprache=en}}</ref> Der für 14 europäische Sprachen<ref>{{Internetquelle |autor= |url=https://cordis.europa.eu/project/rcn/34076/factsheet/de |titel=CORDIS {{!}} European Commission |werk=Language Engineering |hrsg= |datum= |zugriff=2019-02-09 |sprache=en}}</ref> entwickelte PAROLE TagSet<ref>{{Internetquelle |autor= |url=https://www.scss.tcd.ie/~uidhonne/parole.htm |titel=Two-level Morphology Irish Tags |werk= |hrsg=School of Computer Science and Statistics - [[Trinity College Dublin]] |datum= |zugriff=2019-02-09 |sprache=}}</ref> wird ebenfalls unterstützt. OpenNLP verfügt über eine Auswahl von bereits trainierten Modellen für diese verschiedenen Sprachen (Deutsch, Englisch, Spanisch, Portugiesisch, Dänisch usw.).<ref>{{Internetquelle |autor= |url=https://stanbol.apache.org/docs/trunk/components/enhancer/engines/opennlppos.html |titel=Apache Stanbol - OpenNLP POS Tagging Engine |werk= |hrsg= |datum= |zugriff=2019-02-09 |sprache=en}}</ref><ref>{{Internetquelle |autor= |url=http://opennlp.sourceforge.net/models-1.5/ |titel=OpenNLP Tools Models |werk= |hrsg= |datum= |zugriff=2019-02-09 |sprache=en}}</ref> Mit Hilfe dieser Modelle kann dann ein Textkorpus in einer dieser Sprachen automatisch mit den entsprechenden Tags versehen werden.

TreeTagger ist ein von Helmut Schmid am Institut für Maschinelle Sprachverarbeitung der [[Universität Stuttgart]] entwickeltes Werkzeug.<ref>{{Internetquelle |autor= |url=http://www.cis.uni-muenchen.de/~schmid/ |titel=Helmut Schmid's Homepage |werk=Centrum für Informations- und Sprachverarbeitung |hrsg=[[Ludwig-Maximilians-Universität München]] |datum= |zugriff=2019-02-10 |sprache=en}}</ref> Mit ihm können Texte aus ca. 16 verschiedenen Sprachen automatisch mit POS-Tags versehen werden.<ref>{{Internetquelle |autor= |url=http://www.ims.uni-stuttgart.de/forschung/ressourcen/werkzeuge/treetagger.html |titel=TreeTagger - a language independent part-of-speech tagger {{!}} Institut für Maschinelle Sprachverarbeitung {{!}} Universität Stuttgart |werk= |hrsg= |datum= |zugriff=2019-02-10 |sprache=en}}</ref> TreeTagger ist das in der Forschung wohl am häufigsten benutzte sprachunabhängige Werkzeug in diesem Bereich.<ref>{{Literatur |Autor=Imad Zeroual, Abdelhak Lakhouaja |Titel=MulTed: A multilingual aligned and tagged parallel corpus |Hrsg= |Sammelwerk=Applied Computing and Informatics |Band= |Nummer= |Auflage= |Verlag= |Ort= |Datum=2018-12-14 |Sprache=en |ISBN= |ISSN=2210-8327 |DOI=10.1016/j.aci.2018.12.003 |Seiten= |Online=http://www.sciencedirect.com/science/article/pii/S2210832718301881 |Abruf=2019-02-10}}</ref>

== Literatur ==
* Eric Brill: ''A simple rule-based part-of-speech tagger.'' In ''Proceedings of the 3rd Conference on Applied Natural Language Processing (ANLP-92).'' S. 152–155, 1992.
* [[Eugene Charniak]]: ''Statistical Techniques for Natural Language Parsing.'' In: ''AI Magazine'' 18(4): S. 33–44, 1997.
* Hans van Halteren, Jakub Zavrel, Walter Daelemans: [http://acl.ldc.upenn.edu/J/J01/J01-2002.pdf ''Improving Accuracy in Word Class Tagging through the Combination of Machine Learning Systems.''] In: ''Computational Linguistics'' 27(2), S. 199–229, 2001 (PDF 2,26&thinsp;MB; 2,4&nbsp;MB).
* Helmut Schmid: ''Probabilistic part-of-speech tagging using decision trees.'' In ''Proceedings of the International Conference on New Methods in Language Processing 1994.''

== Weblinks ==
* [http://www-nlp.stanford.edu/links/statnlp.html#Taggers Part of Speech Taggers]
* [https://www.linguistik.hu-berlin.de/de/institut/professuren/korpuslinguistik/mitarbeiter-innen/hagen/STTS_Tagset_Tiger STTS - Stuttgart-Tübingen-Tagset]

== Einzelnachweise ==
<references />

[[Kategorie:Computerlinguistik]]