Manuel Burghardt und Christian Wolff sprechen im Rahmen der DH-Summerschool in München, am 29.7.2015 zum Thema „Textanalysewerkzeuge und ihr Einsatz in den Digitalen Geisteswissenschaften“. Dieser Blogpost soll einerseits den Teilnehmenden der Summerschool als Plattform zum Download bzw. zur Verlinkung relevanter Ressourcen dienen, und mag andererseits auch für all diejenigen interessant sein, die sich erstmals mit dem Thema automatische Textanalyse beschäftigen.

Foliensatz

Voyant-Übung

Im Rahmen dieser Übung wird ein digitalisierter Text mit dem frei verfügbaren Web-Tool Voyant automatisch analysiert. Dabei sollen die folgenden Fragen Schritt für Schritt beantwortet werden:

1. Aus wie vielen types und tokens besteht der Text?
2. Welche Wörter (Lemmata) kommen am häufigsten vor (mit und ohne Stoppwortliste)?
3. Welche Wortarten kommen am häufigsten vor?
4. Welche Adjektive (Lemmata) kommen am häufigsten vor?
5. Welche Kollokationen kommen im Text vor?

Zuletzt soll schließlich noch gezeigt werden, wie mit Voyant mehrere Texte anhand der oben genannten Parameter verglichen werden können

Download des Übungstexts

Als Übungstext wird das erste Kapitel von Franz Kafkas „Der Prozess“ verwendet, welcher über Projekt Gutenberg-DE frei verfügbar ist.

• Eine grundlegend normalisierte Version des Texts finden Sie hier: kafka.txt

1. Aus wie vielen types und tokens besteht der Text?

Schritt 1 – Aufruf des Tools

Navigieren Sie nun zum Web-Tool Voyant: http://voyant-tools.org/

Hinweis: Für die weitere Vertiefung finden Sie ein Tutorial zum Tool unter „Voyant Getting started„

Schritt 2 – Importieren des Übungstexts

Importieren Sie den Kafka-Text in Voyant indem Sie …

• die heruntergeladene Datei „kafka.txt“ über den Upload-Dialog hochladen,
• oder die heruntergeladene Datei „kafka.txt“ öffnen, und den Text über copy-paste in das Formularfeld einfügen,
• oder den Link zur TXT-Datei „kafka.txt“ in das Formularfeld kopieren.

Schritt 3 – Analyse des Texts auf Types und Tokens

Betrachten Sie die Standard-Analyse von Voyant:

• Was ist grundlegend zu sehen?
• Aus wie vielen tokens besteht der Text?
• Aus wie vielen types besteht der Text, und was hat es in Voyant mit sog. „unique words“ auf sich?

Beobachtung

Um types auszählen lassen zu können, müssen die Wörter zunächst auf ihre Grundformen (Lemmata) reduziert werden.

Zwischenschritt (wurde bereits vorbereitet)

Für die Beantwortung der weiteren Fragen ist eine grundlegende Wortartenannotation und Grundformenreduktion nötig. Der Übungstext wurde mit dem TreeTagger automatisch lemmatisiert und nach Wortarten annotiert (Tagset: STTS). Das Ergebnis der Annotation wurde als XML-Datei gespeichert.

Ein vollständiges Tutorial zur Erstellung eigener annotierter Ressourcen mit dem Onlinedienst WebLicht finden Sie hier: WebLicht-Tutorial

• Download: Den Kafka-Text mit grundlegender POS-Annotation und Lemmatisierung finden Sie hier: kafka.xml

2. Welche Wörter (Lemmata) kommen am häufigsten vor (mit und ohne Stoppwortliste)?

Schritt 1 – Betrachten der XML-Datei „kafka.xml“

Öffnen Sie die XML-Datei „kafka.xml“ in einem beliebigen Editor, und betrachten Sie deren grundlegende Struktur.

• Welche Informationen sind als Annotationen im Dokument hinzugefügt worden?

Exkurs – Selektion spezifischer Dokumentteile mit XPath

XPath ist ein einfacher Selektionsmechanismus, mit dem Sie spezifische Dokumentteile in einem XML-Dokument auswählen können.

Schritt 2 – Hochladen der XML-Datei auf Voyant und Definition eines XPath-Ausdrucks

Navigieren Sie abermals zur Startseite von Voyant. Nun soll allerdings nicht der gesamte Text eingelesen werden, sondern nur die Wörter, die innerhalb eines <lemma>-Tags stehen. Klicken Sie hierzu auf das kleine Zahnrad und definieren Sie im Feld „XPath to content“ den folgenden XPath-Ausdruck:

/DocumentElement/Table1/lemma

Laden Sie nun über den Upload-Dialog die Datei „kafka.xml“ hoch. Das Ergebnis ist eine Voyant-Analyse über der Lemma-Teilmenge des Dokuments, also ausschließlich der Grundformen.

Beobachtung

Nicht ganz unerwartet sind in unserem Übungstext bestimmte und unbestimmte Artikel, Konjunktionen, Personalpronomen, etc. besonders hochfrequent. Da solche Wörter typischerweise keine oder nur geringe semantische Aussagekraft haben – man spricht auch von sogenannten Synsemantika – werden sie meist mithilfe von Stoppwortlisten von der Korpusanalyse ausgenommen. Auch Voyant stellt solche Stoppwortlisten bereit, die bei Bedarf an spezifische Anwendungszwecke angepasst werden können.

Schritt 3 – Anwendung der deutschen Stoppwortliste

Wenden Sie die deutsche Stoppwortliste in Voyant (Wordcloud-Fenster > „Zahnrad-Icon“ > „Stop Word Lists“ > „German“) auf das Lemma-Teilkorpus an. Markieren Sie außerdem die Checkbox „Apply Stop Words Globally“, damit die Stoppwortliste auch für andere Analysedarstellungen in Voyant angewendet wird, und Sie eine konsistente Analyse bekommen.

Nach Anwendung der Stoppwortliste zeigt sich, dass relativ viele „unknowns“ im Text sind.

Zur Erläuterung: Wo sich der TreeTagger nicht sicher ist, wie das Lemma oder die Wortart eines Wortes lautet, trägt das Programm den Wert „unknown“ ein.

Schritt 4 – XPath-Ausdruck zur Analyse der unknowns

Formulieren Sie nun in Voyant einen XPath-Ausdruck, der den Inhalt aller Wort-Elemente selektiert, welche im Lemma-Tag den Wert „unknown“ haben:

/DocumentElement/Table1[lemma='unknown']/word

• Ist plausibel warum der TreeTagger gerade diese Wörter nicht erkannt hat?

3. Welche Wortarten kommen am häufigsten vor?

Nachdem bereits XPath-Abfragen zur Lemma-Information einzelner Wörter erstellt wurden, soll nun die Wortarten-Information abgefragt werden. Definieren Sie in Voyant einen XPath-Ausdruck der alle Wortarten-Werte selektiert:

/DocumentElement/Table1/pos

Die Wortarten sind mithilfe der Kürzel aus dem STTS getaggt worden. Es zeigt sich, dass „normale Nomen“ (NN), „Personalpronomen“ (PPER), und „Adverbien“ (ADV) zu den drei häufigsten Wortarten gehören.

4. Welche Adjektive (Lemmata) kommen am häufigsten vor?

Definieren Sie nun in Voyant einen XPath-Ausdruck, der alle Lemmata selektiert die Adjektive sind:

/DocumentElement/Table1[pos='ADJD']/lemma

5. Welche Kollokationen kommen im Text vor?

Voyant hält eine Vielzahl unterschiedlicher Analysetools und Visualisierungen bereit.

Eine ausführliche Erklärung all dieser Tools finden Sie hier: http://docs.voyant-tools.org/tools/

Schritt 1

Laden Sie wiederum den Kafka-Text (kafka.xml) hoch und selektieren Sie alle Lemmata (siehe Aufgabe 2).

/DocumentElement/Table1/lemma

Schritt 2

Wenden Sie die deutsche Stoppwortliste an, und ergänzen Sie das Wort „unknown“, um alle unbekannten Lemmata aus der Analyse auszunehmen.

Schritt 3

Öffnen Sie nun das Tool „Collocate Clusters“ im Fenster links, Mitte  („Summary“) über das Diskettensymbol > „URL for a different tool / skin and current data“ > „Collocate Cluster“ > „Open this URL in a new window“.

Schritt 4

Analyse der Kollokationen

 6. Vergleich von mehreren Texten

Schritt 1 – Herunterladen weiterer Kafka-Texte

Nun sollen mehrere Texte miteinander verglichen werden. Laden Sie sich hierzu zwei weitere Kafka-Texte herunter:

Originalquelle Projekt Gutenberg-DE:

• Franz Kafka, Das Schloss, Kap. 1: http://gutenberg.spiegel.de/buch/das-schloss-7656/1
• Franz Kafka, Amerika, Kap. 1: http://gutenberg.spiegel.de/buch/amerika-168/2

Download der normalisierten Textdateien:

• kafka.txt
• kafka2.txt
• kafka3.txt

Der Einfachheit halber können Sie einfach die folgenden Links in das Voyant-Formular kopieren:

https://dl.dropboxusercontent.com/u/4194636/kafka.txt
https://dl.dropboxusercontent.com/u/4194636/kafka2.txt
https://dl.dropboxusercontent.com/u/4194636/kafka3.txt

 Schritt 2 – Vergleichende Analyse der Texte

Online-Version der obigen Analyse.

Digitale Textsammlungen im Web

• Projekt Gutenberg (http://gutenberg.spiegel.de)
• Open Library (https://openlibrary.org/)
• TextGrid Repository (http://www.textgridrep.de/)
• Deutsches Textarchiv (http://www.deutschestextarchiv.de/)
• Folger Digital Text (http://www.folgerdigitaltexts.org/)
• Shakespeare His Contemporaries Corpus (https://github.com/martinmueller39/SHC)
• Tiger Corpus (http://www.ims.uni-stuttgart.de/forschung/ressourcen/korpora/tiger.html)
• Sammlung linguistisch annotierter Online-Korpora (http://corpus.byu.edu/)
• Monumenta Germaniae Historica (http://www.dmgh.de)

Digitale Textanalysewerkzeuge

• Voyant als Web-Tool (http://voyant-tools.org/)
• Voyant als lokale Installation (http://docs.voyant-tools.org/workshops/dh14/)
• TAPoR Tools (http://taporware.ualberta.ca/)
• AntConc (http://www.laurenceanthony.net/software.html)
• WordHoard (http://wordhoard.northwestern.edu/userman/index.html)
• WordSeer (http://wordseer.berkeley.edu/)
  
• WordHoard (http://wordhoard.northwestern.edu/userman/index.html)
• DocuScope (http://www.cmu.edu/hss/english/research/docuscope.html)
• MONK (http://monkpublic.library.illinois.edu/9)
• SEASR (http://www.seasr.org/)
• Überblick zu Textanalysetools auf TAPoR (http://www.tapor.ca/)
• Überblick zu Textanalysetools (und anderen DH-Tools) auf Bamboo (http://dirtdirectory.org/)

Natural Language Processing Tools zur „Vorverarbeitung

• WebLicht (http://weblicht.sfs.uni-tuebingen.de/weblichtwiki/index.php/Main_Page)
• TreeTagger (http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/)
• Stanford POS-Tagger (http://nlp.stanford.edu/software/tagger.shtml)
• Python NLTK (http://www.nltk.org/)

Literaturhinweise / Weblinks

• Blei, D. M. (2012) Probabilistic Topic Models. In Communications of the ACM 55(4), S. 77-84.
• Brett M. R. (2012). Topic Modeling: A Basic Introduction. In Journal of Digital Humanities 2(1).
• Busa, R. (1980). The annals of humanities computing: The index thomisticus. Computers and the Humanities, 14, 83–90. Retrieved from http://www.springerlink.com/index/C0LU521102H10283.pdf
• Eder, M., Kestemont, M., & Rybicki, J.: Stylometrie with R: a Suite of Tools.
• Jannidis, F. (2010). Methoden der computergestützen Textanalyse. In Nünning, V. & Nünning, A. (Hrsg.), Methoden der literatur- und kulturwissenschaftlichen Textanalyse, S. 109-132. Stuttgart/Weimar: Metzler.
• Jockers, M. L. (2013). Macroanalysis: Digital Methods and Literary History (Topics in the Digital Humanities). University of Illinois Press. Retrieved from http://www.amazon.com/Macroanalysis-Digital-Methods-Literary-Humanities/dp/0252079078
• Lauer, G. (2013). Die digitale Vermessung der Kultur. In H. Geiselberger & T. Moorstedt (Eds.), Big Data: Das neue Versprechen der Allwissenheit. Berlin: Suhrkamp.
• Michel, J.-B., Shen, Y. K., Aiden, A. P., Veres, A., Gray, M. K., Pickett, J. P., … Aiden, E. L. (2011). Quantitative analysis of culture using millions of digitized books. Science (New York, N.Y.), 331(6014), 176–82. http://doi.org/10.1126/science.1199644
• Moretti, F. (2000). Conjectures on world literature. New Left Review, (Jan / Feb), 54–68.
• Moretti, F. (2007). Graphs, Maps, Trees: Abstract Models for Literary History. Verso. Retrieved from http://www.amazon.com/Graphs-Maps-Trees-Abstract-Literary/dp/1844671852
• Nünning, V. & Nünning, A. (2010), Methoden der literatur- und kulturwissenschaftlichen Textanalyse. Stuttgart/Weimar: Metzler.
• Ransom, J. C. (1937). Criticism, Inc. The Virginia Quarterly Review, (Autumn). Retrieved from http://www.vqronline.org/essay/criticism-inc-0
• Rockwell, G. (2005). What is text analysis?Underwood, T. (June 4, 2015). Seven ways humanists are using computers to understand text. Available at <http://tedunderwood.com/2015/06/04/seven-ways-humanists-are-using-computers-to-understand-text/>
• Smith, L. I. (2002). A Tutorial on Principal Components Analysis.
• Wilhelm, T., Burghardt, M. & Wolff, C. (2013). „To See or Not to See“ – An Interactive Tool for the Visualization and Analysis of Shakespeare Plays. In Franken-Wendelstorf, R., Lindinger, E. & Sieck J. (eds): Kultur und Informatik – Visual Worlds & Interactive Spaces, Berlin (pp. 175-185). Glückstadt: Verlag Werner Hülsbusch.