Kallimachos II (Eingehende Darstellung): Unterschied zwischen den Versionen
Gaede (Diskussion | Beiträge) Keine Bearbeitungszusammenfassung |
Gaede (Diskussion | Beiträge) Keine Bearbeitungszusammenfassung |
||
| Zeile 258: | Zeile 258: | ||
===Use Case 1: Narragonien 2.0=== | ===Use Case 1: Narragonien 2.0=== | ||
====Unterstützung der Entwicklung von OCR4all==== | ====Unterstützung der Entwicklung von OCR4all==== | ||
Der UseCase hat die Entwicklung von OCR4all kontinuierlich unterstützt. Neben der Bereitstellung von ''Narrenschiff''-Digitalisaten | Der UseCase hat die Entwicklung von OCR4all kontinuierlich unterstützt. Neben der Bereitstellung von ''Narrenschiff''-Digitalisaten und von händisch erstellten Ground-Truth-Daten hat das Narragonien-Team seine literaturwissenschaftliche Expertise in die Weiterentwicklung von OCR4all eingebracht: Mit den informatischen Kollegen wurden Fragen der Nutzerfreundlichkeit und Anwenderperspektive diskutiert, Optimierungen des Workflows erörtert und die Usability der Benutzeroberfläche geprüft. In Kooperation mit den Informatikern wurden Setup- und User-Guides in englischer und deutscher Sprache für nicht-informatische Nutzer verfasst und [https://github.com/OCR4all/getting_started Guidelines] für OCR4all erstellt (Layoutsegmentierung, Ground-Truth-Erstellung usw.). Zudem hat das Narragonien-Team mehrere aufwendige Evaluationsdatensätze erstellt (Text- und Layout-Ground-Truth), die für die Veröffentlichungen zu OCR4all verwendet wurden, u.a. für [Reul et al. 2019c], an denen die Narragonien-Mitarbeiter M. Wehner und Chr. Grundig beteiligt waren. | ||
====OCR-Erkennung von ''Narrenschiff''-Ausgaben==== | ====OCR-Erkennung von ''Narrenschiff''-Ausgaben==== | ||
Dank der Fortschritte von OCR4all konnte die Transkription von ''Narrenschiff''-Drucken, die aufgrund der OCR-Probleme in der ersten Projektphase v.a. händisch erfolgen musste, weitgehend automatisiert werden. Indem man händisch korrigiertes Textmaterial zugrunde legte, wurden neue, sog. „gemischte Modelle” trainiert, die die Erkennung von neuen ''Narrenschiff''-Ausgaben stark erleichterten ([Springmann und Lüdeling, 2017]). So konnten mit vergleichsweise geringem Aufwand mit OCR4all weitere Ausgaben / Bearbeitungen und mehrere Einzelexemplare des ''Narrenschiffs'' erschlossen werden. Es wurden dabei Genauigkeiten von bis zu 99,8% erreicht. Für die Frühdruckzeit empfiehlt sich die OCR nunmehr als texterschließende Standardtechnik, die auch von nicht-Informatikern erfolgreich genutzt werden kann. | Dank der Fortschritte von OCR4all konnte die Transkription von ''Narrenschiff''-Drucken, die aufgrund der OCR-Probleme in der ersten Projektphase v.a. händisch erfolgen musste, weitgehend automatisiert werden. Indem man händisch korrigiertes Textmaterial zugrunde legte, wurden neue, sog. „gemischte Modelle” trainiert, die die Erkennung von neuen ''Narrenschiff''-Ausgaben stark erleichterten ([Springmann und Lüdeling, 2017]). So konnten mit vergleichsweise geringem Aufwand mit OCR4all weitere Ausgaben / Bearbeitungen und mehrere Einzelexemplare des ''Narrenschiffs'' erschlossen werden. Es wurden dabei Genauigkeiten von bis zu 99,8% erreicht. Für die Frühdruckzeit empfiehlt sich die OCR nunmehr als texterschließende Standardtechnik, die auch von nicht-Informatikern erfolgreich genutzt werden kann. | ||
====Kollaboratives Arbeiten mit Semantic MediaWiki==== | ====Kollaboratives Arbeiten mit Semantic MediaWiki==== | ||
Im „Narragonien“-Projekt wurden die erarbeiteten Narrenschiff-Texte in einem Semantic MediaWiki (SMW) erfasst, am Digitalisat korrigiert und zu Lesetexten normalisiert. | Im „Narragonien“-Projekt wurden die erarbeiteten Narrenschiff-Texte in einem Semantic MediaWiki (SMW) erfasst, am Digitalisat korrigiert und zu Lesetexten normalisiert. Diese wurden mit einem übergreifenden Orts- und Namensregister sowie mit einem Quellenregister verknüpft (s.u. zu TA 1.2.1). Um die Langlebigkeit dieser Daten und ihre plattformübergreifende Weiterverwendung zu gewährleisten, wurde in Kooperation mit dem ZPD (H. Baier) eine Transformationsroutine entwickelt, die nach festgelegten Regeln aus den Daten des Semantic MediaWiki automatisch XML-Dateien im validen TEI-P5-Format generiert. Dieses TEI-P5-Subset fußt auf dem verbreiteten [http://www.deutschestextarchiv.de/doku/basisformat/ Basisformat des Deutschen Textarchivs] und wurde gegenüber diesem um die TEI-Varianzauszeichnung erweitert. Das SMW hat sich auch für nicht-informatische Nutzer als intuitives Annotations-Tool bewährt. Aufgrund seiner Flexibilität, der leichten Bedienbarkeit und der TEI-Exportoption empfiehlt es sich als Hilfsmittel für kollaborative Texterfassung und grundständige Textauszeichnung. Das SMW wird in den Geisteswissenschaften, u.a. im DFG-Projekt ‚Opera Camerarii‘, bereits nachgenutzt (vgl. http://wiki.camerarius.de, [Baier, Hamm, Schlegelmilch 2019]). | ||
====Textkorpus: Europäische ''Narrenschiff''-Ausgaben vor 1500==== | ====Textkorpus: Europäische ''Narrenschiff''-Ausgaben vor 1500==== | ||
Der UseCase hat sich das literaturwissenschaftliche Ziel gesetzt, wichtige europäische ''Narrenschiff''-Ausgaben vor 1500 digital zu erschließen (Publizierte Projektbeschreibung und Beispielanalyse bei [Grundig / Hamm / Walter 2017]. Zu späteren Narrenschiffen vgl. etwa [Hamm 2019]). | Der UseCase hat sich das literaturwissenschaftliche Ziel gesetzt, wichtige europäische ''Narrenschiff''-Ausgaben vor 1500 digital zu erschließen (Publizierte Projektbeschreibung und Beispielanalyse bei [Grundig / Hamm / Walter 2017]. Zu späteren Narrenschiffen vgl. etwa [Hamm 2019]). Erschlossen wurden folgende Ausgaben: | ||
*Sebastian Brant, ‚Narrenschiff‘, Basel 1494 (GW 5041): Digitalisat + Transkription + Lesetext | *Sebastian Brant, ‚Narrenschiff‘, Basel 1494 (GW 5041): Digitalisat + Transkription + Lesetext | ||
| Zeile 274: | Zeile 274: | ||
*Jakob Locher, ‚Stultifera Navis‘, Basel 1.8.1497 (GW 5061): Digitalisat + Transkription + Lesetext | *Jakob Locher, ‚Stultifera Navis‘, Basel 1.8.1497 (GW 5061): Digitalisat + Transkription + Lesetext | ||
*Jakob Locher, ‚Stultifera Navis‘, Basel 1498 (GW 5062): Digitalisat + Transkription | *Jakob Locher, ‚Stultifera Navis‘, Basel 1498 (GW 5062): Digitalisat + Transkription | ||
*Niederdeutsche Bearbeitung des ‚Narrenschiffs‘, Lübeck 1497: Transkription | *Niederdeutsche Bearbeitung des ‚Narrenschiffs‘, Lübeck 1497: Transkription + Lesetext | ||
**Die Transkription dieser Ausgabe wurde freundlicherweise von dem Projekt „Mittelniederdeutsch in Lübeck“ (MiL; WWU Münster; Dr. Robert Peters, Norbert Lange) zur Verfügung gestellt. Im ‚Narragonien digital‘ wurde sie geringfügig überarbeitet und um eine Lesefassung ergänzt. Das Digitalisat wird zeitnah in die Präsentation eingebunden. | **Die Transkription dieser Ausgabe wurde freundlicherweise von dem Projekt „Mittelniederdeutsch in Lübeck“ (MiL; WWU Münster; Dr. Robert Peters, Norbert Lange) zur Verfügung gestellt. Im ‚Narragonien digital‘ wurde sie geringfügig überarbeitet und um eine Lesefassung ergänzt. Das Digitalisat wird zeitnah in die Präsentation eingebunden. | ||
*Pierre Rivière. La Nef des folz, Paris 1497 (GW 5058): Digitalisat + Transkription + Lesetext | *Pierre Rivière. La Nef des folz, Paris 1497 (GW 5058): Digitalisat + Transkription + Lesetext | ||
| Zeile 340: | Zeile 340: | ||
'''Abbildung 6: Korrektursicht des OCR-Textkorpus-Aligner für zwei griechische Textzeilen: Oben jeweils die Originalzeile, darunter die durch Alignment ausgewählter Vergleichszeile ("GT") und unten die durch OCR transkribierte Zeile, wobei durch farbige Markierungen die Ground Truth festgelegt wird (ganz unten ein virtueller Editor mit domänenspezifischen Sonderzeichen).''' | '''Abbildung 6: Korrektursicht des OCR-Textkorpus-Aligner für zwei griechische Textzeilen: Oben jeweils die Originalzeile, darunter die durch Alignment ausgewählter Vergleichszeile ("GT") und unten die durch OCR transkribierte Zeile, wobei durch farbige Markierungen die Ground Truth festgelegt wird (ganz unten ein virtueller Editor mit domänenspezifischen Sonderzeichen).''' | ||
Angesichts der positiven Ergebnisse bei der Bearbeitung frühneuzeitlicher Drucke wurde die Synergie von Texterkennung mittels OCR4all und Alignment-Tool vor allem in der letzten Projektphase zur Herstellung von Ground Truth in einer griechischen Handschrift aus dem 16. Jahrhundert (BML, Plut. 75.7) eingesetzt, die noch nie zuvor vollständig transkribiert wurde. Ein solches historisches Dokument stellte somit ein interessantes Experimentierfeld für die im Teilprojekt entwickelten Funktionen dar. Das Hauptkriterium für die Auswahl dieser Handschrift war die Tatsache, dass sich die Form der Buchstaben im Manuskript nicht wesentlich vom Druckbild der in der Anfangsphase verwendeten Manutius-Ausgaben unterscheidet. Die Ergebnisse dieses ersten Versuchs geben Anlass zur Hoffnung, dass durch die systematische und integrierte Anwendung beider Verfahren (Texterkennung u. Aligment) das Ground Truth wesentlich schneller als bei einer manuellen Bearbeitung hergestellt werden kann, was wiederum zu einer bedeutenden Optimierung der Texterkennung noch nicht transkribierter Passagen beitragen kann. | |||
Die Arbeiten zur Integration des Alignment-Tools in OCR4all wurden begonnen, konnten aber im Berichtszeitraum nicht abgeschlossen werden. Dazu ist aus Gründen der Software-Kompatibilität eine weitgehende Neuimplementierung des Alignment-Tools erforderlich. Derzeit muss der Schritt des Alignments einer OCR-Transkription mit auszuwählenden Vergleichstexten in einer separaten Applikation durchgeführt werden. Das Ergebnis kann hochgeladen und im LAREX-Editor von OCR4all zwecks Korrektur nachbearbeitet werden. | |||
==1.2 AP2: Information Extraction== | |||
===TA 1.2.1: Entwicklung von Verfahren zur semi-automatischen Verschlagwortung=== | |||
Die konzeptuelle Vorarbeit im UseCase “Narragonien” wurde dahingehend weitergeführt, dass eine (händische und analoge) Auszeichnung von geeigneten Begriffen an einem Text erprobt wurde. Die Ausweitung auf andere Texte und vor allem die angedachte technische Unterstützung sind komplex, da die ''Narrenschiff''-Texte in einer älteren Sprachstufe geschrieben sind, für die es keine Ontologien gibt und die Übersetzung der Begriffe in die anderen Sprachen sich nicht auf Wörterbücher stützen kann. Angedachte Lösungen dieses Problems – etwa selbst generierte und bearbeitete Wörterbücher auf der Basis der Texte als Ausgangspunkt – waren aufgrund der personellen Ressourcen nicht realisierbar. Letztlich fiel die Entscheidung, alle Kräfte auf die Entwicklung des Viewers zu konzentrieren, damit dieser zum Projektende zur Verfügung steht. Die Arbeit an der Verschlagwortung soll nach Projektende weitergeführt werden. Ungeachtet des noch fehlenden Sachregisters wurden alle ''Narrenschiffe'' durch ein Personen- und Ortsregister erschlossen. | |||
Hierzu wurden die Lesetexte (s.o. 1.1 AP1 “UseCase 1: Narragonien”) mit einem übergreifenden Gesamtregister verknüpft, das im Semantic MediaWiki erstellt wurde und insg. 975 '''Orts- und Personennamen''' enthält. Jeder Registereintrag wurde mit der GND und mit fachspezifischen Personen- und Ortslexika verknüpft und vom ‚Narragonien‘-Team ausführlich beschrieben. Dieses digitale Register geht über den üblichen verweisenden Paratext des Printmediums weit hinaus: | |||
*Zum einen bilden die digitalen Erläuterungen gleichsam einen Kommentar zu den ''Narrenschiffen'' in nuce, da sie die komplexen Anspielungen der Narrendichter auf biblische, historische und literarische Personen und Orte transparent und nachvollziehbar machen. Dies folgt dem Vorbild der Printausgabe des deutschen ''Narrenschiffs'' [Knape 2005], dessen Lemmatazahl freilich erheblich erweitert wurde. | |||
*Zum anderen umfasst das Online-Register nicht nur ein einzelnes, sondern alle digital erschlossenen ''Narrenschiffe'', integriert also die deutsche Originalausgabe ebenso wie die deutschen, niederdeutschen, englischen, französischen, niederländischen und lateinischen Bearbeitungen. Indem in jedem Registereintrag dank der Wikitechnik die Belegstellen in diesen ''Narrenschiffen'' automatisch aufgelistet und im Viewer angezeigt werden, kann der Nutzer zur entsprechenden Textstelle springen und sofort ersehen, welche ''Narrenschiffe'' den jeweiligen Personen- bzw. Ortsnamen enthalten - und welche ihn nicht aus ihrer Vorlage übernehmen wollten. | |||
Das Orts- und Namenregister eignet sich für die Nachnutzung durch andere geisteswissenschaftliche Semantic MediaWiki Projekte, die sich mit der Frühen Neuzeit beschäftigen. Dies gilt auch für das '''Belegstellenregister''': Die Latinistinnen Rena Buß und Helena Wächter aus dem ‚Narragonien‘-Team haben die ca. 1400 (!) lateinischen Quellenverweise (''loca concordantia''), die Sebastian Brant in die 'Stultifera navis' eingefügt hatte, einzeln identifiziert und im Wiki mit dem Volltext der zitierten Textstelle (v.a. Bibel, antike Klassiker, Rechtstexte) verknüpft. Diese umfangreiche Sammlung lässt sich in zwei Richtungen verwenden. Folgt man den Links im ''Narrenschiff''-Text, so wird der jeweilige Quellenverweis aufgelöst und man liest das Bibel- bzw. Klassikerzitat im Volltext. Geht man vom Register aus, so lässt sich eruieren, wie viele und welche ''Narrenschiffe'' auf eine bestimmte Belegstelle verweisen, wo also z.B. an die biblische Erzählung vom Armen Lazarus erinnert oder aus Ciceros Verresreden zitiert wird. | |||
Die beiden Register sind erste Bausteine zu einem Gesamtkommentar der frühneuzeitlichen ''Narrenschiffe'', der seit den Anfängen der Forschung im frühen 19. Jahrhundert ein Desiderat ist. Sie nutzen die Technik der semantischen Verknüpfung, die ein Semantic MediaWiki bereitstellt. Diese Verknüpfungen wurden durch die im Projekt entwickelte Transformationsroutine in das TEI-Format übertragen und in die digitale Präsentation der ''Narrenschiffe'' übernommen. | |||
===TA 1.2.2: Workflow zur Varianzanalyse=== | |||
In Kooperation mit dem UseCase „Narragonien digital” wurde der „Variance-Viewer” entwickelt (s. die ergänzende Beschreibung unten zu “Use Case 1: Narragonien digital 2.0”). Es handelt sich um ein Open-Source-Tool, das Differenzen zwischen zwei Texten auf Zeichenebene findet und in verschiedene Kategorien differenziert und visualisiert, die die Nutzer über eine Konfigurationsdatei selbst definieren können [Balbach et al. 2020]. Dadurch sollen sie in die Lage versetzt werden, sich schnell einen Überblick über die wesentlichen Unterschiede zwischen Texten zu machen und systematisch bedingte Unterschiede (z.B. bezüglich Normalisierung von Texten) auf einen Blick zu erkennen. Derzeit kann der Variance-Viewer auf Basis eines generischen Konzeptes von Einfügungen, Ersetzungen und Löschungen folgende Kategorien von Unterschieden erkennen (vgl. Abb. 7): | |||
'''Abbildung 7: Vergleich des edierten Lesetextes der Narrenschiff-Ausgabe GW5041 mit dem Ergebnis der OCR auf dem Originaltext einer anderen Druckausgabe, wobei die Änderungen sowohl OCR-Fehler als auch Normalisierungen der Schrift im Lesetext umfassen. Dies ist durch Hervorhebung der Änderungstypen in verschiedenen Farben leichter nachvollziehbar (Erläuterung der Typen im Text). Unten eine Statistik, die die 6523 gefundenen Änderungen nach Änderungstypen aufschlüsselt. Der Gesamttext umfasste 150 Seiten mit 4200 Zeilen, 26000 Wörtern und 121000 Zeichen und die zugehörige Konfigurationsdatei ("Settings") ca. 100 Zeilen. Für diese Analyse brauchte der Variance-Viewer in dem serverseitig ausgeführten Demo-Modus im Web ca. 25 Sekunden (für intensive Nutzung sollte der Open Source Code lokal installiert werden''' https://github.com/cs6-uniwue/Variance-Viewer | |||
*Satzzeichen (Punctuation): Die Änderung bezieht sich nur auf ein Satzzeichen (. , ; - ? ! usw.). | |||
*Grapheme (Graphemics): Die Änderung bezieht sich nur auf bestimmte Schreibweisen (ae ä; ue ü; oe ö; ss ß; Groß/Kleinschreibung; th t; usw.). | |||
*Abkürzungen (Abbreviations): Die Änderung bezieht sich nur auf Abkürzungen (z.B. Dr. Doktor; Hr. Herr Herrn; usw.). | |||
*Leerzeichen im Wort, die ein Wort in zwei oder mehrere Wörter auftrennen. (Separation). Diese Option ist technisch aufwändiger, weil nicht einzelne Wörter, sondern Wortgruppen miteinander verglichen werden müssen. | |||
*Inhaltsänderungen mit nur einem Zeichen Unterschied (OneDifference), die nicht in der Graphem-Liste enthalten sind und anders bewertet werden als komplexere Änderungen. | |||
*Inhalt (Content): Alle übrigen Änderungen, die keiner der obigen Kategorien zugeordnet werden können einschließlich Hinzufügen oder Löschen sowie Änderungen, bei denen mehr als eine Änderung der obigen Typen gleichzeitig vorkommt. | |||
Zusätzlich wurden prototypisch auch typographische Änderungen analysiert, die nicht den Inhalt, sondern das Layout betreffen, wobei zunächst nur das TEI-Element „rend” mit entsprechenden Attributen (kursiv; gesperrt; usw.) analysiert wird und angezeigt wird. | |||
Der „Variance Viewer" hat sich in der Praxis der Varianzanalyse insb. im UseCase „Narragonien digi-tal” (s.u. zu „UseCase 1”) bewährt, nicht zuletzt, weil er die festgestellten Zeichenunterschiede automatisch zuvor festgelegten Typen von Varianz zuweisen kann (z.B. Varianz in Interpunktion, Graphematik / Abbreviaturen usw.) und die Varianzdarstellung durch die Markierung dieser Typen erheblich übersichtlicher macht. Der Variance-Viewer wurde wegen seiner einfachen Bedienung auch außerhalb des Kallimachos-Projektes eingesetzt, u.a. im [http://www.musikwissenschaft.uni-wuerzburg.de/forschung/richard-wagner-schriften/ Richard Wagner Schriften Projekt]. | |||
===TA 1.2.3: Sequence Alignment=== | |||
Die Arbeiten zum Sequence Alignment erfolgten in Kontext des Use Case 5 Anagnosis (s.a.) | |||
Version vom 14. Mai 2020, 15:34 Uhr
Verwendung der Zuwendung und Aufzählung der wichtigsten wissenschaftlich-technischen und anderer Ergebnisse.=
Ein Schwerpunkt des Verbundprojektes war die OCR-Optimierung und die Unterstützung der entsprechenden Use Cases Narragonien und Anagnosis. Hier wurden im Projektverlauf verschiedene Techniken implementiert und erprobt. Mit der Bereitstellung des semi-automatischen Open Source Tools OCR4all wurde ein Durchbruch erzielt, der erstmals die Digitalisierung früher Drucke mit vertretbarem Aufwand erlaubt. OCR4all wurde nicht nur in Kallimachos intensiv genutzt, sondern hat darüber hinaus auch international bereits eine größere Verbreitung gefunden (s. AP1). Auch die anderen Teilprojekte konnten erfolgreich abgeschlossen werden. Die folgende Darstellung der erzielten Ergebnisse über-nimmt die Gliederung des Antragsdokumentes, so dass für jedes Arbeitspaket ein Vergleich der Ziele und der Ergebnisse leicht nachvollziehbar ist.
AP1: OCR-Optimierung
TA 1.1.1: Automatische Segmentierung
Der OCR-Workflow lässt sich in vier Hauptschritte einteilen: Vorverarbeitung, Segmentierung, Texterkennung, Nachkorrektur (s. unten Abb. 1).
Wir beschreiben die Segmentierung im Kontext des OCR-Workflow-Tools OCR4all (s. TA 1.1.2).
TA 1.1.2: Ausbau Offizinansatz und Weiterentwicklung in OCR4all
Der Offizinansatz, der die mühselige und zeitaufwändige Identifizierung einzelner werkstattspezifischer Drucktypen für die OCR-Erfassung vorsah, wurde fallen gelassen, da die OCR-Erkennung mit neuronalen Netzen in LSTM-Architektur keine Segmentierung von Einzelzeichen erfordert. Stattdessen werden Drucke mit Hilfe gemischter Modelle transkribiert, die auf einer Vielzahl von Drucktypen trainiert wurden. Anschließend werden einige Seiten nachkorrigiert und auf dieser Grundlage ein werkspezifisches Modell trainiert, mit dem anschließend der gesamte Druck transkribiertund abschließend korrigiert wird. Diese Vorgehensweise stellt eine sehr zeit- und kostensparende Variante gegenüber einer rein händischen Transkription dar und dürfte für alte Drucke die derzeit effizienteste Vorgehens-weise sein. Entsprechend hat das komfortable Workflow-Tool OCR4all [Reul et al.2019c] bereits eine sehr gute nationale und internationale Resonanz und auch Verbreitung gefunden. Im Folgenden werden die Teilschritte des Workflows und die Resonanz ausführlicher dargestellt.
Semi-automatisches Transkriptionstool OCR4all für alte Drucke
Um den vorgestellten Ansatz einer möglichst breiten Nutzergruppe zur Verfügung zu stellen, wurde das Tool OCR4all entwickelt und frei auf GitHub zur Verfügung gestellt. Die Motivation hinter OCR4all ist, dass es mittlerweile einige Open Source Tools gibt, die zwar (sogar auf sehr alten und anspruchsvollen Material) hervorragende Ergebnisse liefern, deren Anwendung allerdings unerfahrene, nicht-technische Nutzer schnell überfordern kann. Dies liegt insbesondere daran, dass viele Anwendungen ausschließlich über die Kommandozeile bedient werden können und teils schwierig zu installieren sind. Auch die Kombination verschiedener Einzeltools zu einer zusammenhängenden Pipeline ist häufig, aufgrund variierender Datenformate, nicht trivial. OCR4all versucht diese Lücke zu schließen, indem es einen vollständigen OCR-Workflow in einer einzigen Docker-Anwendung oder alternativ Virtual Box kapselt, die sehr simpel installiert werden kann.
Das Tool nimmt dem Nutzer die Verwaltung der Daten ab und kann komfortabel über eine übersichtliche grafische Weboberfläche gesteuert werden. Ziel ist es, auch nicht-technischen Nutzern eine Möglichkeit zu geben, selbst die ältesten gedruckten Werke eigenständig, mit überschaubaren Zeitaufwand und in höchster Qualität zu erfassen. Neben dem bekannten OCRopus und dem im Projekt entstandenen LAREX wurde auch das von Christoph Wick am Lehrstuhl für Künstliche Intelligenz entwickelte Open Source OCR Tool Calamari bereits vollständig in OCR4all und den dort enthaltenen Workflow integriert. Anders als OCRopus setzt Calamari bei der Zeichenerkennung auf eine tiefe Netzstruktur mit mehreren versteckten Schichten (Deep Learning), was deutlich höhere Erkennungsraten zur Folge hat ([Wick et al.2018]). Neben dieser technischen Weiterentwicklung wurden auch weitere methodische Verbesserungen wie Voting [Reul et al.2018a], Pretraining [Reul et al.2018b] und Datenaugmentierung integriert, deren Verwendung die Fehlerrate noch einmal deutlich reduziert [Reul et al.2018c, Wick et al.2020].
Workflow
Ein typischer OCR-Workflow lässt sich grundsätzlich in vier Hauptschritte unterteilen (s. Abbildung 1), deren Ziele, Herausforderungen und derzeitige Umsetzung in OCR4all im Folgenden vorgestellt werden.
Abbildung 1: Hauptschritte eines typischen OCR Workflows. Von links nach rechts: Eingabebild, Vorverarbeitung, Segmentierung, Texterkennung, Nachkorrektur
Vorverarbeitung: In diesem ersten Schritt werden die Eingabebilder in Hinblick auf die weitere Verarbeitung aufbereitet. Dies schließt sowohl eine Binarisierung (Umwandlung in ein Schwarzweißbild) als auch ein Geradestellen der Scanseite ein. Auch eine vorherige Trennung von zusammen gescannten Doppelseiten oder das Aufrechtstellen quer erfasster Scanseiten ist üblich. Die Binarisierung und das Geradestellen wird von einem Skript aus der OCRopus Toolbox zuverlässig erledigt. Prinzipiell kann OCR4all auch mit Doppelseiten oder quer gescannten Seiten umgehen, jedoch wird eine Trennung und ein Aufrechtstellen empfohlen, z. B. durch das frei verfügbare und gut dokumentierte Tool ScanTailor (aufgrund fehlender Webgängigkeit nicht sinnvoll in OCR4all integrierbar).
Segmentierung: Aufgabe dieses Schritts ist die Unterteilung der Scanseite in kleinere Einheiten. Dabei sind, abhängig vom Material und den individuellen Anforderungen des Nutzers, sehr unterschiedliche Ausprägungen möglich. So kann es z. B. ausreichen, lediglich die Regionen, die Text enthalten, zu iden-tifizieren und vom Rest (Bilder, Noise etc.) zu trennen. Am anderen Ende des Spektrums steht eine feingliedrige semantische Auszeichnung (s. Abbildung 2), die nicht nur Text-und Bildregionen unter-scheidet, sondern v. a. ersteren noch weitereSubtypen zuweist (Fließtext, Überschrift, Marginalie, etc.; wiederum stark nutzer-und materialabhängig). Identifizierte Textregionen müssen anschließend in einzelne Textzeilen aufgespalten werden, da diese die benötigte Eingabe für moderne OCR-Engines darstellen.
Abbildung 2: Segmentierung einer komplexen Seite des Narrenschiffs inklusive präziser semantischer Auszeichnung und exakter Erfassung der Lesereihenfolge
Für diesen überaus anspruchsvollen Schritt stellt OCR4all derzeit zwei Submodule zur Verfügung, um sich optimal an die Ansprüche der jeweiligen Nutzer sowie den Eigenschaften und Herausforderungen des vorliegenden Materials anzupassen. Zum einen kommt das eigens entwickelte LAREX-Tool (s. u.) zum Einsatz, dessen semi-automatischer Ansatz sich speziell für Nutzer eignet, die an einem zu 100% korrekten Ergebnis interessiert sind, inklusive einer individuellen und detaillierten semantischen Auszeichnung. Zum anderen wird für die vollautomatische Anwendung eine sogenannte Dummysegmentierung angeboten, die weder eine semantische Auszeichnung noch ein explizites Markup von Bildern oder anderen Nicht-Text-Regionen vornimmt, sondern sich direkt auf die Detektion von Textzeilen konzentriert. Für diesen Zeilensegmentierungsschritt kommt wiederum ein leicht modifiziertes OCRopus-Skript zum Einsatz, das, anders als die Originalversion, keine tatsächlichen Zeilenbilder abspeichert, sondern eng an den Text anliegende Polygone generiert, die dann in der entsprechenden PageXML Datei abgelegt werden können.
Texterkennung: Aus den Textzeilen kann nun der darin abgebildete Text extrahiert werden. Dazu nutzen OCR-Engines sogenannte Modelle. Generell wird zwischen gemischten und werk-oder typenspezifischen Modellen unterschieden. Erstere werden im Normalfall auf einer Vielzahl ähnlicher Typen trainiert und können dann out-of-the-box (ohne weiteres werkspezifisches Training und somit ohne weiteres Erstellen von Trainingsdaten) auf ungesehenes Material angewendet werden. Dieses Vorgehen ist umso vielversprechender, je einheitlicher die Typographie des vorliegenden Materials ist. Während man bei moderner Schrift, aber z. B. auch bei Frakturschriften des 19. Jahrhunderts, auf sehr niedrige Fehlerraten hoffen kann (vgl. Evaluation in Tabelle 1), können diese bei zunehmendem Alter des Materials und insbesondere bei Inkunabeln keineswegs erwartet werden. Abhilfe kann durch werksspezifische Modelle geschaffen werden, zu deren Erstellung werksspezifische Ground Truth benötigt wird, die durch manuelle Korrektur der mit gemischten Modellen transkribierten Texte erzeugt werden muss. Selbstverständlich bedeutet dies zusätzlichen Aufwand, der aber aufgrund der besseren Erkennungsgenauigkeit in vielen Anwendungsfällen für eine ausreichende Qualität notwendig ist.
Die derzeit in OCR4all zum Einsatz kommende OCR-Engine ist das eigens entwickelte Calamari, das sowohl für die Erkennung als auch für das Training eigener Modelle zum Einsatz kommt. Hinsichtlich der Bedienung durch nicht-technische Nutzer stellte speziell der Trainingsschritt in seiner Implementierung eine große Herausforderung dar, da sämtliche oben erwähnten methodischen Erweiterungen unterstützt werden sollten, jedoch ohne die Nutzer zu überfordern.
Nachkorrektur: Da trotz großer Fortschritte in den letzten Jahren ein fehlerfreies OCR-Ergebnis auf historischen Drucken nicht realistisch ist, wird ein finaler Schritt benötigt, in dem die verbleibenden Fehler korrigiert bzw. zumindest weiter reduziert werden sollen. Dies kann automatisch, z. B. durch die Verwendung von Sprachmodellen erfolgen, manuell durch eine händische Nachkorrektur oder auch durch eine Kombination beider Methoden. Während eine automatische Nachkorrektur derzeit noch nicht in OCR4all zur Verfügung steht (jedoch extern angebunden werden kann, z. B. PoCoTo [Vobl et al.2014] bzw. PoCoWeb), bietet die integrierte Komponente LAREX aufgrund umfassender Erweiterung mittlerweile die Möglichkeit, komfortabel sowohl den OCR-Text als auch die Ergebnisse vorangegangener Schritte wie Regionen- und Zeilenpolygone, Reading Order, semantische Typen usw. zu korrigieren (s. Abbildung 3).
Abbildung 3: Textuelle Korrektur in LAREX: Seiten-basierte Ansicht (links), konfigurierbares virtuelles Keyboard (Mitte), Zeilen-basierte Ansicht (rechts).
Aufgrund des modularen Aufbaus des Tools sowie der wohldefinierten Schnittstellen und dem gewählten Distributionsweg über eine Containerlösung ist die Einbindung weiterer Lösungen jederzeit möglich.
Evaluation: Neben dem praktischen Einsatz von OCR4all an zahlreichen Institutionen und in vielfälti-gen Projekten (s.u.) wurden im Rahmen der zugehörigen Hauptveröffentlichung [Reul et al. 2019c] umfassende Evaluationen in enger Kooperation mit den designierten geisteswissenschaftlichen Nutzern durchgeführt.
Die erste Evaluation bezieht sich auf Frakturromane des 19. Jahrhunderts (mit einer Ausnahme aus dem späten 18. Jahrhundert). Im Gegensatz zu Inkunabeln und Drucken der frühen Neuzeit, wie z. B. dem Narrenschiff, verfügen diese, neben dem besseren Erhaltungszustand, über ein moderates Layout und deutlich einheitlichere Drucktypen, was eine vollautomatische Erschließung mittels OCR4all ermöglichte. Die einheitliche Typographie erlaubte die Anwendung eines gemischten Calamari-Modells für Frakturschriften des 19. Jahrhunderts, das zuvor unter Verwendung der oben genannten genauigkeitssteigernden Maßnahmen trainiert worden war [Reul et al. 2019a]. Evaluiert wurde der vollautomatische OCR4all-Durchlauf jeweils auf zehn Seiten aus zehn verschiedenen Werken, mit teils stark schwankender Qualität, wie in Abbildung 4 zu sehen ist.
Abbildung 4: Beispielbilder deutscher Frakturromane. Von links nach rechts: F1870, F1781, F1818 (Seite in akzeptablen Zustand), F1818 (Seite in schlechten Zustand), F1803.
Zum Vergleich wurde dieselbe Evaluation mit dem kommerziellen State-of-the-Art Tool ABBYY Finereader durchgeführt, , das neben einer „Gothic“ Erkennung für Frakturschrift auch eine entsprechende Nachkorrektur für „Old German“ anbietet. Tabelle 1 fasst die Ergebnisse zusammen.
Tabelle 1: Vergleich der Buchstabenfehlerraten bei vollautomatischer Anwendung von ABBYY Finereader und OCR4all, sowie die durch OCR4all erreichte Fehlerreduktion (ErrRed.) und den Verbesserungsfaktor (Impr.).
| Werk | ABBYY | OCR4all | ErrRed. | Impr. |
|---|---|---|---|---|
| F1781 | 2,9 | 0,60 | 79,3 | 4,8 |
| F1803 | 27 | 4,89 | 81,9 | 5,5 |
| F1810 | 3,8 | 0,61 | 84,0 | 6,2 |
| F1818 | 10 | 1,35 | 86,6 | 7,5 |
| F1826 | 1,1 | 0,06 | 94,4 | 18 |
| F1848 | 0,93 | 0,20 | 78,5 | 4,7 |
| F1851 | 1,0 | 0,16 | 84,0 | 6,3 |
| F1855 | 4,0 | 0,33 | 91,8 | 12 |
| F1865 | 1,6 | 0,18 | 88,8 | 8,9 |
| F1870 | 0,48 | 0,13 | 72,9 | 3,7 |
| Average | 5,3 | 0,85 | 84,2 | 7,8 |
Die Werte zeigen, dass OCR4all für jedes einzelne Werk deutlich bessere Fehlerraten liefert als ABBYY Finereader, was in einer durchschnittlichen Fehlerreduktion von 84% und einem Verbesserungsfaktor von fast 8 resultiert. Für beide Systeme variieren die Ergebnisse sehr stark von Buch zu Buch, was durch die stark unterschiedliche Qualität des Ausgangsmaterials zu erklären ist (vgl. Abbildung 4). Im Schnitt erreicht OCR4all eine sehr niedrige Buchstabenfehlerrate (CER) von lediglich 0,85% (ABBYY 5,3%), wobei diese für acht der zehn Werke bei unter 1% und bei sechs sogar unter 0,5% liegt. Werden nur die besten 50% der Werke betrachtet, sinkt die CER sogar auf hervorragende 0,15%.
Diese Experimente auf Frakturromanen des 19. Jh. zeigen, dass eine vollautomatische Anwendung von OCR4all nicht nur möglich ist, sondern auch überaus präzise sein kann, solange ein moderates Layout vorliegt und ein passendes OCR-Modell vorhanden ist. Es sei angemerkt, dass die gezeigten extrem niedrigen Fehlerraten nur dann vollautomatisch erreicht werden können, wenn ein hoch performantes gemischtes Modell vorliegt. In diesem Fall war ein Modellensemble verfügbar, das perfekt für die Erkennung des vorliegenden Evaluationsmaterials geeignet war. Leider stellt dies derzeit noch eine Ausnahme dar, da ähnlich spezialisierte Modelle wohl lediglich für die Erkennung von modernen englischen Texten vorliegen.
Da OCR4all ursprünglich für die vergleichsweise hohen Anforderungen des Projekts Narragonien-digital entwickelt wurde (exakte semantische Auszeichnung bereits auf Layoutebene, fehlerfreier Ergebnistext), können auch Werke, die aus Sicht des Layouts und der Typographie teils deutlich anspruchsvoller sind als die zuvor evaluierten Frakturromane, problemlos bearbeitet werden. Diese wurde in einer zweiten, sehr umfangreichen, nutzerzentrierten Studie evaluiert:
Bearbeitet wurden 25 Werke, gedruckt zwischen 1474 und 1598, darunter zahlreiche Narrenschiffe sowie Erzeugnisse des Universalgelehrten Joachim Camerarius des Älteren (in Kooperation mit dem DFG-Projekt ‘Opera Camerarii’, vgl. [Hamm et al. 2019].) Die Bearbeitung erfolgte größtenteils durch Studierende, die in zwei Gruppen unterteilt wurden: Gruppe 1 bestand aus unerfahrenen Nutzern, die über keinerlei nennenswerte Vorerfahrung mit OCR4all oder OCR im Allgemeinen verfügten. Im Gegensatz dazu konnten die Bearbeiter aus Gruppe 2 bereits umfangreiche Erfahrungen vorweisen. Nach einer Einführung durch einen der erfahrenen Nutzer mussten die unerfahrenen Nutzer die ihnen zugewiesenen Werke selbstständig bearbeiten.
Bei allen Werken wurden bereits auf Layout-Ebene Regionen semantisch präzise erfasst und ausgezeichnet, um später eine vollständige Rekonstruktion der Scanseite zu ermöglichen (vgl. Abbildung 2 und Abbildung 5). Obwohl sämtliche Werke final als zitierfähiger Volltext vorliegen sollten, wurde für diese Evaluation vorerst lediglich eine grobe Ziel-Zeichenfehlerrate von 1% ausgegeben. Neben dem für die Segmentierung benötigten Zeitaufwand wurden die Fehlerrate sowie der Korrekturaufwand erfasst. Tabelle 2 zeigt die Ergebnisse.
Tabelle 2: Zusammenfassung der erreichten Ergebnisse (Mittelwerte plus ggf. Standardabweichung) bei Anwendung von OCR4all auf frühe Drucke durch Nutzer unterschiedlicher Erfahrungsstufen.
| Unerfahrene Nutzer | Erfahrene Nutzer | |
|---|---|---|
| Erreichte CER | 0,47% ± 0,22% | 0,49% ± 0,30% |
| Transkribiertes Trainingsmaterial | 988 Zeilen | 927 Zeilen |
| Korrekturzeit pro Zeile | 10s ± 5,2s | 5,5s ± 2,4s |
| Segmentierungszeit pro Seite | 1,2min ± 0,5min | 0,6min ± 0,2min |
Wie erwartet, hatte die Erfahrung der Nutzer weder Einfluss auf die Genauigkeit der OCR noch auf die zur Erreichung der vorher festgelegten CER von max. 1% benötigte Anzahl an Trainingszeilen. Beide Nutzergruppen konnten eine, gerade in Hinblick auf das Alter des Materials, hervorragende und nahezu identische durchschnittliche CER von unter 0,5% erreichen und benötigten dazu im Schnitt knapp 1.000 Trainingszeilen. Dies unterstreicht die Effektivität des vorgestellten Ansatzes und die Leistungsfähigkeit der integrierten und für Training und Erkennung eingesetzten OCR-Software Calamari. Ebenfalls nicht überraschend ist, dass die erfahrenen Nutzer, in Hinblick auf den benötigten Zeitaufwand, sowohl bei der Segmentierung als auch bei der Erstellung der Trainingsdaten, deutlicher effizienter arbeiten. Aus den erhobenen Werten kann eine grobe Faustregel bzgl. des benötigten Zeitaufwands für die präzise Erfassung (exakte semantische Auszeichnung und eine CER von weniger als 0,5% im Durchschnitt von 25 Werken mit durchschnittlich über 250 Seiten pro Werk) abgeleitet werden: Unerfahrene Nutzer müssen mit 150 Minuten für die GT Erstellung sowie 1,1 Minuten pro Seite für die Segmentierung rechnen. Erfahrene Nutzer können von einer deutlich schnelleren Erfassung ausgehen: 57 Minuten Aufwand für die GT Erstellung und 0,6 Minuten für die Segmentierung jeder Seite.
Verbreitung in und Nutzung durch die Community:
OCR4all wurde sowohl innerhalb der Universität Würzburg als auch auf nationaler und internationaler Ebene hervorragend angenommen. Das ZPD nimmt große Anstrengungen vor, um die Verbreitung und die Nutzbarkeit weiter voranzutreiben, wie im Folgenden erläutert werden soll.
Abbildung 5: Beispielseiten der frühen Drucke, die zur Evaluation verwendet wurden, sowie teilweise die erwartete Segmentierung (rechts).
Eigene Veröffentlichungen der Projektgruppe: In der recht technisch gehaltenen Hauptveröffentlichung [Reul et al. 2019c] lag der Schwerpunkt auf der Beschreibung des Tools, der zum Einsatz kommenden Komponenten und des konzipierten Workflows. Des Weiteren wurde OCR4all ausgiebig evaluiert (obige Evaluation zeigt einen Auszug).
Eine weitere Publikation [Wehner et al. 2020] nebst zugehörigen Workshop wurde auf der dies-jährigen Jahrestagung der Digital Humanities im deutschsprachigen Raum (DHd) veröffentlicht. Der für 25 Teilnehmer ausgeschriebene, ganztägige Workshop stieß auf großes Interesse und war innerhalb kürzester Zeit ausgebucht.
Auf Anfrage des Magazins KulturBetrieb, welches zweimal im Jahr an mehr als 2.200 kulturbewahrende Einrichtungen wie Museen, Archive oder auch Bibliotheken ausgeliefert wird, wurde ein weiterer Artikel [Wehner, 2019] verfasst, der neben einer eingehenden Beschreibung des OCR-Workflows besonderen Fokus auf die Entwicklung der Software in Zusammenarbeit mit den Geisteswissenschaften legt und somit Nutzungsvorteile und Chancen der Software für die angesprochenen, kultur- und kunstbewahrenden Institutionen aufzeigt.
Berichterstattung (Auswahl): Im April 2019 veröffentlichte das Onlinemagazin der Universität Würzburg einBLICK einen Artikel zu OCR4all in deutscher und englischer Sprache und verbreitete diesen über diverse nationale und internationale Kommunikationskanäle. Der Artikel stieß auf großes Interesse, welches, neben der Berichterstattung in zahlreichen Onlineportalen und Tageszeitungen (u. a. Der Tagesspiegel, die Augsburger Allgemeine und Der Standard), auch ein Radiointerview mit SWR2 Impuls nach sich zog. Des Weiteren ergab sich die Möglichkeit, OCR4all in Rahmen einer Toolvorstellung des DFG-geförderten Projekts forText einer noch größeren Gruppe an geisteswissenschaftlichen Nutzern näherzubringen.
Gehaltene Vorträge (Auswahl):
- Inputworkshop des DFG-geförderten Fachinformationsdienst Philosophie der Universitäts- und Stadtbibliothek Köln
- Jahrestagung des Arbeitskreises Provenienzforschung e.V. in Düsseldorf
- Gastvortrag am Trier Center for Digital Humanities
- Kolloquium Korpuslinguistik und Phonetik an der HU Berlin
- Bereits vereinbart: Tagung Digitale Mediävistik, Januar 2021 in Bremen
Anleitungen, Workshops, Praktika und sonstige Lehraktivitäten (Auswahl):
Um den Nutzern speziell den Einstieg und das weitere Arbeiten mit OCR4all zu erleichtern, wurden umfangreiche und anschauliche Anleitungen für Installation und Nutzung in deutscher und englischer Sprache erstellt und veröffentlicht.
Des Weiteren wird anhand zweier mitgelieferter Beispielwerke die Anwendung von OCR4all Schritt für Schritt erläutert. Die Anleitungen werden fortlaufend gepflegt und regelmäßig aktualisiert. Ein Semantic MediaWiki, das neben den Anleitungen auch zahlreiche Begriffsdefinitionen, technische Hintergründe und häufige Probleme sowie deren Lösungen zur Verfügung stellen und miteinander verknüpfen soll, befindet sich im Aufbau. Weitere Schulungsaktivitäten werden im Folgenden gelistet. An der Universität Würzburg wurden folgende Workshop gehalten:
- Regelmäßige Workshops für Professoren, Mitarbeiter und Studierende aller Fakultäten.
- Regelmäßige Praktika für Studierende des Masterstudiengangs „Mittelalter und Frühe Neuzeit“.
- Teilmodul des Zusatzzertifikats Digitale Kompetenz, das Studierenden der Modernen Philologien die Möglichkeit bietet, über ihr Studium hinaus Kompetenzen im Umgang mit digitalen Daten zu erwerben und nachzuweisen.
National und international wurden folgende Workshops angeboten:
- Workshop auf der Jahrestagung der Digital Humanities im deutschsprachigen Raum 2020 in Paderborn. Das Feedback der über 20 Teilnehmer fiel überaus positiv aus.
- Train-the-Trainer Workshop im Sommer 2019, bei dem Interessierte, die selbst OCR4all Workshops anbieten wollen oder bereits anbieten, gesondert geschult wurden. Außerdem hatten sie so die Möglichkeit, sich mit den Entwicklern über das Feedback aus der Community auszutauschen und das weitere Vorgehen zu diskutieren. Aufgrund des hervorragenden Feedbacks sind weitere Veranstaltungen dieser Art geplant. Der o. g. DHd Workshop wurde von der Würzburger Arbeitsgruppe in Kooperation mit einigen Teilnehmern des Train-the-Trainer Workshops ausgerichtet.
- Zwei Workshops (Würzburg 2018 und Budapest 2019) im Rahmen der COST Action Distant Reading for European Literary History .
- Seminar Historische Korpuslinguistik an der Humboldt-Universität zu Berlin: In Kooperation mit dem ZPD wurden von Masterstudierenden diverse Werke des 17. und 18. Jahrhunderts zum Thema Kräuter transkribiert. Die benötigten Berechnungen liefen dabei auf den Würz-burger Servern, wärend die Studierenden nach einer kurzen Einweisung die notwendigen Korrekturen remote und bequem über eine Weboberfläche leisten konnten.
- Workshop im Rahmen des Lehrprojekts „Digital Visual Studies" am kunsthistorischen Institut der Universität Zürich im Programm „Stärkung der digitalen Kompetenzen im Bildungsbereich“
- Workshop beim Schweizerischen Idiotikon in Zürich.
- Workshop am Trier Center for Digital Humanities.
Von Teilnehmern des o. g. Train-the-Trainer Workshops wurden/werden (abgesehen von dem bereits erwähnten DHd Workshop und den zahlreichen Veranstaltungen an der Universität Würzburg) bereits folgende Lehrveranstaltungen angeboten:
- Verschiedene Lehrveranstaltungen am Institut für Informations- und Sprachverarbeitung, LMU München.
- Zahlreiche Workshops am Leopoldina-Zentrum für Wissenschaftsforschung.
- Übung am Historischen Seminar der LMU München.
- Im Sommer 2020 bieten zwei der Teilnehmer im Rahmen der European Summer University in Digital Humanities der Universität Leipzig zwei mehrtägige OCR4all Workshops an.
Bekannte Nutzer und Anwendungsszenarien: Über den Hauptdistributionsweg DockerHub wurde OCR4all bislang über 1.600 Mal heruntergeladen (Stand März 2020). Da ein Nutzer mehrere Downloads tätigen, eine Instanz von beliebig vielen Nutzer verwendet werden und zudem das Tool auch vollumfänglich über den auf GitHub zur Verfügung gestellten Code problemlos selbst installiert werden kann, ist eine genauere Abschätzung der Nutzerzahl nicht möglich. Stattdessen soll im Folgenden ein Überblick über bekannte Nutzer und Anwendungsszenarien gegeben werden. Dabei werden nur gesicherte Einsätze (per Publikation oder direkten Kontakt) gelistet und die zahlreichen weiteren Aktivitäten, die sich z. B. über GitHub oder diverse Social Media Plattformen andeuten, ignoriert.
Neben den Anwendungen in den Kallimachos-Teilprojekten Narragonien digital und Anagnosis kommt OCR4all überdies an folgenden Lehrstühlen und Projekten an der Universität Würzburg zum Einsatz:
- “Camerarius digital” (Nachfolgeprojekt des DFG-Projekts Opera Camerarii, vgl. [Hamm et al. 2019].): Erfassung von 303 lateinischen und griechischen Drucken des deutschen Humanisten Joachim Camerarius (vgl. Abschnitt Evaluation; ein DFG-Sachbeihilfeantrag wurde gestellt). Antragsteller sind der Lehrstuhl für Klassische Philologie (Latinistik), der Lehrstuhl für künstliche Intelligenz und Wissenssysteme, der Lehrstuhl für Geschichte der Medizin und die Professur für deutsche Philologie.
- Lehrstuhl für Computerphilologie und Neuere Deutsche Literaturgeschichte:
- Massenerfassung von Frakturromanen des 19. Jh. (bereits über 800 Romane verarbeitet).
- Erkennung von Lyrikanthologien mit Gedichten des Realismus/Naturalismus (SPP Computational Literary Studies , Teilprojekt „Moderne Lyrik“).
- Aufbau eines Korpus von Heftromanen (Vorarbeit für Projektantrag).
- Aufbau eines Korpus von Novellen und Erzählungen (Habilitationsprojekt von Julian Schröter).
- Lehrstuhl für Deutsche Sprachwissenschaft:
- Erfassung diverser Quellen (Schwerpunkt 19. Jh.) zur Anreicherung der Würzburger Datenbank sprachlicher Zweifelsfälle ([ www.zweidat.germanistik.uni-wuerzburg.de ZweiDat]) (Projektantrag in Vorbereitung).
- Transkription von deutschsprachigen Frakturdrucken des 16. Jh. im Projekt Greifswald Digital.
- Erfassung von Reiseführern für diskurslinguistische Studien (Dissertationsprojekt von Miriam Reischle).
- Erkennung deutschsprachiger Drucktexte (größtenteils 17. Jh.), die alchemistische und astrologische Symbole enthalten (Dissertationsprojekt von Jonathan Gaede).
- Lehrstuhl für Französische und Italienische Literaturwissenschaft: Erfassung von französi-schen Handschriften der Frühen Neuzeit (Machbarkeitsstudie für Projektantrag).
- Lehrstuhl für Neuere Deutsche Literaturgeschichte I: Transkription ausgewählter Libretti der Hamburger Oper aus dem Zeitraum 1670-1728 (Vorbereitung für Projektantrag).
- Jean Paul Portal: OCR von Originaldrucken von Jean Paul im Rahmen des Teilprojekts „Flegeljahre“ (läuft am 01.04.2020 an).
- Lehrstuhl für vergleichende Sprachwissenschaft: OCR armenischer Texte des 19. Jahrhun-derts.
- Lehrstuhl für englische Sprachwissenschaft: Erfassung von englischen Zeitungstexten und Briefen des 19. und 20. Jahrhunderts.
Nationale und internationale Projekte und Anwendungen von OCR4all umfassen:
- Projekt MiMoText am Kompetenzzentrum der Universität Trier: Erfassung französischer Romane des 18. Jh.
- Monumenta Germaniae Historica: Lexika aus der Inkunabelzeit (Kooperation mit ZPD zur Vorbereitung eines LIS-Projektantrags).
- Max-Planck-Institut für Europäische Rechtsgeschichte: Erfassung rechtshistorischer Quellen (überwiegend frühneuzeitliche Drucke in verschiedensten Sprachen).
- Deutsches Historisches Museum Berlin: OCR von Archivalien des 19. und 20. Jh.
- Department of English, University of Bristol: The Literary Heritage of Anglo-Dutch Relations, 1050-1600.
- Universidad Nacional de Educación a Distancia (Madrid): [www.incunabula.uned.es Projekt] zur Erfassung lateinischer Texte des 15. und 16. Jh.
- Ältere Deutsche Philologie / Mediävistik, Universität Heidelberg: OCR verschiedener Texte Sebastians Brants um 1500.
- Kommission für bayerische Landesgeschichte an der Bayerischen Akademie der Wissenschaften: Erfassung verschiedenster Drucke und Schreibmaschinenerzeugnisse (u. a. Geschichtsbücher, Jahrbücher, Ortsnamenbücher, ...).
- Projekt WiTTFind am CIS der LMU München: Verarbeitung unterschiedlichen Materials, u. a. verstärkt Schreibmaschinenseiten.
- Martin-Luther-Universität Halle-Wittenberg: Digitalisierung von frühneuzeitlichen Lexika.
- Projekt Heinrich Wölflin – Gesammelte Werke des Kunsthistorischen Institut der Universität Zürich und des Max-Planck-Instituts für Kunstgeschichte, Bibliotheca Hertziana: Erfassung unpublizierter Handschriften (Proof of Concept in Kooperation mit dem ZPD).
- Projekt „Epigrāphia Carnāṭica digital“ der Universität zu Köln und der LMU München (OCR der dravidischen Sprache Kannada; DFG-Antrag gestellt, Kooperation mit ZPD intendiert).
- Humboldt-Universität zu Berlin, Institut für Archäologie: Erfassung koptischer Texte des 19. und 20. Jh.
- Städtisches Museum Bingen: OCR unterschiedlicher historischer Schriftstücke.
Zusammenfassung und Ausblick
Mit OCR4all wurde ein Werkzeug geschaffen, mit dem auch nicht-technische Nutzer überaus anspruchsvolles Material selbständig und mit höchster Genauigkeit per OCR erfassen können. Das Tool wird bereits jetzt in einer Vielzahl von Anwendungsszenarien weit über die Grenzen Würzburgs hinaus produktiv eingesetzt. Durch die feste Verankerung im ZPD wird die langfristige Weiterentwicklung, Wartung und Dissemination sichergestellt, sowie die Vernetzung und Schulung der OCR4all Community aktiv vorangetrieben. Dabei muss selbstverständlich stets ein besonderer Fokus auf die Ansprüche und Bedürfnisse nicht-technischer Nutzer gelegt werden. Neben einer stetigen Optimierung der vorhandenen Anleitungen steht dabei v. a. eine weitere Vereinfachung des Installationsprozesses durch die Verwendung von VirtualBox sowie die Integration von nutzerfreundlicheren Ausgabeformaten im Vordergrund. Letzteres wird derzeit im Rahmen eines DHd-geförderten Kleinprojekts der im Sommer 2019 gegründeten DHd Arbeitsgruppe OCR umgesetzt, in dem die Konvertierung des Entwicklerformats PageXML in die Nutzerformate TEI, ALTO und PDF vorangetrieben wird. Die Universität Würzburg ist sowohl in der AG prominent vertreten, als auch, in Form des ZPD, direkt an der Umsetzung des Projekts beteiligt. Aus technischer Sicht stellt, neben der intendierten Einbindung der im Rahmen von OCR-D entstandenen Lösungen (vgl. Abschnitt zur Abgrenzung von und Synergieeffekte mit OCR-D), der Ausbau zu einer „echten“ Serveranwendung den nächsten großen Schritt dar. Da sich bei der Entwicklung der Anwendung, aufgrund der teils sehr rechenintensiven Prozesse, zunächst die Nutzung durch einen einzelnen Anwender klar im Vordergrund stand, besteht in dieser Hinsicht noch Verbesserungspotential. So arbeitet das ZPD derzeit v. a. an einer mehrstufigen Nutzerverwaltung sowie einem komplexen Ressourcenmanagement, das ein einfaches und sicheres kollaboratives Arbeiten unter idealer Ausnutzung der jeweils vorhandenen Serverinfrastruktur in Aussicht stellt. Abgesehen von der bereits zur Verfügung stehenden Instanz des ZPD haben bereits mehrere Institutionen konkretes Interesse an der Einrichtung eines ähnlichen Systems geäußert. Des Weiteren wird v. a. die Entwicklung und Einbindung einer robusteren vollautomatischen Segmentierungsmethode sowie einer (semi)automatischen Nachkorrektur vorangetrieben.
Use Case 1: Narragonien 2.0
Unterstützung der Entwicklung von OCR4all
Der UseCase hat die Entwicklung von OCR4all kontinuierlich unterstützt. Neben der Bereitstellung von Narrenschiff-Digitalisaten und von händisch erstellten Ground-Truth-Daten hat das Narragonien-Team seine literaturwissenschaftliche Expertise in die Weiterentwicklung von OCR4all eingebracht: Mit den informatischen Kollegen wurden Fragen der Nutzerfreundlichkeit und Anwenderperspektive diskutiert, Optimierungen des Workflows erörtert und die Usability der Benutzeroberfläche geprüft. In Kooperation mit den Informatikern wurden Setup- und User-Guides in englischer und deutscher Sprache für nicht-informatische Nutzer verfasst und Guidelines für OCR4all erstellt (Layoutsegmentierung, Ground-Truth-Erstellung usw.). Zudem hat das Narragonien-Team mehrere aufwendige Evaluationsdatensätze erstellt (Text- und Layout-Ground-Truth), die für die Veröffentlichungen zu OCR4all verwendet wurden, u.a. für [Reul et al. 2019c], an denen die Narragonien-Mitarbeiter M. Wehner und Chr. Grundig beteiligt waren.
OCR-Erkennung von Narrenschiff-Ausgaben
Dank der Fortschritte von OCR4all konnte die Transkription von Narrenschiff-Drucken, die aufgrund der OCR-Probleme in der ersten Projektphase v.a. händisch erfolgen musste, weitgehend automatisiert werden. Indem man händisch korrigiertes Textmaterial zugrunde legte, wurden neue, sog. „gemischte Modelle” trainiert, die die Erkennung von neuen Narrenschiff-Ausgaben stark erleichterten ([Springmann und Lüdeling, 2017]). So konnten mit vergleichsweise geringem Aufwand mit OCR4all weitere Ausgaben / Bearbeitungen und mehrere Einzelexemplare des Narrenschiffs erschlossen werden. Es wurden dabei Genauigkeiten von bis zu 99,8% erreicht. Für die Frühdruckzeit empfiehlt sich die OCR nunmehr als texterschließende Standardtechnik, die auch von nicht-Informatikern erfolgreich genutzt werden kann.
Kollaboratives Arbeiten mit Semantic MediaWiki
Im „Narragonien“-Projekt wurden die erarbeiteten Narrenschiff-Texte in einem Semantic MediaWiki (SMW) erfasst, am Digitalisat korrigiert und zu Lesetexten normalisiert. Diese wurden mit einem übergreifenden Orts- und Namensregister sowie mit einem Quellenregister verknüpft (s.u. zu TA 1.2.1). Um die Langlebigkeit dieser Daten und ihre plattformübergreifende Weiterverwendung zu gewährleisten, wurde in Kooperation mit dem ZPD (H. Baier) eine Transformationsroutine entwickelt, die nach festgelegten Regeln aus den Daten des Semantic MediaWiki automatisch XML-Dateien im validen TEI-P5-Format generiert. Dieses TEI-P5-Subset fußt auf dem verbreiteten Basisformat des Deutschen Textarchivs und wurde gegenüber diesem um die TEI-Varianzauszeichnung erweitert. Das SMW hat sich auch für nicht-informatische Nutzer als intuitives Annotations-Tool bewährt. Aufgrund seiner Flexibilität, der leichten Bedienbarkeit und der TEI-Exportoption empfiehlt es sich als Hilfsmittel für kollaborative Texterfassung und grundständige Textauszeichnung. Das SMW wird in den Geisteswissenschaften, u.a. im DFG-Projekt ‚Opera Camerarii‘, bereits nachgenutzt (vgl. http://wiki.camerarius.de, [Baier, Hamm, Schlegelmilch 2019]).
Textkorpus: Europäische Narrenschiff-Ausgaben vor 1500
Der UseCase hat sich das literaturwissenschaftliche Ziel gesetzt, wichtige europäische Narrenschiff-Ausgaben vor 1500 digital zu erschließen (Publizierte Projektbeschreibung und Beispielanalyse bei [Grundig / Hamm / Walter 2017]. Zu späteren Narrenschiffen vgl. etwa [Hamm 2019]). Erschlossen wurden folgende Ausgaben:
- Sebastian Brant, ‚Narrenschiff‘, Basel 1494 (GW 5041): Digitalisat + Transkription + Lesetext
- Sebastian Brant, ‚Narrenschiff‘, Basel 1495 (GW 5046): Digitalisat + Transkription + Lesetext
- Sebastian Brant, ‚Narrenschiff‘, Basel 1499 (GW5047): Digitalisat + Transkription + Lesetext
- Bearbeitung des ‚Narrenschiffs‘, Nürnberg 1494 (GW 5042): Digitalisat + Transkription + Lesetext
- Bearbeitung des ‚Narrenschiffs‘, Straßburg 1494/5 (GW 5048): Digitalisat + Transkription + Lesetext
- Jakob Locher, ‚Stultifera Navis‘, Basel 1.3.1497 (GW 5054): Digitalisat + Transkription
- Jakob Locher, ‚Stultifera Navis‘, Basel 1.8.1497 (GW 5061): Digitalisat + Transkription + Lesetext
- Jakob Locher, ‚Stultifera Navis‘, Basel 1498 (GW 5062): Digitalisat + Transkription
- Niederdeutsche Bearbeitung des ‚Narrenschiffs‘, Lübeck 1497: Transkription + Lesetext
- Die Transkription dieser Ausgabe wurde freundlicherweise von dem Projekt „Mittelniederdeutsch in Lübeck“ (MiL; WWU Münster; Dr. Robert Peters, Norbert Lange) zur Verfügung gestellt. Im ‚Narragonien digital‘ wurde sie geringfügig überarbeitet und um eine Lesefassung ergänzt. Das Digitalisat wird zeitnah in die Präsentation eingebunden.
- Pierre Rivière. La Nef des folz, Paris 1497 (GW 5058): Digitalisat + Transkription + Lesetext
Die Transkriptionen bzw. Lesetexte umfassen jeweils ca. 350 Druckseiten, wurden in TEI-P5 kodiert und sind händisch nachkorrigiert. „Narragonien digital“ hat damit ein Textkorpus von 18 TEI-Textfassungen mit einem Gesamtvolumen von 5950 S. (ca. 3500 S. in frühneuhochdeutscher, ca. 350 S. in niederdeutscher, ca. 1400 S. in lateinischer und ca. 350 in französischer Sprache) erarbeitet. Aufgrund der sehr zeitaufwendigen Arbeiten an Register, Quellennachweisen und Variantenkodie-rung (s.o.) sowie aufgrund des Ausscheidens von Chr. Grundig (Vgl. [Grundig 2012], [Grundig 2016]. Die von J. Hamm betreute Dissertationsschrift von Christine Grundig, die u.a. das deutsche, lateinische und englische Narrenschiff behandelt, soll im Sommer 2020 eingereicht werden) sind die Abschlussarbeiten und Endkorrekturen an den restlichen Narrenschiff-Ausgaben noch nicht beendet. Für die französischen Ausgaben GW 5060 und GW 5065, für die niederländische Fassung GW 5066 und für die englische Bearbeitung (A. Barclay) liegen Transkriptionen und Lesetexte vor, doch TEI-Export und Schlusskorrektur stehen noch aus. Sie werden bis Ende 2020 nachgeholt. Die fertigen Narrenschiff-Texte sind bereits bzw. werden nach und nach in die Digitale Textpräsentation implementiert (s.u.) und als XML-Download verfügbar gemacht.
Digitale Textpräsentation im Internet
Die Projektergebnisse werden unter http://kallimachos.uni-wuerzburg.de/exist/apps/narrenapp/ verfügbar gemacht. Die Arbeitsversion dieser digitalen Textpräsentation wird momentan kontinuierlich verbessert und ergänzt, dann abschließend korrigiert und soll Ende 2020 freigeschaltet werden.
Diese digitale Präsentation der Narrenschiffe wurde vom ‚Narragonien digital‘-Team konzipiert und programmiert (wiss. Mitarb. D. Heublein, stud. Hilfskraft Y. Herbst). Ziel war es, einige bisher unedierte Narrenschiff-Texte erstmals zugänglich zu machen und an ihnen historische Text-, Bild- und Layouttransformationen der europäischen Narrenschiff-Tradition aufzuzeigen ([Burrichter 2017]; [Hamm 2017]). Diese Narragonien-Homepage wird im Sinne der Datenverfügbarkeit auf dem Kallimachos-Server gehostet. Ihr liegt eine eXist-Datenbank zugrunde, in der die aus dem Wiki exportierten TEI-Dateien der Narrenschiff-Ausgaben gespeichert werden. Eine in der Datenbank entwickelte Applikation bündelt alle Komponenten, die für eine Webpräsentation notwendig sind. Diese App ermöglicht die Darstellung der Daten in einem synoptischen Online-Viewer, der vier Funktionsbereiche umfasst:
- Paratexte und Metadaten: Einführungen in das Projekt, Metadaten der Narrenschiffe Forschungsbibliographie, Transkriptions- und Editionsrichtlinien, Register der Orte und Namen und der in margine zitierten Quellen, Downloadbereich (Verlinkung der Digitalisate und Bereitstellung der XML/TEI-Dateien mit Transkription und Lesetext).
- Präsentation der Lesetexte: Lesetexte mit den jeweiligen Digitalisaten; Verknüpfung der Orts- und Personennamen mit dem Gesamtregister; interlineare Anzeige von Auflagenvarianten, Presskorrekturen sowie Emendationen der Herausgeber; Kapitelverzeichnis; Suchfunktion.
- von Brants Narrenschiff (Basel 1495, GW 5046) mit den Textvarianten der ersten (Basel 1494; GW 5041) und der dritten Ausgabe (Basel 1499; GW 5047).
- der Nürnberger Bearbeitung (GW 5042)
- der Straßburger Bearbeitung (GW 5048)
- Synoptische Darstellung: Zur Präsentation der Einzeltexte tritt eine frei konfigurierbare Zwei-Fenster-Synopse. Sie erlaubt es, zwei beliebige Narrenschiffe bzw. zwei mediale Repräsentationen eines Narrenschiffs kapitelweise gegenüberzustellen. So lässt sich etwa das Digitalisat des Straßburger Narrenschiffs im linken und sein Lesetext im rechten Fenster anzeigen, so dass die vergleichende Lektüre in Bild und Text möglich wird. Es lassen sich aber auch z.B. in das linke Fenster das deutsche und in das rechte das lateinische Narrenschiff laden, so dass die lateinische Bearbeitung mit ihrer deutschen Vorlage vergleichbar ist. In der Synopse enthalten sind, jeweils mit Transkription und Lesetexte: GW 5041, GW 5042, GW 5046, GW 5047, GW 5048. Die anderen erarbeiteten Textfassungen werden zeitnah eingestellt. Durch den modularen Aufbau der eXist-Applikation ist die Synopse auch für andere digitale Editionsprojekte nachnutzbar.
- Die Suchfunktion umfasst die Textsuche in einem Einzeltext, ermöglicht aber auch eine ausgabenübergreifende Layoutsuche im Sinne einer Filterung nach Layoutbereichen. So lassen sich etwa zu allen Narrenschiffen die Holzschnitte zum 3. Kapitel oder die Mottoverse zu Kap. 12 anzeigen. Veränderungen im Layout und die „intermediale Varianz“ ([Hamm 2016]) der Narrenschiff-Überlieferung werden so darstellbar und leichter untersuchbar.
Die Präsentation der europäischen Narrenschiffe, die bis Ende 2020 um die restlichen Texte erweitert werden soll, geht über das übliche Format einer „digitalen Edition“ weit hinaus. Es handelt sich um ein integriertes Tool, das Texte nicht nur anzeigt, sondern in verschiedenen medialen Ausprägungen präsentiert und zugleich ihre überlieferungsgeschichtliche Bewegung darstellbar und nachvollziehbar macht. Ergebnisse aus dieser vergleichenden Narrenschiff-Analyse wurden von der Projektgruppe in Vorträgen präsentiert und in Aufsätzen publiziert, vgl. zuletzt u.a. [Burrichter 2019a], [Burrichter 2019b], [Burrichter 2019c], [Hamm 2019], [Hamm i.Dr.]. Mit dem Viewer und der online-Präsentation der Narrenschiffe erhält die Forschung nicht nur Zugriff auf bisher unedierte Narrenschiff-Ausgaben, sondern zudem ein innovatives Hilfsmittel für den philologischen Textvergleich und für die Analyse der frühneuzeitlichen Narrenliteratur in Europa.
Projektanträge, Tagungen, Vorträge usw.
(Publikationen s. Literaturverzeichnis)
Folge-Projektanträge, Weiterverwendung der Projektergebnisse
- Paratextualität und Übersetzungspraxis in der belehrenden Literatur in der Frühen Neuzeit / Paratextualité et littérature didactique au début de l’ère moderne. Deutsch-Französischer Antrag bei der DFG im Programm DFG-ANR, Antragstellerinnen Brigitte Burrichter und Anne-Laure Metzger-Rambach (Université Bordeaux-Montaigne), eingereicht am 12. März 2020.
- Camerarius digital. Antrag bei der DFG im Programm Sachbeihilfe. Antragsteller Thomas Baier, Joachim Hamm, Frank Puppe, Ulrich Schlegelmilch, eingereicht am 7. Februar 2020 [Nachfolgeprojekt zu ‚Opera Camerarii‘; Einsatz von Semantic MediaWiki sowie von OCR4all für griechischer und lateinischer Frühdrucke im Humanismus]
- Praktika für OCR4all im Masterstudiengang „Mittelalter und Frühe Neuzeit“ der Univ. Würzburg
- Aufnahme der korrigierten OCR-Transkriptionen von mehreren Narrenschiffen in das "GT4HistOCR dataset", das trainierte OCR-Modelle für die Texterkennung frühneuzeitlicher Drucke zur Verfügung stellt [Springmann et al. 2018].
Tagungen, Workshops, Exkursionen der Projektgruppe
- Bordeaux, 31.5.bis 1.6. 2018: Die von Brigitte Burrichter und Anne-Laure Metzger-Rambach veranstaltete, internationale Tagung Les Nefs des folz en Europe fand vom 31.5. bis 1.6.2018 an der Universität Bordeaux statt. Gegenstand waren die Bearbeitungen des Narrenschiffs und der ‚Stultifera navis‘ im frühneuzeitlichen Europa.
- Würzburg, 24.5. bis 25.5. 2019: Workshop zum aktuellen Stand der geplanten online-Edition. Teilgenommen haben als Gäste Anne-Laure Metzger-Rambach (Bordeaux), Micheal Rupp (Leipzig) und Thomas Wilhelmi (Heidelberg) sowie alle Mitarbeiter der Würzburger Arbeitsgruppe.
- Oberrhein, 31.10. bis 2.11. 2019: Exkursion nach Straßburg und Basel, organisiert von Thomas Wilhelmi (Heidelberg). Teilgenommen haben die Mitarbeiter der Würzburger Arbeitsgruppe.
Vorträge:
- Joachim Hamm: "Gen Narragonien". Sebastian Brants 'Narrenschiff' (1494) und seine deutschsprachigen Bearbeitungen im 16. Jahrhundert. Gastvortrag an der Univ. Braunschweig, 16.4.2019.
- Brigitte Burrichter: Sebastian Brant im Kontext. Workshop an der Ecole Normale Supérieure de Paris, 11. Februar 2019.
- Brigitte Burrichter: „Les Nefs des fous dans le contexte européen“, Vortrag im Rahmen der Tagung „À la recherche de Sébastian Brant (1457-1541), Straßburg, 8. Februar 2019
- Joachim Hamm: Narragonien digital. Gastvortrag an der Univ. Saarbrücken, 14.6.2018.
- Brigitte Burrichter: Les Nefs des folz en numérique. Une édition en ligne des Nefs européennes. Vortrag auf der Tagung "Les Nefs des folz en Europe" (Bordeaux), 31.5.-1.6.2018.
- Raphaëlle Jung: Le chapitre B99 de la Nef des fous – une analyse comparée. Vortrag auf der Tagung "Les Nefs des folz en Europe" (Bordeaux), 31.5.-1.6.2018.
- Christine Grundig: « Here maketh myne Autour a specyall mencion – Konzepte von Adaptation und Autorschaft in den englischen ‘Narrenschiff’-Bearbeitungen von Alexander Barclay und Henry Watson. Vortrag auf der Tagung "Les Nefs des folz en Europe" (Bordeaux), 31.5.-1.6.2018.
- Joachim Hamm: Varianz und Autorschaft. Zu den Basler Ausgaben der ‚Stultifera navis’. Vortrag auf der Tagung "Les Nefs des folz en Europe" (Bordeaux), 31.5.-1.6.2018.
- Dominika Heublein: Argumentauszeichung in TEI. Vortrag auf der Tagung "Les Nefs des folz en Europe" (Bordeaux), 31.5.-1.6.2018.
- Julius Goldmann: Das Bild im Text - Bezüge zwischen Narration und Holzschnitt. Vortrag auf der Tagung "Les Nefs des folz en Europe" (Bordeaux), 31.5.-1.6.2018.
- Joachim Hamm (gemeinsam mit Frank Puppe, Nico Balbach): Interne Kollation und Varianzanalyse in Narragonien digital 2.0. Vortrag beim Philtag 15, Univ. Würzburg. 10.4.2018.
- Brigitte Burrichter: Sebastian Brant im Kontext. Workshop an der Ecole Normale Supérieure de Paris, 5. Februar 2018.
- Joachim Hamm: Gelehrte Narreteien. Das 'Narrenschiff' von Sebastian Brant und das Würzburger Projekt "Narragonien digital". Vortrag im Alten Rathaus von Miltenberg in der Vortragsreihe des Unibun-es, 16.1.2018.
- Joachim Hamm: Eine integrierte digitale Edition der 'Narrenschiffe' vor 1500. Vortrag in der Vortragsreihe des Akademieprojekts "Der Österreichische Bibelübersetzer", Univ. Augsburg, 30.11.2017.
- Brigitte Burrichter: Patrice et les Dernydes. Les versions françaises de la Nef des fous de Sebastian Brant. Vortrag bei der Tagung Translatio et histoire des idées an der Universität Warschau vom 19. bis 21. Oktober 2017.
- Joachim Hamm: Unfeste Texte? Überlegungen zu den ‚Narrenschiffen‘ der Frühen Neuzeit. Vortrag beim Internationalen Symposiums "Das 15. Jahrhundert", Melanchthon-Akademie Bretten, 12. bis 14. Oktober 2017.
Use Case 5: Anagnosis 2.0
Mit dem Training einer OCR auf griechischen Drucken von Aldus Manutius wurde zum ersten Mal versucht, die stark von handschriftlichen Ligaturen durchsetzten frühneuzeitlichen Drucke griechi-scher Klassiker zu erfassen. Die erste Phase der Arbeiten am Use Case Anagnosis wurde einer Ab-schätzung des Umsetzungsaufwandes für die vorgesehenen Arbeitsschritte anhand einer Auswahl an repräsentativen Ausgaben gewidmet. Voraussetzung dafür war die Anfang Oktober 2017 erfolgte Beschaffung des dazu benötigten Materials in Form hochauflösender Bildaufnahmen von den jeweiligen Host-Institutionen (Bayerische Staatsbibliothek, Universitätsbibliothek Jena). Bei der Auswahl der zu testenden Ausgaben wurde darauf geachtet, dass diese jeweils wenigstens bereits in Volltextdatenbanken vorhanden sind oder als älteste Quelle für den betreffenden Text gelten (da die handschriftliche Vorlage verloren ist). Darüber hinaus musste die Auswahl die verschiedenen Schrifttypen repräsentativ abbilden, die im Tätigkeitszeitraum der Werkstatt des Aldus Manutius (sowohl zu seinen Lebzeiten als auch nach dessen Tod) für den Satz griechischer Schrift verwandt wurden. Es wurden demnach folgende Drucke als Textgrundlage ausgewählt: Epistolae diversorum philosophorum, oratorum, rhetorum (Manutius 1499; ISTC ie00064000, GW 09367). Schrifttyp 7:114Gr nach GW; Galeni opera omnia (Manutius, Andreas Asolanus 1525), s. dazu (perilli2012); Schrifttyp 9:84Gr nach GW.
Mit der Arbeit an der Texterkennung der frühen Drucke wurden zwei sich gegenseitig bedingende Ziele verfolgt: (1) Erreichung einer Mindesterkennungsrate, welche für die das Sequence Alignment genügt (s. unten); (2) Verfeinerung der OCR-Ergebnisse, so dass sie wiederum als Ground Truth für die Weiterentwicklung des Erkennungsalgorithmus eingesetzt werden können. Beide Ziele konnte im Berichtszeitraum umgesetzt werden. An der Verfeinerung der OCR-Erkennung wurde durch manuelle Eingabe der Ground Truth, wobei insgesamt ca. 550 Zeilen GT erstellt wurden, dann durch Nachkorrektur der jeweils erstellten Ergebnisse gearbeitet. Die Eingabe der Ground Truth zum Training der verschiedenen Modelle erfolgte zunächst durch OCR4All (s. Kap. 1.1). Die erzielte Erkennungsgenauigkeit schwankt in Abhängigkeit der Qualität der Vorlagen stark, reicht aber meist für das Sequence Alignment aus, d.h. dem Auffinden eventueller bereits transkribierter Texte aus einer Datensammlung. Eine Übersicht findet sich im Poster „Aligning extant transcriptions of documentary and literary papyri with their glyphs“ (Link)
Der Workflow des Sequence Alignment Tools [Bald et al. 19] besteht aus folgenden Schritten. Vor dem Sequence Alignment werden die durch Texterkennung erstellten Zeilen normalisiert (Entfernen der Diakritika), um die Chance zu erhöhen, jeweils passende Entsprechungen im Vergleichstext zu finden. Durch eine Ähnlichkeitsmessung der Textanfänge wird zunächst das Vergleichsdokument in der Volltextdatenbank mit der höchsten Entsprechung vorausgewählt. Anschließend wird jede zu transkribierende Zeile (im folgende "OCR-Zeile" genannt) in N-Gramme aus fünf Zeichen segmentiert und diese im Vergleichstext (im folgenden Ground-Truth bzw. GT-Zeile genannt) gesucht. Aus lokalen Clustern von Treffern bei der N-Gramm-Suche werden Kandidaten generiert, die hinsichtlich der Anzahl der gefundenen N-Gramme und einer Ähnlichkeitsmessung bewertet werden. Aus dieser Einschätzung ergibt sich der jeweils beste Kandidat. Der globale (über die volle Länge der Zeilen alignierende) Needleman-Wunsch-Algorithmus zum Vergleich zweier Zeichenketten richtet die OCR-Zeile und den besten GT-Kandidaten so aufeinander aus, dass möglichst viele Zeichen übereinstimmen. Fehlende Zeichen (z. B. ein Komma) in der OCR-Zeile im Vergleich zur GT-Zeile werden durch Trennstriche (-) aufgefüllt, die Lücken markieren. Dabei wird die Länge der OCR-Zeile an die Länge der GT-Zeile angepasst. Die Ergebnisse des Alignments dienen anschließend als Input für das Korrektur-Tool (s. Abb. 6). Dieses zeigt die originale Textzeile mit der (fehlerhaften) OCR-Transkription und der besten mittels Alignments gefundenen Zeile eines Vergleichstextes, wobei die Unterschiede hervorgehoben werden. Die Nutzer können dann durch Auswahl von Buchstaben entscheiden, welche die korrekte Transkription ist (oder auch den Vergleichstext als Ganzes übernehmen). Abb. 6 zeigt ein Beispiel der Korrektur-Oberfläche des Alignment-Tools.
Abbildung 6: Korrektursicht des OCR-Textkorpus-Aligner für zwei griechische Textzeilen: Oben jeweils die Originalzeile, darunter die durch Alignment ausgewählter Vergleichszeile ("GT") und unten die durch OCR transkribierte Zeile, wobei durch farbige Markierungen die Ground Truth festgelegt wird (ganz unten ein virtueller Editor mit domänenspezifischen Sonderzeichen).
Angesichts der positiven Ergebnisse bei der Bearbeitung frühneuzeitlicher Drucke wurde die Synergie von Texterkennung mittels OCR4all und Alignment-Tool vor allem in der letzten Projektphase zur Herstellung von Ground Truth in einer griechischen Handschrift aus dem 16. Jahrhundert (BML, Plut. 75.7) eingesetzt, die noch nie zuvor vollständig transkribiert wurde. Ein solches historisches Dokument stellte somit ein interessantes Experimentierfeld für die im Teilprojekt entwickelten Funktionen dar. Das Hauptkriterium für die Auswahl dieser Handschrift war die Tatsache, dass sich die Form der Buchstaben im Manuskript nicht wesentlich vom Druckbild der in der Anfangsphase verwendeten Manutius-Ausgaben unterscheidet. Die Ergebnisse dieses ersten Versuchs geben Anlass zur Hoffnung, dass durch die systematische und integrierte Anwendung beider Verfahren (Texterkennung u. Aligment) das Ground Truth wesentlich schneller als bei einer manuellen Bearbeitung hergestellt werden kann, was wiederum zu einer bedeutenden Optimierung der Texterkennung noch nicht transkribierter Passagen beitragen kann.
Die Arbeiten zur Integration des Alignment-Tools in OCR4all wurden begonnen, konnten aber im Berichtszeitraum nicht abgeschlossen werden. Dazu ist aus Gründen der Software-Kompatibilität eine weitgehende Neuimplementierung des Alignment-Tools erforderlich. Derzeit muss der Schritt des Alignments einer OCR-Transkription mit auszuwählenden Vergleichstexten in einer separaten Applikation durchgeführt werden. Das Ergebnis kann hochgeladen und im LAREX-Editor von OCR4all zwecks Korrektur nachbearbeitet werden.
1.2 AP2: Information Extraction
TA 1.2.1: Entwicklung von Verfahren zur semi-automatischen Verschlagwortung
Die konzeptuelle Vorarbeit im UseCase “Narragonien” wurde dahingehend weitergeführt, dass eine (händische und analoge) Auszeichnung von geeigneten Begriffen an einem Text erprobt wurde. Die Ausweitung auf andere Texte und vor allem die angedachte technische Unterstützung sind komplex, da die Narrenschiff-Texte in einer älteren Sprachstufe geschrieben sind, für die es keine Ontologien gibt und die Übersetzung der Begriffe in die anderen Sprachen sich nicht auf Wörterbücher stützen kann. Angedachte Lösungen dieses Problems – etwa selbst generierte und bearbeitete Wörterbücher auf der Basis der Texte als Ausgangspunkt – waren aufgrund der personellen Ressourcen nicht realisierbar. Letztlich fiel die Entscheidung, alle Kräfte auf die Entwicklung des Viewers zu konzentrieren, damit dieser zum Projektende zur Verfügung steht. Die Arbeit an der Verschlagwortung soll nach Projektende weitergeführt werden. Ungeachtet des noch fehlenden Sachregisters wurden alle Narrenschiffe durch ein Personen- und Ortsregister erschlossen.
Hierzu wurden die Lesetexte (s.o. 1.1 AP1 “UseCase 1: Narragonien”) mit einem übergreifenden Gesamtregister verknüpft, das im Semantic MediaWiki erstellt wurde und insg. 975 Orts- und Personennamen enthält. Jeder Registereintrag wurde mit der GND und mit fachspezifischen Personen- und Ortslexika verknüpft und vom ‚Narragonien‘-Team ausführlich beschrieben. Dieses digitale Register geht über den üblichen verweisenden Paratext des Printmediums weit hinaus:
- Zum einen bilden die digitalen Erläuterungen gleichsam einen Kommentar zu den Narrenschiffen in nuce, da sie die komplexen Anspielungen der Narrendichter auf biblische, historische und literarische Personen und Orte transparent und nachvollziehbar machen. Dies folgt dem Vorbild der Printausgabe des deutschen Narrenschiffs [Knape 2005], dessen Lemmatazahl freilich erheblich erweitert wurde.
- Zum anderen umfasst das Online-Register nicht nur ein einzelnes, sondern alle digital erschlossenen Narrenschiffe, integriert also die deutsche Originalausgabe ebenso wie die deutschen, niederdeutschen, englischen, französischen, niederländischen und lateinischen Bearbeitungen. Indem in jedem Registereintrag dank der Wikitechnik die Belegstellen in diesen Narrenschiffen automatisch aufgelistet und im Viewer angezeigt werden, kann der Nutzer zur entsprechenden Textstelle springen und sofort ersehen, welche Narrenschiffe den jeweiligen Personen- bzw. Ortsnamen enthalten - und welche ihn nicht aus ihrer Vorlage übernehmen wollten.
Das Orts- und Namenregister eignet sich für die Nachnutzung durch andere geisteswissenschaftliche Semantic MediaWiki Projekte, die sich mit der Frühen Neuzeit beschäftigen. Dies gilt auch für das Belegstellenregister: Die Latinistinnen Rena Buß und Helena Wächter aus dem ‚Narragonien‘-Team haben die ca. 1400 (!) lateinischen Quellenverweise (loca concordantia), die Sebastian Brant in die 'Stultifera navis' eingefügt hatte, einzeln identifiziert und im Wiki mit dem Volltext der zitierten Textstelle (v.a. Bibel, antike Klassiker, Rechtstexte) verknüpft. Diese umfangreiche Sammlung lässt sich in zwei Richtungen verwenden. Folgt man den Links im Narrenschiff-Text, so wird der jeweilige Quellenverweis aufgelöst und man liest das Bibel- bzw. Klassikerzitat im Volltext. Geht man vom Register aus, so lässt sich eruieren, wie viele und welche Narrenschiffe auf eine bestimmte Belegstelle verweisen, wo also z.B. an die biblische Erzählung vom Armen Lazarus erinnert oder aus Ciceros Verresreden zitiert wird.
Die beiden Register sind erste Bausteine zu einem Gesamtkommentar der frühneuzeitlichen Narrenschiffe, der seit den Anfängen der Forschung im frühen 19. Jahrhundert ein Desiderat ist. Sie nutzen die Technik der semantischen Verknüpfung, die ein Semantic MediaWiki bereitstellt. Diese Verknüpfungen wurden durch die im Projekt entwickelte Transformationsroutine in das TEI-Format übertragen und in die digitale Präsentation der Narrenschiffe übernommen.
TA 1.2.2: Workflow zur Varianzanalyse
In Kooperation mit dem UseCase „Narragonien digital” wurde der „Variance-Viewer” entwickelt (s. die ergänzende Beschreibung unten zu “Use Case 1: Narragonien digital 2.0”). Es handelt sich um ein Open-Source-Tool, das Differenzen zwischen zwei Texten auf Zeichenebene findet und in verschiedene Kategorien differenziert und visualisiert, die die Nutzer über eine Konfigurationsdatei selbst definieren können [Balbach et al. 2020]. Dadurch sollen sie in die Lage versetzt werden, sich schnell einen Überblick über die wesentlichen Unterschiede zwischen Texten zu machen und systematisch bedingte Unterschiede (z.B. bezüglich Normalisierung von Texten) auf einen Blick zu erkennen. Derzeit kann der Variance-Viewer auf Basis eines generischen Konzeptes von Einfügungen, Ersetzungen und Löschungen folgende Kategorien von Unterschieden erkennen (vgl. Abb. 7):
Abbildung 7: Vergleich des edierten Lesetextes der Narrenschiff-Ausgabe GW5041 mit dem Ergebnis der OCR auf dem Originaltext einer anderen Druckausgabe, wobei die Änderungen sowohl OCR-Fehler als auch Normalisierungen der Schrift im Lesetext umfassen. Dies ist durch Hervorhebung der Änderungstypen in verschiedenen Farben leichter nachvollziehbar (Erläuterung der Typen im Text). Unten eine Statistik, die die 6523 gefundenen Änderungen nach Änderungstypen aufschlüsselt. Der Gesamttext umfasste 150 Seiten mit 4200 Zeilen, 26000 Wörtern und 121000 Zeichen und die zugehörige Konfigurationsdatei ("Settings") ca. 100 Zeilen. Für diese Analyse brauchte der Variance-Viewer in dem serverseitig ausgeführten Demo-Modus im Web ca. 25 Sekunden (für intensive Nutzung sollte der Open Source Code lokal installiert werden https://github.com/cs6-uniwue/Variance-Viewer
- Satzzeichen (Punctuation): Die Änderung bezieht sich nur auf ein Satzzeichen (. , ; - ? ! usw.).
- Grapheme (Graphemics): Die Änderung bezieht sich nur auf bestimmte Schreibweisen (ae ä; ue ü; oe ö; ss ß; Groß/Kleinschreibung; th t; usw.).
- Abkürzungen (Abbreviations): Die Änderung bezieht sich nur auf Abkürzungen (z.B. Dr. Doktor; Hr. Herr Herrn; usw.).
- Leerzeichen im Wort, die ein Wort in zwei oder mehrere Wörter auftrennen. (Separation). Diese Option ist technisch aufwändiger, weil nicht einzelne Wörter, sondern Wortgruppen miteinander verglichen werden müssen.
- Inhaltsänderungen mit nur einem Zeichen Unterschied (OneDifference), die nicht in der Graphem-Liste enthalten sind und anders bewertet werden als komplexere Änderungen.
- Inhalt (Content): Alle übrigen Änderungen, die keiner der obigen Kategorien zugeordnet werden können einschließlich Hinzufügen oder Löschen sowie Änderungen, bei denen mehr als eine Änderung der obigen Typen gleichzeitig vorkommt.
Zusätzlich wurden prototypisch auch typographische Änderungen analysiert, die nicht den Inhalt, sondern das Layout betreffen, wobei zunächst nur das TEI-Element „rend” mit entsprechenden Attributen (kursiv; gesperrt; usw.) analysiert wird und angezeigt wird.
Der „Variance Viewer" hat sich in der Praxis der Varianzanalyse insb. im UseCase „Narragonien digi-tal” (s.u. zu „UseCase 1”) bewährt, nicht zuletzt, weil er die festgestellten Zeichenunterschiede automatisch zuvor festgelegten Typen von Varianz zuweisen kann (z.B. Varianz in Interpunktion, Graphematik / Abbreviaturen usw.) und die Varianzdarstellung durch die Markierung dieser Typen erheblich übersichtlicher macht. Der Variance-Viewer wurde wegen seiner einfachen Bedienung auch außerhalb des Kallimachos-Projektes eingesetzt, u.a. im Richard Wagner Schriften Projekt.
TA 1.2.3: Sequence Alignment
Die Arbeiten zum Sequence Alignment erfolgten in Kontext des Use Case 5 Anagnosis (s.a.)