Kallimachos II (Eingehende Darstellung)

1. Verwendung der Zuwendung und Aufzählung der wichtigsten wissenschaftlich-technischen und anderer Ergebnisse.

Ein Schwerpunkt des Verbundprojektes war die OCR-Optimierung und die Unterstützung der entsprechenden Use Cases Narragonien und Anagnosis. Hier wurden im Projektverlauf verschiedene Techniken implementiert und erprobt. Mit der Bereitstellung des semi-automatischen Open Source Tools OCR4all wurde ein Durchbruch erzielt, der erstmals die Digitalisierung früher Drucke mit vertretbarem Aufwand erlaubt. OCR4all wurde nicht nur in Kallimachos intensiv genutzt, sondern hat darüber hinaus auch international bereits eine größere Verbreitung gefunden (s. AP1). Auch die anderen Teilprojekte konnten erfolgreich abgeschlossen werden. Die folgende Darstellung der erzielten Ergebnisse über-nimmt die Gliederung des Antragsdokumentes, so dass für jedes Arbeitspaket ein Vergleich der Ziele und der Ergebnisse leicht nachvollziehbar ist.

1.1 AP1: OCR-Optimierung

TA 1.1.1: Automatische Segmentierung

Der OCR-Workflow lässt sich in vier Hauptschritte einteilen: Vorverarbeitung, Segmentierung, Texterkennung, Nachkorrektur (s. unten Abb. 1).

Wir beschreiben die Segmentierung im Kontext des OCR-Workflow-Tools OCR4all (s. TA 1.1.2).

TA 1.1.2: Ausbau Offizinansatz und Weiterentwicklung in OCR4all

Der Offizinansatz, der die mühselige und zeitaufwändige Identifizierung einzelner werkstattspezifischer Drucktypen für die OCR-Erfassung vorsah, wurde fallen gelassen, da die OCR-Erkennung mit neuronalen Netzen in LSTM-Architektur keine Segmentierung von Einzelzeichen erfordert. Stattdessen werden Drucke mit Hilfe gemischter Modelle transkribiert, die auf einer Vielzahl von Drucktypen trainiert wurden. Anschließend werden einige Seiten nachkorrigiert und auf dieser Grundlage ein werkspezifisches Modell trainiert, mit dem anschließend der gesamte Druck transkribiertund abschließend korrigiert wird. Diese Vorgehensweise stellt eine sehr zeit- und kostensparende Variante gegenüber einer rein händischen Transkription dar und dürfte für alte Drucke die derzeit effizienteste Vorgehens-weise sein. Entsprechend hat das komfortable Workflow-Tool OCR4all [Reul et al.2019c] bereits eine sehr gute nationale und internationale Resonanz und auch Verbreitung gefunden. Im Folgenden werden die Teilschritte des Workflows und die Resonanz ausführlicher dargestellt.

Semi-automatisches Transkriptionstool OCR4all für alte Drucke

Um den vorgestellten Ansatz einer möglichst breiten Nutzergruppe zur Verfügung zu stellen, wurde das Tool OCR4all entwickelt und frei auf GitHub zur Verfügung gestellt. Die Motivation hinter OCR4all ist, dass es mittlerweile einige Open Source Tools gibt, die zwar (sogar auf sehr alten und anspruchsvollen Material) hervorragende Ergebnisse liefern, deren Anwendung allerdings unerfahrene, nicht-technische Nutzer schnell überfordern kann. Dies liegt insbesondere daran, dass viele Anwendungen ausschließlich über die Kommandozeile bedient werden können und teils schwierig zu installieren sind. Auch die Kombination verschiedener Einzeltools zu einer zusammenhängenden Pipeline ist häufig, aufgrund variierender Datenformate, nicht trivial. OCR4all versucht diese Lücke zu schließen, indem es einen vollständigen OCR-Workflow in einer einzigen Docker-Anwendung oder alternativ Virtual Box kapselt, die sehr simpel installiert werden kann.

Das Tool nimmt dem Nutzer die Verwaltung der Daten ab und kann komfortabel über eine übersichtliche grafische Weboberfläche gesteuert werden. Ziel ist es, auch nicht-technischen Nutzern eine Möglichkeit zu geben, selbst die ältesten gedruckten Werke eigenständig, mit überschaubaren Zeitaufwand und in höchster Qualität zu erfassen. Neben dem bekannten OCRopus und dem im Projekt entstandenen LAREX wurde auch das von Christoph Wick am Lehrstuhl für Künstliche Intelligenz entwickelte Open Source OCR Tool Calamari bereits vollständig in OCR4all und den dort enthaltenen Workflow integriert. Anders als OCRopus setzt Calamari bei der Zeichenerkennung auf eine tiefe Netzstruktur mit mehreren versteckten Schichten (Deep Learning), was deutlich höhere Erkennungsraten zur Folge hat ([Wick et al.2018]). Neben dieser technischen Weiterentwicklung wurden auch weitere methodische Verbesserungen wie Voting [Reul et al.2018a], Pretraining [Reul et al.2018b] und Datenaugmentierung integriert, deren Verwendung die Fehlerrate noch einmal deutlich reduziert [Reul et al.2018c, Wick et al.2020].

Workflow

Ein typischer OCR-Workflow lässt sich grundsätzlich in vier Hauptschritte unterteilen (s. Abbildung 1), deren Ziele, Herausforderungen und derzeitige Umsetzung in OCR4all im Folgenden vorgestellt werden.

Abbildung 1: Hauptschritte eines typischen OCR Workflows. Von links nach rechts: Eingabebild, Vorverarbeitung, Segmentierung, Texterkennung, Nachkorrektur

Vorverarbeitung: In diesem ersten Schritt werden die Eingabebilder in Hinblick auf die weitere Verarbeitung aufbereitet. Dies schließt sowohl eine Binarisierung (Umwandlung in ein Schwarzweißbild) als auch ein Geradestellen der Scanseite ein. Auch eine vorherige Trennung von zusammen gescannten Doppelseiten oder das Aufrechtstellen quer erfasster Scanseiten ist üblich. Die Binarisierung und das Geradestellen wird von einem Skript aus der OCRopus Toolbox zuverlässig erledigt. Prinzipiell kann OCR4all auch mit Doppelseiten oder quer gescannten Seiten umgehen, jedoch wird eine Trennung und ein Aufrechtstellen empfohlen, z. B. durch das frei verfügbare und gut dokumentierte Tool ScanTailor (aufgrund fehlender Webgängigkeit nicht sinnvoll in OCR4all integrierbar).

Segmentierung: Aufgabe dieses Schritts ist die Unterteilung der Scanseite in kleinere Einheiten. Dabei sind, abhängig vom Material und den individuellen Anforderungen des Nutzers, sehr unterschiedliche Ausprägungen möglich. So kann es z. B. ausreichen, lediglich die Regionen, die Text enthalten, zu iden-tifizieren und vom Rest (Bilder, Noise etc.) zu trennen. Am anderen Ende des Spektrums steht eine feingliedrige semantische Auszeichnung (s. Abbildung 2), die nicht nur Text-und Bildregionen unter-scheidet, sondern v. a. ersteren noch weitereSubtypen zuweist (Fließtext, Überschrift, Marginalie, etc.; wiederum stark nutzer-und materialabhängig). Identifizierte Textregionen müssen anschließend in einzelne Textzeilen aufgespalten werden, da diese die benötigte Eingabe für moderne OCR-Engines darstellen.

Abbildung 2: Segmentierung einer komplexen Seite des Narrenschiffs inklusive präziser semantischer Auszeichnung und exakter Erfassung der Lesereihenfolge

Für diesen überaus anspruchsvollen Schritt stellt OCR4all derzeit zwei Submodule zur Verfügung, um sich optimal an die Ansprüche der jeweiligen Nutzer sowie den Eigenschaften und Herausforderungen des vorliegenden Materials anzupassen. Zum einen kommt das eigens entwickelte LAREX-Tool (s. u.) zum Einsatz, dessen semi-automatischer Ansatz sich speziell für Nutzer eignet, die an einem zu 100% korrekten Ergebnis interessiert sind, inklusive einer individuellen und detaillierten semantischen Auszeichnung. Zum anderen wird für die vollautomatische Anwendung eine sogenannte Dummysegmentierung angeboten, die weder eine semantische Auszeichnung noch ein explizites Markup von Bildern oder anderen Nicht-Text-Regionen vornimmt, sondern sich direkt auf die Detektion von Textzeilen konzentriert. Für diesen Zeilensegmentierungsschritt kommt wiederum ein leicht modifiziertes OCRopus-Skript zum Einsatz, das, anders als die Originalversion, keine tatsächlichen Zeilenbilder abspeichert, sondern eng an den Text anliegende Polygone generiert, die dann in der entsprechenden PageXML Datei abgelegt werden können.

Texterkennung: Aus den Textzeilen kann nun der darin abgebildete Text extrahiert werden. Dazu nutzen OCR-Engines sogenannte Modelle. Generell wird zwischen gemischten und werk-oder typenspezifischen Modellen unterschieden. Erstere werden im Normalfall auf einer Vielzahl ähnlicher Typen trainiert und können dann out-of-the-box (ohne weiteres werkspezifisches Training und somit ohne weiteres Erstellen von Trainingsdaten) auf ungesehenes Material angewendet werden. Dieses Vorgehen ist umso vielversprechender, je einheitlicher die Typographie des vorliegenden Materials ist. Während man bei moderner Schrift, aber z. B. auch bei Frakturschriften des 19. Jahrhunderts, auf sehr niedrige Fehlerraten hoffen kann (vgl. Evaluation in Tabelle 1), können diese bei zunehmendem Alter des Materials und insbesondere bei Inkunabeln keineswegs erwartet werden. Abhilfe kann durch werksspezifische Modelle geschaffen werden, zu deren Erstellung werksspezifische Ground Truth benötigt wird, die durch manuelle Korrektur der mit gemischten Modellen transkribierten Texte erzeugt werden muss. Selbstverständlich bedeutet dies zusätzlichen Aufwand, der aber aufgrund der besseren Erkennungsgenauigkeit in vielen Anwendungsfällen für eine ausreichende Qualität notwendig ist.

Die derzeit in OCR4all zum Einsatz kommende OCR-Engine ist das eigens entwickelte Calamari, das sowohl für die Erkennung als auch für das Training eigener Modelle zum Einsatz kommt. Hinsichtlich der Bedienung durch nicht-technische Nutzer stellte speziell der Trainingsschritt in seiner Implementierung eine große Herausforderung dar, da sämtliche oben erwähnten methodischen Erweiterungen unterstützt werden sollten, jedoch ohne die Nutzer zu überfordern.

Nachkorrektur: Da trotz großer Fortschritte in den letzten Jahren ein fehlerfreies OCR-Ergebnis auf historischen Drucken nicht realistisch ist, wird ein finaler Schritt benötigt, in dem die verbleibenden Fehler korrigiert bzw. zumindest weiter reduziert werden sollen. Dies kann automatisch, z. B. durch die Verwendung von Sprachmodellen erfolgen, manuell durch eine händische Nachkorrektur oder auch durch eine Kombination beider Methoden. Während eine automatische Nachkorrektur derzeit noch nicht in OCR4all zur Verfügung steht (jedoch extern angebunden werden kann, z. B. PoCoTo [Vobl et al.2014] bzw. PoCoWeb), bietet die integrierte Komponente LAREX aufgrund umfassender Erweiterung mittlerweile die Möglichkeit, komfortabel sowohl den OCR-Text als auch die Ergebnisse vorangegangener Schritte wie Regionen- und Zeilenpolygone, Reading Order, semantische Typen usw. zu korrigieren (s. Abbildung 3).

Abbildung 3: Textuelle Korrektur in LAREX: Seiten-basierte Ansicht (links), konfigurierbares virtuelles Keyboard (Mitte), Zeilen-basierte Ansicht (rechts).

Aufgrund des modularen Aufbaus des Tools sowie der wohldefinierten Schnittstellen und dem gewählten Distributionsweg über eine Containerlösung ist die Einbindung weiterer Lösungen jederzeit möglich.

Evaluation: Neben dem praktischen Einsatz von OCR4all an zahlreichen Institutionen und in vielfälti-gen Projekten (s.u.) wurden im Rahmen der zugehörigen Hauptveröffentlichung [Reul et al. 2019c] umfassende Evaluationen in enger Kooperation mit den designierten geisteswissenschaftlichen Nutzern durchgeführt.

Die erste Evaluation bezieht sich auf Frakturromane des 19. Jahrhunderts (mit einer Ausnahme aus dem späten 18. Jahrhundert). Im Gegensatz zu Inkunabeln und Drucken der frühen Neuzeit, wie z. B. dem Narrenschiff, verfügen diese, neben dem besseren Erhaltungszustand, über ein moderates Layout und deutlich einheitlichere Drucktypen, was eine vollautomatische Erschließung mittels OCR4all ermöglichte. Die einheitliche Typographie erlaubte die Anwendung eines gemischten Calamari-Modells für Frakturschriften des 19. Jahrhunderts, das zuvor unter Verwendung der oben genannten genauigkeitssteigernden Maßnahmen trainiert worden war [Reul et al. 2019a]. Evaluiert wurde der vollautomatische OCR4all-Durchlauf jeweils auf zehn Seiten aus zehn verschiedenen Werken, mit teils stark schwankender Qualität, wie in Abbildung 4 zu sehen ist.

Abbildung 4: Beispielbilder deutscher Frakturromane. Von links nach rechts: F1870, F1781, F1818 (Seite in akzeptablen Zustand), F1818 (Seite in schlechten Zustand), F1803.

Zum Vergleich wurde dieselbe Evaluation mit dem kommerziellen State-of-the-Art Tool ABBYY Finereader durchgeführt, , das neben einer „Gothic“ Erkennung für Frakturschrift auch eine entsprechende Nachkorrektur für „Old German“ anbietet. Tabelle 1 fasst die Ergebnisse zusammen.

Tabelle 1: Vergleich der Buchstabenfehlerraten bei vollautomatischer Anwendung von ABBYY Finereader und OCR4all, sowie die durch OCR4all erreichte Fehlerreduktion (ErrRed.) und den Verbesserungsfaktor (Impr.).

Werk	ABBYY	OCR4all	ErrRed.	Impr.
F1781	2,9	0,60	79,3	4,8
F1803	27	4,89	81,9	5,5
F1810	3,8	0,61	84,0	6,2
F1818	10	1,35	86,6	7,5
F1826	1,1	0,06	94,4	18
F1848	0,93	0,20	78,5	4,7
F1851	1,0	0,16	84,0	6,3
F1855	4,0	0,33	91,8	12
F1865	1,6	0,18	88,8	8,9
F1870	0,48	0,13	72,9	3,7
Average	5,3	0,85	84,2	7,8