Transkribus – nomen est omen?

---

Möglichkeiten und Grenzen eines
Handschriftenerkennungsprogramms

In den folgenden Zeilen soll der Einfluss bestimmter Variablen systematisch auf die Funktionalität von Handschriftenerkennungsmodellen in Transkribus untersucht werden. Inwiefern hängt die Erkennqualität von bestimmten Variablen ab, damit ein optimales Ergebnis für die Endnutzer:innen entsteht, welches für historisches Arbeiten nutzbar ist? Hierfür relevant sind als Variablen die Epochenanzahl, die Arbeit mit einem Basismodell sowie das Verhältnis von Validierungs- und Trainingsseiten. Als Trainings- und Validierungsgrundlage dient grundsätzlich ein Berner Turmbuch aus den Jahren 1610/1611. Darin wurden insbesondere diejenigen Fälle transkribiert, welche Sittlichkeitsdelikte[1] beinhalteten, damit so eine gewisse thematische Kohärenz gewährleistet werden konnte.

Zunächst wurde als Erkennungssoftware HTR+ verwendet, unter anderem weil in dieser digitalen Umgebung, der Kollektion[2], bereits mit HTR+ gearbeitet worden war und bestehende Transkripte als Basis dienten. Zudem ging die Forschung bis vor Kurzem davon aus, dass HTR+ prinzipiell besser für gebogene oder gekrümmte Zeilen funktioniere, was in den Turmbüchern häufig vorkommt. In casu ist dies einerseits bedingt durch Randnotizen und Korrekturen, andererseits durch den Digitalisierungsprozess, weil die Seiten dabei nicht flach genug gedrückt worden sind.[3] Will man ein eigenes Modell in Transkribus für die persönliche Kollektion trainieren, so spielt aber nicht nur die Wahl der richtigen Erkennungssoftware eine Rolle; auch die Anzahl Trainingseinheiten mit bestimmten Seiten, das Verhältnis von Test- respektive Validierungsseiten und solchen fürs Training des Modells nehmen Einfluss auf die Funktionalität[4] eines Handschriftenerkennungsmodells. Fällt die Wahl der Erkennungssoftware auf PyLaia, so können noch zahlreiche weitere Variablen definiert werden, wie beispielsweise die Höhe der zu erkennenden Zeilen, die Möglichkeit der Komprimierung hochgeladener Bilddateien oder die Aktivierung des sogenannten Early Stops, bei welchem das Modell den Lernprozess selbständig beendet, sobald die Fehlerquote keine entscheidenden Veränderungen mehr durchmacht.

Berner Turmbücher als Quellenkorpus

Zwischen 1545 und 1747 wurden in den Berner Turmbüchern Verhöre von inhaftierten Personen protokolliert, welche in ein Strafverfahren verwickelt waren.[5] Der darin notierte Text wurde teilweise überarbeitet, ergänzt, durchgestrichen oder mit Abbildungen illustriert. Ein typischer Eintrag beginnt jeweils mit der Überschrift, bestehend aus der Nennung des vollen Namens der zu befragenden Person. Anschliessend werden die Examinatoren erwähnt, worauf schliesslich die Protokollierung des Verhörs aufgrund bestimmter Anschuldigungen erfolgt. Manchmal geben die Texte gar Aufschluss über angewandte Foltermethoden und die gesprochenen Urteile. Zeichnungen an den Seitenrändern stehen oft in Verbindung mit der definierten Strafe und illustrieren diese.

Vorbedingungen an das Quellenkorpus

Das optimale Quellenkorpus verfügt über eine Mindestanzahl Seiten und Worte[6], geschrieben von einer Hand, möglichst in sauberer Schrift auf einfarbigem, hellem Beschreibstoff. Tintenflecken und Unreinheiten auf dem Untergrund sowie Schatten werden von Transkribus bisweilen fälschlicherweise als Textregionen identifiziert. Umgekehrt kann bei einer unscharfen oder schattigen Fotografie der Text nicht vom Beschreibstoff differenziert werden, wodurch die Buchstaben manchmal nicht als solche gelesen werden.[7] Da die Berner Turmbücher des Öfteren Flecken, Streichungen oder Randnotizen enthalten und zudem von mehreren Händen geschrieben worden sind, stellt das Quellenkorpus gewiss keine optimale Grundlage für ein Sprachmodelltraining dar. Ein Modell kann besser trainiert werden, wenn es möglichst viele von einer Hand verfasste Quellen lesen und zum Vergleich beiziehen kann. Je regelmässiger die Schrift und je kontraststärker die Aufnahme, desto besser wird das Ergebnis. Dies ist jedoch bei den meisten historischen Quellenkorpora nicht der Fall, so auch hier. Der Vorteil dieser Untersuchung ist die vorbehaltene thematische Einschränkung. Es wurde bewusst nur auf einen Deliktsbereich fokussiert, da so die zu transkribierenden Seiten inhaltlich einheitlicher sind und den zu trainierenden Modellen die Chance geben, ein bestimmtes Wort in unterschiedlichen Händen zu erkennen. Das Programm soll dadurch die geringere Anzahl Seiten durch bessere Vergleichsmöglichkeiten ein Stück weit kompensieren, durch die erhöhte Wiederholungschance bestimmter Stichworte einen Vorteil erlangen und flexibler werden. Die Gefahr eines kleinen Quellenkorpus besteht darin, dass das Modell die verschiedenen Variationen desselben Buchstabens nicht als solche erkennt und adaptiert, sondern bloss die einzelnen Formen «auswendig» lernt, aber durch die zu geringe Trainingsgrundlage kein zusammenhängendes Bild generieren kann. Dieser Prozess wird als overfitting bezeichnet und zeigt sich in der Fehlerquote (auch CER[8]), wobei die Trainingsfehlerrate geringer ausfällt als die Validierungsfehlerrate, was zeigt, dass das Modell in der Anwendung nicht genügend fortgeschritten ist.[9]

Um zu verhindern, dass es zu einem overfitting kommt, sind die gesetzten Konditionen des Trainings von grosser Bedeutung. Ein overfitting kann verhindert werden, indem beispielsweise diverses und zahlreiches Trainingsmaterial zur Verfügung gestellt wird. Dazu muss die Trainingsgrundlage stabil sein; es braucht also Beispieltranskripte, welche selbst angefertigt oder anderweitig bereitgestellt werden müssen. Ist ein Beispieltranskript für den Abgleich erstellt, so können die Variablen für das Handschriftenerkennungsmodell definiert werden. Grundsätzlich gilt es zu berücksichtigen, ob ein generisches Handschriftenmodell oder ein Spezialmodell geschaffen werden soll. Für vielfältiges Material mit mehreren Schreibern bietet sich beispielsweise ein generisches Modell eher an, da dieses bereits mit einer grösseren Datenmenge trainiert worden ist und flexibler operieren kann. Gegebenenfalls kann das Modell noch angepasst werden, wenn mit einem Generischen keine weiteren Verbesserungen erzielt werden können. Die Wechselwirkung von der Quantität der Trainingsgrundlage und der Qualität der Erkennungsmodelle ist komplex und muss von Fall zu Fall angepasst werden.[10] Freilich können die für diese Analyse trainierten Modelle nicht als generisch bezeichnet werden, zumal die Anzahl zur Verfügung stehender Seiten völlig unzureichend gewesen wäre. Jedoch wurde ein generisches Handschriftenerkennungsmodell teilweise als Basismodell beigezogen, um das «Vorwissen» in Bezug auf das Quellenkorpus zu nutzen und zu verfeinern. So konnte eruiert werden, wie sich das Wissen aus einem generischen Modell auf in diesem Rahmen erstellte Spezialmodelle auswirkt.

Transkribus und seine Variablen

Grundsätzlich wird empfohlen, ein bestimmtes Verhältnis zwischen den Trainings- und den Validierungsseiten zu beachten, um optimale Ergebnisse zu erzielen. Dabei sollen die Validierungsseiten 10% der Gesamtseitenzahl ausmachen.[11] Dieses Verhältnis wurde so gut als möglich in die Versionen integriert, zumal es in vorangehenden Untersuchungen als bestmögliches Verhältnis bestätigt worden war.

Übung macht den Meister

Die Epochenanzahl entscheidet im Modell darüber, wie intensiv trainiert wird. Je höher die Zahl, desto mehr Wiederholungen des Trainings gibt es, desto stärker fällt die CER und desto ausgereifter wird das Modell. Entsprechend bedingen mehr Epochen auch mehr Zeit, welche der Lernprozess benötigt. Soweit jedenfalls die Grundannahme. In jeder Epoche wird das Trainingsset durchlaufen, um am Ende am Validierungsset zu prüfen und zu analysieren, wie die Fehlerquote in dieser Epoche für diesen Testdurchgang ausgefallen ist.[12] Zu Beginn sinken die Fehlerquoten in Trainings- und Validierungsset im Idealfall rapide, um sich anschliessend langsam einer Asymptote anzunähern, welche dann den Grenzwert und somit die finale Fehlerquote angibt. Solange die Kurve eine Steigung enthält, kann davon ausgegangen werden, dass das Modell nicht austrainiert ist und immer noch Verbesserungspotential besteht. Durch Erhöhung der Anzahl Epochen kann dies kompensiert werden.

Für diese Untersuchung wurden verschiedene HTR+ – Modelle mit entweder 200 oder 500 Epochen trainiert, um den Einfluss der höheren Epochenzahl und somit die Möglichkeit des «Auslernens» zu evaluieren. Im Vergleich schnitt das Modell mit 200 Epochen nicht schlechter ab als dasjenige mit 500. Es ist erkennbar, dass die Modelle im Training noch bessere Ergebnisse hätten erzielen können, hätte man die Epochenzahl höher angesetzt. Dies wäre jedoch für das Endergebnis kaum von Nutzen gewesen, da für die Funktionalität primär die Fehlerquote in den Validierungssets ausschlaggebend ist. So ist der positive Einfluss einer hohen Epochenanzahl auf ein Modell mit dieser Datenmenge begrenzt, da die hohe Zahl den Lernprozess künstlich verlängert, ohne zu besser verwendbaren Ergebnissen zu führen.[13]

Das Basismodell – ein Retter in der Not?

Die zweite Variable, welche als Einflussfaktor auf den Erfolg eines HTR+ – Handschriftenerkennungsmodells hin untersucht wurde, ist der Einsatz eines Basismodells. Ein Basismodell wird insbesondere bei der Entwicklung generischer Handschriftenerkennungsmodelle verwendet, weil so auf das bereits geschaffene Wissen zurückgegriffen werden kann. Als Basismodell wird dabei ein zuvor trainiertes Modell genutzt, in der Regel das letztkreierte.[14] Für diese Untersuchung wurde jedoch ein generisches Modell, welches bereits mit verschiedenen Kurrentschriften trainiert worden war, eingesetzt. In Anbetracht der Fehlerquoten kann anhand der vier HTR+ – Modelltypen der Versionen v1 bis v4 [15] geschlossen werden, dass die Beiziehung eines Basismodells die CER im Validierungsset um knapp 2% senken kann. Das beste Ergebnis lieferte dabei das Modell mit 200 Epochen und einem Basismodell. Die Variablen «Epochenanzahl» und «Basismodell ja/nein» konnten gut miteinander verglichen werden, da alle anderen Einstellungsmöglichkeiten wie die Wahl der Trainings- und Validierungsseiten oder das Auslassen der unclear Tags immer gleich gewählt wurden. Entsprechend lässt sich schliessen, dass die Integration eines generischen Modells für die Verbesserung eines zu trainierenden spezifischen Modells von grösserer Bedeutung ist als die Erhöhung der Epochen, insbesondere wenn sich die Trainingsgrundlage als eigentlich unzureichend erweist. Dennoch stellte sich das Basismodell in den trainierten Versionen nicht immer als Retter in der Not heraus.

Unabhängig davon, wo der Schwerpunkt der Variablen gesetzt wurde, gab es in allen Fällen mindestens einen «Ausreisser», wobei diesen Modellen interessanterweise stets ein Basismodell zugrunde lag. Es ergaben sich keine Fehlerkurven im Sinne einer Zerfallskurve, sondern solche, welche eher Ähnlichkeiten zu einem EKG eines Herzens mit Kammerflimmern aufwiesen und mit einer CER von 85% und mehr endeten. Die Erklärung dieses Sachverhalts wies Komplexität auf. Den Lernprozess des Algorithmus nachvollziehen und darstellen zu wollen, konnte hier nicht der Anspruch sein. Ansätze dafür liefern aber bestimmte Elemente des Deep Learnings, darunter das Random Initialization – Verfahren, was als mögliche Fehlerquelle für die dysfunktionalen Modelle in Betracht gezogen werden kann. Das Hauptproblem lag wahrscheinlich beim Startpunkt des Lernprozesses. Ein neuronales Netz kann auf verschiedene Arten «aktiviert» werden, um zu lernen. Die häufigste Methode ist die Random Initialization. Dabei werden die Startwerte im Grunde zufällig gewählt, die Ausgangslage wird also nicht bewusst vorgegeben. Wenn diese fehlerhaft ist, so kann es sein, dass das Modell – vereinfacht ausgedrückt – den Weg in den Lernprozess nicht findet und entsprechend nicht fähig ist, sich zu verbessern.[16]  Inwiefern dies alles mit der Implementierung eines Basismodelles zusammenhängt, konnte im Rahmen dieser Arbeit nicht eruiert werden. Die Architektur des neuronalen Netzes von HTR+ bleibt eine Blackbox. Als Endnutzer:in sind solche fehlerbehafteten Modelle jedoch nicht weiter tragisch, da so lange unentgeltlich neue Modelle trainiert werden können, bis sich ein funktionierendes Modell herauskristallisiert. Als beste Voraussetzung gilt dabei nach wie vor, die Datenmenge so hoch und die Transkriptionen so fehlerfrei als möglich zu halten, damit das Modell genügend Lernmaterial zur Verfügung hat.

PyLaia als Erkennungssoftware im Vergleich

Im Gegensatz zu HTR+ können bei PyLaia nicht nur zusätzliche Variablen manuell eingestellt, sondern auch Netzstrukturen verändert werden. Dies geschieht über die Option der Advanced Parameters. Dort kann entschieden werden, wie PyLaia die Daten aufbereiten soll, bevor sie für den Lernprozess verwendet werden. Dies geschieht im Rahmen des sogenannten Preprocessing: PyLaia ist in der Lage, aus den erhaltenen Bildern durch leichte Verzerrung neue Daten zu generieren. Die Funktion kann im Falle eines grossen und diversen Datensets manuell ausgeschaltet werden. Der Grundannahme folgend, dass mehr Daten als Grundlage auch bessere Ergebnisse liefern, sollte diese Funktion in der Regel jedoch aktiviert bleiben. Anschliessend kann der:die Benutzer:in darüber entscheiden, wie die Bilder vor der Integration aufbereitet werden sollen. So können die Bilder derart bearbeitet werden, dass die Textzeilen horizontaler sind oder Grautöne durch Unreinheiten ausgemerzt werden.[17] Für diese Arbeit wurde bei allen PyLaia-Modellen die Dewarping Method dewarp angewählt in der Annahme, dass dies dem Modell das Erkennen gebogener Zeilen erleichtere. Nicht horizontale Linien sind im Quellenkorpus zahlreich vorhanden. Der Einfluss solcher Wahloptionen wurde allerdings nicht weiter erforscht. Inwiefern HTR+ derartige Optionen in den Lernprozess integriert, lässt sich anhand des User Interface nicht beurteilen, da diese Variablen gar nicht erst ersichtlich sind. Im Moment ist PyLaia jedoch in Bezug auf die Qualität der Modelle (noch) nicht in der Lage dieselbe Qualität anzubieten wie HTR+, insbesondere betreffend der Integration bereits erstellter Transkripte in eine Kollektion. Ein weiterer Punkt ist die Verwendung von Basismodellen. Die Basismodelle müssen nicht nur ebenfalls mit PyLaia erstellt worden sein, sondern auch dieselben Zeichen enthalten wie im Trainings- respektive Validierungsset.

Konkret wurden mit PyLaia zwei Variablen getestet. Einerseits wurde der Unterschied zwischen komprimierten Bildern und den Originalen begutachtet, andererseits der Einfluss eines Basismodelles untersucht. Zum Zuge kamen dieselben Trainings- und Validierungsseiten wie zuvor mit HTR+. Im Vergleich wirkte sich besonders der Einsatz des Basismodelles auf die CER-Kurven aus, jedoch nicht so wie bei den HTR+ Modellen in Bezug auf die Qualität, sondern die Länge der Kurven selbst. Wurden bei den PyLaia-Modellen ohne Basismodell noch über hundert Epochen durchlaufen, stoppte der Prozess mit Basismodell jeweils nach gerade einmal zwei Epochen, unabhängig davon, wie die Trainings- respektive Validierungssets gestaltet waren und ob die Bilder im Original oder in komprimierter Form betrachtet wurden. Im Vergleich schnitten die PyLaia – Modelle schlechter ab als diejenigen, welche mit HTR+ trainiert wurden. Keines der Modelle kam unter eine Fehlerquote von 10% in den Validierungssets, was beweist, dass es mit HTR+ qualitativ noch nicht mithalten kann.

Und nun?

Obige Untersuchung zeigt auf, dass die Erkennqualität nur zu einem kleineren Teil von den gesetzten Variablen und stattdessen stärker von der Art und vom Inhalt des Quellenkorpus abhängt. Für das historische Arbeiten ist entsprechend sekundär, ob 200 oder 500 Epochen verwendet werden, solange die Grundlage eine angemessene Qualität vorweist. Ein Basismodell kann helfen, einen Wissensvorsprung zu schaffen, jedoch scheinen solche Modelle auch anfälliger für Fehler zu sein, zumindest im untersuchten Sample. Bezüglich der Wahl der Erkennungssoftware allgemein müssen sich die Endnutzer:innen die Frage der Effizienz stellen. Wenn ein blosser Überblick über die Quelle reicht, so wird PyLaia die gewinnbringende Wahl sein, da es deutlich schneller arbeitet als HTR+. Wichtig sind in beiden Fällen der Aufbau und die Beschriftung der Seiten, saubere Transkripte und ein regelmässiges Schriftbild. Es braucht entsprechend ein Quellenkorpus, von welchem idealerweise bereits mehrere Dutzend Seiten transkribiert sind und noch weitere Dutzend mit dem zu erstellenden Modell durchforstet werden können.

Der Name Transkribus erfüllt also nicht jegliche Erwartungen an das Programm. Transkripte lassen sich zwar leicht erstellen und können eine praktische Grundlage schaffen, es benötigt aber für die Verfeinerung der Funktionalität bereits erstellte Transkripte, ohne welche nicht gründlich gearbeitet werden kann. Dennoch sollte nicht unterschätzt werden, welchen Mehrwert in der quantitativen als auch qualitativen Forschung solche Programme in naher Zukunft produzieren können, sobald grössere generische Modelle erstellt und funktionstüchtig sind.

---

Verweise

[1] Unter diesen Begriff fallen sämtliche in der Chor- und Ehegerichtssatzung von 1601 aufgelistete Delikte:  «allerhandt ehesachen, ouch straff des ehebruchs und hury, als ouch anderer lastern und fhälern». Jedoch wurden in den Satzungen auch Strafen für Trunkenheit, Völlerei, Gotteslästerungen, Wucher oder Zauberei angeordnet, weshalb diese in einem erweiterten Sinne auch zu den Sittlichkeitsdelikten gezählt werden können, da diese weder Eigentumsdelikte noch Gewaltdelikte sind. Vgl.: Hermann, Rennefahrt (Hg.): Die Rechtsquellen des Kantons Bern, 1. Teil, Bd. VI/2, Aarau 1961, S. 703 – 713. In der Quelle nicht erwähnt wird die Sodomie, worunter jegliche Praktiken «contra naturam» verstanden werden, die also nicht der Fortpflanzung dienen. Vergewaltigung und Inzest wurden auch als Sittlichkeitsdelikte interpretiert. Vgl.: Gerd, Schwerhoff: Sittendelikte, in: Enzyklopädie der Neuzeit online, URL: https://referenceworks.brillonline.com/entries/enzyklopaedie-der-neuzeit/*-COM_349869 (Stand: 2019).

[2] Transkribus ermöglicht es den Benutzer:innen, ihre Dateien in sogenannten Kollektionen abzuspeichern. So bleiben die Sammlungen geordnet und es können parallel mehrere Quellenkorpora bearbeitet werden.

[3] Zum Zeitpunkt der ersten erstellten Transkripte ging die Forschung noch davon aus, dass PyLaia deutlich schlechtere Ergebnisse (insbesondere für gekrümmte Zeilen) liefere als HTR+. Vgl.: PyLaia, in: Transkribus Glossary, URL: https://readcoop.eu/glossary/pylaia/ (Zugriff am 19.01.2022). Untersuchungen ein halbes Jahr später zeigten zwar eine Verbesserung, jedoch liess sich eine Überlegenheit in Bezug auf das Erkennen gekrümmter Linien nicht konstatieren. Vgl.: Dirk, Alvermann: HTR+ oder PyLaia Teil 2, URL: https://rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de/de/htr-versus-pylaia-part-2/ (Stand: 22.02.2021, Zugriff am: 20.01.2022).

[4] Unter Funktionalität wird hier die «Tauglichkeit» der einzelnen Modelle gefasst. Als brauchbar gelten Handschriftenerkennungsmodelle, welche eine Fehlerquote von unter 10%, idealerweise sogar von unter 5% im Trainings- als auch im Validierungsset aufweisen. Je niedriger die Fehlerquote, desto höher die Funktionalität, also auch die Anwendbarkeit auf ein Quellenkorpus.

[5] Es existieren jedoch nebst dieser Serie an Turmbüchern noch sogenannte Gross-Turmbücher und Klein-Turmbücher, welche einen ähnlichen Aufbau wie die übrigen Turmbücher haben, zeitlich jedoch später einsetzen und bis 1799 geführt wurden. Auch diese sind im Staatsarchiv Bern einsehbar unter den jeweiligen Titeln.

[6] Um eine Fehlerquote (CER) von unter 5% überhaupt erst generieren zu können, müssen ca. 10’000 Worte, respektive ca. 50 Seiten oder 1’000 Zeilen von derselben Hand zur Verfügung stehen.  Vgl.: Tobias, Hodel: Best-practices zur Erkennung alter Drucke und Handschriften – Die Nutzung von Transkribus large- und small-scale, in: DHd 2020 Spielräume: Digital Humanities zwischen Modellierung und Interpretation (dhd2020), S. 84-87, hier S. 85 und Tobias, Hodel: Konsequenzen der Handschriftenerkennung und des maschinellen Lernens für die Geschichtswissenschaft. Anwendung, Einordnung und Methodenkritik, in: Historische Zeitschrift (315 / 3), 2022 [im Druck].  Frühere Arbeiten gingen von mehr Seiten respektive Worten einer Hand aus. Vgl.: Günter, Muehlberger / Louise, Seaward / Melissa, Terras et al.: Transforming Scholarship in the Archives Through Handwritten Text Recognition. Transkribus as a Case Study, in: Journal of Documentation (75/5) 2019, S. 954-976, hier: S. 959.

[7] Vgl.: Christian, Huber / Günther, Mühlberger: Transkribus, URL: https://video.ethz.ch/campus/bibliothek/colloquium/df8215a5-df4f-4058-988f-d4952173caab.html (Zugriff am 19.01.2022). Es ist möglich, mehrere Hände in ein Handschriftenerkennungsmodell zu kondensieren, jedoch wird hierzu eine Masse von Material benötigt, welche durch eine Einzelperson kaum bereitgestellt werden kann. Vgl.: Tobias, Hodel / David, Schoch / Christa, Schneider et al.: General Models for Handwritten Text Recognition. Feasibility and State-of-the-Art. German Kurrent as an Example, in: Journal of Open Humanities Data (2021, 7:13), S. 1-10.

[8] CER steht für Character Error Rate. Die Fehlerquote errechnet sich anhand der Anzahl veränderter Zeichen im Vergleich zum Ground Truth Transkript einer Seite (inklusive Leerzeichen) pro totale Anzahl Zeichen auf derselben Seite multipliziert mit Faktor hundert. Vgl.: Character Error Rate (CER), in: Transkribus Glossary, URL: https://readcoop.eu/glossary/character-error-rate-cer/ (Zugriff am 20.01.2022).

[9] Vgl.: Tobias, Hodel: Best-practices, 2020, S. 86.

[10] Vgl.: Dirk, Alvermann: Generisch [sic] Modelle und was sie können, URL: https://rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de/de/generic-models-and-what-they-do/ (Stand: 04.05.2020, Zugriff am 20.01.2022) sowie Elisabeth, Heigl: Gesamtmodell oder Spezialmodell, URL: https://rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de/de/all-in-one-vs-specialized-model/ (Stand: 17. 11.20019, Zugriff am 20.01.2022).

[11] Vgl.: Tobias, Hodel: Best-practices, 2020, S. 86.

[12] Vgl.: Ebd.

[13] PyLaia – Modelle verfügen über einen automatischen Stop, sobald keine signifikanten Veränderungen in der CER mehr auftreten. In vielen Fällen könnte schon kurz nach der Schnittstelle zwischen den CER-Kurven gestoppt werden, weil es ab diesem Punkt höchstens im Trainingsset noch Verbesserungspotential gibt.

[14] Vgl.: Dirk, Alvermann: Auf den Schultern von Giganten. Training mit Basismodellen, URL: https://rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de/de/category/transkribus-in-practice/page/3/ (Stand: 24.05.2020, Zugriff am 20.01.2022).

[15] Die CER Kurven der Versionen v1-v4 befinden sich im Anhang

[16] Vgl.: Christian, Versloot: Vanishing and Exploding Gradients, URL: https://github.com/christianversloot/machine-learning-articles/blob/main/random-initialization-vanishing-and-exploding-gradients.md (Stand: 11.01.2021, Zugriff am 08.04.2022).

[17] Die Bildbearbeitung geschieht mittels der Funktion des Binarize, wobei grundsätzlich das Bild schwarz-weiss eingefärbt wird. Dadurch und durch das Delete Background wird versucht, das Rauschen im Bild zu minimieren.

---

Bibliografie

Sekundärliteratur

Hodel, Tobias: Best-practices zur Erkennung alter Drucke und Handschriften – Die Nutzung von Transkribus large- und small-scale, in: DHd 2020 Spielräume: Digital Humanities zwischen Modellierung und Interpretation (dhd2020), S. 84-87.

Hodel, Tobias: Konsequenzen der Handschriftenerkennung und des maschinellen Lernens für die Geschichtswissenschaft. Anwendung, Einordnung und Methodenkritik, in: Historische Zeitschrift (315 / 3), 2022 [im Druck].

Hodel, Tobias / Schoch, David/ Schneider, Christa et al.: General Models for Handwritten Text Recognition. Feasibility and State-of-the-Art. German Kurrent as an Example, in: Journal of Open Humanities Data (2021, 7:13), S. 1-10.

Muehlberger, Günter / Seaward, Louise / Terras, Melissa et al.: Transforming Scholarship in the Archives Through Handwritten Text Recognition. Transkribus as a Case Study, in: Journal of Dosumentation (75/5) 2019, S. 954-976.

Rennefahrt, Hermann (Hg.): Die Rechtsquellen des Kantons Bern, 1. Teil, Bd. VI/2, Aarau 1961.

Internetquellen

Alvermann, Dirk: Auf den Schultern von Giganten. Training mit Basismodellen, URL: https://rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de/de/category/transkribus-in-practice/page/3/ (Stand: 24.05.2020, Zugriff am 20.01.2022).

Alvermann, Dirk: Generisch [sic] Modelle und was sie können, URL: https://rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de/de/generic-models-and-what-they-do/ (Stand: 04.05.2020, Zugriff am 20.01.2022).

Alvermann, Dirk: HTR+ oder PyLaia Teil 2, URL: https://rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de/de/htr-versus-pylaia-part-2/ (Stand: 22.02.2021, Zugriff am: 20.01.2022).

Heigl, Elisabeth: Gesamtmodell oder Spezialmodell, URL: https://rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de/de/all-in-one-vs-specialized-model/ (Stand: 17. 11.20019, Zugriff am 20.01.2022).

Huber, Christian / Mühlberger, Günther: Transkribus. Kolloquium ETH-Bibliothek vom 25.04.2019, URL: https://video.ethz.ch/campus/bibliothek/colloquium/df8215a5-df4f-4058-988fd4952173caab.html (Zugriff am 19.01.2022).

PyLaia, in: Transkribus Glossary, URL: https://readcoop.eu/glossary/pylaia/ (Zugriff am 19.01.2022).

Schwerhoff, Gerd: Sittendelikte, in: Enzyklopädie der Neuzeit online, URL: https://referenceworks.brillonline.com/entries/enzyklopaedie-der-neuzeit/*-COM_349869 (Stand: 2019, Zugriff am 09.04.2022).

Transkribus: «Character Error Rate (CER)», in: Transkribus Glossary, URL: https://readcoop.eu/glossary/character-error-rate-cer/ (Zugriff am 20.01.2022).

Versloot, Christian: Vanishing and exploding gradients, URL: https://github.com/christianversloot/machine-learning-articles/blob/main/random-initialization-vanishing-and-exploding-gradients.md (Stand: 11.01.2021, Zugriff am 08.04.2022).

---

Anhang

Modelle in Transkribus Versionen v1-v4

Name	Software	Wort- / Seitenanzahl (Training:Validierung) Nr. of Words / Nr. of Lines im Ergebnis	Tags	CER Training	CER Validierung	Epochen	Basismodell
v1	CITlab HTR+	21556:1927 / 49:4 12762 w / 2103 l	unclear Tags ausgelassen	2.03%	10.40%	200	nein
v2	CITlab HTR+	21546:1518 / 49:4 12319 w / 2034 l	unclear Tags ausgelassen	2.30%	8.37%	200	ja
v3	CITlab HTR+	21546:1518 / 49:4 12319 w / 2034 l	unclear Tags ausgelassen	0.96%	10.61%	500	nein
v4	CITlab HTR+	21546:1518 / 49:4 12319 w / 2034 l	unclear Tags ausgelassen	1.22%	8.70%	500	ja

---

---