Die KI als wissenschaftlicher Projektmitarbeiter in der Mittelhochdeutschen Begriffsdatenbank (MHDBDB)
Agentische Workflows, „Experts in the Loop“ und wissenschaftliche Verantwortung in der MHDBDB
In der Mittelhochdeutschen Begriffsdatenbank (MHDBDB) arbeiten wir inzwischen mit agentischen KI-Workflows. KI-Systeme untersuchen Datenbestände, entwickeln Software, bereiten Annotationen vor und prüfen Änderungen. Sie bearbeiten damit Aufgaben unmittelbar in einer Forschungsinfrastruktur. Das eröffnet neue Möglichkeiten und stellt zugleich eine epistemische Frage: Unter welchen Bedingungen wird aus einem plausiblen KI-Vorschlag eine wissenschaftlich vertretbare Änderung unserer Daten?
Human in the Loop, Explainable AI und menschliche Kontrolle bekommen dabei eine sehr konkrete Bedeutung. Es braucht Entscheidungen darüber, welche Aufgaben ein Agent selbständig übernehmen darf, welche Nachweise er liefern muss und wann fachliche Expertise erforderlich ist. In der MHDBDB verbinden wir deshalb agentische Bearbeitung mit automatisierten Tests, zusätzlichen KI-Reviews und philologischer Prüfung. Dieser Beitrag gibt Einblick in einen Workflow, den wir im laufenden Betrieb entwickeln und anhand seiner Fehler weiter verbessern.
Arbeiten im Forschungsprojekt
Als Koordinatorin der MHDBDB arbeite ich gemeinsam mit Christian Steiner von Digital Humanities Craft und fallweise weiteren Teammitgliedern mit Claude Code (derzeit: Fable und Opus) und OpenAI Codex (derzeit: Astra). Die Werkzeuge sind via Plugin in Visual Studio Code eingebunden. Dort sind das gesamte MHDBDB-GitHub-Repository und unser (interner) MHDBDB-Obsidian-Vault mit der Projektdokumentation im selben Workspace zugänglich.

Ein Agent kann dadurch eine Aufgabe über mehrere Schritte verfolgen: eine Fehlermeldung lesen, die betreffende Funktion untersuchen, Belegstellen im Korpus heranziehen, eine Änderung vorbereiten und deren Auswirkungen prüfen. Projektregeln und Dokumentation geben ihm dabei den fachlichen und technischen Kontext.
Für die MHDBDB ist dieser Kontext wesentlich. Im heutigen Bestand steckt jahrzehntelange Erschließungsarbeit. Eine auffällige Suchausgabe kann auf eine historische Annotationsentscheidung, eine noch offene Mehrdeutigkeit, eine Migration oder einen Fehler in der Oberfläche zurückgehen. Bevor etwas korrigiert wird, muss geklärt werden, welche dieser Ebenen betroffen ist.
DHCraft begleitet diese Arbeit mit technischer und methodischer Expertise. Dazu gehören die Gestaltung der Agentenrollen, die Entwicklung von Prüfverfahren und ein wirtschaftlich sinnvoller Einsatz der Werkzeuge. Gleichzeitig bauen wir Wissen im Team auf: Die Fähigkeit, den erreichten Stand bei Bedarf selbständig zu betreuen, ist ein erklärtes Projektziel.
Autonomie mit festgelegten Grenzen
Unsere Aufgaben und Entscheidungen werden in öffentlichen GitHub-Issues dokumentiert. Ein Issue kann einen Fehlerbericht, eine philologische Frage oder einen Vorschlag für eine neue Funktion enthalten. Im weiteren Verlauf kommen Messungen, Belege, Rückfragen, Entscheidungen und Verweise auf die Umsetzung hinzu. Die Diskussion ist damit Teil der Arbeitsgrundlage.
Labels kennzeichnen den vorgesehenen Grad der Selbständigkeit. Manche Aufgaben sind ausreichend bestimmt, um sie im freigegebenen Rahmen autonom bearbeiten zu lassen. Andere benötigen eine kurze Vorbesprechung, Zwischenentscheidungen oder eine gemeinsame Sitzung. Bei blockierten Aufgaben zeigt beispielsweise wait:kzw, dass eine Rückmeldung von mir aussteht. Das öffentlich dokumentierte Label-Schema übersetzt Zuständigkeiten in Regeln, an denen sich die Agenten orientieren können.
Diese Regeln sind wichtig, weil technische Umsetzbarkeit und fachliche Entscheidbarkeit auseinanderfallen können. Ein Skript könnte eine Zuordnung in Tausenden Belegen ändern, während die zugrunde liegende Frage noch ungeklärt ist. In diesem Fall besteht die sinnvolle Agentenarbeit zunächst darin, die betroffenen Stellen zu ermitteln und eine überprüfbare Entscheidungsgrundlage vorzubereiten.
Auch die Veröffentlichung hat eigene Grenzen. Für autonome Arbeitssitzungen werden Umfang und Befugnisse ausdrücklich festgelegt. Änderungen entstehen in getrennten Arbeitsständen und werden zur Begutachtung als Pull Request vorgelegt. Die Erlaubnis, eine Änderung auszuarbeiten, umfasst nicht automatisch ihre Übernahme in den produktiven Stand.
Review beginnt vor der Veröffentlichung
Ein wesentlicher Teil unseres Workflows ist die Trennung von Bearbeitung und Begutachtung. Für konkrete Änderungen ist vor dem ersten Push eines PR-Zweigs ein lokaler Review mit dem fable-reviewer von DHCraft vorgesehen. Dieser Agent erhält einen eigenen Prüfauftrag. Er soll die Beschreibung des bearbeitenden Agenten anhand der Dateien und des tatsächlichen Änderungsumfangs überprüfen.
Seine Aufgabe umfasst mehr als das Lesen neu geschriebener Codezeilen. Er untersucht auch deren Zusammenspiel mit bestehenden Funktionen, prüft Zahlen und Aussagen und benennt konkrete Situationen, in denen ein Fehler auftreten würde. Projektdateien verändert er dabei nicht selbst. Der bearbeitende Agent muss seine Befunde anschließend nachvollziehen und gegebenenfalls umsetzen.
Für noch offene Entwurfsfragen gibt es eine andere Rolle, den fable-advisor. Er kann Annahmen hinterfragen und alternative Lösungen erwägen. Diese Unterscheidung verhindert, dass bei der Prüfung einer fertigen Änderung die gesamte Architektur immer wieder neu diskutiert wird. Die Definitionen beider Agenten sind öffentlich einsehbar.
Auf GitHub folgt ein weiterer, automatisierter Review mit Opus. Damit wird die Änderung aus einem zusätzlichen Prüfkontext betrachtet. Das ist hilfreich, begründet aber noch keine unabhängige Bestätigung im wissenschaftlichen Sinn: Auch verschiedene KI-Durchgänge können dieselben Annahmen übernehmen oder ähnliche Fehler machen.
Deshalb behandeln wir jeden Review-Befund selbst als überprüfbare Behauptung. Eine beanstandete Zahl wird nachgezählt. Ein vermuteter Programmfehler braucht einen nachvollziehbaren Auslöser. Ein Vorschlag wird umgesetzt oder mit Begründung zurückgewiesen. In weiteren Runden werden insbesondere die Korrekturen und ihre Folgen geprüft. Zugleich begrenzen wir Wiederholungen und reine Formulierungsdiskussionen. Eine leere Befundliste ist ein zulässiges Ergebnis; ein Reviewer muss keinen Fehler erfinden, um nützlich zu sein. Diese Regeln sind im Review-Workflow und im Betriebsvertrag der autonomen Sitzungen festgehalten.
Was die automatisierten Kontrollen tatsächlich prüfen
Neben den KI-Reviews stehen deterministische Prüfungen. Sie kontrollieren definierte Eigenschaften der Daten und der Software. Für die MHDBDB sind unter anderem folgende Fragen entscheidend:
- Entsprechen die XML-Dateien den projektspezifischen Schemata? Damit werden unzulässige Strukturen und Kodierungen erkannt.
- Sind Verweise konsistent? Referenzen zwischen Texten, Lemmata und weiteren Normdateien müssen auflösbar sein. Bekannte Altprobleme werden gesondert dokumentiert, damit neue Fehler nicht unbemerkt hinzukommen.
- Passen Quelldaten und Suchdaten zusammen? Variantenbestand, Suchindizes und API-Daten werden neu erzeugt und mit dem gespeicherten Stand verglichen.
- Erreichen Aktualisierungen die User? Versionsprüfungen helfen zu verhindern, dass Browser nach einer Datenänderung weiterhin alte Suchindizes verwenden.
- Funktioniert die Anwendung im Browser? Automatisierte Tests und ergänzende Prüfungen mit realen Belegen untersuchen die Such- und Bedienabläufe.
Die Datenprüfungen auf GitHub machen nachvollziehbar, welche Bedingungen kontrolliert werden. Besonders wichtig ist der erneute Aufbau der abgeleiteten Daten: Eine Korrektur im TEI-Text ist für die Suche erst wirksam, wenn auch die entsprechenden Suchdaten aktualisiert wurden.
Jede dieser Kontrollen hat einen begrenzten Aussagebereich. Schema-valides XML kann eine falsche Lemmazuordnung enthalten. Ein reproduzierbar erzeugter Index kann einen fachlichen Fehler zuverlässig weitergeben. Ein bestandener Oberflächentest beweist nicht, dass die wissenschaftliche Interpretation stimmt.
Auch Testergebnisse müssen genau gelesen werden. In einem aktuellen Pull Request ist beispielsweise ausdrücklich dokumentiert, dass ein Browsertest erst im Wiederholungsversuch bestand. Obwohl die anschließenden gezielten Prüfungen erfolgreich waren, wurde der ursprüngliche Gesamtlauf nicht nachträglich als uneingeschränkt erfolgreich dargestellt. Solche Unterscheidungen erhalten die Aussagekraft des Prüfprotokolls. (Beispiel: Pull Request #445)
Von „Human“ zu „Experts in the Loop“
Bei der Annotation betrifft die Kontrolle unmittelbar die wissenschaftliche Aussage. Hier unterscheiden wir drei Ebenen: reproduzierbare Erhebung, Modellurteil und redaktionelle Entscheidung.
Ein Skript kann alle unannotierten Vorkommen einer Wortform mit ihren Fundstellen und Kontexten extrahieren. Ein Sprachmodell kann diese Belege interpretieren und Zuordnungen vorschlagen. Die fachliche Prüfung muss anschließend klären, ob die Vorschläge im jeweiligen Kontext und im Datenmodell der MHDBDB tragen.
Unsere dokumentierte POS-Disambiguierungsrichtlinie sieht dafür unter anderem Änderungslisten mit Begründungen und Konfidenzangaben, menschliche Stichproben und Provenienzprotokolle vor. Für die entsprechenden Annotationsklassen sind 50 zufällig ausgewählte Fälle je Batch sowie sämtliche als unsicher eingestuften Fälle zur menschlichen Prüfung vorgesehen. Eine Fehlerquote über fünf Prozent soll zur Verwerfung und Überarbeitung des Batches führen. Außerdem sollen Modell- und Promptwechsel zunächst an manuell geprüften Referenzfällen gemessen werden. Das sind Anforderungen des Verfahrens; ihre Erfüllung muss für den konkreten Lauf dokumentiert werden. (POS-Disambiguierungsrichtlinie)
Eine solche Stichprobe liefert keine Garantie für jeden einzelnen Beleg. Ebenso ist die Konfidenzangabe eines Modells keine gemessene Fehlerwahrscheinlichkeit. Sie hilft, Fälle für weitere Prüfung zu unterscheiden. Entscheidend bleiben die Belege und die dokumentierte Überprüfung.
Das zeigt beispielsweise die Nachannotation von stat. Im berichteten Lauf wurden 7.760 Belege annotiert und 95 bewusst zurückgehalten. Darunter waren Verwendungen, die sich nicht angemessen auf die zunächst vorgesehenen Kandidaten stat und stân reduzieren ließen: etwa Bedeutungen im Bereich Ufer oder Gestade sowie Formen von stæte. Die Bearbeitung führte dadurch zu weiteren Fragen nach Lemmazuordnung, Bedeutung und Schreibvariante. Diese wurden mit Kontext zur fachlichen Entscheidung vorgelegt. (Annotationslauf, philologische Weiterbearbeitung)

Experts in the Loop bedeutet für uns, dass diese Prüfung den Verlauf der Arbeit verändern kann. Sie kann Vorschläge bestätigen, korrigieren, neue Kandidaten einbringen oder einen Fall offenhalten. Fachliche Expertise wirkt bereits auf die Fragestellung und die Kriterien der Bearbeitung.
Erklärbarkeit braucht brauchbare Prüfunterlagen
Damit eine solche Prüfung möglich ist, erstellen die Agenten menschenlesbare HTML-Prüfseiten. Sie verbinden Werk und Fundstelle mit Textkontext, hervorgehobenem Zielwort, einer konkreten Frage und einem kenntlich gemachten KI-Vorschlag.
Hier liegt die Verbindung zu Explainable AI (XAI) – vgl. hierzu auch unser Projekt DIA-XAI von MHDBDB und Literaturarchiv. Unser Ansatz zielt zunächst auf die Nachvollziehbarkeit der Vorschläge und des gesamten Arbeitsablaufs. Eine sprachliche Begründung des Modells ist allerdings kein verlässliches Protokoll seiner internen Berechnung. Wir prüfen, ob die angeführten Gründe am Text und an weiteren Quellen Bestand haben.
Ebenso wichtig ist die Gestaltung der Eingabe. Ein*e Prüfer*in muss der Vorauswahl widersprechen, eine andere Antwort formulieren und Unsicherheit dokumentieren können. Aus diesen Erfahrungen entsteht derzeit eine gemeinsame Vorlage. Sie soll unbearbeitet, entschieden und geprüft, bleibt offen unterscheiden. Kommentare sollen unabhängig von der gewählten Antwort möglich sein. Für die Rückgabe sind maschinenlesbares JSON und ein menschenlesbarer HTML-Bericht vorgesehen, der Belege, Vorschläge und Entscheidungen zusammenführt. Einzelne Prüfseiten werden bereits eingesetzt; ihre Vereinheitlichung ist ein offener Entwicklungsauftrag.
Das erhält eine wichtige Grenze: Ein angezeigter Vorschlag darf nicht allein dadurch zur vermeintlichen menschlichen Entscheidung werden, dass er vorausgewählt war oder niemand widersprochen hat.
Öffentlich nachvollziehbar und langfristig weiterführbar
Die Arbeit lässt sich im öffentlichen GitHub-Repository der MHDBDB verfolgen. Dort stehen Daten, Quellcode und Dokumentation ebenso wie viele der Diskussionen und Reviewprozesse. Diese Öffentlichkeit ermöglicht es, eine Änderung bis zu ihrer Begründung zurückzuverfolgen und auch Korrekturen früherer Annahmen nachzulesen.
Für die zitierfähige Archivierung gibt es zusätzlich einen Zenodo-Eintrag mit dem Concept-DOI 10.5281/zenodo.20627656. Die archivierte Version 1.0.0 vom 10. Juni 2026 besitzt den eigenen Versions-DOI 10.5281/zenodo.20627657. Für Untersuchungen an einem bestimmten Datenstand ist diese Unterscheidung wesentlich: Der laufende Entwicklungsstand auf GitHub kann über den archivierten Release hinausgehen.
Zur Nachhaltigkeit gehört außerdem, dass das Projekt mit anderen Werkzeugen weitergeführt werden kann. Unser zentraler Wissensbestand liegt in Markdown-Dateien: Datenmodelle, fachliche Regeln, Architekturentscheidungen, Arbeitsverfahren und Erfahrungen aus der Fehleranalyse. Diese Dateien bleiben ohne Claude Code, Codex oder Obsidian lesbar. Zusammen mit TEI-XML, Quellcode, Versionsgeschichte und Tests bilden sie die Grundlage für einen Werkzeugwechsel und für die eigenständige Betreuung durch das Team.
Vollständig ist diese Absicherung erst mit unabhängigen Sicherungen und dokumentierten Wiederherstellungsverfahren. Insbesondere Issues, Reviewkommentare und Anhänge gehören nicht automatisch zu einem normalen Git-Klon. Dauerhaft relevante Entscheidungen müssen deshalb in die Projektdokumentation übernommen und die übrigen Arbeitsnachweise zusätzlich gesichert werden.
Für uns verbindet sich damit der praktische Nutzen agentischer KI mit einer wissenschaftlichen Verpflichtung: Jede Beschleunigung muss genügend überprüfbare Spuren hinterlassen. Das Team muss erkennen können, was gemessen, was vorgeschlagen und was entschieden wurde. Daran bemisst sich, ob die neue Arbeitsweise die Forschungsinfrastruktur dauerhaft stärkt.
Stand: 17. September 2026
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Katharina Zeppezauer-Wachauer (17. September 2026). Die KI als wissenschaftlicher Projektmitarbeiter in der Mittelhochdeutschen Begriffsdatenbank (MHDBDB). Digital Humanities an der Universität Salzburg. Abgerufen am 17. November 2026 von https://doi.org/10.58079/16smz

