Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

User Acceptance Testing in den Digitalen Geisteswissenschaften

Die Mittelhochdeutsche Begriffsdatenbank (MHDBDB) hat kürzlich wichtige Schritte in ihrer Weiterentwicklung unternommen, die durch das Feedback ihrer Nutzer*innen begleitet wurden. Der Relaunch der MHDBDB erfolgte im März 2023 dankenswerterweise durch die Finanzierung von CLARIAH-AT. Parallel zum Launch wurde ein sogenanntes User Acceptance Testing (UAT) durchgeführt. Dieser Blogbeitrag dokumentiert die Durchführung dieser Evaluationen in Form eines längeren UAT und einer kürzeren Bedarfsanalyse, sowie die zentralen Ergebnisse, die für die zukünftige Ausrichtung der Datenbank maßgeblich sind.

Das Testing wurde im Rahmen eines weiteren von CLARIAH-AT geförderten Projektes „Users First. Optimierung von User Interface, User Experience und Crowdsourcing an der Mittelhochdeutschen Begriffsdatenbank“ unter der Projektleitung von Dr. Katharina Zeppezauer-Wachauer veranlasst, um die Bedarfe der User*innen zu erheben.

„Ein Akzeptanztest oder Abnahmetest, engl. User Acceptance Tests (UAT) ist in der Softwaretechnik die Überprüfung, ob eine Software aus Sicht des Benutzers wie beabsichtigt funktioniert und dieser die Software akzeptiert.[1] Software-Anbieter testen dies oft mit Beta-Tests.“ (https://de.wikipedia.org/wiki/Akzeptanztest_(Softwaretechnik))

Im Developing ist das Beta-Testing ein Standardverfahren, aber bei geisteswissenschaftlichen DH-Projekten taten wir uns schwer damit, ein Paper oder eine Dokumentation für einen Best-Practice Ablauf für ein solches Unterfangen zu finden. Der Softlaunch eines neuen Frontends, das technisch noch nicht ausgereift war, war dennoch notwendig.

Wir erstellten eine Umfrage mit LIME-Survey, weil das Tool in Salzburg implementiert war. Sie erschien als Pop-up auf der Homepage. Einerseits wies es auf die eingeschränkte Funktionalität der neuen MHDBDB hin, und andererseits rief es zur Hilfe und Verbesserungsvorschlägen auf.

Startsteite der MHDBDB mit Popup

Startsteite der MHDBDB mit Popup

Die Umfrage zum UAT lief von März 2023 bis März 2025 und erreichte 52 Teilnehmende. Weitere Dissemination erfolgte über Fachverteiler und auf Bluesky und Mastodon. Für die Durchführung der Umfrage wurden etwa 30 Minuten veranschlagt. Retrospektiv war das zu lang, denn nicht alle Fragebogen wurden abgeschlossen. Eine kürzere Form der Bedarfsanalyse, die nur etwa fünf Minuten Zeit beanspruchte, wurde in einem zweiten Teil Anfang 2025 im Rahmen einer großen mediävistischen Konferenz durchgeführt.

Das erste User Acceptance Testing 2023–2025

Begleitet wurde das UAT von einem optionalen Leitfaden, der durch das User Interface (UI) und User Experience (UX) führte. Im kleinen Rahmen wurde dieser Leitfaden  und das UAT in Präsenz auf einem Netzwerktreffen des „Netzwerk Offenes Mittelalter“ getestet. Im gleichen Rahmen wurde das neue MHDBDB-Frontend auf Herz und Nieren geprüft. Die Teilnehmenden begannen mit der Lemma-Suche für „katze“ und „ostern“, analysierten die Treffer, navigierten durch verwandte Begriffe und beurteilten die Darstellung. Anschließend setzten sie die Suche zurück (im Nachhinein sind wir schlauer: Das Design des „Zurücksetzen“-Buttons des neuen Frontends wurde mehrmals überarbeitet, bis er schließlich ganz verschwand). In der Belegsuche suchten sie nach „vogel“, dokumentierten gefundene Komposita und bewerteten die Darstellung. Im Begriffssystem durchsuchten sie den Baum nach „Obstbäume“ und notierten zugeordnete Begriffe. Danach erkundeten sie die Werkliste und prüften vorhandene Metadaten. Abschließend testeten sie das Namenssystem, reflektierten über dessen möglichen Nutzen und skizzierten einen Anwendungsfall. Darüber hinaus wurde das UAT in zwei Proseminaren im WS 23/24 und SS 24 von Dr. Alan van Beek an der Universität Salzburg durchgeführt.

Ergebnisse des User Acceptance Testings 

Das UAT der neuen MHDBDB liefert ein differenziertes Bild der User Experience:

  • Design und Gesamteindruck: Das neue Webdesign wurde mehrheitlich als modern, freundlich und übersichtlich und in Summe positiv bewertet. Es gab jedoch auch Kritikpunkte, darunter der Eindruck einer “leeren” Seite und visuell ablenkender Elemente. Ein kontrastarmes Farbschema wurde ebenfalls bemängelt. Die Mehrheit (63,16%) fand das Design ansprechend. Optimierungspotenzial wird bei Barrierearmut, weniger ablenkende Bilder und ein anpassbares Farbschema (Darkmode) gesehen.
Suchmaske der MHDBDB

Suchmaske der MHDBDB

  • User*innenfreundlichkeit und Navigation: Hier gingen die Meinungen auseinander. Während einige die Navigation als einfach und intuitiv empfanden, hatten andere Schwierigkeiten, sich zurechtzufinden, insbesondere im Vergleich zur Vorgängerversion, der „alten“ MHDBDB. Ein Hauptkritikpunkt war die Suchfunktion, die als nicht intuitiv empfunden wurde und bei der eine klare Hilfestellung fehlte. Die Navigation wurde von vielen als okay, aber nicht herausragend bewertet (52,63%). Die Dateneingabe wurde von einem signifikanten Teil der Nutzer*innen (26,31%) als umständlich empfunden.
  • Funktionalität und Tools: Die Lemmasuche wurde als nützliches Werkzeug angesehen. Es wurden jedoch technische Probleme wie lange Ladezeiten, Fehlermeldungen und nicht funktionierende Abfragemöglichkeiten berichtet. Mehrere User*innen vermissten die Option, die Texte direkt anzuklicken und die vollständigen Werke angezeigt zu bekommen.
  • Schnittstelle: Der Wunsch nach einer Schnittstelle für Python-Analysen wurde geäußert.
  • Tutorial und Hilfe: Das Tutorial wurde als zu abstrakt und oberflächlich kritisiert, und es wurde der Wunsch nach anschaulicheren Erklärungen, Bildern und Beispielvideos geäußert. Einige User*innen fanden keinen Link zur Hilfe auf der Startseite.
  • Zusammenfassende Bewertungen: Die Mehrheit glaubte, die Tools erlernen zu können (52,63%) und hielt die Seite für kompetent und seriös (47,37%). Der Gesamteindruck war ebenfalls positiv (47,37%).

Wünsche für die Zukunft und Schlussfolgerung

Die Nutzer*innen formulierten zahlreiche Wünsche für die Weiterentwicklung der MHDBDB:

  • Verbesserung der Suchfunktion und der Suchergebnisse.
  • Hilfestellungen zur Suchfunktion, idealerweise in Form eines Video-Tutorials.
  • Anpassung der Bedienerfreundlichkeit an die Vorgängerversion, kombiniert mit neuen Funktionen.
  • Direkte Links zu den Volltexten.
  • Eine Schnittstelle für Python-Analysen (Jupyter Notebook).
  • Integration von historischen Karten und einem Zeitregler.
  • Übersetzung mittelhochdeutscher Texte.
  • Verständlichere Suchfunktion und Anleitungen zur Übertragung alter Suchoperatoren.
  • Direkte Suche nach Lemmata mit anschließender Filterung.
  • Schnellere Ladezeiten und stabilere Funktionalität.
  • Bessere Fehlermeldungen.
  • Übersichtlichere Menüstruktur und eine vollständig sichtbare Menüleiste auf der Startseite.
  • Kompakteres Layout und eine Startseite, welche die häufigste Nutzung (Suche) direkt abbildet.
  • Bessere Hervorhebung der Begriffskategorien.
  • Verweise auf die Suche in anderen Datenbanken/Repositorien.
  • Möglichkeit, Digitalisate der einzelnen Textstellen anzusehen.
  • Werkbelege direkt in den Lemma-Suchergebnissen.
  • Möglichkeit zur Suche in allen Werken für einen Überblick.
  • Klare Unterscheidung zwischen Lemma, Beleg und Namen in der Begriffssuche.
  • Verbesserungen am Tutorial durch Bilder, Videos und funktionierende Beispiele.

Zusammenfassend lässt sich festhalten, dass die neue MHDBDB von den User*innen insgesamt positiv aufgenommen wurde, insbesondere hinsichtlich des modernen Designs und der Vielfalt der angebotenen Tools. Es bestehen jedoch erhebliche Bedenken hinsichtlich der Benutzer*innenfreundlichkeit der Suchfunktion, des Mangels an klarer Hilfestellung und einiger technischer Probleme.

Eine kurze Bedarfsanalyse (Februar/März 2025)

Für den Anlass des 20. Symposium des Mediävistikverbands „In nomine – Name und Benennung im Mittelalter“ wurde eine zweite, kürzere Erhebung gestaltet, die möglichst viele Fachleute erreichen sollte. Auf der Konferenz und auf Social Media wurden QR-Codes und Links zur Umfrage veröffentlicht. Zudem wurden Fachleute der „älteren“ Generation per E-Mail kontaktiert, um auch ihre Meinung ohne technische Hürden einholen zu können. Insgesamt gab es 47 ausgefüllte Fragebögen.
 

Umfrageaufruf der MHDBDB auf Bluesky

Umfrageaufruf der MHDBDB auf Bluesky

Die Bedarfsanalyse im Frühjahr 2025 lieferte klare Prioritäten für die Weiterentwicklung der MHDBDB:

  • Am häufigsten gewünscht (61,90 %): Die Möglichkeit, Textstellen in bestimmten Werken zu recherchieren, um semantische Kontexte besser zu verstehen.
  • Ebenfalls stark nachgefragt (jeweils 50,00 %):
    • Die zusätzliche Recherche des semantischen Kontexts von Tokens.
    • Die Möglichkeit, Ergebnisse zwischenzuspeichern oder zu exportieren.
  • Häufig gewünscht (42,86 %): Die Suche nach einzelnen Wörtern/Lexemen/Tokens oder Kombinationen von Wörtern.
  • Weiterer Wunsch (38,10 %): Visuelle Sucheingabe.

Die Analyse bestätigte die hohe Priorität der Belegsuche mit Kontext für zukünftige Entwicklungen, gefolgt vom Wunsch nach Exportfunktionen und der Recherche des semantischen Kontexts von Tokens.

Zusätzlich zu diesen quantitativen Ergebnissen wurden auch qualitative Rückmeldungen gesammelt:

  • Ein*e Nutzer*in betonte, dass „vollständig zugängliche und durchsuchbare Texte die Zukunft der Literaturwissenschaft“ seien und sah die MHDBDB als wichtige Vorreiterin in dieser Entwicklung.
  • Mehrere Nutzer*innen wünschten sich mehr Präzisionsmöglichkeiten bei der Suche.
  • Ein häufig geäußerter Wunsch war die Ergänzung des POS-Tagging um Flexionsinformationen, idealerweise mit der Möglichkeit, nach dem Lemma in einem bestimmten Kasus (z.B. Dativ Singular von “minne”) zu suchen.
  • Die Möglichkeit, Texte nach Figuren- und Ortsnamen durchsuchen zu lassen, wurde ebenfalls genannt (wobei die Umsetzung hier durch ein “NER-Projekt” in Aussicht steht).
  • Weitere Wünsche betrafen exportierbare Metadaten für selbst definierbare Korpora, nicht normalisierte Textstufen, mehrere Textfassungen, sowie die Sortierung nach Sprachstand und Entstehungsort/-zeit der Handschriften.
  • Einige Nutzer*innen wünschten sich den Zugriff auf Handschriften-Texte anstelle von Editions-Texten und die Bereitstellung der Daten (Volltexte, Annotationen) als Forschungsdaten mit Zugänglichkeit aller Daten und Annotationen sowie Verknüpfung mit Identifiern.
  • Ein*e “Power User*in” schlug per E-Mail umfassende Abfrage- und Exportmöglichkeiten sowie eine Programmschnittstelle für Python vor und hob die Nützlichkeit einer tokenbezogenen POS-Differenzierung und weiterer morphologischer Annotationen hervor.

Einige der geäußerten Wünsche, wie der Export von Metadaten und die detaillierte Flexionsanalyse, wurden als nur mit sehr großem Aufwand umsetzbar eingestuft.

Wie weiter? Learnings für UATs in den digitalen Geisteswissenschaften

Die Rückmeldungen aus der Bedarfsanalyse und dem UAT liefern wertvolle Hinweise für die zukünftige Entwicklung, wobei die Verbesserung der Suchfunktionalität und der Benutzer*innenfreundlichkeit sowie die Bereitstellung umfassenderer Hilfsangebote als prioritäre Aufgaben erscheinen. Die Wünsche nach erweiterten Suchmöglichkeiten, Datenexport und Schnittstellen unterstreichen das Potenzial der MHDBDB als zentrales Werkzeug für die mediävistische Forschung. Im Rahmen des Projektes „Users First“ wird die MHDBDB mit zwei externen Dienstleistern, DHCraft und Complement, die Wünsche der User*innen so gut wie möglich im Rahmen der Projekte im Jahr 2025 berücksichtigen, priorisieren und umsetzen.

Verschiedene Nutzer*innengruppen haben unterschiedliche Bedürfnisse. Daher hat es sich gelohnt, in der zweiten Umfrage eine Selbsteinschätzung angeben zu lassen – das hatten wir in der ersten Umfrage noch nicht berücksichtigt. Rückblickend war die ersten Umfrage viel zu lang und komplex. Sie bildete die volle Funktionalität des neuen Frontends ab und führte anhand des Leitfadens durch, doch retrospektiv führte dies zu vielen abgebrochenen Fragebögen. Im Sinne der Transparenz und der FAIR-Prinzipien haben wir die Datensätze des UAT öffentlich auf Zenodo verfügbar gemacht. Die Ergebnisse verdeutlichen, dass wir in zukünftigen Entwicklungen zwar nicht alle Wünsche umsetzen können, aber durch die prozentuale Einordnung besser priorisieren und gezielt Anpassungen vornehmen können.

Katharina Zeppezauer-Wachauer, Alan van Beek und Julia Hintersteiner
Katharina Zeppezauer-Wachauer, Alan van Beek und Julia Hintersteiner

OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Katharina Zeppezauer-Wachauer, Alan van Beek und Julia Hintersteiner (22. Mai 2025). User Acceptance Testing in den Digitalen Geisteswissenschaften. Digital Humanities an der Universität Salzburg. Abgerufen am 17. November 2026 von https://doi.org/10.58079/13zui


Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

This site uses Akismet to reduce spam. Learn how your comment data is processed.