Alle Wege führen zu LLMs? Die RDF-Datenmodellierung am IMAREAL und die Zukunft

Am Institut für Realienkunde des Mittelalters und der frühen Neuzeit (IMAREAL) gibt es verschiedene Datenbestände zu historischen Quellen (Bilder, Objekte, Texte). Neben Metadaten umfassen diese umfangreiche semantische Annotationen, die für die Erforschung von materieller Kultur, aber auch für andere Bereiche geistes- und kulturwissenschaftlicher Forschung eine Fülle an Material bieten. Diese einzelnen Bestände sollen künftig miteinander verknüpft werden, um sie in interdisziplinären und intermedialen Forschungskontexten noch besser nutzen zu können. Die unterschiedlichen Quellentypen und auch die Menge der Daten stellen dabei eine große Herausforderung dar. Wie können Forscher*innen diese übergreifend abfragen und einen Überblick bekommen, sodass sie für einen bestimmten Untersuchungskontext verwendet werden können? Wie kann diese Datenvielfalt auch diejenigen Nutzer*innen zu neuen Forschungsfragen führen, die nicht über breite Kenntnisse von Datenmodellen, Ontologien, Normdaten und relevanten Abfragesprachen wie SPARQL[1] verfügen? Es braucht somit einen Tool-getriebenen Ansatz und entsprechende Unterstützung der Forscher*innen durch spezifische Funktionen der Benutzer*innenoberfläche (z.B. Facettensuche) sowie Hilfestellungen, sodass Expert*innen-Suchen (z.B. mittels neo4j-Queries in der Abfragesprache cypher) einfacher durchgeführt werden können und in der Zukunft idealiter auch natürlichsprachliche Abfragemöglichkeiten.

Aufgrund der grundsätzlichen Komplexität dieser Aggregation von Daten und der Unterschiedlichkeit der disziplinären Zugänge, aber auch der interdisziplinären Potentiale ist es naheliegend, dass die verschiedenen zusammengefassten Projekte in ein neues übergeordnetes Projekt münden. Dieses wird am IMAREAL DiscoThings – Discovery of Things genannt. In einer ersten Phase wird dabei getestet, wie durch die Zusammenführung einiger IMAREAL-Datenbanken im Resource Description Framework-Modell (RDF) und die Zuweisung eigener Namespaces für jede Datenbank, alle Daten in einem bereits in anderen Forschungskontexten genutzten RDF-Viewer über Verknüpfungen in den jeweils verwendeten Thesauri abgefragt werden können.[2] Weiters wird künftig erarbeitet, wie nicht deckungsgleiche Begriffe mit inhaltlicher Schnittmenge in den verschiedenen Thesauri gemappt und verwaltet werden können.

In diesem Zusammenhang stellte sich darüber hinaus die Frage, wie Large Language Models (LLMs) künftig bei der Verknüpfung und (übergreifenden) Abfrage von den unterschiedlichen Datenbeständen am IMAREAL am sinnvollsten eingesetzt werden können. Im Zuge des Projekts DiTAH[3] kam es daher zu einer Kooperation mit Christopher Pollin und Christian Steiner von Digital Humanities Craft[4], die verschiedene Anwendungsszenarien anhand der RDF-Daten der IMAREAL-Datenbanken evaluiert und mit den Mitarbeiter*innen am IMAREAL diskutiert und weitergedacht haben. Für die Tests wurden die RDF-Daten aus ITEM[5] (eine Datenbank von historischen Burginventaren aus dem 15. und 16. Jahrhundert mit Daten zu materieller Kultur, überwiegend mit heutigem Standort in Österreich und in angrenzenden Regionen der Nachbarländer), aus REALonline[6] (eine Bilddatenbank mit reichhaltigen und strukturierten Annotationsdaten zu historischen Bildern, schwerpunktmäßig aus dem 12. bis 16. Jahrhundert aus der gleichen Region) sowie jene aus dem Projekt Hohensalzburg digital[7] (wie bei ITEM, nur im Speziellen für die Festung Hohensalzburg) verwendet. In einem ersten Schritt wurde dazu untersucht, welche Potentiale der Einsatz von a) Custom GPTs bzw. verknüpften Custom GPTs, b) auf spezifischen Input trainierten Modellen (Fine Tuning) oder von c) Retrieval Augmented Generation-Modellen (RAG) bringen könnte und mit welchem finanziellen und entwicklungstechnischen Aufwand dabei jeweils derzeit zu rechnen ist. Eine weitere Aufgabe bestand darin, mit den LLMs die RDF-Daten des IMAREALs zu prüfen und die jeweiligen Ontologien zu extrahieren und mit anderen bestehenden Ontologien im GLAM-Sektor (wie z.B. CIDOC-CRM) zu harmonisieren. Weiters wurde getestet, wie gut sich SPARQL-Queries ausgehend von den extrahierten Klassen und Relationen der IMAREAL-RDF-Daten generieren lassen.

In diesem Blogartikel soll nun eine weitere Aufgabenstellung genauer in den Blick genommen werden, die als erstes Zwischenergebnisse eine Webapplikation zum Ergebnis hatte. Sie stützt sich aktuell auf die Daten von ITEM, könnte aber auch für andere Datenbestände weiterentwickelt werden.

Frag’ die KI: Large Language Models (LLMs) und Forschungsfragen zu materieller Kultur

In diesem konkreten Anwendungsfall wurde das Potenzial ausgelotet, mit generativer KI zu arbeiten. Der Ansatz Promptotyping[8] von Christopher Pollin und Christian Steiner geht dabei genau das vorher beschriebene Grundproblem an: Das Sammeln und Kuratieren von Daten und deren sinnvolle Analyse über benutzer*innenfreundliche Interfaces. Um ein verwendbares User Interface zu bekommen, das nur ersten geisteswissenschaftlichen Fragestellungen dient und überhaupt erst einmal klärt, ob die angestrebte Lösung machbar und nützlich ist, braucht es Expert*innen-Wissen in Software-Engineering, in den Geisteswissenschaften und bezüglich der Schnittstelle zwischen den beiden, also den Digital Humanities. Darüber hinaus erfordert dieses Promptotyping schon eine verhältnismäßig lange Entwicklungszeit, die in der üblichen Förderlandschaft aufgrund der damit einhergehenden hohen Kosten nur schwierig bis gar nicht finanzierbar ist. Der Vorschlag Promptotyping von DHCraft setzt genau hier an, indem von Beginn an fortgeschrittenes Prompt Engineering und Rapid Prototyping aus der Softwareentwicklung kombiniert werden. Statt wie ursprünglich an Konzepten zu arbeiten, die erst später risikoreich implementiert werden können, ermöglicht es den Forscher*innen, sich hauptsächlich auf die Daten und Forschungsfragen zu konzentrieren.[9]

In einem Workshop wurde das grundsätzliche Potential von LLMs erarbeitet und für die Erstellung von SPARQL-Abfragen getestet, sowie erste Überlegungen zu Retrieval Augmented Generation (RAG) angestellt. Letzteres bedeutet, dass ein LLM auf eine Wissensbasis zugreift, um dann natürlichsprachliche, kohärente und auch auf Basis dieses Wissens inhaltlich korrekte Antworten generiert. Graphdaten, wie sie bei den erwähnten Projekten vorliegen, eignen sich dafür hervorragend. Durch Promptotyping entstand aus einer Forschungsfrage im Kontext der Projekte ITEM und Hohensalzburg, was der Unterschied zwischen einer „Stube“ und einer „Dürnitz“ auf einer Burg ist,[10] eine Web-Applikation[11] in Form einer Tree-Map-Visualisierung (siehe Beitragsbild) der unterschiedlichen Stuben mit einfachen Filtermöglichkeiten. Die grundsätzliche Fragestellung, ob sich eine Stube allein durch die laut Inventar in diesem Raum befindlichen Objekte von anderen Räumen abgrenzen lässt, kann so mit wenigen Klicks erprobt werden. Dabei gilt nicht, dass hier fertige Forschungsergebnisse durch die Visualisierung präsentiert werden, sondern – ganz im Sinne eines Prototyps – erkundet wird, ob diese Fragestellung überhaupt in Ansätzen durch die Daten beantwortet werden kann.

Am Beispiel der Stuben in der Burg Maissau aus einem Inventar aus 1583 wird dies folgend aufgezeigt.

Uhren, Kochgeschirr und Bettwäsche: Schnelle Indizien zur Raumfunktion?

Fokus auf das Inventar der Burg Maissau (1583) und den verschiedenen Stuben

Nach wenigen Klicks oder durch eine einfache Filter-Funktion scheint ein Objekt hervorzustechen: eine Uhr. In der „Großen Stube“ in der Burg Maissau stand laut Inventar aus dem Jahr 1583 eine Uhr. Ebenso sind dort Trinkgläser und ein Portrait zu finden. All diese Indizien deuten darauf hin, dass zumindest in Maissau die Raumbezeichnung der „Großen Stube“ eher auf einen repräsentativen Raum hinweist. Die „Torstube“ hingegen, ist durch einen Kessel deutlich als Stube gekennzeichnet, in der Essen zubereitet wurde, während die „Kleine Stube“ mit Bettdecken, Tüchern und Kleidung auf eine Schlafkammer und/oder einen Ankleideraum hindeutet.

Während dies im Inventar einzeln Zeile für Zeile gelesen werden müsste, kann dies im Prototyp mit wenigen Klicks angezeigt werden und direkt auch mit vergleichbaren Stuben in anderen Burgen verglichen werden.

Ausblick: Übergreifende Abfragen zu mehreren Quellentypen

Die tatsächliche Stärke dieses Ansatzes zeigt sich vor allem dann, wenn verschiedene Quellentypen kombiniert werden. In ersten Tests zeigt sich so, dass die verschiedenen Datenbanken des IMAREAL verknüpft werden können und gemeinsam abfragbar sind. LLMs können hervorragend mit Graphdaten (Knowledge Graphen) umgehen und sie auch lesen. Für Menschen sind komplexe Graphdaten nicht unbedingt ideal les- bzw. überschaubar, für Maschinen hingegen hervorragend. Hier versprechen wir uns in Zukunft Tools zur interdisziplinären Erforschung der verschiedenen Quellen und auch – bisher nur in Konzeptform – natürlichsprachliche Fragen an all diese Daten gemeinsam zu stellen.

Geisteswissenschaftler*innen müssten dann nicht mehr verschiedene Datenbanken durchsuchen und die Ergebnisse selbst kombinieren, sondern könnten zu Fragestellungen der materiellen Kultur eine Abfrage machen, die zugeschnitten auf ihre speziellen Untersuchungshorizonte Daten aus unterschiedlichen Quellentypen liefert. Ein (regionales) Semantic Web zur Erforschung materieller Kultur scheint erstmals nicht mehr ganz unmöglich zu sein.

[1] Steve Harris, Andy Seaborne: SPARQL 1.1 Query Language, http://www.w3.org/TR/sparql11-query/.

[2] Die erste Testphase von DiscoThings wird im Zuge der Förderung durch das Amt der Niederösterreichischen Landesregierung, Abteilung Wissenschaft und Forschung realisiert. Hinsichtlich des RDF-Viewers wird auf Erfahrungen mit den Entwicklungen im Rahmen des Projekts ONAMA – Ontology of Narratives of the Middle Ages, gefördert von der Österreichischen Akademie der Wissenschaften im go-digital-Förderprogramm, aufgebaut.

[3] https://www.ditah.at/.

[4] https://dhcraft.org/.

[5] Der Link zu ITEM wird nachgereicht, sobald der Launch vollzogen worden ist.

[6] https://realonline.imareal.sbg.ac.at/.

[7] https://hohensalzburg.digital/.

[8] Christian Steiner, Christopher Pollin, Promptotyping (v1.0.0). Zenodo, 2024, https://doi.org/10.5281/zenodo.14160876.

[9] Ebd.

[10] Elisabeth Gruber, Peter Färberböck, ITEM: Eine Schnittstelle realienkundlicher Daten aus historischen Textquellen, in: Das Mittelalter 30/1 (2025) [in Vorbereitung].

[11] https://dhcraft.org/excellence/promptotyping/imareal-room-object-webapp/.