DHInfra Proxmox-VMs und ihre Verwendung für DH Use Cases am Beispiel von „Managing Maximilian“ und „Pangloss“

Über ManMax und Pangloss

Bei „Managing Maximilian“ (ManMax) handelt es sich um ein FWF-gefördertes Großprojekt zur Erstellung einer prosopografischen Datenbank des Hofes Maximilians I.

ManMax nutzt derzeit APIS (eine Django-basierte Webanwendung, entwickelt am ACDH) mit einem eigens entwickelten, entkoppelten Frontend als primären Datenspeicher und Plattform zur Datenerstellung. Aufgrund der komplexen Datenstrukturen (im Wesentlichen große Graphen) wurde Pangloss entwickelt, eine FastAPI-basierte Plattform mit Pydantic für Datenmodellierung und -validierung, einem benutzerdefinierten Abfragegenerator zur Übersetzung der Pydantic-Modelle in Cypher-Lese-/Schreibabfragen, unterstützt durch die Graphdatenbank Neo4j. Dadurch lassen sich große, verschachtelte Modelle einfach als verbundene Graphknoten darstellen und als verschachtelte JSON-Objekte zurückgeben.

Geblockte Ports und offene Möglichkeiten

Der Virtual Machine-Cluster der Universität Salzburg bietet die perfekte Umgebung für das Testen dieser Software. Nicht nur erlauben die virtuellen Proxmox Maschinen eine abgesicherte und leicht zu bedienende Testumgebung, sie erlauben auch rund um die Uhr und ortsunabhängig Zugriff auf eine rechenstarke Infrastruktur für eine breite Reihe an möglichen DH Use Cases. Die über OpenVPN Connect und SSH geregelte Verbindung ist nach dem ersten Aufsetzen nicht nur leicht zu bedienen, sondern sorgt auch für eine sichere Verwaltung von sowohl Nutzerdaten als auch der Maschine selbst.

Im Zuge des Einrichtens dieser Verbindung kann jedoch ein Problem auftreten, welches auf Nutzerseite geregelt werden muss. Im Falle der Universität Graz zum Beispiel wird der ausgehende Port, welcher von OpenVPN Connect genutzt wird, blockiert, wodurch die Verbindung zur VM ebenso unmöglich wird. Hierbei ist es also notwendig, in der Planung für die Verwendung der VM-Services zuvor alle notwendigen Informationen über etwaig gesperrte Ports des Universitäts-Netzwerkes einzuholen und sich bei Bedarf über Lösungen und alternative Verbindungsmöglichkeiten zu informieren. In Netzwerken, in denen keine Blockaden dieser Art vorhanden sind, funktioniert die Verbindung, nach Erhalt der Zugangsdaten mit nur einem Command und einer kurzen Passworteingabe.

Umsetzung der Test Cases

Um die Verwendung der VM für Use Cases dieser Art zu Testen, wurde die von Richard Hadden entwickelte Pangloss-Software gewählt, und eine virtuelle Maschine mit folgenden Spezifikationen angefordert: 64GB RAM, 8 Cores und 32 GB Speicher mit einem Debian Betriebssystem. Die Maschine wurde nach kurzer Zeit bereitgestellt und die Zugangsdaten wurden auf sicherem Weg durch Vaultwarden übermittelt.

Die Tests sollten vor allem der Beantwortung zweier Fragen dienen:

• Wie gut eignen sich die Proxmox VMs für Projekte in dieser Art und Größe hinsichtlich Leistung und Usability?
• Wo liegen die Limits der VM für diesen Use Case und wären diese vereinbar mit der Menge an Nutzenden und Anfragen?

1.  Leichteres Deployment durch Ansible Playbooks

Die serverweite Vorgabe zur Verwendung von Ansible-Playbooks für das Setup der VMs stellte sich im Zuge des Tests als ein großer Bonus hinsichtlich des Installierens von Libraries, des Deployen von Docker-Containern und allgemein allen Schritten, die einer tatsächlich verwendbaren Software-Lösung vorausgehen, dar. Ansible erlaubt den Nutzenden, alle diese Schritte in ein “Playbook” zu verpacken, welches vom eigenen Computer aus ausgeführt werden kann, um die VM nach Belieben einzurichten. Das “Playbook” ist hierbei vergleichbar mit einem Kochrezept: Während man im Normalfall mühselig alle Zutaten einzeln zubereiten müsste, findet man nach Laufen des “Playbooks” eine bereits fertig gekochte Mahlzeit vor.

Im Falle, dass es sich bei der VM-Nutzung um einen Test Case handelt, erleichtert die Verwendung von Ansible die Nutzung noch weiter: Datenbanken können immer neu gereinigt werden, Applikationen neu gestartet, und etwaige Fehler wieder rückgängig gemacht werden mit nur einem Command.

2.  Versatilität der VMs

Ein weiterer Vorteil des Infrastructure as a Service-Angebots der Universität Salzburg in der Form von vorbereiteten VMs ist die Flexibilität  in der Gestaltung des Use Cases. Die Bereitstellung von vollständigen VMs erlaubt den Anwendenden, ihre Ressourcen selbst einzuteilen, die Architektur der Software selbst zu gestalten und während des gesamten Entwicklungsprozesses dauerhaften Zugang zu ausreichender Rechenleistung zu haben. Hierdurch wird nicht nur der Handlungsspielraum der Nutzenden im Vergleich zu Software as a Service deutlich ausgeweitet, die Kombination von vorgefertigten VMs und vorbereiteten Ansible Playbooks hält auch den Support-Aufwand vergleichsweise gering.

3.  Belastbarkeit und Limits

Um die Belastbarkeit der VM zu testen, wurden verschiedene Tests entwickelt, die die Rechenleistung der Maschine unterschiedlich hart beanspruchten. Genauer wurden verschiedene Mengen an Anfragen an die Neo4j Datenbank von Pangloss mit verschiedenen Limits an Gleichzeitigkeit der Anfragen getätigt, um den simultanen Zugriff verschiedener Nutzenden zu simulieren.

Dafür wurde ein kleines Datenmodell erstellt, bestehend aus einem einfachen Objekt („Person“, verwendet für grundlegende Lese-/Schreibtests) und einem komplexen, verschachtelten Objekt („Action“, das auf eine oder mehrere Personen verweist, verwendet für komplexere Tests).

Diese Tests wurden in verschiedene Levels an Komplexität der Anfragen unterteilt, um für die jeweiligen Anfragen die Obergrenze der gleichzeitigen Zugriffe herauszufinden. Um die Leistung der VM zu veranschaulichen, können drei der Levels hervorgehoben werden: Lesezugriff auf die Datenbank, einfacher Schreibzugriff und komplexer Schreibzugriff. Die Tests ergaben hierbei, dass die VM, auf der die Datenbank lief, für Lesezugriff 10.000 Anfragen insgesamt und 500 gleichzeitig zuließ, für einfachen Schreibzugriff 5.000 insgesamt, davon 100 gleichzeitig und für komplexen Schreibzugriff 500 davon 50 gleichzeitig, erlaubt. Die beste Leistung wird bei Lesezugriff bei etwa 100/20, bei einfachem und komplexem Schreibzugriff bei etwa 500/50 erzielt. Zusätzlich zu diesem Ergebnis bewiesen die Tests, dass Pangloss ohne große Adaptionen der Software vorzunehmen auf der VM vollständige Funktionalität bewahrte.

Schlüsse und Ausblick

Das Testen der Proxmox-VM mit Hilfe von Pangloss hat deutlich gezeigt, dass sich die VMs des Clusters in Salzburg nicht nur aufgrund ihrer Rechenstärke, sondern auch durch die einfache, von Ansible Playbooks und OpenVPN Connect gestützte, Nutzung ausgezeichnet als Plattform für Software-Projekte dieser Art eignen können. Hierbei muss jedoch darauf hingewiesen werden, dass die meisten dieser Projekte nicht in Isolation funktionieren, sondern in den meisten Fällen Netzwerkverbindungen außerhalb der VM herstellen müssen. Für diese Art der Anwendung müsste ein Konzept besprochen werden, um die Kommunikation nach außen zu ermöglichen, ohne die Sicherheit des VM-Clusters zu gefährden. Des Weiteren sollte man vor dem Versuch, sich mit der VM zu verbinden, sichergehen, dass notwendige Ports im genutzten Netzwerk nicht blockiert werden.

Ressourcen:

Für die Tests verwendete Version von Pangloss, Testergebnisse und zugehörige Visualisierungen: https://github.com/MichaelHMOtto/Pangloss-ansible.

Zu diesem Thema sind auf dem Blog außerdem erschienen:

• Karoline Döring, Die Integration komplexer wissenschaftlicher Softwaresysteme in bestehende Forschungsinfrastrukturen. Digital Humanities an der Universität Salzburg (2025), https://doi.org/10.58079/15cfw
• Martin Schäler, Die DHInfra.at-Forschungsinfrastruktur der Universität Salzburg. Digital Humanities an der Universität Salzburg (2025), https://doi.org/10.58079/15dki
• Katharina Zeppezauer-Wachauer und Clemens Hafner, Die Mittelhochdeutsche Begriffsdatenbank (MHDBDB) aus infrastruktureller Perspektive. Digital Humanities an der Universität Salzburg (2025), https://doi.org/10.58079/15emt
• Mateusz Pawlik, Lina Maria Zangerl, Martin Schäler, From Raw Data to Reproducible Workflows. Digital Humanities an der Universität Salzburg (2026), https://doi.org/10.58079/15msf 

Beitragsbild: TheDigitalArtist, Datenzentrum – Rechner, 2023, Pixabay Inhaltslizenz

Michael Otto

Alle Beiträge anzeigen

Richard Hadden

Alle Beiträge anzeigen

Nur der Text ist unter der Lizenz Creative Commons Namensnennung-Share Alike 4.0 International nutzbar. Alle anderen Elemente (Abbildungen, importierte Anhänge) sind „Alle Rechte vorbehalten“, sofern nicht anders angegeben.