15.09.2026, 13:00 Uhr
Universität Wien
Besprechungsraum 4.34
Währinger Str. 29
1090 Wien
Titel: Local LLM-Driven NPCs with Retrieval-Augmented Memory in
Unreal Engine 5
Kurzfassung:
Aktuelle Fortschritte bei Large Language Models eröffnen neue Möglichkeiten für Spielfiguren,
die nicht nur auf festen Dialogbäumen basieren, sondern in natürlicher Sprache
reagieren können. In Spielen müssen solche Systeme jedoch zusätzliche Anforderungen
erfüllen: Sie müssen die Identität der Figur bewahren, das geschriebene Hintergrundwissen
respektieren, innerhalb akzeptabler Gameplay-Latenz antworten und zuverlässig in
einer Echtzeit-Engine laufen. Diese Masterarbeit behandelte diese Herausforderungen
durch die Entwicklung und Evaluation eines lokalen LLM-basierten NPC-Dialogsystems
mit retrieval-augmentierter Erinnerung in Unreal Engine.
Der implementierte Prototyp zeigt eine Architektur, in der eine Game Engine, ein
lokales Sprachmodell-Backend, eine embedding-basierte Retrieval-Pipeline und charakterbezogene
Erinnerung während der Dialoggenerierung zusammenwirken. Spielereingaben
werden über Engine-Komponenten verarbeitet, relevantes Weltwissen und Erinnerungen
werden abgerufen, und der daraus entstehende Kontext steuert die generierte Antwort
des NPCs. Das System wurde in ein eigens erstelltes narratives Testlevel für
ein Indie-Spielprojekt integriert, in dem das geschriebene Setting, nicht-standardisierte
Fantasy-Regeln und unterschiedliche NPC-Persönlichkeiten eine praktische Umgebung
für lore-gebundene Dialoge boten.
Die Evaluation betrachtete sowohl die technische Machbarkeit als auch das Spielerfeedback.
Laufzeitmessungen wurden genutzt, um zu untersuchen, ob lokale Generierung
parallel zu einer interaktiven Unreal-Engine-Szene betrieben werden kann, während Spielerfeedback
Relevanz, Konsistenz, Erinnerung, Charakterpersönlichkeit, Immersion und
Präferenz gegenüber konventionellen geskripteten Dialogen bewertete. Die Ergebnisse
zeigen, dass lokale LLM-Inferenz in Kombination mit retrieval-augmentierter Erinnerung
eine praktikable Grundlage für kohärente und charakterstarke NPC-Interaktionen in
einer Echtzeit-Game-Engine bilden kann. Gleichzeitig zeigt die Arbeit, dass breitere
Hardware-Abdeckung, kontrolliertere Vergleiche und weitere Optimierung notwendig sind,
bevor solche Systeme als produktionsreife Dialoglösungen betrachtet werden können.