03.09.2025, 15:00 Uhr
Universität Wien
Kolingasse 14-16
Raum 5.16
1090 Wien
Titel: Temporal Adaptation Techniques in Diachronic Language Modelling
Kurzfassung:
Diese Masterarbeit untersucht Strategien zur zeitlichen Anpassung generativer Sprachmodelle, um historische Sprachvariationen im Englischen abzubilden. Während die meisten modernen Sprachmodelle Sprache als statisch betrachten, wird in dieser Arbeit eine diachrone Version des Open Language Model (OLMo) entwickelt, indem es auf historischen englischen Texten feinabgestimmt wird. Es werden zwei Hauptstrategien verfolgt: die vollständige Feinabstimmung mit verschiedenen Formen zeitlicher Konditionierung sowie ein Mixture-of-Experts-(MoE)-Ansatz, bei dem jeweils ein Experte auf einen unterschiedlichen historischen Zeitraum feinabgestimmt wird und deren Ergebnisse durch einen gelernten Steuerungsmechanismus kombiniert werden.
Die Experimente zeigen, dass die zeitliche Konditionierung während der vollständigen Feinabstimmung nur begrenzte Auswirkungen auf die Perplexität hat. Im Gegensatz dazu führt der MoE-Ansatz zu deutlichen Verbesserungen der Perplexität und ermöglicht eine strukturelle Kodierung der Zeit. Über die Sprachmodellierung hinaus wird gezeigt, dass die Steuerungsausgaben des MoE zur Datierung von Texten genutzt werden können, wobei das Modell in der Lage ist, das Veröffentlichungsjahr historischer Texte mit hoher Genauigkeit vorherzusagen.