24.09.2026, 13:00 Uhr
Universität Wien
Besprechungsraum 6.35
Währinger Str. 29
1090 Wien
Titel: A Hybrid System for Serbian Natural Language Processing with
Large Language Models
Kurzfassung:
Serbisch ist für die maschinelle Sprachverarbeitung (NLP) eine ressourcenarme Sprache,
die von aktuellen Werkzeugen und Modellen unterrepräsentiert wird, da diese hauptsächlich
für das Englische entwickelt und daran evaluiert werden. Die vorliegende Arbeit
untersucht die Grenzen aktueller Werkzeuge, stimmt ein großes Sprachmodell (LLM)
mit offenen Gewichten für die maschinelle Sprachverarbeitung des Serbischen fein ab
und entwickelt eine einheitliche Webanwendung, die diese Fähigkeiten in ein hybrides
System integriert. Das Modell wird auf einem im Instruktionsformat vorliegenden serbischen
Datensatz mit 24.601 Beispielen über fünf Aufgaben hinweg feinabgestimmt und
anschließend mittels automatischer Benchmarks, aufgabenspezifischer Metriken und einer
Nutzerstudie mit Muttersprachlern evaluiert. Die Wahl der Evaluationsmethode beeinflusst
die gemessene Leistung erheblich. Dasselbe Basismodell erreichte auf demselben
Benchmark etwa 34% bei Log-Wahrscheinlichkeits-Bewertung, jedoch etwa 76% bei
chatbasierter Generierung. Die Feinabstimmung verbesserte die Leistung bei mehreren
aufgabenspezifischen Metriken sowie beim Befolgen von Anweisungen. Die Studie ergab
jedoch, dass Muttersprachler die feinabgestimmten Ausgaben insgesamt nicht bevorzugten
und bei der Zusammenfassung die Ausgaben des Basismodells deutlich vorzogen. Automatische
Metriken und menschliches Urteil wichen erheblich voneinander ab. Obwohl sich
die automatische Metrik verbesserte, beurteilten die Bewertenden die feinabgestimmten
Zusammenfassungen als schlechter, da sie kürzer und der Quelle weniger treu waren. Die
Arbeit liefert ein feinabgestimmtes serbisches Modell mit offenen Gewichten und eine lokal
eigenständig betreibbare Anwendung. Ihr zentraler Befund ist jedoch methodischer Natur.
Eine detaillierte Prüfung ressourcenarmer Sprachen erfordert mehrere komplementäre
Methoden, da die Schlussfolgerungen stark von der gewählten Methode abhängen.