02.07.2025, 14:00 Uhr

Universität Wien
Besprechungsraum 4.34
Währinger Str. 29
1090 Wien

Titel: Enhancing Process Mining with LLMs by Applying Instruction Tuning

Kurzfassung:
Das Interesse am Process Mining ist gewachsen, da Organisationen zunehmend Ereignisdaten
nutzen, um Einblicke in ihre Prozesse zu gewinnen. Traditionell stützt sich Process
Mining auf statistische Methoden zur Analyse von Ereignisprotokollen. Jüngste Fortschritte
im Bereich der Large Language Models (LLMs) bieten jedoch eine neuartige
Alternative, bei der das semantische Verständnis im Vordergrund steht, ohne stark auf
historischen Kontext angewiesen zu sein. Instruction Tuning,das Trainieren von Modellen
zur Befolgung natürlicher Sprachinstruktionen, zeigt großes Potenzial für das Process
Mining. Es ermöglicht Modellen, innerhalb einer Domäne zu generalisieren, wodurch der
Bedarf an wiederholtem Fine-Tuning für einzelne Aufgaben reduziert wird und gleichzeitig
das Verständnis für nutzerseitige Anweisungen verbessert wird.
Diese Arbeit untersucht das Potenzial von Instruction Tuning im Process Mining,
gestützt durch die Erstellung eines domänenspezifischen Instruction-Datensatzes. Der
Datensatz ist in drei Aufgabencluster gegliedert: Anomalieerkennung, Vorhersage und
Discovery. Diese Cluster basieren auf fünf Process-Mining-Aufgaben, die in früheren
Arbeiten identifiziert wurden. Wir trainieren quelloffene LLMs der Llama- und Mistral-
Familien mithilfe einer Leave-One-Cluster-Out-Strategie, bei der jeweils ein Cluster
ausgeschlossen wird, um die Generalisierungsfähigkeit zu evaluieren.
Die Modellleistung wird anhand des Macro-F1-Scores für Klassifikationsaufgaben und
der footprint-basierten Fitness für Generierungsaufgaben bewertet. Die Ergebnisse zeigen,
dass Instruction Tuning insbesondere in den Clustern Vorhersage und Discovery
die Generalisierung konsistent verbessert, insbesondere bei Modellen mit mehr als 60
Milliarden Parametern, während die Effekte bei der Anomalieerkennung weniger eindeutig
ausfallen. Zusätzlich zu den quantitativen Metriken zeigt unsere qualitative Analyse, dass
instruction-getunte Modelle Formatvorgaben zuverlässiger einhalten und interpretierbarere
Antworten liefern als Basismodelle.
Unsere Ergebnisse belegen, dass Instruction Tuning ein vielversprechender Ansatz zur
Entwicklung flexibler, semantikbewusster Modelle im Bereich Process Mining ist.