23.05.2025, 11:00 Uhr

Universität Wien
Besprechungsraum 4.34
Währinger Str. 29
1090 Wien

Titel: Strategic classification: the impact of user information and non-linear classification models

Kurzfassung:

Entscheidungsträger nutzen häufig Machine-Learning-Modelle, um Nutzer zu klassifizieren. Eine
grundlegende Annahme dieser ML-Modelle wird jedoch oft verletzt: dass die Verteilung der Instanzen
nach der Bereitstellung des Modells in der Praxis mit der der Trainingsdaten übereinstimmt. Wenn
Ergeb- nisse für Nutzer wichtig sind, versuchen sie möglicherweise, ihre Features zu manipulieren,
um ein gün- stigeres Ergebnis, d. h. eine positive Klassifizierung, zu erzielen. Dieses Verhalten
wird als „Gaming“ bezeichnet (z. B. der Beitritt mehrerer Sportvereine zur Verbesserung der
Studienplatzchancen).
Da dies sowohl Entscheidungsträger als auch Nutzer betreffen kann, beispielsweise durch eine ver-
ringerte Klassifizierungsgenauigkeit, befassen sich verschiedene Ansätze mit dieser
Verteilungsverschiebung, wie zum Beispiel das Framework von "Strategic Classification" [Hardt et
al., 2016]. Ein Großteil der bestehenden Literatur konzentriert sich jedoch primär auf lineare
Modelle und geht davon aus, dass Nutzer über vollständige Informationen (d. h. genaue Informationen
zu Modell- gewichten und -struktur) über das verwendete Modell verfügen. Probleme wie das obige
Beispiel sind jedoch oft komplexer und erfordern nichtlineare Klassifikatoren. Zudem ist die
Annahme vollständiger Informationen über das Modell oft keine realistische Annahme – je nachdem,
welche Informationen die Entscheidungsträger den Nutzern zur Verfügung stellen, können
unterschiedliche Informationsszenarien
entstehen.
In meiner Arbeit untersuche ich, wie sich Nichtlinearität und verschiedene Informationsszenarien
auf Modelle unter der Annahme von „Gaming“ auswirken. Anstatt die Analysen auf extreme Informa-
tionsfälle wie vollständige Transparenz oder keine Informationen zu beschränken, untersuche ich
auch die Auswirkungen der Bereitstellung von Modellerklärungen wie LIME als Informationen für
Nutzer. Die Ergebnisse zeigen, dass lineare und nichtlineare Modelle oft zu unterschiedlichen
Auszahlungen führen, insbesondere für Entscheidungsträger. Sowohl bei vollständiger Transparenz als
auch bei überhaupt keine Informationen erzielen Entscheidungsträger mit linearen Modellen eine
höhere Genauigkeit, es gab jedoch auch Informationsszenarien, in denen nichtlineare Modelle eine
höhere Genauigkeit liefer- ten. Darüber hinaus variieren die Auswirkungen verschiedener
Informationsszenarien: Nutzer tragen tendenziell höhere Kosten in Situationen mit weniger
Informationen, während Entscheidungsträger oft in transparenten Fällen Nachteile erleiden.
Zusammengefasst untersucht diese Studie die Konsequenzen von "Strategic Classification" für
Entscheidungsträger und Nutzer in verschiedenen Informationsszenarien und -modellen.