05.02.2025, 15:00 Uhr
Universität Wien
Besprechungsraum 4.34
Währinger Str. 29
1090 Wien
Titel: Investigating Plasticity Loss During the Self-Labeling Stage in
Deep Clustering
Kurzfassung:
Beim Clustering geht es darum, Datenpunkte auf der Grundlage von Ähnlichkeiten in sinnvolle Gruppen
zu unterteilen. Deep Clustering baut auf dieser Grundlage auf und nutzt tiefe neuronale Netze, um
umfassendere und repräsentativere Dateneinbettungen zu erlernen. Um die Qualität der
Cluster-Zuordnungen zu verbessern, werden Netzwerke häufig durch Self-Labeling feinabgestimmt. Das
Self-Labeling-Verfahren basiert jedoch auf dem Training mit verrauschten, selbst erstellten Labels
anhand der nächsten Nachbarn. Um den Einfluss des Rauschens zu reduzieren, schlagen die Autoren
eine Konfidenz- schwelle vor. Dies stellt eine weitere Herausforderung während des Trainings dar —
die zunehmende Größe der Trainingsdaten während der Self-Labeling-Phase. In der Praxis kann dieses
Szenario zu Generalisierungsproblemen führen.
In dieser Arbeit lassen wir uns von neueren Forschungen zur Plastizität von neuronalen Netzwerken
inspirieren und wenden Techniken zum Zurücksetzen von Gewichten während des Self-Labeling-Prozesses
an. Wir zeigen, dass der SCAN-Algorithmus durch den Einsatz von Gewichtsrücksetzungstechniken
während des Self-Labelings seine Leistung steigert und seine Generalisierungsfähigkeit verbessert.
Unsere Ergebnisse verdeutlichen die Grenzen des Self-Labelings, unterstreichen die Bedeutung
zuverlässiger, algorith- musagnostischer Techniken und bieten eine Grundlage für die Entwicklung
robusterer
Self-Labeling-Methoden.