20.07.2022, 14:00 Uhr
Universität Wien
Seminarraum 11
Währinger Str. 29
1090 Wien
Titel: „A Multi-Directional Approach for Accelerating Single-Node
Image Classification Neural Network Training via Pruning“
Kurzfassung:
Die kontinuierliche Zunahme der architektonischen Komplexität von Deep Neural Networks
(DNNs) sowie der Druck auf DNN-Anwendungen, eine immer größere Datenmenge sowie
immer komplexere Probleme zu bewältigen, hat zu einer Nachfrage nach Ansätzen geführt,
welche die zeitliche und räumliche Komplexität solcher Netzwerke während Training
und Inferenz reduzieren, insbesondere für Training unter Ressourcenbeschränkungen
oder Inferenz unter Zeitbeschränkungen. Arbeiten auf dem Stand der Technik, die
darauf abzielen, den DNN-Bedarf an Speicher und Rechenzeit während des Trainings
und/oder der Inferenz zu reduzieren, können in Techniken kategorisiert werden, die
Pruning, Quantisierung, neuronale Architektursuche (NAS), verteiltes Lernen oder eine
Kombination davon anwenden. In dieser Arbeit liegt der Fokus auf dem Intra-Training-
DNN-Pruning (d.h. dem Beschneiden des Netzwerks während und mit dem Ziel, das
Training zu beschleunigen), für das neue Ansätze vorgestellt werden. Dies wird durch
eine umfassende Literaturrecherche und eine eingehende Analyse des Stands der Technik
auf dem Gebiet der DNN-Beschneidung während des Trainings erreicht, wobei aktuelle
wissenschaftliche Lücken hervorgehoben und neuartige Lösungen für eine ausgewählte
Teilmenge der identifizierten offenen Forschungsfragen synthetisiert und implementiert
werden. Die in dieser Arbeit vorgeschlagenen Lösungen werden einer umfangreichen
analytischen und empirischen Bewertung im Vergleich mit anderen Methoden des Standes
der Technik unterzogen, um ihren wissenschaftlichen Beitrag zu demonstrieren.