Struktur, Symmetrie und Skalierung im Gewichtsraum neuronaler Netze

von Daniel Herbst

Moderne neuronale Netze werden durch hochdimensionale Gewichtsvektoren parametrisiert, doch diese Darstellungen sind keineswegs eindeutig, d. h., viele verschiedene Punkte im Gewichtsraum können dieselbe Funktion beschreiben. Solche Symmetrien im Gewichtsraum spielen im gesamten Bereich des maschinellen Lernens eine Rolle. Beispielsweise prägen sie die Geometrie von Verlustlandschaften, können in der Optimierungsdynamik zu erhaltenen Größen führen und stellen Hindernisse dar, die beim Vergleich oder der Zusammenführung unabhängig voneinander trainierter Modelle berücksichtigt werden müssen. Umgekehrt kann das Ausnutzen ihrer Bahnen Möglichkeiten für eine verbesserte Komprimierung (z.B. Quantisierung oder Pruning) eröffnen, und sie können als Datensymmetrien für das Lernen im Gewichtsraum genutzt werden.

Meine Forschung befasst sich mit dieser Struktur im Gewichtsraum. Ein Schwerpunkt liegt darauf, über rein architektonische Symmetrien hinauszugehen und stattdessen lokalere und datenabhängigere Äquivalenzbegriffe zu berücksichtigen, d. h. Transformationen, die zwar die Funktion eines Netzwerks möglicherweise nicht überall erhalten, aber dessen Verhalten hinsichtlich der in der Praxis relevanten Eingaben und Darstellungen bewahren. Eine damit zusammenhängende Frage ist, wie sich solche Äquivalenzbegriffe über verschiedene Dimensionen hinweg erstrecken. Dadurch verlagert sich das Problem vom Vergleich von Punkten innerhalb eines einzelnen Gewichtsraums hin zum Vergleich von Modellen unterschiedlicher Breite oder Tiefe, die sich in verschiedenen Gewichtsräumen befinden. Das Verständnis solcher Entsprechungen kann Aufschluss darüber geben, welche Eigenschaften neuronaler Netze bei Skalierungen erhalten bleiben und welche von einer bestimmten Modellgröße oder Parametrisierung abhängen. Letztendlich suche ich nach mathematischen Beschreibungen neuronaler Netze, die erfassen, was über Parametrisierungen, Architekturen und Skalen hinweg invariant bleibt.