Sara-Viola Kuntz

Deep Learning hat sich in einer Vielzahl von Anwendungen als äußerst leistungsfähig und flexibel für hochkomplexe analytische und vorhersagende Aufgaben erwiesen. Ein vollständiges theoretisches, insbesondere mathematisches, Verständnis und eine Erklärung tiefer neuronaler Netze und der damit verbundenen algorithmischen Verfahren steht noch aus.

Das Ziel dieses Promotionsprojekts ist es, verschiedene mathematische Ansätze aus der Theorie dynamischer Systeme zu kombinieren, um einen neuen, rigorosen Rahmen für maschinelles Lernen im Kontext tiefer neuronaler Netze zu schaffen. Die Grundidee besteht darin, eine schnelle und eine langsame Zeitskala in der Lerndynamik zu identifizieren. Auf diese Weise kann ein tiefes neuronales Netz als ein dynamisches System mit zwei Zeitskalen interpretiert werden.

Die schnelle Dynamik beschreibt die Informationsausbreitung durch ein großes adaptives Netz. Zur Untersuchung des schnellen Prozesses werden neuartige integro-partielle Differentialgleichungen abgeleitet und analysiert. In diesem Zusammenhang wird die Theorie der Graphoperatoren, auch Graphops genannt, verwendet und erweitert. Der Prozess der Anpassung der Koeffizienten des neuronalen Netzes stellt den Lernvorgang dar und kann als langsame Dynamik interpretiert werden, welche mit einem Schwerpunkt auf stochastischem Gradientenabstieg untersucht wird. Dabei werden Metastabilitätseigenschaften abgeleitet und die Interpretation zufälliger dynamischer Systeme verwendet. Schließlich werden diese beiden dynamischen Zeitskalen zu einem vollständigen Modell der Dynamik des neuronalen Netzes kombiniert. In diesem Modell kann das Zusammenspiel zwischen stochastischem Lernen und dynamischer Robustheit untersucht werden. Die Erwartung ist, bestimmte Muster und ihre repräsentative Bedeutung zu finden, zu erklären und vorherzusagen. Zu den verwendeten mathematischen Werkzeugen gehören stochastische Dynamik, Ergodentheorie, adaptive Netzwerke, Graphgrenzwerte und Multiskalendynamik.