Aktives Maschinelles Lernen von GNN-Potentialen aus Quanten- und experimentellen Daten

Dieses Projekt entwickelt dateneffiziente Methoden zum Trainieren von neuronalen Netz (NN) Potenzialen zur Modellierung molekularer Wechselwirkungen in der Materialwissenschaft, beispielsweise in der additiven Fertigung. Da experimentelle Daten und Daten aus der Dichtefunktionaltheorie (DFT) kostspielig sind, wird aktives Lernen eingesetzt, um Konfigurationen mit hoher Unsicherheit zu identifizieren, die einer Kennzeichnung bedürfen. Eine zuverlässige Unsicherheitsquantifizierung (UQ) ist daher unerlässlich. Herkömmliche ensemblebasierte UQ liefert oft zu optimistische Schätzungen, während bayessche Markov-Ketten-Monte-Carlo-Methoden (MCMC) zwar genau sind, aber für NN-Potenziale mit oft Hunderten von verschiedenen Parametersätzen rechnerisch nicht praktikabel sind (siehe Abbildung unten). Um dieses Problem zu lösen, untersucht das Projekt effiziente Single-Pass-UQ-Ansätze. Dazu gehören Deep-Kernel-Learning mit Gaußschen Prozessen, das Unsicherheitsschätzungen für Energien und Kräfte ermöglicht, und Evidential Deep Learning, das eine Student-t-Verteilung vorhersagt, um epistemische von aleatorischer Unsicherheit zu trennen. Anhand von Benchmarks mit Lennard-Jones-Molekulardynamik-Datensätzen (MD) wird die Fähigkeit jeder Methode zur Erkennung von Zuständen außerhalb der Verteilung bewertet.

Ergebnisse

• Es wurde gezeigt, dass Standard-Neuralnetzwerke häufig zu übertriebenen und unzuverlässigen Unsicherheitsschätzungen führen, wodurch sie für die Steuerung des aktiven Lernens in Molekularsimulationen ungeeignet sind.
• Es wurde bestätigt, dass stochastisch-gradienten-gesteuertes Monte-Carlo (SGGMC) eine fundiertere bayessche Unsicherheitsschätzung liefert und damit übertriebene Zuversicht bei verschiedenen Molekülkonfigurationen wirksam reduziert.
• Identifizierung der rechnerischen Grenzen stochastisch-gradientenbasierter MCMC-Methoden, da diese die Auswertung Hunderter Parametervorlagen erfordern und sich daher für das Screening langer MD-Trajektorien als unpraktisch erweisen.
• Entwicklung eines Deep-Kernel-Lernframeworks unter Verwendung von Gauß-Prozessen im Einbettungsraum eines NN zur Quantifizierung von Unsicherheiten sowohl für Energien als auch für Kräfte.
• Implementierung von evidenzbasiertem Deep Learning, das die Vorhersage einer Student-t-Verteilung und die Trennung von aleatorischer und epistemischer Unsicherheit ermöglicht, was für aktive Lernentscheidungen von entscheidender Bedeutung ist.
• Erstellung eines umfassenden Lennard-Jones-MD-Benchmark-Datensatzes über Temperaturen und Dichten hinweg, um UQ-Methoden unter Bedingungen außerhalb der Verteilung zu bewerten.
• Bestätigung, dass die neuen UQ-Ansätze Zustände mit hohen Fehlern besser identifizieren und enger mit tatsächlichen Vorhersagefehlern korrelieren.

Nächste Schritte

Zukünftige Bemühungen sollten sich darauf konzentrieren, die Robustheit der UQ-Methoden zu verbessern, entweder durch Regularisierung, um Zusammenbrüche zu vermeiden, oder durch die Entwicklung alternativer Ansätze zur Modellierung von Kraftunsicherheiten. Diese Methoden werden verwendet, um aus experimentellen Daten unsicherheitsbewusste NN-Potenziale zu trainieren.

Ein weiterer Ansatz besteht darin, die DiffTRe-Methode mit unseren effizienten UQ-Schemata zu kombinieren, um NN-Potenziale zu erstellen, die mit experimentellen Daten übereinstimmen und gleichzeitig zuverlässige Unsicherheitsschätzungen liefern.

Erstens ermöglicht dies aktives Lernen, das durch Experimente an bestimmten Zustandspunkten geleitet wird, an denen das Modell hohe Unsicherheit signalisiert. Daraus lässt sich eine umfassende Datenbank mit NN-Potenzialen erstellen, die mit den Experimenten übereinstimmen. Zweitens können Praktiker, die MD-Simulationen über unsere NN-Potenziale durchführen, eine Unsicherheitsschätzung zu vernachlässigbaren zusätzlichen Kosten erhalten und damit die hohe Rechenlast der aktuellen MCMC-Ansätze überwinden.