Generative Deep-Learning-Modelle zur Inter- und Extrapolation medizinischer Zeitreihen
von Wenke Karbole
Zeitliche Informationen spielen eine zentrale Rolle für das menschliche Verständnis von Situationen und Prozessen. In natürlichen Zeitreihen, z. B. in Videos, laufen die Ereignisse nacheinander ab, so dass der Betrachter einen Einblick in den zeitlichen Ablauf der dargestellten Prozesse erhält. In der Medizin ist die Bewertung der zeitlichen Dynamik entscheidend für Aufgaben wie die Einstufung von Krankheiten, die Vorhersage des Krankheitsverlaufs oder die Überwachung der Wirksamkeit von Behandlungen. Im Gegensatz zu den meisten Videos mit konstanten Bildraten werden medizinische Bildgebungszeitreihen jedoch in der Regel in unregelmäßigen Abständen über lange Zeiträume hinweg aufgenommen. Darüber hinaus sind einzelne Zeitpunkte aufgrund unterschiedlicher Sichtfelder, Patientenpositionierung, Heterogenität der Bildgebungsprotokolle oder plötzlicher anatomischer Veränderungen nicht von sich aus registriert. Diese unregelmäßigen zeitlichen Darstellungen stellen herkömmliche Deep-Learning-Tools vor Herausforderungen.
Unser Ziel ist es, generative Deep-Learning-Modelle zur Inter- und Extrapolation fehlender Datenpunkte in medizinischen Zeitreihen zu nutzen. Wir beabsichtigen longitudinale medizinische Bildgebungsdaten mit konsistenter zeitlicher Darstellung zu erhalten und dabei die Komplexität physiologischer Prozesse, wie nichtlineare Dynamik und plötzliches Auftauchen oder Verschwinden von Gewebe, zu berücksichtigen. Darüber hinaus können die zugrundeliegenden generativen Methoden nicht nur komplizierte medizinische Prozesse für Patient*innen und Kliniker*innen visualisieren, sondern auch die Generierung kontrafaktischer Szenarien ermöglichen. Bei kontrafaktischen Szenarien werden reale Daten mit hypothetischen „Was wäre wenn?“-Szenarien verglichen, wobei das Ergebnis unter verschiedenen Bedingungen bewertet wird, was Einblicke in Ursache-Wirkungs-Beziehungen ermöglicht. Diese Fähigkeit kann die Bewertung von Biomarkern für verschiedene Krankheitsarten und -stadien erleichtern, indem die Auswirkungen medizinischer Maßnahmen sowie die Auswirkungen von Risikofaktoren wie demografischen Faktoren, Genotypen oder Lebensstil auf das Fortschreiten der Krankheit verstanden werden.
Won J., Takahashi H., Ploner S.B., Karbole W., Abu-Qamar O., Yaghy A., Marmalidou A., Kaiser S., Hwang Y., Lin J., Witkin A., Desai S., Baumal C.R., Maier A., Curcio C.A., Waheed N.K., Fujimoto J.G. (2024): "Topographic measurement of the subretinal pigment epithelium space in normal aging and age-related macular degeneration using high-resolution OCT", Investigative Ophthalmology & Visual Science, 65, 10, 18
Karbole W., Ploner S.B., Won J., Marmalidou A., Takahashi H., Waheed N.K., Fujimoto J.G., Maier A. (2024): "3D deep learning-based boundary regression of an age-related retinal biomarker in high resolution OCT", BVM Workshop, 350-355
Ploner S.B., Won J., Takahashi H., Karbole W., Yaghy A., Marmalidou A., Schottenhamml J., Waheed N.K., Fujimoto J.G., Maier A. (2024): "A reliable, fully-automatic pipeline for 3D motion correction and volume fusion enables investigation of smaller and lower-contrast OCT features", Investigative Ophthalmology & Visual Science, 65, 7, 5909-5909