Berichtserstellung in der Pathologie mit multimodalen Deep-Learning-Modellen

von Christian Grashei

Die Pathologie ist ein Eckpfeiler der Patientenversorgung, von der Diagnose bis zur Behandlungsplanung. Die mikroskopische Gewebeuntersuchung ist ein wichtiger Schritt in diesem Prozess und wird heutzutage weitgehend digitalisiert, so dass sogenannte Whole-Slide-Images (WSI) entstehen, die riesige Ausmaße haben (bis zu 100.000 mal 100.000 Pixel). Dies öffnet die Tür zu spannenden Anwendungen der künstlichen Intelligenz.

Foundation Models (FM) sind neuronale Netze, die selbstüberwacht auf riesigen Datenmengen trainiert werden, um sinnvolle Darstellungen für verschiedene Anwendungen zu lernen. FM eignen sich besonders gut, wenn markierte Daten schwer zu beschaffen oder relevante Daten rar sind (z.B. bei seltenen Krankheiten). Sie haben bereits ihren Weg in die Pathologie gefunden. Allerdings arbeiten die derzeitigen FM in der Pathologie meist mit einem einzigen WSI.

Ziel dieses Forschungsprojekts ist die Entwicklung eines fallbasierten multimodalen FM, das auf eine Million WSI und hunderttausend Fälle trainiert wurde. Jeder Fall kann eine unterschiedliche Anzahl von WSI aus mehreren Proben enthalten. Darüber hinaus können zusätzliche Datenquellen wie radiologische Bilder in das Modell einbezogen werden, um eine ganzheitlichere Diagnose pro Patient zu ermöglichen. Das Pre-Training des FM wird diese verschiedenen Modalitäten in Kombination mit pathologischen Berichten nutzen. Das erstellte Foundation Model kann dann für verschiedene nachgelagerte Aufgaben verwendet werden:

• Erstellung von fallbezogenen Pathologieberichten in strukturierter und standardisierter Form. Strukturierte Berichte werden die Abfrage oder den Vergleich von Fällen erleichtern. Eine weitere Herausforderung wird die Validierung eines generierten pathologischen Berichts sein
• Klassifizierung von Fällen. Außerdem wird die Machbarkeit der Klassifizierung eines Falles anhand von Bildern untersucht
• Erstellung von Berichten für verschiedene Zielgruppen. Können Pathologieberichte für den vorgesehenen Empfänger angepasst werden? Verschiedene Zielgruppen sind an ihrer eigenen Version des Berichts interessiert.
• Vorschlag für zusätzliche molekulare und immunhistochemische (IHC) Tests. Je nach vorherigem Befund können weitere IHC-Tests vorgeschlagen werden, um den Befund zu klären.