SegMatch3D: Schnelle und präzise 3D-Bildsegmentierung durch Abgleich topologischer Merkmale
Projektbeschreibung
Dieses Projekt treibt die topologiekonsistente Segmentierung medizinischer Bilder von 2D- auf voluminäre Daten voran, indem es leistungsstarke Werkzeuge auf der Grundlage der persistenten Homologie entwickelt. Aufbauend auf einem Python Proof‑of‑Concept erstellen wir ein optimiertes C++-Framework, das eine effiziente Berechnung induzierter Matchings ermöglicht und damit den Anforderungen des Trainings groß angelegter konvolutioneller neuronaler Netze gerecht wird. Zu diesem Zweck führen wir Betti-Matching-3D ein, eine hochbeschleunigte Implementierung, die eine topologiebewusste 3D-Segmentierung ermöglicht und die topologische Korrektheit erheblich verbessert. Darüber hinaus haben wir eine Verlustfunktion für topologisch genaue medizinische Mehrklassen-Segmentierung entwickelt, Multiclass-BettiMatching, die Betti-Matching auf komplexe anatomische Umgebungen ausweitet, indem sie Mehrklassen-Aufgaben in Ein-Klassen-Persistent-Homology-Probleme zerlegt. Dieser Ansatz, der anhand verschiedener medizinischer Datensätze validiert wurde, verbessert die topologische Genauigkeit bei kardialen, vaskulären und zellulären Strukturen und bleibt dabei rechnerisch praktikabel. Zusammen bilden diese Fortschritte die Grundlage für eine robuste, topologiebewusste Segmentierung in der medizinischen 3D-Bildgebung.
Ergebnisse
- Eine effiziente C++/Python-Implementierung beschleunigt die Berechnung des Betti-Matching-Verfahrens erheblich.
- Ermöglicht das Training von 3D-Segmentierungsnetzwerken in der Praxis mit topologiebewusstem Verlust.
- Zeigt eine verbesserte topologische Korrektheit über mehrere Datensätze hinweg.
- Übertrifft die Cubical-Ripser-Implementierung in Bezug auf Geschwindigkeit und Leistung.
- Unterstützt Eingaben beliebiger Dimensionen mit optimierter 1D-, 2D- und 3D-Leistung.
- Betti-Matching-3D auf GitHub
- Der vorgeschlagene Multi-Class-Verlust übertrifft alle Baselines hinsichtlich des Betti-Matching-Fehlers über alle Datensätze hinweg.
- Erzielt überlegene Betti-Zahlenfehler (0 und 1) und clDice bei den Datensätzen Platelet, TopCoW und ACDC.
- Erreicht oder übertrifft die Baselines beim Dice-Score, obwohl er topologiebewusst ist.
- Korrigiert topologische Inkonsistenzen in unregelmäßigen ACDC-Schnitten, bei denen die Nachbearbeitung versagt.
- Zeigt hervorragende Leistungen bei der Platelet-Segmentierung und vermeidet strukturelle Verschmelzungen, wie sie bei den Baselines auftreten.
- Reduziert diskontinuierliche Gefäßsegmente in OCTA-500, was für nachgelagerte Analysen entscheidend ist.
- Zeigt robuste Leistung in der komplexen 13-Klassen-Konfiguration von TopCoW mit der geringsten Varianz unter den Methoden.
- Ablationstests zeigen, dass die Gewichtung von übereinstimmenden gegenüber nicht übereinstimmenden Merkmalen die topologische Genauigkeit stark beeinflusst, während die Auswirkungen auf den Dice-Score minimal sind.
- Zeigt starke Generalisierungsfähigkeit und liefert eine konsistent verbesserte Topologie, ohne die pixelweise Leistung zu beeinträchtigen.
- Topograph auf GitHub
Weitere Schritte
Als nächster Schritt könnte Betti-Matching-3D durch GPU-basierte Implementierungen beschleunigt, die C++-Leistung weiter optimiert und die Verlustfunktion verfeinert werden, indem der Einfluss von abgeglichenen gegenüber nicht abgeglichenen Merkmalen sowie dimensionsspezifischen Komponenten untersucht wird. Es sind weitere Untersuchungen erforderlich, um das Verhalten des Betti-Matching-Verlusts bei grundlegenden topologischen Ereignissen – wie der Bildung oder Entfernung von zusammenhängenden Komponenten, Schleifen oder Hohlräumen – zu verstehen und so verbesserte Gewichtungsstrategien zu entwickeln. Für das Multi-Class-Betti-Matching sollten datensatzadaptive Gewichtungsschemata entwickelt werden, da die Bedeutung topologischer Merkmale in medizinischen Datensätzen variiert. Weitere Untersuchungen sind erforderlich, um falsche räumliche Zuordnungen in bestehenden Baseline-Modellen zu beheben und das datensatzabhängige Verhalten in komplexen anatomischen Strukturen zu verstehen. Diese Forschung zielt darauf ab, die Robustheit, Skalierbarkeit und Interpretierbarkeit der topologiebewussten medizinischen Bildsegmentierung zu verbessern.
Berger, A.H. et al. (2024). Topologically Faithful Multi-class Segmentation in Medical Images. In: Linguraru, M.G., et al. Medical Image Computing and Computer Assisted Intervention – MICCAI 2024. MICCAI 2024. Lecture Notes in Computer Science, vol 15008. Springer, Cham. https://doi.org/10.1007/978-3-031-72111-3_68
Stucki, N., Bürgin, V., Paetzold, J. C., & Bauer, U. (2024). Efficient Betti Matching Enables Topology-Aware 3D Segmentation via Persistent Homology (arXiv:2407.04683). arXiv. https://doi.org/10.48550/arXiv.2407.04683
Laurin Lux, Alexander H Berger, Alexander Weers, Nico Stucki, Daniel Rueckert, Ulrich Bauer, Johannes Paetzold (2025): Topograph: An Efficient Graph-Based Framework for Strictly Topology Preserving Image Segmentation, Poster at the International Conference on Learning Representations (ICLR). https://iclr.cc/virtual/2025/poster/29716
Team
Sarah Walter
TUM School of Medicine
Björn Menze, Biomedical Image Analysis and Machine Learning, Department of Quantitative Biomedicine, Universität Zürich
Johannes Paetzold, Artificial Intelligence in Radiology, Radiology , Weill Cornell Medical College
Suprosanna Shit, Biomedical Image Analysis and Machine Learning, Department of Quantitative Biomedicine, Universität Zürich
Alexander Berger, Institut für KI und Informatik in der Medizin, MRI, TUM
Laurin Lux, Institut für KI und Informatik in der Medizin, MRI, TUM
Vincent Bürgin, Chair of Foundations of Deep Neural Networks, TUM