The goal of my research is the development and application of machine learning methods to medical imaging, and their translation into clinical practice so that they can help patients on a day-to-day level.
Research projects
Accelerated MR imaging
Machine Learning for MRI data acquisition and image reconstruction
Quantitative imaging biomarkers for disease processes
Increase the global availability of imaging technology in second and third world countries
Teilprojekt A2
(Third Party Funds Group – Sub project)
Overall project: Quantitative diffusionsgewichtete MRT und Suszeptibilitätskartierung zur Charakterisierung der Gewebemikrostruktur Term: 1. September 2023 - 31. August 2027 Funding source: DFG / Forschungsgruppe (FOR)
Dieses Projekt ist Teil der Forschungsgruppe (FOR) "Schnelle Kartierung von quantitativen MR bio-Signaturen bei ultrahohen Magnetfeldstärken". Es konzentriert sich auf die Erweiterung, Beschleunigung und Verbesserung der Diffusions- und quantitativen Suszeptibilitäts-Magnetresonanztomographie. Das Arbeitsprogramm ist in zwei Teile gegliedert. Im ersten Teil wird ein beschleunigtes Protokoll für die klinischen Projekte der FOR vorbereitet. Im zweiten Teil sollen eine weitere Beschleunigung sowie Qualitätsverbesserungen erreicht werden. Konkret werden wir eine lokal niedrigrangig regularisierte echoplanare Bildgebungssequenz für die diffusionsgewichtete Bildgebung implementieren. Sie nutzt Datenredundanzen bei Akquisitionen mit mehreren Diffusionskodierungen, um das Signal-Rausch-Verhältnis effektiv zu erhöhen und damit den Akquisitionsprozess zu beschleunigen. Die Sequenz wird im Wesentlichen beliebige Diffusionskodierungsmöglichkeiten ermöglichen (z.B. b-Tensor-Kodierung). In einem zweiten Schritt werden wir eine verschachtelte Mehrschuss-Version dieser Sequenz entwickeln, um Bildverzerrungen zu reduzieren, die bei der 7-Tesla echoplanaren Bildgebung störend sind. Für die quantitative Suszeptibilitätskartierung (QSM) werden wir eine Sequenz mit einer Stack-of-Stars-Aufnahmetrajektorie implementieren. Da die Magnitudenbilder von Gradientenechosequenzen, die zu unterschiedlichen Echozeiten akquiriert werden, Datenredundanzen aufweisen, die mit denen von diffusionskodierten Bildern vergleichbar sind, werden wir bei der Bildrekonstruktion ebenfalls eine lokale Regularisierung niedrigen Ranges verwenden. Die radialen Trajektorien dieser Sequenz sollten für eine unterabgetastete und damit beschleunigte Bildrekonstruktion gut geeignet sein. In einem zweiten Schritt werden wir die Fähigkeiten unserer Sequenz durch eine quasi-kontinuierliche Echozeit-Abtastung erweitern, bei dem jede Speiche ihre eigene optimierte Echozeit hat. Dies wird eine verbesserte Qualität der QSM ermöglichen, wenn Fett im Bild vorhanden ist, wie es häufig bei Muskeluntersuchungen und in der Brustbildgebung der Fall ist. Bezüglich der QSM-Rekonstruktion werden wir Verfahren des tiefen Lernens entwickeln, um eine qualitativ hochwertige Rekonstruktion mit einer geringeren Menge an Bilddaten als bei herkömmlichen Rekonstruktionsansätzen zu ermöglichen. Wir werden bestehende neuronale Netzwerke von niedrigeren Feldstärken auf 7 T anpassen und deren Fähigkeiten so erweitern, dass wir auch atemzyklusabhängige Feldkarten. Dieses Projekt wird parallele Sendemethoden (pTx) vom pTx-Projekt der FOR erhalten. Wir werden die entwickelten Sequenzen nach dem ersten Jahr an die klinischen Projekte der FOR liefern. Darüber hinaus werden wir wesentliche Auswerte- und Bildrekonstruktionsmethoden an die anderen Projekte der FOR transferieren.und quasi-kontinuierliche Echozeiten in die Rekonstruktion integrieren können.
The majority of diagnostic medicalimaging pipelines follow the same principles: raw measurement data is acquiredby scanner hardware, processed by image reconstruction algorithms, and thenevaluated for pathology by human radiology experts. Under this paradigm, every stephas traditionally been optimized to generate images that are visually pleasingand easy to interpret for human experts. However, raw sensor information thatcould maximize patient-specific diagnostic information may get lost in thisprocess. This problem is amplified by recent developments in machine learning for medical imaging. Machine learning has been used successfully inall steps of the diagnostic imaging pipeline: from the design of dataacquisition to image reconstruction, to computer-aided diagnosis. So far, thesedevelopments have been disjointed from each other. In this project, we willfuse machine learning for image reconstruction and for image-based diseaselocalization, thus providing an end-to-end learnable image reconstruction andjoint pathology detection approach that operates directly on raw measurementdata. Our hypothesis is that this combination can maximize diagnostic accuracywhile providing optimal images for both human experts and diagnostic machinelearning models.
Fürnrohr, F., Wetzl, J., Vornehm, M., Giese, D., & Knoll, F. (2024). Data Consistent Variational Networks for Zero-shot Self-supervised MR Reconstruction. In Andreas Maier, Thomas M. Deserno, Heinz Handels, Klaus Maier-Hein, Christoph Palm, Thomas Tolxdorff (Eds.), Bildverarbeitung für die Medizin 2024 (pp. 316-321). Erlangen, DE: Wiesbaden: Springer Vieweg.
Zaiß, M., Rajput, J.R., Dang, H.N., Golkov, V., Cremers, D., Knoll, F., & Maier, A. (2024). Exploring GPT-4 as MR Sequence and Reconstruction Programming Assistant. In Andreas Maier, Thomas M. Deserno, Heinz Handels, Klaus Maier-Hein, Christoph Palm, Thomas Tolxdorff (Eds.), Bildverarbeitung für die Medizin 2024. BVM 2024 (pp. 94-99). Erlangen, DE: Wiesbaden: Springer Vieweg.
Huang, Z., Bae, J., Johnson, P.M., Sood, T., Heacock, L., Fogarty, J.,... Knoll, F. (2021). A Simulation Pipeline to Generate Realistic Breast Images for Learning DCE-MRI Reconstruction. In Nandinee Haq, Patricia Johnson, Andreas Maier, Tobias Würfl, Jaejun Yoo (Eds.), Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (pp. 45-53). Virtual, Online: Springer Science and Business Media Deutschland GmbH.
Sriram, A., Zbontar, J., Murrell, T., Defazio, A., Zitnick, C.L., Yakubova, N.,... Johnson, P. (2020). End-to-End Variational Networks for Accelerated MRI Reconstruction. In Anne L. Martel, Purang Abolmaesumi, Danail Stoyanov, Diana Mateus, Maria A. Zuluaga, S. Kevin Zhou, Daniel Racoceanu, Leo Joskowicz (Eds.), Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (pp. 64-73). Lima, PER: Springer Science and Business Media Deutschland GmbH.
The goal of my research is the development and application of machine learning methods to medical imaging, and their translation into clinical practice so that they can help patients on a day-to-day level.
Research projects
Teilprojekt A2
(Third Party Funds Group – Sub project)
Term: 1. September 2023 - 31. August 2027
Funding source: DFG / Forschungsgruppe (FOR)
Quantitative diffusionsgewichtete MRT und Suszeptibilitätskartierung zur Charakterisierung der Gewebemikrostruktur
(Third Party Funds Group – Sub project)
Term: 1. September 2023 - 31. August 2027
Funding source: DFG / Forschungsgruppe (FOR)
Dieses Projekt ist Teil der Forschungsgruppe (FOR) "Schnelle Kartierung von quantitativen MR bio-Signaturen bei ultrahohen Magnetfeldstärken". Es konzentriert sich auf die Erweiterung, Beschleunigung und Verbesserung der Diffusions- und quantitativen Suszeptibilitäts-Magnetresonanztomographie. Das Arbeitsprogramm ist in zwei Teile gegliedert. Im ersten Teil wird ein beschleunigtes Protokoll für die klinischen Projekte der FOR vorbereitet. Im zweiten Teil sollen eine weitere Beschleunigung sowie Qualitätsverbesserungen erreicht werden. Konkret werden wir eine lokal niedrigrangig regularisierte echoplanare Bildgebungssequenz für die diffusionsgewichtete Bildgebung implementieren. Sie nutzt Datenredundanzen bei Akquisitionen mit mehreren Diffusionskodierungen, um das Signal-Rausch-Verhältnis effektiv zu erhöhen und damit den Akquisitionsprozess zu beschleunigen. Die Sequenz wird im Wesentlichen beliebige Diffusionskodierungsmöglichkeiten ermöglichen (z.B. b-Tensor-Kodierung). In einem zweiten Schritt werden wir eine verschachtelte Mehrschuss-Version dieser Sequenz entwickeln, um Bildverzerrungen zu reduzieren, die bei der 7-Tesla echoplanaren Bildgebung störend sind. Für die quantitative Suszeptibilitätskartierung (QSM) werden wir eine Sequenz mit einer Stack-of-Stars-Aufnahmetrajektorie implementieren. Da die Magnitudenbilder von Gradientenechosequenzen, die zu unterschiedlichen Echozeiten akquiriert werden, Datenredundanzen aufweisen, die mit denen von diffusionskodierten Bildern vergleichbar sind, werden wir bei der Bildrekonstruktion ebenfalls eine lokale Regularisierung niedrigen Ranges verwenden. Die radialen Trajektorien dieser Sequenz sollten für eine unterabgetastete und damit beschleunigte Bildrekonstruktion gut geeignet sein. In einem zweiten Schritt werden wir die Fähigkeiten unserer Sequenz durch eine quasi-kontinuierliche Echozeit-Abtastung erweitern, bei dem jede Speiche ihre eigene optimierte Echozeit hat. Dies wird eine verbesserte Qualität der QSM ermöglichen, wenn Fett im Bild vorhanden ist, wie es häufig bei Muskeluntersuchungen und in der Brustbildgebung der Fall ist. Bezüglich der QSM-Rekonstruktion werden wir Verfahren des tiefen Lernens entwickeln, um eine qualitativ hochwertige Rekonstruktion mit einer geringeren Menge an Bilddaten als bei herkömmlichen Rekonstruktionsansätzen zu ermöglichen. Wir werden bestehende neuronale Netzwerke von niedrigeren Feldstärken auf 7 T anpassen und deren Fähigkeiten so erweitern, dass wir auch atemzyklusabhängige Feldkarten. Dieses Projekt wird parallele Sendemethoden (pTx) vom pTx-Projekt der FOR erhalten. Wir werden die entwickelten Sequenzen nach dem ersten Jahr an die klinischen Projekte der FOR liefern. Darüber hinaus werden wir wesentliche Auswerte- und Bildrekonstruktionsmethoden an die anderen Projekte der FOR transferieren.und quasi-kontinuierliche Echozeiten in die Rekonstruktion integrieren können.
End-to-End Deep Learning Image Reconstruction and Pathology Detection
(Third Party Funds Single)
Funding source: DFG-Einzelförderung / Sachbeihilfe (EIN-SBH)
The majority of diagnostic medicalimaging pipelines follow the same principles: raw measurement data is acquiredby scanner hardware, processed by image reconstruction algorithms, and thenevaluated for pathology by human radiology experts. Under this paradigm, every stephas traditionally been optimized to generate images that are visually pleasingand easy to interpret for human experts. However, raw sensor information thatcould maximize patient-specific diagnostic information may get lost in thisprocess. This problem is amplified by recent developments in machine
learning for medical imaging. Machine learning has been used successfully inall steps of the diagnostic imaging pipeline: from the design of dataacquisition to image reconstruction, to computer-aided diagnosis. So far, thesedevelopments have been disjointed from each other. In this project, we willfuse machine learning for image reconstruction and for image-based diseaselocalization, thus providing an end-to-end learnable image reconstruction andjoint pathology detection approach that operates directly on raw measurementdata. Our hypothesis is that this combination can maximize diagnostic accuracywhile providing optimal images for both human experts and diagnostic machinelearning models.
A comprehensive deep learning framework for MRI reconstruction
(Third Party Funds Single)
Funding source: National Institutes of Health (NIH)
URL: https://govtribe.com/award/federal-grant-award/project-grant-r01eb029957
2024
2023
2022
2021
2020
Related Research Fields
Contact: