omputergestützte Lernverfahren zur Bildanalyse sind heute bereits in bestimmten Anwendungsfeldern schneller oder zuverlässiger als Menschen. Die gleichen Verfahren scheitern aber in komplexeren Umgebungen, insbesondere in Situationen auf denen die Algorithmen nicht trainiert wurden. Solche Verfahren werden heutzutage hauptsächlich mit enormen Datenmengen und manuellen Annotationen trainiert. Wir glauben, dass die computergestützte Bildanalyse nicht ausschliesslich als Lernproblem angesehen werden darf, sondern stark von dateneffizienten Ansätzen profitieren wird.
In diesem interdisziplinären Projekt schlagen wir einen Ansatz vor, der die bestehenden Limitierungen basierend auf generativen Modellen und einem inversen Ansatz überwindet. Inverse Methoden zur Bildanalyse zielen darauf ab, alle Teile der Szene zu rekonstruieren, dies beinhaltet die 3D Form der Objekte, ihre Materialeigenschaften, Position sowie die Beleuchtung. Existierende inverse Ansätze funktionieren für einzelne Objekte oder auf synthetischen Daten aber bisher nicht ausreichend in komplexen und realistischen Umgebungen.
In diesem Projekt leisten wir Grundlagenforschung bezüglich dreier Herausforderungen: Die erste Herausforderung liegt auf der Modellierungsseite. Inverse Methoden sind bisher nicht ausreichend (foto)realistisch und während wir für spezifische Objekte im Bereich der Analyse-durch-Synthese z.B. Gesichter grosse Fortschritte gemacht haben, skaliert dieser Ansatz nicht für generelle Objekte. Die zweite Herausforderung ist die Skalierung vom einzelnen Objekt zur Szene. Dies beinhaltet nun auch das Detektionsproblem von Objekten. Die dritte Herausforderung liegt darin herauszufinden ob unser menschliches visuelles System Methoden basierend auf der Idee von Generativen Modellen und inversen Methoden umsetzt oder nicht.
Aus unserer Sicht können die aktuellen Limitierungen im Bereich des Computer Sehens nur, wie hier vorgeschlage gelöst werden - wenn der inverse Ansatz auf echten Daten besser generalisiert, wird er auch sehr schnell seinen Weg in Anwendungen finden. Anwendungsbereiche umfassen zum Beispiel medizinische Anwendungen, das autonome Fahren oder auch Robotik wo in vielen Bereichen heutige Algorithmen unzureichende Resultate liefern. In Deutschland werden viele deartige Systeme entwickelt und weiterentwickelt und es entsteht ein Mehrwert für Industrie und Forschung
Im Teilprojekt B04 werden innovatiive Verfahren zur Visualisierung von Bewegungsabläufen, die mit verschiedenen empathokinästhetischen Sensoren erfasst und/oder für die eine biomechanische Simulation durchgeführt wurde, erforscht. Der Fokus liegt dabei auf Visualisierungen und der Extraktion von Merkmalen, die bei der medizinischen Interpretation und Diagnose unterstützen.
The aim of the D02 project is the establishment of empathokinesthetic sensor technology and methods of machine learning as a means for the automatic detection and modification of depression-associated facial expressions, posture, and movement. The aim is to clarify to what extent, with the help of kinesthetic-related modifications influence depressogenic information processing and/or depressive symptoms. First, we will record facial expressions, body posture, and movement relevant to depression with the help of currently available technologies (e.g., RGB and depth cameras, wired EMG, established emotion recognition software) and use them as input parameters for new machine learning models to automatically detect depression-associated affect expressions. Secondly, a fully automated biofeedback paradigm is to be implemented and validated using the project results available up to that point. More ways of real-time feedback of depression-relevant kinaesthesia are investigated. Thirdly, we will research possibilities of mobile use of the biofeedback approach developed up to then.
Li, S., Schieber, H., Corell, N., Egger, B., Kreimeier, J., & Roth, D. (2024). GBOT: Graph-Based 3D Object Tracking for Augmented Reality-Assisted Assembly Guidance. In Proceedings - 2024 IEEE Conference on Virtual Reality and 3D User Interfaces, VR 2024 (pp. 513-523). Orlando, FL, US: Institute of Electrical and Electronics Engineers Inc..
Shetty, K., Birkhold, A., Egger, B., Jaganathan, S., Strobel, N., Kowarschik, M., & Maier, A. (2024). HOOREX: Higher Order Optimizers for 3D Recovery from X-Ray Images. In Andreas K. Maier, Julia A. Schnabel, Pallavi Tiwari, Oliver Stegle (Eds.), Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (pp. 115-124). Honolulu, HI, USA: Springer Science and Business Media Deutschland GmbH.
Shetty, K., Birkhold, A., Jaganathan, S., Strobel, N., Kowarschik, M., Maier, A., & Egger, B. (2023). PLIKS: A Pseudo-Linear Inverse Kinematic Solver for 3D Human Body Estimation. In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (pp. 574-584). Vancouver, BC, CA: IEEE Computer Society.
Marcus, R., Knoop, N., Egger, B., & Stamminger, M. (2022). A Lightweight Machine Learning Pipeline for LiDAR-simulation. In DELTA: PROCEEDINGS OF THE 3RD INTERNATIONAL CONFERENCE ON DEEP LEARNING THEORY AND APPLICATIONS (pp. 176-183). Lisbon, PT: SETUBAL: SCITEPRESS.
Medin, S.C., Egger, B., Cherian, A., Wang, Y., Tenenbaum, J.B., Liu, X., & Marks, T.K. (2022). MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation. In THIRTY-SIXTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE / THIRTY-FOURTH CONFERENCE ON INNOVATIVE APPLICATIONS OF ARTIFICIAL INTELLIGENCE / THE TWELVETH SYMPOSIUM ON EDUCATIONAL ADVANCES IN ARTIFICIAL INTELLIGENCE (pp. 1962-1971). PALO ALTO: ASSOC ADVANCEMENT ARTIFICIAL INTELLIGENCE.
Egger, B., Sutherland, S., Medin, S.C., & Tenenbaum, J. (2021). Identity-Expression Ambiguity in 3D Morphable Face Models. In 2021 16TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE AND GESTURE RECOGNITION (FG 2021). NEW YORK: IEEE.
Shetty, K., Birkhold, A., Strobel, N., Jaganathan, S., Kowarschik, M., Maier, A., & Egger, B. (2021). Deep Learning Compatible Differentiable X-ray Projections for Inverse Rendering. In Christoph Palm, Heinz Handels, Klaus Maier-Hein, Thomas M. Deserno, Andreas Maier, Thomas Tolxdorff (Eds.), Informatik aktuell (pp. 290-295). Regensburg, DE: Springer Science and Business Media Deutschland GmbH.
Smith, W.A.P., Seck, A., Dee, H., Tiddeman, B., Tenenbaum, J.B., & Egger, B. (2020). A morphable face Albedo model. In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (pp. 5010-5019). Virtual, Online, USA: IEEE Computer Society.
I study how humans and machines can model and perceive 3D shapes and faces.
Research Projects
Scaling Inverse Rendering to the Real World
(Third Party Funds Single)
Funding source: Bundesministerium für Bildung und Forschung (BMBF)
omputergestützte Lernverfahren zur Bildanalyse sind heute bereits in bestimmten Anwendungsfeldern schneller oder zuverlässiger als Menschen. Die gleichen Verfahren scheitern aber in komplexeren Umgebungen, insbesondere in Situationen auf denen die Algorithmen nicht trainiert wurden. Solche Verfahren werden heutzutage hauptsächlich mit enormen Datenmengen und manuellen Annotationen trainiert. Wir glauben, dass die computergestützte Bildanalyse nicht ausschliesslich als Lernproblem angesehen werden darf, sondern stark von dateneffizienten Ansätzen profitieren wird.
In diesem interdisziplinären Projekt schlagen wir einen Ansatz vor, der die bestehenden Limitierungen basierend auf generativen Modellen und einem inversen Ansatz überwindet. Inverse Methoden zur Bildanalyse zielen darauf ab, alle Teile der Szene zu rekonstruieren, dies beinhaltet die 3D Form der Objekte, ihre Materialeigenschaften, Position sowie die Beleuchtung. Existierende inverse Ansätze funktionieren für einzelne Objekte oder auf synthetischen Daten aber bisher nicht ausreichend in komplexen und realistischen Umgebungen.
In diesem Projekt leisten wir Grundlagenforschung bezüglich dreier Herausforderungen: Die erste Herausforderung liegt auf der Modellierungsseite. Inverse Methoden sind bisher nicht ausreichend (foto)realistisch und während wir für spezifische Objekte im Bereich der Analyse-durch-Synthese z.B. Gesichter grosse Fortschritte gemacht haben, skaliert dieser Ansatz nicht für generelle Objekte. Die zweite Herausforderung ist die Skalierung vom einzelnen Objekt zur Szene. Dies beinhaltet nun auch das Detektionsproblem von Objekten. Die dritte Herausforderung liegt darin herauszufinden ob unser menschliches visuelles System Methoden basierend auf der Idee von Generativen Modellen und inversen Methoden umsetzt oder nicht.
Aus unserer Sicht können die aktuellen Limitierungen im Bereich des Computer Sehens nur, wie hier vorgeschlage gelöst werden - wenn der inverse Ansatz auf echten Daten besser generalisiert, wird er auch sehr schnell seinen Weg in Anwendungen finden. Anwendungsbereiche umfassen zum Beispiel medizinische Anwendungen, das autonome Fahren oder auch Robotik wo in vielen Bereichen heutige Algorithmen unzureichende Resultate liefern. In Deutschland werden viele deartige Systeme entwickelt und weiterentwickelt und es entsteht ein Mehrwert für Industrie und Forschung
Visualisierung von Bewegungsabläufen basierend auf einem biomechanischen Modell
(Third Party Funds Group – Sub project)
Term: 1. July 2021 - 30. June 2025
Funding source: DFG / Sonderforschungsbereich (SFB)
URL: https://www.empkins.de/
Im Teilprojekt B04 werden innovatiive Verfahren zur Visualisierung von Bewegungsabläufen, die mit verschiedenen empathokinästhetischen Sensoren erfasst und/oder für die eine biomechanische Simulation durchgeführt wurde, erforscht. Der Fokus liegt dabei auf Visualisierungen und der Extraktion von Merkmalen, die bei der medizinischen Interpretation und Diagnose unterstützen.
Empathokinästhetische Sensorik für Biofeedback bei depressiven Patienten
(Third Party Funds Group – Sub project)
Term: 1. July 2021 - 30. June 2025
Funding source: DFG / Sonderforschungsbereich (SFB)
URL: https://www.empkins.de/
The aim of the D02 project is the establishment of empathokinesthetic sensor technology and methods of machine learning as a means for the automatic detection and modification of depression-associated facial expressions, posture, and movement. The aim is to clarify to what extent, with the help of kinesthetic-related modifications influence depressogenic information processing and/or depressive symptoms. First, we will record facial expressions, body posture, and movement relevant to depression with the help of currently available technologies (e.g., RGB and depth cameras, wired EMG, established emotion recognition software) and use them as input parameters for new machine learning models to automatically detect depression-associated affect expressions. Secondly, a fully automated biofeedback paradigm is to be implemented and validated using the project results available up to that point. More ways of real-time feedback of depression-relevant kinaesthesia are investigated. Thirdly, we will research possibilities of mobile use of the biofeedback approach developed up to then.
2024
2023
2022
2021
2020
Related Research Fields
Contact: