Augmented Reality

Augmented Reality in der Medizin – Live Streamed Bronchioscopy

Zur visuellen Diagnose von Erkrankungen der Atemwege wird in der Regel eine Bronchoskopie durchgeführt. Dazu wird unter Anästhesie ein Endoskop in die oberen Luftwegeeingeführt. Diese Prozedur wird mittels Ultraschalldiagnose kontrolliert. Die zweiVideostreams der Endoskopiekamera und des Ultraschalls werden auf zweiMonitoren visualisiert. Da die Monitore unergonomisch neben dem OP-Tischangeordnet sind, kann der Arzt nur diese oder den Patienten im Blick haben. ImRahmen des vorgestellten Projektes soll die Bronchoskopie mittels AugmentedReality (AR) unterstützt werden. Unter AR versteht man die Überlagerung von realen Sinneseindrücken mit künstlich erzeugten Reizen, wie z. B. Hologrammen.Es wurden die Videostreams erfasst und mittels eines WLAN’s auf eine Microsoft Hololens gestreamt. Der Arzt kann diese in seinem Sichtfeld frei als Hologramme platzieren. Eine entwickelte Benutzeroberflächeermöglicht es dem Arzt die Videostreams zu kontrollieren.Er kann virtuelle Schaltelemente (Play, Stop, Rewind etc.) über die Hololens typische Handbewegung, Airtap genannt, benutzen. Alternativ kann der Arzt die Schaltelemente mit Spracheingabe aktivieren.Mit Hilfe der vorgestellten AR-Anwendung konnte die Bronchoskopie wesentlich ergonomischer gestaltet werden.

 

Kontakt: Prof. Dr. Boris. R. Bracio