Volumetric OR – Virtual Reality Concept for Surgical Training

We finished our project Volumetric OR on a virtual reality concept for surgical training. The Volumetric OR is an interactive virtual reality concept that transforms how physicians record and learn about surgical interventions. It’s a collaboration between the Cluster of Excellence Image Knowledge Gestaltung, Humboldt-Universität zu Berlin and the Future Lab, Department of Experimental Surgery, Charité Universitätzmedizin Berlin. More info at http://adaptiveimaging.org/volumetric_or

Adaptive Anatomy – Design Principles for Medical Mixed Reality

We finished our project Adaptive Anatomy on design principles for medical mixed reality. It is a new concept for displaying images in the operating theatre. It’s a collaboration between the Cluster of Excellence Image Knowledge Gestaltung, Humboldt-Universität zu Berlin and the Future Lab, Department of Experimental Surgery, Charité Universitätzmedizin Berlin. More info at http://adaptiveimaging.org/adaptive-anatomy

Games-Technologie für die Medizin

Der Deutschlandfunk hat einen Bericht über meinen Vortrag auf dem Gamescom Kongress gesendet. Nachzulesen unter deutschlandfunk.de. Der Redakteur hat nicht alles so ganz genau verstanden, aber doch einige gute Punkte mitgenommen. Nachzuhören hier

Abstract: Auf dem Gamescom-Kongress am Rande der Spielemesse geht es auch um wirtschaftliche Trends. So kommt Technologie aus der Games-Branche zunehmend auch bei innovativen Behandlungsmethoden in der Medizin zum Einsatz, etwa in Form von spielerischen Apps für Diabetiker oder VR-Brillen in der Chirurgie.

„Experimentierraum zur Erprobung neuer Technologien.“

Ich habe dem TK-Blog ein Interview über meine Arbeit an der Charité gegeben, danke für die Fragen. Nachzulesen unter tk.de oder nachfolgend:

Moritz Queisner vom Future Lab der Charité ist Medienwissenschaftler und sieht sich als Bindeglied zwischen Medizintechnik und experimenteller Forschung

1. Herr Queisner, Sie sind Medienwissenschaftler und arbeiten am Future Lab der Charité. Was machen Sie da genau?An der SchnittstellMoritz Queisnere zwischen Forschung, Wirtschaft und Praxis schaffen wir im Future Lab einen Experimentierraum innerhalb der Klinik, der die Erprobung und Präsentation neuer Technologien ermöglicht. Wir entwickeln dort also nicht marktfertige Medizintechnik, sondern untersuchen anhand von Prototypen und Konzeptstudien anwendungsnah, welche Probleme neue Technologien wie etwa Mixed- oder Virtual Reality in der Chirurgie lösen können. Erst wenn es gelingt, das Wissen über die Funktionsweise und den Umgang mit neuen Technologien, etwa aus der Gamesbranche, Gestaltung oder Mechatronik, möglichst nah an die Bedürfnisse der Praxis heranzuführen, kann unsere Arbeit erfolgreich sein.

2. Auf dem BarCamp Health-IT haben Sie ein Projekt zur dreidimensionalen Bildgebung in der Chirurgie vorgestellt. Worum geht es genau?Im Projekt Adaptive Anatomy erforschen wir am Beispiel der Leberchirurgie, wie Überlagerungs- und Mapping-Techniken in Mixed- Reality-Datenbrillen, etwa bei Microsoft’s Hololens, Räume und Volumen neu erfahrbar machen. Das chirurgische Personal schaut im Operationsraum nicht mehr auf einen statischen Monitor, sondern bekommt die Bildgebung adaptiv und stereoskopisch ins Sichtfeld eingeblendet. Mit dem Einsatz von Mixed-Reality-Techniken kann man virtuelle und physische Anatomie in Echtzeit räumlich miteinander synchronisieren, sodass Position und Maßstab miteinander übereinstimmen. Diese Form der adaptiven Darstellung ist ein grundlegend neuer Ansatz in der intraoperativen Bildgebung.

3. Was sind die größten Herausforderungen, vor denen Sie gerade stehen?Während Mixed-Reality-Technologien in anderen Branchen inzwischen über vielversprechende Anwendungsszenarien verfügen, steht die Gesundheitsbranche noch am Anfang der Entwicklung. Nach wie vor ist nicht ausreichend geklärt, was Mixed Reality für die Gesundheitswirtschaft leisten kann und was nicht. Dieses Wissen muss hier für die Praxis und Entwicklung erst systematisch erschlossen werden. Dies zeigt sich etwa dann, wenn Start-ups ebenso wie Investoren angesichts des aktuellen Hypes um die Technologien fatale Fehlentscheidungen treffen. Dabei wird oftmals unterschätzt, dass neue Medientechnologien nicht nur in technischer Hinsicht eine Herausforderung darstellen, sondern auch neue Ansätze zur Gestaltung und Handhabung der entsprechenden Schnittstellen und Bildformate erfordern. Hier brauchen wir mehr Freiräume für Grundlagenforschung, die diese Potenziale auslotet. Dazu gehört neben neuen Förderformaten auch die Stärkung interdisziplinärer und branchenübergreifender Kooperationen, die das Feld für neue Akteure öffnet.

„Reaper Force“ New Book by Peter Lee

Just out: „This unique insight into RAF Reaper operations in Afghanistan, Iraq and Syria is based on unprecedented research access to the Reaper squadrons and personnel at RAF Waddington in Lincolnshire and Creech Air Force Base in Nevada, USA. The author has observed lethal missile strikes against Islamic State jihadists in Syria and Iraq alongside the crews involved. He has also conducted extensive interviews with Reaper pilots, sensor operators, mission intelligence coordinators, and spouses and partners. The result is an intimate portrait of the human aspect of remote air warfare in the twenty-first century.“

An intro is available here via dailymail.co.uk.

Talk: MR and VR in Surgery, Gamescom 2018

Am 22.8.2018 spreche ich auf dem Gamescon Kongress in Köln im Track „Games and Health“ über Virtual und Mixed Reality in der Chirurgie.

Abstract: Während Reality-Technologien in der Games-Branche inzwischen über vielversprechende Anwendungsszenarien verfügen, steht die Gesundheitsbranche noch am Anfang der Entwicklung. Nach wie vor ist nicht ausreichend geklärt, was VR und MR für die Gesundheitswirtschaft leisten können und was nicht. Gemessen am gestiegenen Investitionsvolumen bleiben die Resultate bisher hinter den Erwartungen zurück. Dabei wird oftmals unterschätzt, dass die Lokalisierungs- und Vermessungstechnologien des embodied und spatial computing nicht nur in technischer Hinsicht eine Herausforderung darstellen, sondern auch neue Ansätze zur Gestaltung und Handhabung der entsprechenden Schnittstellen und Bildformate erfordern. Der Vortrag diskutiert anhand zweier Forschungsprojekte der Charité Universitätsmedizin Berlin und der Humboldt Universität zu Berlin die Grundprobleme und Entwicklungsperspektiven für VR und MR in der Chirurgie und zeigt Chancen für einen Wissenstransfer aus der Games-Branche auf.

Conf: Ambient Revolts

BG Annual Conference 2018 | November 7-10
ZK/U – Center for Arts and Urbanistics, Siemensstrasse 27, 10551 Berlin
https://projekte.berlinergazette.de/ambient-revolts/

The growing interconnectedness of everyone and everything is transforming our world into an unprecedented techno-social environment. The boundaries between atmosphere and politics are being suspended; already, tiny ruptures can cause cascade-like repercussions – think of cyber-attacks or stock market crashes, right-wing resentment or hashtag-based protest. Such ambient revolts are increasingly driven by artificial intelligence (AI) – involving human interaction but seemingly beyond human oversight. Set against this backdrop, the conference poses the questions: What are the techno-social logics of both regressive and repressive tendencies? What are emancipatory movements up against? What potential do micro-political acts have in day-to-day life? What regulations of automated systems at the macro level will enable democracy to emerge in the age of AI? The Berliner Gazette conference will explore these questions in the context of performances, lectures and workshops.

Mixed and Augmented Reality – Why Surgeons Should Care

We just published our response „Mixed and Augmented Reality – Why Surgeons Should Care“ to the comment „Image Fusion and Mixed Reality in Abdominal Surgery“ (link) by Federico Gheza & Paolo Raimondi. In the response we clarified the terminology we developed in our paper „Mixed Reality in Visceral Surgery: Development of a Suitable Workflow and Evaluation of Intraoperative Use-cases“ (link). A debate about terminologies may help to establish an understanding of what those technologies can actually do and what they cannot do. Even more important, it helps to design appropriate concept studies and use cases that validate the surgical problems that those technologies are actually able to solve.

Future Operating Room

Together with my colleagues Moritz Queisner, Igor Sauer, Michael Pogorzhelskyi, Christopher Remde, Peter Tang and Simon Moosburner I pusblished a paper on VR and AR in surgery in Making Games, a leading game developer journal. The paper is only available in German. Abstract. In enger Kooperation erforschen die Charité – Universitätsmedizin Berlin und der Exzellenzcluster »Bild Wissen Gestaltung« der Humboldt-Universität zu Berlin die Verwendung von Augmented-Reality und Virtual-Reality Technologien in der Chirurgie. Zentral ist dabei der Wissens- und Technologietransfer aus der Games-Branche in medizinische Anwendungskontexte. Das Potenzial der Anwendung von Games und Consumer Electronics wird hier am Beispiel zweier laufender Forschungsprojekte für die Verwendung im OP vorgestellt.