Paper: VolumetricOR

Just published our paper on VR in surgery in Surgical Innovation. It’s a VR app that transforms how physicians learn about surgical interventions. Open access via PubMed. Check out the trailer via https://youtu.be/jFQOU1nyThI. Created with Igor Sauer, Christopher Remde, Michael Pogorzhelskiy and Johann Pratschke at Experimental Surgery at Charité – Universitätsmedizin Berlin. 

Cite: Queisner M, Pogorzhelskiy M, Remde C, Pratschke J, Sauer IM. VolumetricOR: A New Approach to Simulate Surgical Interventions in Virtual Reality for Training and Education. Surg Innov. 2022 Feb 9. doi: 10.1177/15533506211054240. Epub ahead of print. PMID: 35137646.

Download via Surgical Innovation or Academia.edu.

New Book! Adaptivität.

Unser Band Adaptivität ist gedruckt und online!

Er erscheint als erster Band der Schriftenreihe Begriffe des digitalen Bildes. Der Band skizziert anhand konkreter Fallbeispiele eine neue Art von Bildern und soll deutlich machen, wo und in welchem Umfang ‚adaptive Bilder‘ bereits in unseren technisierten Alltag und unsere Arbeitswelt eingedrungen sind.

Abstract: Das digitale Bild wird adaptiv: In portablen Medien und interaktiven Anwendungen wird zunehmend Prozessor- und Sensortechnik verbaut, die es ermöglicht, Bilder an ihre Umwelt anzupassen und dabei auf Eingaben und Situationen in Echtzeit zu reagieren. Bild, Körper und Raum werden miteinander verschaltet und synchronisiert, mit langfristigen Folgen für die menschliche Wahrnehmung, für Handlungen und Entscheidungen. Die erweiterten Möglichkeiten bedingen neue Abhängigkeiten von Technologien und von den ästhetischen und operativen Vorgaben jener, die diese Technologien gestalten und bereitstellen.

Der Band erscheint in der Reihe Begriffe des digitalen Bildes des DFG-Schwerpunktprogramms Das digitale Bild und wird von Hubertus Kohle und Hubert Locher herausgegeben. Das Programm untersucht von einem multiperspektivischen Standpunkt aus die zentrale Rolle, die dem Bild im komplexen Prozess der Digitalisie- rung des Wissens zukommt. In einem deutschlandweiten Verbund soll dabei eine neue Theorie und Praxis computerbasierter Bildwelten erarbeitet werden.

  • Angaben: Bruhn M., Friedrich K., Kähny L., Queisner M.: Adaptivität. Begriffe des digitalen Bildes. Hildesheim, München: Georg Olms Verlag, Universitätsbibliothek LMU München, 2021.
  • DOI: 10.5282/ubm/epub.76331 (Open Access), kostenloser Download (PDF)
  • ISBN: 978-3-487-16053-5 (Druckversion bestellen)
  • Tags: #adaptivebilder #adaptiveimaging #adaptivity #dasdigitalebild #thedigitalimage
  • Illustrationen: Josephine Rais

New Paper: Adaptive Images

Together with Matthias Bruhn and Kathrin Friedrich, I published an article on adaptive images in the International Journal for Digital Art History (dahj.org). It is part of a special issue on the digital image, which was edited by Hubertus Kohle and Hubert Locher who lead your joint transdisciplinary research cluster „The Digital Image“ (DFG-Schwerpunktprogramm „Das digitale Bild“) – I’m proud to be part of it.

Abstract: Digital images increasingly determine the way people interact with their environment. New imaging and sensing technologies register, process, and transmit information about the physical world in real time and make it possible to continuously adapt visualizations to specific spatio-temporal settings and in relation to motion, location and perspective. With this constant feedback loop between image and environment, images gain in perceptive and practical importance. The convergence of visual, spatial and performative dimensions heralds a new type of visual media described here as “adaptive images”. Drawing on selected cases of adaptive techniques in applied contexts, such as surgery, entertainment, industrial manufacturing and psychotherapy, the paper introduces the emerging field of adaptive imaging and discusses its respective aesthetic, spatial, and operational conditions and implications. It thereby provides a tentative survey of how adaptive images challenge visual studies and media theory, and claims that their analysis requires an interdisciplinary approach.

Citation: Bruhn, Matthias, Kathrin Friedrich, and Moritz Queisner. 2021. “Adaptive Images: Challenges for Visual Studies and Media Theory”. International Journal for Digital Art History 1 (E1):140-53.

DOI: https://doi.org/10.11588/dah.2021.E1.83933

Download: PDF (open access) via Academia or UB Heidelberg

Keywords: Adaptive images, extended reality, computer vision, media theory, 3D space

Talk on spatial video & situative imaging

I will give a talk on „Spatial Video – An Introduction to Situative Imaging“ at the international conference Space Video Interactions, held at the collaborative research centre Re-Figuration of Space, Institute for Sociology, Technische Universität Berlin. Dates: 29. April – 30. April, 2021. Program found here (PDF).

What is the conference about: How can we use video to (interpretatively/qualitatively) study space and interaction? The conference aims at bringing together research that focuses on approaches that use video to study the relations of interactions in space, interaction between spaces and the spatial dimension of interaction. Underpinned by theoretical models that understand space not merely as a “container” within which interaction takes place but rather focuses on the relational construction of space(s) in interaction, video methods allow for new insights into questions of spatial structures, dynamics and changes due to new technologies.

Abstract of my talk: Digital images are usually associated with a loss of reference to place, object and matter. While software has continuously improved the possibilities for the analysis and manipulation of spatial relations within the image (such as morphing, recognition or segmentation) their tangible and physical qualities remain limited. The technical ability of spatial and embodied computing to register and process physical space and movement in real time currently shape a new relationship of imaging and spatiality. Contemporary imaging technologies such as virtual or mixed reality offer new ways of interacting with images by coinciding the viewer’s perspective with the scale and position of objects and spatial structures. This connection of the human sensor and motor system with imaging processes transgresses the traditional offset between image and space and heralds a growing convergence of virtuality and physicality. With particular regard to emerging video formats, such as 360 degree video and volumetric video, the paper will give an overview on the concept of situative imaging based on three case studies from architectural planning, medical practice and in industrial assembly processes. It will furthermore address a key methodological dilemma of video-based practices: while the understanding of moving images is often narrowed down to the representational level (what a video shows) situative imaging shifts focus onto the situation rather than to the result of an imaging process. Accordingly a critical methodology needs to address problems of space, such as the user’s point of view and movement, in order to understand the re-emergence of the analog into the digital realm.

New Paper on: Adaptive images

Together with Kathrin Friedrich (University of Potsdam) and Matthias Bruhn (Karlsruhe University of Arts and Design) I published the paper „Adaptive images: Practices and aesthetics of situative digital imaging“ in NECSUS European Journal of Media Studies. The paper is our take on a new type of digital images that continuously adapt to time and space.

Abstract: Digital images increasingly determine the way people interact with physical space. Combined imaging and sensing technologies register, process, and transmit information about the physical world in real time and make it possible to continuously adapt such images to specific spatio-temporal settings and in relation to motion and perspective. With the ability to integrate situative and customised information in media, like digital maps or virtual reality applications, images also gain in importance for perception and interpretation. Such integration of image, action, and space heralds a new type of visual media described as adaptive images. Based on cases from industrial production, medicine, and psychotherapy as well as from sports and entertainment, the paper addresses their aesthetic, spatial, and operational conditions, and provides a typological survey of adaptive images as a phenomenon, including their respective challenges and im- plications for image and media theory.

Keywords: adaptive imaging, digital media theory, extended reality, image theory, sensing

Seminar: »Digital Health: Von der App bis zum intelligenten Krankenhaus«

Ich freue mich im Wintersemester 2019/2020 wieder ein Seminar zu „Digital Health“ an der Charité Universitätsmedizin Berlin mitzugestalten. Gerade die zweite Welle der Digitalisierung bzw. Industrie 4.0 birgt eine Menge neuer Herausforderungen. Deep learning, Big Data, Robotik oder extended reality werden nicht nur die chirurgische Praxis erneut grundlegend verändern, sondern haben auch weitreichende Auswirkungen auf die klinische Ausbildung und Wertschöpfungskette.

Aus der Modulbeschreibung: „die Digitalisierung hat in den letzten Jahrzehnten fast alle Bereiche der Gesellschaft grundlegend verändert. Fast jeder hat ein Smartphone, Architekten und Ingenieure nutzen Software statt nur Bleistift und Papier für die Planung, Flugzeuge können ohne Bordcomputer nicht mehr fliegen, und Daten – nicht mehr Land, Öl oder Kohle – gelten als das Gold unserer Zeit. Diese Entwicklungen haben auch unsere alltäglichen Ansprüche und Erwartungen verändert: Nie wieder am Automaten warten, um eine Fahrkarte zu kaufen, es gibt doch eine App! Warum in die Bankfiliale gehen, deren Website hat doch eine Chat-Funktion? Warum sich im Restaurant beschweren, wenn man einfach eine negative Rezension online schreiben kann?

Die Digitalisierung in all ihren Facetten hat auch für unser Gesundheitssystem und die Medizin als Wissenschaft immense Chancen. Visionen von riesigen Datenmengen für die Forschung, vom zielgenauen und schnellen Zugang zum Expertenwissen, vom Ende unnötiger Dokumentation in unleserliche Handschrift. Doch die Digitalisierung tut sich ausgerechnet im Gesundheitswesen schwer – insbesondere in Deutschland. Die elektronische Gesundheitskarte gilt im In- und Ausland als Pannenprojekt auf dem Level des neuen Berliner Flughafens. Andere Länder sind uns da weit voraus.

Mit dem neu geschaffenen Lehrangebot dieses Wahlpflichtmoduls wollen wir den Stand der Digitalisierung der Medizin und des Gesundheitswesens beleuchten; auch mit dem Ziel, die zukünftigen Ärzt*innen besser vorzubereiten – auf die Herausforderungen, die es jetzt schon gibt, und auch für die, die noch kommen. Im Rahmen dieses deutschlandweit einzigartigen Curriculums erwartet Sie sowohl ein Rundumschlag, der aufzeigt, wo Digitalisierung den klinischen Alltag schon erreicht hat (Datenmanagement, Handys in der Dermatologie) und Vertiefungen, woran es hakt (Rechtliche Rahmenbedingungen) und wohin es noch gehen kann (Operations-Roboter, Augmented Reality).“

Mehr Infos auf Charite.de

Lecture on „Adaptive Images“

I will give a lecture on „Adaptive Images“ at the international conference Image Servitude. New Dependencies in the Digital Age. at the University of Arts and Design, Karlsruhe.

Nov 21-23, 2019, HfG Karlsruhe – University of Arts and Design, Lorenzstr. 15, Karlsruhe, Location: Großes Studio (ground floor)

Abstract of the conference: Despite the increasing degree of digitization, many parts of the industrial chain cannot be automated. The result is a new division of labor, with the convenience of online services on one hand, and the exploitation of physical work on the other. In many cases there are direct relations to the speed and growth of image production. Human agents are still needed e.g. for censoring violent Internet content as long as pattern recognition tools are not yet reliable. In social sectors as well, images have been taking command. In medicine, military, or sports people are being forced into new patterns of behavior. Interactive and augmented media require special training and adaptation, especially in professional contexts.

While the invisibility of processes behind blockchain technology or artificial intelligence applications increases the dependence on what remains visible, homes are wired to the Internet, and children grow up in the presence of cameras. Computer-generated personae become teenage role models, while state of the art and easy to use apps lure users into virtualizing selfies/selves with just a few clicks. ‘Image Servitude’ seeks to pin down such new forms of visual dependency. Considering the field of picture theory and visual culture studies, the conference strives to map new terrains, and to translate the results into recommendations for a timely research and teaching.