Talk on spatial video & situative imaging

I will give a talk on „Spatial Video – An Introduction to Situative Imaging“ at the international conference Space Video Interactions, held at the collaborative research centre Re-Figuration of Space, Institute for Sociology, Technische Universität Berlin. Dates: 29. April – 30. April, 2021. Program found here (PDF).

What is the conference about: How can we use video to (interpretatively/qualitatively) study space and interaction? The conference aims at bringing together research that focuses on approaches that use video to study the relations of interactions in space, interaction between spaces and the spatial dimension of interaction. Underpinned by theoretical models that understand space not merely as a “container” within which interaction takes place but rather focuses on the relational construction of space(s) in interaction, video methods allow for new insights into questions of spatial structures, dynamics and changes due to new technologies.

Abstract of my talk: Digital images are usually associated with a loss of reference to place, object and matter. While software has continuously improved the possibilities for the analysis and manipulation of spatial relations within the image (such as morphing, recognition or segmentation) their tangible and physical qualities remain limited. The technical ability of spatial and embodied computing to register and process physical space and movement in real time currently shape a new relationship of imaging and spatiality. Contemporary imaging technologies such as virtual or mixed reality offer new ways of interacting with images by coinciding the viewer’s perspective with the scale and position of objects and spatial structures. This connection of the human sensor and motor system with imaging processes transgresses the traditional offset between image and space and heralds a growing convergence of virtuality and physicality. With particular regard to emerging video formats, such as 360 degree video and volumetric video, the paper will give an overview on the concept of situative imaging based on three case studies from architectural planning, medical practice and in industrial assembly processes. It will furthermore address a key methodological dilemma of video-based practices: while the understanding of moving images is often narrowed down to the representational level (what a video shows) situative imaging shifts focus onto the situation rather than to the result of an imaging process. Accordingly a critical methodology needs to address problems of space, such as the user’s point of view and movement, in order to understand the re-emergence of the analog into the digital realm.

New Paper on: Adaptive images

Together with Kathrin Friedrich (University of Potsdam) and Matthias Bruhn (Karlsruhe University of Arts and Design) I published the paper „Adaptive images: Practices and aesthetics of situative digital imaging“ in NECSUS European Journal of Media Studies. The paper is our take on a new type of digital images that continuously adapt to time and space.

Abstract: Digital images increasingly determine the way people interact with physical space. Combined imaging and sensing technologies register, process, and transmit information about the physical world in real time and make it possible to continuously adapt such images to specific spatio-temporal settings and in relation to motion and perspective. With the ability to integrate situative and customised information in media, like digital maps or virtual reality applications, images also gain in importance for perception and interpretation. Such integration of image, action, and space heralds a new type of visual media described as adaptive images. Based on cases from industrial production, medicine, and psychotherapy as well as from sports and entertainment, the paper addresses their aesthetic, spatial, and operational conditions, and provides a typological survey of adaptive images as a phenomenon, including their respective challenges and im- plications for image and media theory.

Keywords: adaptive imaging, digital media theory, extended reality, image theory, sensing

Seminar: »Digital Health: Von der App bis zum intelligenten Krankenhaus«

Ich freue mich im Wintersemester 2019/2020 wieder ein Seminar zu „Digital Health“ an der Charité Universitätsmedizin Berlin mitzugestalten. Gerade die zweite Welle der Digitalisierung bzw. Industrie 4.0 birgt eine Menge neuer Herausforderungen. Deep learning, Big Data, Robotik oder extended reality werden nicht nur die chirurgische Praxis erneut grundlegend verändern, sondern haben auch weitreichende Auswirkungen auf die klinische Ausbildung und Wertschöpfungskette.

Aus der Modulbeschreibung: „die Digitalisierung hat in den letzten Jahrzehnten fast alle Bereiche der Gesellschaft grundlegend verändert. Fast jeder hat ein Smartphone, Architekten und Ingenieure nutzen Software statt nur Bleistift und Papier für die Planung, Flugzeuge können ohne Bordcomputer nicht mehr fliegen, und Daten – nicht mehr Land, Öl oder Kohle – gelten als das Gold unserer Zeit. Diese Entwicklungen haben auch unsere alltäglichen Ansprüche und Erwartungen verändert: Nie wieder am Automaten warten, um eine Fahrkarte zu kaufen, es gibt doch eine App! Warum in die Bankfiliale gehen, deren Website hat doch eine Chat-Funktion? Warum sich im Restaurant beschweren, wenn man einfach eine negative Rezension online schreiben kann?

Die Digitalisierung in all ihren Facetten hat auch für unser Gesundheitssystem und die Medizin als Wissenschaft immense Chancen. Visionen von riesigen Datenmengen für die Forschung, vom zielgenauen und schnellen Zugang zum Expertenwissen, vom Ende unnötiger Dokumentation in unleserliche Handschrift. Doch die Digitalisierung tut sich ausgerechnet im Gesundheitswesen schwer – insbesondere in Deutschland. Die elektronische Gesundheitskarte gilt im In- und Ausland als Pannenprojekt auf dem Level des neuen Berliner Flughafens. Andere Länder sind uns da weit voraus.

Mit dem neu geschaffenen Lehrangebot dieses Wahlpflichtmoduls wollen wir den Stand der Digitalisierung der Medizin und des Gesundheitswesens beleuchten; auch mit dem Ziel, die zukünftigen Ärzt*innen besser vorzubereiten – auf die Herausforderungen, die es jetzt schon gibt, und auch für die, die noch kommen. Im Rahmen dieses deutschlandweit einzigartigen Curriculums erwartet Sie sowohl ein Rundumschlag, der aufzeigt, wo Digitalisierung den klinischen Alltag schon erreicht hat (Datenmanagement, Handys in der Dermatologie) und Vertiefungen, woran es hakt (Rechtliche Rahmenbedingungen) und wohin es noch gehen kann (Operations-Roboter, Augmented Reality).“

Mehr Infos auf Charite.de

Lecture on „Adaptive Images“

I will give a lecture on „Adaptive Images“ at the international conference Image Servitude. New Dependencies in the Digital Age. at the University of Arts and Design, Karlsruhe.

Nov 21-23, 2019, HfG Karlsruhe – University of Arts and Design, Lorenzstr. 15, Karlsruhe, Location: Großes Studio (ground floor)

Abstract of the conference: Despite the increasing degree of digitization, many parts of the industrial chain cannot be automated. The result is a new division of labor, with the convenience of online services on one hand, and the exploitation of physical work on the other. In many cases there are direct relations to the speed and growth of image production. Human agents are still needed e.g. for censoring violent Internet content as long as pattern recognition tools are not yet reliable. In social sectors as well, images have been taking command. In medicine, military, or sports people are being forced into new patterns of behavior. Interactive and augmented media require special training and adaptation, especially in professional contexts.

While the invisibility of processes behind blockchain technology or artificial intelligence applications increases the dependence on what remains visible, homes are wired to the Internet, and children grow up in the presence of cameras. Computer-generated personae become teenage role models, while state of the art and easy to use apps lure users into virtualizing selfies/selves with just a few clicks. ‘Image Servitude’ seeks to pin down such new forms of visual dependency. Considering the field of picture theory and visual culture studies, the conference strives to map new terrains, and to translate the results into recommendations for a timely research and teaching.

Lecture on XR in Surgery @MediaTechHub Conference

I am part of this year’s MediaTech Hub Conference in Potsdam! At the @MediaTechHubConference everything revolves around media technologies in industry and entertainment! Together with Christoffer Hamilton, Director Smart Viewer & Mixed Reality at Brainlab (@brainlab) I will discuss how #XR will change diagnosis, operation & therapy.

#mthcon will take place from November 19.-20., 2019 at @StudioBabelsberg in Potsdam. See you there! More information: http://www.mth-conference.de

Operieren im digitalen Raum

Im Band „Die Zukunft der Medizin“ (herausgegeben von Erwin Böttinger, Jasper zu Putlitz) ist ein neuer Text von mir erschienen. In Zusammenarbeit mit Igor Maximilian Sauer, Moritz Queisner, Michael Pogorzhelskiy, Johann Pratschke. Vielen Dank and Hasso Plattner Institut und an das Herausgeberteam.

Abstract: Die gegenwärtige Chirurgie steht vor der Herausforderung, ein zunehmend komplexes Gefüge bildbasierter Technologien in die Vorbereitung und Durchführung von Operationen zu integrieren. Bedingt durch die jüngere Technikentwicklung werden digitale Bilder heute zunehmend in mobile, sensorgesteuerte und augmentierende Visualisierungssysteme integriert und drei- oder vierdimen- sional dargestellt. Ein grundlegender Aspekt ist dabei die Verknüpfung von Bildgebung und Opera- tionssitus: Um die Bildgebung in Diagnosen und Handlungen zu übersetzen, müssen Chirurgen in der Lage sein, Bildinformationen und Patient miteinander in Beziehung zu setzen. Am Beispiel von Mixed und Augmented Reality diskutiert der Beitrag das Potenzial und die Risiken der Anwendung in der chirurgischen Intervention. Im Mittelpunkt stehen dabei die Fragen, wie sich die Art und Weise verändert, Körpervolumen darzustellen und welche Anpassungen chirurgischer Sehweisen und Arbeitsabläufe dafür notwendig sind.

Zitation: Igor Maximilian Sauer, Moritz Queisner, Michael Pogorzhelskiy, Johann Pratschke (forthcoming 2019) Operieren im digitalen Raum – Mixed Reality in der Chirurgie. In: Erwin Böttinger, Jasper zu Putlitz (Eds.) The Future of Medicine. Disruptive innovations transform healthcare in the 21st Century. Berlin: Medizinisch Wissenschaftliche Verlagsgesellschaft.

Berlin University Alliance

Ich freue mich, dass meine Forschungsprojekte „Adaptive Anatomy“ und „Virtual Operating Room“ für die Präsentation des gemeinsamen Antrags der drei großen Berliner Universitäten und die Charité im Bund-Länder-Wettbewerb der Exzellenzstrategie ausgewählt wurden. Es ist eine große Ehre, die Berliner Forschung im Rahmen der Berlin University Alliance mit zu repräsentieren. Jetzt heißt es Daumen drücken bis zur Entscheidung. Ich hoffe wir können mit unserer Arbeit dazu beitragen, dass die Berliner Universitäten und die Charité ihre Kooperation in Zukunft vertiefen und institutionell festigen.