About

I am a re­se­arch asso­ci­ate at the Cluster of Excellence Image Knowledge Gestaltung. An Interdisciplinary Laboratory of Hum­boldt Uni­ver­sity Ber­lin. I have an aca­de­mic back­ground in Media Studies and Science and Technology Studies with a fo­cus on me­dia theo­ry, image theo­ry and po­liti­cal theo­ry. My cur­rent re­se­arch in­clu­des pro­jects about aug­men­ted rea­lity, com­pu­ter si­mu­la­tion, so­cial me­dia, re­mote war­fare, lo­ca­tive me­dia and peer-to-peer eco­nomy.

Categegories

Conference Culture and Computer Science

I will pre­sent the pa­per „Disrupting Screen-Based Interaction – Design Principles of Mixed Reality Displays“ at the Conference Culture and Computer Science ta­king pla­ce at May 18-19, 2017 at Bode-Museum, Berlin. The 15th edi­ti­on of the ”Culture and Computer Science“ con­fe­ren­ce se­ries fo­cu­ses on best prac­tice ex­amp­les, chal­len­ges and fu­ture trends of mi­xed rea­li­ty as a stra­te­gy to bring the world of data and in­for­ma­ti­on and the world of ob­jects and things into even clo­ser con­tact.

Abstract: Transparent dis­play tech­no­lo­gy fun­da­men­tal­ly chal­len­ges the con­cept of the screen: it turns view­ing first and fo­re­most into using. Transparent me­dia pres­ents users with a com­plex en­sem­ble of ima­ging tech­ni­ques and vi­sual in­for­ma­ti­on that is em­bed­ded into their ac­tion rou­ti­nes, view­ing ha­b­its and working pro­ces­ses. It shifts the fo­cus from the ana­ly­sis of vi­sual ele­ments on screen to the ite­ra­ti­ve in­ter­play of struc­tures and pro­ces­ses in front of and be­hind the screen. In or­der to show the as­so­cia­ted trans­for­ma­ti­on of de­si­gn and in­ter­ac­tion prin­ci­ples, the pa­per sug­gest three ele­men­ta­ry con­di­ti­ons to be ta­ken into ac­count when de­si­gning trans­pa­rent me­dia tech­no­lo­gy: a) the po­si­ti­on of the screen, b) the point of view of the user and c) the aug­men­ta­ti­on of ob­jects.

Charité BIH Entrepreneurship Summit

I will be a dis­cus­sant at the the Charité BIH Entrepreneurship Summit ta­king pla­ce at the Berlin-Brandenburg Academy of Sciences and Humanities on May 8 – 9, 2017. The sum­mit is a pree­mi­nent in­ter­na­tio­nal cross-disciplinary fo­rum for sharing and ex­plo­ring the most im­port­ant dis­co­ve­ries and emer­ging trends in­flu­en­cing the fu­ture of health­ca­re around the world. Together with Drazenko Babic, Senior Scientist (Philips Research, Eindhoven), Bartosz Kosmecki (Founder & CEO, Scopis, Berlin), Babak Movassaghi (Vice President, Innovation and New Ventures, Flex, Cambridge) and Varun Sahni (Director, GestureTek Health, London) I will dis­cuss „Augmented Reality’s Role(s) in Healthcare“.

Conference Situation Space

Together with my col­leagues Luisa Feiersinger and Kathrin Friedrich I will host the con­fe­ren­ce Situation Space – How Spatial Images Define the User’s Disposition.

International con­fe­ren­ce, January 12th and 13th 2017
Cluster of Excellence Image Knowledge Gestaltung
Sophienstrasse 22a, 10178 Berlin,
Central Laboratory (2nd cour­ty­ard, 2nd floor)
www.situation-space-conference.org

Abstract: Contemporary ima­ging, sen­sor and dis­play tech­no­lo­gies have tur­ned view­ing pre­do­mi­nant­ly into using. Interacting with vi­sual de­vices and in­ter­faces such as vir­tual rea­li­ty head­sets, aug­men­ted rea­li­ty apps or na­vi­ga­ti­on sys­tems si­tua­te users in space both wi­t­hin and bey­ond the boun­da­ries of the screen, for in­stan­ce when play­ing Pokémon Go on a smart­pho­ne, or when su­per­im­po­sing me­di­cal images on a patient’s body. Narrative me­dia such as ste­reo­sco­pic mo­vies, vo­lu­metric ca­me­ras or cur­ved dis­plays also re­qui­re a vi­sual prac­tice that spa­ti­al­ly aligns image and view­er. In the case of a ste­reo­sco­pic pro­jec­tion, for ex­am­ple, the spa­ti­al im­pres­si­on of the image is most in­tel­li­gi­ble and con­vin­cing if the phy­si­cal po­si­ti­on of the view­er cor­re­sponds with the camera-viewpoint.

Critically thin­king about pro­du­cing and per­cei­ving images thus re­qui­res the ana­ly­sis of image dis­po­si­ti­ons. Understanding the spa­tia­li­ty of images re­qui­res a con­side­ra­ti­on of si­tua­ti­on space, that – just as the si­tua­ti­on room – im­plies and de­fi­nes the need for ac­tion. With re­gard to spa­ti­al images we thus ask, how do screens si­tua­te the view­er in phy­si­cal space and wi­t­hin the vi­sua­li­sed space? Are the­se spaces con­nec­ted by me­ans of in­ter­face and in­ter­ac­tion de­si­gn, con­tent crea­ti­on or nar­ra­ti­ve stra­te­gies? Does the abili­ty of the view­er to phy­si­cal­ly and vi­sual­ly na­vi­ga­te through the image in­crea­se or de­crea­se, if the images can be cha­rac­te­ri­zed as spa­ti­al? And fol­lo­wing that, how and whe­re is agen­cy ascri­bed to the view­ing of images? Do forms of spa­ti­al­ly re­la­ted vi­sual prac­tice prompt the view­er to con­nect ac­tion and per­cep­ti­on? And does this re­qui­re a re-conceptualisation of the di­cho­to­my of view­er and user? In short: how does the image (un­ders­tood as the al­li­an­ce of screen and vi­sua­li­sa­ti­on) con­cep­tua­li­se and de­fi­ne the user’s spa­ti­al dis­po­si­ti­on?

The ana­ly­sis of the vi­sual con­struc­tion and re­pre­sen­ta­ti­on of space, as well as the as­so­cia­ted ite­ra­ti­ve in­ter­play of struc­tures and pro­ces­ses in front and be­hind the screen has been a con­cern of aes­t­he­tics, art his­to­ry, image- and film-theory, me­dia stu­dies, vi­sual stu­dies and sci­en­ce and tech­no­lo­gy stu­dies. But tra­di­tio­nal views on the spa­tia­li­ty of the image are chal­len­ged by con­tem­pora­ry ima­ging tech­no­lo­gy, which pro­po­ses new forms of vi­sual prac­tice. New ap­proa­ches con­cen­tra­ting on spe­ci­fic as­pects, such as the mo­bi­li­ty (Verhoeff 2012), and ar­chaeo­lo­gy (Huhtamo 2012), so­ci­al, nar­ra­ti­ve, and ar­chi­tec­tu­ral struc­tures (Elsaesser 1998), or the three-dimensionality (Schröter 2014) of screens and vi­sua­li­sa­ti­ons, re­flect the turn towards the par­ti­cu­lar role of the image in si­tua­ting ac­tion and per­cep­ti­on.

The work­shop aims to ap­p­ly theo­re­ti­cal and prac­tical ap­proa­ches in a dis­cus­sion of the ope­ra­ti­ve and nar­ra­ti­ve im­pli­ca­ti­ons of vi­sual prac­tices as spa­ti­al dis­po­si­ti­ons. In or­der to ana­ly­se how images de­fi­ne and si­tua­te view­ers’ ac­tion and per­cep­ti­on, the work­shop fo­cu­ses on vi­sual prac­tices such as mo­bi­le dis­plays, mi­xed rea­li­ty ga­mes, screen ar­chi­tec­tures and ste­reo­sco­pic me­dia.

Virtual Reality – digitale Welten gestalten

Am 5. Januar 2017, 17 Uhr, dis­ku­tie­re ich mit Nina Franz (Kulturwissenschaftlerin, HU Berlin) und Rolf Giesen (Filmhistoriker, Berlin/Beijing) über das Thema „Virtual Reality – di­gi­ta­le Welten ge­stal­ten“. Die Podiumsdiskussion ist Teil der ge­mein­sa­men Veranstaltungsreihe der Ausstellungen „Things to come. Science Fiction Film“ (Deutsche Kinemathek) und „+ul­tra. ge­stal­tung schafft wis­sen“ (Bild Wissen Gestaltung. Ein Interdisziplinäres Labor).

Virtual-Reality-Technologien wie Oculus‚ Rift er­wei­tern die Wahrnehmung un­se­rer Welt, rech­ner­ge­steu­er­te Motion-Control-Kameras und die Performance-Capture-Technik si­mu­lie­ren im Film ky­ber­ne­ti­sche Räume und mensch­li­che Avatare. Welche Möglichkeiten bie­ten vir­tu­el­le Darstellungsformen und bild­ge­ben­de Verfahren in Film und Wissenschaft, und wel­che Auswirkungen auf all­täg­li­che Sehpraktiken und die Entwicklung neu­er Technologien sind zu er­war­ten?

  • Mit M.A. Nina Franz (Kulturwissenschaftlerin, HU Berlin), Dr. Rolf Giesen (Filmhistoriker, Berlin/Beijing) und M. A. Moritz Queisner (Medienwissenschaftler, HU Berlin).
  • Moderation: Shelly Kupferberg (Kulturradio des rbb).
  • 5. Januar 2017, 17 Uhr
  • Active Space der Ausstellung +ul­tra im Martin-Gropius-Bau
  • Eintritt frei
  • Ankündigung hier

Seminar on imaging and interaction in surgical practice

Together with my col­leagues Thomas Picht, Kathrin Friedrich, Matthias Bruhn, Kirsten Ostherr, Rebekka Lauer and Anna Roethe I will teach an in­ter­di­sci­pli­na­ry se­mi­n­ar on me­di­cal ima­ging at Charité University Hospital in the win­ter term 2016/17. My part of the cour­se will fo­cus on ex­pe­ri­men­tal ima­ging tech­no­lo­gy in me­di­cal prac­tice with a par­ti­cu­lar fo­cus on vir­tual and aug­men­ted rea­li­ty ap­p­li­ca­ti­ons as well as on 3D si­mu­la­ti­on in sur­gi­cal prac­tice.

Course ge­ne­ral out­line: The first, ge­ne­ral, ob­jec­tive of the mo­du­le is to sen­si­ti­ze stu­dents to the ex­tra­or­di­na­ry si­gni­fi­can­ce of the ‚image‘ in mo­dern me­di­ci­ne and par­ti­cu­lar­ly in sur­ge­ry. Images ser­ve as an im­pe­ra­ti­ve im­pe­tus to ac­tion wi­t­hin the rou­ti­ne of cli­ni­cal me­di­ci­ne. The se­cond ge­ne­ral ob­jec­tive of the mo­du­le is to em­power fu­ture doc­tors to ap­p­ly me­di­cal ima­ging in the best in­te­rest of their pa­ti­ent. The abili­ty to cri­ti­cal­ly ana­ly­ze images is a pre-condition for this. Three to­pics will help to im­part this know­led­ge: first, com­pa­ra­ti­ve ana­ly­sis of the me­dia in ques­ti­on and the as­so­cia­ted tech­ni­cal pro­ce­du­res and mo­da­li­ties of re­pre­sen­ta­ti­on; se­cond, a his­to­ri­cal clas­si­fi­ca­ti­on of the afo­re­men­tio­ned me­dia and pro­ce­du­res, etc.; and third, an over­view of pla­ces and times at which images be­co­me ef­fec­tive tools. This will enable an un­der­stan­ding of the me­cha­nis­ms that have im­pli­ca­ted images in a ran­ge of pro­ces­ses. The third ob­jec­tive un­der­pin­ning the mo­du­le, along­s­ide the fun­da­men­tal teaching of image ana­ly­sis, is the me­dia­ti­on of cur­rent tech­ni­cal de­ve­lop­ments in the field of me­di­cal ima­ging – so­me­thing which must be a con­ti­nu­al­ly up­dated. The fo­cus here is on the in­crea­sing syn­chro­niza­t­i­on of image and body in 3D; aug­men­ted and vir­tual rea­li­ty ap­p­li­ca­ti­ons; and the pro­gres­si­ve dis­tan­cing of staff and pa­ti­ent in the are­as of pre-planning, re­mo­te con­trol and ro­botics. Students will be ex­pec­ted to ac­qui­re the ne­cessa­ry pro­fes­sio­na­lism when working with images so that, both now and in the fu­ture, they can make best use of me­di­cal ima­ging op­por­tu­nities. Theories re­fer­red to in the trai­ning blocks will be set along­s­ide cor­re­spon­ding cli­ni­cal case stu­dies as part of the in­ter­ac­tive dis­cus­sion of ca­ses. Supervised pa­ti­ent ex­ami­na­ti­ons, patient-side teaching and OR work shado­wing will also be of­fe­red in re­le­vant are­as.

Medical Screen Operations

I will pre­sent a pa­per in our work­shop Screen Operations, July 13–14, 2016 at Humboldt-Universität zu Berlin:

Medical Screen Operations. How Head-Mounted Displays Transform Action and Perception in Surgical Practice

Based on case stu­dies in mi­ni­mal­ly in­va­si­ve sur­ge­ry, this pa­per in­ves­ti­ga­tes how head-mounted dis­plays (HMDs) trans­form ac­tion and per­cep­ti­on in the ope­ra­ting thea­ter. In par­ti­cu­lar, it dis­cus­ses the me­thods and ad­dres­ses the obst­a­cles that are lin­ked to the at­tempt to eli­mi­na­te the di­vi­de bet­ween vi­si­on and vi­sua­liza­t­i­on by aug­men­ting the surgeon’s eld of view with images. Firstly, it ana­ly­zes how HMDs chan­ge the way images are in­te­gra­ted into the sur­gi­cal work ow by loo­king at the mo­da­li­ties of image pro­duc­tion, trans­mis­si­on, and re­cep­ti­on of HMDs. Secondly, it ex­ami­nes how HMDs chan­ge whe­re and in which si­tua­ti­ons images are used by loo­king at screen ar­chi­tec­tures in mi­ni­mal­ly in­va­si­ve sur­ge­ry. Thirdly, it dis­cus­ses the im­pact of HMD-based prac­tice on ac­tion and decision-making, by ex­ami­ning how HMDs chal­len­ge the exis­ting tech­ni­ques and rou­ti­nes of sur­gi­cal prac­tice and, the­re­fo­re, call for a new type of image and application-based ex­per­ti­se. (Image credits: Malte Euler & Moritz Queisner, Creative Commons BY-NC-ND 4.0)

Controlling senses and sensors in remote warfare

I will give a talk at the con­fe­ren­ce Control, Stockholm, June 14-17, 2016 at the 10th European Society for Literature, Science and the Arts Conference.

I co-organized the pa­nel „Touch, Decision, Vision – Practices of Remote Control in Warfare“ to­ge­ther with Kathrin Friedrich and Nina Franz: Surgical in­ter­ven­ti­ons and mi­li­ta­ry ope­ra­ti­ons have be­co­me si­gni­fi­cant­ly de­pen­ded on the se­pa­ra­ti­on of bo­dies through tech­no­lo­gy. Robotic sur­ge­ry or dro­ne war­fa­re have shown that hu­man ac­tors in­crea­sin­gly rely on re­mo­te in­ter­ac­tion. While the prac­tice of con­trol­ling dis­tan­ce through tech­no­lo­gy has dif­fe­rent mo­ti­va­ti­ons, such as touch­less in­ter­ac­tion to main­tain ste­ri­li­ty or re­mo­te­ly con­trol­led wea­pons to re­du­ce vul­nera­bi­li­ty, the un­der­ly­ing ques­ti­on in me­di­ci­ne and war­fa­re is the same: if ac­tion and per­cep­ti­on are me­dia­ted by tech­ni­cal de­vices to what ex­tend do the tech­no­lo­gies of re­mo­te con­trol shape, im­pact and go­vern me­di­cal and mi­li­ta­ry de­ci­si­ons and ac­tions? The pre­sen­ta­ti­ons in this pa­nel will ex­plo­re three spe­ci­fic mo­da­li­ties of re­mo­te con­trol, na­me­ly touch, de­ci­si­on and vi­si­on in mi­li­ta­ry and sur­gi­cal con­texts. By drawing on his­to­ri­cal ex­amp­les as well as on cur­rent pro­blems and chal­len­ges of re­mo­te con­trol, the pa­pers in­ves­ti­ga­te their fun­da­men­tal prin­ci­ples for in­ter­ac­tion and in­ter­ven­ti­on.

Looking through a soda straw: mediated vision in remote warfare

The Human Sensorium and its Prostheses: Aesthetic Viewpoints, Aarhus University, Jan 20–22, 2016

Image-guided mi­li­ta­ry ope­ra­ti­ons em­bed sol­diers into a com­plex sys­tem of image pro­duc­tion, trans­mis­si­on and per­cep­ti­on, that on the one hand se­pa­ra­te their bo­dies from the batt­le­field, but on the other hand me­dia­tes bet­ween them. Especially in re­mo­te con­trol­led ope­ra­ti­ons of so-called un­man­ned ae­ri­al sys­tems (UAS) the know­led­ge of a si­tua­ti­on in the ope­ra­ti­on field, so-called “si­tua­tio­nal awa­ren­ess,” re­li­es al­most ex­clu­si­ve­ly on machine-generated sen­sor data. In the con­text of the per­sua­si­ve power of data, dro­ne strikes have of­ten been re­fe­red to as being sur­gi­cal­ly pre­cise and UAS ope­ra­tors are as­si­gned to an om­ni­pre­sent god’s eye type of vi­si­on. With tho goal to ques­ti­on tho­se po­pu­lar ste­reo­ty­pes the lec­tu­re draws upon the tech­no­lo­gi­cal con­di­ti­ons of real-time vi­sua­liza­t­i­on in or­der to de­scri­be the shift in the re­la­ti­ons­hip bet­ween body and in­stru­ment and bet­ween ob­ser­ving and ima­ging in re­mo­te war­fa­re.

Through the Looking-Glass Zum prekären Verhältnis von Transparenz und Opazität bei Head-Mounted Displays

Internationale Tagung Glas. Materielle Kultur zwi­schen Zeigen und Verbergen, Zentrum für Literatur- und Kulturforschung Berlin. Dec 11–12, 2015

Im Gegensatz zu opa­ken Bildflächen ver­än­dert sich das Gezeigte bei trans­pa­ren­ten Bildern in Abhängigkeit vom Standpunkt des Betrachters. Auf die­sem Darstellungsprinzip ba­sie­ren vor al­lem bild­schirm­ba­sier­te Praktiken, die Formen der Beobachtung auch jen­seits ei­nes ge­nuin Bildlichen in­te­grie­ren. Dazu ge­hö­ren ins­be­son­de­re so­ge­nann­te Head-Mounted Displays, etwa Smartglasses wie Google Glass oder Microsoft Hololens, aber auch Helmet Displays von Kampfpiloten oder Kontaktlinsendisplays. Sie zeich­nen sich al­le­samt durch eine Bildfläche aus, die fort­wäh­rend zwi­schen Transparenz und Opazität os­zil­liert. Die Überlagerung des na­tür­li­chen Sichtfelds des Betrachters mit vi­su­el­len Darstellungen sug­ge­riert ei­ner­seits ein Durchschauen im wört­li­chen Sinne von per­spi­ce­re und ent­spricht an­de­rer­seits dem Blick auf ein Artefakt. Diese Wahrnehmungssituation kor­re­spon­diert mit ei­nem Bildverständnis, bei dem das Bild dem Betrachter nicht mehr als opa­ke Fläche ge­gen­über tritt, das sei­ne Materialität zu ver­schlei­ern sucht, son­dern im Gegenteil das, was hin­ter ihm liegt eben­so zu se­hen gibt. Anschauung und Darstellung tre­ten hier in eine hy­bri­de Gemeinschaft.

Am Beispiel der me­dia­len Produktions- und Rezeptionsbedingungen von Head-Mounted Displays in der Medizin und in der Kriegsführung un­ter­sucht der Beitrag die Verschränkung von Formen der Beobachtung und Repräsentation. Es soll ge­zeigt wer­den, wie trans­pa­ren­te Bildschirme eine syn­the­ti­sche Form des Sehens eta­blie­ren, in der Visio und Visualisierung tech­ni­sch und funk­tio­nal zu­sam­men­fal­len. Dazu wird ei­ner­seits an­hand der Darstellungskonventionen her­aus­ge­ar­bei­tet, wie die Formen der Bildgebung in die Modalitäten der vi­su­el­len Wahrnehmung in­ter­ve­nie­ren. Andererseits wird das Konzept ei­ner Sehpraxis skiz­ziert, in der die Differenz zwi­schen un­mit­tel­ba­rer vi­su­el­ler und me­dial ver­mit­tel­ter Erfahrung zu­neh­mend un­si­cher wird. Das Sehen auf und durch Glas, so plä­diert der Beitrag, er­for­dert da­her ein an­wen­dungs­ori­en­tier­tes Bildwissen, das die Sichtbarkeit und Durchschaubarkeit des Materials glei­cher­ma­ßen re­flek­tiert und da­mit grund­sätz­li­ch von­ein­an­der ge­trenn­te Praktiken der Beobachtung und Repräsentation mit­ein­an­der kom­bi­niert.

Log-in to the revolution? Eine Lokalisierung von Protesträumen

Deutscher Kongress für Geographie, Berlin. Oct 01, 2015

Der Vortrag zeich­net die Entwicklung nach, in der die Mobilisierung und Ubiquität di­gi­ta­ler Medientechnologien phy­si­ka­li­sche und vir­tu­el­le Protesträume zu­neh­mend mit­ein­an­der ver­bin­det. Ausgehend von der Occupy-Bewegung soll da­bei das Konzept ei­ner hy­bri­den Form räum­li­cher Repräsentation von Protest vor­ge­stellt wer­den, bei dem Daten und Orte zu­neh­mend mit­ein­an­der ver­knüpft wer­den. Dabei soll ge­zeigt wer­den, wie Territorialität an­ge­sichts der orts­be­zo­ge­nen und geo­re­fe­ren­zie­ren­den Nutzung von Medientechnologien (etwa GPS, NFS, WLAN, LTE) für die Analyse der Kulturtechniken des Protests von zen­tra­ler Bedeutung ge­wor­den ist.

Gesundheit 2053. Utopie und Realität der Mensch-Maschine-Interaktion

Workshop Gesundheit 2053. Fraunhofer Center for Responsible Research and Innovation, Jun 05, 2015

Anhand der Themenbereiche Daten, Körper und Bilder pro­ble­ma­ti­siert der Vortrag drei zen­tra­le Schnittstellen in der Mensch-Maschine-Interaktion. Ausgehend von Technikutopien aus der Vergangenheit und der Gegenwart re­kon­stru­iert der Vortrag die zu­neh­men­de Sythese und Konvergenz von Mensch und Technik in der Medizin. Dabei soll ge­zeigt wer­den, dass die Evaluation und die Entwicklung von Mensch-Maschine-Schnittstellen nach wie vor ein spe­zi­fi­sches Wissen über die Differenzen zwi­schen Mensch und Technik er­for­dert.

Image-Guided Vision. Hybrid Forms of Agency in Real-Time Imaging

I will pre­sent a pa­per at the con­fe­ren­ce „Hybrid Photography. Intermedial Practices in Science and Humanities“ ta­king pla­ce at Humboldt Universität zu Berlin, Feb 21, 2015:

The pa­per draws upon a func­tio­nal shift of images from a me­di­um of vi­si­bi­li­ty and vi­sua­liza­t­i­on towards a me­di­um that gui­des ope­ra­ti­ve pro­ces­ses. On the ba­sis of a case stu­dy about the vi­sual ar­chi­tec­tu­re and na­vi­ga­ti­on of the MQ-9 Reaper dro­ne  it will dis­cuss how real-time vi­deo tech­no­lo­gy and the mo­bi­liza­t­i­on of ca­me­ra tech­no­lo­gy in re­mo­te war­fa­re have pro­du­ced a type of in­ter­ven­ti­on, in which in­ter­ac­tion is in­crea­sin­gly shaped and or­ga­ni­zed by ima­ging tech­no­lo­gy. This form of ico­nic prac­tice cor­re­sponds to a hy­brid con­cept of agen­cy, in which the sta­bi­le, subject-centred re­alm of rep­re­sen­ta­tion that be­longed to clas­si­cal aes­thet­ics of per­cep­tion, is re­pla­ced by a co­ope­ra­ti­on bet­ween hu­mans and ma­chi­nes.

Überlagerungen. Augmented Reality als Bildproblem bei Head-Mounted Displays

Ich stel­le ein Paper auf der Konferenz „Bildgenese in den Wissenschaften“ vor die am 12. Februar 2015, an der Humboldt Universität zu Berlin statt­fin­det:

Anstatt als räum­lich und zeit­li­ch von der Inter­ven­tion getren­nte Hil­f­s­mit­tel zur Anzeige vi­su­el­ler Daten zu fun­gie­ren, wer­den Bild­schirme in der medi­zinis­chen Praxis an­ge­sichts der Möglichkeiten zur Bild­her­stel­lung, –verabre­itung und –übertra­gung in Echtzeit zu­neh­mend in den Behand­lung­sprozess inte­gri­ert. Die Leis­tungssteigerung von Prozes­soren und die räum­liche Mobil­isierung von Sen­sor– und Dis­playtech­nolo­gien, also klei­ne­re Sen­soren, schnel­le­re Com­puter und effizien­tere Energiev­er­sorgung ha­ben dazu ge­führt, dass die Inter­ak­tion mit und durch Bild­schirme zur­zeit über­dacht wird: Bild­schirme sol­len zu­neh­mend in die Ther­a­pie ein­greifen, sie an­lei­ten und gestal­ten und als inter­ak­tive Bildebene zwis­chen Arzt und Patient ver­mit­teln. Der Vortrag un­ter­sucht die Auswirkungen von ins Sicht­feld des Arztes inte­gri­erten Bild­schir­men und soll zei­gen, wie Bild­schirme in der medi­zinis­chen Praxis zu­neh­mend als Schnittstelle zwis­chen Arzt und Patient fun­gie­ren. Im Kon­text von Image Guid­ance stellt sich da­bei die Frage, in­wie­weit Visu­al­isierung­sprak­tiken vom Typ „Head-Mounted Dis­play“ den Zugriff des Arztes auf den Patien­ten konzip­ieren und wie sich die­se Bilder auf das ärzt­li­che Sehen und Han­deln aus­wir­ken. Das soll die Studie an­hand der medi­alen Pro­duk­tions– und Rezep­tions­be­din­gun­gen sol­cher Dis­plays unter­suchen

In the Image Laboratory of Neurosurgery

Jahrestagung Exzellenzcluster Bild Wissen Gestaltung. Berlin-Brandenburgische Akademie der Wissenschaften, Nov 15, 2014 (with Kathrin Friedrich, Anna Roethe, Thomas Picht)

How do images de­ter­mi­ne me­di­cal pro­ce­du­res and de­ci­si­ons? Why can it be more pro­duc­tive for cli­ni­cal prac­tice if a me­dia sci­en­tist and a neu­ro­sur­geon look joint­ly at an MRI scan? How can the „blind spots“ in me­di­cal ima­ging prac­tice be dealt with in an in­ter­di­sci­pli­na­ry man­ner and made epis­te­mi­cal­ly fruit­ful for their re­spec­tive vi­sual un­der­stan­ding?
Taking as an ex­am­ple a ty­pi­cal case do­cu­men­ta­ti­on from neu­ro­sur­gi­cal prac­tice, fun­da­men­tal sta­ges in the cour­se of tre­at­ment are il­lu­mi­na­ted by me­ans of a dia­log bet­ween dif­fe­rent image prac­tice di­sci­pli­nes. The physician’s dia­gno­stic in­te­rest in the image co­mes up again­st cul­tu­ral and me­dia stu­dies pro­cess ana­ly­ses in which me­di­cal image­ry its­elf is the fo­cus of at­ten­ti­on. The cour­se of tre­at­ment is fol­lo­wed joint­ly from the patient’s first MRI scan, which is si­gni­fi­cant for the ana­to­mi­cal and mor­pho­lo­gi­cal as­sess­ment, via the func­tio­nal dia­gno­sis of im­port­ant brain func­tions, which ex­tends the image fin­dings  de­cisi­ve­ly, and the pre­ope­ra­ti­ve plan­ning to the ope­ra­ting room, whe­re the pa­ti­ent is trea­ted on the ba­sis of the images dis­cus­sed. The image-critical is­su­es and ob­ser­va­ti­ons that ari­se in this pro­cess are in­ten­ded to pro­vi­de an in­sight into how dif­fe­rent di­sci­pli­na­ry per­spec­tives of images can com­ple­ment each other in such a way that lon­ger­term syn­er­gies for theo­ry and prac­tice take shape in an »image la­bo­ra­to­ry« of this kind that also keep an eye on the usa­bi­li­ty of ne­wer, image-guided the­ra­pies for the pa­ti­ent and are in the end in­ten­ded to im­pro­ve the qua­li­ty of tre­at­ment.

The Charles Sanders Peirce Archive

Imeji Days 2014. Institut für Kunst- und Bildgeschichte, Humboldt University Berlin, Oct 21, 2014 (with Tullio Viola, Franz Engel, Frederik Wellmann)

The Peirce Archive aims at de­si­gning and im­ple­men­ting an image-based ar­chi­ving re­po­si­to­ry of the Nachlass of the American phi­lo­so­pher Charles S. Peirce. The ar­chi­ve will as­sem­ble around 100,000 ma­nu­script pa­ges that span more than five de­ca­des, and touch on very dif­fe­rent di­sci­pli­na­ry do­mains. With an eye to im­pro­ving the me­tho­do­lo­gy of in­ves­ti­ga­ti­on of Peirce’s in­tel­lec­tual le­ga­cy, the ar­chi­ve will set up a ci­ta­ble on­line re­se­ar­ch en­vi­ron­ment to se­ar­ch, fil­ter, de­scri­be, com­ment, link, com­pa­re, share, ex­port, edit, and brow­se the ma­nu­script pa­ges, using the me­ta­da­ta ma­nage­ment soft­ware ime­ji.

Ferngesteuerte Operationen: über das Problem der Mensch-Maschine Kooperation bei bildgeführten Interventionen

Tagung „Techniken des Leibes“, DFG-Netzwerk »Kulturen der Leiblichkeit«. Literaturwerkstatt Berlin, Sep 26, 2014

Der Beitrag un­ter­sucht die­ses Gefüge von Anschauung, Operativität und Bildlichkeit in der minimal-invasiven Chrirurgie an­hand der me­dia­len Produktionsbedingungen des roboter-assistierten Operationssystems „Da Vinci“. Dabei soll an­hand kon­kre­ter Fallbeispiele der Architektur, Navigation und Steuerung des Systems ge­zeigt wer­den, dass dem Herstellerversprechen er­höh­ter me­di­zi­ni­scher Effizienz und Präzision bild­ge­führ­ter Operationssysteme eine prak­ti­sche Kenntnis der Differenz zwi­schen Körper und Bild ent­ge­gen­ste­hen muss, die nicht in Abrenzung zum Maschinellen ver­han­delt wer­den kann, son­dern als Synthese von Chirurg und Operationssystem ge­dacht wer­den muss.

Surgical Strikes: Die Echtzeit Kill Chain als Bildproblem

Workshop „Imaging the Drone’s Vision: A Survey of its Aesthetic Qualities“, Humboldt Universität zu Berlin, Jul 11, 2014

Der Vortrag the­ma­ti­siert drei zen­tra­le Bildprobleme von Drohnenoperationen: 1. Veränderungen in der me­dia­len Anordnung: wenn das Angeschaute nicht mehr ge­se­hen, son­dern  noch vi­sua­li­siert wird, wenn das, was ge­se­hen wer­den kann, aus­schliess­li­ch ins Bild ver­la­gert wird und sich dem Auge selbst ent­zieht, wenn es „nur“ noch me­dia­le Erfahrung ist, wenn es im­mer we­ni­ger an die Fähigkeiten und Funktionen des mensch­li­chen Auges ge­bun­den ist, dann scheint der Umgang mit die­sen Bildern ei­nen ent­schie­de­nen Status zu be­sit­ze. 2. Veränderungen der zeit­li­chen Dimension: erst ent­spre­chen­de Echtzeit-Visualisierungsverfahren er­mög­li­chen die un­mit­tel­ba­re Interaktion zwi­schen Operator und Drohne. Damit ver­bin­det sich eine Verschiebung der mi­li­tä­ri­schen Nutzung von zeit­li­ch nach­ge­ord­ne­ten Bildern der Planung und Überwachung hin zu an­wen­dungs­ori­en­tier­ten Echtzeit-Interventionen in be­waff­ne­te Konflikte. 3. Unter dem Begriff Mobilisierung ver­han­delt der Vortrag schließ­li­ch das ver­än­der­te Verhältnis zwi­schen Körper und Bild: die räum­li­che Verfügbarkeit und Flexibilität von Sensor- und Überwachungstechnologien hat das Schlachtfeld in ei­nen dis­tan­zier­ten und ent­kör­per­lich­ten Raum ver­wan­delt, in de­nen Bildgebungsverfahren die Interaktion der Akteure de­ter­mi­nie­ren. Der Einsatz von Drohnen trennt das Operationsgebiet vom Körper und dem un­mit­tel­ba­ren sinn­li­chen Zugriff des Soldaten. Dabei ist nicht die Position des Auges bzw. der Standpunkt des Betrachters maß­geb­li­ch für das, was ge­se­hen wird, son­dern die ein­zig und al­lein Perspektive der Maschine.

The Medical Image between Vision and Visualization

Conference „The Visual Image and the Future of the Medical Humanities„, Institute for the Medical Humanities, University of Texas Medical Branch. Galveston, USA, May 10, 2014

The trend towards mi­ni­mal­ly in­va­si­ve and robot-assisted sur­gi­cal pro­ce­du­res con­fronts me­di­cal tre­at­ment with a di­lem­ma: on the one hand, the­re are pos­si­ble be­ne­fits for the pa­ti­ent, such as less trau­ma, shor­ter hos­pi­ta­liza­t­i­on, and an im­pro­ved re­co­very pro­cess. On the other, the­se pro­ce­du­res in­vol­ve fun­da­men­tal dif­fi­cul­ties for the sur­geon, who­se abili­ty to ac­cess the ope­ra­ti­on field and to na­vi­ga­te the in­stru­ments is di­mi­nis­hed in com­pa­ri­son with tra­di­tio­nal open sur­ge­ry. This in­crea­sed sur­gi­cal com­ple­xi­ty re­sults from the fact that in image-guided sur­gi­cal in­ter­ven­ti­ons the patient’s body nee­ds to be ac­ces­sed re­mo­te­ly with spe­cial in­stru­ments that have to be gui­ded by v!isualization tech­ni­ques in­s­tead of in­ter­ven­ti­ons exe­cut­ed wi­t­hin the ran­ge of the physician’s hands and eyes.

Performing sur­ge­ry via vi­sual in­ter­faces such as screens or op­ti­cal de­vices in­tro­du­ces a lay­er of ico­ni­ci­ty bet­ween phy­si­ci­an and pa­ti­ent that pres­ents new chal­len­ges to ico­nic know­led­ge, cli­ni­cal prac­tices and tech­ni­cal so­lu­ti­ons. Major vi­sua­liza­t­i­on de­fi­cits of image-guided in­ter­ven­ti­ons in­clu­de the li­mi­ta­ti­on of the surgeon’s field of vi­si­on, the lack of im­mer­si­ve hand-eye co­or­di­na­ti­on, and the gap bet­ween three-dimensional per­cep­ti­on and two-dimensional images. Despite the in­tro­duc­tion of fle­xi­ble ca­me­ra angles, force feed­back sys­tems or s!tereo vi­deo en­do­sco­py in re­s­pon­se to tho­se de­fi­cits, mi­ni­mal­ly in­va­si­ve sur­ge­ry is still far from achie­ving the di­rect vi­sua­liza­t­i­on ad­van­ta­ge of open sur­ge­ry.

In or­der to tack­le that pro­blem the pa­per will pre­sent and eva­lua­te cur­rent ap­proa­ches from me­di­cal aug­men­ted rea­li­ty and com­pu­ter vi­si­on re­se­ar­ch that pro­mi­se to clo­se this vi­sual gap by dis­play­ing the ope­ra­ting field from the surgeon’s per­spec­tive. It will ad­dress the me­thods and dis­cuss the pro­blems that go along with the goal to eli­mi­na­te the dis­pa­ri­ty bet­ween vi­si­on and vi­sua­liza­t­i­on by aug­men­ting the point of view with vi­sual images. The pa­per ar­gues that the im­ple­men­ta­ti­on of aug­men­ted rea­li­ty into me­di­cal the­ra­py cor­re­sponds to a form of ico­nic know­led­ge that re­pres­ents a key task for the me­di­cal hu­ma­nities.

Automated killing and mediated caring

Symposium „Machine Ethics in the Context of Medical and Care Agents“, Annual con­ven­tion of the Soci­ety for the Study of Arti­fi­cial Intel­li­gence and the Sim­u­la­tion of Behav­iour. Goldsmiths College London, Apr 4, 2014 (with Kathrin Friedrich)

Robot-based in­ter­ven­ti­on in cli­ni­cal con­texts es­ta­blis­hes new forms of col­la­bo­ra­ti­on bet­ween phy­si­ci­ans and me­di­cal agents. In par­ti­cu­lar, image-guided ro­botic in­ter­ven­ti­on such as ra­dia­ti­on can­cer the­ra­py re­li­es on co­ope­ra­ti­on bet­ween hu­man and ro­botic ac­tors. This set­ting com­pri­ses an epis­te­mic and a prag­ma­tic di­lem­ma: if the tools and de­vices in­crea­sin­gly shape, im­pact and go­vern me­di­cal de­ci­si­ons and ac­tions, how do we de­scri­be this form of hy­brid agen­cy? What are the im­pli­ca­ti­ons for me­di­cal prac­tice if ro­bots and non-embodied ar­ti­fi­ci­al ope­ra­tors gain aut­hor­ship and au­to­no­my from their hu­man coun­ter­parts? The pa­per will dis­cuss how the kill-chain in ra­dia­ti­on the­ra­py re­li­es on black bo­xing its func­tions and po­litics through vi­sual sur­faces by com­pa­ring it to the me­dia­ting role of vi­sua­liza­t­i­on tech­no­lo­gy in re­mo­te war­fa­re. It ar­gues that the re­fe­ren­ce to the au­to­no­my of wea­pon sys­tems could help es­ta­blish ethi­cal gui­de­li­nes for the me­di­cal field that would com­ple­ment the de­mand for an ap­p­lied ico­nic know­led­ge in cli­ni­cal en­vi­ron­ments.

Bildbasierte Operationsraumarchitekturen

Workshop „Imaging and Intervention“. Exzellenzcluster Bild Wissen Gestaltung, Humboldt Universität zu Berlin, Feb 7, 2014

Die räum­li­che Integration und Anordnung, die Architektur von Bildschirmen im Operationsraum, glie­dert die Handlungsabläufe und de­fi­niert dem­entspre­chend den ärzt­li­chen Eingriff im­mer auch als me­dial ver­mit­tel­te Bildoperation. Der Vortrag un­ter­sucht wie  Wahrnehmungssituation im OP ge­stal­tet wer­den, um Bild und Handlung auf­ein­an­der ab­zu­stim­men? Dabei soll her­aus­ge­ar­bei­tet wer­den, ob und in­wie­weit sich me­di­zi­ni­sche Diagnostik und Therapie da­bei struk­tu­rell ver­än­dern – und zwar so­wohl in tech­ni­scher Hinsicht, also be­zo­gen auf die me­dia­len Produktionsbedingungen, als auch be­zo­gen auf das da­mit ver­bun­de­ne an­wen­dungs­be­zo­ge­ne, ope­ra­ti­ve Bildwissen.