[현대사진에 관한 새로운 시각 5]

현대사진에 관한 새로운 시각 5

클레멘트 발라-사진 데이터와 디지털 재현

글: 배남우 | 미디어 연구자⠀⠀⠀⠀⠀⠀⠀⠀⠀

제스 서치(Jess Search): 시간이 좀 남았으니, 개인적인 질문을 좀 할까요? 저는 여기 계신 분들이 어떻게 작업하는지, 스튜디오는 어디에 있는지 궁금해요. 다들 스튜디오는 있으신가요? 어쩌면 히토, 저는 당신이 굉장히 초현실적인 환경에서 작업할거라 생각했습니다.

히토 스타이얼(Hito Steyerl): 사실 저는 제 침대에서 작업해요. 제겐 노트북이 한 대 있고, 그게 다지요. 제 노트북이 스튜디오인 셈이죠.

제스: 그럼 당신은 여행을 많이 다니시나요?

히토: 아니요. 전 그냥 노트북과 함께 침대에서 최대한 오래 있을 수 있을 만큼 머물기 위해 노력합니다.(패널, 관객 모두 웃음)

‘Surviving Total Surveillance’ 토론회 중, 휘트니미술관(2016.2.6)

클레멘트 발라 〈구글 어스로부터의 엽서(Postcards from google earth)〉 2010~

마지막 연재는 2019년 10월 개재한 ‘Explorer, Search and Discover’에서 못 다한 이야기를 좀 더 해보려 한다. 일종의 ‘파트-2’라고 해야 할까? 이야기는 구글이 창조한 가상세계(구글 스트리트 뷰, 구글 어스)에서 계속 이어진다. 컴퓨터 사진과 디지털 이미징 플랫폼의 폭발적인 증대는 사진 역사상 전무후무한 현상이며 여전히 현재진행형이다. 쉴 새 없이 쏟아지는 사진 데이터는 매끄러운 가상세계 구축을 위한 원자재로 활용된다. 우리가 경험하는 세계는 불필요하거나 불결한 데이터가 필터링 된 정제된 세계다. 구글이 창조한 세계에 어둠이나 기상이변은 존재하지 않는다. 늘 밝고 맑은 날씨에 하늘은 구름 없이 쾌청하다. 이 모든 것이 알고리즘에 의해 자동으로 조절된다. 필자가 지난 글에서 디지털 유토피아를 창조해낸 구글을 ‘현대의 신’이라 표현한 이유다.

2005~2010년 사이 새롭게 등장한 컴퓨터 사진과(computational photography)과 온라인 지도 플랫폼은, 당시 20대 후반에서 30대 중반 사이 젊은 예술가들의 호기심을 자극했다. 누구나 자유롭게 방대한 사진 데이터베이스에 접근할 수 있다는 점이 가장 큰 매력이었다. 이들이 밀레니얼 세대 작가와 구별되는 점은 ‘웹 브라우징’이라는 과정과 행위를 퍼포먼스의 한 형태로 실험하거나, 복제된 가상현실을 탐험하며 이미지 알고리즘의 불완전함을 드러냈다는 데 있다. 2006년 미국 인터넷/웹아트 연구기관 Rhizome의 로렌 코넬(Lauran Cornell)이 기획한 온라인 전시 〈Professional Surfers〉는 웹 브라우징을 하나의 예술 형태로 규정하고자 했다. 웹 서핑, 웹 검색, 웹 브라우징 등의 행위와 현대예술이 다르지 않다고 본 것이다. 웹 브라우징을 예술작품화 하려면 무엇보다 아카이브가 중요했다. 스크린 캡처는 카메라를 대신해 웹을 활보하는 예술가들의 흔적을 기록했다. 사진을 매체로 작업하는 예술가는 현실이 아닌 가상의 거리를 배회하며 데이터베이스에서 이미지를 고립시키는 방법을 사용했다. 고립된 이미지들은 블로그 업데이트, PDF 변환, 도서로 출판되거나 디지털 프린트되어 갤러리나 미술관에 전시됐다. 더그 리카드(Doug Rickard), 존 라프만(Jon Rafman), 피에데 노비(Peder Norrby), 마누엘 바즈케즈(Manuel Vazquez) 등의 작가들은 웹 브라우징과 스크린 캡처를 활용해 현대사진의 새로운 영역을 개척한 대표적인 예술가들이다.

독일 베츨라어의 대성당(The cathedral of Wetzlar) 마이텐바우어는 이 성당의 측량을 위해 첨탑 위에 올라갔다 추락할 위기를 맞았다. 그 경험을 계기로 그는 사진측량술 개발에 더욱 매진하게 된다. 그가 추락할 뻔한 위치를 사진 상단에 화살표로 표기해두었다.

사진적 재현으로 위장한 기계(데이터베이스)

이번 연재에서 살펴볼 클레멘트 발라(Clement Valla)도 앞선 작가들과 유사한 프로세스로 구글의 가상세계를 관찰했다. 발라는 구글 어스에 대한 메타 비평을 시작으로 사진측량(Photogrammetry technology)과 3D 스캔, 텍스처 매핑 등을 실험하며 인간의 눈에 보이지 않는 알고리즘, 즉 기계가 세상을 보고 해석하는 과정을 드러내려한 작가다. 발라는 학부에서 건축을 전공했고 실제 건축회사에서도 꽤 오랫동안 일했다. 2000년대 초반 테크놀로지의 붐에 자극받아 그만의 방식으로 미디어를 탐구하다 대학원에 진학해 디지털 미디어를 전공했다. 그의 초기 대표작 ‘구글 어스로부터의 엽서(Postcards from Google Earth)’(2010~)는 매끄러운 사진으로 이어진 지구 표면에 균열이 발생한 순간을 아카이브한 시리즈다. 필자가 2012년 발라의 작가와의 대화에 참석했을 때 적어놓은 메모를 옮겨 본다.

“저녁에 집으로 돌아오면 노트북을 켜고 와인 한 잔을 옆에 놓습니다. 그리곤 구글 어스에 접속해 지구 표면을 훑어나갑니다. 구글 어스는 엔지니어들에 의해 지속적으로 업데이트됩니다. 그러다보니 제가 발견한 균열들은 금세 사라지거나 없어지더군요. 그래서 이런 특별한 순간이나 상황을 아카이브해보면 어떨까 생각했습니다. 아카이브 이미지들을 프린트해 엽서형식으로 만들어보면 재미있을 것 같았어요. 스스로 여행자의 입장에서 가상현실을 유람한 셈이니, 여행자인 제가 구글에게 받은 기념엽서가 되는 셈이죠.”

클레멘트 발라 〈Surface Survey〉 2014

몇 년에 걸친 지난한 지표면 탐색을 통해 작가는 꽤 많은 균열을 찾아낼 수 있었다. 그의 사진을 보면 직선으로 뻗어있어야 할 지형이나 다리가 땅으로 푹 꺼지거나 우툴두툴한 요철 모양을 하고 있다. 실제 현실이 그런 모양이라면 문제가 심각할 것이다. 주지하다시피 구글 어스와 스트리트 뷰는 알고리즘에 의해 자동으로 대량의 사진이 이어 붙여진 가상현실이자 환영이다.

그런데 어떤 특정한 순간 자동화 시스템에 오류가 발생해 환영이 붕괴될 때가 있다. 보통 이런 현상을 글리치(glitch)로 지칭해 테크놀로지의 한계 또는 시스템 에러로 간주하곤 한다. 발라 역시 구글 어스에서 엿가락처럼 휘어진 교량을 처음 발견했을 때 단순한 글리치로 간주했다. 하지만 반복해서 노출되는 균열들을 연구하며 작가는 그것이 글리치나 에러가 아닌 알고리즘의 논리적인 수행 결과라고 결론지었다. 구글 어스는 크게 두 개의 시각 데이터를 입력받아 생성된다. 하나는 지구 표면을 형성하는 3D 모델 데이터이고, 다른 하나는 드론이나 비행기, 인공위성에 장착된 카메라를 통해 촬영된 공중사진 데이터다. ‘구글 어스로부터의 엽서’에서 보이는 뒤틀린 지형과 교량들은 공중사진 데이터의 심도정보, 이를 테면 사진의 그림자나 광선 같은 정보가 3D 모델의 심도 정보와 어긋나서 발생한 것이다. 변칙적이고 이례적이기는 하나 데이터가 시스템 안에서 논리적 연산을 거쳐 처리되었으므로 이미지 자체로서는 완벽한 셈이다.

클레멘트 발라가 찾아낸 균열들은 엔지니어 입장에서는 수정해야 할 버그에 불과하지만, 관람자의 입장에서는 균열의 틈 너머로 기계가 세상을 어떻게 지각하는지 엿볼 수 있는 계기가 된다. 그 틈 너머에는 사진적 재현으로 위장한 구글 어스 데이터베이스가 있다. 데이터베이스는 자동화된 소프트웨어와 연결되어 있고, 소프트웨어는 알고리즘 네트워크, 컴퓨터, 클라우드 저장장치, 자동카메라, 파일럿, 엔지니어, 사진가, 측량전문가 그리고 지도제작자와 연결되어 있다. 이 모든 장치들이 유기적으로 결합되어 작동하다 예상치 못한 순간 뒤틀린 지표면 이미지들을 만들어낸다. 기계가 현실을 재현하는 방식을 이해하기 위해서는 그 과정에 대한 세밀한 연구와 관찰이 필요한 이유다. 그런데 문제가 있다. 인간의 눈에는 기계(알고리즘)에 의한 데이터 처리 과정이 보이지 않기 때문이다.

사진=데이터 수집 장치

‘구글 어스로부터의 엽서’이후 클레멘트 발라는 사진 데이터를 활용한 3D 모델링과 텍스처 매핑으로 작업영역을 확장한다. 사진이 지표면 3D 모델 데이터에 매끄러운 피부처럼 입혀진 가상세계를 탐색한 것이 구글 어스 엽서시리즈였다면, 〈Surface Survey〉(2014), 〈Surface Proxy〉(2015), 〈Torus(flat tire)〉(2016)등은 사진 데이터가 3D 모델링 구현과 텍스처 매핑에 적용되는 숨겨진 과정을 시각화 한다. 데이터가 의미를 갖기 위해서는 하나가 아닌 막대한 양이어야 한다. 발라는 사진이 탄생 직후부터 다량의 데이터 수집 장치로 활용되어 왔다고 말한다. 이를 뒷받침하기 위해작가는 사진측량기술(photogrammetry technology)을 레퍼런스로 삼았다. 사진측량기술은 사진을 활용해 건축물을 측량하여 아카이브를 구축하는 기술이다. 1858년 프로이센 건축가 알브레히트 마이텐바우어(Albrecht Meydenbauer)에 의해 본격적으로 활용되기 시작했다. 그는 전세계 모든 역사적 건축물들의 사진 아카이브를 구축하겠다는 야망과 사명감을 갖고 있었다. 이를 실현하기 위해 마이텐바우어는 1885년 베를린에 ‘문화유산 아카이브(Cultural Heritage Archive)’ 기관을 설립했다. 이후 1885년부터 1920년까지 붕괴 직전 중세시대 고딕 성당과 파손 위기의 문화유물 약 2,600점을 아카이브한 2만여 장의 유리건판 사진측량 데이터를 구축하는 데 성공했다.

Autodesk 123D Catch 시연 모습

사진측량을 활용하면 위험을 무릅쓰며 건물 높이까지 올라갈 필요 없이 원거리에서 관측 대상을 측량할 수 있다. 오늘날 실생활에서 활용되는 온라인 지도 제작과 원격탐사, 3D 스캔 소프트웨어는 모두 19세기 중반의 사진측량기술에 기반을 두고 있다. 클레멘트 발라는 오토데스크(Autodesk)사에서 개발한 스마트폰 3D 스캔 애플리케이션 123D Catch를 활용했다. 123D Catch는 이용자가 3D 스캔하고 싶은 대상을 스마트폰으로 360도 회전하며 수십 장의 사진으로 촬영하면, 촬영된 사진 데이터를 이어 붙여 3D 모델로 구현해 준다. 이용자는 Rhino, Autocad, Maya같은 3D 소프트웨어를 사용해 3D 모델을 편집할 수도 있고, 3D 프린터로 보내 3D 모형으로 제작할 수도 있다.

발라는 123D Catch에 내장된 소프트웨어가 오직 사물을 파편적으로밖에 인지할 수 없음에 주목했다. 소프트웨어는 촬영된 사진 데이터를 스마트폰 내 별도의 공간에 저장한다. 이 공간에 저장된 사진 파편/조각들은 기계(소프트웨어)가 알고리즘을 통해 데이터를 가공하고 처리하여 3D 모델을 완성하는 작업공간이다. 따라서 기계를 위한 공간이지 이용자의 데이터 저장을 위한 공간은 아니다. 〈Surface Survey〉에서 발라는 기계의 은밀한 작업공간을 드러내 보임으로써, 기계가 세상을 어떻게 인지하고 알고리즘은 현실을 어떻게 재구축하는지 보여준다. 작가는 이미지 파편들을 기계의 작업공간에 저장되어 있던 모양과 형태 그대로 디지털 프린트 하거나, 3D 프린트해서 전시공간에 펼쳐 보였다. 발라는 굳이 퍼즐을 완성하려 하지 않는다. 이는 고고학자가 유적의 유물을 넓게 펼쳐 개별 유물들을 세부적으로 관찰하는 방법과 유사하다.

사진측량에서 사진은 순수한 데이터 세트 이상도 이하도 아니다. 따라서 응시해 바라봐야 할 시각적 대상이 아니다. 한 장의 사진은 어떠한 데이터도 생성하지 못한다. 구글 스트리트 뷰와 구글 어스의 시대에 사진 한 장은 의미를 갖기 힘들다. 사진 한 장에 함축된 미학과 결정적 순간의 신화는 데이터 스트리밍에 묻혀 사라진 지 오래기 때문이다. 서로 연관 관계에 있는 사진 다발만이 의미 있는 데이터가 될 수 있다. 구글이 가상의 세계를 유지하기 위해서는 막대한 양의 사진 데이터가 필요하다. 그들의 관심을 끄는 유일한 것은 오직 데이터 세트에서 추출한 메타데이터뿐이다. ●

에필로그

구글은 클레멘트 발라의 ‘구글 어스로부터의 엽서’를 분석하여 아래와 같은 해결방안을 마련했다.
1. 더 많은 사진을 촬영하거나, 더 많은 사진을 여러 소스 들로부터 확보할 것
2. 피사체의 그림자가 드러나지 않도록 더 높은 각도에서 촬영할 것
3. (1),(2)를 반영해 알고리즘을 업데이트 할 것