인공 지능 활용기-작가편

예술 창작 과정의 일부로 자리잡은 인공지능. 실제 작품 창제작에서 인공지능은 어떻게 활용되고 있을까? 반재하, 노상호 두 작가의 인공지능 활용기를 통해 인공지능이 작품의 제작 과정을 실제로 어떻게 변화시키고 있는지 그 양상을 살펴보자.

---

반재하–바이브 코딩으로 새로운 협업자가 된 AI

자칭 ‘바이브 코딩 중독자’ 반재하. 그는 작업의 많은 부분을 AI로 직접 한다고 말한다. 구조적 취약점을 찾는 데 도움을 받고, 인터렉티브 작업을 위한 웹 3.0 프로그래밍을 전문 프로그래머 없이 직접 구현한다. 작품의 구상과 구조 설계, 현장 인터뷰나 자료 조사 등 여전히 작가로서 자신이 결정해야 하는 일은 그대로다. 〈정산 없는 시장〉(2025) 제작 과정에서 인공지능이 어떻게 새로운 협업자가 되었는지 물었다.

 반재하는 〈정산 없는 시장〉을 AI 기반 코드 에디터 ‘커서’를 활용한 바이브 코딩으로 구현했다

Q 작품 제작 과정에서 AI을 어떻게 사용했나?
〈정산 없는 시장〉은 내가 처음부터 끝까지 바이브 코딩으로 만들었다. 작품의 구상 단계에서 리서치는 기존의 방식대로 진행했다. DMZ 토지 거래 중개·분양 실무자나 소유주 사전 인터뷰를 진행하고, 관련 뉴스나 문헌 자료를 모았다. 우리나라 금융 시장의 투기 흐름이 풍수지리나 사주 같은 민속적 요소와 결합되는 지점이 재밌어 보였다. 그래서 ‘DMZ 부동산 지표를 종합해 시장의 변화를 시각화하고, 관람객이 자신의 투자성향과 생년월일을 입력하면 사주에 따라 적합한 물건을 추천해주는 시스템’을 만들기로 했다. 구조 짤 때는 챗GPT의 도움을 받았다. 작품의 내적 논리와 시스템을 설계하는 단계다. 잘 모르는 금융 시장이나 부동산 시장 기초 공부, 인터뷰 검증, 어떤 주장이 논리적으로 맞는지 등을 챗GPT와의 대화를 통해 점검했다.

Q 챗GPT를 100% 신뢰할 수 있다고 보나?
할 수가 없다. 공개되지 않은 데이터가 워낙 많다 보니 실제 데이터와 교차 검증하는 과정이 필수적이다. 예를 들어 지도 데이터에서 접경지역의 행정구역을 설정할 때 엉뚱한 지역을 포함시키거나 필수적인 곳이 빠지는 경우가 많았다. 매번 실제 정보와 대조해야만 했다.

커서의 ‘에이전트’ 기능은 사용자가 원하는 내용을 대화창에 입력하면 알아서 코드를 수정한다

Q 관객이 실제로 토지를 추천받는 시스템을 어떻게 혼자 구현할 수 있었나?
바이브 코딩은 커서(Cursor)라는 툴을 썼다. 내가 쓴 코드는 한 줄도 없었다. 커서는 내가 파일이나 폴더 하나 만들지 않고도 명령어 창에 원하는 기능을 정확하게 묘사하는 것만으로 코딩과 실행이 가능한 에이전트다. 에러가 발생하면 그냥 에러창을 캡쳐해서 올리면 문제를 찾아주고, 원하는 대로 기능이 구현되지 않았을 때도 물어보기만 하면 알아서 문제를 해결한다.

Q 작품의 구상과 구현의 전반적인 부분에서 새로운 협업자가 생겼다고 할 수 있을 것 같다.
밤 12시에 아이디어가 떠올라도 편하게 논의할 수 있는 협업 도구다. 기존의 인간 협업자를 대체하고 있다고도 말할 수 있겠다. 그렇지만 여전히 인간 협업자들이 주는 피드백은 인공지능과 질적으로 완전히 다르다. 아직 인공지능은 내가 못하는 실무적이고 기술적인 일을 해결하는 도구에 가깝긴 하다. 덕분에 단순 작업에 드는 시간이 획기적으로 줄었다.

반재하 〈정산 없는 시장〉 9채널 실시간 데이터 수집 및 처리 시스템 가변 크기 2025
사진: 노유진 제공: 작가

Q 바이브 코딩에 주의해야 할 점이 있다면?
구현하고자 하는 기능을 세분화해서 하나씩 하나씩 만들고 나중에 조합해야 원활하게 프로그래밍할 수 있다. ‘DMZ 공시지가를 내놔’가 아니라 ‘DMZ는 여기야. 근데 DMZ는 행정구역이 아니야. 내가 행정구역 API로 연결할 테니까 네가 데이터 추출 좀 해줘’ 이런 식이다. ‘잡도리’를 해야 제대로 일을 한다.

Q 작업 프로세스 자체가 변화하진 않은 것 같다.
크게 봤을 때 전체적인 프로세스가 바뀐 건 아니다. 리서치 과정의 경우에는 여전히 많은 공을 들이고 있다. 관객 경험 설계도 여전히 나의 일이다. 인터페이스를 만들고, 시각적인 마감을 정돈하고, 크기와 형태, 색깔을 정하는 일은 직접 하고 있다. 도구가 아무리 똑똑해져도, 무엇을 만들지 결정하고 그것이 왜 의미 있는지 판단하는 일은 여전히 사람의 몫이다.

---

노상호–새로운 붓과 물감으로서의 AI

노상호는 AI가 미래에 창작의 주체로 인간에게 ‘승인’받더라도, AI가 더 좋은 작품을 만들어낸다고 해도, 본인이 창작을 멈추는 일은 없을 거라 말했다. 작업을 하고 싶은 욕망이 사라지지 않을 것이기 때문이라는 게 그의 설명. 학교나 ‘스튜디오 파이’ 같은 교육 공간에서 만나는 작가 지망생들에게 어떤 말을 해야 할지 고민이 많다는 그에게 〈HOLY〉(2024)를 비롯한 최근의 회화 작업에 인공지능을 어떤 방식으로 활용하고 있는지 물었다.

미드저니를 통해 생성한 이미지로 에스키스를 만드는 노상호.
그는 미드저니로 생성된 이미지를 인공지능에게 다시 묘사하도록 하는 과정에서 발생하는 인간 관점에서의 오류에 흥미를 느낀다

Q 인공지능이 생성한 이미지를 회화 전면으로 가져오게 된 계기가 있다면?
SNS에서 알고리즘을 통해 많이 보이는 이미지를 수집하기 때문에 자연스럽게 생성형 AI가 만들어낸 이미지들을 접하게 되었다. 많이 보이는 것이 ‘왜’ 많이 보이는지에 대해 늘 고민하는 편이기 때문에, 생성형 AI를 사용해 보기도 하고 다른 사람들이 만들어낸 이미지를 수집하기도 했다. 드로잉을 하며 고민하다가 내가 관심이 있는 것이 생성형 AI에서 ‘글리치’ 즉 ‘오류’가 난 이미지들이라는 것을 알게 되면서 회화 전면에 이것을 등장시키게 되었다. 물론 이것은 인간 관점에서의 오류다. AI는 자신이 오류를 생성해냈다고 사고하지 않는다. 오류라 불리는 이미지들이 우리가 아날로그 문법으로 디지털 세계를 바라보면서 생기는 간극이라는 생각이 들었고, 여기에 ‘홀리’라는 제목을 붙여 작업하게 되었다. 예를 들어 ‘불타는 눈사람’은 실제로 재현할 수 없는 이미지다. 반대로 AI로는 제작하기 매우 쉬운 이미지이다. 이런 이미지를 볼 때 나 자신이 아날로그와 디지털 세계를 오가며 살고 있다고 인지하기 때문에 흥미롭게 보는 것이라는 생각이 들어 작업하게 되었다.

Q 작업이 만들어지는 과정을 단계별로 설명한다면? 해당 단계에서는 어떤 툴을 사용하는가?
나는 AI에게 프롬프트를 입력하지 않는 것을 원칙으로 하고 있다. 대신 웹이나 SNS에서 수집한 이미지를 생성형 AI에 올리고 묘사(describe)를 요청한다. 이 글을 다시 프롬프트로 입력해 이미지를 생성시킨다. 이렇게 되면 처음 이미지와 유사한 이미지가 생성되는데, 그러면 다시 이 이미지를 생성형 AI에게 텍스트로 설명하도록 시킨다. 이 과정을 100번에서 200번 정도 반복하면 과정 중에 인간 관점에서 ‘오류’라고 불릴 만한 이미지가 생성된다. 예를 들어 ‘불타는 눈사람’ 또한 처음에는 눈사람 앞에서 아이들이 찍은 사진이었고, 이것을 계속 설명-이미지 생성하는 과정에서 ‘불타는 눈사람’이라는 오류가 생겼다. 이렇게 생성된 이미지를 에어브러시 회화로 작업한다.

노상호가 2022년 12월 9일에 이미지 생성 모델 달리(DALL-E)로 만든 이미지.
프롬프트는 다음과 같다.
“A man with an adult body and a skeleton face is riding on a white horse wearing a short sleeved T-shirt and jeans. Like a picture from the 80s.”
제공:작가

Q 에어브러시를 선택하게 된 계기도 궁금하다.
에어브러시는 붓보다 ‘간접적’이다. 내 신체가 캔버스에 한 번도 닿지 않은 채로 그림을 그리기 때문이다. 이것이 ‘디지털’적인 느낌을 내기에 적합하다고 느낀다. 포토샵에 아날로그 에어브러시를 재현한 기능이 있고, 이것으로 스케치, 도안을 그리는 사람들이 있다. 이렇게 만들어진 디지털 이미지를 다시 아날로그에서 재현할 때 다시 에어브러시를 사용한다는 점도 나를 흥미롭게 했다. 아날로그를 흉내낸 ‘에어브러시’이지만, 지금의 작가들은 이것을 뒤집어서 받아들이고 있기 때문이다. 마치 디지털이 원본이고 이것을 아날로그에서 재현하려는 것처럼 느껴졌고, 그게 내 작업 주제와도 연결된다고 생각해 적극적으로 사용하게 되었다. 작업 하며 알게 되었는데, 그렇다고 디지털 에어브러시 툴과 아날로그 에어브러시가 완벽히 동일하지는 않다. 디지털 에어브러시에서는 노즐값을 1에서 100까지 다양하게 사용할 수 있지만, 아날로그에서는 2~3가지의 노즐을 이용하여 손으로 누르는 힘을 조정하거나 앞뒤로 몸을 움직여가며 작업해야 하기 때문이다. ‘간접성’을 가지고 있으면서도 완벽히 ‘신체성’이 제거되지 않은 상태의 특이한 툴이기에, 아날로그와 디지털 사이의 감각을 보여주려는 내 작업과 잘 맞는다.

Q 인공지능 시대 이후 동시대 미술작가에게 가장 큰 변화는 무엇인가?
사회 전반에 인공지능을 사용하거나 그것들로 인한 생활의 변화가 나타나고 있기 때문에, 동시대 미술작가들이 당연히 주제 면에서 이러한 고민을 작업에 드러낼 것이다. 소수 기업의 기술 통제, 노동권, 통계로서의 AI에 대한 의문이나 인간 자신의 편견을 AI가 그대로 드러내는 것 등 말이다.

인공지능 시대 이후 동시대 미술작가에게 생긴 가장 큰 변화는 사람들이 자꾸 ‘AI가 나왔는데 작업을 계속 하시나요?’라고 물어본다는 것이다. 이런 질문을 받으면 ‘작가’라는 직업 자체에 대해 생각하게 된다. 작가는 ‘유망’하기 때문에, ‘대체되지 않기 때문에’ 하는 것일까? 그런 생각을 해본 적은 없는 것 같다. 나보다 그림을 잘 그리는 사람은 AI 말고도 수없이 많다. ‘어쩔 수 없이’ ‘그럼에도 불구하고’ 작업을 하는 것에 가까울 것이다. 이것은 AI가 인간을 대체하냐 마냐의 문제가 아니라 내가 ‘해야만 하기’ 때문에 하는 것이다. 그림을 그리며, 미술을 보며, 작업을 생각하며 세상에 대해 사고하고, 나 자신과 나의 세대를 고민하기 때문에 그림을, 작업을 하지 않을 수가 없는 것이다.

물론 작가를 키우는 교육 현장에선 큰 변화가 일어나고 있다. 리포트는 과제로 의미가 없어졌다. 특히 영상 제작이나 회화 작법에서 오히려 과거의 작법을 잘 가르쳐야 한다는 선생님이 많아지는 것 같다. 아무래도 생성형 AI 이전, 미술을 대학에서 몸으로 익히고 경험으로 체화했던 세대는 인간의 이미지 생성 방식을 알아야만 AI도 잘 쓸 수 있다고 생각하는 듯하다. 이제는 AI가 훨씬 빠르게 해주는 일임에도 말이다. 생성형 AI를 어린 시절부터 사용해 온 세대가 온다면 이러한 교습 방식도 변화하지 않을까?