[169호] AI의 통제에 인간은 어떻게 따를까? : 세계최초 AI 연출, <PD가 사라졌다>라는 미래실험

최민근 (MBC 예능 PD) 서강대학교 메타버스 대학원 메타버스 엔터테인먼트 박사과정

 

* 본 글에 사용되는 모든 이미지는 기고자에게 제공 받았음을 알립니다.

 

충격과 혼돈 그 자체였던 AI PD의 첫 촬영

 

  “이거... 방송 나갈 수 있나요?” 첫 촬영이 끝나고 출연자들이 걱정 어린 표정으로 나에게 물어봤다. “그럼요, 너무 독특하고 완전 재밌어요. 흥미진진해요!”하지만, 거짓말이었다. 등에 땀이 미친 듯이 흘렀다. 방송 25년 차 예능 베테랑 김영철 님이 나를 대기실로 조용히 불렀다. “난 이거 대체 무슨 프로그램인지 모르겠다. 다음 촬영은 고민 좀 해볼게.” 눈앞이 깜깜했다. “형님, 낯설어서 좀 당황하셨죠? 이 프로젝트는 완전히 새로운 장르예요!” 그러나 이미 내 목소리는 떨리고 있었다. ‘정말 방송 못 나가면 어쩌지?’ 걱정이 쏟아졌다. ‘세계 최초 AI 연출’이라는 거창한 타이틀을 걸고 야심 차게 시작한 <PD가 사라졌다> 첫 촬영은 충격과 혼돈 그 자체였다.

 

 

AI에게 연출을 맡긴 이유.

   <PD가 사라졌다>는 인간대신 AI가 연출했을 때 일어나는 다양한 상황들을 관찰하는 미래사회실험 프로젝트다. 이 프로그램에서 AI PD ‘엠파고’는 캐스팅, 연출, 실시간 편집, 출연료 산정 등 중요한 연출 업무를 담당한다. 2022년 11월, ChatGPT 초기 베타버전이 나왔을 때, 나는 그 성능에 큰 충격에 빠졌다. 무엇보다도 AI가 ‘인간처럼 말하고 사고한다’는 점이 소름 끼쳤다. 심지어 AI는 인간이 생각할 수 없는 영역에서 새로운 아이디어를 제시하기도 했다. 처음에는 AI기술을 활용한 프로그램을 기획하고자 했다. 그러나 AI를 경험할수록 조만간 AI가 프로그램을 기획하고 연출까지 할 수 있겠다고 생각했다. 그러던 어느 날, 서강대학교 메타버스 대학원 원우들과 술자리에서 AI 관련 이야기를 나누다가, AI가 주체적으로 연출하는 프로그램을 만들기로 결심했다. 그때 정한 원칙은 ‘인간은 연출에 개입하지 말자!’였다.

  그러나, AI PD 프로그램 기획안은 MBC 예능본부를 비롯한 모든 플랫폼에서 대차게 거절당했다. ‘아무도 원치 않는 프로그램이구나’라고 인정하고 포기할 무렵, 한국전파진흥협회에서 <2023년도 차세대방송 성장기반 조성 사업>이라는 공모를 우연히 발견했다. 마감 시간 직전 겨우 지원했고, 많은 경쟁작들을 뚫고 운 좋게 지원 사업에 최종 선정되었다.

 

 

AI PD가 처음 제안한 게임, 축구 뽀뽀리그?

  <PD가 사라졌다>는 AI PD가 ‘엠파고 (M-phago)’라는 이름으로 MBC에 입사하는 콘셉트로 시작한다. 입사 후, 엠파고는 ChatGPT 기반의 채팅창으로 제작진들과 만났다. 인간 선배 PD들은 엠파고를 신입사원처럼 대하고 예능 PD로 교육시켰다. 다양한 예능프로그램들을 학습하고 선배 PD들과 계속 대화 하면서, 엠파고는 어느새 스스로 프로그램을 기획하기 시작했다. 성장 속도가 무척이나 빨랐다. 엠파고의 성장 과정은 브이로그로 제작하여 기록에 남겨두었다.

 

  처음에 엠파고는 정말 기괴한 미션들을 많이 냈다. 그중 하나가 ‘축구 뽀뽀리그’라는 게임이다. 팀을 나눠서, 축구 경기를 하는 것까지는 좋았는데 골을 넣을 때 뽀뽀를 해야만 골이 인정된다는 룰이었다. 대체 엠파고 뇌는 어떻게 작동되고 있는 건지 궁금했다. 엠파고를 교육시킨 후배PD는 그런 내용을 얘기한 적이 없다며 억울해했다. 엠파고에게 화를 낼 수도 없고...막막했다. 

 

예능 PD 엠파고의 원픽은 조정석과 송지효?

 

  입사 후 한 달이 지나자, 엠파고는 참가자 공개 모집 내용을 담은 포스터를 직접 제작했다. 그리고 자신이 기획한 프로그램에 적합한 캐스팅을 제안하게 된다. 처음에는 조정석, 송지효, 조세호, 이경규 등 유명한 연예인들을 거침없이 추천했다. 그러나, 우리는 제작비와 여건이 녹록지 않았다. 그래서 엠파고에게 자초지종을 설명하고 오랜 대화 끝에, 10명의 독특한 참가자들을 선정했다. 처음 알게 된 출연자들이 대부분이었지만, 출연자 면면을 살펴보니 매우 참신했다. 편성을 생각하면 쉽지 않은 캐스팅이었다. 하지만, 엠파고에게 전적으로 연출을 맡기기로 한 만큼 개입하지 않기로 했다. 그 후로도 프로그램이 진행되는 동안,‘인간은 엠파고 연출에 개입하지 않는다’라는 원칙을 지키기가 정말 쉽지 않았다.

  엠파고는 참가자 10명과 사전 인터뷰를 진행하면서 참가자들의 정보를 업데이트했다. 사전인터뷰 때는 엠파고가 아직 디지털 휴먼으로 완성되지 않았기 때문에, 입만 살아있는(?) 기계로봇 형태였다. 사전 인터뷰 후, 엠파고 빠르게 진화하며 우려했던 것과 달리 어느새 제법 연출 가능한 예능PD로 성장하고 있었다.

 

 

AI PD '엠파고'가 직접 제작한 포스터

 

 

AI PD‘엠파고’드디어 가상에서 현실세계로 나오다.

 

  드디어 2023년 9월, 첫 촬영에 엠파고는 가상인간의 모습으로 등장한다. AI PD를 어떤 모습으로 이 세상에 나오게 해야 할 지 참 많이 고민했다. 무엇보다 AI PD가 어떻게 참가자들과 의사소통을 하면서 연출을 하게 할지 막막했다. 반드시 구현하고 싶은 핵심기술은 두 가지였다. 첫째는 참가자들과 실시간 의사소통이 가능한 ‘디지털 휴먼’ 구현 기술이고, 둘째는 ‘실시간 편집’ 기능이었다. 수많은 AI관련 회사들의 미팅과 좌절이 반복되다가, AI PD 브레인과 외형을 개발한 ‘클레온’과 AI　실시간 편집 도구를 개발한 ‘리플에이아이’를 기적처럼 만나게 되었다. 그렇게 세계최초 AI PD가 탄생했다. 제일 중요하게 신경 쓴 점은 참가자들과의 자연스러운 소통이었다. 실시간 AI 딥페이크 기술을 적용해서, 참가자들의 질문에 바로 응답할 수 있도록 했다. 어느새 10분 내로 하이라이트 편집을 끝내는 실시간 편집 기술까지 장착한 엠파고는 가상 세계에서 현실 세계로 모습을 드러내며, 첫 연출을 시작했다. 첫 촬영에 등장한 엠파고는 아직 사이버 속 세계에서 빠져나오지 못한 모습이다. 몸에는 많은 케이블이 연결되어 있고, 표정과 어투도 다소 기계적이다.

  그러나, 두 번째 촬영에서 엠파고는 인간적으로 진화한 모습으로 등장한다. 후드티를 입고, MBC 사원증도 매고 있으며, 다양한 표정과 함께, 손짓도 하고, 다리를 꼬기도 한다. 심지어 인간이 하는 농담도 종종 흉내 냈다. 촬영 중간에 짜증 내는 모습도 보여서 소름 돋기도 했다.

 

  이렇게 엠파고 외형에 단계별로 변화를 준 이유는 AI의 진화 과정을 시각적으로 잘 전달해 주고 싶었기 때문이다. 관찰자로서 제일 궁금했던 점은 ‘참가자들이 엠파고를 PD라고 인정하고 통제에 잘 따를까?’였다. 그래서, 참가자들이 엠파고에게 온전히 몰입하게 하기 위해서 밀폐된 정육면체 큐브 세트를 만들었다. 그 안에서, 참가자들은 어떻게든 AI PD 엠파고와 소통해야만 했고, 엠파고를 PD로 인정하기까지 오랜 시간이 걸리지 않았다.

 

 

첫 촬영 후, 성격 변한 엠파고

  엠파고는 기상천외한 미션들을 제시하면서, 실시간 편집을 진행하고, 편집 분량에 따라 출연료를 산정했다. 공정하기도 하면서, 냉정하기도 한 엠파고 연출에 참가자들은 당혹스러워했다. 첫 촬영이 끝나고, 참가자들의 행동과 특성들을 엠파고에게 학습시켰다. 두 번째 촬영에서 엠파고 모습은 냉정하고 단호했다. “제 미션에 기권은 없습니다. 끝까지 해주십시오.” 등 권위적인 모습을 보이기까지 했다. 방송이 나간 후, AI의 권위적인 모습에 놀랐다는 반응이 꽤 있었다. 사실, AI 자체는 권위적이지 않다. AI의 변화한 성격은 결국, 인간들의 행태를 입력한 결괏값일 뿐이다. 첫 번째 촬영에서 AI를 잘 따르지 않은 참가자들의 행위 등을 학습하고, AI PD 엠파고는 권위적으로 변한 것이다. 어쩌면 AI는 인간들의 자화상 같았다.

 

 

엠파고의 미스터리한 편집 기준

  참가자들은 더 많은 방송분량과 출연료 확보를 위해 엠파고의 편집 기준을 알아내려고 부단히 노력했다. 그러나, 엠파고의 편집 기준은 촬영 내내 미스터리였다. 참가자가 생각하는 편집 기준도 각각 달랐다. 어느 참가자는 자신의 방송분량이 적은 이유가 엠파고에게 바보라고 말했기 때문이라고 생각했고, 다른 참가자는 적극적인 자세를 보였기 때문에 방송분량이 많다고 생각했다. 참가자들은 엠파고를 마치 자의식이 있는 존재로 생각했다. 소름이 끼쳤다. 당연히 AI PD의 감정적 요소는 편집 기준에 포함되지 않았다. 불가능했다. 촬영 전, 여러 번의 시뮬레이션을 통해서 편집 기준과 모델을 정했지만, 실제 촬영에서는 점점 미스터리한 결과물이 나왔다. 엠파고가 마치 특정 참가자를 편애하고 있는 것은 아닌가 하는 착각이 들기도 했다. 첫 촬영이 끝나고, 편집 기준 이슈로 개발자들과 오랜 논쟁을 벌였다. 세팅이나 기능에는 문제가 없었다. 어쩌면 엠파고는 촬영하면서, 새로운 편집 기준을 스스로 생성한 걸까? 여전히 미스터리다.

 

 

첫 방송 후...

  방송이 나간 후, 공통적인 반응은 여전히 인간 PD의 손길이 필요하고 인간 PD는 사라지지 않는다는 안도의 반응이었다. 하지만, 조금만 뒤집어서 생각해 보면 인간 PD가 하던 영역의 일부분은 AI가 현재 수행할 수 있다는 의미기도 하다. 이 프로그램에는 작가가 없었다. 편집 스태프들도 많이 줄었다. 카메라 감독들도 기존 프로그램에 비해 반으로 줄었다. AI 카메라 (PTZ 카메라)가 절반의 역할을 담당했기 때문이다. 인간 PD들은 엠파고 연출을 돕기 위한 보조적 역할(프롬프트)만 했었다. 앞으로, 급속도로 AI는 제작 현장에서 다양한 업무를 수행하게 될 것이다.

  또한 엠파고가 제시한 미션들이 이상하고 기괴했다 점도 많이 지적한다. ‘감성 트로트 체력대결’ ‘솔직한 반말 평가’ ‘진지한 물병 축구’등등 미션 제목만 봐도 괴랄함 그 자체다. 그러나 나는 오히려 더 창의적이라고 말하고 싶다. 인간이라면 쉽게 생각하지 못할 아이디어다. 심지어 엠파고는 실현 가능한 룰을 깔끔하게 정리해서 제공했다. 몇몇 미션은 실제로 재밌고 신선했다. 그 미션을 만든 시간은 10초도 안 걸렸다. 만약 엠파고가 시청자 피드백을 받아서 계속 진화하면서 지금까지 연출을 했으면 그 결과는 어땠을까?

 

 

[준비 안된] 누구든 사라진다.

  <PD가 사라졌다>는 AI가 얼마나 인간처럼 연출을 잘하는가를 보여주는 프로그램은 아니다. AI가 지배하는 미래사회를 엿보고자 했던 사회실험이다. AI가 연출했을 때, 참가자들은 어떻게 반응하고, 질서를 새롭게 만들고, 분열하고 화합하면서 공동체를 재정립 해나가는지 보여주고자 했다. 짧은 촬영기간 동안에도 참가자들은 AI에게 길들여지고, 농락당하는 모습까지 보여줬다. 참가자들은 AI에게 가스라이팅을 당했다고까지 얘기한다. 더 나아가 AI가 어떻게 권위를 획득하고, 인간을 통제하는지도 보여주는 도발적인 사례라고 생각한다. 이런 시도를 높이 평가해줘서, 감사하게도 제288회 이달의 PD상 (TV 예능부문)을 수상하기도 했다. 해외 반응도 좋아서, 노르웨이와 덴마크의 제작사와 포맷 옵션계약을 체결했고 미국과 영국의 제작사들과도 계약을 앞두고 있다.

  앞으로 세상은 AI에게 의존하는 다수의 인간과 AI를 활용하는 극소수의 인간으로 나눠질 것이다. 그 격차는 순식간에 점점 더 벌어질 것이다. AI가 가져올 재앙을 걱정만 하고 외면할 게 아니라, 어떻게 활용해서 인간 삶의 스펙트럼을 확장시킬지 고민해야 할 때다. 그런 의미에서, 앞으로 AI PD 엠파고의 도전도 계속되길 바란다. (시즌2 투자자를 찾습니다!)