딥페이크 해봤더니...너무 쉽고 그럴 듯해 무섭다

[善仙]

[C컷]

조인원 기자

너무 쉬워서 미래가 무서운 AI

딥페이크 기술로 바꾼 영화 장면, 영화 '첩혈쌍웅(1989)에서 매력적인 킬러로 연기한 주윤발의 얼굴을 기자의 얼굴로 바꿨다. /조인원 기자

AI 기술로 타인의 얼굴을 훔쳐와 합성하는 딥페이크(Deepfake) 뉴스가 쏟아지고 있어서 기자가 직접 해봤다. 지금 인공지능 기술의 발전 속도는 너무나 빠르다. 사람들이 정신 차리고 이걸 어디다 써야할까 고민하기 전에 다른 새 기술이 덮어버린다. AI로 사진 합성과 생성에 관한 실험을 해본 것이 불과 몇 달 전인데 딥러닝으로 가짜 영상을 만드는 기술은 이제 뉴스도 아니다. 누구나 할 수 있는 앱들- swapface, faceswapper, pika, facefusion 등등 이 이미 쏟아지고 있다.

최근에 소셜미디어 스냅챗을 사용해서 활용한 기자 얼굴 영상들. 얼굴에 마스크를 하는 앱 놀이터다. /조인원 기자

사진의 얼굴 바꾸기나 얼굴에 마스크를 입히는 앱은 이미 7, 8년 전부터 스냅챗이나 MSQRD 같은 가면놀이 어플리케이션을 통해 대중화되었다. 스냅챗은 국내보다 미국 청소년들 사이에서 한때 인기가 있던 소셜미디어로 일정 시간이 지나면 게시물이 사라지는 특징이 있다. MSQRD는 스마트폰에 얼굴을 비추면 그 위에 선글라스나 수염, 모자, 동물가면 등을 통해 놀이를 하는 어플이었는데 2016년에 페이스북이 인수하면서 서비스하지 않는다. 반면 스냅챗은 여전히 얼굴을 변형시키는 영상 기능을 업데이트하고 있다.

그러나 이 두 가지 앱은 카메라가 찍은 사진의 얼굴을 오려 붙여 영상에 레이어를 입히는 단순한 기능으로 딥러닝을 활용한 AI 영상과는 다르다. 다시 말해서 소셜미디어로 연결된 친구들이 변형된 모습을 보면 ‘심심한가? 놀고 있네’ 라는 헛웃음 정도의 장난으로 여긴다.

피카ai 홈페이지 공개 사용 사진으로 왼쪽 여성의 얼굴을 기자의 증명사진 얼굴로 바꿨다. 누구신지? /조인원 기자

그러면 딥러닝(Deep-learning) 기술로 만드는 가짜(fake)영상 즉 딥페이크는 어떨까? 우선 사진부터 보자. 많이 알려진 몇 개의 프로그램을 해보고 많은 사람들이 쉽게 쓰는 프리스와퍼(freeswapper)와 피카(pica ai)를 써보았다.

딥페이크 기술로 영화 울버린(왼쪽)과 헝거게임의 스노우(오른쪽) 모습 위에 기자의 증명사진 얼굴을 바꿨다. 피카 ai 사용/조인원 기자

사진과 영상은 각각 AI 홈페이지에 사용하도록 공개된 것이고 바꿀 얼굴은 기자의 얼굴을 사용했다. 사용한 기자의 사진들은 평범한 것으로 했다. 영상을 위해선 일부러 디지털 픽셀이 낮은 것을 골랐다. 지난 6월 아침방송 때 TV를 보던 지인이 화면 촬영한 것을 카톡으로 받았다가 얼굴만 크롭했다. 대상 이미지는 유명 영화의 포스터, 스틸 컷을 활용했다.

딥페이크 기술로 바꾼 영화 장면들, 기자의 얼굴을 페이스스와퍼(faceswapper)로 영화 '정무문'의 이소룡, '올드보이'의 최민식 그리고 '노인을 위한 나라는 없다'의 하비 바르뎀이 연기한 악당의 얼굴을 기자의 얼굴로 바꿨다. 어색하고 무섭다. /조인원 기자

사진기자로서 가장 중점을 둔 것은 ‘얼마나 진짜 같을까, 얼마나 감쪽같을까’였다. 나는 어떻게 변했을까?

결론부터 말하면 많이 그럴듯했다. 단 한 장의 이미지만으로 사진과 영상은 순식간에 다른 모습으로 변했다. 원본 이미지와 어울리게 얼굴의 리얼리티를 결정하는 그림자는 물론이고 변형된 사진에서 얼굴의 방향이나 표정까지 원본의 배우를 닮지 않고 내 모습이 거기 있었다.

딥페이크 기술로 바꾼 영화 장면, 배우 주성치의 얼굴을 기자 얼굴로 바꿨다. 전혀 닮지 않았는데도 얼굴에 그림자와 놀라는 동작이 너무 그럴듯했다. /조인원 기자

영상은 어땠을까? 영상은 사진보다 훨씬 사실감을 요구하는데 내 얼굴을 딥페이크 한다는 건 어떨지 궁금해서 프로그램을 돌렸다. 확실히 영상의 변형 시간이 몇초 안되지만 4분에서 10분까지 사진보다 오래 걸렸다. 배우 주성치, 최성국, 니콜라스케이지가 연기한 영화들에 내 모습이 보였다.

딥페이크 기술로 바꾼 영화 장면, 배우 최성국이 영화에 나오는 코믹한 연기 장면을 기자 얼굴로 바꿨다. 후반부에 잇몸이 드러날 정도의 웃음에서 보이는 이빨이 엉성해 보인다. /조인원 기자

처음 볼 땐 너무 우스웠는데 다시 보니 어색했고 몇 번 보니 무섭다는 생각도 들었다. 잠깐 실험한 딥페이크 기술이 이렇게 쉽게 가능한데 이젠 더 이상 놀이가 아니다. 누군가에게 모욕을 주기 위해 거짓 영상을 만든다면 세상은 앞으로 찍느냐 마느냐가 아니라 이게 진짜인지 가짜인지부터 가려내는 일이 더 피곤할 것이다.

딥페이크 기술로 바꾼 영화 장면, 배우 니콜라스 케이지의 웃는 모습을 기자의 얼굴로 바꿨다. 후반부에 크게 웃는 모습에서 치아가 이중으로 겹쳐서 나온다 /조인원 기자

기자는 AI 개발자나 IT 전문 기자도 아니다. 얼리어댑터도 아니며 남들 다하는 거 따라하는 수준이다. AI는 생성형 이미지가 신기해서 몇 번 했지만 요즘은 다 따라한다. 공을 들여 포토샵 보정 기술을 쓴 것도 아니다. 위에서 딥페이크를 실험한 사진은 무료로 제공받은 크레딧으로, 영상은 1년 짜리 제일 싼 기본형을 가입해서 3개 바꾸는데 20분도 안 걸렸다.

사진과 영상을 가짜로 만드는 건 더 쉬워질 것이다. 다음 달엔 사람이 말로 명령하면 비서처럼 AI가 해주는 기능이 아이폰 신형에서 탑재되어 출시될 예정이다. 딥페이크는 잘 활용하면 좋은 기능으로 활용할 수도 있을 것이다. 그러나 최근 벌어진 사건들처럼 나쁜 일에 사용되는 문제도 생각해야 한다. 남들을 괴롭힐 수 있는 가짜 영상은 반드시 엄중한 법적 규제를 갖춰야 한다. AI는 너무 쉽다. 그래서 무섭다.

딥페이크 실험에 사용된 기자 사진들. 얼만큼 AI가 사실적인 변형을 할지 궁금해서 일부러 1메가 이하의 증명사진(왼쪽, 2015년 촬영)으로 사진을 바꿔보았고, 더 낮은 방송 캡처 이미지(오른쪽, 2024년 촬영)로 딥페이크 영상을 만드는데 사용했다. /조인원 기자

Copyright © 조선일보