생성형 AI, 어디까지 왔는가 (2)생성형 AI의 역량과 인간과의 충돌 A.I.C.E. 세미나 : AI시대에 인간에게 필요한 역량은

[힘힘]

생성형 AI, 어디까지 왔는가 (2)생성형 AI의 역량과 인간과의 충돌

A.I.C.E. 세미나 : AI시대에 인간에게 필요한 역량은 무엇인가 — 김재경 LAB2050 연구원

LAB2050

·

Follow

Published in

LAB2050

·

10 min read

·

11 hours ago

위 영상은 2023년 6월 13일에 LAB2050이 개최하였던 ‘AI시대에 인간에게 필요한 역량은 무엇인가’세미나에서 발표의 인트로로 사용되었다. 나는 기존에 영상 제작을 따로 공부하거나 배워본 적이 없는데도, 사람 얼굴에서 목소리에 맞게 입까지 움직이는 영상을 40분만에 만들 수 있었다. 어떻게 가능했을까?

앞서 제작한 AI 영상은 다음과 같은 과정을 거쳐 제작되었다.

1. 혁펜하임 유튜브‘10분만에 “말하는 AI 아바타” 만들기! (보면서 따라해보세요)’ 에서 아이디어 획득
2. ChatGPT-4 플러그인 ‘Photorealistic’ 을 사용해서 이미지생성 AI인 ‘Midjourney’에 활용할 프롬프트 생성
3. Midjourney AI를 사용해 원하는 화자 이미지 획득
4. 영상에서 AI가 읽을 스크립트 직접 작성
5. 네이버 클로바보이스 AI 활용, 스크립트와 화자 이미지에 맞는 목소리로 음성 생성
6. Studio D-ID AI 활용, 영상과 스크립트를 합치고 영상에 맞게 입모양 구현

이 중에서 1번과 4번은 생성형 AI와 직접 연관이 없는 단계다. 생성형 AI의 역량과 관계가 있는 2,3,5,6번을 순서대로 보며 생성형 AI를 어떻게 활용할 수 있는지 알아보자.

1. 생성형 AI에 날개를 달아주는 플러그인

— 플러그인(Plugin): 플러그인은 AI의 기능을 확장하거나 특정 작업에 대한 AI의 능력을 향상시키는 도구입니다. 플러그인은 AI의 학습 데이터나 알고리즘에 직접적인 변화를 주지 않지만, AI가 특정 작업을 처리하는 방법을 변형하거나 확장시키는 역할을 합니다.(ChatGPT의 답변)

AI에 있어 플러그인은스마트폰의 ‘어플’과 같은 역할을 한다. 스마트폰에 우리가 어플을 깔아 쓰듯이, 생성형 AI의 능력을 최대한 활용할 수 있도록 플러그인을 설치하여 사용할 수 있다.

AI영상을 만들기 위해서는 기반이 되는 이미지를 만들어야 하는데, 이 이미지를 만들기 위해서는 이미지 생성 AI가 필요하다. 그런데 이미지 생성 AI로 원하는 이미지를 만들어내는 것은 그림을 많이 그려봤거나 이미지 생성 AI를 많이 써보지 않았으면 쉽지 않다.

ChatGPT에는 이미지 생성 AI인 ‘Midjourney’에 입력할 프롬프트(명령) 생성을 도와주는, ‘Photorealistic’이라는 플러그인이 있고, 나는 이를 활용하였다. 프롬프트를 활용한 결과물은 아래에서 확인할 수 있다.

이외에도 링크만 입력하면 링크에 있는 pdf 내용에 대해 분석하여 여러 대답을 해줄 수 있는 플러그인, 유튜브 등 링크에 있는 영상의 내용을 텍스트로 요약해주고 마찬가지로 질문에 대답해주는 플러그인, 기존 ChatGPT의 약점으로 꼽히던 수학 연산과 그래프를 그려주는 Wolfram등 ChatGPT에는 다양한 플러그인이 존재한다. 플러그인을 사용해보면 짧은 시간에 알고자 하는 영상이나 텍스트를 요약하고 공부할 수 있어 편리했지만, PDF의 결론 부분을 인지하지 못하거나, 영상에 대한 요약이 같은 내용으로 멈추지 않고 반복되어 출력되는 등 아쉬운 점도 있었다.

세미나를 진행한 2023년 6월 13일에는 총 388개의 GPT-4 플러그인이 존재했는데, 2주가 지난 6월 28일 현재 총 585개의/8]7 플러그인이 존재할 정도로 플러그인 도입 속도가 빠르다. ChatGPT외에도 Bard, 뤼튼 등의 생성형 AI 플랫폼도 플러그인 서비스를 준비중이다.

2. 원하는 결과를 생성하기 위한 프롬프트의 중요성과 이미지 생성 AI

-프롬프트(Prompt): 생성형 AI에서 프롬프트는 AI가 반응하거나 답변을 생성하기 위한 입력 또는 질문입니다. 프롬프트는 주로 사용자가 AI에게 주는 명령이나 질문의 형태를 띕니다. 예를 들어, “오늘 날씨는 어떻게 될까?” 또는 “피자 만드는 법 알려줘” 등이 프롬프트의 예가 될 수 있습니다(GPT-4대답).

프롬프트는 ChatGPT4의 설명만 놓고 보자면 생성형 AI를 다룰 때 별로 중요하지 않아 보인다. 하지만 ‘질문’이 무엇인가에 따라 생성형 AI의 응답은 크게 바뀌는데, 두 가지 사례를 살펴보자.

첫 번째 사례는 ChatGPT4로 얻을 수 있는 인스타그램 카드뉴스 문구 작성이다. 첫 번째에서는 그냥 ‘기본소득 카드뉴스 문구’만 뽑아달라고 한 결과이고, 두 번째 이미지의 경우 ‘퍼블리’라는 직장 생활 플랫폼에서 얻을 수 있는 프롬프트를 이용해 기본소득 카드 뉴스 문구를 짜달라고 부탁한 결과다(퍼블리가 유료이므로, 프롬프트는 공개하지 않기로 했다). 두 번째 결과에서 알 수 있듯이, 프롬프트가 정교할 경우 카드뉴스의 내용도 더 상세하고, 각 슬라이드의 해시태그와 함께 추천하는 이미지까지 함께 제시하고 있다. 이처럼 프롬프트는 생성형 AI를 다룰 때 매우 중요해서, 앞서 소개한 국내 AI기업 뤼튼도 최근 국내 1호 프롬프트 엔지니어를 고용하기도 했다.

두 번째 사례는 이미지 생성AI인 ‘Midjourney’의 출력 결과 차이다. 이 이미지는 앞서 본 AI 동영상에 쓰이기 위해 생성하였다. ‘세미나를 진행하는 날카로우면서도 호감형인 여성’이미지를 원했는데, 왼쪽의 이미지들도 분명 퀄리티는 좋지만, 내가 원하지 않는 만화 그림체도 있고, 맨 왼쪽 위 이미지는 세미나랑 무슨 연관인지도 모르겠다. 하지만 이미지 생성을 위한 프롬프트를 고급스럽게 바꿔주는 ChatGPT4 플러그인인 ‘Photorealistic’을 사용하여 얻은 프롬프트를 Midjourney에 입력한 결과, 오른쪽과 같은 이미지들을 얻었다. 조금 더 원하는 이미지를 프롬프트의 변화를 통해 얻을 수 있었다.

앞서 Midjourney처럼 이미지 생성 AI들의 성능은 뛰어나서, 일반인들의 경우 AI가 생성한 이미지인지, 인간이 그린 이미지인지 구별하기 어려울 정도다. 위에 링크를 건 유튜브 영상은 전직 웹툰작가인 유튜버가 AI가 그린 그림인지 사람이 그린 그림인지 판별하는 영상이다. 여러분들은 해당 영상에서 나오는 그림을 AI가 그렸는지, 사람이 그렸는지 구별할 수 있는가?

3. 마블 영화에도 쓰이는 비디오 생성 AI

네이버 클로바보이스 사용 화면

AI 영상에 쓰일 이미지를 여러 AI를 사용하여 만들었으니, 이제는 영상에 들어갈 소리를 만들 차례다. 특정 목소리로 텍스트를 읽어주는 음성 AI는 여러 가지가 있겠지만, 나는 영상을 만드는 과정에서 참고한 유튜브에서 알려준대로 네이버 클로바보이스를 활용하였다. 여러 목소리 중에서 내가 만든 발표자 이미지와 가장 어울린다고 생각하는 목소리를 골라, 준비한 스크립트를 입력하여 원하는 음성을 획득했다.

Studio D-ID를 활용하는 모습

내가 원하는 스크립트를 읽어 줄 사람의 이미지와 스크립트를 읽는 목소리를 모두 확보했으니, 이제 둘을 조합해 원하는 영상을 만들기만 하면 된다. 둘을 합쳐 영상을 제작하기 위해 Studio D-ID라는 영상 제작 AI를 활용하였다. 왼쪽 아래에서 준비된 이미지를 활용할 수도 있지만 내가 생성한 이미지를 넣고, 오른쪽에 내가 준비한 음성을 넣어 최종적으로 AI 영상을 만들었다. 영상 제작도 거의 안해보고, 성우 관련된 경력이 없는 내가 혼자 AI들을 사용해 영상을 만들 수 있는 시대가 되었다.

생성형 AI의 역량은 이미 상업적 영화 제작에 충분히 쓰일 수 있을 정도이다. MIT Technology Review의 기사에 따르면, 미국 디트로이트 소재 영상 제작 업체 웨이마크(Waymark)는 이미지 생성 AI로 12분짜리 단편 영화의 모든 장면을 생성하였다(영화는 유튜브에서도 볼 수 있다). 또한, 유명한 영화 제작사 마블은 디즈니 플러스에 최근 공개한 시리즈인 ‘시크릿 인베이젼’의 인트로 영상을 인공지능으로 만들었음을 밝혔다. 앞으로 점점 더 AI가 만든 이미지, 소리, 영상을 우리 주변에 보게 될 것이다.

4. 생성형 AI, 인간과의 충돌

이미지 출처 : 네이버웹툰 도전만화, AI 윤리레터에서 재인용

우리는 현재 생성형 AI가 가지고 있는 여러 역량 중 일부를 알아보았고, 실제로 여러 분야에서 인간의 일을 대신할 수 있음을 확인하였다. 하지만 생성형 AI가 여러 분야에서 쓰이고 또 인간의 일을 대신하는 만큼, 여러 가지 사회 문제를 일으키고 있다. 이미지 생성AI의 경우, 기존 작가들의 그림을 훔치며 저작권 침해를 하고 있다는 지적을 가장 많이 받고 있으며 이로 인해 국내 최대 웹툰 포털 네이버웹툰의 도전만화에서 AI 웹툰 보이콧 운동이 일어나기도 했다.

또한, 앞서 이야기했듯 생성형 AI가 만든 이미지는 인간이 그린 것인지 구분이 어려울 수도 있다. 실제로 세계 최대 사진전에서 AI가 만든 이미지가 우승을 차지하며 경력이 굵은 전문가조차 AI가 만든 이미지임을 구별하지 못할 수 있음이 증명되었다. AI 창작물에 AI가 생성했다는 워터마크를 의무화하는 방안, AI가 학습하는 데이터에 대한 저작권 논의 등이 시급한 이유다.

https://www.youtube.com/watch?v=a7KFXUtLg_0

여러 분야에서 인간을 대신할 수 있는 AI. 그런 AI는 생명이 없기 때문에, 윤리의식 역시 없다. AI는 사전에 데이터세트를 학습하여 생성한 매개변수를 통해 입력에 대해 출력을 할 뿐이다. 이런 원리 때문인지, 생성형 AI에 관한 뉴스는 아니지만 군사 시뮬레이션에서 명령을 수행하기 위해 드론에 탑재된 AI가 인간을 살해하는 판단을 했다는 보도가 나왔다. 생성형 AI가 활용된 AI 챗봇 서비스와 대화한 이후 한 벨기에 남성이 자살했다는 뉴스도 있었다. 여러 SF소설과 영화에서 경고했던, 통제하지 못하는 AI는 인간을 죽일 수도 있다.

혼란스러운 구글 검색 결

위 이미지는 2023년 6월 28일 기준 ‘AI 일자리’라는 키워드로 구글에 검색한 결과이다. 큰 제목만 봐도, AI의 역량이 인간의 일자리를 뺏을지, 일자리를 더 늘릴지 세상은 아직 결론을 내리지 못했다. 세미나를 함께 진행했던 반가운 한국직업능력연구원 선임연구위원의 발표를 듣고 느꼈던 점은, AI는 ‘일자리’가 아닌 인간의 ‘일’을 대체한다는 점이다. 즉, AI가 인간의 일을 대체하기는 하지만, 인간이 어떻게 사회적으로 대응하느냐에 따라 인간이 AI를 활용하여 일자리를 유지한 채로 생산성을 늘려 주4일제를 시행할 수도, AI에게 일자리를 뺏겨 인간 다수가 백수가 될 수도 있다.

AI의 위험성을 경고하는 것은 쉽다. 하지만 AI가 왜 위험한지 구체적으로 알려주는 전문가는 많지 않고, AI가 위험하기 때문에 무엇을 해야 하는지 말하는 전문가는 더더욱 부족하다. 생성형 AI의 작동 원리로 돌아가면, 입력(Input)이 있어야 출력(Output)이 있다. 프롬프트를 어떻게 입력하고, 플러그인을 어떻게 쓸지는 결국 인간이 결정한다. 입력과 출력을 세밀하게 조정하는 것도 인간이고, 출력물을 어떻게 쓸지 정하는 것도 인간이다. 결국 AI가 아군일지 적군인지는 인간이 하기 나름이라는 것이다.

Prompt by Photorealistic(GPT-4 Plugins) / Image generated by Midjourney

식칼이 사람을 해칠 수 있다고 해서 우리는 식칼 소유나 거래를 제한하지 않는다. 위험성과 유용성을 일반적으로 알고 있으며, 이를 기반으로 사람을 칼로 찌르면 안된다는 사회적 인식을 공유하고 무고한 사람을 해치면 벌을 주는 법의 존재를 신뢰한다. 발전하는 AI의 역량에 대해 이야기하고 발전 방향과 규제를 모두 이야기해야 하는 이유다.