위기-기회 갈림길에 선 AI ＜1＞ 민주주의 위협 비상등

[노랑이네]

AI, 3시간분량 앵커 목소리 학습시키자, “다누리호 화성 탐사” 허위 리포트 생성

[위기-기회 갈림길에 선 AI] <1> 민주주의 위협 비상등
AI 악용 허위정보 손쉽게 만들어
韓-美 등 내년 선거 앞두고 비상

“목적지는 화성입니다. 탐사선 이름은 국민 공모로 정해진 다누리. 화성을 마음껏 누리고 오라는 뜻이죠.”

지난달 31일 서울 동작구 숭실대 형남공학관에서 익숙한 목소리의 뉴스 리포트가 흘러나왔다. 목소리의 주인공은 유명 방송사의 메인뉴스 앵커 A 씨. A 앵커는 “화성을 우리 손으로 탐사하다니 꿈같은 일”이라며 뉴스 리포트를 이어갔다.

언뜻 들으면 실제 뉴스 같은 이 리포트는 사실 앵커의 목소리를 정수환 숭실대 전자정보공학부 교수 연구팀이 인공지능(AI) 기술로 편집한 허위 조작 정보다. 지난해 8월 발사된 한국의 달 탐사선 다누리의 목적지를 화성으로 바꾼 것이다.

조작 정보가 만들어지는 데는 긴 시간이 필요하지 않았다. 지난해 한국 대선의 투표 결과를 뒤바꾼 내용이나, 북한 정찰위성 발사 성공 여부와 경로를 조작한 허위 정보를 입력하자 10초 만에 조작된 목소리가 생성됐다. 연구팀은 “개발자 누구나 활용하도록 공개된 음성 합성 프로그램을 사용한 것”이라고 설명했다. 허위 목소리를 생성하는 데 필요한 데이터는 유튜브 등에 공개된 A 앵커의 3시간 분량 기존 방송 리포트가 전부였다. A 앵커뿐만 아니라 모든 뉴스 진행자와 기자, 정치인, 인플루언서 등에 해당되는 얘기다. 인지도가 높아 노출된 목소리, 영상이 많을수록 허위 정보 제작은 더 빠르고 정교하게 이뤄질 수 있다.

AI 서비스 상용화로 음성과 이미지, 영상을 조작해 허위 정보를 만들어 배포하는 게 쉬워지며 온라인 소통과 토론을 기반으로 한 민주주의가 위협 받는다는 우려도 나온다. AI 탐지 업체인 미국 딥미디어는 올해 전 세계적으로 50만 개의 조작된 음성과 영상이 공유될 것으로 전망했다.

내년 11월 대선을 앞둔 미국 정치권은 이미 허위 정보들로 홍역을 치르고 있다. 공화당 대선 주자인 론 디샌티스 플로리다 주지사 캠프가 경쟁자인 도널드 트럼프 전 대통령을 비판하는 영상을 트위터에 올리며 AI 기술로 조작한 사진을 포함시켰다. 22대 국회의원 선거를 10개월 앞둔 한국 역시 위험에서 자유롭지 않다. 하지만 이를 제도적으로 규제하고 기술적으로 검증하기 위한 논의는 아직 초기 단계에 머물러 있다. 지난달 16일(현지 시간) 미 의회의 AI 청문회에서 샘 올트먼 오픈AI 최고경영자(CEO)와 상원의원들은 “선거에 악영향을 미칠 수 있는 기술에 대한 규제가 필요하다”고 주장했다.

“100% 가짜” 美대선 허위뉴스에 잡음 넣고 판독하자 “100% 진짜”

생성형 AI 기술 빠르게 발전… “합성 여부 100% 검증 불가능”
대선 앞둔 美정치권도 혼란 가중
트럼프 “CNN앵커, 날 비판” 영상
CNN 확인 결과 ‘AI 조작 영상’

‘1분.’

지난해 8월 공개된 ‘다누리’ 탐사선 관련 뉴스 리포트 영상의 배경 이미지를 ‘달’에서 ‘화성’으로 바꾸는 데 걸린 시간이다. 방법은 간단했다. 국내 기업의 이미지 생성형 인공지능(AI) 서비스에 접속해 뉴스 캡처 이미지를 올리고 뉴스 화면의 달 배경을 까맣게 덧칠한 뒤 ‘Mars’를 입력했다. 그러자 AI는 뉴스 캡처 화면에 화성 표면으로 보이는 이미지를 생성해 채워 넣었다. 여기에 AI가 조작한 앵커의 음성을 입히면 한국이 달을 넘어 화성 궤도까지 갈 수 있는 탐사선 발사에 성공했다는 그럴듯한 허위 정보가 만들어진다. 포토샵 등 전문적인 편집 프로그램은 전혀 사용하지 않았다.

● “생성형 AI 기술 악용한 허위 정보 폭증 우려”

AI로 만들어지는 허위 정보에 대한 우려와 논란이 확산하고 있는 가장 큰 이유는 기술 발전에 따라 숙련되지 않은 일반 이용자들도 고품질의 조작 콘텐츠를 쉽게 제작할 수 있게 됐기 때문이다. 오픈AI의 ‘달리(DALL·E)2’나 스타트업 ‘미드저니’ 등의 생성형 AI 서비스를 쓰면 간단한 명령어 입력만으로 이미지의 배경이나 자막을 쉽게 바꿀 수 있다. 이용자가 유명인의 얼굴을 딥페이크 방식으로 자신에게 덧씌워 실시간으로 영상을 스트리밍할 수 있는 기술도 이미 공개돼 있다.

차기 대선 국면에 접어든 미국 정치권에선 AI를 이 같은 방식으로 활용해 만든 각종 허위 정보가 퍼지며 혼란이 가중되고 있다. 도널드 트럼프 전 대통령은 소셜미디어에 앤더슨 쿠퍼 CNN 앵커가 자신을 비속어와 함께 비판하는 영상을 공유했다. CNN 확인 결과 이는 AI로 음성 등을 조작한 영상이었다.

아예 AI를 이용해 만든 허위 정보들로 채워진 웹사이트도 우후죽순 만들어지고 있다. 미국 비영리단체 뉴스가드에 따르면 8일 허위 정보 유통 웹사이트는 150개 이상 운영되고 있다. 뉴스가드의 지난달 초 첫 조사(49개) 때보다 3배 이상 수준으로 늘어난 수치다. 스티븐 브릴 뉴스가드 공동 최고경영자(CEO)는 “AI를 활용하면 사이트 제작 비용이 훨씬 저렴해지고 더 많이 (허위 정보를) 생산할 수 있다”고 지적했다.

● “대책 논의에도 100% 검증은 불가능”

지난해 20대 대선 당시 여야 후보는 AI 기술을 유세에 사용하며 선거운동을 펼치기도 했다. 하지만 이제는 각 정치 진영이나 지지층이 이를 악용할 수 있다는 우려가 나온다. 허위 정보를 만드는 건 쉬워졌지만 이를 판별하기는 갈수록 어려워지고 있기 때문이다.

정수환 숭실대 전자정보공학부 교수 연구팀을 통해 미국 대선 관련 허위 정보에 약간의 잡음을 추가한 뒤 현장에서 음성 합성 판독 프로그램을 사용하자 ‘진짜 확률 100%’라는 결과가 나왔다. 잡음을 추가하기 전 ‘허위 확률 100%’라고 나왔던 결과가 뒤집힌 것이다. AI 합성 여부는 억양이나 숨소리 등을 통해 확인하는데 잡음이 이를 교란했기 때문이다. 연구팀이 잡음을 추가하는 데 걸린 시간은 5초에 불과했다.

AI 합성 영상도 마찬가지다. 과거 AI 합성 영상은 일반 이용자가 봐도 인물이 고개를 끄덕이거나 돌릴 때 눈코입 배치가 어색한 사례가 많았지만 이제는 일반 이용자가 금방 분별하기 어려운 수준에 올라섰다.

이 같은 우려를 잠재우기 위해 미국과 유럽연합(EU)은 규제 입법에 앞서 AI를 악용하는 행위 등을 규제하기 위한 공동 행동강령 마련에 착수했다. 행동강령의 내용은 아직 공개되지 않았지만 학계와 업계에선 AI 생성 콘텐츠를 표시하는 워터마킹(불법복제 방지 무늬) 의무화 방안과 외부 감사 의무화 등이 거론된다. 하지만 AI로 워터마크를 삭제하는 기술이 동시에 만들어지고 있어 효과가 제한적일 것이란 지적이 나온다. 미국 텍사스주 상원은 2019년 공직 후보자를 비방하거나 선거에 영향을 주기 위한 딥페이크 영상의 제작과 배포를 금지하는 법안을 처음으로 도입하기도 했다.

정 교수는 “(선거 국면에서) AI로 만든 허위 정보가 온라인에서 퍼져 유권자들에게 알려지는 것은 순식간이며 돌이킬 수 없다”며 “(모든 사회 구성원이) AI 기술이 민주주의 가치를 근본적으로 위협할 수도 있는 기술이라는 점을 인지해야 한다”고 말했다.

전남혁 기자, 지민구 기자, 남혜정 기자, 수원=최지원 기자

“AI 악용땐 아주 싸게 허위정보 대량생성 가능… 민주주의에 치명적”

랜데이 美스탠퍼드大 HAI 부소장
“허용-금지 행위, 정책 통해 강제해야”

“나쁜 의도를 가진 이용자들이 인공지능(AI) 기술을 악용하면 (2024년 미국 대선 등) 민주주의에 치명적인 위협이 될 것입니다.”

제임스 랜데이 미국 스탠퍼드대 인간중심인공지능연구소(HAI) 부소장(사진)은 지난달 17일 동아일보와의 화상 인터뷰에서 무분별한 AI 기술 활용이 불러올 문제에 대해 이같이 지적했다. 그는 “매우 낮은 비용으로 허위 정보를 대량으로 생성할 수 있다는 점에서 큰 문제”라며 “사회의 혼란과 불만, 오해를 심고 정치적으로 선동하려는 목적을 가진 이들이 악용할 가능성이 우려스럽다”고 강조했다.

스탠퍼드대 공과대학 컴퓨터과학과 교수로 재직하고 있는 랜데이 부소장은 ‘딥러닝의 대모’로 불리는 페이페이 리 소장과 함께 2019년 HAI를 공동 설립했다. HAI는 AI 기술이 사회 전반에 이롭게 쓰일 수 있는 방향에 대해 연구하는 기관이다.

랜데이 부소장은 AI로 만든 허위 정보가 뉴스 신뢰도에 전반적으로 나쁜 영향을 줄 가능성도 우려했다. 2016년과 2020년 미국 대선에서 러시아 배후 해킹 조직이 댓글과 허위 뉴스 등으로 여론 조작에 개입한 의혹을 대표적인 사례로 꼽았다.

지난달 12일(현지 시간) 스탠퍼드대에서 리 HAI 소장이 참석한 가운데 열린 AI 기술 관련 대담 행사에서도 AI와 민주주의는 핵심 주제였다. 리 소장은 “AI를 포함한 여러 기술 융합을 통해 나타난 잘못된 정보 등이 사회에 도전적이거나 적대적인 세력이 되고 있다는 사실을 인식하는 것이 매우 중요하다”고 말했다.

생성형 AI 서비스 챗GPT를 개발한 오픈AI와 협력 관계에 있는 마이크로소프트(MS) 최고위급 임원도 현장에서 AI 조작 정보와 관련한 우려를 제기했다. 에릭 호로비츠 MS 최고과학기술책임자(CSO)는 “정부 최고위층도 (생성형 AI 등장으로) 가장 우려하는 것이 ‘민주주의의 침식’으로 알고 있다”고 전했다.

이들은 AI가 불러일으킬 부정적 영향을 최소화하기 위해선 정부와 입법 기관, 업계, 일반 이용자 등 다양한 사회 구성원이 논의에 참여해야 한다는 점을 강조했다. 리 소장은 “기술 설계 시 윤리 문제를 단순히 ‘후폭풍(aftermath)’으로만 취급하지 말고 개발 초기 단계부터 개발자와 이용자, 정부, 학계 모두가 함께 논의 테이블에 모여야 한다”고 강조했다. 랜데이 부소장은 “이미 AI 기술이 사회에 미치는 부정적인 영향을 경험한 만큼 정책을 통해 허용되는 것과 금지해야 하는 행위를 구분한 뒤 강제할 필요가 있다”고 말했다.

스탠퍼드·서울=남혜정 기자 

‘챗GPT 아버지’ 올트먼, “AI 안전장치 마련 위해 미국-중국간 협력 필요”

 ‘챗GPT의 아버지’로 불리는 샘 올트먼 오픈AI 최고경영자(CEO·사진)가 인공지능(AI)을 안전하게 활용하는 데 필요한 장치를 마련하는 데 중국이 핵심적인 역할을 해야 한다며 미국과 중국 간 협력의 중요성을 강조했다.

10일(현지 시간) 월스트리트저널(WSJ) 등에 따르면 올트먼 CEO는 이날 베이징 AI 아카데미 주최로 열린 AI 콘퍼런스에서 화상 연설을 통해 “점점 더 강력해지는 AI 시스템의 등장으로 글로벌 협력의 중요성이 그 어느 때보다 커졌다”며 이같이 밝혔다. 그는 “중국은 세계 최고의 AI 인재를 보유하고 있다”며 “근본적으로 발전된 AI 시스템의 얼라인먼트(정렬) 문제를 해결하려면 전 세계 최고의 인재가 필요하다”고 덧붙였다.

이와 관련해 블룸버그는 “베이징 AI 아카데미는 중국 내 AI 분야에서 강력한 입지를 구축하고 있는 비영리 단체”라며 “올트먼이 이 콘퍼런스에서 연설한 것 자체가 주목할 만하다”고 분석했다. 현재 중국에서는 오픈AI의 챗GPT를 사용할 수 없다.

‘월드코인’ 공동 설립자이기도 한 올트먼 CEO는 방한 일정 중인 10일 서울 강남구 해시드벤처스 사무실에서 그가 구상 중인 블록체인 기반의 월드코인 프로젝트 간담회를 열고 “월드코인과 AI를 통해 보편적 기본소득(UBI) 구조를 만들고 싶다”고 밝혔다.

지민구 기자, 이청아 기자