새로운 AI 비디오 도구로 인해 선거를 앞두고 딥페이크에 대한 우려가 커지고 있습니다.

[이매진]

새로운 AI 비디오 도구로 인해 선거를 앞두고 딥페이크에 대한 우려가 커지고 있습니다.

https://www.aljazeera.com/economy/2024/3/6/new-ai-video-tools-increase-worries-of-deepfakes-ahead-of-elections

New AI video tools increase worries of deepfakes ahead of elections

전문가들은 악의적인 행위자가 AI 도구를 사용하여 선거 연도에 유권자를 혼란스럽게 하고 오해를 불러일으키는 딥페이크를 만들 수 있다고 우려합니다.

OpenAI의 새로운 텍스트-비디오 생성기인 Sora는 생성 ​​인공 지능을 사용하여 서면 명령을 기반으로 짧은 비디오를 즉시 생성합니다. [Michael Dwyer/AP]

작성자:  피터 게스트

게시일: 2024년 3월 6일2024년 3월 6일

나중에 읽을 기사를 저장하고 나만의 읽기 목록을 만드세요.

OpenAI가 새로운 텍스트-비디오 도구인 Sora를 공개하기 위해 공개한 비디오는 직접 봐야만 믿을 수 있습니다. 눈구름 속에서 털북숭이 매머드를 돌진하는 사실적인 장면, 떨어지는 벚꽃 사이를 걷는 커플, 캘리포니아 골드러시를 항공 영상으로 촬영한 사실적인 장면입니다.

이 시연으로 인해 영화 제작자인 타일러 페리(Tyler Perry)는 8억 달러 규모의 스튜디오 투자를 중단한 것으로 알려졌습니다. Sora와 같은 도구는 간단한 텍스트 프롬프트를 통해 사용자의 비전을 사실적인 움직이는 이미지로 변환한다고 약속하며 논리는 스튜디오를 쓸모 없게 만듭니다.

계속 읽으세요4개 항목 목록4개 중 1개 목록메타의 인스타그램, 페이스북이 대규모 서비스 중단으로 타격을 입었습니다.4개 중 2개 목록극좌단체, 독일 테슬라 공장 공격 주장4개 중 3개 목록미-중 칩 긴장을 이용하려는 베트남의 시도는 노동 장애물에 직면4개 중 4개 목록루마니아의 괴짜들은 EU의 가장 위험이 높은 수도에서 지진 위험을 매핑하고 있습니다.목록 끝

다른 사람들은 이와 같은 인공 지능(AI)이 더 어두운 상상력을 가진 사람들에게 악용될 수 있다고 우려합니다. 악의적인 행위자는 이러한 서비스를 사용하여 매우 사실적인 딥페이크를 만들거나 , 선거 중에 유권자를 혼란스럽게 하거나 오해하게 만들거나, 단순히 분열적인 소문을 퍼뜨려 혼란을 야기할 수 있습니다.

규제 기관, 법 집행 기관 및 소셜 미디어 플랫폼은 이미 슬로바키아 선거를 왜곡하고 뉴햄프셔 예비 선거에서 사람들이 투표하는 것을 방해하는 데 도움을 준 것으로 알려진 정치 지도자의 가짜 오디오를 포함하여 AI로 생성된 허위 정보의 증가에 대처하기 위해 고군분투하고 있습니다.

정치인과 시민사회는 이러한 도구가 점점 더 정교해짐에 따라 일반 사람들이 무엇이 진짜이고 무엇이 가짜인지 구별하기가 그 어느 때보다 어려워질 것이라고 우려합니다.

그러나 정치적 허위정보와 AI 전문가들은 AI 제품의 사용 증가는 오래된 문제의 새로운 측면일 뿐이라고 말합니다. 이러한 도구는 조작하고 오도하는 데 사용되는 이미 잘 갖춰진 기술 및 기술 무기고에 추가될 뿐입니다.

딥페이크 문제를 해결한다는 것은 실제로 딥페이크가 확산될 소셜 미디어 플랫폼을 규제하는 방법에 대한 해결되지 않은 문제를 해결하고 제품이 오용될 수 있는 경우 거대 기술 기업에 책임을 묻는 것을 의미합니다.

캠페인 단체인 CCDH(Center for Countering Digital Hate)의 연구 책임자인 칼럼 후드는 "이러한 AI 이미지 생성기는 선거 허위 정보 문제를 더욱 악화시키겠다고 위협하지만 우리는 그것이 이미 문제라는 점을 매우 의식해야 한다"고 말했습니다. "우리는 이미 기존 문제에 대해 소셜 미디어 플랫폼의 더 강력한 조치가 필요합니다."

광고

Midjourney, OpenAI, Microsoft 등 생성 AI 이미지 메이커를 제공하는 여러 회사에는 사용자가 오해의 소지가 있는 사진을 생성하지 못하도록 하는 정책이 있습니다. 그러나 CCDH는 이러한 정책이 시행되지 않고 있다고 주장합니다.

3월 6일에 발표된 연구에서 센터는 병원에 있는 조 바이든 대통령의 가짜 사실적 이미지나 이민자들에게 인사하는 모습 등 미국 선거의 매우 당파적인 맥락에서 위험할 수 있는 이미지를 생성하는 것이 여전히 상대적으로 간단하다는 것을 보여주었습니다. 멕시코 국경과 CCTV 스타일의 선거 조작 이미지.

2020년 선거가 도난당했다는 도널드 트럼프 전 미국 대통령의 주장은 국회 의사당 건물에서 폭력적인 시위를 촉발하는 데 일조했습니다. [Jonathan Ernst/Reuters]

이러한 이미지는 미국 정치의 일반적인 거짓을 반영합니다. 도널드 트럼프 전 대통령은 2020년 선거 결과가 조작됐다는 주장을 일상적으로 홍보해왔고, 이는 2021년 1월 국회의사당에서 폭력 시위를 촉발하는 데 일조한 거짓말이었다.

알자지라에 가입하세요미주 지역 뉴스레터

미국 정치, 캐나다의 다문화주의, 남미의 지정학적 부상 등 중요한 이야기를 전해 드립니다.

구독하다

가입하시면 당사의 개인정보 보호정책 에 동의하시는 것입니다.

reCAPTCHA 로 보호됨

Hood는 “[회사들이] 이 문제를 충분히 고려하지 않았다는 것을 보여줍니다.”라고 말했습니다. "여기서 가장 큰 취약점은 도난 선거에 대한 이야기나 선거 사기에 대한 허위 주장을 뒷받침하는 데 사용될 수 있는 이미지에 있습니다."

연구원들은 개별 이미지 제작자가 프롬프트에 반응하는 방식에서 상당한 차이를 발견했습니다. 일부는 사용자가 매우 당파적인 이미지를 만드는 것을 허용하지 않았습니다. Hood는 “이러한 차이는 효과적인 보호 장치를 마련하는 것이 가능하다는 것을 보여줍니다.”라고 Hood는 말했습니다. 이는 기업 측의 선택을 반영한다고 덧붙였습니다.

그는 “이는 AI 기업의 이익 동기와 안전성 사이의 광범위한 불균형을 보여주는 징후”라고 말했습니다. “그들은 제품을 출시하고, 새로운 기능을 출시하고, 벤처 자금이나 투자에서 조금 더 많은 것을 얻을 수 있도록 최소한의 가드레일을 적용하여 가능한 한 빨리 움직일 수 있는 모든 인센티브를 가지고 있습니다. 그들은 속도를 늦추고 먼저 안전을 확보할 인센티브가 없습니다.”

OpenAI, Microsoft 및 MidJourney는 논평 요청에 응답하지 않았습니다.

광고

거의 달성되지 않음

그러한 인센티브는 기술 기업이 행동을 취하도록 강제하고 그렇지 않을 경우 처벌을 받는 규제의 형태로만 나타날 가능성이 높습니다. 그러나 소셜 미디어 허위 정보 전문가들은 데자뷰를 느낀다고 말합니다. AI 규제를 중심으로 진행되는 대화는 수년 전 소셜 미디어에 허위 정보가 확산되면서 나눴던 대화와 이상하게 들립니다. 거대 기술 기업들은 위험한 허위 정보의 확산을 막기 위한 조치를 취하겠다고 약속했지만 문제는 지속됩니다.

영국 정부 부처와 보안 기관에 허위 정보에 대해 조언해 온 랭커스터 대학의 선임 연구원인 윌리엄 댄스(William Dance)는 “이것은 성촉절과 같습니다.”라고 말했습니다. "그리고 이는 지난 10~15년 동안 우리가 달성한 것이 얼마나 적은지 알려줍니다."

Play Video

Video Duration 07 minutes 45 seconds07:45

올해 유럽연합, 영국, 인도, 미국에서 선거가 치러질 가능성이 있는 가운데, 거대 기술 기업들은 플랫폼에서 이러한 종류의 허위 정보와 잘못된 정보의 확산을 줄이기 위해 개별적으로나 집단적으로 다시 한 번 다짐했습니다.

2월 말, 페이스북과 인스타그램의 소유주인 메타(Meta )는 유럽 의회 선거 기간 동안 허위 정보를 줄이고 표적 영향력 행사의 범위를 제한하기 위한 일련의 조치를 발표했습니다 . 여기에는 사실 확인 파트너(Meta가 대신하여 콘텐츠에 라벨을 지정할 수 있는 독립 조직)가 AI 생성 또는 조작된 콘텐츠에 라벨을 붙일 수 있도록 허용하는 것이 포함됩니다.

Meta는 AI가 생성한 잘못된 정보를 찾아내고, 라벨을 붙이고, 잠재적으로 허위를 폭로하는 도구를 개발하겠다고 약속하는 "기술 협약"에 서명한 약 20개 회사 중 하나입니다.

광고

“'우리는 공백으로부터 보호하기 위해 최선을 다할 것입니다'와 같은 일종의 공백 템플릿이 있는 것 같습니다.”라고 Dance는 말했습니다. “허위 정보, 증오심 표현, AI 등 무엇이든.”

규제되지 않은 AI와 규제되지 않은 소셜 미디어의 융합은 시민 사회의 많은 사람들을 걱정하고 있습니다. 특히 몇몇 대형 소셜 미디어 플랫폼이 허위 정보와 잘못된 정보, 증오심 표현 및 기타 유해한 콘텐츠에 대한 대응을 감독하는 "신뢰 및 안전"팀을 축소했기 때문에 더욱 그렇습니다. . X(이전 트위터)는 2022년 Elon Musk가 플랫폼을 인수한 후 신뢰와 안전 직원의 거의 3분의 1을 잃었습니다.

“우리는 이중으로 우려스러운 상황에 처해 있습니다. 선거 허위 정보를 퍼뜨리는 사람들은 새로운 도구와 기능을 사용할 수 있는 반면, 소셜 미디어 회사는 많은 경우 선거 허위 정보에 대응할 수 있는 능력을 고의적으로 제한하고 있는 것 같습니다. "라고 CCDH의 Hood는 말했습니다. "따라서 이는 정말 중요하고 걱정스러운 추세입니다."

선거 주기가 본격적으로 시작되기 전에는 소셜 미디어에서 딥페이크가 어느 정도 확산될지 예측하기 어려울 것입니다. 그러나 일부 피해는 이미 발생했다고 연구원들은 말합니다. 사람들이 정교한 가짜 영상이나 이미지를 만들 수 있는 능력에 대해 더 잘 알게 되면서 불신과 불안감이 더 커졌습니다. 실제 이미지나 비디오는 가짜로 간주될 수 있습니다. 이는 "거짓말의 배당금"으로 알려진 현상입니다.

“온라인에 접속해서 뭔가를 보고 '이게 진짜인가요? 이거 AI가 생성한 건가요?' AI와 허위정보를 연구하는 노스이스턴 대학교 연구원인 양 카이청(Kaicheng Yang)은 더 이상 말할 수 없습니다. “일반 사용자의 경우 상황이 더 나빠질 것이라고 가정하겠습니다. 온라인에 진짜 콘텐츠가 얼마나 많이 있는지는 중요하지 않습니다. 사람들이 많은 것이 있다고 믿는 한, 우리에게는 문제가 있는 것입니다.”

광고

출처 : 알자지라