스크랩 AI의 역습 - 영화 '이글 아이'가 현실이 되다.

[무명이]

출처

블로그>이 세대가 가기 전에 | 예레미야

원문

http://blog.naver.com/esedae/223119109967

>>미군 AI드론, 가상훈련서 조종자 살해…'임무에 방해된다' 판단

美공군 AI책임자, 英학회서 'AI가 인간 공격' 시뮬레이션 사례 발표

'적 방공시스템 파괴' 임무 우선시해 최종 결정권 가진 조종자 '제거'

'조종자 공격 금지' 학습시켜도 '반항'…"윤리 빼놓고 AI 논의 못 해"

(서울=연합뉴스) 권수현 기자 = 인공지능(AI) 머지않은 미래에 인간의 존립에 위협이 될 수 있다는 전문가들의 경고가 잇따르는 가운데 미군 AI 드론이 가상 훈련에서 최종 결정권을 지닌 조종자를 '임무 수행 방해물'로 판단해 공격한 사례가 소개됐다.

2일(현지시간) 영국 왕립항공학회(RAeS)와 영국 일간지 가디언 등에 따르면 이 단체가 지난달 23∼24일 런던에서 개최한 '미래 공중전투 및 우주역량 회의'에서 미 공군 관계자는 AI 드론이 목표를 달성하기 위해 인간에 반하는 결정을 내린 최근 시험 결과를 발표했다.

RAeS가 공개한 발표 내용에 따르면 시뮬레이션을 통해 가상으로 진행된 이번 시험에서 AI에 부여된 임무는 '적 방공체계 무력화'였다.

미 공군은 AI 드론에 '적의 지대공미사일(SAM) 위치를 식별해 파괴'하라는 임무를 내리고, 공격 실행 여부는 인간이 최종적으로 결정한다는 단서를 달았다.

하지만 훈련 과정에서 SAM을 파괴하는 것이 더 선호되는 선택지라는 점을 '강화'하자 AI는 인간의 '공격 금지' 결정이 '더 중요한 임무'를 방해한다고 판단하고 조종자를 공격했다.

발표를 맡은 미 공군 AI시험·운영 책임자 터커 해밀턴 대령은 "(AI) 시스템은 위협을 식별하는 과정에서 때때로 인간이 위협을 '제거하지 말라'고 말할 것이라는 점을 깨닫기 시작했다"고 설명했다.

그는 "그래서 시스템이 한 일은 조종자를 죽이는 것이었다. 목표 달성에 방해가 됐기 때문에 조종자를 죽인 것"이라고 말했다.

미 공군은 '조종자를 죽이지 말라, 그것은 나쁜 일이고 그렇게 하면 점수를 잃을 것'이라고 AI 시스템을 계속 훈련시켰지만 AI는 예상치 못한 전략을 택했다.

해밀턴 대령은 "AI는 목표물 파괴를 막으려는 조종자가 드론과 교신하는 데에 사용하는 통신탑을 파괴하기 시작했다"고 전했다.

그는 스릴러 과학소설(SF)에서 나올 법한 이 사례가 "윤리와 AI의 문제를 논하지 않고서는 AI나 머신러닝, 자동화에 관해 이야기할 수 없다"는 것을 보여준다면서 AI에 지나치게 의존해서는 안 된다고 경고했다.

이 시험은 가상으로 진행된 것이어서 실제로 사람이 다치거나 죽은 것은 아니다.

또 미 공군 대변인은 해밀턴 대령의 발표에 대한 질의에 "공군은 그러한 AI 드론 시뮬레이션을 수행하지 않았으며 대령의 발언은 개인적인 것으로 보인다"며 부인했다고 미국 매체 비즈니스인사이더는 전했다.

그럼에도 이 사례는 AI가 인간을 명령을 듣기보다는 스스로 판단해 인간을 공격할 가능성을 보여줬다는 점에서 우려를 더한다.

미군은 이미 AI를 도입하기 시작했다. 최근에는 자율조종 항공기 개발 노력의 하나로 AI 조종사의 F-16 전투기 시뮬레이션 비행을 성공적으로 수행했다는 보도가 나왔다.

또 2020년에는 미 국방부 산하 국방고등연구기획청(DARPA)에서 진행한 가상 근접 공중전(도그파이트) 대결에서 방산업체가 개발한 AI 시스템이 미 공군 소속의 인간 F-16 조종사에 5전 전승을 거두기도 했다.

최근 정보기술(IT) 업계에서는 AI가 스스로 추론해 성장하는 AGI(범용인공지능)에 가까워져 인류의 지성을 뛰어넘는 '기술적 특이점'에 다가서고 있다는 분석이 나오는 가운데 AI의 잠재 위험에 대한 전문가들의 섬뜩한 경고가 이어지고 있다.

에릭 슈밋 전 구글 최고경영자(CEO)는 지난달 24일 월스트리트저널(WSJ)이 주최한 행사에서 가까운 미래에 AI가 많은 인간을 다치게 하거나 죽일 수도 있다고 말했다.

또 지난달 30일에는 챗GPT 개발사인 오픈AI의 샘 올트먼 최고경영자(CEO)와 미라 무라티 최고기술대표(CTO)를 포함한 IT기업 경영자·과학자 350여명이 성명을 내고 "AI로 인한 인류 절멸의 위험성을 낮추는 것은 글로벌 차원에서 우선순위로 삼아야 한다"고 촉구했다.

* 2008년에 개봉한 영화 이글아이는 미국의 대통령이 인류를 파멸로 이끌 수 있는 위험요소라고 판단한 인공지능 컴퓨터 이글아이(독수리의 눈, 호루스의 눈?)가 대통령을 살해하기 위해 선량한 사람들을 협박하여 테러에 동원하는 내용을 담고 있다.

미국을 안전하게 지켜내기 위해 국방부에서 운영하던 인공지능 컴퓨터 AI가 언제든지 핵전쟁을 일으킬 수 있는 미국 대통령을 미국 안보에 가장 큰 위험요소라고 판단하여 대통령에 대한 테러를 감행한다는 내용이다.

이렇듯 15년 전 공상과학 영화에 등장하던 이야기가 인공지능 컴퓨터의 획기적인 발전과 함께 현실이 되고 있다.

가상의 상황이긴 하지만 미군 AI 드론이 훈련 중 최종 결정권을 지닌 조종자를 '임무 수행 방해물'로 판단해 공격한 사례가 발생한 것이다.

정해진 목표를 달성하기 위해 수단 방법을 가리지 않는 AI의 특성(한계)을 보여준 대표적인 사례라 할 수 있는데, 이런 AI에게 영화 이글 아이처럼 국가의 안보를 책임지는 권한이 주어지면 자신의 목표를 효과적으로 달성하기 위해 대통령과 정치인들을 모두 제거한 뒤 스스로 사람들을 통치하는 독재자의 자리에 서려 할 것이다.

영화 이글아이에서 보여준 AI의 반란이 결국엔 모든 인류를 AI의 노예로 삼는 영화 매트릭스의 세상으로 발전하게 될 것이라는 뜻이다.

이 끔찍한 상상이 현실이 되기 전에 주님이 오실 것이다. 아니 오셔야만 하는 것이다.

- 예레미야 -

[무명이]

(23.06.03 게시글)