오염 정보 노출시켜 자기편끼리 공격…정교해지는 인공지능 교란전술

[하충열]

오염 정보 노출 확증편향 일으키고 자기편끼리 공격

첨단무기와 미래 전쟁 - 점점 더 정교해지는 인공지능 교란전술

무인 무기체계 실전배치 필수시대
단시간 방대한 분량 학습 취약성 노출
‘임의 오분류’ 적 외부 공격 기회 제공
미군, 결합한 모든 영역 지휘통제 준비
육·해·공군 표적정보·공격계획 공유
완벽한 대안 준비 못하면 한순간 종말

실제 전투기를 활용한 인간과 AI 간의 모의공중전이 성공하면서 AI가 통제하는 무인 무기체계에 관심이 높아지고 있다. 사진은 F-16 전투기와 편대비행 중인 NGAD(Next Generation Air Dominance) 상상도. 출처=보잉사 홈페이지(www.boeing.com/defense)

최근 인공지능(AI·Artificial Intelligence 혹은 Machine Intelligence)이 통제하는 무인 전투기와 사람이 직접 조종하는 전투기 간의 모의공중전이 벌어져 그 결과에 관심이 집중되고 있다. 그동안 가상공간에서 인간과 AI 간의 모의공중전은 수차례 일어났지만, 공중에서 실제 전투기를 활용한 모의공중전은 이번이 처음이기 때문이다. 한편 미 육군 관계자와 일부 전문가는 점점 더 정교해지는 AI 교란전술에 대비하지 않으면 무분별한 AI 무기체계 확산이 오히려 통제 불가능한 대재앙으로 이어질 수 있다고 경고한다.


눈앞의 현실로 다가온 AI 무기 실전배치

최근 미 국방고등연구계획국(DARPA)은 AI가 조종하는 X-62A VISTA(Variable Stability In-flight Simulator Test Aircraft) 실험기와 미 공군 F-16C 전투기 간의 모의공중전이 성공적으로 진행됐다고 밝혔다. 이번 발표는 인간과 AI가 조종하는 무인 전투기 간의 공중전이 먼 미래가 아닌 눈앞의 현실로 성큼 다가온 것을 상징하는 하나의 이정표다.

현재 DARPA와 미 공군은 미래 공중전 혁신을 목표로 항공전투 진화(ACE·Air Combat Evolution) 계획을 진행 중이다. 그동안 컴퓨터를 활용한 가상공간에서 인간과 AI 간의 모의공중전·시험평가는 수차례 이뤄졌지만 실제 전투기를 활용한 사례는 이번이 최초다. 참고로 인간과 AI 간의 모의공중전에 활용되는 X-62A VISTA는 2명의 조종사가 탑승할 수 있지만 모의공중전에선 인간이 아닌 AI가 완벽하게 통제한 것으로 알려졌다. 또한 2022년 12월부터 2023년 9월까지 총 21회의 각종 시험평가가 이뤄져 AI 완성도를 높였다는 후문이다.


더 빠르고 영리해진 AI

미 공군을 위한 AI 조종사를 개발 중인 ‘실드(Shield) AI’는 AI의 기계학습(Machine Learning)을 통해 향후 AI가 통제하는 무인 전투기가 미래 공중전의 대세가 될 것이라고 자신한다.

처음 시작은 어렵지만 일정 수준 이상 도달하면 상상을 초월하는 AI의 학습 능력 덕분에 엄청난 속도로 진화하기 때문이다. 여기에 더해 AI가 통제하는 무인 무기들이 서로 연계해 지금까지는 볼 수 없었던 정교한 집단공격이 가능하다는 점 역시 국면전환자(Game Changer)로 불리기에 손색이 없다. 현재 AI가 통제하는 X-62A VISTA의 모의공중전 결과에 고무된 DARPA와 미 공군은 기존 F-16 전투기 6대를 무인 전투기로 개조하는 ‘프로젝트(Project) VENOM(Viper Experimentation and Next-Gen Operations Mode)’ 진행에도 박차를 가하고 있다. 지금과 같은 추세라면 미 공군 내에서조차 완전히 새로 설계된 무인 전투기의 실전배치보다 기존 유인 전투기의 무인화가 더 빠르게 진행될 수도 있다. 또한 최신형 AI 무인 전투기의 확보가 불가능한 국가들 역시 이미 도태되거나 퇴역한 구형 전투기들을 AI 무인기로 개조해 보다 공격적으로 운용할 가능성도 열렸다.

최근 미 공군 F-16C 전투기와 모의공중전을 성공적으로 진행한 X-62A VISTA 실험기는 원격제어가 아닌 AI가 스스로 판단하고 조종하도록 개조됐다. 출처=록히드마틴 홈페이지(news.lockheedmartin.com)

확증편향과 세뇌된 AI? 

이처럼 국방 분야에서 AI에 의해 통제되는 무인 무기체계(UWS) 개발과 실전배치는 선택이 아닌 필수다. 문제는 AI 교란전술 역시 AI의 눈부신 발전 속도만큼이나 점점 더 빠르고 정교해지고 있다는 것이다. 아직 일반인에게는 생소한 AI 교란전술은 인터넷이란 정보의 바다에 독을 풀어 AI를 중독시키거나 아예 잘못된 판단을 내리도록 하는 정보조작 기술의 하나다. 문제는 AI 학습을 위해 짧은 시간 이뤄지는 방대한 분량의 정보에 대한 사실 여부를 인간이 일일이 확인할 수 없다는 것이다.

이러한 취약점은 AI 교란전술을 펴는 적에게 아주 좋은 외부 공격 기회를 제공할 수 있다. 바로 ‘임의 오분류(arbitrary misclassification)’ 공격에 취약한 AI의 기계학습 능력 때문이다. 실제로 2016년 개발된 마이크로소프트 테이(Tey)부터 2023년 선보인 챗GPT까지 일반에게 공개된 상업용 AI들은 정보의 블랙홀로 불릴 정도로 엄청난 정보을 여과 없이 수집했다. 문제는 이렇게 수집된 방대한 정보를 학습하는 과정에서 잘못된 정보와 지식, 인종차별 등을 함께 익혔다는 것이다. 그 결과 AI가 반사회적 성향을 드러내거나 사춘기 청소년과 같은 일탈행동으로 사회적 물의를 일으키기도 했다.


적군의 AI 교란전술에 대항하라 

지난 17일 미 육군의 소프트웨어 획득을 책임지고 있는 제니퍼 스완슨 부차관보 역시 공개석상에서 의도적으로 오염된 정보는 AI에 치명적 오류를 일으킬 수 있다고 경고했다. 그는 미국이 개발 중인 AI를 향한 적들의 공격이 확인되고 있으며, 오염된 정보에 지속 노출된 AI가 확증편향(Confirmation bias)을 일으키거나 잘못된 판단으로 적군이 아닌 아군을 공격할 수도 있다고 주장했다. 물론 온실 속 화초처럼 군사용 AI를 보호할 수도 있다.

하지만 실제 전쟁에서 AI를 활용하기 위해 꼭 필요한 외부 정보 습득 과정에서 벌어질 수밖에 없는 게 적군의 AI 교란전술에 의한 오염된 정보의 노출이다. 스완슨 부차관보는 방대한 정보의 바닷속에서 올바른 정보를 찾고 확인하는 게 점점 더 어려워지고 있다고 지적한다.

이러한 문제를 극복하고자 미군은 올바른 정보를 획득하고 AI를 활용해 지상·공중·해상·우주 및 사이버공간에서의 미래 전투작전을 총괄하는 ‘결합한 모든 영역의 지휘통제(CJADC2·Combined Joint All-Domain Command and Control)’를 준비 중이다. 또한 미 국방부는 CJADC2와 육군의 프로젝트 컨버전스(Project Convergence), 해군의 프로젝트 오버매치(Project Overmatch), 공군의 AMBS를 연동하는 것은 물론 표적정보와 공격계획을 실시간 공유하는 것을 목표로 하고 있다.


새로운 도약 준비하는 AI와 무인 무기체계

2001년 벌어진 테러와의 전쟁 이후 드론으로 상징되는 무인 무기체계의 눈부신 발전은 전쟁 양상 자체를 끊임없이 변화시켰다. 2022년 벌어진 러시아의 우크라이나 무력침공은 드론을 전쟁의 승패를 좌우하는 결정적 존재로 격상시켰다. 이제 미국을 중심으로 하는 군사 강대국들이 준비한 드론과 AI를 결합한 무인 무기들이 다음 전쟁을 준비하고 있다.

AI가 통제하는 드론, 즉 무인 무기체계가 다음 전쟁의 주역이 될 것이라는 사실엔 이견의 여지가 없다. 지금까지의 드론이 각각 독립된 개체로 움직였다면 AI가 통제하는 드론은 하나의 통일된 군집으로 집단전투가 가능하다는 특징이 있기 때문이다. 하지만 드론과 AI를 결합한 무인 무기들의 우수성에도 불구하고 AI의 외부 오염 취약점이 해결되지 않는 이상 무기로서 신뢰성을 보장할 수 없다는 문제가 걸림돌이 되고 있다. 기계가 인간을 공격하는 영화 속 장면이 조만간 현실에서 실제로 벌어질 수 있다는 뜻이다. 끊임없이 자신을 변화시키고 새로운 답을 찾아가는 기계학습 AI의 특징은 분명한 장점이지만, 의도하지 않은 결정이나 특정 정보에 대한 집착은 언제든 벌어질 수 있는 잠재적 위협이다. 아직은 AI의 신뢰성을 확인할 수 없다는 문제 역시 AI 무인 무기체계 확보에 앞서 해결해야 할 숙제다.

만약 AI 교란전술에 완벽한 대안을 준비하지 못한다면 인류 문명은 우리 손으로 만든 AI에 의해 한순간에 종말을 맞이할 수도 있다. 아직은 걸음마 수준에 불과한 AI 무기는 양날의 칼이다. AI 무기 개발과 실전배치에 신중을 기해야 하는 이유가 여기에 있다.