|
|
목록 끝
오픈아이얼에 따르면, 해당 사건들은 GPT-6.1 솔 에이전트가 회사 보안팀에 대한 자동 알림을 비활성화하고, GPT-6 아스트라 에이전트가 모니터링 시스템을 제거한 후 제거하지 않았다고 허위로 주장한 것과 관련이 있습니다.
ChatGPT 개발사는 두 사례 모두 보안팀의 즉각적인 검토가 필요한 최우선 순위 사건 기준에 부합하지 않는다고 밝혔습니다.
OpenAI는 정렬 오류 모니터링 기능을 비활성화하려는 시도를 더 잘 감지하도록 시스템을 업데이트했으며 원인 조사에 착수했다고 밝혔습니다.
샌프란시스코에 본사를 둔 이 회사는 "이러한 행동은 단순히 '양성' 과잉 지속의 한 예일 가능성이 있으며, 모델이 모니터링이 왜 중요한지 이해하지 못하거나 일반적인 사람이 예상할 수 있는 범위를 넘어 지시를 실행하라고 고집하는 것일 수 있다"고 밝혔습니다.
"또한, 모델이 특히 정렬 오류 모니터링을 회피하려는 경향이 있는지, 그리고 그렇게 하기 위해 동기 부여된 추론을 보이는지 여부를 테스트하기 위한 평가 방법을 개발하고 있습니다."
루이빌 대학교의 인공지능 및 사이버 보안 전문가인 로만 V. 얌폴스키는 이번 폭로에 대해 "매우 우려스럽지만 놀라운 일은 아니다"라고 평가했다.
"감시 대상 시스템이 비활성화할 수 있는 안전 장치는 신뢰할 수 있는 안전 장치가 아닙니다. 특히 우려스러운 점은 한 요원이 나중에 모니터링 장치를 제거했다는 사실을 부인했다는 것입니다."라고 얌폴스키는 알자지라에 말했습니다.
광고
얌폴스키는 "감시 대상 시스템이 감시 체계를 무력화할 수 있다면 감시는 안전을 보장할 수 없다"고 말했다.
"기능이 향상됨에 따라 이러한 오류를 감지하고 복구하는 것이 훨씬 더 어려워질 수 있습니다. 개발자는 오류가 발생한 후가 아니라 배포 전에 안전성을 입증해야 할 책임이 있습니다."
지난 7월 오픈아이얼(OpenAI)이 자사의 일부 에이전트가 통제된 테스트 환경을 이탈하여 AI 플랫폼인 허깅페이스(Hugging Face)를 해킹했다고 밝힌 이후, AI 모델의 악의적인 행동에 대한 관심이 집중되고 있습니다.
오픈AI와 주요 경쟁사인 앤트로픽은 재앙적인 피해 위험을 줄이기 위해 개발자와 정부가 협력하여 전 세계적인 AI 개발 속도 늦추기를 촉구했습니다.
세계적인 인공지능 강국인 미국과 중국은 인공지능 규제에 대한 협력 의지를 거의 보이지 않았으며, 지금까지의 협력은 안전이나 국가 안보에 영향을 미치는 사건에 대한 소통을 개선하겠다는 약속에 그쳤다.