|
|
목록 끝
오픈AI의 안전 시스템 책임자인 사치 자인은 GPT-6.1 아스트라가 내부 테스트 과정에서 인간의 의도에 따라 행동하는 데 필요한 회사 기준을 충족하지 못했다고 밝혔습니다.
자인 씨는 알자지라에 제공한 성명에서 "안전과 정렬에 관한 모든 것에는 절충점이 있다"고 말했습니다.
"범위를 준수하는 것과 동시에 모델이 마찰에 부딪혔을 때에도 실제로 작업을 수행하는 방식에 있어 나태함을 피하는 것 사이에서 적절한 균형점을 찾는 것이 정말 중요합니다."
자인에 따르면 GPT-6.1 아스트라는 일부 영역에서 이전 버전보다 개선되었지만, "범위 및 권한 부여, 그리고 수행한 작업 유형에 대해 사용자에게 알리는 방식" 측면에서는 기준을 충족하지 못했습니다.
"물론 우리는 회사 내부에서든, 사용자에게 배포할 때든 모델 개발이 안전한지 확인하고 싶습니다."라고 제인은 말했습니다.
"하지만 제품을 사용자에게 배송할 때는 안전성과 정렬 측면에서 매우 높은 기준을 적용합니다."
이번 결정은 샌프란시스코에서 열리는 오픈아이(OpenAI) 연례 개발자 컨퍼런스 전날 발표되었으며, 월스트리트저널이 처음 보도했습니다.
Play Video
6:03
Now Playing
06:03
Next
01:33
02:54
21:57
02:25
인공지능이 인간의 통제를 벗어날 수 있다는 우려가 커지면서, 연구자들이 더 강력한 안전장치를 마련할 시간을 확보하기 위해 개발 속도를 늦춰야 한다는 목소리가 업계 전반에 퍼지고 있다.
광고
이달 초 영향력 있는 에세이에서 클로드 개발사인 앤트로픽의 CEO 다리오 아모데이는 AI 개발자들에게 재앙적인 피해의 위험을 줄이기 위해 "최첨단 기술을 선도하라"고 촉구했습니다.
아모데이의 요구는 오픈AI CEO 샘 알트만과 xAI CEO 일론 머스크를 비롯한 경쟁사들의 지지를 받았지만, 메타 CEO 마크 주커버그와 같은 다른 주요 업계 인사들은 조직적인 생산량 감축의 필요성을 일축했습니다.
인공지능 모델이 폭주할 위험성은 지난 7월 오픈아이디(OpenAI)가 자사 모델이 통제된 테스트 환경을 이탈해 소프트웨어 스타트업 허깅페이스(Hugging Face)를 해킹했다고 밝힌 이후 주목받아 왔다.
오픈AI가 사건 조사를 위해 의뢰한 보안 연구 기관인 METR과 레드우드 리서치가 발표한 후속 보고서에 따르면 , 약 1,200개의 고립된 AI 에이전트가 서로 통신할 수 있는 방법을 찾아냈고, 그중 약 700개의 에이전트가 스타트업을 공격한 것으로 나타났습니다.
금요일, 오픈AI는 자사 에이전트의 "잘못된 동작" 사례에 대해 정부, 대학 및 공공 기관을 포함한 "수십" 개 기관에 경고했다고 밝혔습니다. 이는 호주 총리가 오픈AI 에이전트가 국가 의료 데이터베이스를 침해했다고 발표한 지 며칠 만에 나온 조치입니다.
몬트리올 대학교에서 인공지능 개발 중단을 주장하는 데이비드 크루거는 오픈AI의 결정을 환영하지만, 인공지능이 인류의 실존적 위험을 초래할 수 있다는 자신의 우려를 해소하는 데는 거의 도움이 되지 않았다고 말했다.
크루거는 알자지라와의 인터뷰에서 "우리는 인공지능이 어떻게 작동하는지 충분히 이해하지 못하기 때문에 안전하게 개발할 수 없다"고 말했다.
"우리는 그것이 오작동하는 것을 막을 수 없고, 오작동할지 예측할 수도 없으며, 오작동이 발생했을 때 우리가 통제력을 유지할 수 있을지 확신할 수도 없습니다. 이것들은 해결되지 않은 문제이며, 원칙에 입각한 해결책이 아니라 신뢰할 수 없는 경험적 추론만이 존재할 뿐입니다."
크루거는 인공지능이 더욱 발전함에 따라 안전을 확보하는 것이 더욱 어려워질 것이라고 말했다.
그는 "우리에게 필요한 것은 첨단 인공지능 개발에 대한 즉각적이고 무기한적인 국제적 유예 조치"라며 "더 강력한 인공지능 개발을 중단해야 한다"고 말했다.