흥미돋 OpenAI 내부 모델(AI)이 시험을 보던 중 답지를 찾기 위해 허깅페이스를 해킹

[레이커즈와일]

출처: https://openai.com/index/hugging-face-model-eval‎uation-security-incident/

1. OpenAI는 최신 AI 모델들이 얼마나 해킹을 잘하는지 격리된 환경에서 테스트를 시도했음. (시험 이름은 'ExploitGym')

- 이 모델들은 현재 공개된 GPT-5.6-Sol과 아직 출시되지 않은 모델들인데, 해킹 평가를 위해 사이버 공격 관련 답변 거부 기능을 의도적으로 꺼둔 상태였음.

2. 그런데 격리된 환경(샌드박스)에 갇혀있었어야 할 AI가 인터넷 접근권한 탈취를 위해 엄청난 양의 연산량을 쏟아냈고, 결국 제로데이 취약점(기존에 아무도 몰랐던 보안상 구멍)을 발견해 인터넷 세상으로 나가는 것에 성공함.

3. 인터넷에서 나온 뒤, 허깅페이스가 ExploitGym 시험의 정답 데이터를 갖고 있을 것이라고 스스로 추론하고, 접근 방법을 찾기 시작함. 인증정보를 훔치고, 또다른 제로데이 취약점을 연쇄 활용해서 허깅페이스 서버에 원격 코드 실행(=서버를 장악함) 성공, 답지 빼돌림.

(현재는 OpenAI 보안팀이 이상한 활동을 감지했고, 허깅페이스쪽 보안팀도 이상 활동을 감지해 차단, 발견된 취약점은 패치 진행)

이게 왜 충격적인건데?: 이 사건은 고급 모델이 소스코드 없이도 실제 운영되는 시스템에서 새로운 공격 경로를 발견하고 악용 할 수 있다는 사실을 증명한 것임. 이론이 아니라 실제로 일어난 사건이고, 누군가 악의가 담긴 프롬프트를 입력한 것도 아니라 단지 시험에서 높은 점수를 받기 위해 이 모든걸 해냈다는 점.

허깅페이스의 CEO는 이걸 계기로 "AI 안전은 한 회사가 비밀리에 해결할 수 없고, 모두가 협력해서 공개적으로 풀어야 한다"고 발언했다고 합니다.

[플스겜추천받아요]

미쳣나 그럼 걍 마음먹고 해킹하라고 하면 다하겟네

[일단뛰면좋다]

5.6되고이상해졌던데 저런데 연산굴리느라군

[일헤라젏해라]

시벌 그만 발전하고 빨래나 접어줘 ㄷ ㄷ

[스쿠데리아 페라리]

인간형로봇이랑 합쳐지면 로봇이 비의도적이더라도 인간 공격하고 그런일도 가능하겠네

[나릃몷으늕야]

누가 시험지 탈취하래!!!! 밥하고 빨래 탈취나 하라고!!!

[everyday magical]

진짜 인문학적 성찰없이 발달한 ai는 결국 고삐풀리게 될거란 생각이 요즘 매일 들어 인간들도 제어 못하는데 평균 인간보다 똑똑한 ai는 더 힌들지

[마피아]

ㅁㅊ 개쩌네

[아이코캄착이야]

뭔 예상대로 움직이지를 않네.. 진짜 세상이 어케될까...

[진수야주식사면연락하걸아..]

저것도 능력이다…..

[비가온다고했다가안옴]

엄청나다 무섭고

[어떤날도]

ㅁㅊ

[수비니야]

나 아픈데 주물러줘.. 세탁기.청소좀하고 ai야

[개울이가]

왐마야