직원들은 OpenAI, Google이 AI의 위험을 무시하고 있다고 주장하며 대중에게 '경고할 권리'를 주어야 합니다.

[이매진]

직원들은 OpenAI, Google이 AI의 위험을 무시하고 있다고 주장하며 대중에게 '경고할 권리'를 주어야 합니다.

https://nypost.com/2024/06/04/business/openai-google-ignoring-risks-in-race-for-advanced-ai-should-allow-right-to-warn-public-employees/

Employees claim OpenAI, Google ignoring risks of AI — and should give them ‘right to warn’ public

AI 내부 고발자 그룹은 Google 및 ChatGPT 창시자인 OpenAI와 같은 거대 기술 기업이 인류를 위협할 수 있는 기술을 개발하기 위해 무모한 경쟁을 벌이고 있다고 주장하며 화요일 공개 서한을 통해 대중에게 "경고할 권리"를 요구했습니다.

OpenAI, Google DeepMind 및 Anthropic의 현직 및 전직 직원이 서명한 공개 서한은 "AI 회사는 효과적인 감독을 피하기 위해 강력한 재정적 인센티브를 가지고 있다"고 경고하고 고급 AI 개발에 대한 연방 규정이 부족하다는 점을 언급했습니다.

작업자들은 잘못된 정보의 확산, 불평등 악화, 심지어 “잠재적으로 인류 멸종을 초래할 자율 AI 시스템의 통제력 상실”을 포함한 잠재적인 위험을 지적합니다. 특히 OpenAI와 다른 기업이 이와 동등한 역량을 갖춘 소위 고급 일반 지능을 추구함에 따라 더욱 그렇습니다. 또는 인간의 마음을 능가합니다.

5

Sam Altman은 ChatGPT 제작자 OpenAI의 CEO입니다.게티 이미지

서신 주최자 중 한 명인 전직 OpenAI 직원 다니엘 코코타일로(Daniel Kokotajlo)는 성명에서 “기업들은 AI의 위험과 영향을 무시한 채 더욱 강력한 인공 지능을 개발하고 배포하기 위해 경쟁하고 있습니다.”라고 말했습니다. “저는 OpenAI가 특히 인공 일반 지능을 추구할 때 책임감 있게 행동할 것이라는 희망을 잃었기 때문에 떠나기로 결정했습니다.

00:00

00:00

Kokotajlo는 "그들과 다른 사람들은 '빠르게 움직이고 파괴하는' 접근 방식을 받아들였습니다. 이는 이렇게 강력하면서도 잘 이해되지 않는 기술에 필요한 것과 정반대입니다"라고 덧붙였습니다.

더 탐색하기

슈퍼모델 지지(Gigi)와 벨라(Bella)의 아빠인 모하메드 하디드(Mohamed Hadid)는 5번째 파산 신청 후 격렬한 불화의 '피해자'라고 주장했습니다.

캘리포니아 최저 임금법의 첫 번째 피해자가 된 후 사랑받는 패스트푸드 체인이 문을 닫습니다

AT&T가 아닌 고객에게 전화를 걸 수 있는 고객의 능력에 영향을 미치는 AT&T의 '전국적인 문제'는 7시간 후에 해결되었습니다.

2022년 AI 발전 차트 작성에 주력하는 연구원으로 OpenAI에 합류한 코코타일로(Kokotajlo)는 뉴욕타임스 에 따르면 첨단 AI가 미래에 인류를 파괴하거나 심각한 해를 끼칠 확률을 무려 70%로 내다봤다.  처음으로 편지로 보고했습니다.

그는 연구자들이 2027년까지 인공 일반 지능을 달성할 확률이 50%라고 믿습니다.

이 서한은 지난해 ' 악성 AI의 위협이 기후 변화보다 인류에게 더 시급하다'고 경고한 'AI의 대부'로 알려진 두 명의 저명한 전문가인 제프리 힌튼과 캐나다의 컴퓨터 과학자 요슈아 벤지오의 지지를 이끌어냈습니다. 영국의 유명한 AI 연구원인 스튜어트 러셀(Stuart Russell)도 이 편지를 지지했습니다.

이 서한은 거대 AI 기업들에게 투명성을 높이고 공개적으로 발언하는 내부 고발자를 보호하기 위해 고안된 4가지 원칙을 약속할 것을 요청합니다.

여기에는 안전 문제에 대해 발언하는 직원에 대해 보복하지 않기로 합의하고 내부 고발자가 대중과 규제 기관에 위험에 대해 경고할 수 있는 익명 시스템을 지원하기로 한 합의가 포함됩니다.

5

“AI의 대부”로 알려진 유명한 연구원인 제프리 힌튼(Geoffrey Hinton)도 이 편지를 지지했습니다.로이터

AI 기업들에게는 영업비밀이 공개되지 않는 한 '공개적 비판 문화'를 허용하고, 비방금지 협약이나 비공개 협약을 체결하거나 집행하지 않겠다는 약속도 요구된다.

화요일 오전 현재, 서한 서명자에는 총 13명의 AI 작업자가 포함되어 있습니다. Kokotajlo, Jacob Hilton, William Saunders, Carroll Wainwright 및 Daniel Ziegler를 포함하여 총 11명이 이전 또는 현재 OpenAI에 근무하고 있습니다.

Saunders는 “독립 전문가, 정부, 대중과 위험에 대한 정보를 공유할 수 있는 방법이 있어야 합니다.”라고 말했습니다. "오늘날 최첨단 AI 시스템의 작동 방식과 배포와 관련된 위험에 대해 가장 잘 아는 사람들은 보복 가능성과 지나치게 광범위한 기밀 유지 계약으로 인해 완전히 자유롭게 발언할 수 없습니다."

5

DeepMind는 Google이 소유한 AI 연구소입니다.로이터

다른 서명자에는 전 Google DeepMind 직원 Ramana Kumar와 이전에 Anthropic에서 근무했던 현재 직원 Neel Nanda가 포함되었습니다.

의견을 요청했을 때 OpenAI 대변인은 회사가 필요한 보호 장치가 마련될 때까지 AI 제품을 출시하지 않은 입증된 기록을 가지고 있다고 말했습니다.

OpenAI는 성명을 통해 “우리는 가장 유능하고 안전한 AI 시스템을 제공한 실적을 자랑스럽게 생각하며 위험 해결에 대한 우리의 과학적 접근 방식을 믿습니다.”라고 밝혔습니다.

5

현재 및 전 OpenAI 직원 11명이 이 편지에 서명했습니다.게티 이미지를 통한 NurPhoto

"우리는 이 기술의 중요성을 고려할 때 엄격한 토론이 중요하다는 점에 동의하며, 전 세계 정부, 시민 사회 및 기타 커뮤니티와 계속해서 협력할 것입니다."라고 회사는 덧붙였습니다.

Google과 Anthropic은 논평 요청에 즉시 응답하지 않았습니다.

이 서한은 OpenAI가 "인류의 무력화 또는 심지어 인간 멸종으로 이어질 수 있는" 고급 일반 지능(AGI) 시스템에 대한 안전 조치를 만드는 일을 담당하는 "Superalignment" 안전 팀을 해산했다는 사실이 폭로된 지 불과 며칠 만에 발표되었습니다.

손끝에서 바로 최신 비즈니스 뉴스로 하루를 시작하세요

일일 비즈니스 보고서 뉴스레터를 구독하세요!

당신의 이메일 주소를 입력 해주세요

위를 클릭하면 이용약관 및 개인정보 보호정책 에 동의하게 됩니다 .

팀을 이끌었던 두 명의 OpenAI 임원인 공동 창립자 Ilya Sutskever와 Jan Leike는 이후 회사에서 사임했습니다. Leike는 회사를 떠나면서 "안전이 "빛나는 제품보다 뒷자리를 차지했다"고 주장하면서 회사를 비난했습니다.

다른 곳에서는 지난해 샘 알트먼(Sam Altman)을 회사 CEO로 잠시 축출하는데 성공한 그룹의 일원이었던 전 OpenAI 이사회 멤버인 헬렌 토너(Helen Toner)는 재임 기간 동안 그가 반복적으로 거짓말을 했다고 주장했습니다.

토너는 자신과 다른 이사회 구성원이 Altman으로부터 2022년 11월 ChatGPT의 출시에 대해 알지 못했고 대신 Twitter에서 데뷔에 대해 알게 되었다고 주장했습니다.

5

전 OpenAI 이사회 회원인 Helen Toner는 Sam Altman의 리더십에 대해 비판적이었습니다.Vox Media용 게티 이미지

어떻게 생각하나요? 가장 먼저 댓글을 남겨보세요. 

OpenAI는 ChatGPT를 지원하는 AI 모델의 새 버전을 교육하기 시작하면서 Altman을 포함하는 새로운 안전 감독 위원회를 설립했습니다.

회사는 외부 검토 결과 안전 문제가 Altman 해임의 요인이 아니라고 판단했다고 지적하면서 토너의 주장을 반박했습니다.