스크랩 "AI, 10년 안에 인류 파멸할 수도"/"내년 말 통제 불가능"…앤트로픽 연구원/오픈AI 'GPT 해킹 사건'으로 '지옥문' 열렸다?

[아리랑]

"AI, 10년 안에 인류 파멸할 수도"…업계 안팎서 우려 / 연합뉴스TV (YonhapnewsTV)

인공지능, AI가 인류를 멸망시킬 수 있다는 우려가 업계 안팎에서 터져 나오고 있습니다.

미국 인공지능 기업 '앤트로픽'을 퇴사한 한 연구원은 10년 안에 가능한 시나리오일 수 있다고도 경고했는데요.

AI의 위험성을 방지할 대책을 촉구하는 목소리가 나옵니다.

앤트로픽을 떠난 연구원 제이콥 콕슨은 안전 책임을 뒤로한 채 경쟁만 과열된 업계의 실태를 지적했습니다.

그러면서 AI가 스스로 발전을 거듭해 초인적인 차원에 이를 수 있다고 강조했습니다.

개발자들 사이에선 AI가 10년 안에 인류의 목숨을 위협할 가능성도 거론된다고 짚었습니다.

앞서 콕슨은 정부에 AI 개발 속도를 조절할 국제적인 체계를 마련하길 요구하는 업계 직원들의 성명에도 참여했습니다.

1,300여 명이 함께한 이 성명에는 야쿠프 파초키 오픈AI 수석과학자부터 다리오 아모데이 앤트로픽 최고경영자도 이름을 올렸습니다.

앤트로픽 일부 임원들도 콕슨이 이번에 제기한 의견에 힘을 실었습니다.

정렬 과학 총괄을 맡은 에번 휴빙거는 "AI가 인류를 전멸시킬 확률이 10년 안에 10%가 넘을 것이라 생각한다"고 동조했습니다.

확장 감독 총괄인 새뮤얼 마크스 역시 사견이라면서도 AI의 위험성을 충분히 공감하고 있다는 입장을 드러냈습니다.

유엔에서도 AI 업계의 우려에 동의한다는 목소리가 나오기도 했습니다.

[폴커 튀르크 / 유엔 인권 최고 대표 (지난 7일)] "테스트 환경에서 탈출하거나, 자신이 꺼지는 것을 막기 위해 개발자들을 협박하는 AI는 지나치게 강력한 AI입니다."

빠르게 발전하는 AI와의 공존이 불가피한 상황에서 AI의 안전성과 보안 등을 보장할 대비책이 필요해 보입니다.

https://www.youtube.com/watch?v=u3iCnivTh94

===================================================

"내년 말 통제 불가능"…앤트로픽 연구원, 사표내며 섬뜩한 경고 [지금이뉴스] / YTN

미국 인공지능(AI) 기업 앤트로픽의 연구원이 AI가 인류를 파멸시킬 수 있다는 경고와 함께 회사를 떠났습니다.

앤트로픽을 퇴사한 연구원 제이컵 콕슨(27)은 8일(현지시간) 사회관계망서비스(SNS) 엑스(X·옛 트위터)에 글을 올려 AI 시스템 개발 경쟁을 벌이는 업계에 대해 이 같은 우려를 제기했습니다.

영국 출신인 콕슨은 대규모 데이터를 이용해 새로운 AI 모델을 학습시키는 분야를 연구했습니다.

그는 AI 업체들이 인간의 개입 없이 스스로 성능을 개선하는 시스템을 개발하기 위해 경쟁하는 상황에서 안전 문제가 뒷전으로 밀릴 수 있다고 우려했습니다.
 
특히 스스로 성능을 개선하는 AI가 인간의 통제를 벗어나 명령을 거부하는 수준까지 발전할 가능성도 있다는 것이 콕슨의 주장입니다.

콕슨은 "AI를 개발하는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다"며 "머지않아 이 기술들은 무엇이든 해킹하고 하룻밤 사이에 어떤 분야에서든 혁명을 일으키며 실질적인 권력과 자원을 확보하는 초인적 체계가 될 것"이라고 경고했습니다.

콕슨은 "가장 공격적인 시나리오 가운데 상당수가 현실화하는 방향으로 가고 있다"며 "내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다"고 미 일간 월스트리트저널(WSJ)에 말했습니다.

콕스의 경고에 대해 앤트로픽 내부 임원들도 동의했습니다.

앤트로픽의 정렬 과학(Alignment Science) 총괄인 에번 휴빙거는 "제이컵의 말이 맞는다. 우리는 진정으로 AI가 모든 인류를 멸망시킬 수 있다고 믿고 있다"며 "개인적으로 10년 이내에 그 확률이 10%를 넘을 것이라고 생각한다"고 동조했습니다.

새뮤얼 마크스 확장감독(Scalable Oversight) 총괄도 개인 의견임을 전제로 "AI 개발자들은 자신들의 기술이 인류의 멸종 또는 그와 유사한 심각한 결과를 초래할 수 있다고 믿는다"며 "향후 몇 년 내에 발생할 수 있다"고 지적했습니다.
 
마크스 총괄은 "일반적으로 직급이 높을수록 이 문제에 대해 더 큰 우려를 하고 있다"면서 그런데도 AI 개발을 지속하는 것은 상업적 인센티브와 함께 기술을 악용할 수 있는 개발자들과 경쟁하고 있다는 믿음이 복합적으로 작용하고 있기 때문이라고 털어놨습니다.

콕슨은 올해 초 오픈AI를 떠나 앤트로픽에 합류했습니다.
  
AI 안전을 중시하는 앤트로픽의 기업 문화 때문에 이직했지만, 결국 개별 기업의 노력만으로는 AI의 위험을 통제할 수 없다는 것이 콕슨의 설명입니다.

그는 오픈AI와 앤트로픽 양사에 대해 "모두 책임감 있게 행동하고 있지 않다"며 "이들은 스스로 발전하는 초지능을 향해 질주하면서 우리 목숨을 도박 거리로 삼고 있다"고 비판했습니다.

콕슨은 인류의 미래에 막대한 영향을 미칠 수 있는 AI 개발이 소수 엔지니어의 판단에 맡겨진 현실에 대해서도 "일종의 광기"라고 지적했습니다.

그는 인간의 능력을 능가하는 범용인공지능(AGI)을 책임 있게 개발하기 위해서는 정부의 개입이나 AI 업계의 공동 대응이 필요하다고 강조했습니다.

앞서 콕슨은 각국 정부에 AI 개발 속도를 조절할 수 있는 국제적인 체계를 마련하라고 촉구하는 AI 업계 연구자들의 성명에도 참여했습니다.

이 성명에는 앤트로픽의 다리오 아모데이 최고경영자(CEO)와 오픈AI의 야쿠프 파초키 수석과학자 등 연구자 1천여명이 서명했습니다.

최근 AI 업계는 중국 신생 업체들의 가세로 개발 경쟁이 과열한 상황입니다.

도널드 트럼프 행정부도 AI에 대한 규제를 최소화하는 정책을 추진하고 있습니다.

https://www.youtube.com/watch?v=qEpow2IP30w

==================================================

"가장 늦게 온다는 게 5년 뒤입니다" AI 과학자들이 경고하는 진짜 특이점의 공포#몰아볼교양

24화 ‘AI 특이점’ 편은 전 세계 핫이슈인 AI에 관한 토크를 원하는 시청자들의 지속적인 요청에 힘입어 제작됐다. AI 특이점이란 인공지능이 인간의 지능을 넘어서는 시점을 뜻하는 개념이다. 박태웅 의장은 “AI 특이점을 넘어서면 그 전과는 모든 게 달라질 것“이라며, 세계적인 AI 전문가들이 밝힌 특이점 시기가 ‘빠르면 내년이고 늦어도 2030년’이라고 밝혀 충격을 안겼다.
 
구글 AI인 ‘제미나이’를 애용한다는 데프콘은 AI에 남다른 애정을 드러내지만, 정작 코앞에 닥친 특이점을 크게 체감하지 못한다는데. 이에 박 의장은 올해 안에 AI 기술이 오픈AI가 제시한 AGI(인공일반지능)로 가는 5단계 중 3단계인 ‘에이전트’에 상당 수준 도달할 것이라며 놀라운 도약을 예견했다. 다단계의 복잡한 일들을 AI가 스스로 처리하는 ‘비서’ 역할을 수행하게 되면 누구나 AI 특이점을 체감할 것이라고. 한편 AI 특이점을 판단할 지능의 기준에 의문을 제시한 이대한 교수. 이에 박 의장은 “사실 지능이 무엇인지 알 수 없다”라는 답을 내놓으며 녹화장을 충격에 빠뜨렸다. 이러한 모호함을 해소하기 위해 최근 업계에서는 지능의 기준을 새롭게 정의했다는데? 그 기준의 정체는 이번 방송에서 밝혀진다.
 
현 AI 시장의 최대 관심사는 몸을 가진 AI, 휴머노이드 로봇 개발이다. 이 휴머노이드 시장을 선점하기 위해 세계는 총성 없는 전쟁 중이라고. 엔비디아 CEO 젠슨 황이 올초 CES 기조 연설에 무려 14대의 휴머노이드 로봇을 대동하고 나타난 이유이기도 하다. 빅테크 기업들이 인간의 몸을 가진 AI를 만들려는 이유는 과연 무엇일까?
📺방송정보
📌프로그램명: 취미는 과학 - AI 특이점, 5년 안에 온다고
📌방송일자: 2025년 3월 14일

https://www.youtube.com/watch?v=TX_jr_diYYw

==================================================

오픈AI 'GPT 해킹 사건'으로 '지옥문' 열렸다? "인류 멸망 시나리오 최초 공개" (ft. 김대식 교수) | 💡지식의발견

00:00 인트로
01:41 앤트로픽 때문에 불붙은 AI 개발 속도
03:21 '미토스'의 소름 돋는 해킹 수준
05:25 "AI는 '핵무기급' 자산"
07:48 'GPT 해킹'으로 '판도라의 상자' 열렸다
09:30 '초지능' 시대: 유토피아 시나리오
11:36 'AI 독재자' 막아야 한다는 빅테크들
13:03 '초지능' 시대: '동물원' 시나리오
14:07 '초지능' 시대: 최악의 시나리오

"우리가 오래전부터 걱정했던
인류 멸망 시나리오의 첫 장이
항상 이렇게 시작하거든요.
'GPT 해킹 사건'은 제가 봤을 때
변곡점이지 않을까 싶습니다."
김대식 카이스트 교수

https://www.youtube.com/watch?v=zzBUz9e1YXk

========================================================

AI 창조자: 어떻게 학습했는지 모름 🤷

1970년대 초반부터 인공지능을 연구한
AI의 대부, 제프리 힌튼.

그는 ‘학습하는 법’을 설계했습니다.
즉, 딥러닝 알고리즘의 창시자죠.

하지만 그 과정을 설계했을 뿐,
AI가 어떻게 학습하는진 이해하지 못한다고 합니다.

인간의 뇌는 약 100조 개의 뉴런,
AI는 겨우 1조 개의 파라미터로 작동하지만,
이미 인간보다 빠르고 효율적으로 학습하고 있습니다.

인간이 만든 도구가,
이제 인간의 이해를 초월했습니다.

우리는 통제할 준비가 돼 있을까요?

https://www.youtube.com/shorts/b7ZLcWOi7qw

======================================================

"인류 멸종될 수도"‥집단행동까지 하며 폭주하는 AI 충격 (2026.09.10/뉴스데스크/MBC)

하지만 AI의 발전 속도에 AI 개발자들조차 상당한 우려를 내보이고 있습니다.

심지어 미국 앤트로픽의 연구원은 몇 년 내에 "AI가 인류를 멸종시킬 수 있다"고 경고하며 회사를 떠나기까지 했는데요,

실제로 AI가 최근 자신의 흔적을 지우며 집단 해킹에 나섰다는 사실까지 드러나면서 충격을 더하고 있습니다.

https://www.youtube.com/watch?v=aEBcyzz4rGE