OpenAI, 인공지능에 대한 계획 발표 (2/24) : Planning for AGI and beyond

[정민섭]

Planning for AGI and beyond (openai.com)

Planning for AGI and beyond

미국 현지 시간 기준 2월 24일 OpenAI사의 CEO인 Sam Altman*이 블로그에 올린 글을 아래와 같이 번역했다.

* 샘 알트먼 : 인공지능을 안전하고 이로운 방향으로 발전시키기 위한 연구 조직인 OpenAI의 CEO

간단히 요약하자면, AGI가 있는 세상으로 점진적으로 전환하는 것이 갑자기 전환하는 것보다 낫다는 설명과, 이를 위해 가장 좋은 방법은 빠른 학습과 신중한 반복의 긴밀한 피드백 루프라고 설명한다. 이론상 옳아 보이는 것이 실제로는 예상보다 더 이상하게 전개되는 경우가 많다는 점을 언급하며, 한 번의 기회로 제대로 해내야 한다는 이야기도 한다. 주석에서 이런 것들을 구현하기 위한 한계때문에 비영리단체에서 출발해서 현재의 구조로 전환했다는 설명도 덧붙인다. 그럼에도, 필요한 경우 안전을 위해 주주에게 권익 포기를 요청할 수 있도록 한다는 문구를 보면 여전히 자신들의 임무는 인공 일반 지능(일반적으로 인간보다 더 똑똑한 AI 시스템)이 모든 인류에게 혜택을 주도록 하는 것이라는 가치는 지키고 있는 것 같았다.

-------------------------------------------------------------------------------

Planning for AGI and beyond 일반 인공 지능 및 그 이후를 위한 계획
Sam Altman February 24, 2023

우리의 임무는 인공 일반 지능(일반적으로 인간보다 더 똑똑한 AI 시스템)이 모든 인류에게 혜택을 주도록 하는 것입니다.

AGI가 성공적으로 만들어지면 이 기술은 풍요를 증가시키고 세계 경제를 가속화하며 가능성의 한계를 바꾸는 새로운 과학 지식의 발견을 지원함으로써 인류를 향상시키는 데 도움이 될 수 있습니다.

AGI는 모든 사람에게 놀라운 새로운 기능을 제공할 수 있는 잠재력을 가지고 있습니다. 우리는 우리 모두가 거의 모든 인지 작업에 도움을 주고 인간의 독창성과 창의성에 큰 힘을 배가시키는 세상을 상상할 수 있습니다.

반면에 AGI는 오용의 심각한 위험, 심각한 사고 및 사회적 혼란을 수반합니다. AGI의 장점이 너무 크기 때문에 우리는 사회가 AGI의 개발을 영원히 중단하는 것이 가능하거나 바람직하지 않다고 생각합니다. 대신 AGI의 사회와 개발자는 AGI를 올바르게 만드는 방법을 알아내야 합니다.[1]
무슨 일이 일어날지 정확히 예측할 수 없고 물론 현재 진행 상황이 벽에 부딪힐 수도 있지만 가장 중요한 원칙을 분명히 할 수 있습니다.

우리는 AGI가 인류가 우주에서 최대한 번창할 수 있도록 힘을 실어주기를 원합니다. 우리는 미래가 무자비한 유토피아가 되리라고 기대하지 않지만 좋은 것은 최대화하고 나쁜 것은 최소화하고 AGI가 인류의 증폭기가 되기를 원합니다.
우리는 AGI의 이점, 액세스 및 거버넌스가 광범위하고 공정하게 공유되기를 바랍니다.
우리는 막대한 위험을 성공적으로 탐색하기를 원합니다. 이러한 위험에 직면할 때 우리는 이론상 옳아 보이는 것이 실제로는 예상보다 더 이상하게 전개되는 경우가 많다는 점을 인정합니다. 우리는 "one shot to get it right"* 시나리오를 최소화하기 위해 덜 강력한 기술 버전을 배포하여 지속적으로 배우고 적응해야 한다고 생각합니다.

* "one shot to get it right" : "한 번의 기회로 제대로 해내야 한다" 또는 "한 번의 기회밖에 없다. 그 기회를 놓치지 말자"

The short term 단기

AGI를 준비하기 위해 지금 해야 할 중요하다고 생각하는 몇 가지 사항이 있습니다.

첫째, 우리는 계속해서 더 강력한 시스템을 만들면서 이를 배포하고 실제 세계에서 운영하는 경험을 쌓기를 원합니다. 우리는 이것이 AGI를 신중하게 관리하는 가장 좋은 방법이라고 믿습니다. AGI가 있는 세상으로 점진적으로 전환하는 것이 갑자기 전환하는 것보다 낫습니다. 우리는 강력한 AI가 세상의 발전 속도를 훨씬 더 빠르게 만들 것으로 기대하며 이에 점진적으로 적응하는 것이 더 낫다고 생각합니다.

점진적인 전환은 사람, 정책 입안자 및 기관이 무슨 일이 일어나고 있는지 이해하고, 이러한 시스템의 이점과 단점을 개인적으로 경험하고, 우리 경제를 적응시키고, 규제를 시행할 시간을 제공합니다. 또한 사회와 AI가 함께 진화하고 사람들이 이해 관계가 상대적으로 낮은 상태에서 집단적으로 원하는 것을 파악할 수 있습니다.

우리는 현재 AI 배포 문제를 성공적으로 탐색하는 가장 좋은 방법은 빠른 학습과 신중한 반복의 긴밀한 피드백 루프라고 생각합니다. 사회는 AI 시스템이 무엇을 할 수 있는지, 편견과 싸우는 방법, 일자리 이동을 처리하는 방법 등에 대한 주요 질문에 직면하게 될 것입니다. 최적의 결정은 기술이 취하는 경로에 따라 달라지며 모든 새로운 분야와 마찬가지로 대부분의 전문가 예측은 지금까지 틀렸습니다. 이것은 진공 상태에서 계획을 세우는 것을 매우 어렵게 만듭니다.[2]
일반적으로 우리는 세상에서 더 많은 AI 사용이 좋은 결과로 이어질 것이라고 생각하고 이를 홍보하고자 합니다(모델을 API에 넣거나 오픈 소싱하는 등). 우리는 민주화된 액세스가 더 많고 더 나은 연구, 분산된 권한, 더 많은 혜택, 새로운 아이디어를 제공하는 더 많은 사람들로 이어질 것이라고 믿습니다.

시스템이 AGI에 가까워짐에 따라 모델 생성 및 배포에 점점 더 신중해지고 있습니다. 우리의 결정은 사회가 일반적으로 신기술에 적용하는 것보다 훨씬 더 많은 주의가 필요하고 많은 사용자가 원하는 것보다 더 많은 주의가 필요합니다. AI 분야의 일부 사람들은 AGI(및 후속 시스템)의 위험이 허구라고 생각합니다. 그들이 옳은 것으로 밝혀지면 우리는 기뻐하겠지만 이러한 위험이 존재하는 것처럼 운영할 것입니다.

어느 시점에서 배포의 장점과 단점(예: 악의적인 행위자에게 권한 부여, 사회적 및 경제적 혼란 유발, 안전하지 않은 경주 가속화) 사이의 균형이 바뀔 수 있으며, 이 경우 지속적인 배포에 대한 계획을 크게 변경할 수 있습니다.

둘째, 우리는 점점 더 정렬되고 조정 가능한 모델을 만들기 위해 노력하고 있습니다. GPT-3의 첫 번째 버전과 같은 모델에서 InstructGPT 및 ChatGPT로의 전환이 이에 대한 초기 예입니다.

특히 우리는 AI가 어떻게 사용될 수 있는지에 대해 사회가 동의하는 것이 중요하다고 생각하지만, 그 범위 내에서 개별 사용자는 많은 재량권을 가지고 있습니다. 우리의 궁극적인 희망은 세계의 제도들이 이러한 넓은 경계가 무엇이어야 하는지에 동의하는 것입니다. 단기적으로는 외부 입력에 대한 실험을 실행할 계획입니다. 전 세계 기관은 AGI에 대한 복잡한 결정에 대비하기 위해 추가적인 역량과 경험을 통해 강화되어야 합니다.

우리 제품의 "기본 설정"은 상당히 제한적일 수 있지만 사용자가 사용 중인 AI의 동작을 쉽게 변경할 수 있도록 할 계획입니다. 우리는 개인이 스스로 결정을 내릴 수 있는 권한을 부여하고 아이디어의 다양성에 내재된 힘을 믿습니다.

모델이 더욱 강력해짐에 따라 새로운 정렬 기술을 개발해야 합니다(현재 기술이 실패할 때를 이해하기 위한 테스트). 단기적으로 우리의 계획은 AI를 사용하여 인간이 더 복잡한 모델의 출력을 평가하고 복잡한 시스템을 모니터링하도록 돕고, 장기적으로는 AI를 사용하여 더 나은 정렬 기술에 대한 새로운 아이디어를 내도록 돕는 것입니다.

중요한 것은 우리가 종종 AI 안전과 기능을 함께 발전시켜야 한다고 생각한다는 것입니다. 그들에 대해 따로 이야기하는 것은 잘못된 이분법입니다. 그들은 여러면에서 상관 관계가 있습니다. 우리의 최고의 안전 작업은 가장 유능한 모델과 함께 작업하는 데서 나옵니다. 즉, 기능 향상에 대한 안전 향상의 비율이 증가하는 것이 중요합니다.

셋째, 우리는 이러한 시스템을 관리하는 방법, 생성된 혜택을 공정하게 분배하는 방법, 액세스를 공정하게 공유하는 방법이라는 세 가지 핵심 질문에 대한 글로벌 대화를 희망합니다.

이 세 가지 영역 외에도 우리는 인센티브를 좋은 결과와 일치시키는 방식으로 구조를 설정하려고 시도했습니다. 우리 헌장에는 AGI 개발 후기 단계에서 다른 조직과 경쟁하는 대신 안전을 개선하도록 지원하는 조항이 있습니다. 우리는 주주가 얻을 수 있는 수익에 상한선을 설정하여 제한 없이 가치를 포착하려고 시도하고 잠재적으로 치명적인 위험을 초래할 위험을 감수하도록 동기를 부여하지 않습니다(물론 그 혜택을 사회와 공유하는 방법으로). 우리는 인류의 복지를 위해 운영되며(이익을 추구하는 기업 이해에 언제든 우선한다), 비영리단체가 운영을 관리하며 필요한 경우 안전을 위해 주주에게 권익 포기를 요청할 수 있도록 하고, 세계에서 가장 포괄적인 UBI* 실험을 후원하는 등의 활동을 할 수 있게 허용하는 비영리단체에 속합니다.

* UBI : 'Universal Basic Income'의 약어로, 보편기본소득을 의미함

우리는 우리와 같은 노력이 새로운 시스템을 출시하기 전에 독립적인 감사를 받는 것이 중요하다고 생각합니다. 올해 말에 이에 대해 더 자세히 이야기하겠습니다. 어떤 시점에서는 미래의 시스템 교육을 시작하기 전에 독립적인 검토를 받고 새로운 모델을 만드는 데 사용되는 컴퓨팅의 증가율을 제한하는 데 가장 앞선 노력을 기울이는 것이 중요할 수 있습니다. 우리는 AGI 노력(AGI effort)이, 언제 훈련을 중지(stop a training run)할지, 언제가 모델이 공개될만큼 안전한지(safe to release), 또는 언제 모델을 제품화에서 제외해야 하는지(pull a model from production use) 등에 대한 공공 기준이 중요하다고 생각합니다. 마지막으로 우리는 주요 세계 정부가 특정 규모 이상의 교육 실행에 대한 통찰력을 갖는 것이 중요하다고 생각합니다.

The long term 장기적

우리는 인류의 미래가 인류에 의해 결정되어야 하며, 진행 상황에 대한 정보를 대중과 공유하는 것이 중요하다고 믿습니다. 주요 결정에 대한 AGI 및 공개 협의를 구축하려는 모든 노력에 대한 면밀한 조사가 있어야 합니다.

첫 번째 AGI는 지능의 연속체에 있는 한 지점일 뿐입니다. 우리는 발전이 거기에서 계속될 가능성이 높다고 생각하며 아마도 오랜 기간 동안 지난 10년 동안 우리가 보아온 발전 속도를 유지할 수 있을 것입니다. 이것이 사실이라면 세상은 오늘날과 매우 다를 수 있으며 위험은 엄청날 수 있습니다. 잘못 정렬된 초지능 AGI는 세계에 심각한 피해를 줄 수 있습니다. 결정적인 초지능이 이끄는 독재 정권도 그렇게 할 수 있습니다.

과학을 가속화할 수 있는 AI는 생각할 가치가 있는 특별한 경우이며 아마도 다른 모든 것보다 더 영향력이 있을 것입니다. 자체 진행을 가속화할 수 있을 만큼 AGI가 주요 변경 사항을 놀라울 정도로 빠르게 발생시킬 수 있습니다(전환이 느리게 시작되더라도 최종 단계에서는 매우 빠르게 발생할 것으로 예상합니다). 우리는 더 느린 이륙이 더 안전하다고 생각하며 중요한 시점에서 속도를 늦추기 위한 AGI 노력 간의 조정이 중요할 것이라고 생각합니다(기술적 정렬 문제를 해결하기 위해 이 작업을 수행할 필요가 없는 세상에서도 속도를 늦추는 것은 사회에 적응할 수 있는 충분한 시간을 주는 것이 중요합니다).

초지능이 있는 세계로 성공적으로 전환하는 것은 아마도 인류 역사상 가장 중요하고 희망적이며 무서운 프로젝트일 것입니다. 성공은 보장되지 않으며 위험(무한한 하락과 무한한 상승)이 우리 모두를 하나로 묶을 것입니다.

우리 중 누구도 아직 완전히 시각화할 수 없을 정도로 인류가 번창하는 세상을 상상할 수 있습니다. 우리는 이러한 번영에 부합하는 AGI를 세계에 기여하고자 합니다.

-------------------------------------------------------------------------------
footnotes 주석

1. 예를 들어, AGI를 생성하려면 엄청난 양의 컴퓨팅이 필요하므로 누가 작업하고 있는지 세상이 알게 될 것 같습니다. 하이퍼의 원래 개념처럼 보입니다. - 진화된 RL 에이전트가 서로 경쟁하고 우리가 실제로 관찰할 수 없는 방식으로 진화하는 지능은 원래 생각했던 것보다 가능성이 적습니다. 인류의 집단적 선호도 및 산출물 등

AGI는 조만간 또는 먼 미래에 발생할 수 있습니다. 초기 AGI에서 더 강력한 후속 시스템으로의 이륙 속도는 느리거나 빠를 수 있습니다. 우리 중 많은 사람들은 이 2x2 매트릭스에서 가장 안전한 사분면이 짧은 타임라인과 느린 이륙 속도라고 생각합니다. 타임라인이 짧을수록 조정에 더 적합하고 컴퓨팅 오버행이 적어 이륙 속도가 느려질 가능성이 높으며 이륙 속도가 느려지면 안전 문제를 해결하고 적응하는 방법을 경험적으로 파악할 시간이 더 많아집니다. ↩︎

2. 예를 들어 OpenAI를 처음 시작했을 때 우리는 확장이 밝혀진 것만큼 중요할 것이라고 기대하지 않았습니다. 그것이 중요하다는 것을 깨달았을 때, 우리는 또한 우리의 원래 구조가 작동하지 않을 것이라는 것을 깨달았습니다. 비영리 단체로서의 사명을 완수하기에 충분한 자금을 모을 수 없었을 것입니다- 그래서 우리는 새로운 구조로 이행했습니다..

또 다른 예로서, 우리는 이제 개방성에 대한 원래 생각이 틀렸다고 생각하고 모든 것을 공개해야 한다는 생각에서(몇 가지를 오픈 소스로 제공하고 앞으로 더 흥미로운 것을 오픈 소스로 제공할 것으로 기대합니다!) 다음과 같은 생각으로 전환했습니다. 시스템에 대한 액세스와 이점을 안전하게 공유하는 방법을 알아내야 합니다. 우리는 여전히 무슨 일이 일어나고 있는지 이해하는 사회의 이점이 엄청나고 그러한 이해를 가능하게 하는 것이 사회가 집단적으로 원하는 것이 구축되는지 확인하는 가장 좋은 방법이라고 믿습니다(분명히 여기에는 많은 뉘앙스와 갈등이 있습니다).