장기주의의 위험에 대한 글

[권보연]

장기주의 반대(Against longtermism)

앞서 소개했던 "공개 서한: 거대한 AI 실험을 멈추십시오."를 발행한 생명의 미래(Future of Life) 인스티튜트 https://futureoflife.org 가 관련이 있는 "장기주의"가 왜 위험할 수 있는 사상인지 살펴보기에 좋은 글입니다. 일단 DeepL로 빠르게 올려두고 차차 보완하며 편집해 볼까합니다.

원문: https://aeon.co/essays/why-longtermism-is-the-worlds-most-dangerous-secular-credo (2021. 10. 19.)
기계 번역: http://bit.ly/3KidnZC
----
장기주의라는 이 이데올로기가 왜 그렇게 위험하다고 생각하나요? 간단히 말하자면, 인류의 잠재력을 다른 무엇보다도 높게 평가하면 현재와 가까운 미래에 살아 있는 실제 사람들이 극심한 피해를 입거나 심지어 죽음에 이를 확률이 크게 높아질 수 있기 때문입니다. 다른 글에서 언급했듯이, 장기주의 이데올로기는 지지자들이 기후 변화에 대해 무감각한 태도를 취하는 경향이 있다는 점을 고려하세요. 왜 그럴까요? 기후 변화로 인해 섬나라가 사라지고, 대규모 이주가 일어나고, 수백만 명이 사망하더라도 앞으로 수조 년 동안 인류의 장기적인 잠재력을 손상시키지는 않을 것이기 때문입니다. 우주적 관점에서 상황을 바라본다면, 향후 2천 년 동안 인구의 75%를 감소시키는 기후 재앙조차도 큰 틀에서 보면 90세 노인이 두 살 때 발가락을 다친 것과 같은 작은 일탈에 지나지 않을 것입니다.

보스트롬의 주장은 '세계 문명의 붕괴를 초래하는 실존하지 않는 재앙은 인류 전체의 관점에서 볼 때 잠재적으로 회복 가능한 좌절'이라는 것입니다. 그는 '인류에게 거대한 학살'이 될 수도 있지만, 인류가 다시 일어나 잠재력을 발휘하는 한 궁극적으로는 '인류의 작은 실수'에 지나지 않을 것이라고 덧붙입니다. 그는 역사상 최악의 자연재해와 끔찍한 잔학 행위도 이러한 원대한 관점에서 보면 거의 눈에 띄지 않는 사소한 일로 변한다고 썼습니다. 그는 두 차례의 세계대전, 에이즈, 체르노빌 원전 사고를 언급하며 '이러한 사건들이 당장 영향을 받은 사람들에게는 비극적이지만, 큰 그림에서 보면 ... 최악의 재앙조차도 거대한 생명의 바다 표면의 파문에 불과하다'고 선언합니다.
----

또 다른 기관으로 인류의 미래(FHI - Future of Humanity Institute) https://www.fhi.ox.ac.uk/ 가 있습니다. 이름이 비슷하죠.

OpenAI 얼라인먼트 팀의 리드인 Jan Leike가 OpenAI에 오기 전에 FHI에 있기도 했죠, FHI는 "효율적 이타주의"(Effective Altruism)와 사무실을 같이 쓰고 있는 것으로 알려져있습니다.

* 사회적 가치 도입을 위한 제안(Jan Leike): https://bit.ly/3Ll0pLJ

뭔가 참 복잡하게 얽혀있는 듯 합니다. 에밀리 벤더 등은 이 "얼라인먼트"라는 개념 또한 AI Hype에 복무하고 있다고 보고 있거든요.

또한, 이러한 이야기는 "효율적 이타주의"(Effective Altruism)과 연결이 되는데, 작년에 Anthropic도 수혜 대상이었던 Future Fund가 또 여기에 관련이 있습니다. FTX의 샘 뱅크만 프리드와 옥스포드의 철학 교수 윌리엄 매커스킬이 그 Future Fund에 관한 주요 인물이었고 작년 NeurIPS에 AI 안전에 관한 것에 EA의 자본이 흘러들어가는 것에 관한 주의하는 팀닛 게브루의 발언( https://twitter.com/timnitGebru/status/1595200335097708545 , https://neurips2022.mlsafety.org )이 있었죠.

그러한 정황을 정리해서 팀닛 게브루가 작년 11월에 Wired에 기고한 EA에 관한 비판 글이 있습니다. 역시 DeepL로 거칠게 번역해 두고 보완해 보겠습니다.
----
효과적인 이타주의가 'AI 안전'이라는 위험한 브랜드를 밀어붙이고 있습니다.
https://www.wired.com/story/effective-altruism-artificial-intelligence-sam-bankman-fried/ (2022. 11. 30.)

실리콘밸리에서 20년 동안 일하면서 저는 옥스퍼드 대학과 실리콘밸리를 중심으로 한 압도적인 백인 남성 그룹으로 구성된 효과적인 이타주의(EA)가 놀라운 수준의 영향력을 행사하는 것을 목격했습니다.

EA는 현재 샘 뱅크먼-프라이드의 암호화폐 스캔들과 연관되어 면밀한 조사를 받고 있지만, 이 이데올로기가 어떻게 인공지능(AI) 분야의 연구 의제를 주도하여 아이러니하게도 "AI 안전"이라는 이름으로 유해한 시스템을 확산시키려는 경쟁을 불러일으키는지에 대해서는 잘 알려지지 않았습니다.

효과적인 이타주의를 위한 센터는 EA를 "증거와 이성을 사용하여 다른 사람들에게 최대한 많은 혜택을 줄 수 있는 방법을 찾아내는 지적 프로젝트"로 정의합니다. 그리고 '증거와 이성'을 바탕으로 많은 EA는 인간이 만든 인공 지능(AGI)이 인간을 멸종시키는 종말을 막는 것이 세계에서 가장 시급한 문제라고 결론을 내렸습니다. 이러한 종말을 막기 위해 EA의 커리어 자문 센터인 80,000시간은 'AI 안전 기술 연구'와 'AI의 미래 거버넌스 형성'을 EA가 진출해야 할 상위 두 가지 추천 직업으로 꼽았으며, 억만장자 EA 클래스는 AGI 종말을 막으려는 이니셔티브에 자금을 지원하고 있습니다. EA에 따르면 AGI는 피할 수 없는 것이며, 따라서 그들의 목표는 악마가 아닌 자비로운 신을 만드는 것과 같이 인류에게 유익하게 만드는 것입니다.

이 목표를 위해 막대한 자금을 투자한 억만장자 중에는 엘론 머스크, 비탈릭 부테린, 벤 델로, 얀 탈린, 피터 틸, 더스틴 무스코비츠, 그리고 최근 FTX 암호화폐 플랫폼이 파산하기 전까지 EA의 최대 투자자 중 한 명이었던 샘 뱅크먼-프라이드 등이 있습니다. 그 결과, 이 모든 자금은 인류를 위한 테크노 유토피아를 가져올 "유익한 인공 일반 지능"을 연구한다고 주장하면서 소외 계층의 사람들에게 해를 끼치는 방식으로 AI 분야와 그 우선순위를 형성해 왔습니다. 이는 우리의 기술 미래가 진보를 향한 직선적인 행진이 아니라 돈과 영향력을 가진 사람들에 의해 결정된다는 것을 보여주는 또 다른 예입니다.

EA의 영향력을 보여주는 가장 주목할 만한 사례 중 하나는 "인공 일반 지능이 모든 인류에게 혜택을 줄 수 있도록 한다"는 사명을 가지고 10억 달러를 투자한 Elon Musk와 Peter Thiel을 비롯한 실리콘 밸리의 엘리트들이 2015년에 설립한 OpenAI에서 찾아볼 수 있습니다. OpenAI의 웹사이트에 따르면 "우리는 안전하고 유익한 AGI를 직접 구축하려고 노력할 것이며, 우리의 작업이 다른 사람들이 이러한 결과를 달성하는 데 도움이 된다면 우리의 사명을 완수한 것으로 간주할 것입니다." 틸과 머스크는 각각 2013년과 2015년 EA 컨퍼런스의 연사로 참여했습니다. 엘론 머스크는 EA에서 더 극단적으로 파생된 장기주의에 대해서도 "내 철학과 비슷하다"고 설명한 바 있습니다. 두 억만장자 모두 딥마인드와 MIRI와 같은 "유익한 AGI"를 구축하기 위한 유사한 이니셔티브에 막대한 투자를 해왔습니다.

창립 5년 후, Open AI는 '유익한' AGI를 구축하기 위한 노력의 일환으로 GPT-3라는 대규모 언어 모델(LLM)을 출시했습니다. LLM은 방대한 양의 텍스트 데이터로 학습된 모델로, 단어의 가능한 시퀀스를 예측하는 것을 목표로 합니다. 이 릴리스는 점점 더 큰 언어 모델을 구축하기 위한 경쟁을 촉발시켰고, 2021년에는 다른 공동 작업자들과 함께 마가렛 미첼과 제가 동료 검토 논문을 통해 이러한 경쟁의 위험성에 대해 썼으며, 그 결과 Google에서 공개적으로 해고당하는 일이 발생했습니다.

그 이후로 점점 더 큰 규모의 언어 모델을 확산시키려는 시도가 가속화되었고, 혐오성 텍스트와 허위 정보를 대량으로 출력하는 등 저희가 경고했던 많은 위험 요소들이 계속 나타나고 있습니다. 며칠 전 Meta는 "학술 논문 요약, 수학 문제 풀이, 위키 문서 생성, 과학 코드 작성, 분자 및 단백질 주석 달기 등"을 할 수 있다고 주장하는 "Galactica" LLM을 출시했습니다. 불과 3일 후, 연구자들이 "자살의 이점, 분쇄 유리 섭취, 반유대주의, 동성애자가 악한 이유에 이르기까지 다양한 주제에 대한 연구 논문과 위키 항목을 생성"한 후 공개 데모는 삭제되었습니다.

이러한 경쟁은 LLM에서 멈추지 않고 텍스트를 입력으로 받아 그 텍스트를 기반으로 생성된 이미지를 출력하는 모델인 OpenAI의 DALL-E와 StabilityAI의 Stable Diffusion과 같은 텍스트-이미지 모델까지 발전했습니다. 이러한 모델의 위험성에는 아동 포르노 제작, 편견의 영속화, 고정관념 강화, 허위 정보의 대량 확산 등이 포함되며, 많은 연구자와 언론인이 보고한 바 있습니다. 하지만 기업들은 속도를 늦추는 대신 서로를 앞지르기 위해 몇 가지 안전 기능을 없애고 있습니다. 예를 들어 OpenAI는 사실적으로 생성된 얼굴을 소셜 미디어에서 공유하는 것을 제한했습니다. 하지만 10억 달러의 기업 가치를 인정받아 1억 1,100만 달러 투자를 유치한 것( https://techcrunch.com/2022/10/17/stability-ai-the-startup-behind-stable-diffusion-raises-101m )으로 알려진 StabilityAI와 같은 신생 스타트업이 이러한 안전 조치를 "가부장적"이라고 비판하자 OpenAI는 이러한 제한을 제거했습니다.

OpenAI가 대중화시킨 "AI 안전"이라는 브랜드에 전념하는 AI 연구소, 기업, 싱크탱크, 엘리트 대학의 연구 그룹이 설립되고 자금을 지원하면서 "유익한 AGI"를 향한 단계로 포장된 유해한 모델이 더 많이 확산될 것으로 보입니다. 그리고 그 영향은 일찍부터 시작됩니다: 효과적인 이타주의자들은 주요 대학 캠퍼스에서 모집할 수 있도록 '커뮤니티 구축 보조금'을 제공하며, EA 지부는 스탠퍼드 같은 엘리트 대학에서 커리큘럼을 개발하고 AI 안전에 관한 수업을 진행합니다.

작년에 "AI 안전 및 연구 회사"로 소개되고 전 OpenAI 연구 및 안전 담당 부사장이 설립한 Anthropic은 7억 4천만 달러를 모금했으며, 대부분의 자금은 탈린, 무스코비츠, 뱅크맨-프라이드와 같은 EA 억만장자로부터 나왔습니다. 세계에서 가장 크고 영향력 있는 머신러닝 컨퍼런스 중 하나인 NeurIPS에서 예정된 'AI 안전'에 관한 워크숍도 2주 전에 사임한 Bankman-Fried의 EA 중심 자선 단체인 FTX 미래 기금에서 후원하는 것으로 광고하고 있습니다. 이 워크숍은 '최우수 논문상'으로 10만 달러를 수여한다고 광고하고 있는데, 이는 어떤 학문 분야에서도 볼 수 없는 금액입니다.

연구 우선순위는 자금 지원에 따라 결정되며, 억만장자 지지자가 있는 이데올로기를 뒷받침하는 막대한 자금이 AI에 투입되는 것을 고려할 때, 이 분야가 현재 소외된 계층에 해를 끼치는 제품을 확산시키면서 곧 '상상할 수 없을 정도로 멋진 미래'를 약속하는 방향으로 나아가고 있는 것은 놀라운 일이 아닙니다.

우리는 대신 우리에게 도움이 되는 기술의 미래를 만들 수 있습니다. 예를 들어, 테 레오 마오리족을 활성화하기 위해 언어 기술을 개발한 테 히쿠 미디어는 "마오리족의 원칙인 카이티아키탕가, 즉 후견인에 기반한" 데이터 라이선스를 만들어 마오리족으로부터 가져온 모든 데이터가 마오리족에게 우선적으로 혜택이 돌아가도록 하고 있습니다. 이러한 접근 방식은 "사람들을 위한 AI"를 구축한다고 주장하면서 아티스트의 동의나 저작자 표시 없이 작품을 스크랩하는 StabilityAI와 같은 조직의 접근 방식과 대조됩니다. 특권층 소수가 상상하는 가상의 인공지능 종말이나 실리콘밸리 엘리트들이 우리에게 약속한 영원히 실현 불가능한 테크노 유토피아로부터 우리를 구하기 위해 지금까지 우리가 팔려온 상상력으로부터 자유로워져야 합니다.
----

2022년 11월 30일이면 ChatGPT가 나오기 직전이네요.

그렇다면 에밀리 벤더와 팀닛 게브루 등의 말은 또 곧이 곧대로 받아들일만 한 것일까요? 이야기를 펼치는 논리의 기반이 늘 2021년의 "확률적 앵무새"에 머무르고 있단 인상을 주고 있긴 하단 말이죠...

AI 얼라인먼트 쪽 인물 중에는 이러한 으스스한 이야기를 하기 보단 현실의 개선 가능한 문제에 집중하잔 이야기를 하는 사람들도 있습니다.

* Reform AI Alignment: https://scottaaronson.blog/?p=6821 아니면 Sam Bowman의 글이었던 것 같은데... 작년에 메모해 뒀던 것을 더 찾아봐야겠습니다.

그렇다면 그건 진심일까요? 아니면 본제로 부터 눈을 돌리게 하는 접근일까요? 이런 “이름이 있는 생각, 사상” 들에는 여러 사람이 얽혀들게 마련이지만, 그렇다고 여기에 공감하는 각 개인이 그 사상에 100%에 정렬이 되어있는 것은 또 아닐 겁니다. 지나친 피아 구분이나 프레이밍 또한 위험한 것이죠.

* 공개 서한: 거대한 AI 실험을 멈추십시오. (2023. 3. 29.) https://www.facebook.com/seungjoon.choi/posts/10228594810910772

로그인 또는 가입하여 보기

—
이 글은 권보연과 함께 LMWS 멤버로 활동 중인 미디어 아티스트 최승준님이 정리한 자료 입니다