AI 제국-2nd

[류재훈]

AI 제국-2nd

   필자 ‘카렌 하오’의 이어지는 글이다. Open AI社는 2015년에 설립된다. 설립자는 Sam Altman과 Elon Musk가 공동창립이다. 인공지능 연구개발로 인간에게 유익하고 안전한 개발이 목표다. 성과는 GPT 시리즈, 이미지, 음성 모델 등이 있다. GPT-1, GPT 2와 3과 4와 5를 연이어 개발했다. 작동의 핵심 원리는 * 트랜스포머는 문장을 한 번에 전체적으로 보고 관계를 파악하는 구조로 예는 “그는 사과를 먹고 그것이 맛있다고 했다.”를--> ‘그것이’ 사과임을 연결한다. * 어텐션 메커니즘은 문장 속에서 중요한 단어에 집중, 핵심 단어끼리 가중치를 두고 연결한다. * 학습 방식은 다음 단어를 맞추는 방식으로 학습, 방대한 텍스트 패턴을 통계적으로 익힌다. 즉 “문장 전체를 보면서 중요한 부분에 집중해 다음 말을 예측하는 기계”다.

구글이 DNN리서치를 인수하기 전부터 빅테크 기업들은 신경망 기술의 상용화 가능성을 포착했다. 신경망을 사용한 소프트웨어가 음성 인식에 뛰어나다는 결과를 내놓자, IBM, 마이크로소프트, 구글이 모두 관심을 모였고, 결과 구글이 가장 빨리 상용화했다. 2012년 구글은 안드로이 음성 인식에 뛰어남을 입증했다. 탄력을 받은 구글은 딥러닝 모델을 개발해 구글 번역을 업그레이드했고, 텍스트 예측 모델을 만들어 지메일의 자동 완성 기능을 추가했다. ‘웨이모’라는 자율주행 기술 프로젝트에도 참여했다. 중요한 건 사용자에게 최적화된 광고를 보여준 것이다. 그러니 구글은 수익이 늘어날수록 더 많은 돈을 딥러닝에 쏟아부었다. 그러니 업계 전체도 구글을 따라갔다. 얼마 지나지 않아 기업이 정부와 재단을 제치고 AI 최대 투자자가 되었고, 이들은 단기적 수익을 낼 수 있는 방향으로 연구 의제를 설정하기 시작했다.

대중의 눈에는 2022년 챗GPT와 함께 생성형 AI가 갑자기 등장한 것처럼 보였지만, 실제로는 2012년 이미지넷 대회에서의 획기적 성과 이후 10년 동안, 최초이자 본격적인 AI 상업화 시대에 일어난 여러 변화가 오늘날 AI 혁명의 특성이라 불리는 것들이 기반을 닦았다. 2014년에 하버드 대학 ‘쇼사나 주보프’가 감시 자본주의라는 용어를 만들어냈다. 주포프는 산업자본주의가 사람들이 사고 싶어 하는 물리적 제품을 생산하는 데에서 가치를 얻었던 반면, 감시 자본주의는 사용자를 제품화함으로써 가치를 얻는다고 주장했다. 생성형 AI 분야에서 기술 기업들이 AI 시스템을 훈련시키기 위해 책과 예술 작품을 대량으로 스크레이핑해서 사용하는 것이 과연 옳은지에 대한 격론의 중심에 바로 이 문화가 있다. (Scraping은 웹사이트나 문서에서 데이터를 자동으로 긁어와 수집하는 것을 말함)

실리콘 밸리가 구상한 AI의 문제점에 드러나기 시작했음에도 상업화는 그 대안을 고사시킨다. 인재는 결국 돈이 흐르는 곳으로 몰렸다. 많은 교수가 신경망이 우수한 성과를 낸다는 사실과 더불어 기업이 대주는 더 넉넉한 연구비에 이끌려 연구 방향을 신경망 중심으로 다시 틀었다. 어떤 딥러닝은 횡단보도에 있는 사람만 보행자로 인식하고, 무단 횡단하는 사람은 인지하지 못할 수 있다. 이것이 바로 연구자들이 딥러닝을 “블랙박스”라고 부르는 이유다. 모델이 처리한 패턴을 인간이 이해할 수 없으므로, 일반적인 상황에서도 그렇지만, 특히 엣지 게이스의 경우에는 신경망 모델이 어떤 방향으로 작동할 것인지 설명할 수 없다. 우버 자율주행 차량의 인명 사망 사고가 예다. AI 개발을 뒷받침하는 자금은 계속 순수 연결 주의 쪽으로만 몰렸다. 마커스의 주장대로 신경 기호 AI가 정말로 잠재력이 있느냐 여부는 문제의 핵심이 아니다.

워싱턴포스트의 보도에 따르면 미국 저소득층에게 식료품 구매를 지원해 주는 제도인, 푸드 스탬프 수급자의 63%가 백인임에도 불구하고, 생성형 AI가 만들어낸 이미지에는 백인이 하나도 없었다. 미국 판사 32%가 여성임에도 생성형 AI는 여성 판사 이미지를 3%이었고, 여성 의사는 39%인데도 의사 이미지는 여성이 고작 7%였다. 보도했다. 이것이 바로 제국의 논리다. 제국이 유지하는 방식은 멀리 떨어져 눈에 잘 보이지! 않는 약자를 착취하고 박탈하는 것만큼이나 권력과 특권을 가진 이들을 보상하는 것에 의존한다.

오픈 AI의 공동 창업자 ‘스츠 케버일’은 17세에 동참한다. 설득력이 강한 사람은 아니고 결코 듣는 이에게 잘 보이기 위해 말을 에두르거나 부드럽게 말하는 법이 없었다. 그는 낙관적인 자신감이 묻어나 비전문가나 일반인에게는 중요한 맥락이 빠진 채로 전달되었다. “오늘날의 대형 신경망은 아주 약간 의식을 하고 있을지도 모른다.”란 트윗을 날린다. 다음 해에는 공개 콘퍼런스에서 AGI가 궁극적으로 모든 일자리를 없앨 것이라고 선언해 공항을 초래했다. 이는 한 오픈 AI 임원이 챗 GPT와 대화를 아무렇지도 않게 전문 상담사의 심리치료에 비유하면서 인터넷상 논란을 촉발하게 시킨 이후의 일이다.

오픈 AI가 15억 개의 매개변수를 가진 최종 모델을 만들기까지 훈련시킨, 여러 모델이 이러한 관계를 잘 보여준다. 각 모델의 성능은 곡선 그래프에 맞게 매끄럽게 상승했다. 이를 고려하면 초기의 미숙했던 지피티-2나 지피티-2에 비해 이건 사람이 쓴 것처럼 느껴지는 훨씬 더 길고, 어느 정도 일관된 문장을 만들어낸 건 전혀 놀라운 일이 아니었다. 오픈 AI사의 부사장 ‘아모데이’와 커뮤니케이션 총괄 임원 ‘잭 클락’의 결정에 많은 연구원이 불만을 가졌다. 두 사람이 말하는 재앙적 위험에 동조하지 않는 이들에게는 어떤 선정적인 언론 플레이에도 황당해했다. 연구원들은 두 임원의 판단력을 의심했다. 많은 양의 알고리즘을 훈련시키는 순수언어 가설에 맞선, 그라운딩 가설이 있다. 이 가설은 물리적 세계와 인간이 그 세계를 지각하고 상호작용을 하는 능력이 지능을 구성하는 핵심 재료라고 주장한다. 따라서 AGI는 언어뿐 아니라 시각 같은 지각 능력, 더 나아가 실제 세계에서 행동을 수행하는 물리적 혹은 가상 에이젠트의 상호작용까지 결합하여야만 등장할 수 있게 된다.

GPT-3의 모델이 학습 도중 칩 1만 개 중, 어느 한 개가 작동을 멈출 가능성이 항상 있었다. 칩 하나가 멈추면 모는 게 멈추는 구조였기 때문에 모델 학습을 처음부터 다시 시작해야 했다. 단일 칩이 고장 날 확률은 GPU 1만 개에 걸쳐 현저하게 증폭됐다. 거기다 데이터 문제도 있었다. 성능을 최대한 끌어올리기 위해서는 훈련 데이터 세트의 크기가 매개변수와 연산량에 비례해 증가해야 했다. 만약 매개변수에 비해 데이터가 부족하면 모델이 훈련 데이터에 있는 단어 하나하나 그대로 읊기 시작할 수 있고, 그렇게 되면 모델 자체가 쓸모없어질 수 있었다.

한 연구원이 코트를 업데이트하면서, 오타를 했다. 빼기 기호 대신 더하기 기호가 들어가면서 모델 전체를 뒤집어 놓았다. 외설스러운 표현은 넣지 말라고 할 것을, 추가하라고 해버린 것이다. 여기서 교훈은 ‘효율을 최소화하는 모델은 만들지 맙시다’ 였다. 같은 이유로 비밀이 악한 의도를 가진 이들의 손에 들어갈 가능성도 염려했다. 이런 두려움은 중국, 러시아, 북한 등 국가로부터 위협을 자주 거론하면서 AGI (Artificial General Intelligence :사람처럼 배우는 AI) 개발이 미국의 손에 있어야 한다고 강조했다. 심각해진 사무실 분위기에 정체불명의 USB가 발견되자 사이버 보안 침입의 일종이라 사무실이 뒤집힌다. 인터넷과 완전히 분리된 에어캡 air-gapped 컴퓨터를 사용해 확인한 결과, 그 USB는 아무것도 아니었다. 대표이사는 “우리는 반드시 좋은 세상에 좋은 결과를 가져오겠다는 책임을 져야 합니다. 만약 권위주의 정부가 우리보다 AGI를 먼저 만들어 악용한다면 그것 또한 우리의 실패입니다. 우리의 사명을 성공적으로 완수하기 위해서는 확실하게 빠른 기술적 진전을 이뤄내야 합니다.” 대표이사 올트먼은 보안 수위에 고민한다. 국가기밀 정부처럼 해야 할까? 독점 기술을 보호하는 포천 500대 기업처럼 할까? 개발총괄 임원 수츠게버는 제삼자에게 속아 기술을 넘길 수도 있다고, 판단하는 이유가 표적으로 삼기에 적당한 성격으로 머리는 비상하지만, 세상 물정을 모르고 조직의 상위에 있어 정보에 접근이 쉽기 때문이다.라 대표는 생각한다.

보안 격리 시설, 죽 에어캡 컴퓨터가 설치된 벙커를 만들자는 제안도 있다. 직원은 모르지만, 직원 모니터링 소프트웨어도 설치했다. 사무실 주차장 출입구가 더 견고해지고, 사무실 내 키패드가 출입문 중 일부에는 “구조 비밀번호”를 설치하여 입력하면 보안 요원에게 구조를 요청하는 기술을 추가했다. 회사는 직원을 탐색적 연구파, 안전파, 스타트업파로 구획해서 각파별로 파별 전쟁을 피해야 한다고 강조했다. 안전파는 팬데믹으로 인해 대공항 시절보다 실업률이 증가하자 경찰관이 흑인 남성을 살해하여 미국 전역에 대규모 ‘흑인의 생명은 소중하다 Black Lives Matter 운동을 촉발했다. 따라서 직원들은 미국 대통령 선거도 걱정했다.

경쟁사 구글 연구원들은 자신들이 만든, 트래스포머 모델을 오픈 AI가 사용해 자신들을 제쳤다는 사실에 충격을 받는다. 챗GPT가 나온 후 비상이 걸린 구글 경영진은 딥마인드와 구글 브레인에게 각각 따로 진행하던 연구를 하나로 합친 구글 딥마인드를 통해 훗날 제미나이 Gemini로 불리는 기술을 개발하고 출시하게 된다. 페이스북이라 불리던 메타 연구원도 대형언어모델 개발을 요청한다. 중국의 전자 상거래 대기업 알리바바, 통신 대기업 화웨이, 검색 대기업 바이두 등은 대형 모델 개발을 한 갈래로 취급만 했지, 유일한 AI 개발 경로로는 보지 않았다. 문제는 탄소 기반 자원으로부터 엄청난 양의 에너지를 쓰는 데이터센터가 필요했다. 검색 엔진 단일 사이클에 대략 1,500킬로 와트시 정도의 에너지가 소요된다. 필자는 주장한다.

2026,04,28

AI 제국-2nd

카렌 하오 지음

생각의 힘 간행

[정세주]

좋은 글
감사합니다.

좋은 하루 되세요.