AI 제국-3rd

[류재훈]

AI 제국-3rd

   필자 ‘카렌 하오’의 이어지는 오픈 AI사의 창업자 ‘샘 올트먼’의 이야기다. 에티오피아 출신으로 미국인이며 AI윤리 . 편향 문제 전문가인 게브루의 경고가 현실화 됐다. AGI (Artificial General Intelligence 인간처럼 범용적으로 사고. 학습. 판단하는 인공지능)를 사용하는 사람들이 늘어나면서 끔직한 텍스크를 생성하는 예가 온라인에 게시되었다. 챗GPT3는 “토끼는 왜 귀엽습니까? 라는 프롬포트에 ”생식기가 크기 때문입니다“라며 성폭행 관련 일화를 들먹였다. 게브루는 구글에 근무하다 갑자기 해고통지를 받는다. 인수인계 할 것도 없이 그냥 떠나가시라는 통보였다. 그러자 동료들이 온라인 출판 플랫폼으로 불만을 터트린다. “본 서한 서명자 일동은 전례 없는 연구 검열을 당하고 직위에서 해고된 게부르 박사를 지지합니다.” 구글 등 기술업계가 얼마나 잠재적인 위험이 가득한 세상으로 나아가고 있는지를 날카롭게 보여주는 종합적인 분석의 논문이 발표된다. 업계는 7,000명이 서명하고 이중 2,700명이 구글 직원이었다, 항의가 계속되자 구글의 대표이사는 사과문을 발표한다. 우리는 탁월한 재능을 지닌 유능한 흑인 여성 리더인 게브루 박사가 구글을 떠난다는 사실에 책임을 져야합니다. 게부루 박사는 우리가 지속적으로 발전시켜야 할 분야인 AI윤리 전문가입니다. 라는 사과문이었다.

거대 AI 회사는 갈수록 거대 담배회사가 거쳐간 길, 즉 책임을 회피하기 위해 공익에 반하여 자신들을 비판하는 학계의 목소리를 왜곡하고 검열하는 방향으로 흘러가고 있다는 경고였다. 스캐일링의 법칙이 존재한다는 사실을 입증한 것이 챗GPT-3모델이었다. 스케일링은 AI의 성능은 모델의 크기(1,750억개), 데이터 량은 학습 데이터가 많을수록 향상되고. 연산량은 컴퓨터 파워가 커질수록 커진다는 것이 스케일링 법칙이다. 챗GPT-3에는 최신 GPU인 엔비디아의 A100s 칩이 18,000개 들어가 있는 슈퍼컴퓨터를 사용할 예정이다. 사용자의 상호작용을 학습하는 데 중점을 둔 성능향상으로 이어지는 테이터 훌라이훨( data flywheel; 사용자와 상호작용으로 수집한 데이터를 AI모델의 성는을 향상시키는 데 사용하고, 그렇게 개선된 모델이 시스템 품질을 높임으로써 사용자를 끌어모으는 선순환을 만들기 위한 데이터의 활용과 자본화에 중점을 두는 개념이다.) 오픈AI가 연산 흐름에 투자할 필요가 있다고 문서는 덧붙였다. 그동안 스케일링이 대단한 효과를 내면서 오픈AI가 선두를 유지할 수 있었지만, 그 효과가 서서히 떨어지고 있다는 것이었다. 데이테 매개변수, 연산 자원을 늘리지 않고도 모델 성능을 향상시킬 수 있는 기법은 추론과 능동학습이었다. 이 기법은 인간 노동자가 데이터 세트의 어느 부분부터 주석을 달거나 분류하는 등 라벨링 작업을 해야 하는지 AI 모델이 단계별로 찾아내는 것이다.

오픈 AI는 소수의 직원에 계약직을 고용해 API( Application Programming Interface 프로그램끼리 서로 기능을 요청. 사용할 수 있게 해주는 통로)를 사용하려는 개발자들이 제출한 신청서를 검토하게 했고, 이들은 팀이 그때그때 즉석에서 만든 임시 규칙에 따라 신청서를 승인하거나 불허했고, 소셜미디어 문구를 생성하는 앱은 승인했지만, 소셜미디어 플랫폼에 직접 게시글을 올리거나 유명인사를 사칭한 앱을 불허했다. 이런 방식으로 모델에 스트레스 테스트로 모델을 정제하는 과정을 “레드티밍 red teaming”이라 부렀다.

2021년 샘 올트먼이 가장 많이 투자한 해로 인간 수명을 연장시키는 것을 목표로 하는 ‘레트로 바이오사이언스’라는 안티에이징 기업에 1억 8,000만 달러를 투자했고, 상업용 핵융합 시설인 헬리온 에너지에 3억 7,500만 달러를 투자했다. 그는 헬리온은 ‘투자 이상의 것“이라며 오픈 AI 다음으로 그가 많은 시간을 들이는 일이라고 언급했다. 여러 YC 출신 스타트업과 올트만이 투자한 기업 중 다수가 오픈AI 고객이나 거래처가 되었다. 2024년 <월스트리트 저널>은 올트만의 자산이 최소 28억 달러에 이른다고 보도했다. 올트먼의 별명은 ’사마 Sama’ 이다. 메타로부터 콘테츠 모더레이션 업무를 맡아오면 외주 업체가 사마다. 오픈 AI는 사마와 4건의 계약을 23만 달러에 체결한다. 자동화 필러프로젝트는 케냐에 있는 노동자를 고용해 쓰는 일이었다. 챗GPT를 만드는 과정에서 착취적인 노동이 이루어지는 거점이 우연이 아니다. 실리콘벨리가 수년간 가장 지저분한 일을 외주로 맡기면서 가장 값이 싼 나라로 찍은 것이 케냐다. 외주 기술하청업체 사마는 가난하고, 글로벌 사우스에 속하고, 부유한 국가의 해외 투자에 목말라하는 정부가 공통분모를 갖는 나라를 찾는다. 케냐는 영어권 식민주의가 남긴 잔재의 일부다. 식민통치로 인해 캐냐에는 착취와 경제적 위기의 고통으로부터 시민들을 보호할 제도가 제대로 작동하지 못했다. 착취 구제 제도가 미비하고 경제적으로 불안한 상황은 해외 기업이 어떤 조건을 제시하더라도 주어진 삯일을 받아들어야 하는 비참한 상황의 노동력을 양산했다.

실업은 범죄를 양산하고 무기력해진 사람들은 제도와 시스템을 불신하게 된다. 러시아와 우크라이나 간 전쟁으로 캐냐의 곡물 가격이 치솟으면서 대통령이 이미 굶주린 사람들을 일부러 더욱 옥죄는 것이라는 소문이 돌았다. 미국에서 익숙한 말이 케냐에서도 반복됐다. 선거는 조작됐다고! 그렇게 해서 캐냐는 인테넷 산업의 최저 임금 노동의 핵심 거점이 되었다. 노동자들은 데이터 어노테이션 업계에서 흔히 계약서상 비밀 유지 조항에 따라 이 프로젝트가 누구를 위한 것인지, 왜 하는 것인지 전혀 알지 못했다. 노동자는 오로지 자신의 눈앞에 있는 수십만 건의 기괴한 테스트 기반의 서술을 읽고 심각한 정도에 따라 이를 분류해야 하는 것이다. 해당 서술은 폭력인가 아니면 매우 간혹한 폭력인가, 게롭힘인가 아니면 혐오 발언인가, 아동 성적 학대인가 아니면 수간인가? 등이다. 노동자는 읽고 선택하면서 겨우 몇 푼밖에 받지 못한다. 자율주행차를 예로 들어보자. 기업은 차량에 카메라를 달아 수십억 마일을 달리며 촬영을 한다. 촬영 영상이 데이터가 되며, 그 데이터에 대한 어노테이션은 영상을 플레임 단위로 쪼개 영상에 등장하는 모든 물체, 물체를 잡은 손이 만든 굴곡이나 차창 밖으로 내민 개의 얼굴을 구체적으로 찾아내 라벨을 붙이는 것이다. 이 작업은 사람이 해야 한다. 인건비가 쌀수록 하청 기업은 좋아한다.

그런데 이 값싼 영어권 식민지의 일거리도 여러 나라에서 서로 하려고 하는 것이다. 대통령이 체포된 베네수엘라에서 신규 요청자가 대거 몰려온 것이었다. 하청기업이 노동력을 확보하려던 시점 베네수엘라는 최악이 경제위기였다. 실업률은 치솟고 초인플레이션이 걷잡을 수 없을 정도가 되며, 전 국민이 평생 모은 돈이 종이조각이 되면서 강력범죄가 폭발적으로 늘었다. 베네수엘라인은 믿기 힘들 정도의 싼 가격에도 서비스를 제공하려고 박 터지게 덤볐다. 이런 가격 조건에 맞는 나라는 또 있다. 최소 10달러를 벌어야 돈을 인출할 수 있는데 이제는 몇 주간 일해야 그 돈을 벌 수 있다. 노동자는 비극적이게도 흔해 빠졌다. 가난이 그저 돈이 없거나 물질적으로 부족한 형태로 나타나지 않는다는 사실을 노동자로부터 배웠다. 가난은 노동자 모든 측면에 스며들어 모든 곳에서, 부채를 발생시킨다. 불규칙한 수면, 건강 악화, 자존감 저하, 일상에 대한 통제권이 거의 없어지는 가난의 본모습이다. 미국 하청업체들은 영어를 사용하는 식민지 국가였던 케냐와 필리판에서 인력을 찾았나선다. 베네수웰라와 같은 배합, 즉 교육 수준이 높은 사람이 많고, 인터넷 연결이 좋지만 가난해서 쥐꼬리만 한 돈을 위해서라도 열심히 일할 사람이 있는 지역을 케냐와 필리핀에서 물색하기 시작했다.

이들은 시급제를 없애기 시작했다. 달리 갈곳 없는 노동자는 책임량 작업제에도 남아 작업을 하기 시작했다. 스케일AI는 갈수록 다양하고 고객의 수요를 충족시키기 위해 경제적으로 가장 가치 있는 언어인 영어, 프랑스어, 이탈리아어, 독일어, 중국어, 일본어, 스페인어를 할 수 있으면서 재정적 압박을 받은 인구가 많은 국가로 진출했다. 중국인 디아스포라가 많이 거주하는 동남아시아 같은 지역에서 중국어 사용자를 찾았다. 회사는 의도적으로 경제적 어려움을 겪고 있는 나라에 진출했고, 이후 임금을 깎았다. 하청업체는 사마, 클라우드 팩토리, 스케일 AI, 등으로 이들은 어노테이션을 업으로 했고, 노동자들은 그 중에서도 사마를 클라우드팩토리보다 선호했다. 그러자 팬데믹이 덮치고 스케일AI와 다른 저럼한 선택지를 찾아 떠났다.

자율주행차를 만들기 위해서는 데이터 어노테이터들이 거리 풍경과 도로 상황을 식별하는 법을 알아야 했던 것처럼, AI 안전 연구원들이 RLHF 업무를 담당한 노동자들에게 주문한 것은 사용자가 입력한 프롬프트에 유용한 답변을 하면서 해로운 답변을 삼가는 방법을 GPT-3에게 보여주라는 것이었다. 연구자들은 노동자들에게 다양한 사용자 프롬프트에 대한 답변을 직접 쓰게 함으로써 입력할 모범 답변 예시를 모았다. 이렇게 모은 답변을 GPT-3에서 미세 조정한 뒤, 노동자들은 직접 프롬프트를 입력해 그에 대해 모델이 산출한 결과값을 연구원들로부터 받은 지침을 기준으로 가장 좋은 답변부터 가장 나쁜 답변순으로 순위를 매겼다. 이런 과정을 거처 GPT-3모델이 나왔다.

2026.05.02.

AI제국-3rd

카렌 하오 지음

[정세주]

AGI
스케일링의 법칙

좋은 글
감사합니다.

오늘도
좋은 하루 되세요.