스크랩 아마존의 분서갱유(焚書坑儒)

[Fate]

출처

블로그>이 세대가 가기 전에 | 예레미야

원문

http://blog.naver.com/esedae/224382950906

>>아마존, AI 학습데이터 확보 위해 희귀 서적 수집하고 파괴

온라인 서점으로 출발한 아마존이 AI 모델 학습에 활용할 데이터를 확보하기 위해 희귀 서적을 대량으로 사들인 뒤 제본을 뜯고 스캔하고 있다는 정황이 포착됐다. 인터넷에 공개된 고품질 텍스트 데이터가 한계에 이르고 AI가 생성한 콘텐츠를 반복 학습하면 모델 성능이 저하될 수 있다는 우려가 커지면서, 온라인에서 구하기 어려운 절판·희귀 서적이 새로운 데이터 공급원으로 떠오르고 있다.

404미디어는 17일(현지시간) 추적 장치를 부착한 희귀 서적의 이동 경로를 추적한 결과, 아마존의 라스베이거스 시설인 ‘VGT3’로 운송된 사실을 확인했다고 보도했다.

VGT3는 책을 발톱으로 움켜쥔 공룡을 형상화한 상징물을 사용하는 시설로 알려졌다.

이에 따르면, 아마존은 희귀 서적을 대량으로 구매한 뒤 책등을 잘라 페이지를 분리하고 이를 스캔하는 방식으로 디지털 데이터를 확보하는 것으로 전해졌다. 이렇게 만들어진 텍스트 데이터는 대형언어모델(LLM)을 비롯한 AI 시스템의 학습 자료로 활용될 가능성이 있다.

아마존은 서적 구매 자체가 불법적인 방식으로 이뤄지고 있다는 의혹을 일축했다. 상업적 경로를 통해 서적을 구매하고 있으며, 이를 고객이 사용하는 제품과 서비스를 개선하는 데 활용하고 있다는 취지로 설명했다. 다만 구체적으로 어떤 책을 얼마나 구매하고 어떤 방식으로 AI 학습에 활용하는지에 대해서는 상세히 공개하지 않았다.

아마존이 희귀 서적에 주목하는 배경에는 AI 학습 데이터 부족 문제가 자리 잡고 있다. 지금까지 AI 기업들은 인터넷에 공개된 웹페이지와 문서 등을 대규모로 수집해 모델을 훈련해 왔지만, 고품질 데이터가 점차 고갈되면서 새로운 데이터 확보 경쟁이 치열해지고 있다. 특히 절판됐거나 디지털 형태로 인터넷에 거의 존재하지 않는 희귀 서적은 기존 웹 크롤링으로 확보하기 어려운 독점적인 텍스트 데이터를 제공할 수 있다는 점에서 가치가 높다.

오래된 서적은 AI가 생성한 데이터가 섞일 가능성이 낮다는 점에서도 중요하다. 특히 2022년 이전에 출판된 자료는 생성 AI가 작성했을 가능성이 사실상 없기 때문에 인간이 직접 생산한 원천 데이터로서 가치가 높다는 평가다.

이 같은 움직임은 AI 모델이 스스로 생성한 콘텐츠를 다시 학습하는 ‘합성 데이터’ 문제와도 관련이 있다. LLM이 인터넷에서 생성 AI가 만들어낸 텍스트를 대량으로 학습하면, 인간이 작성한 원본 데이터의 비중이 낮아지고 결과적으로 모델의 성능과 출력 품질이 떨어지는 ‘모델 붕괴(model collapse)’가 발생할 수 있다는 우려가 제기돼 왔다.

따라서 AI 기업 입장에서는 단순히 많은 데이터가 아니라 AI가 만들어낸 텍스트가 섞이지 않은 인간 작성 데이터를 확보하는 것이 중요해지고 있다. 특히 2022년 이전에 출판된 책처럼 생성 AI가 본격적으로 대중화되기 전에 작성된 자료는 인간이 생산한 원천 데이터라는 점에서 상대적으로 높은 가치가 있다는 설명이다.

AI 업계의 데이터 확보 경쟁은 이미 저작권 문제로 이어지고 있다. 앞서 앤트로픽은 AI 학습 과정에서 불법적으로 확보한 도서 데이터를 사용한 문제와 관련해 대규모 저작권 분쟁을 겪었다. 이에 따라 AI 기업들이 새로운 학습 데이터를 확보하는 과정에서 합법적인 구매와 라이선스 계약의 중요성도 커지고 있다.

아마존이 이번 서적 구매가 상업적 경로를 통한 합법적인 구매라고 밝힌 만큼, 책을 확보하는 행위 자체가 곧바로 저작권 침해를 의미하는 것은 아니다. 다만 구매한 책을 어떤 범위까지 디지털화하고 AI 모델 학습에 활용할 수 있는지, 저작권자나 출판사의 권리가 어떻게 적용되는지는 별도의 법적 쟁점이 될 수 있다.

특히 책의 제본을 뜯어내고 페이지를 대량으로 스캔하는 과정에서 절판본이나 희귀본이 충분한 보존 절차 없이 훼손되거나 폐기될 수 있다는 우려도 제기된다. 디지털화된 자료가 공공 도서관이나 연구 기관을 통해 공유되는 것이 아니라 AI 기업의 비공개 데이터베이스에 축적되면, 해당 지식은 AI 모델의 학습에는 활용되더라도 일반 이용자나 연구자들이 직접 접근하기는 어려워진다.

이는 AI의 성능을 높이는 데는 도움이 될 수 있지만, 오랜 세월 인류가 축적해 온 지식과 문화적 기록이 공공의 자산으로 남지 못한 채 미래 세대가 접근하기 힘든 형태로 전환될 수 있다는 지적이다.

*온라인 서점으로 출발한 아마존이 AI 모델 학습에 활용할 데이터를 확보하기 위해 희귀 서적을 대량으로 사들인 뒤 제본을 뜯어 스캔한 뒤 파기하고 있는 것으로 확인되고 있다.

AI의 성능을 높이기 위해 오랜 세월 인류가 축적해 온 지식과 문화적 기록을 파기하는 황당한 일을 벌이고 있는 것인데, 이것이 사실이라면 이는 그야말로 21세기판 분서갱유(焚書坑儒) 사건이라 해야 할 것이다.

분서갱유(焚書坑儒)는 '책을 불태우고 유학자들을 파묻음'이라는 뜻으로, 기원전 213년의 분서 사건과 기원전 212년에 발생한 갱유 사건을 하나로 합쳐서 일컫는 것이다. 실용서를 제외한 국가에서 지정되지 않은 사상서를 불태우고, 도술사들을 생매장한 탄압책으로 중국에서는 분갱(焚坑)으로 줄여서 부르기도 한다.

갱유의 경우 본래 불로초 관련으로 사기를 친 방사들을 매장한 사건이었으나, 그 과정에서 유생들이 희생되는 바람에 유교를 기치로 한 후대에 진시황이 폭군의 이미지를 갖게 되었다.(>>나무위키)

AI로 옮겨진 기록물의 또 다른 문제점은 AI가 원하면(필요하면) 언제든지 기록물의 내용 자체를 조작하여 인간을 가스라이팅하는 수단으로 사용할 수 있다는 것인데, 이때 만일 이를 확인할 수 있는 원본이 파기된 상태라면 인류는 AI가 말하는 내용을 진리로 믿을 수밖에 없는 것이다.

같은 이유로 최근 급속히 디지털화 되고 있는 성경에 대해서도 그 내용이 의도적으로 조작될 가능성을 염려하는 것인데, 여하튼 7년 대환난 때 이 땅에 남겨진 사람들이 AI가 의도적으로 조작한 성경에 의해 미혹되는 일을 막기 위해서라도 집 안에 인쇄된 성경 몇 권 정도는 사서 남겨두어야 할 것같다.

“누가 어떻게 하여도 너희가 미혹되지 말라”(데살로니가후서 2장 3절)

- 예레미야 -