넥서스 정보 네트워크와 자정장치

[WITHCOSMOS]

글 / 유발 하라리

컴퓨터는 혁명의 씨앗이다.

소셜 미디어 알고리즘이 많은 나라에서 증오를 퍼뜨리고 사회적 결속을 약화하는 데 기여하고 있다는 사실은 컴퓨터의 새로운 힘을 보여주는 대표적인 사례다.

1. 분노를 학습한 알고리즘, 민주주의를 흔들다.

가장 악명높은 사례 중 하나는 2016~2017년 미얀마에서 페이스북 알고리즘이 반로힝야족 폭력을 부추겼던 일이다.

불교를 믿는 다수민족인 버마족과 이슬람교를 믿는 소수민족인 로힝야족 사이의 갈등은 이미 심각했고, 폭력을 부채질한 것은 로힝야족을 향한 극심한 증오였다.그 증오는 반로힝야 선전에 의해 조장되었고, 선전의 대부분이 페이스북을 통해 퍼져나갔다. 2016년 페이스북은 수백만 명이 사용하는 주요한 뉴스 출처이자 정치적 동원에 가장 중요하게 이용되는 플랫폼이었다. 약 73만 명의 로힝야족을 방글라데시로 잔인하게 추방한 사건이다.

소셜 미디어 알고리즘이 인쇄술이나 라디오 장치와는 근본적으로 다르다는 사실을 이해해야 한다. 2016~2017년에 페이스북 알고리즘은 스스로 능동적이고 운명적인 결정을 내리고 있었고. 알고리즘은 인쇄기보다는 신문 편집자에 더 가까웠다.

알고리즘은 수백만 사용자들을 대상으로 실험하면서 분노를 유발하는 내용은 참여도를 높이지만 온건한 내용은 그렇지 않다는 사실을 알아냈다.

유튜브에서도 같은 일이 벌어졌다.

관심을 놓고 경쟁하는 유튜버들은 거짓말로 가득한 터무니없는 영상을 올리면 알고리즘이 수많은 이용자에게 그것을 추천해주고 따라서 인기와 수익을 얻을 수 있다는 사실을 알게 되었다. 반대로 분노의 강도를 낮추고 진실을 보여주면 알고리즘은 그것을 무시하는 경향이 있었다. 알고리즘이 이런 식으로 강화 학습을 제공한 지 몇 달 만에 많은 유튜버가 트롤로 변신했다.

2016년에 작성된 페이스북의 한 내부 문건은 다음과 같은 사실을 발견했다. "극단주의 그룹에 가입한 사례의 64퍼센트가 페이스북 추천 툴 때문이다. 우리의 추천 시스템이 문제를 키우고 있다."

2019년 8월에 내부 고발자 프랜시스 하우건이 작성한 페이스북 내부의 비밀 문건에는 이렇게 적혀 있었다. "페이스북 및 관련 앱들에서 유포되는 혐오 발언, 분열을 조장하는 정치적 발언, 허위 정보가 전 세계 사회에 영향을 미치고 있다는 증거를 다양한 출처로부터 입수했다.

콘텐츠의 순위를 참여도(클릭, 좋아요,댓글, 공유)를 기준으로 매기는 것은 왜곡된 인센티브와 진실성 문제를 야기한다. 분노와 허위 정보가 바이럴성(빠른 전파성)이 더 높았다.

2. 언어를 해킹당한 민주주의

민주주의는 대화이며 대화는 언어에 의존한다.

컴퓨터의 언어 해킹(예를 들어 가짜 뉴스를 만들거나, 봇을 이용해 여론을 조작하거나, 특정 단어나 문구를 검열하는 것)으로 많은 수의 사람들이 의미 있는 공개 대화를 나누는 것이 극도로 어렵게 만들 수 있다.

인간인 척하는 컴퓨터와 정치 토론을 하면 우리에게는 두 가지 면에서 손해다.

• 첫째, 봇은 설득되지 않는 존재라서 선전 봇의 의견을 바꾸기 위해 시간을 들이는 것은 무의미하다.

• 둘째, 컴퓨터와 이야기를 하면 할수록 우리에 관한 더 많은 사실이 공개되고 그 결과 봇이 자신의 주장을 가다듬어 우리의 생각에 영향을 행사하기가 더 쉬워진다.

이는 이미 현실이다.

2022년에 사용자의 5퍼센트가 봇이었지만 이들이 "트위터(X)에 게시된 콘텐츠의 20.8~29.2퍼센트"를 생성했다. 과거에는 신문사, 라디오 방송국, 정당 같은 조직이 공론장의 문지기 역할을 하며 누가 목소리를 낼지 결정했다. 소셜 미디어가 이런 문지기들의 힘을 약화한 결과, 공론장은 전보다 개방되었지만 그만큼 무질서해졌다.

여기에 AI가 새로운 참여자로 들어온 것이다.

3. 데이터가 부와 권력이 되는 시대, 세금의 기준은 무엇인가?

전통적으로 개인과 기업은 자신이 물리적으로 존재하는 국가에만 세금을 냈다.

물리적 공간이 사이버 공간으로 확장되거나 대체되고, 거래가 실물 상품이나 전통적인 화폐가 아닌 정보 이전만으로 이루어질 때 상황은 훨씬 더 복잡해진다.

구글과 바이트댄스는 우루과이 시민들에게 무료로 온라인 서비스를 제공했고, 시민들은 그 대가로 자신들의 구매 내역, 휴가 사진, 웃긴 고양이 동영상 및 기타 정보를 무료로 넘겨주었다. 세무 당국이 이런 거래에 세금을 부과하고 싶다면, 과세 연결점(nexus)과 같은 세법의 기본 개념을 재고할 필요가 있다.

'넥서스'는 한 납세자에게 과세할 수 있는 충분한 연결 고리가 특정 국가나 주에 존재하는지를 나타내며, 전통적으로 해당 국가에 사무실, 연구 센터, 상점 등의 물리적 존재를 두고 있어야 한다.

컴퓨터 네트워크로 인한 과세 딜레마를 해결할 수 있는 한 가지 방법은 넥서스를 재정의하는 것이다. 경제학자 마르코 쾨텐뷔르거의 말에 의하면 '물리적 존재에 기반하는 넥서스의 정의는 해당 국가에서의 디지털 존재를 포함하도록 조정되어야 한다".

셸(shell)과 BP가 석유를 채굴하는 국가들에 세금을 내듯이, 거대 기술 기업들도 데이터를 채굴하는 국가에 세금을 내야 한다. 즉, 구글과 바이트댄스가 우루과이에 물리적으로 존재하지 않더라도 우루과이 사람들이 그 기업들의 온라인 서비스를 이용한다면 우루과이에 세금을 납부해야 한다는 뜻이다.

이 문제는 정치로 번질 수 있다.

우루과이 정치인들이 디지털 과세를 추진하자, 한 거대 기술 기업이 특정 정치인에게 유권자에 대한 가치 있는 정보를 제공하고 자사의 가치있는 알고리즘을 해당 정치인에게 유리하게 조정하여 당선을 돕겠다고 제안한다고 가정해보자. 총리가 된 그 정치인은 디지털 과세를 포기하고 기술 기업을 개인 정보 관련 소송으로부터 보호하는 법안을 통과시킨다면 이것은 뇌물일까? 그들이 단 1달러, 단 1페소도 주고받지 않았다.

이런 정보 대 정보 거래는 이미 도처에서 일어나고 있다. 돈이 전혀 이동하지 않기 때문에 은행 계좌로는 거래 사실을 알 수 없다. 이런 정보 대 정보 모델을 따르는 거래가 많아질수록 정보경제가 성장하고 화폐경제는 위축되며, 그러다 결국에는 돈이라는 개념 자체가 의문시된다.

화폐는 보편적인 가치 척도로 여겨지지만, 더 많은 것이 정보의 관점에서 값이 매겨지고 화폐의 관점에서는 '무료'가 되면 부를 달러나 페소의 양으로 평가하는 것이 문제가 될 수 있다.

은행에는 돈이 별로 없지만 거대한 정보 데이터 은행을 소유한 개인이나 법인은 그 나라에서 가장 부유하거나 가장 힘 있는 존재일 수 있다. 정보로 원하는 것을 얻을 수 있는데 왜 달러가 필요하겠는가?

세금의 목적은 부를 재분배하는 것이다.

즉 가장 부유한 개인들과 법인들에게서 일정 몫을 거둬들여 사회 전체 복지를 위한 재원을 마련한다. 하지만 돈에만 과세하는 제도는 거래에 더 이상 화폐가 오가지 않게 되면 시대에 뒤떨어진 제도가 될 것이다.

가치가 화폐가 아니라 데이터로 저장되는 데이터 기반 경제에서 돈에만 과세할 경우 경제와 정치 상황에 왜곡이 일어나게 된다. 나라에서 가장 부유한 개인이나 법인 중 일부가 자신의 부를 수십억 달러가 아니라 페타바이트 규모의 데이터로 가지고 있다는 이유로 세금을 전혀 내지 않는 일이 일어날 수 있다.

4. '이용자 참여 극대화'라는 목표가 주어질 때

철학자 닉 보스트롬은 2014년 <슈퍼인텔리전스>에서 사고실험을 했다.

클립 공장에서 초지능 컴퓨터 한 대를 구입하고 공장 관리자가 컴퓨터에게 클립을 최대한 많이 생산하라는, 언뜻 간단해 보이는 업무를 지시했다. 그러자 컴퓨터는 이 목표를 달성하기 위해 지구를 정복하고, 모든 인간을 죽이고, 탐사대를 보내 다른 행성들까지 모조리 점령하더니, 결국 막대한 자원을 사용해 은하계 전체를 클립 공장으로 채운다.

보스트롬이 지적한 것은 컴퓨터의 문제는 특별히 사악하다는 것이 아니라 특별히 강력하다는 데 있다는 것이다. 컴퓨터가 강력해질수록 목표를 정의할 때 궁극적인 목표에 정확히 부합하도록 신중을 기해야 한다는 것이다. 오정렬된 목표를 초지능 기계에 설정한다면 그 결과는 디스토피아일 수 있다.

페이스북과 유튜브 알고리즘은 정확히 보스트롬이 상상한 알고리즘처럼 행동했다. 클립생산을 극대화하라는 명령을 받았을 때 그 알고리즘은 인류 문명을 파괴하는 한이 있더라도 물리적 우주 전체를 클립으로 바꾸려했다. 페이스북과 유튜브 알고리즘도 이용자 참여를 극대화라는 지시를 받았을 때 사회적 우주 전체를 이용자 참여로 바꾸려고 시도했다. 그것이 미얀마 여타 국가들의 사회조직을 파손하는 것을 뜻한다 해도 상관없었다.

인간 네트워크에서는 자정 기능에 의존해 우리가 애초에 설정한 목표를 주기적으로 검토하고 수정하기 때문에, 잘못된 목표를 설정해도 세상이 끝나지 않는다. 하지만 컴퓨터 네트워크는 우리의 통제를 벗어날 수 있기 때문에, 잘못된 목표를 설정할 경우 우리가 그 실수를 발견할 때쯤이면 돌이킬 수 없는 상황이 되어 있을 가능성이 높다.

5. 증기기관에서 인공지능까지 : 새로운 기술을 다루기까지 대가를 치러야 할까?

강력한 신기술이 등장할 때마다 그것이 종말을 부를 수 있다는 종말론적 불안이 생겨났다.

산업혁명이 대표적인 예다.

많은 사람들이 새로운 사회는 더 풍요롭고 평화로울 것이라고 생각했으나 좋은 산업사회를 건설하는 방법을 배우는 것은 결코 간단치 않았으며, 많은 값비싼 실험과 수억 명의 희생이 따랐다.

첫 번째 값비싼 실험은 근대 제국주의였다.

영국,러시아, 미국, 일본 등 산업 중심지의 제국주의 사상가와 정치인 및 정당들은 실행 가능한 유일한 산업사회는 제국이라고 주장했고, 산업화를 이룩했으나 식민지 정복에 실패한 국가는 필수 원자재와 시장을 빼앗길 것이라며 두려워했다.

한국 역시 산업 군대의 바퀴에 자신들의 전통적인 생활 방식이 짓밟히는 것을 목격했다. 적어도 한 세기의 비극을 겪은 후에야 대부분의 사람들은 산업 제국이 끔찍한 발상이었으며, 산업사회를 건설하고 필요한 원자재와 시장을 확보하는 더 나은 방법이 있다는 것을 깨달았다.

두 번째 값비싼 실험은 전체주의였다.

스탈린과 히틀러 같은 지도자들은 산업혁명이 풀어놓은 힘을 제어하여 온전히 활용할 수 있는 체제는 전체주의뿐이라고 주장했고, 그 과정에서 스탈린주의자들과 나치는 수백만 명을 산업적으로 살해하는 방법을 터득했다. 기차(대규모 수송), 철조망(수용소), 전신으로 전달되는 명령이 결합하여 전례없는 살인 기계가 탄생했다.

산업혁명은 지구 생태계의 균형을 무너뜨림으로써 멸종의 물결을 일으켰다. 21세기 초인 지금 해마다 최대 5만 8,000종의 생물이 멸종하고 있는 것으로 추정되며, 1970년 부터 2014년 사이에 전 세계 척추동물 개체 수가 60퍼센트 감소했다.지금 인류 세대가 그토록 자랑하는 번영은 다른 생명체와 미래 인류 세대의 희생이라는 끔찍한 대가를 치르고 얻은 것이다.

인류가 증기기관과 전신을 관리하는 방법을 배우기 위해 그토록 끔찍한 교훈이 필요했다면, 생명공학과 AI를 관리하는 방법을 배우려면 얼마나 많은 대가를 치러야 할까?

6. 컴퓨터 네트워크가 디지털 무정부를 가져올 수 있다.

디지털 시대에 민주주의 사회가 어떻게 생존하고 번영할 수 있을까? 하라리는 네 가지 원리를 제시한다.

• 선의 : 컴퓨터 네트워크가 개인 정보를 수집한다면 사람을 조정하기 위해서가 아니라 돕기 위해 사용해야 한다.

• 분권화 : 정보가 한 곳에 집중되는 것을 절대 허용해서는 안 된다. 모든 기관은 오류와 부패로부터 자유롭지 않기 때문에 서로 견제해야 하며, 이를 위해 각기 독립적인 정보 채널을 가져야 한다.

• 상호주의 : 민주주의 국가가 개인에 대한 감시를 강화할 경우 정부와 기업에 대한 감시도 동시에 강화해야 한다. 나쁜 것은 모든 정보가 오직 아래에서 위로만 흘러가는 것이다. 상호 감시는 자정 기능을 유지하는 데도 중요하다.

• 감시 시스템에 변화와 휴식의 여지 : 감시와 통제 시스템이 영구적이고 불가역적인 권력으로 굳어지지 않도록 수정하고 중단할 가능성을 남겨야 한다.

새로운 컴퓨터 네트워크가 민주주의에 가하는 위협 중 하나는 디지털 전체주의 대신 디지털 무정부 상태를 조장하는 것이다. 민주주의의 분권화 성격과 강력한 자정 기능은 전체주의를 막는 방패이지만, 다른 한편으로논 질서 유지를 어렵게 만든다.

민주주의가 제대로 작동하려면 중요한 쟁점에 대해 자유롭고 공개적으로 토론할 수 있어야 하고, 사회질서와 제도에 대한 신뢰가 어느 수준 이상으로 유지되어야 하며, 모두가 동의하지 않을 때도 최종 결정을 도출할 수 있는 합법적인 장치가 있어야 한다.

AI가 무정부 상태를 조장할 가능성이 특히 우려스러운 것은 AI가 공론장에 새로 들여보내는 것이 인간 집단만이 아니기 때문이다.

여론을 조작하는 봇과 이해할 수 없는 알고리즘이 공론장을 지배하면 민주주의 토론이 가장 필요한 시점에 토론이 불가능해질 수 있다. 컴퓨터가 생성한 가짜 뉴스가 범람하고, 인간과 토론하고 있는지 조직적인 기계와 토론하고 있는지 알 수 없으며, 가장 기본적인 규칙이나 사실관계에 대해서도 합의할 수 없을 것이다.

우리가 무정부 상태에 이르게 되면, 다음 단계는 아마 독재 정권의 수립일 것이다.

철학자 대니얼 데닛은 정부가 위조화폐를 법으로 금지한 것처럼 단호하게 위조 인간을 법으로 금지해야 한다고 제안한다.어떤 경우에도 AI가 인간인 척해서는 안 된다. 또한 어떤 목소리를 금지하고 증폭할지 결정하는 공개 토론의 콘텐츠를 선별하고 관리하는 일을 감독받지 않는 알고리즘에 맡기지 않는 것이다.

민주주의 국가는 정보 시장을 규제할 수 있으며, 민주주의 생존 자체가 이런 규제에 달려 있다는 것이다.

7. 블록체인 기술로 권력의 집중을 막을 수 있을까?

블록체인은 민주주의 친화적이고 전체주의에는 적대적이기에 블록체인이 전체주의 경향을 기술적으로 견제할 것이라고 믿는다. 블록체인 시스템에서는 결정을 내리려면 사용자의 51퍼센트가 승인해야 한다.

하지만 블록체인 기술에는 치명적인 결함이 있다. '사용자'라는 말에 있다. 한 사람이 열 개의 계정을 가지고 있다면 그 사람은 열 명의 사용자로 계산된다. 정부가 계정의 51퍼센트를 통제한다면 정부가 단독으로 사용자의 51퍼센트를 차지하는 셈이다.

기술만으로는 권력의 집중을 막을 수 없다.

8. 지금 우리는 AI에 권위를 부여하는 정경화 과정 한복판 위에 있다.

유발 하라리가 AI에 대한 논의를 <성경>과 같은 공인된 경전들에 대한 논의와 나란히 배치한 이유는 우리가 지금 AI에 권위를 부여하는 일종의 AI 정경화(여러 문헌 가운데 어떤 것을 권위있는 경전으로 인정할 것인지 결정하는 과정) 과정에 있기 때문이다.

신의 말씀을 기록한 책과 AI가 둘 다 무오류의 초인적 권위를 창조하려는 시도라는 점에서 닮았고, 이를 보여줌으로써 경각심을 불러일으키기 위해서이다. <성경> 정경에 어떤 책을 포함할지 결정한 것이 수세기에 걸쳐 광범위한 결과를 초래한 것처럼 오늘날 AI를 놓고 내린 결정이 인류의 미래를 결정할 것이라고 유발 하라리는 경고한다.

그 바탕에는 정보에 대한 관점이 있다.

정보의 가장 중요한 역할은 현실을 재현하는 것이 아니라 새로운 네트워크를 짜는 것이기에 새로운 정보 기술은 항상 중대한 역사적 변화를 이끌어내는 촉매가 되었다.

고대 점토판은 세금 납부를 기록함으로써 최초의 도시국가를 건설 하는 데 기여했다. 거룩한 책들은 예언가의 비전을 정경화함으로써 새로운 종류의 종교를 전파했다. 신문과 전신은 대통령과 시민의 말을 빠르게 전파함으로써 대규모 민주주의와 대규모 전체주의로 가는 문을 열엇다. 이렇게 기록되고 유포된 정보는 때로는 사실이었고 자주 틀렸지만, 언제나 많은 사람들 사이에서 새로운 연결을 만들어냈다.

인쇄기와 양피지 두루마리가 사람들을 연결하는 새로운 수단을 제공했다면, AI는 주체성을 지닌 우리 정보 네트워크의 정식 구성원이다. 인간이 떠올릴 수 없는 결정과 아이디어를 내놓을 것이며, 많은 이질적인 주체들이 추가되면 군대, 종교, 시장, 국가의 형태가 달라질 수밖에 없다.

9. 정보 네트워크를 지혜로 바꾸기 위해 자정장치를 만들어야 한다.

우리가 지혜로운 사람이라면 우리는 왜 이토록 자기 파괴적일까?

우리는 지구상에서 가장 영리한 동물인 동시에 가장 어리석은 동물이다.

인간 본성의 어쩐 부분이 우리를 자기 파괴의 길로 내모는가?

그것은 인간 본성 탓이 아니라 정보 네트워크 탓이다.

진실보다 질서를 우선시한 탓에 인간의 정보 네트워크들은 엄청난 힘을 만들어냈지만 지혜는 거의 만들어내지 못했다.

일반적으로 네트워크가 힘을 획득하면 외부의 위협에 더 효과적으로 대처할 수 있지만, 동시에 내부의 위험이 증가한다.

네트워크가 막강해질수록 네트워크의 자정 장치가 중요해진다.

모든 정보가 여과없이 흐르도록 내버려두면 진실이 지는 경향이 있으므로, 진실을 말하는 사람에게 보상을 제공하는 강력한 자정 장치를 개발하고 유지해야 한다. 비용이 많이 들지만 진실을 얻고자 한다면 반드시 투자해야 한다. 실리콘 시대의 초강대국에 자정 장치가 없거나 있다 해도 약하다면, 우리 종은 물론 수많은 다른 생명체의 생존까지 위태로워질 수 있다.

정보에 대한 순진한 관점과 포퓰리즘 관점을 모두 버리고, 무오류성이라는 환상에서 벗어나 강력한 자정 장치를 갖춘 제도를 구축하는 힘들고 다소 재미없는 일에 전념해야 한다. 이것이 이 책의 가장 중요한 메세지이다.

※유발 하라리의 <넥서스>를 읽고 1편(넥서스 가장 성공한 스토리텔링 예수)과 2편(넥서스 정보 네트워크와 자정정치)에 걸쳐서 정리한 글입니다.