마크 오코널, 노승영 역, 『트랜스휴머니즘』

[시냇물]

https://naver.me/G0J1Y7Ot

트랜스휴머니즘: 생물학적 조건에서 완전히 벗어나자고 주장하는 해방운동

마크 오코널, 노승영 역, 『트랜스휴머니즘』, 문학동네, 2018(2017).


차례

1장 시스템 충돌
2장 대면
3장 방문
4장 자연 밖으로
5장 특이점에 대한 소고
6장 인공지능의 실존적 위험을 논하다
7장 최초의 로봇에 대한 소고
8장 단지 기계일 뿐
9장 생물학과 그 불만
10장 믿음
11장 죽음을 해결해주소서
12장 영생의 원더로지
13장 종말과 시작에 대한 소고


-------------------------

1장 시스템 충돌

모든 이야기는 종말에서 시작된다. 우리가 이야기를 짓는 것은 죽기 때문이다. 우리의 이야기는 인간의 몸에서 벗어나려는 욕망, 동물로서의 인간이 아닌 다른 존재가 되려는 욕망에 대한 것이다. 가장 오래된 기록문학인 『길가메시 서사시』에서 친구의 죽음으로 심난해진 수메르 왕 길가메시는 자신을 기다리는 운명을 받아들일 수 없어 불사의 영약을 찾아 세상 끝으로 떠난다. 결론: 어림도 없다. 한편 아킬레우스의 어머니는 아들을 천하무적의 몸으로 만들려고 스틱스 강에 아들을 담근다. 이 방법이 통하지 않았음은 잘 알려져 있다.

참고: 날개를 만든 다이달로스.
이것도 참고: 신의 불을 훔친 프로메테우스. 13


타고난 인간 조건을 거스르는 반란. 이것은 내가 이 책을 쓰면서 알게 된 사람들의 동기를 한마디로 압축한 것이다. 이 사람들은 대체로 ‘트랜스휴머니즘’이라는 운동을 표방하는데, 이 운동은 우리가 기술을 이용하여 인류의 미래 진화를 좌우할 수 있고 그래야 한다는 확신을 근거로 삼는다. 이들은 우리가 노화를 사망 원인에서 배제할 수 있고 그래야 하며, 우리가 기술을 활용하여 몸과 마음을 향상시킬 수 있고 그래야 하며, 우리가 기계와 융합되어 궁극적으로 스스로를 더 이상적인 모습으로 개조할 수 있고 그래야 한다고 믿는다.

나는 트랜스휴머니스트가 아니다.(…) 하지만 내가 이 운동의 발상과 목표에 매혹된 것은 이들의 전제에 기본적으로 동의하기 때문이다. 그것은 우리가 타고난 인간 조건이 최선의 시스템은 아니라는 생각이다. 15

지금으로부터 3년 전 아이를 처음 안았을 때 그 자그마한 몸뚱이가 얼마나 연약하던지. 긴 시간의 산통으로 부들부들 떨리는 엄마의 몸에서 피범벅인 채 울고 버둥거리며 갓 나타난 몸뚱이. ‘너는 고통을 겪으며 자식을 낳을 것이다.’ 더 나은 시스템이 틀림없이 있으리라는 생각을 지울 수 없었다. 15

『어머니 자연에게 보내는 편지』는 내가 접한 트랜스휴머니즘 원칙 중에서 가장 명확하고 도발적인 선언이었으며 서간체 서술은 이 운동이 내게 그토록 이상하면서도 설득력 있게 비친 이유와 일맥상통했다.(…) 편지의 저자는 맥스 모어라는 의미심장한 이름을 가진 사람이었다. 그는 옥스퍼드 출신의 철학자로, 트랜스휴머니즘 운동의 중심 인물이 되었다. 18


트랜스휴머니즘은 생물학적 조건에서 완전히 벗어나자고 주장하는 해방운동이다. 이를 정반대로 해석해도 뜻은 같다. 즉, 이 표면적 해방은 사실 궁극적이고 철저하게 기술의 노예가 되는 것이다.

우리는 기술이 어떻게 모든 것을 개선하는지 고려하라는 요구와, 특정한 앱이나 팰랫폼이나 장치가 세상을 더 나은 곳으로 만들고 있음을 인정하라는 요구에 시달린다. 미래에 희망이 있다면 그 희망은 상당 부분 우리가 기계를 가지고 무엇을 해낼 수 있는가에 달려 있다. 이런 의미에서 트랜스휴머니즘은 주류 문화—이것을 자본주의라고 불러도 무방할 것이다—에 내재한 경향이 강화된 결과다.

그럼에도 이 역사적 순간의 엄연한 사실은 우리가, 또한 우리의 이 기계들이 절멸의 대기획을 주도하고 있다는 것이다. 20

트랜스휴머니즘에 대해 알면 알수록, 이것이 겉으로는 아무리 극단적이고 괴상하더라도 실제로는 실리콘밸리 문화에 모종의 압력을 가하고 있음을 분명히 깨달았다. 트랜스휴머니즘의 영향은 많은 IT기업들이 비약적 수명연장(radical life extension)의 이상에 광적으로 매달리는 것에서 감지할 수 있다. 이를테면 페이팔 공동창립자이자 페이스북 투자자 피터 틸은 여러 수명연장 사업을 후원하고 있으며 구글은 노화 문제의 해결을 목표로 하는 생물공학 자회사 칼리코를 설립했다. 일론 머스크와 빌 게이츠, 스티븐 호킹이 초인공지능 때문에 인류가 절멸할 것이라고 격렬히 경고한 것에서도 트랜스휴머니즘의 영향을 느낄 수 있다. 기술적 특이점의 대사제 레이 커즈와일이 구글 기술이사로 선임된 것은 말할 것도 없다. “결국은 사람들이 장치를 이식받을 것이며, 어떤 사실에 대해 생각하기만 하면 장치가 답을 알려줄 것이다”라는 구글 최고경영자 에릭 슈미트의 말에서도 트랜스휴머니즘의 흔적을 볼 수 있다. 21


2장 대면

런던 퓨처리스츠 회장 데이비드 우드가 물었다. “생물학적 조건에서 비롯한 편견과 오류를 없앨 수 있을까요? 아프리카 사바나를 누빌 때는 유용했지만 지금은 별로 이롭지 않은 우리의 본능을 바로잡을 수 있을까요?”

트랜스휴머니즘 세계관을 한마디로 압축한 물음이었다. 트랜스휴머니즘은 우리의 몸과 마음을 한물간 기술이자 뜯어고쳐야할 구닥다리 형식으로 치부한다. 28

‘옥스퍼드 인류 미래연구소(Future of Humanity Institute)’ 연구원인 안데르스는 사회에서 엘리트 지위를 차지한 사람들만이 뇌 향상 처방을 받을 여력이 된다는 점에서 사회정의 문제(이른바 ‘뇌의 공정한 분배’ 문제)가 발생할 수도 있음을 인정하면서도 이미 똑똑한 사람보다는 덜 똑똑한 사람이 뇌 향상 기술의 혜택을 더 많이 받을 것이며 지능이 보편적으로 증가하면 일종의 지능 적하 효과를 통해 사회 전체가 혜택을 입을 것이라고 지적한다. 30

안데르스는 뇌 에뮬레이션에 대한 커즈와일의 견해는 우리 머릿속이 뒤죽박죽임을 전혀 고려하지 않은 조잡한 생각이라고 말했다.

프랑스 여인이 감정적 어조로 말했다. “감정이라고요! 커즈와일에게는 감정이 필요 없어요! 그래서 그런 거예요!”(…)

안데르스는 피스타치오 알맹이를 찾으려는 듯 안주 그릇의 빈 껍질들을 지그시 바라보며 말했다. “흠. 저도 기계가 되고 싶어요. 하지만 감정이 있는 기계가 되고 싶군요.” 35


3장 방문


알코어는 전 세계에 네 곳 있는—세 곳은 미국에, 한 곳은 러시아에 있다—내동보존 시설 중에서 규모가 가장 크다. 임상적 사망이 선고되자마자 시신이 이곳으로 운반되도록 계약한 사람이 수백 명에 이른다. 이들의 몸은 머리를 분리하는 등의 절차를 거쳐 냉동보존되는데, 과학이 발전하여 새 생명을 불어넣을 때까지 이곳에 잠들어 있게 된다.

알코어에는 더 이상 ‘산 자’에 속하지 않는 소수(현재 117명)의 고객이 있다. 이들은 ‘사체’나 ‘시신’이나 ‘참수된 머리’가 아니라 ‘환자’라 불리는데, 죽은 것이 아니라 ‘보존’되는 것으로 간주되기 때문이다. 44

20만 달러를 내면 몸 전체를 필요시까지 보존해주며(전신환자, Whole body patient), 8만 달러를 내면 이른바 뇌환자(neuro-patient)가 될 수 있는데 이것은 머리만 분리해 석화하고 쇠 용기에 넣은 채 나중에 뇌(또는 마음)를 인공 몸에 업로드할 수 있도록 냉동보존하는 방식이다. 45

이 모든 시술의 과학적 근거는 희박했다. 아니, 아예 없었다. 언젠가 과학이 발전하면 몸과 머리를 녹여 되살리거나 그 속의 마음을 디지털로 복제할 수 있으리라는 냉동보존술의 장밋빛 약속은 순전히 이론적 상상이었다.(…) 맥길 대학의 신경생물학자 마이클 헨드릭스는 『MIT 테크놀로지 리뷰』에서 “재생이나 복제는 기술적으로 가능한 범위를 뛰어넘는 헛된 희망”이며 “이 희망에서 이익을 챙기는 자들은 분노와 경멸의 대상이 되어 마땅하다”고 주장했다. 46~47

여러분이 전신환자라면, 여러분은—또는 여러분의 전신은—사방을 아크릴판으로 두른 경사진 수술대에 놓일 것이다. 냉동보존 시술팀이 여러분의 두개골에 작은 구멍을 뚫어 뇌가 부풀었는지 쪼그라들었는지 상태를 점검한다. 그다음 가슴을 절개하고 심장을 확보한 뒤에 대동맥과 대정맥을 기계장치에 연결해 혈액과 체액을 뽑아내고 최대한 빨리 항결빙제(cryoprotectant agent, 일종의 의료용 부동액)를 채운다. 이것은 얼음 결정이 생기는 것을 막기 위해서다.(…) 맥스가 말했다. “그러니까 저희가 하는 일은 동결이라기보다는 투화입니다. 투화는 일종의 수지덩어리를 만들어 모든 것을 보존하는 것입니다. 날카롭거나 뾰족한 부분이 생기지 않도록요.” 48

RM-2030이라는 작가의 몸이 여기 있다는 사실은 알았지만, 어느 듀어에 들어 있는지는 알 수 없었다. 50

[맥스:] “사람들의 본능적 반응은 한계를 넘어서는 것을 두려워하도록 가르치는 신화에 바탕을 둡니다. 바벨탑 이야기, 신에게서 불을 훔쳤다가 독수리에게 간을 쪼이는 프로메테우스 이야기 아시잖습니까. 하지만 사람들은 미래의 일이라면 덮어놓고 끔찍하다고 생각합니다. 정작 현실이 되면 받아들일 거면서 말이죠.” 60

맥스는 자신이 1990년에 쓴 「엑스트로피 원칙(The Extropian Principles)」이 “트랜스휴머니즘 최초의 종합적이고 명시적인 선언”이라고 주장한다.(그 글에서는 ‘경계 없는 확장’ ‘자기변형’ ‘역동적 낙관주의’ ‘지능 기술’ ‘자발적 질서’ 같은 트랜스휴머니즘 운동의 이상을 제시했다.) 엑스트로피 연구소는 2000년대 중엽까지 활동하다 더 폭 넓은 트랜스휴머니즘 운동에 흡수되었는데, 이 운동은 휴머니티 플러스(Humanity Plus)라는 단체 산하에 있으며 단체의 회장은 맥스의 아내 너태샤 비타모어다. 60~61

너태샤가 기술과 필멸성에 대해 진지하게 생각하기 시작한 때는 삼십대 초에 육체의 연약함을 대면한 공포의 순간이었다. 1981년에 자궁외임신으로 아기를 사산한 것이다. 병원에 실려간 너태샤는 자신이 흘린 피의 웅덩이 속에 누워 있었다. 생명이 위독했다.(…) “사람들은 북한처럼 정부가 사사건건 통제하는 곳에서 산다면 어떻게 자유롭게 생각할 수 있겠느냐고 묻죠. 하지만 우리의 인격은 이 은밀한 미지의 것, 즉 몸에 갇혀 있어요. 저는 생명의 고비를 넘긴 뒤에 세상을 보는 관점이 달라졌어요. 인간 향상에 대해 관심이 무척 커졌어요. 질병과 죽음의 포악한 공격에서 자신을 보호할 수 있을지 고민하기 시작했죠.” 63

미래의 몸이 어떻게 생겼을지, 어떻게 작동할지의 물음에 정확히 답할 수는 없지만, 한 가지 가능한 대답은 너태샤의 ‘프리모 포스트휴먼(Primo Posthuman) 계획’에서 찾아볼 수 있다. 이것은 이른바 ‘다중플랫폼 몸(platform diverse body)’의 청사진이었는데, 착용형 기술을 극한까지 추구해 인체를 인간형 장치—“향상된 성능과 현대적 스타일을 가진, 더 강력하고 오래가고 유연한 몸”—로 완전히 대체한 뒤에, 기질독립적(substrate-independent)인 마음을 업로드하여 이를 제어한다는 발상이었다. 63~64


4장 자연 밖으로


고해상도 현미경 감각기가 달린 녀석의 손가락이 뇌의 화학 조성을 탐지하여 수술대 맞은편의 고성능 컴퓨터에 데이터를 전송한다. 손가락이 뇌 속으로 더 깊이 파고들어 점점 더 아래층의 신경세포를 스캔하며 한없이 복잡하게 얽힌 구조를 3차원 지도로 만든다. 이와 동시에 신경 활동을 컴퓨터 하드웨어에서 모델링할 코드를 작성한다. 이 작업이 진행되는 동안 (덜 민감하고 덜 조심스러운) 또다른 기계 부속지가 스캔된 물질을 생폐기물 용기에 넣는다. 나중에 버릴 작정이다.

이 물질은 이제 필요 없다.

어느 순간 자신이 더는 몸속에 있지 않음을 알아차린다. 수술대 위에서 몸의 떨림이 잦아드는 것을, 생명이 끊어진 고기의 무의미한 최후의 경련을 슬픔과 공포와 초연한 호기심으로 관찰한다.

동물로서의 생명이 끝나고 기계로서의 생명이 시작되었다.

이것은 카네기멜론 대학 인지로봇공학 교수 한스 모라벡이 『마음의 아이들—로봇과 인공지능의 미래』에서 제시한 것과 비슷한 시나리오다. 모라벡은 미래 인류가 이런 과정을 통해 대규모로 생물학적 몸을 버릴 것이라고 확신한다. 많은 트랜스휴머니스트도 같은 생각이다. 69~70


내가 알기로 ‘탈신체화된 마음’ 개념은 트랜스휴머니즘의 핵심이다. 자연으로부터 독립하는 이 최종적 행위는 트랜스휴머니즘 운동 최고의 이상이며 알코어의 거대 듀어에 보관된 모든 몸과 머리의 미래다. 하지만 내가 이해하기로 이 개념은 SF소설, 테크노퓨처 논란, 철학적 사고실험 등 사변적 수준에 머물러 있다. 71


마음 업로드 연구가 성공하면 디지털로 복제된 자아는 사실상 불멸할 것이다. 이것이 마음 업로드 분야에서 중요한 요소이기는 하지만, 전산 신경과학(computational neuroscience) 종사자이자 카본카피스(Carboncopies)의 창업자인 란달 쿠너는 불멸 자체를 추구하지는 않는다. 그의 관심사는 창조력의 한계를 넘어서려는 집착에서 비롯했다.(…) 란달은 아서 C. 클라크의 『도시와 별』을 읽었다. 이 소설은 십억 년 뒤의 미래가 배경인데, 다이어스퍼라는 폐쇄된 도시를 통치하는 초지능 ‘중앙컴퓨터’가 포스트휴먼 시민의 신체를 만들고 그들이 죽으면 마음을 기억 뱅크에 저장했다가 미래에 환생시킨다. 란달은 이 아이디어가 인간을 데이터로 전락시키는 것이 아니며 이 아이디어를 실행에 옮기지 못할 이유가 없다고 생각했다. 74~75


‘2045 이니셔티브’를 설립한 드미트리 이츠코프가 추진하는 사업 중 하나는 ‘아바타’를 만드는 것인데, 이는 마음 업로드를 보완하는 기술인 뇌-기계 인터페이스(인간의 신경 활동으로 로봇 의수족을 제어하는 기술)를 통해 인조 휴머노이드 신체를 제어하는 방식이다. 76~77

전뇌 에뮬레이션에 필요한 과학은 여러분의 예상대로 무지하게 복잡하며 이에 대한 해석은 모호하기 이를 데 없다. 하지만 과도한 일반화의 위험을 무릅쓴다면 이런 식으로 생각해볼 수 있다. 첫째, 가장 먼저 도입되는 기술, 또는 기술의 조합(나노봇, 전자현미경 등)을 통해 뇌에서 관련 정보를 스캔한다. 다음으로 이 스캔 데이터를 청사진 삼아 뇌의 신경망을 재구성하고, 뒤이어 계산 모형으로 변환한다. 마지막으로, 이 모든 과정을 제3의 비(非)육신 기질에 에뮬레이팅한다. 이 장치는 슈퍼컴퓨터일 수도 있고, 체화 경험을 재생산‧확장하는 휴머노이드 기계일 수도 있다. 78

마음을 소프트웨어에 시뮬레이션한다는 발상에 대해 흔히 제기되는 비판은 우리가 의식이 어떻게 작동하는지 이해하지 못하기에 어디서 출발해야 할지조차 모른다는 것이다. 이에 대해 보고서는 컴퓨터와 마찬가지로 전체 시스템을 이해하지 못해도 에뮬레이션 할 수 있다고 주장한다. 뇌 관련 정보를 모두 담은 데이터 베이스와 실시간 상태 변화를 판단하는 동역학적 기준만 있으면 된다는 것이다. 말하자면 필요한 것은 정보의 이해가 아니라 정보 자체일 뿐이라는 것이다. 80


5장 특이점에 대한 소고

기술적 특이점(Technological Singularity)의 개념은 아직 뚜렷하게 정립되지 않았다. 특이점은 실리콘 골짜기의 지평선 위를 밝히는 빛이다.(…) 가장 넓은 의미에서 특이점은 기계의 지능이 자신의 창조자인 인간의 지능을 넘어서고 생물학적 생명이 기술의 하위 범주가 되는 때를 일컫는다. 이것은 ‘기술을 두루 적용하면 세상의 골치 아픈 문제들을 해결할 수 있다’는 신념인 기술진보주의의 극단적 표출이다. 105

기술적 특이점 개념을 실질적으로 주장한 최초의 인물은 수학자이자 SF작가 버너 빈지로 알려져 있다. 미항공우주국에서 주최한 1993년 학술대회에서 발표된 논문 「다가오는 기술적 특이점—포스트휴먼 시대에 살아남는 법」에서 빈지는 이렇게 주장했다. “30년 안에 우리는 초인적 지능을 만들어낼 기술적 수단을 손에 넣을 것이다. 그뒤로 얼마 안 가서 인류 시대는 종언을 고할 것이다.” 106

저술가로서의 커즈와일은 논란이 많은 인물이다. 그의 난해한 예측은 기술유토피아적 상상력을 극한까지 밀어붙인다. 하지만 그는 결코 첨단기술 업계에서 주변적 존재가 아니다. 아니, 실리콘밸리의 수호신이다.(…) 커즈와일의 ‘특이점’은 기술적 풍요를 다채롭게 예언하며, 모든 역사가 순수 정신의 절정을 향해 수렴된다는 목적론을 열광적으로 펼쳐 보인다. 107


6장 인공지능의 실존적 위험을 논하다

일론 머스크는 인공지능이 “우리의 존재에 대한 최대 위협”이며 인공지능 개발이 “악마를 부르는” 기술적 수단이라고 발했다. 피터 틸은 이렇게 단언했다. “사람들은 기후 변화에 대해 너무 많이 생각하고 인공지능에 대해 너무 적게 생각한다.” 한편 스티븐 호킹은 인디펜던트 기명 컬럼에서 초인공지능의 출현이 “인류 역사상 최대의 사건”일테지만 우리가 “위험을 피하는 법을 배우지 못하면 최후의 사건”일지도 모른다고 경고했다. 빌 게이츠조차도 “일부 사람들이 우려하지 않는 이유를 이해할 수 없다”며 공개적으로 불만을 토로했다. 116~117


옥스퍼드에는 인류미래연구소가, 케임브리지 대학에는 실존적위험연구소(Centre for study of Existenial Risk)가, 버클리에는 기계지능연구소가, 보스턴에는 생명의미래연구소(Future of LIfe Institute)가 있다. 생명의미래연구소 과학자문위원회에는 머스크와 호킹, 선구적 유전학자 조지 처치 같은 과학‧기술 분야의 저명인사뿐 아니라 앨런 올더와 모건 프리먼 같은 인기 영화배우도 들어 있다. 118

대종말론자 닉 보스트롬은 스웨덴의 철학자로, 기술적 재앙을 경고하는 세계 제일의 예언자로 알려지기 전에는 트랜스휴머니즘 운동의 저명인사이자 세계트랜스휴머니스트협회 공동창립자였다. 그는 인류미래연구소 소장이던 2014년 하반기에 출간한 『슈퍼인텔리전스—경로, 위험, 전략』에서 인공지능의 위험을 간략히 설명했다.(…) 이 책은 아무리 온건한 형태의 인공지능이라도 인류의 절멸을 가져올 수 있다고 주장한다. 이 책에서 가장 극단적인 가설은 클립을 가장 효율적이고 생산적으로 제조하는 임무를 맡은 인공지능이 온 우주의 모든 물질을 클립과 클립 제조시설로 바꾼다는 것이다. 119

근본적인 위험은 초지능 기계가 인간 창조주나 그 후손을 적으로 돌리는 것이 아니라 무관심하게 대하는 것이다,라고 닉은 주장했다. 어쨌든 인류가 지구를 지배하는 동안 멸종한 대부분의 종들은 인류의 적이었기 때문에 멸종한 것이 아니다. 단지 인류의 계획에 포함되지 않았을 뿐이다. 초지능기계도 마찬가지일 가능성이 있다. 우리가 식량으로 사육하는 동물이나, 우리와 직접적 관계가 없지만 사정이 별로 낫지 않은 동물을 우리가 대하는 것처럼 이 기계도 우리를 대할 것이다.(…) 초지능기계가 우리에게 해를 끼친다면 그것은 악의나 인간적 동기 때문이 아니라 인간의 부재가 기계의 목표 달성의 최적 조건이기 때문이라는 것이 이야기의 요점이라고 말했다. 122~123

유드콥스키는 이렇게 말했다. “인공지능은 당신을 미워하지도 사랑하지도 않는다. 다만, 당신은 원자로 이루어졌으며 인공지능은 그 원자를 다른 일에 활용할 수 있을 뿐이다.”

이 말이 무슨 뜻인지 이해하는 한 가지 방법은 글렌 굴드가 연주한 바흐의 골트베르크 변주곡 녹음을 들으면서 곡의 아름다움을 경험하려고 노력하되 이 곡을 연주하는 피아노의 제작을 위해 얼마나 많은 것이 파괴되었을지, 즉 벌목된 나무와, 도살된 코끼리와, 상아 무역상의 이익을 위해 노예가 되거나 살해당한 사람들에 대해 생각해보는 것이다. 피아니스트도, 피아노 제작자도 나무나 코끼리나 노예가 된 사람들에 대해 개인적 적대감은 없었다. 문제는 이들이 원자로 이루어졌다는 것이었다. 123

기계지능연구소의 네이트 소레스는 열네 살에 인간사가 전부 혼돈이며 세상이 “조화를 이룰 수 없음”을 깨닫고는 이렇게 다짐했다. “정부를 바로잡겠노라고 다짐하지는 않습니다. 그것은 수단일 뿐입니다. 더 멀리 내다보지 못하는 사람들을 위한 안이한 해법이죠. 세상을 변화시키겠노라고 다짐하지도 않았습니다. 온갖 사소한 것들이 다 변화인데, 모든 변화가 좋은 것은 아니거든요. 저의 다짐은 세상을 구원하겠다는 것이었습니다. 그 다짐은 지금도 변치 않았습니다. 세상이 스스로를 구원할 가망은 전혀 없으니까요.” 126~127

지능 폭발(intelligence explosion)은 영국의 통계학자 I.J. 굿이 처음 소개한 개념이다. 굿은 블레츨리 파크에서 암호 해독가로 일했으며 스탠리 큐브릭이 <2001 스페이스 오디세이>의 인공지능을 구상할 때 자문을 제공했다. 1965년 미항공우주국(NASA) 회의에서 발표된 논문 「최초의 초지능기계에 대한 고찰」에서 굿은 최초의 인간 수준 인공지능이 출현할 때 일어날 기이하고 불안한 변화를 서술했다. “초지능기계를 ‘가장 똑똑한 인간의 모든 지적 활동을 훌쩍 능가할 수 있는 기계’로 정의하자. 기계를 설계하는 것은 지적 활동이기 때문에 초지능기계는 더 나은 기계를 설계할 수 있다. 그렇다면 틀림없이 ‘지능 폭발’이 일어나 인간의 지능은 훌쩍 뒤처질 것이다.”(…)

이 메커니즘은 인간 선조보다 훨씬 뛰어난 지능으로 작동할 것이기에 우리는 그 신비한 작동 방식을 결코 이해할 수 없을 것이다. 이는 우리가 과학 실험에 이용하는 쥐와 원숭이가 우리의 행위를 이해하지 못하는 것과 마찬가지다. 131~132


네이트가 말했다. “다들 그렇습니다. 제가 구글에서 나온 건 이 때문입니다. 세상 무엇보다도 훨씬 중요한 문제니까요. 그런데 기후 변화 같은 여느 파국적 위험과 달리 터무니없이 과소평가되어 있습니다. 수천 인년의 시간과 수십억 달러의 자금이 인공지능 개발에 투입되고 있습니다. 하지만 인공지능 안전 문제를 전업으로 다루는 사람은 전 세계에 열 명도 안 됩니다. 그중 네 명이 이 건물에 있죠. 말하자면 수천 명이 최초로 핵융합기술을 개발하려고 달려드는데 이를 어떻게 억제할지 연구하는 사람이 아무도 없는 셈입니다. 억제는 반드시 필요합니다. 엄청나게 똑똑한 사람들이 인공지능을 개발하고 있는데, 지금의 접근법을 보건대 이들이 성공하면 우리는 모두 죽은 목숨이라고요.” 134~135

내가 기계지능연구소를 방문한 주에 마운틴뷰 구글 본사에서는 대규모 대회가 열렸다. 행사를 주최한 곳은 ‘효율적 이타주의(Effective Altruism)’라는 단체로, 요즘 뜨고 있는 사회운동이며 실리콘밸리 기업가들과 합리주의자 커뮤니티에서도 세를 넓히고 있다. 이들은 “이성과 증거를 이용하여 세상을 최대한 개선하려는 지적 운동”을 표방한다.(…)

이 억만장자 기업가들은 아직 존재하지도 않는 기술로 인한 가상의 위협에 투자하는 것이 개발도상국의 식수 문제나 자국의 극단적 소득 불균형 문제에 투자하는 것보다 가치 있다고 생각한다. 136~137

알고 보니 그것은 시간, 돈, 노력의 투자 수익과 관련된 문제였다. 이것을 내게 가르쳐준 사람은 하버드 대학 수학과의 박사과정생 빅토리야 크라코브나다. 그녀는 MIT의 우주학자 맥스 테그마크, 스카이프 창업자 얀 탈린과 함께 생명의미래연구소를 창립했으며 그해 초에 인공지능 재앙을 막기 위한 범세계적 연구 계획을 출범시키기 위해 머스크에게서 천만 달러를 기부받았다.

빅토리야가 말했다. “문제는 본전을 얼마나 뽑을 것이가예요.(…) 실존적 위험에 대한 우려는 그런 가치 기준에 들어맞아요. 미래 사람들의 이익을 지금 있는 사람들의 이익과 비교하면, 미래에 대규모 재앙이 일어날 가능성을 줄이는 것은 매우 중대한 결정이에요. 미래의 인류를 모조리 쓸어버릴 수도 있는 사건을 피할 수 있다면 그것은 지금 살고 있는 사람들이 얻는 어떤 유익보다 클 수밖에 없죠.” 137~138

2014년에 캘리포니아 대학 버클리 캠퍼스의 전산학 교수인 스튜어트 러셀은 스티븐 호킹, 맥스 테그마크, 노벨 물리학상 수상자 프랭크 윌첵 등 과학자 세 명과 함께 인공지능의 위험을 단호히 경고하는 칼럼을 허핑턴포스트에 기고했다.(…) “우월한 외계 문명이 ‘몇십 년 안에 지구로 갈게’라는 문자메시지를 우리에게 보냈을 때 단순히 ‘도착하면 전화줘. 불 켜놓을게’라고 답장을 보낼 것인가? 그러지는 않을 것이다. 그런데 인공지능 분야에서는 이런 일이 벌어지고 있다.” 139

스튜어트는 자리에 앉자마자 노트북을 열더니 차를 대접하듯 정중한 몸짓으로 화면을 내게 돌려 사이버네틱스의 창시자 노버트 위너가 쓴 논문 「자동화의 도덕적‧기술적 결과」 몇 단락을 읽게 했다.(…) “우리가 목적을 달성하려고 이용하는 기계 행위자의 작동에 효과적으로 개입할 수 없다면 우리가 바라는 목표를 단순히 화려하게 모방해 넣을 것이 아니라 정말로 바라는 목표를 기계에 주입하는 것이 낫다.”

노트북을 스튜어트 쪽으로 돌리자 그는 내가 방금 읽은 문장이 인공지능 문제와 대처법을 가장 분명하게 표현했다고 말했다. 우리가 인공지능 기술에서 원하는 것이 무엇인지 정확하고 명료하게 정의할 수 있어야 한다는 것이다. 140~141

아무리 거창하고 까다로운 과학적 문제도 해결할 수 있는 초강력 인공지능이 있다고 상상해보라. 컴퓨터는 이상 세포가 마구잡이로 분열할 가능성이 있는 모든 종을 절멸시키는 것이야말로 암을 근절하는 가장 효과적인 방법이라고 결론 내릴 것이다. 여러분이 실수를 깨닫기도 전에 감각 능력이 있는 모든 생명체가 지구상에서 사라질 것이며 인공지능은 자신이 임무를 성공적으로 완수했다고 생각할 것이다.

스튜어트와 함께 기계지능연구소 연구자문위원회에서 활동하는 인공지능 연구자 스티븐 오모훈드로는 2008년에 목표 지향 인공지능 시스템의 위험을 개괄하는 논문을 발표했다. 「인공지능의 기본적 원동력(The Basic AI Drives)」이라는 제목의 이 논문은 인공지능에 아무리 사소한 목표를 부여하고 훈련시키더라도 지극히 엄격하고 복잡한 예방 조치를 취하지 않는다면 매우 심각한 안전상 위험이 발생한다고 주장한다.(…)

체스 두는 인공지능의 원동력은 오로지 효용함수를 극대화하는 것이므로, 전원이 꺼지는 시나리오를 회피하려는 동기를 가질 것이다. 전원이 꺼지면 효용함수가 부쩍 감소할 것이기 때문이다. 오모훈드로는 이렇게 썼다. “체스 두는 로봇이 망가지면 다시는 체스를 두지 못한다. 이런 결과는 효용이 매우 낮을 것이며, 시스템은 이를 막기 위해 무슨 일이든 할 것이다. 여러분은 문제가 생기면 꺼버리면 된다고 생각하겠지만, 놀랍게도 녀석은 전원을 끄려는 시도에 완강하게 저항할 것이다.”(…)

이를 해결하는 한 가지 방안은 암묵적 가치와 트레이드오프(trade-off)를 인공지능의 소스코드에 입력하는 것이 아니라, 인공지능이 인간의 행동을 관찰하여 학습하도록 프로그래밍하는 것이다. 그가 말했다. “이게 우리가 가치 체계를 습득하는 방식입니다. 어떤 방법은 통증을 회피하는 성향을 이용할 때처럼 생물학적이고 또 어떤 방법은 물건을 훔치지 말라고 말할 때처럼 선언적이지만, 대부분은 남의 행동을 관찰하여 그 행동에 반영된 가치를 추론함으로써 습득합니다. 기계도 이렇게 하도록 해야 합니다.” 141~143

스튜어트가 말했다. “오늘 당신이 제 사무실에 앉게 되기까지 어떤 결정을 내리고 어떤 행동을 했는지 생각해보십시오. 기초적 움직임의 수준에서 보자면 당신은 더블린에서 버클리까지 오면서 50억 회의 행동을 했을지도 모릅니다. 하지만 인간이 컴퓨터 게임이나 체스 프로그램의 세계가 아니라 현실 세계에서 실력을 발휘하기 위해 진짜로 필요한 능력은 고차원적 행위의 관점에서 생각하는 능력입니다.(…) 이런 단계적 의사결정이야말로 인간 지능의 핵심 요소입니다. 우리는 이것을 컴퓨터에 어떻게 구현할지 아직 알아내지 못했습니다. 하지만 결코 불가능하지는 않습니다. 여기에 성공하면 인간 수준 인공지능을 향해 또 한 발짝 훌쩍 내디디는 셈이죠.” 145~146


8장 단지 기계일 뿐

카네기멜론 대학 로봇공학 교수이자, 인간 노의 내용을 기계에 전송하는 이론상의 절차를 제시한 한스 모라벡은 미래를 전망하면서 “로봇은 솜씨가 좋아지고 가격이 싸지면서 사회의 필수적 부분에서 인간을 대체할 것”이며 조만간 “로봇의 존재가 우리의 존재를 대체할 것”이라고 말했다. 하지만 트랜스휴머니스트 모라벡은 이를 두려운 일로 생각하지 않으며 반드시 피해야 할 일로도 여기지 않는다. 로봇은 우리의 진화적 계승자, 즉 ‘마음의 아이들’이 될 것이기 때문이다. 그는 이렇게 말한다. “우리의 형상을 따라 빚어졌으며, 우리 자신이 더 유능하고 효율적인 형태가 되는 셈이다. 이전 세대의 생물학적 자녀와 마찬가지로 이들은 인류의 오랜 존속을 위한 최적의 선택이다. 그들에게 모든 혜택을 주고 우리가 더는 쓸모없어졌을 때 물러나주는 것이 우리에게 이익이다.” 176

퍼모나에 돌아온 지 며칠 뒤에 애플 공동창업자 스티브 워즈니악의 발언을 읽었다. 그는 인간이 초지능로봇의 애완동물로 전락할 것이라고 확신했다. 하지만 그는 이것이 꼭 나쁜 결과는 아닐 수도 있음을 강조했다. “알고 보면 인류에 유익할 수도 있습니다. 그때가 되면 자연을 보전해야 하며 인간이 자연의 일부임을 깨달을 만큼 로봇이 똑똑해질 것입니다.” 그는 로봇이 귀족적 관대함을 발휘해 우리를 존중하고 후대할 것이라 믿었다. 우리 인간은 “원래는 신”이기 때문이다. 176~177

데카르트의 『인간론』은 기계론적 주장보다는 서술방식 때문에 더욱 기이하며 모호하게 거북하다. 철학 서적이라기보다는 간단한 해부학 서적에 가까우며 일종의 기술 입문서로 읽힌다. 데카르트는 몸과 그 구성 요소를 줄기차게 “이 기계”로 언급하면서 강력한 낯설게 하기 효과를 일으킨다. 179

데카르트가 죽고 한 세기쯤 지난 1747년에 프랑스의 의사 쥘리 앵 오프루아 드 라메트리는 『인간기계론』이라는 소책자를 발표해 큰 논란을 불러일으녔다. 라메트리는 데카르트보다 한술 더 떠서 영혼 개념을 완전히 폐기했으며 인간이 동물과 전혀 다르지 않다고 주장했다.(…)

라메트리는 발명가 자크 드 보캉송의 자동인형을 보고 영감을 얻었는데, 보캉송의 발명품 중에서 가장 유명한 것은 곡물을 주면 소화하여 대변으로 내보내는 기계오리였다. 180

1900년 6월에 테슬라는 작동하는 휴머노이드 로봇을 만들겠다는 야심을 밝히면서 데카르트와 라메트리처럼 자신을 기계장치로 묘사한다.

“나의 모든 생각과 행위를 통해 절대적으로 만족스럽게 입증했고 매일같이 입증하고 있는 사실은 내가 운동 능력을 갖춘 자동인형이라는 것이다. 나는 감각기관을 때리는 외부 자극에 반응하고 그에 따라 생각하고 움직일 뿐이다. 이런 경험을 하고 보니, 오래전부터 나를 기계적으로 재현하고 외부의 영향에 대해 나처럼, 하지만 훨씬 원시적으로 반응하는 자동인형을 만든다는 발상은 당연한 수순이었다.”(…)

테슬라는 단순히 빌린 마음이 아니라 스스로 생각하는 능력을 가진 자동인형을 만들 수 있다고 확신했다. 15년 뒤에 그는 이렇게 밝힌다. “지능을 가진 것처럼 행동할 수 있는 텔레오토마타가 마침내 생산될 것이며 이것의 출현은 혁명으로 이어질 것이다.” 182~183


9장 생물학과 그 불만

홈페이지의 설명에 따르면 그라인드하우스 웨트웨어는 “안전하고 저렴하고 오픈소스인 기술을 이용해 인간을 강화한다”는 목표를 추구한다. 이들은 기기를 피부 밑에 이식, 인체의 감각‧정보 능력을 향상시키려 한다. 그라인드하우스는 그라인더(grinder)로 알려진 진영—‘실천파 트랜스휴머니스트’라 불리며 대부분 온라인에서 활동하는 바이오해커 커뮤니티—에서 가장 두각을 나타내는 집단이다. 이들은 특이점이 일어나거나 초인공지능이 실현되어 인간 정신의 정보적 요소—그들의 웨트웨어—를 포괄하기를 마냥 기다리고 싶어하지 않는다. 이들은 수중에 있는 수단을 써서 지금 당장 기술과 융합하고자 한다. 194~195

사이보그 개념은 필립 K. 딕, 윌리엄 깁슨, <로보캅> <600만 불의 사나이> 같은 SF와 주로 관계가 있지만, 그 뿌리는 2차대전 이후에 등장한 사이버네틱스다. 이 분야의 창시자 노버트 위너는 사이버네텍스를 ‘기계와 동물을 망라하는 모든 제어 및 통신 이론’으로 정의했다. 사이버네틱스의 포스트휴머니즘적 관점에서 보면 인간은 목표를 위해 자율적으로 행동하는 개인이나 운명을 추구하는 자유로운 행위자가 아니라, 더 큰 기계의 결정론적 논리 안에서 작동하는 기계, 즉 거대하고 복잡한 시스템의 생물학적 요소다. 이 시스템에서 요소들을 연결하는 것은 정보다. 사이버네틱스의 핵심 개념은 ‘피드백 고리’다. 시스템의 구성 요소가 환경에 대한 정보를 받아들이고 이 정보에 반응해 환경을 변화시키고 이다음에 받아들이는 정보를 변화시키는 것은 피드백 고리를 통해서다. 예전에는 에너지가 우주의 기본 구성 요소라고 생각했으나 이제는 정보가 보편적 변화의 단위가 되었다. 사이버네틱스에서는 만물이 기술이다. 동물과 식물과 컴퓨터는 모두 기본적으로 같은 유형의 사물이며 같은 유형의 과정을 수행한다. 203~204

‘사이보그’에 대해서는 상충하고 겹치는 다양한 정의가 있는데, 도나 해러웨이는 「사이보그 선언」에서 “추상적 개체화, 마침내 모든 의존으로부터 풀려난 궁극적 자아, 우주 속의 인간 등에 대한 ‘서양의’ 점증적 지배라는 끔찍한 계시적 텔로스”로 정의했다. 또한 사이보그는 인간의 몸과 뇌에 대한 기계적이고 군사주의적인 견해를 극단화한 것이기도 했다. 사이보그는 단순히 기계로서의 인간이 아니라 구체적으로 전쟁기계로서의 인간이었다. 인간의 몸과 마음이 현대전의 정보 시스템과 공생 피드백 고리를 이루게 된 것이다. 204~205