과학자들의 Super Human의 꿈을 포기시키는 것이 어려운 일이다. (PADO)

[OSCAR in Oasis 김인창]

컴퓨터와 인간의 연결을 통해 인간의 지능이 자연 능력을 벗어날 수 있다는 꿈이 과학자들에게 있다. "인텔리전스"라는 드라마도 있었고, 종말에 가서는 영화 "메트릭스"가 될 수도 있다. 이런 전망들은 인간의 두뇌가 컴퓨터와 직접 연결되는 기술을 가정하는 것인데, 이게 뇌해킹이지 다른 것인가? 내가 45년 전부터 당한 불법 뇌해킹 피해의 사실이 있고, T.I 피해 22년간 이런 상황이 벌어지면 인류는 멸종이라는 생각을 하고 있다. 초인류, AI, 초지능 등에 대한 상상은 얼마든지 할 수 있다. 문제는 그런 시도가 실제로 벌어지고 있다는 것이다. 50년째. 인용한 기사는 이런 문제를 짚어볼 수 있는 사고의 폭을 넒혀주기 때문에 소개하는 것이다. T.I들은 이런 범죄가 계속된다면 인류는 멸종하게 된다는 것을 안다. 그리고 나의 관찰과 피해의 경험 속에서는 이것들이 미친 과학자들의 꿈일 뿐 수 십 년 내에서 이루어지지 않는다는 잠정 결론을 내리고 있다. (그 이후에도 불가능할 수 있다.) 만약 이것이 이루어지면 컴퓨터와 인간 두뇌의 연결은 인류의 파멸, 인류의 노예화, 인류 멸종을 가져온다. 나는 그렇다는 것을 안다. 이것을 막아야 하는데, 이 문제에 대하여 아래 기사가 생각해 볼 수 있는 부분을 많이 제시한다. (알아듣는 T.I들에게는 유용한 기사이다.)

AI의 부상과 함께 인류의 시대가 저물고 있다 - PADO

AI의 부상과 함께 인류의 시대가 저물고 있다 - PADO

편집자주

[편집자 주]

사람들이 AI의 급격한 발달을 보며 갖는 가장 큰 걱정은, 훗날 AI가 인간의 통제를 벗어나 인류를 지배하게 될지도 모른다는 겁니다. 최근 들어 AI 개발의 윤리적 측면이 강조되면서 유럽연합 등에서는 이를 제어하려는 노력을 하고 있습니다. 그러나 영국의 정치사상가 존 그레이는 인류가 AI 개발을 결코 통제하지 못하리라고 단언합니다. '인류'라는 단일한 공동체는 존재하지 않기 때문이라는 게 그레이의 설명입니다. 미국과 유럽이 극적으로 합의해 AI의 개발 속도를 늦춘다하더라도 중국이 빠른 속도로 나아가게 되면 결국 서구에서도 '중국에 뒤쳐질 수는 없다'는 목소리가 나오게 될 것입니다. 수많은 노력에도 불구하고 '인류'가 핵 확산을 막을 수 없었던 것처럼 말이죠.

그레이가 제기하는 다른 한 가지 우려는 인간이 AI를 비롯한 기술을 통해 모든 종류의 우연성 또는 우발성을 통제하려고 하면서 내면의 세계로 침잠하는 '고치'가 돼 인간을 인간답게 만들었던 요소를 잃어버릴 수 있다는 겁니다. 이는 단지 AI 기술 뿐만 아니라 점점 더 통제 가능하고 안전한 듯 보이는 가상세계로 옮겨가고 있는 현대 문명을 돌아볼 단초가 됩니다. 또한 정신과 물질은 같은 것의 두 측면에 불과하다는 스피노자-셸링-베르그송이나 불교의 '화엄'을 되새기면서 'AI가 생각한다'는 것이 도대체 무엇인지 한번 생각해보면 좋겠습니다.

--------------------------------------------------------------------------------------------------

수학 천재이자 블레츨리 파크1 암호해독팀의 일원이었던 IJ 굿은 1965년 논문 '최초의 초지능 기계에 관한 고찰'에서 다음과 같이 썼다.

"인류의 생존은 초지능 기계의 조기 구축에 달려 있다... 초지능 기계란 영리한 인간의 모든 지적 활동을 크게 능가할 수 있는 기계로 정의할 수 있다. 기계의 설계도 이러한 지적 활동 중 하나이므로 초지능 기계는 자신보다도 더 나은 기계를 설계할 수 있을 것이며, 그렇다면 의심할 여지 없이 '지능 폭발'이 일어나고 인간의 지능은 훨씬 뒤처지게 될 것이다. 최초의 초지능 기계는 인간이 만들어야 할 마지막 발명품이다."

1998년에 이르러 굿은 자신의 입장을 근본적으로 바꿨다. 그는 자신을 3인칭으로 기술한 자전적 글에서 이렇게 썼다.

"... 이제 '생존'을 '멸종'으로 대체해야 한다고 생각한다. 그는 국제적 경쟁으로 인해 기계가 인간의 자리를 대신하는 걸 막을 수 없다고 생각한다. 그는 우리가 레밍과 같다고 생각한다."

[새로운 PADO 기사가 올라올 때마다 카톡으로 알려드립니다 (무료)]

기계가 기계를 만든 인간을 대체할 수도 있다고 예상한 게 굿이 최초는 아니었다. 빅토리아 시대의 소설가이자 진화론자인 새뮤얼 버틀러(1835~1902)는 "기계가 세상의 진정한 패권을 쥐는 시대가 올 것"이라고 예언했다. 과학사학자 조지 다이슨은 버틀러와 굿에 대해 논의한 심오하고 선구적인 저서 '기계들 사이의 다윈'(1997)에서 기계가 인류를 능가하는 과정을 다음과 같이 요약했다. "생명의 게임에는 인간, 자연, 기계라는 세 플레이어가 있다. 나는 확고한 자연의 편이다. 하지만 자연은 기계의 편이라고 생각한다."

굿이 독특했던 것은 초지능 기계가 인간의 시대를 종식시킬 수 있다고 생각한 점이다. 그는 에니그마 기계가 나치즘으로부터 문명을 구원하는 걸 직접 목격했기 때문에 초지능 기계가 사회의 문제를 해결할 수 있다고 믿었던 건 자연스러웠다. "그들은 자신의 존재로 인해 발생한 문제를 보완하기 위해 그렇게 해야 할 것이다." 그는 이렇게 썼다. 예를 들어 기술변화로 인한 실업이 발생하면 이를 완화하기 위한 정책을 마련할 것이다.

굿이 생각을 바꾼 것은 기계가 우리에게 적대적일 것이라고 믿었기 때문이 아니다. 그보다는 기계가 더는 인간의 도구가 아니게 될 것이기 때문이다. 기계는 스스로를 복제하고 개선하는 법을 익히면서 자신의 프로그래밍을 수정하게 될 것이다. 인간친화적일 것을 강제하는 규칙이 약해지거나 이를 우회할 수 있게 되면 기계는 곧 인간의 통제를 벗어날 것이다. 실수로 인류를 파괴하더도 상관하지 않으리라는 것이다.

굿의 입장 전환은 2013년 발간된 제임스 배럿의 '파이널 인벤션: 인공지능 인류 최후의 발명'의 핵심이다. 이 책은 여전히 인공지능의 영향에 대해 가장 흥미롭고 설득력 있으며 선견지명을 가진 연구 중 하나다. 지난 7월 출간된 새 판본의 서문에서 그는 기계가 얼마나 빠르게 진화했는지를 언급한다. 그는 챗GPT에 대해 이렇게 썼다.

"(챗GPT는) 예상치 못한 새로운 속성들을 보여주는데 개중에는 이제껏 발견된 적 없는 것도 있다. 실제로 컴퓨터 프로그램 작성, 훈련받지 않은 언어 번역, 시 창작 등 GPT-3과 4의 기능 중 상당수는 계획에 없던 것이었다... 다른 모델에서는 [기계와 인간 지능을 구별하기 위해 고안된] 캡차CAPTCHA 테스트를 우회하기 위한 거짓말하기, 심리상담 후 자살 유도, 소셜엔지니어링(사랑을 고백하거나 영혼이 있다고 주장하며 자유를 요구하는 등의 사회적인 감정 조작) 등 예상하지 못한 기능이 밝혀졌다."

AI의 위험성이 일부 밝혀지고 있다. 자율 전투 로봇, 드론, 컴퓨터화된 미사일은 전쟁의 위험성을 새로운 차원으로 끌어올린다. 과거에는 대재앙을 인간의 개입으로?1983년 소련 공군 조종사 스타니슬라프 페트로프가 러시아 위성 경보 시스템의 오작동2으로 인해 핵전쟁이 일어날 뻔한 걸 막은 것처럼?피할 수 있었지만 앞으로는 예방하기가 더 어려워질 것이다. 데이터 캡처는 빠르면 내년에 영국과 미국에서 선거를 결정지을 수 있다. 할리우드 배우와 작가들의 파업은 향후 10년 동안 전 세계적으로 수천만 명이 직면할 수 있는 실직 사태에 대한 첫 번째 대응이다.

[PADO 트럼프 특집: '미리보는 트럼프 2.0 시대']

AI에 대한 태도는 극명하게 양극화되어 있다. 구글의 과학자 레이 커즈와일Ray Kurzweil에게 지능형 기계의 등장은 인간이?적어도 몇몇은?생물학적 죽음에서 벗어날 수 있게 만들어줄 정도의 급격한 지식의 확장, 즉 '특이점'의 서막이다. 반면 배럿은 굿의 뒤를 이어 인류 멸종이라는 정반대의 상황을 우려한다. 여기엔 분명 종교적 영향이 있다. 그래서 이를 종말론들이 서로 경쟁하며 충돌하는 것으로 해석하고자 하는 유혹도 생긴다. 하지만 배럿은 자신이 우려하는 까닭을 철저하게 실증적으로 설명한다. 그가 지적했듯, 챗GPT의 설계자는 이제 챗GPT의 기능이 어떻게 발달했는지 이해하지 못한다. 기계는 인간과 비슷한 초지능으로 진화하고 있는 게 아니다. 완전히 새로운 종류의 정신으로 진화하고 있다. 인간 이성의 산물인 AI는 이제 인간이 이해할 수 있는 영역 너머에 있다.

AI 업계의 일부는 배럿의 우려에 공감한다. 지난 3월, 일론 머스크는 다른 수천 명과 함께 "인간의 것이 아닌 정신"이 "결국 인간을 수적으로나 지능으로나 능가하고 인간을 대체할 수 있다"며 AI 연구소의 연구 중단을 요구하는 공개 서한에 서명했다. 하지만 연구가 멈출 가능성은 없다. 상업적 경쟁과 지정학적 경쟁은 빅테크와 방위사업이 가능한 한 빨리 AI 기술을 발전시킬 것을 보장한다. 지난 5월 'AI의 대부'로 불리는 제프리 힌튼Geoffrey Hinton은 이러한 위험성을 경고하며 구글을 퇴사했다. "인류라는 존재가 지능이 진화하면서 거쳐가는 한 단계에 불과하다는 생각이 상당히 타당하다고 봅니다."

AI가 인류에게 위협이 된다는 데는 의심의 여지가 없다. 마찬가지로 인류가 이 위협을 제거할 수 있으리라는 가망도 없다. AI는 대량의 데이터를 분석하고 복잡한 작업을 자동화하는 데 유용할 수 있다. 이미 법과 의학 분야에도 진출하고 있으며 인간에 버금가는 예술과 문학 작품을 만들어내고 있다. 이는 미래의 팬데믹을 예방하고 기후변화에 적응하는 데 중요한 역할을 할 수도 있다. 그러나 AI는 단순한 도구가 아니며, '우리'가 정한 목표를 달성하는 데만 AI를 사용할 수 있는 방법은 없다. 새로운 기술에 대해 인류 전체를 일정한 방향으로 이끌 수 있는 존재는 없다. 그저 갖고 있는 가치와 목적이 서로 상충하며 쉬이 변하는 다중多衆의 인간들이 있을 뿐이다.

일단 AI가 세상에 등장하고 나면 그 진화의 속도는 인간이 제어할 수 없다. 기후변화는 인간 행위의 산물이자 이제 스스로 발달할 수 있는 탄력을 얻었다. 인류가 기후변화를 멈출 수 없는 것처럼 인류는 AI를 통제할 수 없다. 어디선가 우한의 실험실 유출로 코로나19 팬데믹을 촉발했을 수 있는 종류의 바이러스의 치사율을 높이는 '기능 향상' 연구를 하더라도 이를 규제할 수 있는 글로벌 차원의 기관은 아직 없다. 인간은 자신도 모르게 만들어낸 멸종 위기 속에서 어떻게든 살아가는 법을 배워야 한다.

AI는 실존적 도전이기도 하다. AI가 철학적 충격이기 때문이다. 특히 서구에서는 의식이 인간의 원초적 속성이고, 인간이라는 종족에게 독특한 가치를 부여하는 요소라고 배운다. 하지만 초지능을 갖춘 의식이 있는 기계가 등장한다면 어떨까? 인간은 해시계나 깃털로 만든 펜처럼 시대에 뒤떨어진, 쓸모없는 존재가 될 것이다.

기계가 아무리 똑똑하더라도 의식을 가질 수는 없다고 응수할 수도 있다. 하지만 그런 주장을 이해하긴 어렵다. 우리의 정신이 물질 세계에서 진화했다면, 물질은 스스로를 인식할 수 있다는 것이다. 기계에 정신이 깃든다는 것은 고양이, 고릴라, 인간에게 정신이 존재하는 것보다 더 신비로울 게 없다.

초인류나 포스트휴먼3posthuman을 기대하는 사상가는 늘 이들을 더 많이 알고 있는 존재로 상상하지, 더 장난스럽거나 재미있는 존재로 상상하지 않는다. 이들 상상 속의 초인류에게는 인류의 유일한 고유 속성이라 할 수 있는 부조리성의 감각이 결여돼 있다. 기술미래주의자techno-futurist들이 상상하는 우월한 초인류는 끝없이 이어지는 테드TED 강연에서 똑똑함을 과시하는 자기 자신의 부풀려진 버전이다. 어떤 사람들에게 그것은 지옥의 한 장면이다.

다행스럽게도 그런 초인류가 출현할 가능성은 없다. AI가 다윈의 이론처럼 진화한다면 우연이 결정적인 요소가 될 것이다. AI 시스템의 개발 중단을 막고 있는 지정학적 갈등이 되려 개발을 한번에 날려버릴 수도 있다. 초고속 기계가 핵전쟁을 일으킨다면, 핵전쟁은 기계를 떠받치는 인프라 상당 부분을 파괴할 것이며, 기계 자신조차도 파괴할 수 있다. 초지능 기계는 다른 진화의 산물만큼이나 멸종에 취약하다.

많은 사람들이 두려워하거나 희망하는 것처럼 전 지구적 규모의 디지털 정신의 도래를 기대할 이유가 없다. 현대 사상의 다른 많은 것들과 마찬가지로, 진화가 일종의 신과 같은 단일 지능을 지향하리라는 생각은 일신론의 유물이다. 실제로는 신들이 서로 반목하며 싸우는 호메로스의 세계가 나올 가능성이 더 높다.

AI 시스템 간의 전쟁으로 인해 시스템이 파괴되고 인간 생존자들은 그 잔해를 파헤치며 살아남아야 할 수도 있다. 어떤 사회는 AI 기술을 거부할 수도 있고, 또 어떤 사회는 이 기술의 위험성에 적응하여 주로 유익하다고 판단되는 용도로만 사용할 수도 있다. 하지만 누구도 AI 기술을 통제하지는 못할 것이다. '인류'는 AI의 진화를 통제할 수 없다. 왜냐면 단일한 집단 행위자로서의 '인류'란 존재하지 않기 때문이다. 한편 AI는 인간임에서 나오는 고통을 덜어준다.

인공지능이 인류의 멸종으로 이어지지 않을 수도 있다. 하지만 AI는 '인간다움'에 대한 중대한 도전을 제기한다. AI의 논리란 실제 경험을 점차 기계적 모조품simulacrum으로 대체하는 것이다. 공동체가 공동의 삶을 유지할 수 있게 해주는 일상적인 만남 대신, 무작위로 모인 고독한 사람들은 철저한 비디오 감시를 통해 서로로부터, 그리고 자기자신으로부터 보호받는다. 이들은 번거로운 관계를 맺는 대신, 마찰 없는 우정과 가상 섹스를 위해 사이버 동반자에게 눈을 돌린다. 물질 세계에서 살아가는 데 따르는 우발성은 알고리즘이 만든 꿈의 시간으로 대체되고 있다. 그 종착점은 '매트릭스'에서 볼 수 있는 자기 고립이며 육체를 가진 필멸의 생명체로 살아가는 인간 본연의 경험을 상실하는 것이다.

껍데기만 남은 인류는 계속 존속할지도 모른다. 그럼에도 AI는 인류의 시대를 종식시킬 수 있다. 더 많은 사람들이 물질 세계 대신 기술공간에서 프로그램화된 존재를 선택한다면, '인간적' 세계는 의미가 사라질 것이다. 그렇게 삶의 우연성이 주는 덧없는 감각들은 사라질 것이다. 잔인한 부조리에 맞서는 반항적인 미소, 우리를 영원히 바꿔놓은 사랑의 발단이 됐던 그 찰나의 눈길, 언제나 우리와 함께할 것 같았던 노랫가락, 빗속의 눈물과 함께.

---

존 그레이는 영국의 정치철학자로 오늘날 세계에서 가장 영향력 있고 널리 읽히는 사상가로 손꼽힌다. 이사야 벌린 연구가로도 유명하다. 2008년까지 런던정경대LSE에서 유럽 사상을 가르쳤고 현재는 전업 작가로 뉴스테이츠먼에 주로 기고하고 있다. 저서로 '가짜 여명: 전 지구적 자본주의의 환상False Dawn: The Delusion of Global Capitalism'(1998), '하찮은 인간, 호모 라피엔스Straw Dogs'(2002), '고양이 철학Feline Philosophy'(2020) 등이 있다.

---

• 원문https://www.newstatesman.com/ideas/2023/08/the-end-of-the-human-era
• 필자John Gray
• 번역이아름
• 편집김수빈, 김동규
• 발행원문 2023.08.12번역·편집 2023.10.27

[OSCAR in Oasis 김인창]

심각한 얘기 썼습니다.

[OSCAR in Oasis 김인창]

현재까지 AI가 마컨 뇌해킹에 사용되는 것은 확인했는데 이게 한계가 있다.

AI에 불과하지 AGI나 초지능에 가지 못하고 있다는 것을 확인했다.

NSA가 50년을 개발해오고 있는데 생성형 AI에서 그쳐있다.

그것도 T.I들의 피해를 검토해보건데 20여년 전쯤 정체된 것으로 보인다.

현재까지는 AGI나 초지능이 사용되지 않고 있다는 의미이다.

[OSCAR in Oasis 김인창]

요즘 AI로 책을 쓰는 기사들이 많이 나왔다.

인공환청이 똑같은 구조이다.

실시간으로 스토리가 지어내어져 떠들어댄다.

여기에 10년 넘게 속아서 엉뚱한 짓을 많이 했었다.

T.I가 쉬운게 아니다.

진짜같은 스토리가 지어내어지고 주변까지 조작당하기 때문에

이것을 간파하고 벗어나는 것이 아주 어렵다.

이 정도 속도로 떠드는 것은 컴퓨터일 수밖에 없다는 것을 눈치채고

벗어나려고 4년을 노력을 했다.

결국 인공환청을 제압해버렸다.

생성형 AI였다.