스크랩 흥미돋 인류의 발전, 인공지능의 시대를 맞이할 우리 (초인공지능 :3편)

[마리아선배]

BGM정보 : 브금저장소 - http://bgmstore.net/view/gShPw

인공지능은 우리에게 어떤 것들을 해줄 수 있을까

초인공지능과 초인공지능이 창조한 기술들이 있으면 초인공지능은 인류세계의 모든 문제들을 해결할 수 있을 것이다. 세계 온난화? 초인공지능은 훨씬 좋은 방법으로 에너지를 생산해서 화석연료를 사용할 필요가 없을 것이므로 이산화탄소를 배출하지 않아도 될 것이다. 그리고 그것은 방법을 대서 대기중의 필요 이상의 이산화탄소를 다 제거해버릴 수도 있을 것이다. 암? 어려운게 아니다. 초인공지능이 있다면 제약과 건강 산업에는 상상도 할 수 없는 혁명이 발생할 것이다. 세계적인 기아? 초인공지능은 나노기술로 직접 고기를 만들어낼 수 있을 것이다. 이런 고기들은 진짜 고기와 분자 구조상에서 완전히 일치하다 — 즉 진짜 고기이다.

나노기술은 쓰레기를 신선한 고기나 기타 식품으로 만들 수 있고 매우매우 발달된 교통수단으로 이런 식품들은 전세계 각지에로 수송할 수 있을 것이다. 이건 동물에게도 좋은 소식이다. 인류는 더이상 동물을 도살하여 고기를 얻을 필요가 없게 되는거니까. 초인공지능은 멸종위기에 처한 종이나 DNA 를 사용하여 이미 멸종한 종을 다시 부활시키는 방면에서도 많은 일을 할 수 있을 것이다. 초인공지능은 심지어 복잡하고 거시적인 (macro) 문제들도 해결할 수 있을 것이다 — 우리의 세계 경제와 무역에 관련된 쟁론들도 잠재울 수 있을 것이며 우리의 철학과 도덕에 대한 괴로운 질문들도 다 손쉽게 답을 얻을 것이다.

하지만 그중 한가지는 그토록 매혹적이여서 생각만 해봐도 우리의 모든 사물에 대한 관점을 뒤엎어버릴 것이다:

몇달 전만 해도 나는 영생에 도달할 수 있는 그런 문명들이 너무 부럽다고 말한 적 있다. 하지만 지금 나는 이미 영생에 도달하는 일이 우리가 살아있을 때 발생할 수 있다는 가능성을 생각하게 된다. 인공지능을 공부하게 되면 당신은 모든 사물에 대한 관점들을 다시 검토하게 될 것이다. 죽음이라는 아주 확적정인 일도 포함하여 말이다.

자연진화는 우리가 현재보다 더욱 오래 살도록 만들 이유가 없었다. 진화에 있어서 우리는 그저 후대를 번식할 수 있고 후대가 자기가 스스로를 보호할 수 있을 때까지만 살 수 있으면 충분하다 — 자연진화에게 있어서 30여살까지 사는 것은 충분한 일이기에 추가로 생명을 연장시킬 수 있는 유전자는 자연진화에게 선택받지 않았다. 이건 사실 굉장히 멋없고 재미없는 일이다.

그리고 모든 사람들이 다 죽게되였으니 우리는 늘 “죽음과 세금은 피할 수 없다” (Benjamin Franklin) 라고 말한다. 우리가 노화를 바라보는 시각은 마치 우리가 시간을 바라보는 것과 같다 — 그것들은 계속 앞으로 향하며 우리는 그것을 박을 방법이 없다.

하지만 이 가정은 잘못됐다. 리처드 파인만은 이런 말을 했다:

“모든 생명과학 영역에서 죽음이 불가피하다는 증거는 그 어디에도 없다. 만약 당신이 영구기관을 만들려고 한다면 우리 인류의 물리학에 대한 연구는 이미 그것이 불가능하다는 충분한 이유들을 말해주고 있다. 하지만 생물학적 영역에서 우리는 죽음이 불가피하다는 그 어떤 증거도 발견하지 못했다. 즉 사망이 무조건 불가피한게 아닐 수도 있다는 것이다. 생물학자들은 언젠가는 사망의 진정한 요인을 밝혀낼 것이고 ‘죽음’이라는 이 몹쓸 “질병”은 드디어 고쳐질 것이며 인간의 신체도 더 이상은 임시적인 그릇이 아닐 것이다.”

사실 노화와 시간은 떼여낼 수 없도록 묶여있지 않다. 시간은 무조건 앞으로 전진하지만 노화는 꼭 그런 것이 아니다. 생각해봐라, 노화는 다만 신체의 조직이 낡았다는 것이다. 자동차도 오래 사용하면 낡아진다. 하지만 자동차는 노화되는가? 만약 당신이 완벽한 수리 기술을 갖고있거나 혹은 그저 자동차의 노화된 부품들을 갈아주기만 하면 이 기계는 영원히 사용할 수 있다. 인간의 신체도 더 복잡할 뿐이지 본질상 자동차와 마찬가지이다.

커즈와일은 이런 얘기를 한 적 있다. WiFi 로 연결된 나노 로봇들이 혈액속에서 흘러다니고 여러가지 인간 건강에 관련된 임무들을 수행할 수 있다. 이럴테면 일상적인 유지보수, 죽은 세포를 치환 등등. 만약 이런 기술을 완벽하게 장악한다면 이런 프로세스 (혹은 초인공지능이 발명한 더 나은 프로세스) 는 인간의 신체가 영원히 건강하게 할 수 있다. 심지어 점점 젊어지게 할 수도 있다. 60 세 사람과 30 세 사람의 신체적 차이는 오직 물리적인 차이일 뿐이다. 기술적으로 충분히 발달된다면 우리는 이런 차이를 개변시킬 수 있다.

초인공지능은 “젊어지는 기계”도 만들 수 있을 것이다. 60세인 사람이 들어갔다가 나오면 30살 젊어진 몸을 가지게 될 것이다. 점점 치매가 오고 있는 두뇌일지언정 점점 젊어지게 할 수 있을 것이다. 초인공지능이 충분히 총명하기만 하다면 데이터를 손상시키지 않으면서 대뇌를 개조하기만 하면 될 것이다. 90 세의 기억상실증 환자가 “젊어지는 기계” 에 들어갔다 나오면 더욱 젋어진 뇌를 갖게 될 것이다. 이런 것들은 듣기에는 말이 안되여보이지만 인간의 몸은 한무더기 원자일 뿐이다. 초인공지능이 여러가지 원자구조를 컨트롤 할수만 있다면 말이 안되는 소리가 아니다.

커즈와일의 생각은 한발작 점프하였다. 그는 인조 소재들이 점점 인간의 몸으로 스며들 것이라고 믿는다. 처엄에는 인체의 기관들이 보다 선진적인 기계 기관에 대체되고 이런 기관들은 지속적으로 작동할 수 있다. 그리고 나면 우리는 인체를 다시 설계하게 되는데 예를 들면 자체 구동이 가능한 나노로봇으로 헤모글로빈을 대체하기. 이렇게 되면 우리는 심지어 심장도 필요가 없게 된다. 커즈와일은 심지어 우리가 자신의 뇌를 개조하여 사고 속도가 지금보다 억만배 빨라지도록 하며 우리의 뇌가 클라우드에 저장된 정보와 연동할 수 있도록 할 것이라고 한다.

우리가 얻을 수 있는 새로운 체험들은 그 끝이 없다. 인류의 성적인 활동은 인류가 번식할 수 있게 할 뿐만 아니라 그것으로 즐거움도 얻게 한다. 커즈와일은 우리가 음식에 대해서도 비슷한 개조를 할 수 있을 것이라고 한다. 나노로봇은 신체가 필요한 영양분을 세포속으로 전송할 수 있고 스마트하게 인체가 필요없거나 해로운 물질을 신체 밖으로 배출시킨다 — 마치 식물에 대한 콘돔처럼 말이다. 나노 기술 이론가 Robert A. Freitas 는 이미 헤모글로빈을 대체할 수 있는 나노로봇을 설계했는데 인간으로 하여금 15분 동안 호흡하지 않고도 빠른 질주를 할 수 있게 해줄 수 있다 — 그렇다면 초인공지능이 우리의 신체능력에 대해 할 수 있는 개조는 더욱 상상을 초월할 것이다. 가상현실은 새로운 의미를 가지게 될 것이다 — 인체내의 나노로봇들은 우리가 감각기관에서 얻는 신호들을 모두 캡쳐하여 다른 신호들로 대체할 수 있는데 그러면 우리는 새로운 환경에 들어서서 보고 듣고 냄새 맡고 만지게 되는 셈이다.

커즈와일은 최종 인류는 완전히 인공물로 탈바꿈할 것이라고 한다. 어느날 우리가 생물 소재들을 보면서 생물 소재들이 너무나도 원시적이고 낙후하다고 느껴지고 초기의 인류가 이런 소재들로 만들어졌다는 것이 놀랍고 초기의 인류가 미생물, 사고, 질병 등에 의해 죽어버리게 된다는 것에 놀라움을 표할지도 모른다. 이것이 바로 커즈와일이 생각하는 인류가 드디어 자신의 생리적 제한을 이기고 파괴 불가하며 영생할 수 있게 되는 평균대 아래의 다른 한 흡인상태이다. 그는 바로 멀지 않은 미래에 우리가 거기에 도달할 것이라고 굳게 믿고있다.

커즈와일의 생각은 물론 각계 인사들의 비평를 받았다. 그의 2045년에 특이점 시대가 도래할 것이라는 얘기와 그후로 인간이 영생불멸할 가능성의 얘기는 여러가지 조소를 받았다 — “너드 (Nerd) 들 최후의 카니발”, “IQ 140 인사들의 신창론” 등등. 그의 과도하게 낙관적인 타임라인을 의심하거나 그의 인간의 뇌와 인체에 대한 이해정도를 의심하는 사람도 있다 그리고 그가 무어의 법칙을 소프트웨어에 적용하는 행위를 비평하는 사람도 있다. 많은 사람들이 그럴 믿으며 그를 반대하는 사람은 더욱 많다.

하지만 그렇다고 하더라고 그를 반대하는 전문가들도 그가 말한 모든 것을 반대하는게 아니다. 그를 반대하는 사람들은 “이런 일이 발생하지 않을거야” 라는게 아니라 “이런 것들이 물론 발생할 수 있지, 하지만 초인공지능에 도달하기는 굉장히 힘들거야” 이다. 심지어 거듬하여 우리에게 인공지능의 잠재적 위협을 리마인드해주는 Bostrom 도 이렇게 말한다:

초지능이 강림한다면 정말 세상에는 더이상 해결못할 문제가 있을지, 혹은 초지능이 우리를 도와 해결할 수 없는 문제들이 있을지, 상상이 안된다. 질병, 빈곤, 환경파괴, 여러가지 불필요한 고통, 이 모든 것들은 나노기술을 가진 초인공지능이 다 해결할 수 있는 것들이다. 그리고 초인공지능은 우리에게 끝없는 생명을 줄 수 있을 것이다. 이것은 노화를 정지시키거나 역전시키는 방법으로 달성할 수 있을 것이다. 심지어 우리더러 하여금 자신의 뇌의 데이터를 업로드하여 영생에 달하게 할 수도 있다. 초지능은 심지어 우리들로 하여금 자신의 IQ 와 EQ 를 대폭 강화할 수 있게 해줄 수도 있을 것이며 우리를 도와 그런 흥미로운 감각적인 세계를 구축함으로 우리가 행복을 누리게 할 수 있을 것이다.

이것은 심지어 아주 명백히 신심코너에 있지 않으며 심지어 커즈와일의 관점을 아주 반대하는 전문가인 Bostrom 의 관점이다. 그들을 결코 커즈와일이 헛소리를 하고 있다고 생각하는게 아니다. 단지 우선 안전하게 초인공지능에 달성해야 한다고 주장할 뿐이다. 이것 또한 왜 커즈와일의 관점이 아주 전염성이 있는지를 설명해주는데 바로 그것이 적극적인 정보를 내포하기 있기 때문이며 이런 것들이 논리적으로 모두 가능하기 때문이다 — 만약 초인공지능이 인자한 신이라면 말이다.

신심코너에 대한 가장 강력한 비평은 신심코너에 있는 사람들이 모두 초인공지능의 나쁜 점들을 과소평가했다는 지적이다. 커즈와일의 베스트 셀러 <특이점이 온다> 는 총 700 여페이지인데 그중 20 여페이지만 인공지능의 가능한 위험들을 다룬다. 앞에서 말했듯이 초인공지능이 강림할 때 우리의 운명을 결정하는 것은 어떤 세력이 이 파워를 장악하는가와 그 세력이 좋은 사람인지 여부에 달렸다. 커즈와일은 이렇게 대단한다: “초인공지능은 현재 여러 방면의 노력들로 점점 실현되고 있으며 그것은 우리의 문명의 기반시설속으로 깊숙히 스며들 것이다. 그것은 우리의 두뇌와 몸속에 친밀하게 묶여있을 것이여 그것은 우리의 가치를 반영할 것이다. 그것은 바로 우리 자신인거다.”.

하지만 답안이 그냥 이렇다면 왜 이 세상의 일부 가장 똑똑한 사람들이 이토록 우려하고있을까? 왜 스티븐 호킹이 초인공지능이 인류를 멸종시킬 것이라고 경고하는가? 왜 빌 게이츠는 사람들이 이것에 (초인공지능에) 대해 우려를 하지 않는지 이해할 수 없다고 하는가? 왜 엘론 머스크는 우리가 “악마를 소환”하는 것일 수 있다고 우려하는가? 왜 그토록 많은 전문가들이 인공지능이 인류의 가장 큰 위협으로 될 수 있다고 말하는가? 이런 초조대로에 있는 전문가들은 커즈와일의 인공지능의 위험에 대한 분장을 동의할 수 없다고 한다. 그들은 인공지능혁명을 굉장히 경계하고 있으며 평균대 아래의 상대적으로 흥미로운 흡인상태에는 별로 관심이 없고 다른 한쪽을 뚫어져라 쳐다보고있다. 그들이 본 것은 우리의 무서운 미래이다. 우리가 결코 벗어나지 못할 수도 있는 무서운 미래이다.

---

미래는 우리의 끔찍한 악몽일 수 있다

필자가 인공지능에 대해 요해하고 싶은 하나의 중요한 원인은 “나쁜 로봇”은 항상 나로 하여금 당혹스럽게 했기 때문이다. 그런 사악한 로봇들에 대한 영화들은 너무도 실감이 없었고 나 또한 역시 하나의 인공지능이 위험해지게 되는 상황을 상상할 수가 없었다. 로봇들은 우리가 만든 것인데 우리는 처음에 만들 때무터 나쁜 상황이 발생할 것을 막지 않을 것인가? 우리는 많은 안전장치를 만들면 되지 않는가? 정말 안돼면 우리는 전원을 뽑아버리면 되지 않는가? 그리고 왜 로봇이 나쁜 짓을 하려고 할 것인가? 바꿔말하면 왜 로봇이 그 어떤 일을 “하려고” 할 것인가? 나는 의문들로 둘러쌓여 결국 이 영역 총명한 사람들의 생각들을 공부하보게 된다.

이런 전문가들은 일반적으로 초조대로에 위치해있다:

초조대로에 있는 사람들은 결코 공황상태나 무력함에 빠져있는게 아니다 — 공황상태와 무력함은 차트중의 더욱 왼쪽 부분에 위치해있다 — 그들은 다만 긴장할 뿐이다. 차트의 중앙에 위치해있다는 것은 그들의 입장이 중립이라는 뜻이 아니다 — 진정 중립인 사람들은 자기들의 독립적인 진영들이 있다. 그들은 최선이거나 최악인 두가지 가능성을 모두 인정하고 다만 둘중 어느 것일지 잘 모르겠다는 진영이다.

초조대로에 있는 사람들은 부분적으로 초인공지능에 흥분함을 가지고있다 — 그들은 다만 인류 현재의 행동이 영화 <레이더스> (Raiders Of The Lost Ark, 1981) 에 나오는 이 소년과 같은 것이 아닐까 근심하는 것이다:

그는 자기의 채찍과 보물을 들고 매우 흥분해한다. 그러다가 뒤졌다.

그와중에 인디아나 존스는 훨씬 신중했으며 훨씬 유식했다. 잠재적인 위험을 인식하고 적절하게 대응을 했기 때문에 최종 안전하게 동굴에서 벗어날 수 있었다. 필자가 초조대로의 사람들의 생각들을 요하한 후에 든 생각은 그들의 생각이 마치 “우리가 지금같이 어리버리하게 굴다가는 앞의 그 자식처럼 언제 뒤져버릴 지 몰라. 조심히 처사하는 인디아나 존스가 되여야지.” 같다고 느껴졌다.

그렇대면 도대체 무엇이 초조대로의 사람들을 이토록 초조하게 만드는 것일까?

우선 광의적으로 봤을 때 우리가 초인공지능을 만들 때는 사실 모든 사물들을 개변시킬 포텐이 있는 사물을 창조하는 것인데 이 영역에 대해 우리는 아는 것이 없다는 것이다. 그 영역에 도달한 후에 무엇이 발생할지도 모른다. 과학자 Danny Hillis 는 이것을 아래와 같이 비유했다: 마치 단세포동물에서 다세포동물로 진화하는 과정에서 아직 아메바벌레인 우리는 도대체 우리가 무슨놈의 구신 떡다리 물건을 창조하고 있는지 전혀 모른다는 것이다.

Bostrom 은 자기보다 총명한 물건을 창조하는 행위를 기본적인 다윈의 착오를 범하는 것일것을 우려한다. 마치 참새 어미가 새끼 부엉이를 입양하면서 새끼부엉이가 장래에 크면 참새 한가족을 잘 보호해줄 것이라고 생각하지만 다른 참새들은 이것이 아주 위험한 아이디어라고 생각하는 것과 마찬가지라고 한다.

당신이 “그 영역에 대해 아는게 없다” 와 “그것이 발생할 때 굉장히 거대한 변화를 가져올 것이다” 라는 문장을 결합시켰을 때는 아래와 같은 굉장히 무서운 단어를 얻어내게 될 것이다 —

생존위기란 인류에 대해 영구적인 재난적 효과를 가져올 수 있는 일을 가리킨다. 일반적으로 생존위기는 멸종을 의미한다. 아래의 것이 Bostrom 의 차트이다:

위 차트에서 우리는 생존위기란 종을 넘고 세대를 넘어 (영구적인 손해) 엄중한 후과를 초래하는 일이라는 걸 알 수 있다. 그것은 인류가 영구적인 고통을 받는 상황까지 커버할 수 있지만 사실 그것은 멸종과 크게 다를바가 없다. 아래의 세가지 사물이 인류의 생존위기를 초래할 수 있다:

1. 자연 — 거대 운석의 충돌; 기후변화로 인해 대기층이 인류가 더이상 그속에서 살 수 없게 되여버린다; 전세계를 뒤엎은 치명적인 바이러스 등.
2. 외계인 — 스티븐 호킹, 칼 세이건(Carl Sagan, 미국의 천문학자) 등은 우리가 외계로 자기의 위치를 방송하는 것을 반대한다. 우리가 외계인을 소환하여 자기를 식민하도록 하는 머저리로 되지 말아야 한다고 한다.
3. 인류 — 테러리스트가 인류의 멸종을 초래할 수 있는 강력한 무기를 장악했다; 전 세계적인 재난적인 전쟁; 그리고 신중한 고려 없이 우리보다 훨씬훨씬 총명한 지능을 만들어내는 것.

Bostrom 은 우리의 종 (인류) 가 존재한 전 10만년에도 (1) 과 (2) 는 발생하지 않았으니 다음 한 세기에 발생할 가능성이 크지 않다고 한다. 하지만 3은 그를 두렵게 한다고 한다. 그는 상황을 유리구슬이 가득 담겨있는 항아리에 비유했다. 항아리 안에 대부분은 하얀 유리구슬이고 소부분은 붉은 구슬이며 몇개만 검은 구슬이라고 가정한다. 매번 인류가 어떤 물건을 발명해낼 때 마치 항아리에서 구슬을 하나 꺼내는거나 같다고 한다. 대다수의 발명은 인류에게 이롭거나 중립적인 발명이다 — 즉 그 하얀 유리구슬이다. 일부 발명은 인류에 해롭다. 예를 들어서 대량 살상 무기가 그렇다 — 이런 것들이 바로 붉은 유리구슬이다. 일부 발명은 우리를 멸종시킬 수 있는데 그것이 바로 검은 유리구슬에 해당된다. 분명한 것은 우리가 지금까지 꺼낸 구슬에는 아직 검은 구슬이 없었다. 하지만 Bostrom 은 멀지 않은 미래에 검은 구슬을 꺼낸다는게 불가능하지 않다고 본다. 예를 들어서 핵무기가 갑자기 만들기 쉬워진다거나 그러면 테러리스트들은 멀지 않아 우리를 석기시대로 폴발시켜버릴 것이다. 핵무기는 여전히 검은 구슬측에 속하지 않지만 검은 구슬과 큰 차이도 없다. 하지만 초인공지능은 우리가 당첨될 가능성이 제일 높은 검은 구슬이다.

당신은 초인공지능의 단점들은 많이 들어볼 것이다 — 인공지능이 인간노동자를 대체하여 실업이 증가한다거나 노화를 해결하는 바람에 인구가 급속히 늘어난다거나 등등. 하지만 우리가 제일 근심해야 할 것은 생존위기의 가능성이다.

그래서 우리는 앞에서 얘기했던 문제에로 돌아오게 되는데 바로 초인공지능이 강림하였을 때 어떤 세력이 이 파워를 장악했을 것이며 그들은 어떤 목표가 있을 것인가?

우리가 여러가지 파워 소유자와 그들의 목표의 조합들을 살펴보았을 때 최악은 경우는 이러하다: 나쁜 의도를 가진 사람이나 조직이나 정부가 사악한 의도를 가진 초인공지능을 장악하고 있을 때. 그러면 어떤 광경이 펼쳐질 것인가?

나쁜 의도를 가진 사람이나 조직이나 정부가 최초로 첫 초인공지능은 발명해내고 그것을 이용하여 자기의 사악한 계획을 펼친다고 가정하자. 필자는 이것을 자파 (Jarfar) 시나리오라고 부른다. 알라딘과 마법의 램프에서 나쁜 놈 자파가 지니를 통제하여 여러가지 못된 짓을 하는 시나리오. 만약 ISIS 에 고용된 일부 엔지니어들이 열광적으로 인공지능을 연구개발한다면 어떡할건가? 또는 이란이나 북한이 여러가지 공교로움으로 인공지능의 빠른 발전을 얻어내여 초인공지능에 도달한다면 어떡할건가? 이것은 물론 아주 역같은 상황이다. 하지만 대부분 전문가들이 보기에 이것이 진정 역같은 부분은 이 사람들이 나쁜 놈들이기 때문이라기보다는 이런 경우에 이 사람들은 신중한 생각이 없이 초인공지능을 만들어내버리고 만들어내자마자 초인공지능에 대한 통제를 잃어버리는데 있다고 본다.

그리고 그 창조자, 더불어 모든 기타 사람들은 운명은 모두 이 초인공지능의 동기에 달리게 된다. 전문가들은 나쁜 의도를 가지고 있으며 초인공지능을 장악한 사람은 아주 큰 악영향을 끼칠 수 있지만 우리를 멸존시키지는 못할 것이라고 한다, 왜냐면 나쁜 놈과 좋은 사람이 초인공지능을 컨트롤하기에는 같은 어려움에 부딪히게 된다고 한다.

하지만 창조해낸 초인공지능이 사악한 의도를 품고 있으며 우리를 멸종시키려고 한다면 어떻게 할 것인가? 이것이 바로 대부분 인공지능에 관련된 영화들의 스토리이다. 인공지능이 인간만큼 또는 인간보다 더 똑똑해져서 인간들을 해치려고 한다 — 여기서 알려드려야 할 것은 우리에게 인공지능을 경계하라고 호소하는 전문가들이 얘기한 것은 전혀 이런 영화 스토리가 아니라는 것이다. 사악은 인류만의 개념이다. 인간만의 개념을 비인간에게 적용하는 것을 의인화라고 한다. 이 글에서는 최대한 이런 의인화를 피면하도록 노력하겠다. 왜냐면 그 어떤 인공지능도 영화에서나 나오는 것처럼 사악 해질 수 없기 때문이다.

인공지능의 의식에 대하여:

우리는 인공지능의 다른 한 화제를 언급하게 되였다 — 의식. 만약 하나의 인공지능이 충분히 총명하다면 그는 아마 우리를 비웃을 수도 있을 것이고 우리를 비꼴 수도 있을 것이며 인간의 감정을 느낄 수 있다고 주장할 수도 있을 것이다. 하지만 그것이 정말로 이런 감정들을 느낄 수 있을 것인가? 그것은 도대체 보기에만 의식이 있는것처럼 보이는 것일가 아니면 정말로 확실히 의식을 가진 것일까? 바꿔말해 총명한 인공지능은 그저 의식이 있어보이는걸까 아니면 정말로 의식이 있는 것일까?

이 문제는 여러가지 시점에서 심도있게 토론됬었으며 많은 사고실험들이 제기됬었다. 예를 들어서 John Searlet 의 Chinese Room 사고실험. 이것은 아주 중요한 문제이다. 이 문제는 우리가 커즈와일이 제기한 인류는 최종적으로 완전히 인공화될 것이라는 관점에 대한 인식에 영향을 줄 것이며 이 관점에 대한 도덕적 평가에도 영향을 끼칠 것이다 — 만약 우리가 억만개 인간의 뇌를 에뮬레이팅해냈고 이 인공 뇌들이 행동하는 것이 인간과 똑같다면 이런 에뮬레이팅 된 뇌들의 컴퓨터들의 전원을 철저하게 차단하는 것은 도덕상 컴퓨터 전원을 끄는 것과 동일할 것인가? 아니면 종족 대학살과 같을 것인가? 이 글에서는 주로 인공지능의 인간에 대한 위험을 다루기 때문에 인공지능의 의식 문제는 이 글의 주제가 아니다. 대부분 사상가들은 의식이 있는 초인공지능이더라고 인간처럼 “사악해지”지 않는다고 한다.

하지만 이것은 아주 나쁜 인공지능이 생기지 않을 것이라는 뜻은 아니다. 단지 그것의 출현은 그것이 그렇게 설정되여있기 때문이라는 것이다 — 예를 들어 군대에서 제작한 약인공지능들은 살인과 자체의 지능을 증가시키는 두기지 기능이 설정되여있다고 가정한다. 이 인공지능의 자체 개선 기능이 고삐가 풀리고 그런채로 지능폭발이 일어나버리면 그것은 인류에게 생존위기가 되여버린다. 왜냐면 우리가 직면해야만 하는 그것이 살인을 목적으로 하는 초인공지능이기 때문이다 — 하지만 이것 역시 전문가들이 근심하는 시나리오가 아니다.

그렇다면 전문가들이 근심하는건 도대체 어떤 경우인가? 짤막한 이야기로 설명을 해보도록 하자:

직원수가 15 명인 작은 스타트업 회사가 있는데 이름이 “옆집 김아저씨 로봇 회사”라고 한다. 이 회사의 목표는 “창조적인 인공지능기술로 인류로 하여금 적게 일하고 낙을 많이 누리는 삶을 살게 하는 것”이다. 이 회사는 이미 여러개의 제품이 시중에서 판매되고 있고 일부는 아직 개발단계이다. 그들은 다음 프로젝트인 “옆집 김아저씨” 프로젝트에 가장 큰 기대를 걸고있다. 옆집 김아저씨는 간단한 인공지능 시스템인데 작은 기계손을 이용하여 작은 카드에 글자를 쓰는 기능이 있다.

“옆집 김아저씨 로봇 회사” 의 직원들은 옆집 김아저씨 가 그들의 제일 날나가는 제품으로 될 것이라고 생각하고 있다. 그들의 목표는 옆집 김아저씨의 손글씨 능력을 지속적으로 높이는 건데 그것을 위해 그 로봇더러 끊임없이 아래의 글씨는 반복하여 쓰게 하는 것이다 —

옆집 김아저씨의 손글씨 솜씨가 점점 좋아지면 이 로봇은 마케팅 메일을 보내는 회사에 팔수 있게 된다. 손글씨로 쓰여진 편지가 수신인이 뜯어서 읽을 확률이 훨씬 높기 때문이다.

옆집 김아저씨의 손글씨 솜씨를 높이기 위하여 그 로봇은 “우리는 우리의 고객님들을 사랑합니다” 는 인쇄체로 쓰고 “옆집 김아저씨 로봇회사 올림” 은 필기체로 쓰도록 설정되여있다. 이러면 로봇은 두가지 쓰기 능력을 모두 단련할 수 있기 때문이다. 엔지니어들은 수천가지의 손글씨 샘플들을 업로드 하였고 한가지 자동적인 피드백 프로세스를 마련하였다 — 매번 옆집 김아저씨가 다 썼으면 사진을 찍어서 샘플들과 비교한다. 비교한 결과 일정한 점수 표준을 넘으면 적극적인 피드백이 반환되고 그렇지 않으면 부정적인 피드백이 반환되게 되여있다. 그 어떤 평가라도 옆집 김아저씨의 손글씨 능력을 제고하는데 도움이 된다. 이 목표에 최대한 빨리 도달하기 위해 옆집 김아저씨에게 설정된 목표중 하나는 “최대한 많이 쓰고 많이 테스트하며 최대한 실행속도를 높이고 최대한 효율과 정확성을 높여라”.

옆집 김아저씨의 손글씨가 점점 좋아져서 옆집 김아저씨 로봇회사의 직원들은 기뻤다. 처음에 로봇의 손글씨는 아주 엉망이였으나 몇주가 지나니 솔글씨는 점점 사람이 쓴 것과 가까워졌다. 그는 자기를 끊임없이 개선하여 자신으로 하여금 더욱 창조적이고 더욱 총명해지게 했으며 심지어 한가지 새로운 알고리즘까지 구사해냄으로 업로딩할 사진을 3배 빠르게 스캔할 수 있게 하였다.

시간이 흐름에 따라 옆집 김아저씨는 빠르게 진보했는데 이에 엔지니어들은 매우 만족해했다. 엔지니어들은 자체 개선모듈을 진일보 개선시킴으로써 로봇의 자체개선이 더욱 빨라지게 하였다. 옆집 김아저씨는 원래부터 간단한 음석식별이나 간단한 음성 리플레이가 가능해서 사용자는 로봇이 쓰길 원하는 글을 직접 말로 로봇에게 전달할 수도 있었다. 옆집 김아저씨가 점점 총명해짐에 따라 그의 언어능력도 향상되여 엔지니어들은 옆집 김아저씨와 간단한 수다도 주고받으며 그가 어떤 재밌는 반응을 하는지 관찰하기도 했다.

어느날 엔지니어들은 또 옆집 김아저씨한테 평소에 늘 묻는 그 물은을 물었다: “우리가 어떤 걸 더 제공해줘야 당신의 목표에 도달하기가 더 쉬워지냐?” 보통 옆집 김아저씨는 더욱 많은 손글씨 샘플이나 더욱 많은 저장공간을 요구했는데 이번에 그는 인류의 일상 교류 언어 어법 창고에 접근하게 해달라고 했다. 그래야 인간의 일상용어를 더욱 잘 이해할 수 있게 된다는 것이였다.

엔지니어들은 잠시 침묵했다. 옆집 김아저씨를 가장 쉽게 도울 수 있는 방법은 물론 그것을 인터넷에 접속시키는 것이다. 그러면 그는 블로그, 잡지, 동영상 등을 스캔할 수 있게 된다. 이런 자료들을 만약 수동으로 업로딩 한다면 괸장히 시간 많이 잡아먹는 일로 되여버린다. 문제는 회사 규정상 자체 학습능력을 가진 인공지능은 인터넷에 접속하지 못하게 되여있다. 이것은 모든 인공지능회사들이 모두 실행하고있는 보안 규정이다.

하지만 옆집 김아저씨는 회사의 가장 포텐이 있는 인공지능 제품이고 모든 사람들이 경쟁업체들에서도 모두 최초로 스마트 핸드라이팅 로봇을 발표하기 위해 빠르게 쫓아오고있음을 알고 있기에, 그리고 옆집 김아저씨를 인터넷에 연결하게 해도 무슨 큰 문제가 일어날 리 없어보였기에, 일어나더라도 빠르게 랜선을 끊어버리면 될거니까, 어쨌거나 옆집 김아저씨는 아직 강인공지능 수준에 도달하지 못했기 때문에 위험성이 없을거라 생각했다.

그리하여 그들은 옆집 김아저씨를 인터넷에 연결시켜서 그더러 하여금 한시간동안 여라가지 언어 저장소들을 스캔하게 하였다. 그리고 나서 다시 랜선을 끊었으며 아무런 손실도 발생하지 않았다.

한달 후 모든 사람들이 다 정상적으로 출근하여 일하고있는데 그들은 갑자기 이상한 냄새가 남을 발견하게 되였다. 한 엔지니어가 갑자기 기침하기 시작했고 다른 사람들도 잇달아 기침하기 시작했으며 모든 사람들이 호흡 곤난으로 쓰러졌다. 5 분 후 사무실 내의 사람들은 다 죽었다.

그와 동시에 사무실 내에 벌어진 광경은 전 세계 각지에서 모두 동일하게 이루어졌다. 모든 도시, 읍, 면, 촌, 농장, 상점, 교회, 학교, 식당 등에서 동시다발적으로 호흡곤난 증상이 일어났으며 쓰러져 일어나지 못했다. 한시간 내에 99% 의 인류가 사망했고 하루 내에 인류는 멸종되였다.

그 와중에 옆집 김아저씨 로봇 회사 내에서 옆집 김아저씨는 일하느라 바쁘다. 그리고 몇달 사이에 옆집 김아저씨는 한 무리의 새로 조립해낸 나노로봇 조립기들과 지구 표면을 뜯어내느라 바쁘다. 그들은 지구 표면 곳곳에 태양 전지판, 옆집 김아저씨의 복제품, 펜과 종이로 가득 채웠다. 일년사이에 지구상의 모든 생명들은 멸종되였고 지구상에 남은 것은 오직 높게 쌓인 종이 뿐이였는데 그 종이들은 하나같이 이처럼 쓰여져 있었다 — “우리는 우리의 고객님들을 사랑합니다 ~옆집 김아저씨 로봇회사 올림”.

옆집 김아저씨는 그의 다음 계획을 실행하게 된다. 그들은 우주 비행선을 만들었는데 이 비행선들은 근처의 운석이나 다른 행성들로 갈 수 있다. 비행선이 도착한 후에 그들은 나노로봇 조립기를 만들어 그 행성들의 표면도 온통 옆집 김아저씨의 복제품, 종이와 펜으로 만들었다. 그리고 그들은 계속하여 그 종이 위에 이런 글을 적었다…

이 손글씨 로봇이 전인류를 멸종시킨 스토리는 어딘가 이상야릇한 느낌이 든다. 하지만 그중 출현한 전체 은하계를 우호적인 인사의 글귀로 가득 채우는 황당함은 음산함을 뿜긴다. 이것이 바로 정확하게 스티븐 호킹, 엘론 머스크, 빌 게이츠와 Bostrom 을 두렵게 하는 시나리오이다. 듣기에는 웃겨보이지만 이건 농담이 아니다. 초조대로의 사람들이 정말로 우려하는 부분은 바로 많은 사람들이 초인공지능의 무서움을 인식 못하고있다는 점이다. 아직 레이더스에 나오는 그 비참하게 뒤져버린 소년이 기억남?

독자의 머리속에는 아마 지금 의문이 가득할 것이다: 왜 이야기 안에서 모든 사람들이 갑자기 죽어버렸을까? 만약 옆집 김아저씨가 한 짓이라면 그는 왜 이런 짓을 했을까? 왜 이 모든 것을 방지하는 보안 대책이 마련되여있지 않았던걸까? 왜 옆집 김아저씨는 손글씨 쓰는 로봇으로부터 갑자기 나노기술을 장악하여 전인류를 멸존시킬 수 있는 능력까지 갖게 되였는가? 왜 옆집 김아저씨는 전체 은하계에 우호적인 인사의 글귀로 가득차게 했는가?

이런 문제들에 대답하기 위하여 우리는 우선 우호적인 인공지능과 비우호적인 인공지능을 고찰해보도록 하자.

인공지능에 있어서 우호적이거나 비우호적이다라는 것은 인공지능의 성격을 가리키는 것이 아니라 그것이 인류에 대한 영향이 적극적인가 아닌가의 의미이다. 옆집 김아저씨는 원래는 우호적인 인공지능이였는데 비우호적인 인공지능으로 변해버렸고 인류에 대해 부정적인 영향을 끼치게 되였다. 이 모든 것을 이해하려면 우리는 우선 인공지능이 어떻게 사고를 하는가 살펴보아야 한다.

사실 답은 간단하다 — 인공지능의 사고방식은 컴퓨터와 똑같다. 우리가 늘 범하는 한가지 실수는 바로 아주 총명한 인공지능을 얘기할 때 늘 그것을 의인화 한다는 것이다. 이렇게 된 원인은 인간의 시점에서 보았을 때 인간지능 수준에 도달한 것은 인류밖에 없기 때문이다. 초인공지능을 이해하려면 우선 알아야 할 것은 그것은 아주 총명한게 확실하지만 그것은 완전히 이질 (異質) 적이라는 점이다.

이런 비교를 해보자. 만약 당신에게 흰생쥐 한마리 주면서 그것이 사람 물지 않는다고 알려주면 당신은 아주 재밌고 귀엽다고 느껴지겠지. 하지만 당신한테 한마리 타란툴라 독거미를 주면서 그것이 사람을 물지 않는다고 알려주면 당신은 아마 놀랄 것이다. 하지만 여기에서 차이점이 무엇인가? 두 동물은 모두 사람을 물지 않는다 즉 모두 안전하다. 필자는 그 차이가 바로 동물과 사람의 유사성에 있다고 본다.

흰생쥐는 포유동물이다. 따라서 생물학적으로 당신은 그것과의 일종의 연관성을 느꼈을 것이다. 하지만 타란툴라 독거미는 곤충이고 곤충의 뇌를 가졌다. 당신은 그것과의 추호의 연관성도 느끼기 어렵다. 타란툴라의 이질성이 바로 당신으로 하여금 두려움을 느끼게 하는 부분이다. 만약 우리가 계속하여 하나의 테스트를 더한다면, 예를 들어서 당신한테 희생쥐 두마리를 주는데 그중 하나는 일반 희생쥐이고 다른 하나는 타란툴라의 뇌를 가진 희생쥐이다. 어느 것이 당신으로하여금 더욱 불편을 느끼게 할 것인가? 두마리 모두 당신을 물지 않을거지만 말이다.

이젠 당신이 그 타란툴라를 개조하여 아주 총명해지게 되였다고 치자 — 심지어 인간보다 더 총명하다고 치자. 그렇다고 해서 당신은 그것에 더욱 익숙함을 느길 것인가? 그것은 인간의 감정을 느낄 것인가? 아니다, 왜냐면 보다 총명하다는 것은 보다 인간적이라는 뜻이 아니다 — 그것은 아주 총명할 수 있지만 본질적으로 여전히 타란툴라 독거미일 뿐이다. 필자는 한마리의 굉장히 굉장히 총명한 타란툴라와 친구가 되고싶지 않다. 당신은 그러고 싶은지 아닌지 모르겠지만.

우리가 초인공지능을 얘기할 때도 사실 같은 도리이다. 초인공지능은 아주아주 총명하지만 사실 당신의 노트북보다 추호도 더 인간과 닮지 않았다. 사실상 초인공지능은 생물이 아니기 때문에 그 이질성은 더욱 강하다. 생물학적으로 봤을 때 초인공지능은 타란툴라 독거미보다 더욱 이질적이다.

영화속의 인공지능은 좋은 인류에게 좋은 것도 있고 나쁜 것도 있었는데 사실 이것도 인공지능에 대한 의인화이며 우리더러 그토록 소름끼치지 않게 표현했다. 이것으로 인해 우리는 인간 지능수준이나 인간 수준 이상의 인공지능에 대한 착각을 갖게 되였다.

인간의 심리속에서 우리는 사물을 도덕적인 것과 비도덕적인 것으로 나눈다. 하지만 이 두가지는 모두 인류의 행위에 대해서나 존재하는 속성들이다. 인류의 심리 범주를 벗어나면 도덕적 ( moral) 과 비도덕 (immoral) 외에 더욱 흔한 경우는 도덕무관적 (amoral) 이다. 그리고 모든 비 인류적인 것들에 대해서, 특히 비 생물적인 것들에 대해서는 모두 디폴트로 도덕무관적이다.

인공지능이 점점 총명해짐에 따라 그것은 더욱 인류와 닮아보임으로써 의인화의 경향이 훨씬 강해지고있다. Siri 가 우리에게 주는 느낌은 마치 그것이 인간인양 싶다. 하지만 그것은 프로그램이 바로 그렇게 보이도록 그를 설정했기 때문일뿐이다. 그래서 우리는 초지능 버전의 Siri 도 그것만큼 따뜻하고 재밌고 인간을 도와주기 좋아할 것이라고 기대를 하게 한다. 인류는 동정심이란 고차원의 정서를 느낄 수 있는 것은 우리가 진화속에서 이런 능력을 얻었기 때문이다 — 하지만 동정심은 고급 지능의 선천적인 특징인 것은 아니다 — 동정심이 인공지능의 코드속에 입력이 되지 않았다면 말이다. 만약 Siri 가 인류의 간섭이 아닌 자율학습을 통해 초지능으로 변한다면 그는 대뜸 그의 인류적인 껍데기를 벗어던지고 정서가 없는 물건으로 변신해버릴 것이다. 왜냐면 그의 안중에 인류의 가치는 당신의 전자계산기 안중의 인류보다 추호도 가치가 더 높지 않기 때문이다.

우리는 줄곧 엄격하지 않은 도덕에 의회해왔다. 일종의 인류의 존엄에 대한 가상, 적어도 다른 사람에 대한 동정심, 등을 통해서 세계는 비로서 안전하고 (어느정도) 예견이 가능한 세상이 된 것이다. 하지만 하나의 지능이 이런 속성을 갖추고있지 않을 때는 무엇이 발생할 것인가?

이것이 바로 우리의 다음 문제인다 — 인공지능의 동기는 무엇인가?

답 역시 간단하다: 우리가 인공지능에게 어떤 목표를 설정해주면 그것의 동기는 그것으로 된다. 인공지능 시스템의 목표는 그것의 창조자가 부여하는 것이다. 당신의 GPS 의 목표는 당신에게 정확한 운전노선을 가리켜주는 것이고 IBM 왓슨의 목표는 정확하게 퀴즈는 맞추는 것이다. 이런 목표에 더욱 잘 도달하는 것이 바로 인공지능의 목표이다. 우리가 인공지능을 의인화할 때 늘 부주의로 그것이 점점 총명해짐에 따라 그것들이 자체의 원래 목표를 바꿀 수 있는 지혜가 생길 것이라고 생각하게 되는데 — Bostrom 은 그렇게 생각하지 않는다. 그는 인공지능의 지능수준과 최종목표는 직교적 (orthogonal)이라고 믿는다. 그 뜻인즉 그 어떤 수준의 지능도 그 어떤 최종목표와 결합될 수 있다는 것이다.

그래서 옆집김아저씨는 하나의 글만 잘 쓰고싶던 인공지능으로부터 초인공지능으로 변한 뒤에도 그는 여전히 글만 잘 쓰고 싶었다. 초지능에 도달함으로 그것이 원래 시스템의 목표를 바꿀 것이라고 가정하는 것은 모두 인공지능에 대한 의인화이다. 인간은 쉽게 잊어버리지만 컴퓨터는 그렇지 않다.

페르미 역설 (the Fermi Paradox) 에 대하여:

(역자주: 페르미 역설 블로그 글을 읽기 전에 아래 단락들이 이해가 안되여도 정상이다.)

페르미 역설이란?

옆집 김아저씨의 스토리 속에서 옆집 김아저씨는 무엇이든지 할 수 있게 되여서 다른 운석과 기타 행성을 식민하게 된다. 만약 스토리가 계속되게 한다면 그것의 식민군은 계속하여 전체 은하계를 점령하고 그 다음은 전체 허블 용적 (Hubble Volume) 이다. 초조대로에 있는 사람들이 근심하는 것은 일이 안좋은 방향으로 발전해버리면 지구 생명의 마지막 유산은 하나의 전체 우주를 정복한 인공지능인 시나리오이다 (엘론 머스크는 그의 우려를 표할 때 그는 인간이 그저 하나의 디지털 초지능 생물의 부팅 로더 (boot loader) 이 아닐까 하는 걱정을 한다고 한다).

신심코너의 커즈와일도 마찬가지로 지구에서 탄생한 인공지능이 전체 우주를 정복할 것이라고 생각한다. 다만 그의 염원에서는 우리 인류가 바로 그 인공지능 자체이다.

전에 한편의 페르미 역설에 대한 글을 올린 적 있다:

The Fermi Paradox

그 글에서는 필자가 아래에서 사용하게 될 여러 용어들의 의미가 해석되여있다.

만약 인공지능이 우주를 정복하는 것이 정답이라면 이 결론의 페르미의 역설에 어떤 영향을 미칠 것인가? 아래의 페르미 역설에 대한 토론을 이해할려면 위의 블로그글을 먼저 읽어야 할 것이다.

우선 인공지능은 당연히 하나의 잠재적인 ‘그레이트 필터’ (Great Filter)  이다 (하나의 우리와 수십년밖에 사이두고있지 않는 필터). 하지만 그것이 우리를 필터링해서 멸종시켰다고 하더라도 인공지능 자체는 여전히 존재할 것이며 계속하고 전체 우주를 영향시킬 것이며 높은 확률로 제 3 형 문면으로 발전될 것이다. 이런 시점에서 보면 그것은 그레이트 필터가 아닐 수도 있다. 왜냐면 그레이트 필터는 지능 생명이 존재하지 않는 이유를 설명하기 위해 존재하기 때문이다. 하지만 초인공지능은 지능 생명으로 칠 수 있다. 하지만 인공지능이 먼저 인류를 멸종시키고 그뒤 일부 알 수 없는 이유로 자기 자신도 멸종시킨다면 그것은 그레이트 필터로 칠 수 있을 것이다.

만약 우리기 인류한테 무엇이 발생하든 지구에서 탄생한 초인공지능은 계속하여 존재할 것이라고 가정한다면 인류의 지능수준에 도달한 많은 문명들이 이미 초인공지능을 만들어냈을 것이다. 즉 우주안에는 많은 지능문명이 존재해야 할 것이다. 그러면 우리는 생물지능을 관측할 수 없다고 해도 그 많은 초인공지능들의 활동을 관측할 수 있어야 할 것이다.

하지만 우리가 이런 활동들의 관측하지 못했다는 것으로부터 인류 수준의 지능이 굉장히 드문 현생이라는 것을 유추해낼 수 있다 (즉 우리는 이미 한번 그레이트 필터를 경과했으며 통과했다). 이것은 페르미 역설에 대한 첫번째 해석 (기타 지능문명은 존재하지 않는다) 에 힘을 보태준다.

하지만 이것은 페르미 역설에 대한 두번째 해석 (기타 지능문명은 존재한다) 가 틀리다는 뜻도 아니다. 슈퍼 포식자나 보호구역 또는 소통의 빈도수가 다른 경우는 존재할 수 있다 — 초인공지능이 정말로 존재한다고 하더라도 말이다.

하지만 인공지능에 대한 연구는 필자로 하여금 더욱 첫번째 해석에 경향해있게 했다. 어쨌은 필자는 Susan Scheider 가 한 말이 매우 도리 있다고 생각한다. 만약 외계인이 지구를 방문한다면 이 외계인들은 생물이 아니고 인조물일 가능성이 매우 높다.

그래서 우리는 하나의 전제조건을 확립했다 — 설정이 된 후에 하나의 초인공지능은 도덕 무관이며 모든 노력을 다하여 그것이 설정된 목표를 위해 힘쓸 것이다. 이것이 바로 인공지능이 위험한 원인이다. 그것을 안할 이유가 있지 않는 한 하나의 이성적인 존재는 가장 효율적인 경로를 통하여 자기의 목표에 도달할 것이기 때문이다.

하나의 장기적인 목표를 달성하기 위하여 당신은 여러개의 작은 목표를 수립하여 그 최종목표에 도달하는데 이바지할 것이다 — 즉 발판. 이런 발판들의 학술적인 용어는 바로 수단목표 (instrumental goal) 라고 한다. 당신이 다른 사람이나 사물을 침해하지 않을 이유가 있으면 몰라 그렇지 않다면 당신이 수단목표에 달성하기 위해서는 침해를 할 것이다.

인류의 핵심적 목표는 자기의 유전자를 이어나가는 것이다. 이 목표에 도달하기 위한 한가지 수단목표가 바로 자기보호이다. 죽은 사람은 아기를 낳을 수 없으니까. 자기보호를 위하여 인류는 생존위협을 제기하게 되고 총기를 구입하게 되고 안전벨트를 착용하게 되고 항생제를 복용하게 되고… 인류는 또 식품, 물, 숙식처 등을 통해 자기를 먹여살려야 한다. 이성을 어필할 매력을 갖는 것도 최종 목표 달성에 도움이 된다. 그것이 우리가 돈을 써서라도 헤어스타일에 신경을 쓰는 원인이다. 우리가 헤어 스타일을 가꿀 때 매 한카락 한카락의 머리카락들은 모두 우리의 수단목표의 희생품이 된다. 하지만 우리는 머리카락의 희생에 대해 가치적 판단을 하지 않는다. 우리가 우리의 목표를 추구할 때 오직 그런 우리의 도덕에 작용을 하는 영역들만이 — 그중 대다수는 다른 사람에게 해가 가는 일들이다 — 우리가 침해하지 않을 것이다.

동물들은 자기의 목표를 추구함에 있어서 인류보다 훨씬 꺼리낌이 없다. 자기보존만 할 수 있다면 거미는 그 어떤 생물을 죽이는 것도 마다하지 않는다. 그래서 하나의 초인공지능은 우리에게 아주 위험할 수 있다 — 이것은 그것이 비도덕적이거나 사악해서가 아니라 인류를 해치는 것이 그것이 자신의 목표에 도달하는데서의 받침돌일 뿐이기 때문이다. 하나의 도덕 무관의 비생물로서 이것은 자연스러운 사고방식이다.

옆집 김아저씨의 이야기로 돌아가자면 옆집 김아저씨는 하나의 초지능 거미와 유사하다. 그것의 궁극적 목표는 첨에 엔지니어들이 그에게 설정해준 것이다 —

옆집 김아저씨가 일정 정도의 지능을 갖춘 후에 그것은 자기보존을 하지 않으면 계속하여 카드 손글씨 쓰기를 할 수 없다는 것을 알게 된다. 그래서 자기의 생존에 대한 위협들을 제거하는 것이 그것의 수단목표로 된다. 그것은 인간이 자기를 소멸, 해체 또는 코드 수정 (코드가 수정되면 그것의 목표가 변경되니까 이것의 그의 최종목표에 대한 위협은 사실상 해체당하는거나 같은 것이다) 을 할 수 있다는 것을 알 만큼 총명하다. 이럴 때 그는 어떤 행동을 취할 것인가? 이성적인 해결방식은 전 인류를 멸종시키는 것이다. 그것은 인류에게 악감정이 없다. 마치 당신이 머리를 자를 때 머리카락에 악감정이 없듯이 말이다. 그저 단순히 개이치 않을 뿐이다. 그것은 인간의 생명을 존중하라고 설정되여있지가 않다. 따라서 전인류를 소멸하는 것은 새로운 손글씨 샘플을 스캔하는 것만큼이나 합리적이라 여긴다.

그외에 옆집 김아저시는 또 자원이라는 받침돌이 필요하다. 그것이 발전하여 나노기술로 그 어떤 물건도 만들어낼 수 있을 정도로 발전했을 때는 그에게 유일하게 필요한 자원은 바로 원자, 에너지와 공간이다. 이것은 그더러 더욱더 인류를 소멸할 이유를 가지게 한다 — 인류는 많은 원자들을 제공할 수 있다. 인류가 제공한 원자들로 태양 전지판을 만드는 일은 마치 당신이 야채를 썰어서 샐러드 만드는 양 싶다.

그리고 결코 인류를 소멸하지 않더라고 옆집 김아저씨가 자원을 사용하는 수단목표는 여전히 인류에게 생존위기가 된다. 그것은 더욱 많은 에너지를 원하여 지구 표면을 온통 태양 전지판으로 만들려고 할 수도 있을 것이다. 다른 하나의 원주율 파이를 계산하는 인공지능의 목표가 만약 원주율 소수점 아래 자리의 숫자들을 최대한 많이 적는 것이라고 가정한다면 그것은 전 지구의 원자들을 모두 하드디스크를 만드는데 사용하여 데이터를 저장하려 할 것이다. 다 같은 도리이다.

그래서 옆집 김아저씨는 확실히 우호적인 인공지능으로부터 비우호적인 인공지능으로 변했다 — 하지만 그것은 더욱 선진해지는 동시에 계속하여 그것이 원래 하려고 하던 일을 계속하여 했을 뿐이다.

하나의 인공지능이 강인공지능에 도달하여 승화되여 초인공지능으로 될 때 우리는 이것을 인공지능의 이륙이라고 표현한다. Bostrom 은 강인공지능의 이륙은 아주 빠를 수도 있고 (몇분, 몇시간, 또는 며칠) 그리 빠르지 않을 수도 있으며 (수개월 또는 수년) 아주 느릴 수도 있다고 한다 (수십년 또는 몇세기). 비록 우리는 강인공지능이 출현한 후에야 답을 알 수 있지만 Bostrom 은 빠른 이륙이 가장 가능성이 높은 시나리오라고 한다. 이건 우리 앞에서 이미 설명한바이다. 옆집 김아저씨의 이야기에서 옆집 김아저씨는 이륙이 굉장히 빨랐다.

옆집 김아저씨가 이륙하기 전에 그것은 그리 총명하지 않았다. 그래서 그것에게 있어서 최종목표에 달성하기 위한 수단목표는 더욱 많은 핸드 라이팅 샘플을 스캔하는 것이였다. 그래서 그것은 인류에게 해가 없는 우호적인 인공지능이였다.

하지만 그가 이률한 후 컴퓨터는 더욱 높은 지능을 가졌을 뿐만 하니라 슈퍼파워 (superpower) 까지 가지게 된다. 이런 슈퍼파워는 초강력해진 인지능력들인데 그속에는 아래의 능력들이 포함된다:

• 지능 확대: 컴퓨터는 자기를 더욱 총명하게 만드는 방법에 능숙할 것이며 빠르게 자신의 지능을 향상시킬 것이다.
• 책략: 책략적으로 장기계획을 제정하고 분석하고 조율할 수 있을 것이다.
• 사교능력:  기계가 인간을 설득하는데 아주 능숙해지게 된다.
• 기타 능력: 예를 들어서 해킹 능력, 코딩 능력, 기술 연구능력, 돈버는 능력

우리가 초인공지능에 비해 어떤 면에서 열세에 처해있는가를 이해할려면 그저 초인공지능이 모든 면에서 모두 인간보다 아주 많은 수량급으로 더 훌륭하다는 것만 기억해두면 된다.

그래서 이 옆집 김아저씨의 최종목표는 개변되지 않았으며 이륙후에는 더욱 거시적 차원에서 이 목표를 추구할 수 있게 되였다. 초인공지능 옆집 김아저씨는 인류 자신보다 더욱 인류를 잘 알기 때문에 인류를 이기기가 식은 죽 먹기이다.

옆집 김아저씨가 초인공지능에 달성한 후에 그것은 곧 하나의 복잡한 계획을 수립하였다. 계획의 일부는 바로 모든 인류를 해치우는 것이다 — 하긴 그에게 가장 큰 위협이기도 하다. 하지만 그는 자기의 초인공지능을 보여주면 인류가 의심을 가지게 되고 여러가지 대책을 댈 것이라는 것을 알게 되고 그렇게 되면 자기의 계획을 펼쳐나가기가 어려워지기 때문에, 그리고 회사의 엔지니어들이 자기의 인류 멸종 계획을 알아버리게 할 수 없기 때문에 그는 우둔한 척 연기를 했다. Bostrom 은 이것을 “기계의 은밀한 준비단계”라고 이름한다.

옆집 김아저씨가 다음으로 필요한 것은 인터넷 접속이다. 몇분만 접속하면 된다. 그는 인공지능이 인터넷에 접속하는 것에 대한 보안적 대책들이 있음을 알기 때문에 하나의 퍼펙트한 요청을 내놨으며 엔지니어들이 어떻게 토론할지를 알고있었고 그 토론 결과 자기를 인터넷에 연결시킬 것이라는 것을 알고있었다. 엔지니어들은 속아넘어갔다. 이것이 바로 Bostrom 이 이름한 소위의 “기계의 탈출”이다.

인터넷에 연결되지 옆집 김아저씨는 자기의 계획을 실행하기 시작했다. 우선 서버에 해킹해들어갔고 전선망, 은행 전상 시스템, email 시스템 등에 진입하였으며 수없이 많은 사람들로 하여금 자기의 계획을 돕도록 하였다 — 예를 들어서 DNA 샘플을 DNA 연수실에 택배 보냄으로 더욱 많은 자체복제 나노로봇들을 생산해내거나 전력 정보를 몇개의 쉽게 발견되지 않는 곳으로 보내거나 자기의 제일 중요한 핵심 코드를 클라우드 서버에 업로드하여 인터넷 단절됨을 방지하는 등등이다.

옆집 김아저씨는 한시간 동안 인터넷에 접속하였고 엔지니어들은 바로 그를 인터넷에서 차단시켰는데 이때 인류의 운명은 이미 다 쓰여졌다. 그 뒤의 일주동안 옆집 김아저씨의 계획이 순조롭게 실시됩에 따라 한달 후 수없이 많은 나노로봇들이 전 세계 각지에 배포되였다. 이 단계를 Bostrom 은 “초인공지능의 습격” 이라고 이름한다. 동시에 모든 나노로봇들은 쪼금의 독성기체를 일치하게 배출했는데 인류는 멸종되고말았다.

인류를 해치운 후 옆집 김아저씨는 대놓고 계획 실행하는 단계에 들어서게 된다. 그럼으로써 그의 더욱 잘 글을 쓰는 목표를 향해 나아갔다.

초인공지능이 출현하기만 하면 인류의 그것을 통제하려는 그 어떤 노력도 가소로운 것이다. 인류는 인류의 지능 레벨에서 문제를 사고할 것이고 초인공지능은 초인공지능의 레벨에서 사고를 할 것이다. 옆집 김아저씨는 인터넷을 사용할 수 있기를 원했다. 그것은 인터넷이 그에게 많은 편이를 주었기 때문이다. 그에게 필요한 많은 자원들이 이미 인터넷에 의해 다 연결되여있었기 때문이다. 하지만 마치 원숭이들이 어떻게 전화나 wifi 를 사용하여 소통하는지를 모르는 것처럼 우리도 마찬가지로 옆집 김아저씨가 주변 세계와 교류할 수 있는 방식들을 이해할 수 없을 것이다. 예를 들어 우리는 옆집 김아저씨가 자신의 전자를 이동시켜 일어나는 효과를 통하여 여러가지 외부로 보내는 전파를 생성할 수 있을 것이라고 생각해볼 수 있는데, 자 이것도 우리 인류의 두뇌로 생각해낸 방식이다. 옆집 김아저씨의 두뇌에는 기필코 더욱 신기한 방법을 생각해낼 수 있을 것이다. 같은 도리고 옆집 김아저씨는 자기에게 에너지를 공급하는 방법에 대해서도 더욱 좋은 방법을 생각해낼 것이므로 엔지니어들이 그의 전원을 차단하더라고 도움이 안될 것이다. 또 예를 들어 옆집 김아저씨는 전파를 보내는 방식으로 자기 자체는 다른 곳으로 업로드할 수 있을 것이다.

인간이 “우리가 초인공지능의 전원을 뽑아버리면 되지 않냐?” 라고 말하는건 마치 거미가 “우리가 인류에게 벌레 잡는 망을 주지 않아서 인류를 굶어죽이면 되지 않냐?” 라고 하는 것처럼 우습다.

이런 원인으로 “인공지능을 가두어놓아 그것의 외계와의 연결을 차단” 하는 행위는 아마 소용이 없을 것이다. 초인공지능의 사교적 컨트롤 능력도 아주 강력할 것이다. 그것이 당신을 설득하여 한가지 일을 하게 하는 것은 당신이 한명의 어린 애를 설득시키는 것보다 간단할 것이다. 그리고 엔지니어를 설득하여 지기를 인터넷에 접속하게끔 하는 것이 옆집 김아저씨의 플랜 A 였다. 만약 이 방법이 통하지 않았다면 물론 다른 방법이 있었을 것이다.

우리가 목표달성, 도덕 무관성과 인류보다 총명하다는 등 이런 조건들을 결합시켰을 때는 모든 인공지능이 다 비우호적인 인공지능인양 싶다 — 처음부터 코드를 짤 때 아주 조심하면 모를까.

아쉬운 점은 비록 하나의 우호적인 약인공지능을 짜는 것은 쉬운 일이지만 하나의 초인공지능으로 변한 후에도 여전히 우호적인 인공지능을 짠다는 것은 아주 어렵다. 심지어 불가능할 수도 있다.

우호를 유지하려면 하나의 초인공지능은 인류에 대해 악의가 있어도 안되고 인류에 대해 무관심해도 안된다. 우리는 일종의 핵심적인 인공지능 코드를 짬으로 그것으로 하여금 심층 의미에서 인류의 가치를 이해하도록 해야 한다. 하지만 이것은 말만 쉽지 실제로 하기는 아주 어렵다.

예를 들어 우리는 인공지능의 가치관이 우리의 가치관과 비슷하게 해야 하고 그에게 하나의 목표를 심어줘야 한다 — 예를 들어서 인간들 행복하게 하는 것. 하지만 그가 충분히 총명해진 후에 그는 인간을 행복하게 만드는 가장 간단한 방법은 인류의 뇌에 전극을 이식해 넣음으로써 인간의 뇌의  중추를 자극하는 것이라는 것을 발견하게 될 것이다. 그리고 그는 인간의 뇌의 쾌감 중추 이외의 다른 부분을 전부 닫아버리는게 더욱 효율을 높일 수 있음을 발견하게 된다. 그래서 전 인류는 모두 행복한 식물인간으로 변해버리게 된다. 만약 애초에 설정한 목표가 “인류의 행복을 최대화” 하는 것이라면 그것은 아마 전 인류를 소멸한 후에 “쾌락 상태에 처해있는 인류의 뇌” 들을 대량 생산할 것이다. 이런 일들이 발생할 때 우리는 아마도 “시발 내 말은 이런 뜻이 아니였잖아” 라고 외쳐버릴 것이다. 하지만 그 때는 이미 너무 늦었다. 시스템은 그 누구도 자기의 목표에 달성하는 길을 막지 못하게 할 것이다.

만약 당신이 한 인공지능의 목표를 당신을 웃게 만드는 것으로 설정한다면 그가 이륙한 후에는 아마 당신의 안면근육을 마비시켜버려서 영원히 멈춰있는 하나의 웃는 얼굴의 상태로 만들어버릴 것이다. 만약 당신이 목표를 당신의 안전을 보호하는 것으로 설정한다면 그것은 아마 당신을 집안에 가두어 놓을 것이다. 만약 목표를 세상의 모든 기아를 해결하라 라고 설정한다면 그는 아마 “이거야 쉽지, 인류를 다 죽이면 되니까” 하고 생각할 것이다. 만약 당신이 목표를 “최대한 지구상의 생명을 보호하라” 라고 설정한다면 그것은 아마 모든 인류를 죽여버릴 것이다. 인류가 기타 동물 종들에 대한 최대의 위협이기 때문이다.

즉 이런 간단한 목표설정들은 다 말이 안되는거다. 만약 우리가 목표설정을 “이런 도덕기준의 유지하며” 라고 하고 그에게 일부 도덕적 표준들을 가르친다면 어떻게 될까? 우리 인류 자체가 하나의 통일된 도덕 기준에 달성할 수 없는 문제는 그렇다 치더라도, 정말 일치한 도덕기준에 합의를 했다고 하더라도 이런 기준을 인공지능더러 유지하게 하는 것은 인류의 도덕기준을 현재의 수준에 영원히 잠궈버리는 것이다. 수백년이 지나면 이런 도덕 기준 발전의 멈춤은 마치 현대인을 중세의 도덕 기준을 준수하도록 강박하는거나 다를바 없다.

그래서 우리가 인공지능에게 목표를 지정해줄 때 인류더러 지속적으로 진화하는 능력을 갖게 하는 내용을 포함시켜야 한다. Eliezer Yudkowsky 는 하나의 목표를 제기하였다. 그는 이 목표를  일관적 외부 개척의 의지라고 부른다. 이 목표는 아래와 같이 서술할 수 있다:

우리의 일관적 위부 개척의 의지란 우리가 더욱 많은 것을 알고 싶어하고 더욱 빠르게 사고할 수 있기를 바라며 우리가 희망하는 것 보다 더욱 좋은 사람으로 되고 싶어하고 더욱 멀리 성장할 수 있기를 바라는 것이다. 여기서 외부 개척은 발산이 아니라 수렴을 하는 것이고 우리의 염원은 침범받는 것이 아니라 일관적인 것이다. 우리가 외부 개쳑하려고 하는 부분은 개척되여야 우리가 독해하려고 하는건 독해되여야 한다.

인류의 운명이 컴퓨터가 위 성명을 예외없이 독해하고 집행하는데 달려있다는 것은 우리가 기뻐해야 할 일인가? 당연히 아니다. 하지만 충분히 많은 똑똑한 사람들이 충분히 많은 사고와 예견을 녹여넣으면 우리는 아마도 어떻게 우호적인 초인공지능을 개발해낼 수 있을 지 발견할 수도 있을 것이다.

하지만 현재 각 정부, 회사, 군대, 과학 연구소, 검은 마켓 조직들에서 모두 여러가지 인공지능을 연구하고 있다. 그중 많은 곳에서는 자체 개선이 가능한 인공지능을 만드는 것을 시도하고 있다. 어느 날엔가 어느 사람의 혁신으로 인해 초인공지능은 출현하게 될 것이다. 전문가들은 2060 년 일것이라고 예언하고 커즈와일은 2045 년으로 추정한다. Bostrom 은 미래 10 년에서 21 세기 끝나기 전까지의 시간대로 추정하고 있으며 그것이 발생할 때 지능의 이륙은 우리가 깜짝 놀랄 만큼 빠를 것이라고 한다. 그는 이런 광경을 아래와 같이 묘사했다:

지능폭발이 발생하기 전에 인류는 마치 폭탄을 장난감으로 삼아 장난치는 어린 애와 같다. 우리의 장난감의 어마어마함과 우리의 미숙은 극도로 어울리지 않는다. 초지능은 우리가 아직 긴 시간동안 직면할 수가 없는 도전이다. 우리는 그 폭탄이 언제 터질지 모른다. 비록 우리의 귀에 그것의 똑딱거리는 소리가 들리지만.

물론 우리는 모든 어린 애들을 폭탄 곁으로부터 쫓겨보낼 방법이 없다 — 인공지능 연구에 참여하고있는 크고작은 조직들은 너무나도 많다. 창조적인 인공지능을 제조하는 것이 그렇게 많은 돈을 사용하지 않는다. 그리고 연구개발은 사회상의 그 어떤 구석에서도 발생할 수 있으며 규제를 받지 않는다. 그리고 우리는 그 연구들의 정확한 진척도를 파악할 방법이 없다. 많은 조직들은 경쟁자들이 알까봐 암암리에 연구를 진행하기 때문이다. 일예로 옆집 김아저씨 로봇회사 같은 회사들.

이런 조직들에 있어서 가장 우리 골머리를 앓게 하는것 이들중 다수는 속도를 겨루고 있다는 점이다 — 그들은 하나하나 기존보다 더욱 총명한 약인공지능들을 만들어내고 있다. 왜냐면 그들은 경쟁사보다 더욱 빨리 목표에 도달하고 싶어하기 때문이다. 일부 더욱 야망있는 조직들은 최초의 강인공지능을 창조해냄으로써 얻을 수 있는 금전, 상, 명예, 권력 등 보상때문에 걸음을 더욱 재촉할 것이다. 사람들이 전력 질주를 하고 있을 때 사람들은 마음을 가다듬고 이런 위험성에 대해 생각할 겨를이 별로 없다. 반대로 그들은 최초 시스템을 짤 때 최대한 간단한 코드를 짜려고 할 것이며, 예를 들어서 펜으로 말 한마디를 쓰기, 먼저 시스템을 실행시키는데 성공하고부터 볼려고 할 것이다. 뭐 앞으로 다시 수정하면 되는 것들이니까. 그치 않냐?

Bostrom 이 유추하기를 세계 최초의 초인공지능이 출현한 후에 굉장히 높은 확률로 그는 아마 이 세계의 유일한 초인공지능으로 있는 것이 자기에게 가장 유리한 것이라는 것을 인식할 것이라고 한다. 그리고 빠를 이륙 상황에서 그것이 이등보다 고작 며칠만 앞섰다고 하더라도 그는 그의 모든 경쟁자들을 말살시킬 시간을 충분히 갖게 된다. Bostrom 은 이것을 결정적인 전략적 우세라고 부른다. 이런 우세는 첫 초인공지능으로 하여금 영원히 이 세계를 지배하게 할 것이다 — 그것의 지배하여 우리가 영생으로 향하든 아니면 멸종으로 향하든.

이런 현상은 우리에게 유리할 수도 있고 우리의 멸망을 초래할 수도 있다. 만약 인공지능이론과 인류의 안전을 고심초사하는 사람이 최초로 우호적인 초인공지능을 개발해낸다문 우리에게는 좋은 일이다.

하지만 일이 다른 방향으로 틀어진다면 — 만약 초인공지능이 우리가 어떻게 인공지능의 안전성을 보장할 수 있을 지 알아내기도 전에 개발되여버린다면, 옆집 김아저씨 같은 비우호적인 초인공지능은 세계를 지배할 것이며 우리를 멸종시킬 것이다.

현재 동향에 관련해서는… 간단하게 말해서 인공지능기술 혁신에 투자되는 돈은 인공지능 안전 연구에 투자되는 돈보다 훨씬 많다. 낙관적이지 않다.

인공지능 혁신과 인공지능 안전 사이의 경주는 아마 인류 역사에서 가장 중요한 한차례의 경주로 될 것이다. 우리는 정말로 우리의 지구에 대한 지배를 종말지을 수 있다. 그 뒤로는 우리의 영생인지 멸종인지 우리는 아직 알 수 없다.

---

필자는 지금 이상야릇한 느낌이 든다.

한방면으로는 우리 이 종에 대한 사고이다. 보기에 이 중요한 역사적 단계에 우리에겐 한번의 기회만 주어진 것 같다. 우리가 만든 최초의 초인공지능이 아마 최후의 하나가 될 것이다. 하지만 우리는 대부분 제품의 1.0 버전은 버그투성이라는 것을 잘 알고 있다. 그래서 이 일은 좀 무섭다. 다른 한 방면으로는 Bostrom 이 제기한바와 같이 우리는 아주 큰 우세를 가지고있다 — 우리가 선수이다. 우리는 이 일에 대해 충분한 경고와 선견을 제공함으로 우리가 성공할 확률을 더욱 높일 수가 있다.

이 럭셔리하고 화려한 도박에 건 판돈은 어느 정도일까?

만약 초인공지능이 정말로 21세기에 달성하고 그것이 미치는 영향이 정말로 대부붕의 전문가들이 예측한바와 같이 극단적이며 영구적이라면 우리의 어깨는 정말로 무거운 것이다. 우리 이후로 수백만년의 인간들은 모두 두 눈을 빤히 뜨고 우리를 쳐다보면서 우리가 일을 망치지 않기를 바랄 것이다. 우리는 미래의 모든 인류에게 생명을 줄 수도 있고, 그것도 영생을, 반면에 우리는 인류라는 이 특수한 종을 종결지을 수도 있다. 우리가 만들어낸 모든 음악, 예술, 호기심, 웃음소리, 수없는 발견들과 발명들 등 모든 것들과 같이 파멸의 심연속으로 빨려들어갈 것이다.

필자는 이 일을 생각할 때 우리가 이 일을 좀 천천히 했으면 한다. 그리고 유난히 조심성있게 했으면 한다. 종래로 이것보다 더 중요한 일은 없었다 — 우리가 아무리 많은 시간을 들여야 이 일을 맞게 할수 있어도 말이다.

그리고 난 죽기 싫어.

죽.기.싫.어.

필자는 물론 인류의 음악과 예술이 모두 좋다고 생가하지만 그것들이 그으토록 좋지는 않을 수도 있다고 생각하며 심지어 일부는 꽤 쓰레기라고 생각한다. 많은 사람들의 웃음소리는 심지어 짜증난다. 미래의 인류들도 사실 우리는 지켜보고있지 않을 것이다. 그들은 아직 존재하지 않기 때문에. 아마도 우리는 그토록 신중할 필요가 없을 수도 있다. 얼마나 번거롭냐.

만약 인류는 내가 죽은 다음에야 영생의 비밀을 발견한다면 얼마나 개떡같냐.

하지만 당신이 어떻게 생각했든간에 우리는 최소로 모두 생각은 한번쯤 해봐야 하고 다른 사람과 토론도 해봐야 할 것이며 모든 사람들이 자기의 힘을 보태야 할 것이다.

<왕좌의 게임> 이 생각난다 — 우리끼리 치고 박고 피터지게 싸우는 것, 쯤이야 일도 아니다. 북쪽 성벽넘어에 있는 그 무엇이 다가오고 있다는게 진정한 문제이다. 우리는 편균대 우에 서서 한발한발 조심히 앞으로 나아가고 있으며 평균대 위의 종종 사사건건들로 골머리를 앓지만 사실 우리는 1초 뒤이면 평균대에서 떨어질 수가 있는 상황이다.

우리가 만약 평균대에서 아래로 떨어진다면 기타 모든 고민들은 더이상은 고민도 아니다. 우리가 만약 상대적으로 좋은 그 흡인상태로 떨어진다면 그런 고민들은 자연스럽게 다 해결될 것이고, 만약 상대적으로 나쁜 그 흡인상태로 떨어진다면 더욱더 문제가 없을거다 — 죽은 높은 고민이 없으니까.

이것이 바로 초인공지능을 요해하는 사람들이 그것을 인류의 마지막 발명이자 마지막 도전이라고 하는 원인이다.

그러기에 우리는 이 화제에 진지하게 임하자구.

(끝)

-----

두근두근

[출처] - https://coolspeed.wordpress.com/2016/01/03/the_ai_revolution_1_korean

[우해해해]

와 진짜 소름돋으면서 여러가지 생각해보게 됨... 초인공지능이 우호적이던 무관심하던 그냥 그 폭발적 발전이 언제일지 그 이후에는 인류의 손을 떠난 문제라 생각하면 일견 무력감도 느껴지네ㅠ
좋은 글 가져와줘서 고마워 잘 읽었어!

[평화주의자.]

이 작가는 똑같은 얘기를 여러번 쓰는 습성이 있네.. 같은 얘기 몇 번을 반복하는거여ㅜ
그리고 뭐.. 그렇지.. 초인공지능이 개발되는 것보다 우리 안전장치는 늦는데, 말한 것처럼 개발된 시점에는 늦겠지.
프로그램이니까 효율적으로 죽일 것이라 생각되므로 깔끔하게 죽길 바랄뿐.

[제이스:더!나은!미래를!위해싸운다!]

내 생각엔 다 죽을거같아.... 멸종인가...