어떻게 인간과 공존하는 인공지능을 만들것인가, 알파고, 바둑판, Human Compatible

[일모도원]

목차

들어가는 말
왜 이 책일까? 왜 지금일까?
이 책의 개요

1. 우리가 성공한다면
우리는 어떻게 여기까지 왔을까?
다음은 어떻게 될까?
무엇이 잘못되었을까?
바로잡을 수 있을까?

2. 인간과 기계의 지능
지능
컴퓨터
지적인 컴퓨터

3. 앞으로 AI는 어떻게 발전할까?
가까운 미래
초지능 AI는 언제 출현할까?
다가올 개념적 돌파구
초지능 기계를 상상하다
초지능의 한계
AI는 인류에게 어떻게 혜택을 줄까?

4. AI의 오용
감시, 설득, 통제
치명적인 자율 무기
우리가 아는 방식의 일 없애기
빼앗길 다른 역할들

5. 지나치게 지적인 AI
고릴라 문제
미다스 왕 문제
두려움과 탐욕: 도구적 목표
지능 폭발

6. 그저 그런 AI 논쟁
부정
비껴가기
부족주의
그냥…
논쟁의 재개

7. AI: 다른 접근법
이로운 기계의 원칙들
낙관론의 근거
신중해야 할 이유

8. 증명 가능하게 이로운 AI
수학적 보증
행동으로부터 선호 배우기
돕기 게임
요구와 명령
와이어헤딩
순환적 자기 개선

9. 상황을 복잡하게 만드는 요인: 우리들
다양한 사람들
많은 사람들
멋지고, 추하고, 질투하는 인간
어리석으면서 감정적인 인간
사람은 정말로 선호를 지닐까?

10. 해결된 문제는?
이로운 기계
AI 제어
오용
나약화와 인간의 자율성

부록 A 해결책 탐색
부록 B 지식과 논리
부록 C 불확실성과 확률
부록 D 경험을 통한 학습

감사의 말
주
사진 저작권
옮기고 나서
찾아보기따라서 이런저런 AI 기법이 “인간의 뇌처럼 작동한다”라는 기사를 읽을 때면, 그 말이 그저 누군가의 추측이거나 그냥 허구라고 의심해도 괜찮다.
정말로 우리는 의식이라는 영역에 관해서는 아무것도 모르기에, 나도 아무 말도 하지 않으련다. AI 분야에서 누구도 기계에 의식을 부여하려는 연구를 하고 있지 않고, 그 일을 어디에서 시작해야 할지 아는 사람도 전혀 없을 것이고, 그 어떤 행동도 의식을 선행조건으로 삼지 않는다.
--- pp.36-37

원초적인 계산 능력에 초점을 맞추다가는 요점을 완전히 놓치게 된다. AI는 속도만으로 출현시킬 수 있는 것이 아니다. 엉성하게 설계된 알고리듬을 더 빠른 컴퓨터에서 돌린다고 해서 알고리듬이 더 나아지는 것이 아니다. 그저 틀린 답에 더 빨리 다다를 뿐이다. (그리고 데이터가 더 많을수록 틀린 답에 다다를 기회도 더 많아진다!) 더 빠른 기계의 주된 효과는 실험에 걸리는 시간을 더 짧게 줄인다는 것, 따라서 연구를 더 빨리 진행할 수 있다는 것이다. AI를 지체시키는 것은 하드웨어가 아니다. 소프트웨어다. 우리는 기계를 진정으로 지적으로 만드는 방법을 아직 알지 못한다. 기계가 우주만큼 크다고 해도 마찬가지다.
--- p.65

알파고가 이세돌을 물리치고 그 뒤에 다른 모든 최고의 바둑 국수들을 물리쳤을 때, 많은 이들은 머리가 아주 좋은 사람에게도 매우 어렵다고 알려진 바둑 대국에서 바둑을 전혀 모르는 상태에서 배우기 시작한 기계가 인류를 이겼으므로, 그것이 종말의 시작을 의미한다고 가정했다. 즉, AI가 인간을 정복하는 것은 시간문제일 뿐이라는 의미였다. 알파제로가 바둑뿐 아니라 체스와 장기에서도 이겼을 때, 일부 회의주의자들까지도 그런 견해를 믿는 쪽으로 돌아섰을지도 모르겠다. 그러나 알파제로는 뚜렷한 한계를 지니고 있다. 불연속적이고 관찰 가능하고 규칙이 알려진 2인용 게임이라는 유형에서만 작동한다는 것이다. 이 접근법은 운전, 교육, 정부 운영, 세계 정복에는 전혀 먹히지 않을 것이다.
--- p.80

그리고 구글이 불행하게도 고릴라 문제에 직면한 것이 바로 그 때문이다. 2015년 재키 알시네라는 소프트웨어 공학자는 구글 포토의 사진 분류 서비스가 자신과 친구들을 고릴라로 분류했다면서 트위터에 불만을 털어놓았다. 이 오류가 정확히 어떻게 일어난 것인지는 불분명하지만, 구글의 기계 학습 알고리듬이 값을 명확히 지정해놓은 손실 함수를 최소화하도록 설계되었던 것이 거의 확실하다. 게다가 모든 오류에 동일한 비용을 할당했을 것이다. 다시 말해, 사람을 고릴라로 잘못 분류했을 때의 비용이 노퍽테리어를 노리치테리어로 잘못 분류했을 때의 비용과 같다고 가정했을 것이다. 그 뒤에 일어난 여론 악화가 잘 보여주었듯이, 구글(또는 그 이용자들)의 진정한 손실 함수는 그렇지가 않았다.
--- p.97

AI 연구자가 볼 때, 진짜 돌파구는 딥블루가 대중의 의식에 불쑥 들어오기 30-40년 전에 이미 일어났다. 마찬가지로, 심층 합성곱망도 언론의 표제를 장식하기 20여 년 전에 이미 나와 있었고, 수학적으로도 다 규명된 상태였다. 대중이 언론을 통해 접하는 AI 돌파구가 열리는 광경(인간을 상대로 얻은 압도적인 승리, 사우디아라비아 시민권을 획득한 로봇 등등)은 세계의 연구실에서 실제로 일어나는 일과 거의 아무런 관계가 없다. 연구실에서의 연구는 화이트보드에 수학 공식을 쓰면서 많이 생각하고 토의하는 과정을 수반한다. 끊임없이 새로운 착상이 나오고 버려지고 재발견되곤 한다. 좋은 착상(진정한 돌파구)이 그 당시에는 알아차리지 못한 채 그냥 넘어갔다가 나중에야 AI에 상당한 발전을 이룰 토대를 제공했다는 것을 사람들이 깨닫기도 한다. 더 적절한 시기에 누군가가 재발견함으로써 그런 일이 일어나기도 한다.
--- p.101
https://youtu.be/bIkizF-vbhw
촉각 감지와 손 구성 문제는 3D 프린팅을 통해 해결될 가능성이 커 보인다. 이미 보스턴다이내믹스는 인간형 로봇인 아틀라스의 몇몇 복잡한 부품에 이 기술을 쓰고 있다. 로봇 제작 기술은 어느 정도는 심층 강화 학습 덕분에 빠르게 발전하고 있다. 최종 단계의 발전(이 모든 것을 하나로 모아서 영화 속 로봇의 경이로운 신체 능력에 가까워 보이기 시작하는 무언가를 만드는 것)은 그다지 낭만적이지 않은 창고 산업에서 나올 가능성이 크다. 아마존만 해도 거대한 창고의 통에서 상품을 꺼내 포장하여 고객에게 발송하는 일을 하는 직원이 수십만 명에 달한다. 2015년부터 2017년까지, 아마존은 이 일을 할 수 있는 로봇 개발을 촉진하기 위해 해마다 ‘피킹 챌린지’를 개최했다. 아직 갈 길이 멀긴 하지만, 핵심 연구 문제가 해결될 때(아마 10년 이내에) 고도의 능력을 지닌 로봇이 아주 빠르게 출현할 것으로 예상할 수 있다.
--- p.115

우리가 원하는 것은 일어서기가 무엇임을 스스로 발견하는 로봇이다. 즉, 유용한 추상적 행동임을, 걷거나 달리거나 악수를 하거나 벽 너머를 보기 위한 전제 조건(일어섬으로써)을 달성하는 것이자, 그리하여 온갖 목표를 위한 많은 추상적 계획의 한 부분을 이루는 것임을 발견하는 로봇이다. 마찬가지로, 우리는 로봇이 이곳에서 저곳으로 이동하고, 물건을 집고, 문을 열고, 매듭을 짓고, 요리하고, 내 열쇠를 찾아내고, 집을 짓는 것 같은 행동뿐 아니라, 우리 인간이 아직 찾아내지 못했기에 그 어떤 인간의 언어로도 이름이 붙여지지 않은 다른 많은 행동도 발견하기를 원한다. 나는 이 능력이 인간 수준의 AI에 이르는 데 필요한 가장 중요한 단계라고 본다.
--- pp.136-137

AI 연구를 종식시키자고 주장하는 사람은 아주 설득력 있게 그런 주장을 펼쳐야 할 것이다. AI 연구를 종식시킨다는 것은 인간의 지능이 어떻게 작동하는지를 이해할 주요 통로 중 하나뿐 아니라, 인간 조건을 개선할, 즉 훨씬 더 나은 문명을 만들 황금 같은 기회마저 내버린다는 의미가 될 것이기 때문이다. 인간 수준 AI의 경제적 가치는 수천조 달러에 달하므로, 기업과 정부의 AI 연구를 추진하는 힘은 엄청날 가능성이 크다. 그 힘은 버틀러의 표현을 빌리자면, “전문 지식으로 쌓은 명성”이 아무리 크든 간에, 철학자의 모호한 반대를 압도할 것이다.
--- pp.200-201

그 목적이 인간의 선호와 충돌을 빚는다면, 우리는 영화 〈2001: 스페이스 오디세이〉의 줄거리와 똑같은 상황에 처한다. 영화에서 컴퓨터인 ‘할 9000’은 자기 임무를 방해하는 것을 막기 위해서 우주선에 탄 승무원 다섯 명 중 네 명을 살해한다. ... 아이작 아시모프의 로봇 3원칙 중 “로봇은 자기 자신을 보호해야 한다”로 시작하는 세 번째 원칙은 사실 아예 필요가 없다. 자기 보존은 도구적 목표이므로 탑재할 필요가 전혀 없다. 도구적 목표란 거의 모든 원래의 목적을 달성하는 데 유용한 하위 목표를 말한다. 명확한 목적을 지닌 존재라면 자동적으로 도구적 목표도 지닌 양 행동할 것이다.
--- pp.208-209

독자는 현재 탁월한 사상가들이 이 심사숙고를 이미 하고 있으리라고 생각할지 모르겠다. 진지한 논쟁을 하고, 위험과 혜택을 헤아리고, 해결책을 추구하고, 해결책의 허점을 살펴보는 등의 일을 하고 있을 것이라고 말이다. 그러나 내가 아는 한, 아직 그렇지 않다.
--- p.216

기술을 찬성하는 쪽은 위험을 부정하고 숨기며, 위험을 말하면 러디즘이라고 비난한다. 반대하는 쪽은 위험이 극복 불가능하고 문제가 해결 불가능하다고 확신한다. 기술 찬성 부족에서 문제를 너무나 정직하게 대하는 사람은 배신자라는 낙인이 찍힌다. 대개 그 문제를 해결할 능력을 갖춘 이들이 대부분 기술 찬성 부족에 속해 있다는 점을 생각하면 매우 안타까운 일이다. 기술 반대 부족에서 완화의 가능성을 이야기하는 사람도 배신자다. 그 부족은 기술의 가능한 효과를 따지는 것이 아니라, 기술 자체를 악이라고 보기 때문이다. 이런 식이 되면, 각 부족에서 가장 극단적인(상대방의 목소리에 가장 귀를 기울이지 않을) 사람들만 목소리를 낼 수 있다.
--- pp.235-236

도구적 목표를 논의할 때 이미 살펴보았듯이, 자기 보존, 자원 습득, 지식 발견, 또는 극단적으로 세계 정복 같은 ‘감정’이나 ‘욕망’을 AI에 주입할지 말지는 중요하지 않다. 기계는 어쨌든 그런 감정을 지니게 될 것이다. 우리가 주입한 목적의 하위 목표로서, 성별에 상관없이 그럴 것이다. 기계 입장에서 죽음은 그 자체로 나쁜 것이 아니다. 그럼에도 죽음은 피해야 한다. 죽으면 커피를 가져다주기 어렵기 때문이다.
--- p.244

AI에 관한 세계 정책의 발전에 AI 연구자가 미칠 수 있는 영향은 한정되어 있다. 우리는 경제적 사회적 혜택을 제공할 가능한 응용 방안을 제시할 수 있다. 또, 감시와 무기 같은 가능한 오용 사례를 경고할 수 있다. 가능성 있는 향후 발달 경로와 그 영향도 알려줄 수 있다. 아마 우리가 할 수 있는 가장 중요한 일은 가능한 한, 인간을 위해서 증명 가능하게 안전하면서 이로운 AI 시스템을 설계하는 것이 아닐까? 그런 뒤에야 AI에 관한 일반적인 규제를 시도하는 것이 의미가 있을 것이다.
--- p.268

저명한 인지과학자 스티븐 핑커는 앳킨스보다 더 낙관적인 주장을 펼친다. 그는 “고도 사회의 안전 문화”가 AI의 모든 심각한 위험을 제거할 것이라고 본다. 따라서 그런 위험에 주의를 기울이는 것은 부적절하고 역효과를 낸다는 것이다. 설령 우리의 고도 안전 문화가 체르노빌, 후쿠시마, 마구 치닫고 있는 지구 온난화로 이어졌다는 사실을 무시한다고 해도, 스티븐 핑커의 주장은 요점을 완전히 놓치고 있다. 안전 문화는 가능한 실패의 양상을 지적하고 그런 일이 일어나지 않게 할 방법을 찾으려는 사람들이 있기 때문에 나온다. (그리고 AI 분야에서는 표준 모델이 바로 그 실패 양상이다.) 어차피 안전 문화가 바로잡을 것이므로 실패 양상을 지적하는 것이 어리석다고 말하는 것은 뺑소니 사고를 보았을 때 누군가 구급차를 부를 테니, 구급차를 부를 필요가 없다는 말과 같다.
--- p.314

그래서 나는 이로운 기계가 이런 기계라고 제시한다. 우리의 목적을 달성할 것으로 예상할 수 있는 행동을 하는 기계. 이런 목적은 우리에게 있고, 기계에 있는 것이 아니므로, 기계는 우리가 어떤 선택을 하고 어떻게 선택하는지 관찰함으로써 우리가 진정으로 원하는 것이 무엇인지 더 많이 배울 필요가 있을 것이다. 이런 식으로 설계된 기계는 인간을 따를 것이다. 허락을 얻을 것이다. 지침이 불분명할 때면 신중하게 행동할 것이다. 자신을 끄도록 허용할 것이다.
--- p.361

이런 온갖 활동이 이루어지고 있으니, 통제 쪽으로 실질적인 진전이 이루어지리라고 전망할 수 있을까? 아마 놀랍겠지만, 답은 “그렇다”이다. 적어도 사소한 측면을 보면 그렇다. 전 세계 많은 정부는 규제 수단을 개발하는 과정을 돕는 자문 기구를 갖추고 있다. 그중에 유럽연합의 인공지능고위전문가집단(AI HLEG)이 아마 가장 유명할 것이다. 사용자 사생활 보호, 데이터 교환, 인종편향 회피 같은 현안을 위한 동의, 규정, 표준도 출현하고 있다. 정부와 기업은 자율주행차를 위한 규칙을 마련하기 위해 열심히 애쓰고 있다. 필연적으로 국경을 초월하는 요소를 지니게 될 규칙들이다. AI 시스템을 신뢰할 수 있으려면 AI의 의사 결정이 설명 가능해야 한다는 데 합의가 이루어져 있고, 그 합의는 이미 유럽연합의 GDPR 법을 통해 일부 시행되고 있다. 캘리포니아에서는 AI 시스템이 특정한 상황에서는 인간을 대신하지 못하게 막는 새로운 법이 제정되었다. 설명 가능성과 의인화라는 이 두 항목은 AI 안전성과 통제라는 현안과 분명히 어느 정도 관련이 있다.
현재, AI 시스템의 통제권을 유지하는 문제를 고민하는 정부나 다른 기관에 제시할 수 있는 실행 가능한 권고안 같은 것은 전혀 없다. “AI 시스템은 안전하고 제어 가능해야 한다” 같은 법률 조항은 아무런 무게도 지니지 않을 것이다. 이런 용어들은 아직 정확한 의미를 지니고 있지 않을뿐더러, 안전성과 통제 가능성을 확보할 널리 알려진 공학적 방법론도 아직 없기 때문이다.