어떻게 인간과 공존사는 인공지능을 만들것인가, 스튜어트러셀, 감시, 설득, 통제, 자동화, 슈타지,국가보안부

[일모도원]

어떻게 인간과 공존사는 인공지능을 만들것인가, 스튜어트러셀, 감시, 설득, 통제, 자동화, 슈타지,국가보안부, 보스턴다이내믹스, 인간형 로봇, 아틀라스, 스페이스 오디세이, 버틀러

P. 36~37

따라서 이런저런 AI 기법이 “인간의 뇌처럼 작동한다”라는 기사를 읽을 때면, 그 말이 그저 누군가의 추측이거나 그냥 허구라고 의심해도 괜찮다.

정말로 우리는 의식이라는 영역에 관해서는 아무것도 모르기에, 나도 아무 말도 하지 않으련다. AI 분야에서 누구도 기계에 의식을 부여하려는 연구를 하고 있지 않고, 그 일을 어디에서 시작해야 할지 아는 사람도 전혀 없을 것이고, 그 어떤 행동도 의식을 선행조건으로 삼지 않는다. 접기

P. 65

원초적인 계산 능력에 초점을 맞추다가는 요점을 완전히 놓치게 된다. AI는 속도만으로 출현시킬 수 있는 것이 아니다. 엉성하게 설계된 알고리듬을 더 빠른 컴퓨터에서 돌린다고 해서 알고리듬이 더 나아지는 것이 아니다. 그저 틀린 답에 더 빨리 다다를 뿐이다. (그리고 데이터가 더 많을수록 틀린 답에 다다를 기회도 더 많아진다!) 더 빠른 기계의 주된 효과는 실험에 걸리는 시간을 더 짧게 줄인다는 것, 따라서 연구를 더 빨리 진행할 수 있다는 것이다. AI를 지체시키는 것은 하드웨어가 아니다. 소프트웨어다. 우리는 기계를 진정으로 지적으로 만드는 방법을 아직 알지 못한다. 기계가 우주만큼 크다고 해도 마찬가지다. 접기

P. 80

알파고가 이세돌을 물리치고 그 뒤에 다른 모든 최고의 바둑 국수들을 물리쳤을 때, 많은 이들은 머리가 아주 좋은 사람에게도 매우 어렵다고 알려진 바둑 대국에서 바둑을 전혀 모르는 상태에서 배우기 시작한 기계가 인류를 이겼으므로, 그것이 종말의 시작을 의미한다고 가정했다. 즉, AI가 인간을 정복하는 것은 시간문제일 뿐이라는 의미였다. 알파제로가 바둑뿐 아니라 체스와 장기에서도 이겼을 때, 일부 회의주의자들까지도 그런 견해를 믿는 쪽으로 돌아섰을지도 모르겠다. 그러나 알파제로는 뚜렷한 한계를 지니고 있다. 불연속적이고 관찰 가능하고 규칙이 알려진 2인용 게임이라는 유형에서만 작동한다는 것이다. 이 접근법은 운전, 교육, 정부 운영, 세계 정복에는 전혀 먹히지 않을 것이다. 접기

P. 97

그리고 구글이 불행하게도 고릴라 문제에 직면한 것이 바로 그 때문이다. 2015년 재키 알시네라는 소프트웨어 공학자는 구글 포토의 사진 분류 서비스가 자신과 친구들을 고릴라로 분류했다면서 트위터에 불만을 털어놓았다. 이 오류가 정확히 어떻게 일어난 것인지는 불분명하지만, 구글의 기계 학습 알고리듬이 값을 명확히 지정해놓은 손실 함수를 최소화하도록 설계되었던 것이 거의 확실하다. 게다가 모든 오류에 동일한 비용을 할당했을 것이다. 다시 말해, 사람을 고릴라로 잘못 분류했을 때의 비용이 노퍽테리어를 노리치테리어로 잘못 분류했을 때의 비용과 같다고 가정했을 것이다. 그 뒤에 일어난 여론 악화가 잘 보여주었듯이, 구글(또는 그 이용자들)의 진정한 손실 함수는 그렇지가 않았다. 접기

P. 101

AI 연구자가 볼 때, 진짜 돌파구는 딥블루가 대중의 의식에 불쑥 들어오기 30-40년 전에 이미 일어났다. 마찬가지로, 심층 합성곱망도 언론의 표제를 장식하기 20여 년 전에 이미 나와 있었고, 수학적으로도 다 규명된 상태였다. 대중이 언론을 통해 접하는 AI 돌파구가 열리는 광경(인간을 상대로 얻은 압도적인 승리, 사우디아라비아 시민권을 획득한 로봇 등등)은 세계의 연구실에서 실제로 일어나는 일과 거의 아무런 관계가 없다. 연구실에서의 연구는 화이트보드에 수학 공식을 쓰면서 많이 생각하고 토의하는 과정을 수반한다. 끊임없이 새로운 착상이 나오고 버려지고 재발견되곤 한다. 좋은 착상(진정한 돌파구)이 그 당시에는 알아차리지 못한 채 그냥 넘어갔다가 나중에야 AI에 상당한 발전을 이룰 토대를 제공했다는 것을 사람들이 깨닫기도 한다. 더 적절한 시기에 누군가가 재발견함으로써 그런 일이 일어나기도 한다. 접기

P. 115

촉각 감지와 손 구성 문제는 3D 프린팅을 통해 해결될 가능성이 커 보인다. 이미 보스턴다이내믹스는 인간형 로봇인 아틀라스의 몇몇 복잡한 부품에 이 기술을 쓰고 있다. 로봇 제작 기술은 어느 정도는 심층 강화 학습 덕분에 빠르게 발전하고 있다. 최종 단계의 발전(이 모든 것을 하나로 모아서 영화 속 로봇의 경이로운 신체 능력에 가까워 보이기 시작하는 무언가를 만드는 것)은 그다지 낭만적이지 않은 창고 산업에서 나올 가능성이 크다. 아마존만 해도 거대한 창고의 통에서 상품을 꺼내 포장하여 고객에게 발송하는 일을 하는 직원이 수십만 명에 달한다. 2015년부터 2017년까지, 아마존은 이 일을 할 수 있는 로봇 개발을 촉진하기 위해 해마다 ‘피킹 챌린지’를 개최했다. 아직 갈 길이 멀긴 하지만, 핵심 연구 문제가 해결될 때(아마 10년 이내에) 고도의 능력을 지닌 로봇이 아주 빠르게 출현할 것으로 예상할 수 있다. 접기

P. 136~137

우리가 원하는 것은 일어서기가 무엇임을 스스로 발견하는 로봇이다. 즉, 유용한 추상적 행동임을, 걷거나 달리거나 악수를 하거나 벽 너머를 보기 위한 전제 조건(일어섬으로써)을 달성하는 것이자, 그리하여 온갖 목표를 위한 많은 추상적 계획의 한 부분을 이루는 것임을 발견하는 로봇이다. 마찬가지로, 우리는 로봇이 이곳에서 저곳으로 이동하고, 물건을 집고, 문을 열고, 매듭을 짓고, 요리하고, 내 열쇠를 찾아내고, 집을 짓는 것 같은 행동뿐 아니라, 우리 인간이 아직 찾아내지 못했기에 그 어떤 인간의 언어로도 이름이 붙여지지 않은 다른 많은 행동도 발견하기를 원한다. 나는 이 능력이 인간 수준의 AI에 이르는 데 필요한 가장 중요한 단계라고 본다. 접기

P. 200~201

AI 연구를 종식시키자고 주장하는 사람은 아주 설득력 있게 그런 주장을 펼쳐야 할 것이다. AI 연구를 종식시킨다는 것은 인간의 지능이 어떻게 작동하는지를 이해할 주요 통로 중 하나뿐 아니라, 인간 조건을 개선할, 즉 훨씬 더 나은 문명을 만들 황금 같은 기회마저 내버린다는 의미가 될 것이기 때문이다. 인간 수준 AI의 경제적 가치는 수천조 달러에 달하므로, 기업과 정부의 AI 연구를 추진하는 힘은 엄청날 가능성이 크다. 그 힘은 버틀러의 표현을 빌리자면, “전문 지식으로 쌓은 명성”이 아무리 크든 간에, 철학자의 모호한 반대를 압도할 것이다. 접기

P. 208~209

그 목적이 인간의 선호와 충돌을 빚는다면, 우리는 영화 <2001: 스페이스 오디세이>의 줄거리와 똑같은 상황에 처한다. 영화에서 컴퓨터인 ‘할 9000’은 자기 임무를 방해하는 것을 막기 위해서 우주선에 탄 승무원 다섯 명 중 네 명을 살해한다. ... 아이작 아시모프의 로봇 3원칙 중 “로봇은 자기 자신을 보호해야 한다”로 시작하는 세 번째 원칙은 사실 아예 필요가 없다. 자기 보존은 도구적 목표이므로 탑재할 필요가 전혀 없다. 도구적 목표란 거의 모든 원래의 목적을 달성하는 데 유용한 하위 목표를 말한다. 명확한 목적을 지닌 존재라면 자동적으로 도구적 목표도 지닌 양 행동할 것이다. 접기

P. 216

독자는 현재 탁월한 사상가들이 이 심사숙고를 이미 하고 있으리라고 생각할지 모르겠다. 진지한 논쟁을 하고, 위험과 혜택을 헤아리고, 해결책을 추구하고, 해결책의 허점을 살펴보는 등의 일을 하고 있을 것이라고 말이다. 그러나 내가 아는 한, 아직 그렇지 않다.

첫문장	오래전 내 부모님은 영국 버밍엄대학교 근처에 사셨다.

https://youtu.be/Viw9PYyKb6g