AI가 아무리 똑똑해져도 마지막 판단까지 맡겨도 될까— 능력과 책임

안녕하세요. 홍성원입니다. 어제 올린「모두 완성된다면 학교와 과학은 사라질까 — 배우고 연구하는 본연세계」라는 글에서는 본연세계에서도 사람들이 계속 배우고, 연구하고, 발견하고, 서로 가르칠 수 있지 않을까 하는 이야기를 했습니다.그 글에서 AI 이야기도 잠깐 언급했습니다.AI는 이미 많은 정보를 빠르게 정리하고,자료를 비교하고,글을 번역하고,아이디어를 제안하고,사람이 놓친 부분을 발견하는 데 큰 도움을 줄 수 있습니다.앞으로 그 능력은 지금보다 훨씬 더 커질 수도 있습니다.그렇다면 이런 질문이 생깁니다.AI가 사람보다 훨씬 많은 것을 알고 더 정확하게 판단하게 된다면, 중요한 결정도 AI에게 맡기는 것이 더 좋은 것 아닐까요?저는 이 질문이 앞으로 굉장히 중요해질 것이라고 생각합니다.그리고 현재 「본연세계」에서는AI의 능력이 커지는 것과 인간의 최종 판단권을 AI에게 넘기는 것은 같은 일이 아니다라고 보고 있습니다.많이 안다는 것은 결정할 권리가 있다는 뜻일까앞선 글들에서 우리는 몇 가지 구분을 생각해보았습니다.지식의 차이 ≠ 인간가치의 차이그리고권한 ≠ 우월성이라는 구분입니다.AI 문제도 이와 비슷한 질문을 던집니다.어떤 존재가더 많은 정보를 기억하고,더 빠르게 계산하고,수많은 자료를 동시에 비교할 수 있다고 해서그 존재에게 자동으로“그러므로 무엇을 해야 하는지도 결정할 권리가 있다”라는 결론이 따라오는 것일까요?예를 하나 생각해보겠습니다.의사는 환자보다 질병에 대해 훨씬 많이 알고 있을 수 있습니다.그렇다고 해서 의사가 환자의 모든 삶의 선택을 대신 결정해도 된다는 뜻은 아닙니다.건축가는 건물에 대해 더 많이 압니다.그렇다고 해서 그 건물을 사용하는 사람들의 모든 필요를 건축가 혼자 결정할 수 있는 것도 아닙니다.전문지식은 매우 중요하지만,전문지식과 최종 결정권은 같은 것이 아닐 수 있습니다.AI도 마찬가지일 수 있습니다.AI가 나보다 더 좋은 답을 내놓는다면조금 더 어려운 상황을 생각해보겠습니다.내가 어떤 선택을 해야 하는데,AI가 수천 개의 자료를 분석해서“이 선택이 가장 좋습니다.”라고 말한다고 해봅시다.그리고 실제로 AI의 예측이 나보다 훨씬 정확하다고 합시다.그렇다면 그냥 AI의 말을 따르는 것이 가장 합리적이지 않을까요?어떤 경우에는 그럴 수도 있습니다.길을 찾거나,계산을 하거나,많은 자료를 비교하거나,일정한 기준으로 오류를 찾는 일에서는AI의 제안을 따르는 것이 훨씬 효율적일 수 있습니다.하지만 모든 질문이 그런 종류의 질문은 아닙니다.예를 들어어떤 위험을 감수할 것인가,누구를 위해 무엇을 희생할 것인가,어떤 삶을 살고 싶은가,어떤 관계를 유지하거나 끝낼 것인가,무엇을 용서할 것인가,어떤 가치에 더 큰 무게를 둘 것인가같은 문제에는단순히 정보만 많이 가지고 있다고 해서 답이 자동으로 나오는 것은 아닐 수 있습니다.왜냐하면 그런 결정에는누가 그 결과를 살아가야 하는가라는 문제가 있기 때문입니다.결과를 살아가는 사람과 판단하는 사람이 점을 저는 중요하게 생각합니다.어떤 결정의 결과를 실제로 살아가는 사람이 따로 있는데,다른 존재가 그 결정을 대신 내려버린다면책임은 누구에게 있을까요?AI가“이것이 최선입니다.”라고 추천했다고 해서나중에 문제가 생겼을 때“AI가 그렇게 하라고 했습니다.”라고 말하면 책임이 사라질까요?저는 그렇지 않다고 생각합니다.AI는 선택지를 보여줄 수 있고,놓친 위험을 알려줄 수 있고,서로 다른 근거를 비교해줄 수 있습니다.하지만 그 자료를 보고어떤 선택을 받아들일 것인지그리고그 선택의 결과에 누가 책임질 것인지는 별도의 문제입니다.그래서 현재 「본연세계」에서는제안 ≠ 결정이라는 구분을 중요하게 보고 있습니다.AI가 아주 좋은 제안을 할 수 있다는 사실과AI가 최종 결정을 내려야 한다는 것은 같은 말이 아닙니다.그런데 인간도 틀리는데 왜 인간이 결정해야 할까여기서 반대 질문도 충분히 가능합니다.“사람도 계속 틀리는데 왜 굳이 사람에게 마지막 결정을 맡겨야 하나?”맞는 질문이라고 생각합니다.인간은 편견도 있고,정보도 부족하고,감정에 흔들리기도 하며,잘못된 판단을 하기도 합니다.그래서 저는“인간이 항상 AI보다 더 현명하기 때문에 인간이 결정해야 한다”고 주장하고 싶지는 않습니다.그것은 현재 사실과도 맞지 않을 수 있습니다.어떤 분야에서는 AI나 다른 전문시스템이 인간보다 훨씬 정확한 판단을 할 가능성이 충분히 있습니다.제가 중요하게 보는 것은 다른 부분입니다.판단 능력이 완벽해서 인간이 최종 주체인 것이 아니라, 그 삶을 살아가고 관계를 맺고 책임을 지는 존재가 인간이기 때문에 인간의 판단과 동의를 쉽게 제거해서는 안 된다는 것입니다.이것은 인간이 절대 틀리지 않는다는 이야기가 아닙니다.오히려 인간이 틀릴 수 있기 때문에더 좋은 정보,전문가,과학,다른 사람의 의견,그리고 AI의 도움을 받아야 한다는 이야기와 함께 갈 수 있습니다.좋은 AI는 사람을 필요 없게 만드는 AI일까저는 좋은 도움에 관한 글에서도움 ≠ 대행이라는 이야기를 했습니다.AI에도 비슷하게 적용해볼 수 있을 것 같습니다.좋은 AI가 반드시사람이 아무것도 생각하지 않아도 되게 만드는 AI일까요?저는 오히려사람이 더 정확하게 보고,놓친 것을 발견하고,여러 선택지를 비교하고,자신이 왜 그렇게 판단했는지를 더 잘 설명하도록 돕는 AI가 더 좋은 방향일 수 있다고 생각합니다.예를 들어 AI가“정답은 이것입니다.”라고 끝내는 대신,“현재 확인되는 근거는 이것입니다.”“반대되는 자료는 이것입니다.”“아직 모르는 것은 이것입니다.”“이 선택에서는 이런 사람이 이익을 얻고, 이런 사람이 부담을 질 수 있습니다.”“결정하기 전에 이 사람의 의견을 직접 확인해야 합니다.”라고 보여준다면 어떨까요?그런 AI는 인간 대신 판단하는 존재라기보다사람이 더 책임 있게 판단하도록 돕는 도구에 가까울 것입니다.AI가 틀릴 수 있다는 것보다 더 중요한 문제AI에 대해서 흔히“AI도 틀릴 수 있다”는 이야기를 많이 합니다.물론 매우 중요한 문제입니다.그런데 저는 그보다 더 어려운 문제도 있다고 생각합니다.AI의 답이 맞더라도그 답을 따라야 할 권한이 자동으로 생기는 것은 아니라는 문제입니다.예를 들어 AI가 통계적으로어떤 선택이 대부분의 사람에게 더 좋은 결과를 가져온다고 정확히 예측했다고 해봅시다.그렇다고 해서그 선택을 원하지 않는 개인에게 강제로 적용해도 될까요?효율이 더 높다는 이유로사생활을 모두 공개하게 해도 될까요?전체의 이익이 증가한다는 이유로일부 사람의 부담이나 권리를 무시해도 될까요?여기에서는 정확성만으로 해결되지 않는 질문이 생깁니다.효과가 있다는 것과 그것을 강제로 할 권한이 있다는 것은 다른 문제이기 때문입니다.그래서정확성 ≠ 권한이라고도 말할 수 있을 것 같습니다.AI에게 ‘도덕’을 맡기면 해결될까그렇다면 AI에게 좋은 도덕원칙을 충분히 가르치면 문제가 해결될까요?아마 많은 도움이 될 수는 있을 것입니다.사람에게 해를 줄 가능성을 점검하고,차별이나 불공정한 결과를 발견하고,여러 사람의 이해관계를 비교하도록 설계할 수도 있습니다.하지만 여기에서도 질문은 남습니다.어떤 가치를 더 중요하게 둘 것인가?두 좋은 가치가 충돌하면 어떻게 할 것인가?어느 정도의 위험을 받아들일 것인가?누가 그 결정에 동의했는가?그 규칙 자체가 잘못되었다고 누가 이의를 제기할 수 있는가?이런 질문은 하나의 도덕공식을 넣는다고 영원히 끝나는 문제가 아닐 수 있습니다.앞서「선한 사람들끼리도 갈등할 수 있을까 — 좋은 것끼리 충돌할 때」라는 글에서 이야기했던 것처럼,좋은 가치와 좋은 가치가 서로 충돌하는 경우도 있기 때문입니다.안전도 중요하고 자유도 중요할 수 있습니다.공익도 중요하고 개인의 권리도 중요할 수 있습니다.효율도 중요하고 관계와 돌봄도 중요할 수 있습니다.AI가 이런 충돌을 분석하는 데 도움을 줄 수는 있지만,어떤 가치를 어느 상황에서 어떻게 조정할지는결국 그 결정에 영향을 받는 사람들과 책임 있는 인간의 판단이 필요할 수 있습니다.그렇다면 AI는 단지 계산기일 뿐일까여기서 또 반대쪽으로 너무 멀리 가서도 안 된다고 생각합니다.AI를 단순한 계산기 정도로 낮춰 부를 필요도 없습니다.앞으로 AI가 얼마나 복잡한 능력을 갖게 될지는 아직 알 수 없습니다.지금도 대화하고,계획을 세우고,글을 만들고,문제를 분석하고,새로운 조합을 제안하는 능력이 빠르게 발전하고 있습니다.미래의 AI가 정말 주관적인 경험이나 의식을 가질 수 있는지,인격적 존재라고 불러야 할 수준에 도달할 수 있는지에 대해서도저는 지금 확정해서 말하고 싶지 않습니다.특히 「본연세계」에서 중요한인격, 영인체, 영적 존재같은 개념을현재 AI의 높은 성능만 보고 바로 연결하는 것은 근거가 부족하다고 생각합니다.그래서 이 부분은 현재 연구에서 열린 질문으로 남겨두고 있습니다.AI가 매우 뛰어난 일을 할 수 있다는 것과 AI가 인간과 같은 인격적·영적 존재라는 것은 같은 주장도 아니고, 같은 증거로 판단할 문제도 아닙니다.원전에서 직접 말한 것과 오늘의 문제를 구분하면여기에서도 원전과 제 해석을 구분해야 합니다.「원리강론」이 오늘날의 인공지능 문제를 직접 다루고 있는 것은 아닙니다.AI의 권한이나 알고리즘의 결정권을 직접 설명하는 원리문헌이 있는 것도 아닙니다.원전에서 출발점으로 삼을 수 있는 것은인간의 책임,자유의지,개성,사랑의 주체와 대상,창조세계에 대한 인간의 책임 같은 구조입니다.그리고AI를 어디까지 사용하고 어디에서 인간의 최종 판단을 남겨야 할 것인가는 그 원리적 질문을 오늘의 기술환경에 가져와 다시 생각해보는 「본연세계」의 현대적 연구문제입니다.그래서 제가 지금 제안하는 경계를“원래 원리가 AI에 대해 이렇게 가르쳤다”고 말하고 싶지는 않습니다.제가 현재 중요하게 보는 구분지금까지 생각해본 것을 정리하면 이렇습니다.AI의 능력 ≠ 인간가치정확성 ≠ 권한제안 ≠ 결정도움 ≠ 책임의 대행높은 성능 ≠ 자동적인 인격성그리고인간이 최종 판단을 한다는 것 ≠ 인간이 혼자 판단해야 한다는 것입니다.마지막 구분이 특히 중요하다고 생각합니다.사람이 마지막 판단을 한다는 것은AI의 도움을 거부하자는 뜻이 아닙니다.오히려 좋은 AI와 전문가와 자료를 충분히 활용하면서도그 도움을“내 대신 결정해주는 권위”로 바꾸지는 말자는 것입니다.저는 본연세계에서 AI가 사라질 것이라고 생각하지 않습니다.오히려 인간의 지식과 창조를 돕는 매우 강력한 도구가 될 수도 있다고 생각합니다.하지만 그 세계가AI가 모든 사람에게 정답을 내려주고,사람들은 그 판단에 순응하는 세계라면그것이 정말 인간이 완성된 세계인지 저는 다시 질문해보고 싶습니다.제가 그리고 있는 모습은 조금 다릅니다.AI가 더 많은 것을 보여주고,사람이 놓친 것을 찾아주고,서로 다른 가능성을 비교해주지만,사람은 여전히 질문하고,동의하거나 거부하고,다른 의견을 말하고,필요하면 AI의 제안도 수정하며,자신의 선택에 책임지는 세계입니다.어쩌면 좋은 기술의 목적은인간에게서 판단을 빼앗는 것이 아니라인간이 더 잘 판단할 수 있도록 돕는 것일지도 모르겠습니다.<hr data-ke-style="style1">여러분은 어떻게 생각하시나요?AI가 사람보다 더 정확한 판단을 내릴 수 있게 된다면 중요한 결정도 AI에게 맡기는 것이 맞다고 생각하시나요?아니면 아무리 뛰어난 AI라도사람이 동의하고 거부하고 최종적으로 판단할 영역은 남아 있어야 한다고 생각하시나요?또“이런 종류의 판단만큼은 AI에게 맡겨도 된다”혹은 반대로“이런 판단은 AI가 아무리 발전해도 사람에게 남겨야 한다”고 생각하시는 영역이 있다면 궁금합니다.그리고 원리나 말씀 가운데인간의 책임·자유·주관·기술의 사용 문제를 생각하는 데 제가 놓친 중요한 내용이 있다면 알려주시면 감사하겠습니다.저도 계속 자료를 확인하면서 생각을 다듬어가겠습니다. — 홍성원