AI의 판단이 정확하다는 위험한 믿음 - 주윤정

[바람공자]

> 다산글방 > 다산포럼

AI의 판단이 정확하다는 위험한 믿음

글쓴이 주윤정 / 등록일 2026-10-13

최근 국무회의에서 보건복지부의 ‘복지·돌봄 AI 대전환 로드맵’을 보고받은 이재명 대통령은 인공지능이 “사람보다 훨씬 더 정확하게 판단”하니 국가 사무를 가급적 신속하게 인공지능으로 전환하라고 주문했다. AI 돌봄은 돌봄 인력의 반복 업무를 줄이고 전문성을 높일 수 있다. 그러나 도입 속도를 강조할수록 먼저 물어야 할 것이 있다. 어떤 판단을 AI에 맡길 것인가, 오류가 생기면 누가 바로잡고 책임질 것인가, 시민의 인권은 충분히 보호되는가 등이다.

AI는 애초에 ‘정확한 판단’을 목표로 설계된 기계가 아니다. 생성형 AI는 다음에 올 말을 확률적으로 예측하도록 훈련된다. 진위가 아니라 그럴듯함이 학습의 목표이므로, 사실이 아닌 내용을 자신 있게 내놓는 ‘환각’은 우연한 결함이 아니라 구조적 한계다.

아무도 책임지지 않는 판단

더 근본적으로, 정확성이 정당성을 보장하지는 않는다. 누구의 필요를 우선하고 어떤 위험을 감수할지는 당사자의 권리와 사회적 책임이 걸린 판단이다. 유네스코의 2021년 「인공지능 윤리 권고」는 AI가 인간의 최종 책임을 대신할 수 없으며, 생사가 걸린 결정을 AI에 넘겨서는 안 된다고 명시했다. 2024년 유엔총회 결의도 자동화된 결정에 대한 인간의 감독과 피해구제를 강조하며, 국제인권기준에 맞지 않는 AI의 사용은 자제하라고 촉구했다. 책임질 수 없는 존재에게 판단을 맡기면 책임 자체가 사라진다는 것이 국제사회의 합의다.

이 책임구조가 무너진 대표적 사건이 네덜란드 보육수당 사건이다. 세무당국은 2013년 부정수급 가능성이 높은 신청자를 골라내는 자가학습 알고리즘을 도입하면서 ‘네덜란드 국적인가’를 위험 기준으로 삼아 외국 국적자에게 높은 점수를 매겼다. 시스템의 효과를 환수한 돈으로 증명해야 했으므로, 혐의가 맞든 틀리든 최대한 환수하려는 유인이 생겼다. 서명 하나 빠져도 수당 전액을 즉시 토해내야 했다. 부모가 이유를 물어도 당국은 답하지 않았고, 검토하는 공무원조차 이유를 알 수 없었다. 따질 길이 없으니 구제도 없었고, 사전에 인권 영향을 평가한 사람도 감독하는 기관도 없었다. 2만 6천여 가구가 부정수급자로 몰려 빚과 실직, 가정 해체를 겪었고, 2021년 내각이 총사퇴했다. 기계의 오류만이 아니라 관료제의 무책임이 자동화와 결합된 사건이었다. 판단을 기계에 위임하면 부당한 판단이 대규모로, 아무도 책임지지 않는 방식으로 반복될 수 있다.

필자는 AI 돌봄 실증연구를 진행하면서 기관생명윤리위원회(IRB) 심의 등 절차를 지키며 위험과 이용자의 인권을 여러 각도에서 살피고 있다. 그러나 심의를 거쳤다는 사실만으로 안전이 보장되지는 않는다. 사생활이 담긴 데이터를 누가 보고 언제 지우는지 관리해야 하고, 오작동과 인권침해를 감시하는 체계, 피해가 생겼을 때 구제하는 체계도 연구해야 한다.

사고가 나기 전에, 안전과 인권보호 대책을

인권의 관점은 피해가 생긴 뒤에야 들어갈 것이 아니라 기술 설계 단계부터 예방적으로 들어가야 한다. AI 연구의 권위자 스튜어트 러셀은 인공지능에 대해 체르노빌급 사고가 나기 전에는 각국이 규제에 나서지 않을 것이라는 업계의 전망을 전하면서, 그때는 규제가 아니라 “꺼버리라”는 사회적 반발이 올 것이니 지금 안전 대책을 세우라고 촉구했다. 참사를 막으려면 기술의 위험 평가와 인권영향평가가 먼저 이루어져야 하고, 공학자만이 아니라 사회학·철학·법학 연구자, 돌봄 종사자와 이용자가 함께 위험을 연구해야 한다. 기술의 성능을 높이는 연구와 더불어, 그 기술이 누구에게 이익과 부담을 주는지, 잠재적 위험은 무엇인지, 인권은 충분히 보호되는지를 묻는 연구가 있어야 한다.

정부는 2027년 400가구와 12개 시설에서 스마트 돌봄 모델을 개발·실증할 계획이며, 로드맵에는 사람의 개입·감독과 이용자의 설명 요구권을 담은 윤리 지침 마련도 들어 있다. 지침만이 아니라, 현장에서 실제로 작동하는 제도와 문화를 만드는 일이 중요하다. 정부는 돌봄 로봇의 성능만 홍보할 것이 아니라, 신기술의 위험과 한계를 공개하고 피해구제 장치 마련 등 안전장치를 만들어가며 국민의 신뢰를 구해야 한다. 대통령의 책무는 AI 돌봄 산업의 성장만이 아니라 시민의 생명과 안전까지 함께 책임지는 것이다. 취약한 시민의 삶을 아직 안정되지 않은 신기술의 시험대로 삼아서는 안 된다.

■ 글쓴이 : 주 윤 정 (부산대 사회학과 교수)

[저서]

『보이지 않은 역사 : 한국시각장애인의 저항과 연대』, 들녘출판사, 2020.

『동물의 품 안에서 : 인간-동물 관계 연구』(공저), 포도밭출판사, 2022.

『한국의 민주화운동과 국제 연대』(공저), 한울아카데미, 2018. 등