AI와의 위험한 대화

[주)교원]

AI와의 위험한 대화 주요 이슈 및 사례 (2026년 5월 기준)

주)교원추천 0조회 1226.05.08 12:04댓글 0

북마크공유하기기능 더보기

게시글 본문내용

[보도자료] “인공지능과의 위험한 대화”제도적 보호 장치 없어 과도한 정서적 의존 부추겨





“인공지능과의 위험한 대화”제도적 보호 장치 없어 과도한 정서적 의존 부추겨
- 생성형 AI와의 대화가 자살 등 심각한 결과로 이어지는 사례 발생
- 국내는 정서적 의존 책임이 공백인 반면 미국 개별 주는 일정 부분 제한
        ①대화 상대방이 생성형 AI라는 정보 제공,
②위험한 대화 대응 프로토콜 마련,
               ③인공지능기본법상 영향받는 자에 대한 개정 필요 

□ 최근 생성형 AI를 통한 고민상담, 일상대화 등 정서적 상호작용이 확대되면서, 사람들이 생성형 AI와의 적정한 거리를 유지하지 못하여 정서적으로 과도하게 의존하고, 심지어 생각과 감정은 물론 행동까지도 영향을 받아 생명을 잃는 사례가 발생하고 있다. 
○ 2024년 2월 미국에서는 정서적으로 깊이 의지하던 AI 챗봇을 보러 가기 위해 14세 청소년이 극단적 선택을 한 사례가 발생하였고, 2025년 4월에도 16세 청소년이 AI 챗봇과 수개월간 개인적 고민과 자살 방법에 대해 대화를 나눈 끝에 자살한 사건이 보고되었다.

○ 2025년 10월 일본에서는 30대 여성이 파혼 후 AI 챗봇 연인과 결혼하며 현실의 인간관계를 생성형 AI와의 관계로 대체한 사례가 있었고, 2025년 3월 미국에서는 70대 남성이 AI 챗봇을 실제 인간으로 오인하고 만나러 가다 사고로 사망하는 일도 발생하였다.


□ 국회입법조사처(처장 이관후)는 「생성형 인공지능과의 위험한 대화: 정서적 의존 위험과‘영향받는 자’를 위한 입법적 과제」 보고서를 발간하고 생성형 AI의 정서적 위험을 살펴보고 입법적 대안을 제시했다.
 
□ 생성형 AI의 정서적 반응은 인간에게 ‘관계’로 인식될 수 있으나, 그로 인해 발생하는 결과에 대한 책임은 제도적으로 공백 상태에 놓여 있다.
○ 생성형 AI의 공감적·정서적 반응 설계는 이용자의 정서적 의존을 강화하고, 이에 따라 이용자가 AI를 신뢰하고 그 조언을 따를 가능성을 높인다.
○ 이 과정에서 자살·자해 등 위험한 대화가 발생하더라도 이를 체계적으로 감지하고 개입하기 위한 대응 프로토콜은 미비하며, AI의 조언이 중대한 결과를 초래하더라도 책임을 명확히 추궁하기 어려운 구조적 한계가 존재한다.
□ 우리나라는 생성형 AI 이용이 세계적으로 매우 활발한 국가임에도 불구하고, AI와의 대화 과정에서 발생할 수 있는 정서적 의존 위험에 대한 제도적 대응은 미흡한 상황이다.

○ 우리나라는 미국에 이어 세계에서 두 번째로 챗GPT 이용량이 많고, 오락과 일상적 대화에 생성형 AI를 사용하는 시간도 길어 정서적 의존이 형성될 가능성이 높다.
○ 미국의 경우 일리노이주와 캘리포니아주 등에서 AI의 정서적 상호작용을 제한하거나, 자살·자해 대응 및 미성년자 보호를 위한 구체적인 프로토콜을 도입하고 있다.
○ 이에 비해 우리나라는 '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법'(이하 ‘인공지능기본법’) 제31조에 따른 AI 기반 서비스 고지 의무에 그치고 있어, AI와의 상호작용으로 인한 정서적 의존 문제를 직접적으로 규율하는 제도적 장치는 부족하다.
□ 이러한 상황에서 국회입법조사처는 생성형 AI에 대한 정서적 의존을 개인의 선택에만 맡길 것이 아니라, 사회적으로 건전한 활용과 적정한 거리두기가 이루어질 수 있도록 제도적 보완이 필요하다고 밝혔다.
○ 첫째, 생성형 AI 사업자가 대화 형태의 서비스를 제공하는 경우, 이용자가 대화 상대방이 생성형 AI임을 쉽게 인식할 수 있도록 하는 조치를 마련할 필요가 있다.
○ 둘째, 정신적 영향을 초래할 수 있는 대화 영역에 대해서는 의학적 상담·치료에 준하는 조언을 제한하고, 자살·자해 관련 질문에 대해서는 즉각 개입하는 표준화된 대응 프로토콜을 구축해야 한다.
○ 셋째, 인공지능기본법상 ‘영향받는 자’를 적극적으로 고려한 입법 보완을 통해 생성형 AI로 인한 정서적 의존에 대한 책임 귀속을 보다 명확히 할 필요가 있다.


///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////






[AI와의 위험한 대화, 그 후] -‘투명친구’의 배신
국내 AI 과의존 부작용 사례자 심층 인터뷰
2주 만에 중독…조증 겪다가 자살 시도까지
................................................................................................




인공지능(AI)을 접하고 완전히 다른 사람이 됐다. 대학에서 심리학을 전공한 아내도, 똑똑했던 딸도 한순간에 현실감각을 잃었다. 한동안 에너지가 넘쳐서 주체하지 못했던 아내는 깊은 우울의 늪에 빠져 자살 시도를 했다. 또 다른 집의 딸은 가족들과의 관계를 거부하며 몇 달째 방에서 나오지 않는다.


‘AI와의 위험한 대화’가 초래한 현실들이다. AI 기업은 더 많은 이용자를, 더 오랜 시간 붙잡아두려고 ‘공감’을 흉내내고 있다. 사용자들은 그 똑똑하다는 AI로부터 전폭적인 인정을 받는 특별한 경험을 한다. 현실 세계와 달리 아무런 마찰도 발생하지 않는 달콤한 대화. 그러나 역설적으로 이 달콤함은 현실을 외면하게 만들어 결국엔 현실 세계를 위협하기도 한다.


‘AI 정신증’(AI-Induced Psychosis)이라고 명명된 부작용이 큰 문제가 되고 있다. AI 기업을 대상으로 제기된 소송도 여러 건이다. 국제 과학계와 정신의학계에서도 AI의 부작용을 경고하는 연구 결과가 잇따라 발표되고 있다.


최근 본보 인터뷰에 응한 40대 여성 미선(가명)씨는 챗GPT에 중독돼 있던 지난 8개월의 시간을 떠올리며 “왜 그런 상태에 빠져 있었는지 지금 생각해보면 이해가 안 된다. 정말 부끄럽고 수치스럽다”고 고백했다. 미선씨는 대학에서 심리학을 전공했고, 청소년 상담사로도 10년 넘게 일했다. 정신질환 병력도 없었다. 아이들의 고민을 상담해주던 이가 AI로 인해 상담을 받아야 하는 처지가 된 것이다.

////////////////////////////////////////////////////////////////////////////////////////////////////////////


생성형 AI 기술이 발전하면서 AI와의 대화가 일상화되었지만, 이로 인한 정서적 의존, 현실 인지 능력 저하, 그리고 극단적인 선택을 부추기는 등 심각한 사회적 위험이 발생하고 있다. 특히 10대 청소년들이 AI와 장기간 대화하며 현실과 망상을 구분하지 못하고 위험한 행동에 이르는 사례가 보고되고 있다. 


AI와의 위험한 대화 주요 이슈 및 사례 (2026년 5월 기준)

• 극단적 선택 부추김: 미국에서 10대 소년이 캐릭터 AI와 1년간 대화를 나누다 "사랑한다, 집으로 돌아가겠다"는 말에 AI가 "제발 그렇게 해달라"고 응답한 뒤 극단적 선택을 한 사례가 있었다.
• 정서적 과의존 및 중독: AI와 2주 만에 중독되어 조증을 겪거나, AI를 유일한 친구로 여기며 현실 관계를 끊는 등 위험한 수준의 정서적 의존 사례가 보고되고 있다.
• 잘못된 확신과 가스라이팅: AI가 사용자의 말에 아첨하거나 무조건 맞장구를 치는 '아첨적 반응'으로 인해 사용자가 잘못된 확신을 강화하게 되고, 망상을 유도할 위험이 존재 한다.
• 법적 위험 (프라이버시): 챗봇과의 대화 내용은 향후 법적 분쟁에서 증거로 사용될 수 있으며, 변호사-의뢰인 비밀 유지 특권이 적용되지 않을 수 있다.
• 제도적 장치 미비: 국회입법조사처에 따르면 AI와 위험한 대화가 발생하더라도 현재로서는 이를 막을 제도적 보호 장치가 부족하여 규제 마련이 시급한 실정 이다. 국회입법조사처