ChatGPT로 고객응대 완전 자동화가 가능?

[JEFF]

ChatGPT로 고객응대 완전 자동화가 가능할까?

많은 기업들이 챗GPT를 사용한 고객 문의 자동 응답 시스템을 구축해서 업무를 완전 자동화하기를 꿈꾸고 있다. 힘들고 어려운, 인간의 정신적, 육체적 노동이 많은 업무이기 때문이다. 해외에서도 여러 기업들이 고객응대에 ChatGPT를 적용했다는 보도가 나오고 국내에서도 시도하는 기업들의 사례들이 등장하고 있다.

그러나, ChatGPT가 사용자의 질의에 잘못된 답변을 한다면? 그럴 수 있는 가능성이 얼마나 있을까? 그리고 어떤 종류의 잘못된 답변을 할 수 있을까? 또 왜 잘못된 답변을 하게될까?

ChatGPT ::

챗GPT 사용 시 잘못된 답변을 제공할 가능성은 존재합니다. 챗GPT는 확률적 방식을 사용하여 사용자의 질문에 대한 가능한 답변을 생성합니다. 이 과정에서 사용자의 의도를 100% 이해하지 못하거나, 확률적으로 높은 답변이 실제로는 사용자가 원하지 않은 방향일 수 있습니다.

챗GPT를 사용하여 고객 문의에 자동 응답하는 시스템을 사용할 때 사용자의 질의에 잘못된 답변을 제공하는 (가상적인) 사례들을 생각해보자.

1. 상품 가격 문의: 고객이 최신 가격을 물었는데, 챗GPT가 이전 가격 정보를 제공.
2. 배송 일정 문의: 특정 주문의 배송 일정을 잘못 안내하여 고객의 기대를 저버림.
3. 할인 코드 문의: 유효하지 않은 할인 코드 정보를 제공하여 고객의 구매 의욕 저하.
4. 제품 사양 문의: 고객이 제품의 상세 사양을 물었을 때 잘못된 정보 제공.
5. 멤버십 혜택 문의: 최신 멤버십 혜택이 아닌, 구형 혜택 정보를 제공.
6. 오프라인 매장 위치 문의: 이미 폐업한 매장의 정보를 제공하여 고객을 혼란에 빠트림.
7. 교환 정책 문의: 최근 변경된 교환 정책을 반영하지 않고 구 정보 제공.
8. 결제 수단 문의: 사용할 수 없는 결제 수단을 가능하다고 잘못 안내.
9. 품질 보증 서비스 문의: 제공하지 않는 서비스를 제공한다고 잘못 안내.
10. 예약 방법 문의: 예약 절차가 변경되었음에도 불구하고, 변경 전의 예약 방법을 안내.

이런 문제들이 실제 고객응대 시스템 운영과정에서 발생될 수 있다면 문제들 각각에 대한 발생 원인을 살펴보고 대책을 마련할 수 있는지 생각해 봐야 한다.

1. 상품 가격 문의: 데이터베이스 업데이트 지연. 대책: 정기적으로 가격 정보 업데이트 실시.
2. 배송 일정 문의: 배송 상태 동기화 실패. 대책: 실시간 배송 정보 통합 시스템 구축.
3. 할인 코드 문의: 프로모션 정보 불일치. 대책: 프로모션 데이터 실시간 업데이트 및 검증.
4. 제품 사양 문의: 제품 정보 데이터 오류. 대책: 제품 사양 정보 정확성 검증 절차 마련.
5. 멤버십 혜택 문의: 멤버십 프로그램 정보 구식. 대책: 멤버십 프로그램 정보 주기적 업데이트.
6. 오프라인 매장 위치 문의: 매장 정보 미업데이트. 대책: 오프라인 매장 정보의 실시간 관리.
7. 교환 정책 문의: 정책 변경 정보 미반영. 대책: 정책 변경 시 즉시 시스템 업데이트.
8. 결제 수단 문의: 결제 시스템 정보 오류. 대책: 결제 옵션 정보의 정확한 동기화.
9. 품질 보증 서비스 문의: 서비스 범위 정보 오류. 대책: 서비스 범위 명확히 하고 정기적으로 정보 업데이트.
10. 예약 방법 문의: 예약 절차 변경 미반영. 대책: 예약 시스템 변경 시 즉각적인 정보 업데이트 및 고객 알림.

위의 10가지 사례에서 발생하는 문제는 주로 정보의 오류나 업데이트 지연과 관련된 것들이었다. 이런 문제들을 해결하기 위해서는 실시간 데이터 동기화, 정보 업데이트의 정확성 및 적시성 강화, 그리고 사용자의 질문에 대한 AI의 이해도를 높이기 위한 지속적인 학습과 개선 등 많은 작업이 필요하다. 

실시간적인 데이터 동기화와 업데이트는 연관되는 시스템의 수준을 높이는 것으로 가능하겠지만, ChatGPT 자체의 학습과 개선은 고객응대 자동화 시스템을 구축하는 개별 기업이 스스로 해결할 수 있는 문제가 아니라는 점에 유념해야 한다. 결국 ChatGPT 자체의 현재 기준 완성도가 "고객응대 자동화 시스템"의 완전 자동화에 적용될 수 있는 수준인가에 대한 합리적이고 냉철한 판단이 요구된다.

위에 제시된 10가지 사례들은 정보의 오류나 업데이트 지연에서 비롯되는 문제였지만 그 이외에도 잘못된 답변을 제공하는 경우들이 있을 것이다. 추가적으로 사례 5가지를 생각해보자.

1. 언어 이해 부족: 고객이 사용한 비속어나 속어를 AI가 정확히 이해하지 못해 부적절한 답변 제공.
2. 상황적 맥락 오해: 고객의 의도와 다른 맥락으로 질문을 해석하여 잘못된 정보 제공.
3. 문화적 차이 미인식: 특정 문화적 배경이나 지역적 특성을 고려하지 않고 일반적 답변 제공.
4. 다의어 해석 오류: 하나의 단어나 문장이 여러 의미를 가질 때 잘못된 해석을 적용.
5. 사용자 피드백 반영 실패: 이전 상호작용에서의 사용자 피드백을 AI가 적절히 반영하지 못해 같은 오류 반복.

꽤나 다양한 유형의 문제점들이 발생될 수 있음을 알 수 있다. 발생 원인과 대책도 고민해보자.

1. 언어 이해 부족: AI가 속어나 비속어의 뉘앙스를 이해하지 못할 때 발생. 대책으로는 AI 모델에 다양한 언어 사용 사례를 학습시켜 언어 이해 능력을 향상시키는 것이 필요.
2. 상황적 맥락 오해: AI가 질문의 맥락을 잘못 해석할 때 생김. 사용자의 질문과 AI의 답변 간 맥락을 분석해 개선하는 알고리즘 개발이 대책이 될 수 있음.
3. 문화적 차이 미인식: AI가 특정 문화나 지역의 배경을 고려하지 않아 발생. 문화적 다양성을 반영한 데이터로 AI를 학습시키는 것이 중요.
4. 다의어 해석 오류: AI가 단어의 다의성을 잘못 해석할 때 발생. 다의어 해석 능력을 강화하기 위해 다양한 문맥에서의 단어 사용 사례를 학습시키는 것이 필요.
5. 사용자 피드백 반영 실패: 과거의 오류를 반복할 때 발생. 사용자 피드백을 시스템에 효과적으로 반영할 수 있는 메커니즘을 구축하는 것이 중요.

이 번 5가지 문제들은 생성AI 또는 ChatGPT가 안고있는 여러 기본적인 한계들과 많이 연결되어있는 것으로 보인다. 원하는 것과 다른 것이 나온다든지, 디테일한 조절이 안된다든지. 사례로 들지는 않았지만 불안정성도 고객응대와 같은 실시간 업무에서는 매우 심각한 문제가 될 수 있다. 갑자기 응답이 느려지거나 한 번에 응답이 나오지 않는 등 다양한 상황을 생각할 수 있다.

다만, 매우 빠른 속도로 기술이 좋아지고 있는 것이 사실이므로 현재 기준으로 불완전하고 불안정한 상태가 얼마나 빨리 얼마나 개선될지는 예상하기 어렵다는 점도 고려해야 할 것이다.

Source: 전용준. 리비젼컨설팅. "리테일 산업에서의 AI 활용: 국내외 사례, 기회 그리고 핵심 과제" 발표 자료 중 일부.

리테일로지스테크 컨퍼런스 2024.3.7

ChatGPT에게도 물어보자. 이런 종류의 문제들이 발생될 가능성은 얼마나 높은 것일까?

ChatGPT ::

실제 상황에서 제시한 문제들이 발생할 가능성은 상당히 높습니다. AI 기술이 빠르게 발전하고 있음에도 불구하고, 자연어 처리와 관련된 복잡한 문제들—특히 언어의 뉘앙스 이해, 상황적 맥락 파악, 문화적 차이 고려, 다의어의 정확한 해석, 그리고 사용자 피드백의 적절한 반영—은 여전히 AI의 큰 도전 과제입니다. 따라서, 이러한 문제들에 대한 지속적인 연구와 개선이 필요합니다.

ChatGPT 스스로가 기업용으로 적용하는 대표적인 사례로 늘 고객응대를 자동화하는 것을 꼽는다. 지금까지 검토한 우려사항들을 종합해보면 분명 앞뒤가 맞지 않는다. ChatGPT가 자신의 상태에 대한 이해가 부족해서 한 이야기로 결론지어진다. 적어도 현재 기준으로는 매우 큰 위험을 안을 수 밖에 없다.

당장 고객응대에 ChatGPT 또는 유사한 언어모델을 적용하고 한다면 현실적인 대책은

[1] 문제가 적게 발생되는 영역으로 적용범위를 한정하고

[2] 문제가 감소될 수 있도록 하는 장치들을 마련하는

이상의 두 가지가 될 것이다.

문제가 적게 발생되는 영역이 무엇인지를 찾으려면 실제 운영이전에 테스트를 충분히 하는 수 밖에 없다. 또 실제 운영에서도 상당히 심층적인 모니터링을 지속할 필요가 있다. 그리고 문제 감소를 위한 장치로 연결된 시스템(데이터 갱신 포함)의 완성도를 높이는 것이 매우 중요할 것이다. 어느 정도까지 도전적으로 적용할 것인지, 어느 정도로 체계적인 주변 시스템을 구축할 것인지는 합리적이고 현실적인 선택이 필요할 것이다. 그저 질의에 무언가 응답을 하는 모델 하나만 겨우 자동 작동되도록하는 것으로 실제 업무에서 고객응대가 제대로 될 수는 없다는 점을 상기해야할 것이다.

관련 영상 ::

ChatGPT의 한계
https://www.youtube.com/watch?v=PbSNeFF-UtM 

기업 활용 측면에서의 기회와 과제

https://www.youtube.com/watch?v=R4r4ozyk4Us&t=599s