"아내가 유료 AI 써요" 한마디에 공무원들이 멘붕 온 이유

[일편단심]

"AI로 뭘 할까" 묻기 전에 조직의 '가장 아픈 곳'부터 찾아라
핵심은 인력 감축이 아니라 못 하던 일 가능하게 하는 '확장성'

'AI 시프트'는

인공지능이 바꾸는 산업과 세상을 읽습니다. 기술의 속도보다 중요한 것은 방향입니다. 인공지능의 거창한 담론을 넘어 피부로 느껴지는 직관적인 변화를 깊이 있게 읽어봅니다.

얼마 전 공무원 네 분과 식사하다가 묘한 장면을 맞았다. 한 분이 “제 아내가 유료 AI를 쓰는데요”라고 말을 꺼냈는데, 나머지 세 분이 동시에 “유료 AI를 쓴다고요?”라며 깜짝 놀랐다. 나는 그분들의 반응에 오히려 더 놀랐다.

현장에서는 아직 멀었구나. 공무원 사회에서는 AI가 여전히 일상의 업무 도구가 아니구나. 위에서는 AI 국가 전략과 대규모 투자를 말하는데, 일선에서는 유료 AI를 직접 써보는 일조차 낯설어하는 상황인가 보다.

그날 오전 방문한 소프트웨어 업체 더존비즈온에서는 개발자 800명이 1인당 평균 월 200만원 정도 AI 비용을 쓰고 있다고 했다. 단순히 챗GPT 같은 서비스 월 구독료를 말하는 것이 아니다. 개발 과정에서 여러 AI 모델과 코딩 도구를 사용하면서 발생하는 비용까지 합친 금액이다. 지용구 대표는 AI를 활용하는 개발자가 이전보다 약 2배 빠른 속도로 결과물을 산출한다고 했다.

한쪽에서는 직원 한 명당 매달 수백만 원 AI 비용을 쓰고, 다른 쪽에서는 유료 AI를 쓰는 것 자체를 낯설어한다. 이렇게 민간과 공공의 차이도 크고, 같은 민간 안에서도 AI 활용의 격차는 빠르게 벌어지고 있다.

강연이나 여러 자리에서 기업인과 공무원을 만나면 자주 받는 질문이 있다.

“위에서는 AI를 하라고 하고, 요즘 어디서나 AI를 강조하는데, 도대체 AI로 뭘 해야 합니까?” 그러나 “AI로 뭘 해야 합니까?”라고 묻기 전에 먼저 물어야 할 것이 있다.

“우리가 지금 가장 아픈 곳은 어디인가?”

AI를 먼저 놓고 용도를 찾기 시작하면 멋진 시연은 만들 수 있어도 조직의 실제 문제를 해결하기는 어렵다. 반대로 조직이 가장 많은 시간과 돈을 쓰고 있는 문제, 직원과 고객이 가장 고통스러워하는 문제부터 찾아내면 AI의 쓰임새는 자연스럽게 보이기 시작한다.

시간 단축을 넘어 새로운 기회를 만든 기업들

대우조선, 지금의 한화오션이 안고 있던 구체적인 고민은 복잡한 선박 생산 계획을 더 빨리 만들고 고치는 일이었다. 배 한 척을 만드는 데에는 수많은 공정이 얽혀 있다. 어느 블록을 먼저 만들 것인지, 어느 도크와 크레인을 언제 사용할 것인지, 인력과 장비를 어떻게 배치할 것인지 등 수많은 조건을 동시에 맞춰야 한다. 하나가 바뀌면 뒤의 계획도 줄줄이 바뀐다.

당시 분기 계획 하나를 만드는 데 6~7명이 10~15일씩 매달렸다. AI 시스템을 성공적으로 도입한 뒤에는 5명 미만이 여러 차례 시뮬레이션을 하면서도 4일 안에 계획을 만들 수 있다. 3~6개월 앞을 보던 계획 범위도 18~24개월로 늘어났다.

여기서 중요한 것은 단순히 ‘10일 걸리던 일을 4일 만에 했다’는 데 있지 않다. 시간이 줄어들자 여러 대안을 반복해서 시험해 볼 수 있게 됐다. 사람은 한 번의 계획을 만드는 데 대부분의 시간을 써야 했지만, AI는 ‘만약 이렇게 바꾸면 어떻게 될까’를 여러 차례 계산해 더 나은 계획을 고를 시간을 만들어 주었다.

현대건설의 출발점은 수주 경쟁이었다. 아파트 공사에는 공정의 선후 관계와 인력·장비·자재 투입 등 수백 가지 조건이 얽혀 있다. 숙련자가 과거 사례와 이런 제약 조건을 하나씩 검토해 수주용 공정 계획을 일관되게 작성하려면 일주일가량 걸렸다. 인공지능을 도입하면서 이 기간이 하루로 줄었다.

이 역시 단순한 업무 시간 단축에 그치지 않았다. 수주 하나를 검토하는 데 일주일씩 걸린다면 많은 사업에 도전하기 어렵다. 그 시간이 하루로 줄면 더 많은 사업을 검토하고 더 적극적으로 수주에 나설 수 있다. AI가 비용을 줄이는 도구를 넘어 새로운 매출 기회를 늘리는 도구가 된 것이다.

자동차 부품업체 프론텍의 문제는 또 달랐다. 고객이 요구하는 새로운 품질 기준을 맞춰야 했다. 기존 검사 설비만으로는 새로운 수준의 불량과 결함을 안정적으로 찾아내기 어려웠다. 회사는 기존 비전 검사 설비에 딥러닝 기반 결함 탐지 기술을 결합했고, 그 결과 새로운 품질 요구에 대응하면서 거래와 매출을 이어갈 수 있었다.

세 기업이 처한 시대도, 풀어야 할 문제도 달랐다. 1990년대 AI는 오늘날의 생성형 AI와는 모습이 많이 달랐다. 전문가의 판단 규칙을 컴퓨터에 넣는 전문가 시스템이나 복잡한 일정과 조건을 계산하는 최적화 기술이 중심이었다. 2010년대 이후에는 이미지 속 결함을 찾아내는 딥러닝이 등장했고, 지금은 사람의 질문을 이해하고 문서를 읽어 답을 만드는 생성형 AI까지 활용할 수 있게 됐다.

거대한 AI 장비보다 실제 업무를 막는 병목의 매듭을 먼저 발견하는 것이 중요하다. /필자 제공

기술은 변해도 AI 도입의 출발점은 같다

대우, 현대, 프론텍의 임원들은 내게 “AI로 뭘 해야 합니까?”라고 묻기보다 “우리에게 이런 문제가 있는데, 이 문제를 AI로 풀 수 있는 겁니까?”라고 물었다. 그런 기업이 AI로 성공할 가능성이 높다.

고객이 오래 기다리는가. 직원이 같은 자료를 반복해서 찾는가. 중요한 판단이 몇 사람의 경험과 머릿속에만 묶여 있는가. 품질 문제를 너무 늦게 발견하는가. 인력이 부족해 제공하지 못하는 서비스가 있는가.

이런 질문을 던져보면 AI가 들어갈 곳이 보인다. AI로 그 고통을 줄일 수 있다면 지금까지 하지 못한 일도 새로 할 수 있다. AI로 비용·시간·위험을 줄이는 동시에 개인별 맞춤 서비스를 제공하고, 사람이 부족해 포기했던 서비스를 새로 만들고, 그것으로 새로운 매출을 만드는 것이다.

AI의 진짜 가치는 사람을 줄이는 데만 있는 것이 아니다. 사람이 없어 못 했던 일을 하게 만드는 데 있다.

조직 내 AI 적용 후보 과제는 네 가지 질문으로 걸러낼 수 있다.

1. 얼마나 시급한가. 지금 반드시 해결해야 하는 문제인가.
2. 성공 효과는? (비용, 시간, 고객 만족도, 매출 면에서)
3. 현재 기술과 데이터로 실현 가능한가.
4. 잘못됐을 때 위험은 어느 정도인가.

시급성과 효과가 큰 문제부터 보되, 실현 가능성과 위험으로 다시 거르는 것이다. 위험성은 AI가 틀렸을 때 직원이 다시 고치면 되는 문제인지, 아니면 금융·의료·안전처럼 한 번의 오류가 큰 피해를 부를 수 있는 문제인지 살펴야 한다. 그리고 반드시 측정 가능한 목표를 붙여야 한다.

처리 시간을 3일에서 하루로 줄이겠다, 오류율을 5%에서 1%로 낮추겠다, 고객 대기 시간을 절반으로 줄이겠다, 매출을 10% 늘리겠다, 반복 민원을 30% 줄이겠다는 식이다. 무엇이 얼마나 좋아져야 성공인지 정하지 못하면 AI 사업은 결국 “이런 것도 됩니다”라고 보여주는 시연 행사로 끝나기 쉽다.

2023년 기업은행에서 AI 적용 분야를 찾을 때 가장 높은 우선순위로 나온 문제는 지점 직원이 대출 고객에게 맞는 정책 자금을 찾는 일이었다.

정부와 공공기관이 운영하는 정책 금융 상품은 종류가 많고 지원 대상과 조건도 제각각이다. 당시 직원 입장에서는 정책 700여 개를 일일이 검색하고 고객 조건에 맞춰 해석하기 어려웠다. 잘 모르면 본점 담당자에게 전화해야 했다. 그래서 본점에는 문의 전화가 몰리고, 지점 직원은 답을 기다리고, 그동안 고객은 창구에서 기다려야 했다. 직원도 힘들고, 본점 담당자도 힘들고, 고객도 불편한 세 겹의 병목이었다.

여기에 검색증강생성, 즉 RAG(Retrieval‎-Augmented Generation)​와 대규모 언어 모델(LLM)을 결합했다. RAG는 AI가 자기 기억만으로 답하게 하는 것이 아니라, 질문을 받으면 먼저 회사 내부의 규정과 정책자료에서 관련 내용을 찾아낸 뒤 그 자료를 근거로 답을 만들게 하는 방식이다.

예를 들어 직원이 고객의 업종과 매출, 지역, 자금 용도를 입력하면 AI가 수백 개 정책 가운데 조건이 맞는 후보를 찾아주고 관련 규정과 함께 설명해주는 식이다. 이를 통해 창구 직원, 본사 담당자, 고객이 겪는 세 가지 고통을 한꺼번에 줄일 수 있었다. 이후 이런 형태의 정책·규정 검색형 AI는 금융권에서도 빠르게 확산됐다.

완벽한 데이터 구축을 기다리지 마라

모든 데이터를 완벽하게 정리한 뒤 시작하겠다는 생각도 버릴 필요가 있다. 과거에는 AI를 도입하려면 기업 내부 데이터를 정리하고 라벨을 붙이고 별도의 모델을 학습시키는 작업에 많은 시간과 돈이 들었다. 지금은 상황이 많이 달라졌다.

최신 AI는 상당한 분량의 규정과 매뉴얼, 보고서, 질의응답 자료를 한꺼번에 읽고 필요한 내용을 찾아낼 수 있다. 한 번에 읽을 수 없는 더 많은 자료도 RAG처럼 검색 기술과 결합하면 활용할 수 있다.

따라서 모든 문서를 완벽하게 정리한 뒤 자체 AI 모델을 처음부터 학습시켜야만 시작할 수 있는 것은 아니다. 이미 존재하는 범용 AI에 우리 조직의 문서와 검색 시스템을 연결하는 것만으로도 상당수 업무에서 출발할 수 있다.

물론 데이터가 정확하지 않으면 AI의 답도 정확하기 어렵다. 개인 정보나 영업 비밀을 어떻게 보호할 것인지, AI가 만든 답을 누가 최종 확인할 것인지도 함께 설계해야 한다. ‘데이터를 완벽하게 만들 때까지 기다릴 필요는 없다’는 것이지, 데이터 관리가 중요하지 않다는 뜻은 아니다.

AI 혁신의 시작점은 기술이 아닌 ‘문제의 발견’

“AI로 뭘 해야 합니까?”라는 질문을 받으면 이제 이렇게 답하고 싶다.

지난 한 달 동안 직원들에게 가장 고통을 준 일을 적어보라. 조직 내 병목이 생겨 누군가 오래 기다려야 하는 일을 찾아보라. 담당자 몇 명에게만 의존해 그 사람이 없으면 일이 멈추는 업무를 적어보라. 사람이 부족해 아예 포기하고 있는 서비스도 찾아보라.

그리고 그중 하나를 골라라. 무엇을 얼마나 개선하고 싶은지 목표를 정하고, 반드시 지켜야 할 규칙과 제약 조건을 설명한 뒤 AI와 함께 풀어보라.

AI 활용의 출발점은 AI 자체가 아니다. 조직이 실제로 어디에서 아파하고 있는지를 정확히 발견하는 것이다. 그 고통을 AI로 줄이고, 그동안 비용과 시간과 인력 때문에 하지 못했던 숙원 과제를 현실로 만드는 꿈을 꾸는 데서 AI 혁신은 시작된다.