사내 챗봇을 만들었는데 아무도 안 쓴다 — 무엇이 빠졌나

사내용 AI 챗봇을 열면 첫 2주는 접속자가 많다. 공지가 나가고, 다들 한 번씩 들어가 질문을 던져본다. 그런데 한 달쯤 지나면 접속 로그가 조용해진다. 흥미로운 것은 그 직원들이 AI를 안 쓰게 된 게 아니라는 점이다. 여전히 개인 휴대폰이나 개인 계정으로 챗지피티(ChatGPT)나 클로드(Claude) 같은 소비자용 AI에 업무 질문을 던지고 있다. 회사가 만든 도구만 버려진 것이다.

이 현상은 개별 회사의 특수한 사정이 아니다. 미국 매사추세츠공과대학(MIT) 산하 연구 그룹 난다(NANDA)가 2025년 7월 발표한 "AI 비즈니스 현황 2025(State of AI in Business 2025)" 보고서는 300여 개 AI 도입 사례와 52건의 인터뷰, 153건의 설문을 근거로 이 간극을 "그림자 AI 경제(shadow AI economy)"라고 이름 붙였다. 조사 대상 기업의 90% 이상에서 직원들이 개인 계정으로 소비자용 AI를 업무에 쓰고 있었지만, 회사가 공식 구독이나 라이선스를 갖춘 곳은 40%에 그쳤다. 같은 보고서는 기업이 도입한 생성형 AI 파일럿의 95%가 손익계산서에 측정 가능한 영향을 주지 못했다고 추산했다.

왜 사내 도구는 멈추고 개인 도구는 계속 쓰이는가

보고서가 이 간극을 설명하는 핵심 개념은 "학습 격차(learning gap)"다. 챗지피티 같은 범용 도구는 개인이 쓸 때는 뛰어나다. 대화 맥락을 그때그때 알려주고, 질문을 바꿔가며 원하는 답이 나올 때까지 조정할 수 있기 때문이다. 그런데 같은 도구를 회사가 사내 챗봇으로 그대로 배포하면 사정이 달라진다. 그 조직의 규정, 이전 대화 이력, 부서별 예외 처리 방식을 스스로 기억하거나 학습하지 못한 채 매번 초기 상태로 응답한다. 개인이 매번 맥락을 다시 설명해줄 수 있는 관계에서는 문제가 되지 않던 한계가, 조직 전체가 매번 같은 질문을 반복해야 하는 상황에서는 도구를 쓰지 않게 만드는 이유가 된다.

같은 보고서는 이 격차를 메운 회사와 못 메운 회사를 가르는 요인도 짚었다. 외부 전문 벤더의 도구를 사거나 파트너십을 맺은 조직은 약 67%가 성과를 냈다. 반면 같은 것을 사내에서 직접 만든 조직은 그 성공률이 3분의 1 수준에 그쳤다. 도구 자체의 기술 수준 차이라기보다, 외부 벤더는 여러 고객사를 거치며 실제 업무 흐름에 맞춰 도구를 다듬어온 반면, 사내 개발팀은 그 시행착오를 처음부터 혼자 반복하기 때문이라는 해석이 뒤따른다.

흥미는 있는데 왜 손이 안 가는가

기술적 한계만이 이유는 아니다. 시장조사기관 가트너(Gartner)가 2025년 7월 직원 2,986명을 대상으로 실시한 조사에서, 응답자의 65%가 업무에 AI를 쓰는 것에 기대감을 보였다. 그런데 그중 37%는 실제로는 AI를 쓸 수 있는 여건인데도 쓰지 않았고, 가장 많이 꼽힌 이유는 동료들이 쓰지 않기 때문이라는 것이었다. 도구가 나쁘다는 응답이 아니라, 주변에서 아무도 안 쓰니 나도 굳이 먼저 나서지 않는다는 것이다. 관심은 있지만 먼저 써볼 유인이 없는 상태에서, 첫 한두 번의 사용 경험이 회사 도구에 대한 기억을 결정짓는다.

그 첫 경험에서 가장 자주 지목되는 실패 요인은 답변의 구체성이다. 사내 챗봇을 다룬 여러 사용자 경험(UX) 연구가 공통으로 짚는 지점은, 챗봇이 두루뭉술한 규정 요약이나 이미 지난 링크, 그리고 나중에 담당 부서가 정정해야 하는 자신만만한 오답을 내놓기 시작하면 직원들이 조용히 신뢰를 접는다는 것이다. 처음 한두 번 물었을 때 구체적이고 쓸 만한 답이 나오면 다음에도 다시 찾지만, 처음부터 일반론만 반복하면 그다음부터는 아예 열어보지 않는다. 회사 입장에서는 "일단 만들어서 배포했다"는 사실이 중요해 보이지만, 직원 입장에서는 처음 몇 번의 경험이 전부다.

예산은 화려한 곳에, 성과는 조용한 곳에

난다 보고서가 지적한 또 다른 어긋남은 돈이 가는 곳과 성과가 나는 곳이 다르다는 점이다. 조사 대상 기업들의 생성형 AI 예산 가운데 절반 이상이 영업·마케팅처럼 외부에 드러나는 전면 업무의 챗봇과 캠페인 도구에 쓰였다. 그런데 실제로 측정 가능한 절감이 크게 나타난 곳은 후면 업무, 즉 고객 응대나 문서 처리 같은 반복 업무였다. 외주로 맡기던 업무위탁(BPO) 계약을 없애고 그 처리를 사내 AI로 대체해 연간 200만~1,000만 달러(약 29억~150억원) 규모를 절감했다는 사례, 외부 제작 대행 비용을 30%가량 줄였다는 사례가 그렇다. 화면에 보이는 챗봇보다, 눈에 안 띄는 곳에서 반복되던 업무를 대체한 쪽이 오히려 손익에 더 크게 잡혔다는 뜻이다.

이 어긋남은 별개의 조사에서도 비슷하게 확인된다. 가트너가 2025년 10월 발표한 조사에서는 인사(HR) 리더의 88%가 조직이 AI 도구에서 유의미한 사업 가치를 실현하지 못했다고 답했다. 화려한 데모와 실제 손익 개선이 따로 논다는 두 조사의 결론은 겹친다.

한국 기업이 점검할 것

이 세 가지 조사를 겹쳐 보면 "사내 챗봇을 만들었는데 아무도 안 쓴다"는 현상은 도구 자체의 결함이 아니라 세 갈래의 준비 부족이 겹친 결과에 가깝다. 첫째, 그 챗봇이 조직의 반복되는 맥락(과거 대화, 예외 규정, 최신 정책)을 실제로 참조하고 있는지다. 참조하지 못하면 개인용 도구보다 나을 이유가 없다. 둘째, 처음 몇 번의 사용 경험에서 구체적이고 틀리지 않은 답을 내놓을 수 있게 사전 검증이 충분히 됐는지다. 첫인상에서 신뢰를 잃으면 그다음부터는 아예 열어보지 않는다는 점을 감안하면, 이 검증 단계를 건너뛰고 서둘러 배포하는 쪽이 오히려 손해다. 셋째, 예산과 관심이 외부에 보여주기 좋은 업무에 쏠려 있지는 않은지, 실제 절감이 나오는 반복 업무 쪽에 자원이 충분히 배분됐는지다.

한국의 중소·중견기업이 사내 챗봇을 검토할 때 특히 눈여겨볼 대목은 두 번째와 세 번째다. 대기업과 달리 반복 실패를 감당할 여력이 크지 않은 조직일수록, 처음 선보이는 도구가 첫 몇 번의 질문에 정확하게 답하도록 사전에 검증하는 편이 화려한 기능을 먼저 갖추는 것보다 우선한다. 그리고 그 검증 대상은 눈에 잘 띄는 고객 응대창보다, 조용히 반복되던 후면 업무일 가능성이 더 높다.

사내 챗봇을 만들었는데 아무도 안 쓴다 — 무엇이 빠졌나

왜 사내 도구는 멈추고 개인 도구는 계속 쓰이는가

흥미는 있는데 왜 손이 안 가는가

예산은 화려한 곳에, 성과는 조용한 곳에

한국 기업이 점검할 것

참고한 자료

글보다 직접 만져보는 게 빠릅니다