중견기업 AX의 올바른 순서 — 챗봇부터가 아니라 지식베이스부터

기업이 AI 도입을 결정하면 가장 먼저 하는 일은 대개 챗봇 화면을 만드는 것이다. 고객 응대창이든 사내 문의창이든, 눈에 보이는 인터페이스부터 붙이고 그 뒤에 어떤 모델을 연결할지 고른다. 그런데 그 챗봇이 참고할 자료, 즉 지식베이스가 정리돼 있는지는 뒷전으로 밀리는 경우가 많다. 두 회사의 사례를 나란히 놓아보면 이 순서가 왜 중요한지 드러난다.

지식베이스 없이 나간 챗봇이 만든 소송

2022년 캐나다 항공사 에어캐나다(Air Canada)의 고객 제이크 모팻(Jake Moffatt)은 조모상을 당해 급하게 항공권을 구매했다. 그는 항공사 웹사이트의 챗봇에 상을 당한 경우 요금을 할인받는 방법을 물었고, 챗봇은 탑승 후 90일 이내에 신청하면 소급 적용해 할인받을 수 있다고 답했다. 모팻은 챗봇이 알려준 대로 여행을 마친 뒤 할인을 신청했지만, 에어캐나다는 실제 규정에는 그런 소급 적용 조항이 없다며 신청을 거절하고 대신 200달러 상당의 쿠폰을 제시했다.

모팻은 캐나다 브리티시컬럼비아주 민사분쟁해결재판소(Civil Resolution Tribunal)에 소를 제기했다. 에어캐나다 측은 챗봇이 "자신의 행동에 책임을 지는 별개의 법적 주체"라는 취지로 항변했다. 재판소는 이를 받아들이지 않았다. 2024년 2월 나온 판결에서 재판소는 회사가 웹사이트에 올라온 정보라면 그것이 정적인 페이지에서 나왔든 챗봇에서 나왔든 동일하게 책임을 진다고 판시하며, 에어캐나다에 환불금과 이자, 재판 비용을 합쳐 812.02캐나다달러를 지급하라고 명령했다.

액수 자체는 크지 않다. 그러나 이 사건이 자주 인용되는 이유는 원인이 특정 모델의 성능 문제가 아니라는 데 있다. 챗봇은 회사의 실제 약관 문서와 연결되지 않은 채 그럴듯한 답을 생성했고, 그 답이 실제 규정과 달랐다는 사실을 검증할 장치도 없었다. 정리된 지식베이스, 즉 회사의 실제 규정을 구조화해 모델이 근거로 삼을 수 있게 만든 자료 없이 대화형 인터페이스만 먼저 세운 결과였다.

지식베이스부터 정리한 회사의 결과

비슷한 시기 미국 투자은행 모건스탠리(Morgan Stanley)는 정반대 순서로 움직였다. 이 회사는 자산관리 부문 자문인력을 위한 생성형 AI 도구를 만들면서, 대화 인터페이스보다 먼저 회사가 쌓아온 리서치 보고서와 내부 문서 약 10만 건을 정리하는 데 매달렸다. 오픈에이아이(OpenAI)와 협력해 만든 이 도구는 검색증강생성(RAG, Retrieval-Augmented Generation) 방식을 쓴다. 모델이 답을 지어내는 대신 정리된 10만 건의 문서 안에서 먼저 관련 근거를 찾고, 그 근거를 바탕으로 답을 구성하는 구조다.

준비 과정에는 여러 달이 걸렸다. 문서를 큐레이션하고, 실제 전문 인력이 도구가 내놓는 답을 하나하나 검증하는 작업이 병행됐다. 결과는 도입 이후 나타났다. 회사에 따르면 자문인력 팀의 98% 이상이 이 도구를 실제 업무에서 쓰고 있고, 필요한 문서에 접근하는 비율이 기존 20%에서 80%로 올라갔다. 예전에는 며칠 걸리던 고객 후속 대응도 몇 시간 안에 끝나는 경우가 늘었다.

두 회사가 다룬 문제의 난이도 차이를 감안해도, 갈린 지점은 분명하다. 에어캐나다의 챗봇은 인터페이스가 먼저 있었고 그 뒤에 지식은 느슨하게 걸려 있었다. 모건스탠리의 도구는 지식베이스가 먼저 정리됐고 인터페이스는 그 위에 얹혔다.

왜 대부분의 회사가 반대 순서로 움직이는가

데이터 관리 기업 콤프라이즈(Komprise)가 2026년 발표한 "비정형 데이터 관리 현황" 조사에서, 기업 IT 책임자들에게 AI 도입 준비 과정에서 가장 큰 어려움을 물었을 때 56%가 비정형 데이터를 분류하고 태그를 붙이는 작업을 꼽았다. 이 응답 비율은 1년 전인 41%에서 크게 늘었다. 기업이 보유한 데이터의 상당수는 이메일, 회의록, 계약서, 매뉴얼처럼 형식이 제각각인 비정형 데이터이고, 이를 모델이 참고할 수 있는 형태로 정리하는 작업이 AI 도입 실무에서 갈수록 큰 병목이 되고 있다는 뜻이다.

이 병목이 건너뛰기 쉬운 이유는 단순하다. 지식베이스를 정리하는 작업은 몇 달이 걸리고, 그 결과물은 회의실에서 바로 보여줄 만한 화면이 아니다. 반면 챗봇 인터페이스는 하루 이틀이면 시연 가능한 형태로 만들 수 있다. 경영진 보고 일정이 촉박할수록, 눈에 보이는 것을 먼저 만들고 그 뒤에 내용을 채우려는 유인이 커진다. 그런데 이 순서를 거꾸로 밟은 결과가 모팻의 소송이었고, 순서를 지킨 결과가 모건스탠리의 채택률이었다.

한국 중견기업이 참고할 순서

중견기업이 AI 도입을 검토할 때 이 두 사례에서 얻을 수 있는 실질적인 교훈은 작업의 시작점이다. 인터페이스, 즉 어떤 챗봇이나 에이전트를 쓸지 고르기 전에, 그 도구가 근거로 삼을 회사의 규정·계약·매뉴얼·과거 응대 기록이 한곳에 구조화돼 있는지부터 점검하는 것이 순서에 맞다. 이 정리 작업은 부서마다 흩어진 문서를 모으고, 어느 것이 최신이고 어느 것이 폐기된 버전인지 가려내고, 담당자 머릿속에만 있던 규정을 문서로 옮기는 일이라 시간이 걸린다.

특히 중견기업은 대기업만큼 데이터 정리에 별도 인력을 투입하기 어렵다. 그래서 오히려 처음부터 순서를 지키는 편이 유리하다. 화려한 인터페이스를 먼저 만들었다가 근거 없는 답변으로 문제가 불거지면, 그다음부터는 구성원도 고객도 그 도구를 신뢰하지 않는다. 반대로 정리된 지식베이스 위에 얹은 도구는 처음에는 느려 보여도, 답변마다 근거를 댈 수 있다는 점에서 신뢰가 누적된다. 에어캐나다와 모건스탠리의 차이는 결국 이 신뢰가 쌓이는 방식의 차이였다.

중견기업 AX의 올바른 순서 — 챗봇부터가 아니라 지식베이스부터

지식베이스 없이 나간 챗봇이 만든 소송

지식베이스부터 정리한 회사의 결과

왜 대부분의 회사가 반대 순서로 움직이는가

한국 중견기업이 참고할 순서

참고한 자료

글보다 직접 만져보는 게 빠릅니다