지식베이스가 없는 회사의 AI 도입은 왜 실패하는가 — 성능은 컨텍스트에서 나온다
요즘 자문을 다니다 보면 대표들이 꼭 묻는 질문이 있다. "그래서 어떤 모델을 쓰는 게 제일 좋아요?" 최신 모델 비교표를 찾아보고, 어느 벤치마크에서 어느 모델이 이겼는지를 궁금해한다. 그런데 막상 도입을 해보면 몇 주 안에 다들 비슷한 실망을 한다. "생각보다 별로네요. 다 뻔한 얘기만 해요." 이 회사들을 들여다보면 공통점이 하나 있다. 제일 좋은 모델을 붙였는데도, 그 모델에게 먹일 회사만의 정보는 하나도 없다. 텅 빈 그릇에 아무리 좋은 수도꼭지를 연결해봐야 나오는 물의 양은 똑같다.
신입사원에게 아무것도 안 알려주고 일을 시키는 것과 같다
이 문제를 가장 쉽게 체감하는 방법은 신입사원을 떠올려보는 거다. 아무리 명문대를 나오고 똑똑한 신입사원이라도, 입사 첫날 온보딩 자료도, 과거 계약서도, 그동안 왜 이런 가격 정책을 세웠는지에 대한 설명도 없이 바로 고객 응대를 시키면 어떤 일이 벌어질까. 그 신입사원은 자기가 아는 일반론으로만 답할 수밖에 없다. 교과서에 나오는 원론적인 이야기, 어느 회사에나 통할 법한 뻔한 조언. 회사가 12년 동안 쌓아온 "우리는 이런 경우엔 이렇게 처리한다"는 판단 기준은 그 신입사원의 머릿속에 없기 때문이다. 에이전트도 똑같다. 모델 자체는 이미 세상의 거의 모든 일반 지식을 학습했다. 그런데 이 회사가 왜 이 가격을 받는지, 어떤 고객 유형에서 어떤 컴플레인이 반복되는지, 지난 분기에 왜 그 결정을 내렸는지는 모델 안에 없다. 그건 오직 그 회사 안에만 있는 정보다. 그 정보를 넘겨주지 않으면 아무리 뛰어난 모델도 신입사원과 똑같은 대답만 내놓는다.
"제일 좋은 모델을 쓰면 결과도 제일 좋을 것이다"라는 말이 있다. 틀린 말은 아니다. 하지만 여기엔 전제가 있다. 그 모델이 참고할 회사 고유의 컨텍스트가 이미 준비되어 있어야 한다는 전제다. 이 전제가 빠진 채로 모델만 최신으로 바꾸는 회사들은 매번 같은 실망을 반복한다. 문제는 수도꼭지가 아니라 수원지에 있는데, 다들 수도꼭지만 바꾸고 있는 셈이다.
지식베이스는 문서 창고가 아니라 판단의 이력이다
여기서 오해가 하나 생긴다. "그럼 사규집이랑 매뉴얼을 다 업로드하면 되는 거 아니냐"는 반문이다. 도움이 안 되는 건 아니지만 이것만으로는 부족하다. 진짜 값진 지식은 매뉴얼에 적힌 원칙이 아니라, 그 원칙이 현실에서 예외를 만났을 때 어떻게 처리했는지에 대한 이력이다. "환불 규정은 이렇다"는 매뉴얼 한 줄보다, "지난달 이런 애매한 케이스가 왔고, 우리는 이런 이유로 이렇게 처리했다"는 구체적 사례 백 건이 훨씬 많은 것을 알려준다. 이 이력은 대체로 문서로 남지 않는다. 담당자의 머릿속에, 지나간 메신저 대화방에, 아무도 다시 열어보지 않는 이메일 스레드에 흩어져 있다. 지식베이스를 만든다는 건 이 흩어진 판단의 흔적들을 모아 에이전트가 참고할 수 있는 형태로 정리하는 일이다. 그리고 이 작업은 한 번 하고 끝나는 게 아니다. 오늘 처리한 판단 하나하나가 내일의 컨텍스트가 되도록, 계속 쌓이고 갱신되는 구조로 만들어야 한다.
순서를 바꾸면 도입이 실패로 끝난다
많은 회사가 순서를 거꾸로 밟는다. 제일 좋은 에이전트 도구부터 계약하고, 그다음에 뭘 먹일지 고민한다. 이 순서로는 몇 달 안에 "AI 도입해봤는데 별거 없더라"는 결론에 도달한다. 정확히는 AI가 별거 없는 게 아니라, 먹일 게 없어서 별거 없는 답만 나온 거다. 순서를 바꿔야 한다. 지식베이스를 먼저 정리하고 — 우리 회사가 반복적으로 마주치는 판단이 뭔지, 그 판단을 어떤 기준으로 내려왔는지부터 언어로 정리하고 — 그 위에 에이전트를 얹어야 한다. 이 순서를 지킨 회사들은 모델을 딱히 최신 것으로 바꾸지 않아도 훨씬 쓸모 있는 답을 받는다. 지식베이스가 두꺼운 회사에서는 평범한 모델도 좋은 컨설턴트처럼 일하고, 지식베이스가 텅 빈 회사에서는 제일 비싼 모델도 신입사원처럼 일한다.
결국 AI 도입의 성패를 가르는 건 어떤 모델을 골랐느냐가 아니라, 그 모델에게 넘겨줄 만큼 회사가 스스로에 대해 얼마나 정리해두었느냐다. 모델은 이제 거의 다 비슷하게 똑똑해졌다. 차이를 만드는 건 회사가 자기 안에 쌓아온 지식을 얼마나 꺼내 쓸 수 있는 형태로 만들어두었느냐이고, 이 작업은 다른 누구도 대신 해줄 수 없는 그 회사만의 자산이다. 모델을 고르는 데 쓰는 시간의 절반이라도 지식베이스를 정리하는 데 먼저 쓰는 회사가 늘어나길 바래본다.