AI 도입, 무엇부터 해야 하나 — 순서를 틀리는 회사들의 공통점

AI 도입을 검토하는 경영자가 가장 먼저 마주치는 질문은 "어떤 도구를 쓸 것인가"다. 그런데 최근 나온 여러 조사는 실패의 원인이 도구 선택이 아니라 순서에 있다고 말한다. 무엇을 먼저 하고 무엇을 나중에 했는지가 성패를 가른다는 뜻이다.

챗봇부터 만든 회사들의 결과

매사추세츠 공과대학(MIT) 미디어랩의 프로젝트 난다(Project NANDA)가 2025년 8월 발표한 "젠에이아이 디바이드(The GenAI Divide)" 보고서는 기업 임원 52명 인터뷰, 리더 153명 설문, 실제 배포 사례 300건을 분석했다. 결론은 명확했다. 전 세계 기업이 생성형 AI에 투입한 300억~400억 달러(약 42조~56조원) 가운데 95퍼센트의 파일럿 프로젝트가 손익에 측정 가능한 영향을 남기지 못했다는 것이다. 보고서는 이를 "학습 격차"라고 불렀다. 모델 성능이 부족해서가 아니라, 그 모델을 실제 업무 흐름과 조직 구조에 녹여 넣는 능력이 부족해서 생기는 격차라는 뜻이다. 챗지피티 같은 범용 도구는 개인이 쓸 때는 유연해서 편리하지만, 기업 업무에 들어가면 그 업무의 맥락을 학습하거나 반영하지 못한 채 겉돈다는 것이 보고서가 지목한 핵심 원인이다.

같은 시기 가트너(Gartner)가 내놓은 예측도 방향이 같다. 가트너는 2026년까지 AI 준비가 되지 않은 데이터를 기반으로 진행되는 AI 프로젝트의 60퍼센트가 중단될 것으로 내다봤다. 던 앤 브래드스트리트(Dun & Bradstreet)가 기업 1만 곳을 조사한 결과에서는 97퍼센트가 AI 관련 사업을 이미 벌이고 있다고 답했지만, 정작 자사 데이터가 AI를 대규모로 뒷받침할 수준으로 정리돼 있다고 답한 곳은 5퍼센트에 그쳤다. 열에 아홉은 도구를 도입해 놓고 그 도구가 딛고 설 바닥은 만들지 않은 셈이다.

성공한 5퍼센트는 무엇을 먼저 했나

같은 MIT 보고서는 성과를 낸 나머지 5퍼센트가 공통적으로 밟은 순서도 함께 짚었다. 이들은 화려한 고객 응대 챗봇이 아니라 눈에 잘 띄지 않는 백오피스 업무, 이를테면 서류 처리·조달·심사처럼 절차가 이미 명확하게 정의된 업무 하나를 먼저 골라 그 업무 흐름에 AI를 정교하게 맞춰 넣었다. 보고서에 소개된 사례들에서는 이렇게 좁혀서 시작한 프로젝트가 외주 비용 절감이나 인력 재배치를 통해 연간 200만~1,000만 달러(약 28억~140억원) 규모의 절감 효과를 냈다. 흥미로운 점은 예산 배분의 방향이 반대였다는 것이다. 조사 대상 기업들이 생성형 AI 예산의 절반 이상을 영업·마케팅 쪽 도구에 썼는데, 정작 눈에 보이는 성과는 그보다 지루한 백오피스 자동화에서 더 크게 나왔다.

맥킨지(McKinsey)가 2025년 발표한 조사도 비슷한 결론에 도달한다. AI 성과에서 앞서는 기업들은 모델을 기존 업무 위에 얹는 것이 아니라 영업 매뉴얼이나 고객 지원 절차 같은 업무 흐름 자체를 다시 짠다. 이런 고성과 기업은 전환적 수준의 변화를 추진할 가능성이 일반 기업보다 3.6배 높았고, 55퍼센트는 AI를 도입하며 업무 절차를 근본적으로 다시 설계했다고 답했다. 반면 대다수 기업은 여전히 실험 단계에 머물러 있었다. 조직 전체로 AI를 확산했다고 답한 곳은 3분의 1 수준에 그쳤고, 부분적으로는 효과를 봤어도 회사 전체 손익에 영향을 줄 만큼 키우지는 못했다는 것이 조사의 요지다.

올바른 순서는 왜 지루한가

두 조사를 겹쳐 보면 실패하는 회사와 성공하는 회사의 순서 차이가 드러난다. 실패하는 쪽은 도구 선택에서 시작한다. 어떤 챗봇이 좋은지, 어떤 에이전트 플랫폼이 화제인지를 먼저 정하고 그다음에 어디에 쓸지를 고민한다. 성공하는 쪽은 반대로 움직인다. 먼저 어떤 업무를 대상으로 할지 좁게 정의하고, 그 업무에 필요한 데이터가 정리돼 있는지 확인한 다음, 마지막에 그 조건에 맞는 도구를 고른다. 순서가 바뀌면 결과도 바뀐다. 도구부터 고르면 그 도구가 처리할 수 있는 형태로 업무와 데이터를 억지로 끼워 맞추게 되고, 현장은 그 부자연스러움을 곧바로 감지해 도구를 쓰지 않는다. 업무 정의부터 시작하면 도구는 그저 그 정의를 실행하는 수단이 되고, 현장은 이미 자기 업무라고 인식한 절차가 조금 빨라졌다고 느낀다.

이 순서가 잘 지켜지지 않는 이유는 단순하다. 업무를 재정의하고 데이터를 정리하는 작업은 몇 주에서 몇 달이 걸리고 눈에 보이는 결과물이 없다. 반면 챗봇 데모는 하루 만에 만들 수 있고 회의실에서 바로 반응을 얻는다. 경영진 보고 일정이 짧을수록, 예산 승인 압박이 클수록 눈에 보이는 쪽을 먼저 고르는 유인이 커진다. 그런데 바로 그 지루한 구간을 건너뛴 대가가 앞서 본 95퍼센트라는 숫자다.

우리 회사는 어디서부터 시작해야 하나

이 순서를 회사에 적용하려면 도구 이름을 검색하기 전에 먼저 스스로에게 물어야 할 질문이 있다. 지금 AI로 개선하려는 업무가 이미 회사 안에서 절차로 문서화돼 있는가, 아니면 담당자 머릿속에만 있는가. 그 업무에 쓰이는 데이터가 한 곳에 정리돼 있는가, 아니면 여러 시스템과 사람의 메신저 대화에 흩어져 있는가. 이 업무의 성과를 측정할 지표가 이미 존재하는가, 아니면 AI를 넣고 나서야 만들 계획인가. 세 질문에 모두 그렇다고 답할 수 있는 업무가 있다면 그 업무가 시작점이고, 그렇지 않다면 도구를 고르기 전에 그 정리 작업이 먼저다.

한국의 중소·중견기업 상황에서 이 순서는 더 중요하다. 데이터 인프라에 투입할 수 있는 예산과 인력이 대기업보다 제한적인 만큼, 잘못된 순서로 시작했을 때 되돌릴 여력도 그만큼 작다. 화제성 있는 도구를 먼저 들이는 대신, 매출이나 비용에 직접 연결되는 업무 한둘을 골라 그 업무의 데이터와 절차부터 정리하는 쪽이 결과적으로 더 빠른 길이라는 것이 두 조사가 공통으로 가리키는 지점이다.

AI 도입, 무엇부터 해야 하나 — 순서를 틀리는 회사들의 공통점

챗봇부터 만든 회사들의 결과

성공한 5퍼센트는 무엇을 먼저 했나

올바른 순서는 왜 지루한가

우리 회사는 어디서부터 시작해야 하나

참고한 자료

글보다 직접 만져보는 게 빠릅니다