AI 도입 전 데이터 준비도 점검 — 회사가 먼저 갖춰야 할 것들

기업용 소프트웨어 업체 클라우데라(Cloudera)가 하버드비즈니스리뷰 애널리틱 서비스와 함께 2026년 3월 발표한 조사에서, 자사 데이터가 AI 도입에 완전히 준비됐다고 답한 기업은 7%에 그쳤다. 27%는 데이터가 거의 준비되지 않았거나 전혀 준비되지 않았다고 답했다. 같은 회사가 두 달 뒤 발표한 별도 조사(전 세계 IT 리더 1,270명 대상)에서는 96%가 이미 AI를 핵심 업무에 통합했다고 답했고, 85%는 자사에 명확한 데이터 전략이 있다고 답했다. 그런데도 응답 기업의 약 80%는 시스템과 부서에 흩어진 데이터에 접근하기 어려워 AI·데이터 관련 작업이 여전히 제약을 받고 있다고 답했다. 클라우데라는 이 간극을 "AI 준비의 착시"라고 불렀다. 도입했다는 자신감과 실제로 돌아가는 데이터 기반 사이의 거리가 생각보다 멀다는 뜻이다.

숫자로 보는 간극

시장조사업체 IDC가 2026년 6월 발표한 조사에서는 IT 리더의 94%가 AI 프로젝트 성패를 가르는 가장 중요한 요인으로 데이터 품질을 꼽았다. IDC는 이 상황을 "야망은 어디에나 있지만 성숙도는 드물다"는 문장으로 요약했다. 딜로이트(Deloitte)가 24개국 3,235명의 경영진·IT 리더를 대상으로 실시한 "기업의 AI 현황 2026" 조사에서도 비슷한 결이 확인된다. 응답자들은 AI를 기존 업무에 통합하는 데 가장 큰 장벽으로 직원 역량 부족을 꼽았지만, 정작 84%는 AI에 맞춰 업무나 조직 구조를 다시 설계하지 않은 상태였다. 직원 교육에는 투자하면서, 그 직원이 다룰 데이터와 업무 절차 자체는 손대지 않은 채 AI 도구만 얹은 셈이다.

세 조사를 겹쳐 놓으면 공통된 그림이 나온다. 기업들은 AI를 들이는 데는 빨랐지만, 그 AI가 참고할 데이터를 어디에 뭐가 있고 얼마나 최신이며 얼마나 믿을 만한지 정리하는 데는 훨씬 느렸다. 그리고 이 격차는 통계로만 남지 않는다. 실제 손실로 이어진 사례가 있다.

준비되지 않은 데이터가 만든 실제 손실

2012년 미국 엠디앤더슨 암센터(MD Anderson Cancer Center)는 IBM 왓슨(Watson)을 도입해 암 진단 보조 도구로 쓰려 했다. 5년, 6,200만 달러(약 890억원)를 투입했지만 정작 실제 환자에게 한 번도 쓰이지 못한 채 계약이 끝났다. 언론 보도로 드러난 내부 문서에 따르면 왓슨은 안전하지 않거나 부정확한 치료법을 추천한 사례가 여러 건 있었다. 원인 중 하나로 지목된 것이 학습 데이터였다. 왓슨을 훈련시킨 데이터는 실제 환자들의 치료 경과가 아니라 특정 병원의 관행을 반영해 만든 가상의 가정 사례였다. 모델에게 먹인 데이터 자체가 실제 임상 현장과 동떨어져 있었던 셈이다.

2021년 부동산 플랫폼 질로우(Zillow)가 주택을 직접 사고파는 사업 "질로우 오퍼스(Zillow Offers)"를 접으며 해당 분기 4억 2,100만 달러(약 6,020억원)의 손실을 기록한 사례도 자주 인용된다. 이 사업은 과거 거래 데이터로 학습한 알고리즘이 매긴 주택 가격을 근거로 매입 여부를 결정했는데, 팬데믹 이후 시장이 급변하면서 과거 데이터가 학습했던 가격 패턴 자체가 더 이상 맞지 않게 됐다. 게다가 경영진이 월간 매입 목표를 채우려 알고리즘이 제시한 가격을 사람이 다시 올려 부르는 일이 반복됐다는 지적도 나온다. 시장 변화를 따라가지 못한 데이터에, 그 데이터를 목표치에 맞춰 임의로 조정한 조직 운영 문제가 겹친 사례다.

두 사례는 모델 선택보다 그 모델이 딛고 서는 데이터의 성격에서 문제가 시작됐다는 점에서 닮아 있다. 하나는 데이터가 실제 현장을 반영하지 못했고, 다른 하나는 데이터가 변화한 현실을 따라가지 못했다.

무엇을 먼저 갖춰야 하나

앞선 조사들과 사례를 겹쳐 보면 기업이 AI를 들이기 전에 확인해야 할 것은 대략 네 갈래로 정리된다. 첫째는 접근성이다. 필요한 데이터가 어느 시스템, 어느 부서에 흩어져 있는지, AI가 그 데이터에 실제로 닿을 수 있는지를 확인하는 일이다. 앞서 본 클라우데라 조사에서 응답 기업의 80%가 걸린 지점이 바로 여기다. 둘째는 신선도다. 데이터가 만들어진 시점과 지금 사이에 현실이 얼마나 바뀌었는지, 그 변화를 데이터가 따라가고 있는지를 점검해야 한다. 질로우 사례가 보여준 것이 이 신선도의 실패다. 셋째는 대표성이다. 학습에 쓰는 데이터가 실제로 그 AI가 다룰 현장을 얼마나 정확히 반영하는지를 봐야 한다. 왓슨 사례가 보여준 것이 이 대표성의 실패다. 넷째는 거버넌스, 즉 누가 이 데이터의 정확성과 최신성을 책임지고 갱신하는지를 정해두는 일이다. 데이터는 한 번 정리하면 끝나는 것이 아니라 계속 관리해야 하는 대상이기 때문이다.

한국 기업에 주는 시사점

한국의 중소·중견기업이 이 논의에서 얻을 수 있는 실질적 교훈은 순서다. AI 도구를 먼저 계약하고 그다음 데이터를 정리하는 순서로는, 앞서 본 조사에서 다수 기업이 겪은 것과 같은 "도입은 했지만 준비는 안 된" 상태에 머물기 쉽다. 반대로 우리 회사의 데이터가 어디에 있고, 얼마나 최신이며, 실제 업무를 얼마나 정확히 반영하는지를 먼저 점검한 기업은 그다음에 어떤 AI 도구를 들여도 성과를 낼 확률이 높아진다. 데이터 준비도 점검은 AI 도입의 전 단계가 아니라, 도입 전략 자체의 핵심 부분으로 다뤄야 한다.

AI 도입 전 데이터 준비도 점검 — 회사가 먼저 갖춰야 할 것들

숫자로 보는 간극

준비되지 않은 데이터가 만든 실제 손실

무엇을 먼저 갖춰야 하나

한국 기업에 주는 시사점

참고한 자료

글보다 직접 만져보는 게 빠릅니다