AI 도입에 필요한 데이터 정리, 어디까지 해야 하나

AI 도입을 검토하는 경영자가 가장 자주 듣는 조언은 "데이터부터 정리하라"다. 틀린 말은 아니다. 문제는 그 정리를 어디까지 해야 끝인지 아무도 명확히 답해주지 않는다는 점이다. 그래서 일부 회사는 전사 데이터를 깨끗이 정돈한 뒤에야 AI를 쓰겠다며 몇 달, 몇 년을 데이터 정비에 쏟고, 다른 회사는 정리를 통째로 건너뛴 채 도구부터 계약한다. 두 쪽 다 실패로 가는 길이라는 것이 최근 조사들이 가리키는 결론이다.

완벽을 기다리다 시작도 못 하는 쪽

가트너(Gartner)는 2025년 2월 발표에서, 2026년까지 AI 도입에 적합한 데이터를 갖추지 못한 조직의 AI 프로젝트 60%가 중단될 것으로 전망했다. 같은 발표가 인용한 2024년 7월 설문(데이터 관리 책임자 1,203명 대상)에서는 응답자의 63%가 AI에 맞는 데이터 관리 체계를 갖추지 못했거나, 갖췄는지 확신하지 못한다고 답했다. 이 숫자만 보면 "데이터부터 완벽히 정리해야 한다"는 결론으로 이어지기 쉽다.

그런데 완벽을 추구하는 쪽도 성과가 좋지 않다. 데이터 인프라 업체 클라우데라(Cloudera)가 2026년 8월 데이터·인프라 책임자 1,500명을 대상으로 실시한 조사에서는 응답 기업의 95%가 거버넌스·컴플라이언스·규제 문제로 AI 작업을 지연하거나 취소한 적이 있다고 답했다. 72%는 지금의 데이터 아키텍처가 앞으로의 AI 요구를 감당하려면 대대적인 개편이 필요하다고 봤다. 프라이버시 기술업체 트랜센드(Transcend)가 2026년 직원 5천 명 이상 기업의 책임자 228명을 조사한 결과에서는 AI 관련 엔지니어링 작업 시간의 77%가 기능 개발이 아니라 데이터 복구와 거버넌스 문제 처리에 들어가고 있었다. 전사 데이터를 흠 없이 정돈하겠다는 목표를 세운 조직일수록 이 비율이 높아지는 경향이 있다. 정리 작업 자체가 끝나지 않는 일이 되어버리는 것이다.

건너뛰고 시작해 착각에 빠지는 쪽

반대편 함정은 더 눈에 띄지 않는다. 데이터 이동 업체 파이브트랜(Fivetran)이 2025년 5월 발표한 조사에서는 응답 기업의 42%가 AI 프로젝트의 절반 이상이 데이터 준비 문제로 지연·부진·실패를 겪었다고 답했다. 같은 조사에서 59%는 데이터 관리에서 가장 큰 과제로 규제 대응을 꼽았다. 이 숫자들이 가리키는 현장은 대개 이런 모습이다. 담당자가 파일럿을 위해 데이터를 손으로 추출하고 다듬어 넣는다. 파일럿은 잘 돌아간다. 경영진은 이를 "우리 데이터가 AI를 받아낼 준비가 됐다"는 증거로 받아들인다. 그런데 그 파일럿이 증명한 것은 모델이 그 데이터로 작동한다는 사실뿐이다. 담당자가 손으로 골라 다듬은 그 데이터 자체가 평소 조직이 쌓는 데이터의 실제 상태는 아니었다는 점은 가려진다. 전체 시스템으로 확장하는 순간, 파일럿에서는 보이지 않던 결측치와 중복, 오래된 레코드가 한꺼번에 드러난다.

그래서 기준선은 어디인가

두 함정을 겹쳐 보면 공통된 처방이 나온다. 데이터 정리의 범위를 전사가 아니라 특정 업무 하나로 좁히는 것이다. 전사 데이터 품질을 한꺼번에 끌어올리겠다는 목표는 끝이 보이지 않아 어느 조직도 완결하지 못한다. 반면 "이 업무에 AI를 쓴다"고 범위를 정하면, 그 업무가 실제로 참조할 데이터가 무엇이고 그 데이터에 어떤 결측·중복·오래된 값이 있는지는 유한한 목록으로 확인할 수 있다. 정리 대상도 그 목록으로 한정된다.

이때 점검할 것은 완성도가 아니라 두 가지다. 첫째, 이 업무에서 AI가 틀린 답을 냈을 때 실제로 어떤 피해가 생기는가. 둘째, 그 피해가 발생했을 때 사람이 알아채고 고칠 수 있는 장치가 있는가. 피해가 가벼운 업무(초안 작성, 내부 검색)는 데이터가 다소 거칠어도 바로 시작해 쓰면서 고치는 쪽이 낫다. 피해가 무거운 업무(고객 응대, 재무 보고, 규제 대응)는 그 업무가 참조하는 데이터의 범위에서만큼은 접근성·최신성·정확성을 먼저 확인해야 한다. 그리고 파일럿이 잘 됐다고 해서 그 성공을 곧바로 전체 조직의 데이터 상태에 대한 증명으로 받아들이지 않아야 한다. 파일럿에서 쓴 데이터가 손으로 다듬어진 것인지, 평소 조직이 쌓는 데이터 그대로인지를 구분하는 것이 확장 단계에서 실패를 줄이는 가장 값싼 점검이다.

한국 기업에 주는 시사점

한국의 중소·중견기업에서 이 질문은 대개 둘 중 하나의 형태로 나타난다. "데이터가 엉망이라 아직 AI를 쓸 때가 아니다"라거나, 반대로 "일단 도구부터 넣고 보자"다. 둘 다 범위를 정하지 않은 채 내리는 판단이라는 공통점이 있다. 정리의 끝을 전사 차원에서 정의하려 하면 항상 못 미치는 상태로 남고, 정리를 아예 생략하면 파일럿의 성공이 착시를 만든다. 범위를 업무 단위로 좁혀 그 업무에 필요한 데이터만 먼저 확인하고, 확장할 때마다 그 범위를 넓혀가는 쪽이 실제로 끝을 볼 수 있는 유일한 방법이다.

AI 도입에 필요한 데이터 정리, 어디까지 해야 하나

완벽을 기다리다 시작도 못 하는 쪽

건너뛰고 시작해 착각에 빠지는 쪽

그래서 기준선은 어디인가

한국 기업에 주는 시사점

참고한 자료

글보다 직접 만져보는 게 빠릅니다