스타트업과 중견기업의 AI 조직 설계 차이 — 전담조직인가 전사 분산인가

AI를 도입하려는 회사가 조직 설계를 고민할 때 가장 먼저 부딪히는 질문은 보통 이렇게 정리된다. 전문 인력을 한곳에 모아 전담조직을 만들 것인가, 아니면 각 부서가 자기 업무에 맞게 각자 도구를 들이게 할 것인가. 실제로 이 질문에 대한 답은 회사 규모에 따라 전혀 다른 모양을 띤다. 대기업의 고민과 중견기업의 고민이 같은 질문처럼 보이지만 실은 다른 문제라는 점이 자주 간과된다.

대기업이 수렴하는 지점: 허브 앤 스포크

제이피모건체이스(JPMorgan Chase)는 머신러닝 전문가들을 모은 전담조직(Machine Learning Center of Excellence, MLCOE)을 최고데이터분석책임자(Chief Data & Analytics Officer) 산하에 두고 있다. 이 조직은 투자은행 부문부터 소비자금융 부문까지 회사 전체 사업 라인의 머신러닝 과제를 지원하는 역할을 맡는다. 우버(Uber)는 미켈란젤로(Michelangelo)라는 중앙 머신러닝 플랫폼 팀을 두고 각 제품팀에 모델 구축 인프라를 서비스 형태로 제공해왔다. 두 사례 모두 희소한 전문 인력과 인프라를 한곳에 모아 효율을 높이되, 실제 활용은 각 사업부가 담당하는 구조다.

깃랩(GitLab)은 이 구조를 회사 운영 매뉴얼에 공개적으로 명시해 놓았다. 중앙 플랫폼 허브가 공통 인프라와 표준을 관리하고, 기능별로 하나씩 둔 스포크 조직이 실제 적용을 담당하며, 각 부서에 흩어진 챔피언들이 현장 확산을 돕는 삼중 구조다. 데이터 분석 기업 데이티쿠(Dataiku)는 AI를 성공적으로 확장한 기업일수록 평균보다 세 배 더 자주 이런 허브 앤 스포크(hub-and-spoke) 구조를 쓰고 있다고 밝혔다. 다만 이 수치는 데이티쿠가 2차 인용한 자료이고 벤더 자체 조사라는 한계가 있어, 방향성 참고 이상으로 받아들이기는 어렵다.

전담조직이 만들어내는 새로운 병목

그런데 전담조직 모델도 시간이 지나면 다른 문제를 만든다. 전담조직이 처음에는 희소 인력을 모으고 표준을 세우는 역할을 하지만, AI 수요가 회사 전체로 퍼지면 모든 부서의 과제가 같은 좁은 문을 통과해야 하는 상황이 벌어진다. 2026년 7월 올라온 한 실무자 분석은 이 현상을 전담조직이 승인권자이면서 동시에 실행자 역할까지 떠안게 되는 구조적 모순으로 짚는다. 승인을 내주는 조직이 직접 만들기까지 해야 하니 대기 줄이 길어질 수밖에 없다는 것이다. 이 분석이 제시하는 대안은 단순하다. 공통 기반(데이터 파이프라인, 모델 접근 권한, 보안 표준)은 중앙에서 통제하되, 실제로 어떤 과제에 AI를 적용할지 결정하는 권한은 각 부서로 넘기라는 것이다.

분산이 만들어내는 그림자 AI

반대로 전담조직 없이 각 부서가 자율적으로 AI 도구를 들이게 하면 다른 종류의 비용이 쌓인다. 업무 자동화 플랫폼 자피어(Zapier)가 미국 기업 리더 500여 명을 대상으로 진행한 조사에서는 응답 기업의 28퍼센트가 10개 이상의 서로 다른 AI 애플리케이션을 쓰고 있다고 답했는데, 이 중 적절한 승인 절차를 거쳐 도입됐다고 답한 비율은 35퍼센트에 그쳤다. 디지털 신뢰 전문가 3,400명을 대상으로 한 국제정보시스템감사통제협회(ISACA)의 2026년 설문에서는 응답자의 90퍼센트가 조직 내 직원들이 AI를 쓰고 있다고 답했지만, 포괄적인 AI 정책을 갖추고 있다고 답한 비율은 38퍼센트에 불과했다. 각 부서가 빠르게 도구를 들여 당장의 생산성은 올라가지만, 같은 업무를 서로 다른 도구로 중복 처리하거나 아무도 전체 현황을 파악하지 못하는 상태가 누적되는 셈이다.

중견기업은 애초에 다른 질문을 던져야 한다

여기서 눈여겨볼 점은 지금까지 언급한 사례 모두가 수만 명 규모 조직의 이야기라는 것이다. 전담조직 모델이 성립하려면 희소한 전문 인력을 모아둘 만큼의 인력 풀과, 그 조직을 유지할 예산이 필요하다. 허브 앤 스포크 모델이 성립하려면 스포크 역할을 할 만큼 뚜렷하게 구분된 사업부가 여러 개 있어야 한다. 직원 수백 명 규모의 중견기업에는 둘 다 해당하지 않는 경우가 많다. 전담조직을 만들 만한 인력 풀도 없고, 스포크를 둘 만큼 사업부가 세분화돼 있지도 않다.

그렇다면 중견기업이 던져야 할 질문은 중앙화냐 분산이냐가 아니라 더 작은 범위의 질문이다. 데이터 보안 기준, 외부 AI 도구 도입 시 거쳐야 할 최소 승인 절차, 부서 간 중복 투자를 막기 위한 공통 표준처럼 꼭 필요한 공통 기반만 누군가 책임지고 정하게 하고, 실제로 어떤 업무에 AI를 적용할지는 각 부서장이 판단하게 하는 가벼운 형태다. 앞서 언급한 "공통 기반은 중앙에서, 적용 결정은 현장에서"라는 원칙은 대기업뿐 아니라 중견기업에도 그대로 적용된다. 다만 중견기업에서는 그 중앙의 역할을 전담 인력 몇 명이 아니라, 기존 경영기획이나 IT 담당자가 겸임하는 형태로도 충분히 수행할 수 있다는 점이 다르다.

한국 중견기업이 AI 조직 설계를 고민할 때 흔히 저지르는 실수는 대기업의 전담조직 모델을 규모만 줄여 그대로 베끼거나, 반대로 아무런 공통 기준 없이 각 부서에 전면 위임하는 두 극단 중 하나를 택하는 것이다. 둘 다 앞서 본 문제, 즉 권한 없는 병목 조직 혹은 통제 안 되는 섀도 AI로 수렴한다. 필요한 것은 직함이나 조직도가 아니라, 공통 기준을 누가 정하고 적용 결정을 누가 내리는지를 먼저 분리해서 답하는 작업이다.

스타트업과 중견기업의 AI 조직 설계 차이 — 전담조직인가 전사 분산인가

대기업이 수렴하는 지점: 허브 앤 스포크

전담조직이 만들어내는 새로운 병목

분산이 만들어내는 그림자 AI

중견기업은 애초에 다른 질문을 던져야 한다

참고한 자료

글보다 직접 만져보는 게 빠릅니다