AI 벤더·솔루션 계약의 함정 — 도입 실패로 이어지는 계약 조항들

경영진이 AI 솔루션을 검토할 때 가장 많은 시간이 들어가는 단계는 보통 데모와 기능 비교다. 어느 모델이 더 정확한지, 어느 제품이 우리 업무에 더 잘 맞는지를 따진다. 계약서는 그 다음이다. 표준 약관을 법무팀이 한 차례 훑고 서명하는 경우가 많다. 그런데 해외에서 AI 솔루션 도입이 소송으로 번지거나 대규모 매몰 비용으로 끝난 사례를 들여다보면, 실패의 시작점이 모델의 성능이 아니라 계약서의 조항이었던 경우가 드물지 않다.

가장 널리 인용되는 선례는 생성형 AI 이전인 2012년부터 2016년까지 미국 MD앤더슨 암센터(MD Anderson Cancer Center)와 IBM 왓슨(Watson)이 추진한 '온콜로지 전문가 어드바이저' 프로젝트다. 양측은 6,210만 달러(약 900억원)를 투입했지만 제품은 임상에 투입되지도, 다른 기관에 시범 적용되지도 못한 채 2016년 사업이 종료됐다. 텍사스대 감사 결과 왓슨이 병원이 새로 도입한 전자의무기록 시스템과 호환되지 않아 다시 개발해야 하는 상황이었고, 조달 과정에서도 경쟁 없이 체결된 계약이 다수 발견됐다. 기술이 멈춘 게 아니라, 시스템이 바뀌어도 계약이 그 변화를 따라가지 못했고 빠져나올 장치도 마련돼 있지 않았던 셈이다. 이 구조는 생성형 AI 시대에도 그대로 반복되고 있다.

데이터는 누구의 것인가 — 학습권 조항

업계 분석을 종합하면, 최근 체결되는 엔터프라이즈 AI·SaaS 계약에는 '서비스 개선'이나 '집계 데이터 활용' 같은 제목의 하위 조항에 벤더가 고객의 프롬프트와 결과물, 심지어 소스코드나 재무 문서까지 모델 학습에 쓸 수 있는 권리를 기본값으로 담아두는 경우가 많다고 지적된다. 문제는 이 기본값을 꺼두는 방법이 계약서 조항이 아니라 관리자 콘솔의 토글 하나로 돼 있는 경우가 흔하다는 점이다. 콘솔 설정은 벤더가 약관 개정 없이 되돌릴 수 있지만, 계약서에 명시된 금지 조항은 그렇게 쉽게 되돌릴 수 없다. 이 차이를 모르고 서명하면, 회사의 민감한 데이터가 다른 고객을 위한 모델 개선에 쓰이고 있다는 사실을 한참 뒤에야 알게 되는 일이 생긴다.

사고가 나면 누가 책임지는가 — 책임 한도의 비대칭

2024년 캐나다 브리티시컬럼비아주 민사분쟁심판원은 에어캐나다(Air Canada) 사건에서, 홈페이지의 AI 챗봇이 상주 조위금 요금제를 잘못 안내했더라도 항공사가 그 정보에 책임을 져야 한다고 판단했다. 심판원은 "챗봇은 별도의 법적 주체"라는 항공사의 주장을 받아들이지 않았고, 항공사가 챗봇의 정확성을 확보하기 위한 합리적인 조치를 하지 않았다고 지적했다. 즉 AI를 도입한 회사는 그 AI가 만든 결과에서 벤더와의 계약 내용과 무관하게 고객을 상대로는 책임에서 벗어나기 어렵다.

그런데 벤더와의 계약서를 보면 이 책임이 균형 있게 분배돼 있지 않은 경우가 많다. 업계 분석에 따르면 다수의 AI 벤더 계약은 자신의 책임 한도를 "직전 12개월간 지급된 구독료" 수준으로 못박아 두는 반면, AI 결과물의 오류로 고객이 입을 수 있는 손실은 그보다 수십, 수백 배 커질 수 있다. 면책 조항도 비슷한 비대칭을 보인다. 벤더가 학습 데이터의 지식재산권 침해는 면책해 주는 경우가 많지만, 모델이 실제로 생성한 결과물에 대해서는 면책하지 않는 경우가 흔하다고 알려져 있다. 미국에서 진행 중인 모블리 대 워크데이(Mobley v. Workday) 소송은 이 구도를 다른 방향에서 보여준다. 2023년 제기된 이 소송은 워크데이의 AI 채용 심사 도구가 40세 이상 지원자를 차별했다는 주장으로, 2025년 5월 미국 연방법원이 집단소송으로 진행할 수 있다고 판단했고 같은 해 8월에는 적용 범위가 확대됐다. 워크데이 자신이 처리·거부한 지원서가 약 11억 건에 달한다고 법원 제출 자료에서 밝혀, 미국에서 가장 큰 규모의 AI 채용 소송으로 꼽힌다. 벤더의 도구를 쓴 고객사뿐 아니라 벤더 자신도 직접 피소 대상이 될 수 있다는 점에서, 책임 한도 조항 하나로 문제가 끝나지 않는다는 사실을 보여준다.

못 빠져나가는 계약 — 전환 비용과 단독 변경권

MD앤더슨 사례가 보여준 또 다른 함정은 기술적 종속이다. 벤더의 도구가 자사의 다른 시스템과 깊이 얽힐수록, 나중에 시스템을 바꾸거나 벤더를 교체하려 할 때 드는 비용이 눈덩이처럼 커진다. 최근 계약에서는 이 종속이 조항으로도 나타난다. 업계 분석에 따르면 다수의 엔터프라이즈 AI 계약에는 벤더가 30일에서 90일 전 통지만으로 약관을 바꿀 수 있는 단독 변경권이 포함돼 있고, 이 권리로 학습 데이터 활용 범위를 넓히거나 서비스 수준 약속을 낮추거나 데이터 저장 위치를 바꾸는 일이 가능하다고 지적된다. 컨설팅사 가트너(Gartner)는 2026년 9월 발행한 보고서에서 조달 담당 임원들이 레거시 계약 구조 때문에 AI 관련 책임이 조용히 하류로, 즉 고객 쪽으로 넘어가는 '가치 유출'을 겪고 있다고 진단하며, AI 계약을 모델·데이터·서비스라는 세 요소로 나눠 각각 책임 주체를 명시하는 협상 원칙을 제안했다.

한국 기업이 계약서에서 먼저 확인할 것들

한국의 중소·중견기업이 해외 AI 벤더와 계약하거나 국내 벤더의 표준 약관에 서명할 때도 같은 구조의 질문을 먼저 던질 필요가 있다. 학습권 금지가 콘솔 설정이 아니라 계약서 본문에 명시돼 있는지, 책임 한도가 실제 발생 가능한 손실 규모에 비해 터무니없이 작지는 않은지, 모델 결과물의 오류까지 면책 범위에 들어가는지, 약관을 벤더가 일방적으로 바꿀 수 있는 조건과 통지 기간이 합리적인지, 그리고 벤더를 교체해야 할 때 데이터와 학습 결과물을 실제로 가지고 나올 수 있는지다. 기술 데모에서는 보이지 않는 이 질문들이, 도입 후 몇 년이 지나 문제가 터졌을 때 비용을 누가 떠안을지를 결정한다.

AI 벤더·솔루션 계약의 함정 — 도입 실패로 이어지는 계약 조항들

데이터는 누구의 것인가 — 학습권 조항

사고가 나면 누가 책임지는가 — 책임 한도의 비대칭

못 빠져나가는 계약 — 전환 비용과 단독 변경권

한국 기업이 계약서에서 먼저 확인할 것들

참고한 자료

글보다 직접 만져보는 게 빠릅니다