챗봇 하나로는 안 된다 — 다중 에이전트 체계로 넘어가는 기업들

지난 2년간 기업의 생성형 AI 도입은 대체로 같은 모양이었다. 사내 문서를 학습시킨 챗봇 하나를 만들고, 직원이 질문하면 답을 준다. 이 방식은 검색 시간을 줄여주지만 업무를 대신 끝내주지는 못한다. 2026년 들어 눈에 띄는 변화는 이 단일 챗봇을 여러 개의 전문 에이전트로 쪼개고, 그 에이전트들이 서로 작업을 주고받도록 조율하는 오케스트레이션 체계로 옮겨가는 기업이 늘고 있다는 점이다.

왜 한 개의 에이전트로는 한계가 오는가

시장 조사기관 가트너(Gartner)는 2025년 8월 발표에서 2026년 말까지 기업용 애플리케이션의 40%가 특정 업무 전용 AI 에이전트를 내장할 것이라고 전망했다. 2025년 기준 5% 미만이었던 수치가 1년 만에 8배로 뛴다는 예측이다. 가트너는 이 흐름이 궁극적으로 2029년경 다중 에이전트 생태계로 이어질 것이라고 설명한다.

문제는 에이전트 하나가 처리할 수 있는 업무 범위가 생각보다 좁다는 데 있다. 리드 발굴부터 자격 심사, 견적, 계약까지 이어지는 영업 프로세스나, 의료진 관계 관리부터 마케팅 캠페인, 규제 대응까지 걸쳐 있는 제약사 고객 관리처럼 여러 단계와 여러 데이터 소스를 넘나드는 업무는 범용 챗봇 하나로 감당하기 어렵다. 그래서 기업들은 리드에 응대하는 에이전트, 조건을 심사하는 에이전트, 기존 시스템에 기록을 남기는 에이전트를 따로 만들고 이들이 순서대로 업무를 넘기게 하는 방식으로 옮겨가고 있다.

세일즈포스(Salesforce)가 발표한 "에이전틱 엔터프라이즈 인덱스" 조사에 따르면 조사 대상 기업의 83%가 이미 어떤 형태로든 팀 대부분 또는 전부가 AI 에이전트를 쓰고 있다고 답했다. 그런데 그중 절반의 에이전트는 여전히 서로 연결되지 않은 채 개별 업무만 고립적으로 처리하고 있었다. 도입은 끝났지만 조율은 시작되지 않은 상태다.

실제로 무엇이 바뀌었나 — 두 개의 공개 사례

지멘스는 2026년 9월 세일즈포스와 함께 공개한 사례에서 매달 2,500건 넘게 들어오는 인바운드 리드를 132개국에 흩어진 영업 조직이 어떻게 처리할지 구조적인 문제를 겪고 있었다고 밝혔다. 리드가 들어와도 어느 담당자에게 배정해야 할지, 애초에 살펴볼 가치가 있는 리드인지조차 판단할 방법이 없었다. 회사는 이를 챗봇 하나가 아니라 두 개의 에이전트로 나눠 해결했다. 참여 에이전트가 신규 리드에 먼저 접촉해 관심도를 확인하고, 관심을 보인 잠재고객만 심사 에이전트로 넘긴다. 심사 에이전트는 예산·의사결정권·필요·시점 같은 기준을 정해진 순서로 확인한 뒤 가장 가능성 높은 기회만 담당 영업자에게 배정한다. 특히 심사 단계는 AI가 대화 흐름을 임의로 판단하게 두지 않고 정해진 다단계 논리와 명시적 전환 규칙을 따르도록 재구성했다. 그 결과 132개국 전체 인바운드 리드에 대한 응답률이 100%에 도달했고, 최초 응답까지 걸리던 시간은 며칠에서 분 단위로 줄었다.

제약사 아스트라제네카는 2025년 12월 세일즈포스의 제약 산업 전용 에이전트 플랫폼을 전사 고객 관계 관리의 단일 기반으로 채택하면서, 무선통신사업부(MuleSoft)의 에이전트 조율 계층을 함께 도입해 현장 영업, 상업 운영, 여러 브랜드와 지역에 흩어진 내부·외부 에이전트 활동을 하나의 체계로 묶겠다고 밝혔다. 부서마다 따로 만든 챗봇들이 아니라 의료진 데이터와 맥락을 부서 간에 공유하며 다음 행동을 함께 판단하는 구조를 지향한다는 점에서 지멘스 사례와 방향이 같다. 이런 조율 계층 자체도 별도 시장으로 자리 잡고 있다. 세일즈포스는 2025년 9월 여러 공급사의 에이전트를 한 화면에서 찾고 연결하고 통제하는 조율·거버넌스 플랫폼을 출시했고, 2026년 4월에는 규칙 기반 가드레일과 비용·규정 준수를 관리하는 중앙 거버넌스 기능을 추가했다.

에이전트를 나누는 이유가 업무 조율에만 있는 것은 아니다. 앤스로픽(Anthropic)이 2025년 6월 공개한 자체 리서치 도구 개발기에 따르면, 하나의 리드 에이전트가 조사 전략을 세우고 서너 개의 서브 에이전트를 동시에 붙여 각자 다른 정보원을 병렬로 훑게 한 뒤 결과를 종합하는 구조가 단일 에이전트보다 내부 평가에서 90.2% 더 나은 성과를 냈다. 다만 같은 글은 이 구조가 표준 대화형 사용보다 토큰을 약 15배 더 소모한다고 밝히고 있어, 결과의 가치가 그 비용을 상회하는 업무에만 적용해야 한다는 단서를 달았다.

한계와 회의론

이 전환이 순조롭기만 한 것은 아니다. 가트너는 별도의 2025년 6월 발표에서 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 취소될 것이라고 전망했다. 근거로 든 것은 예상보다 커지는 비용, 불분명한 사업 가치, 미흡한 리스크 통제였다. 가트너는 지금 나온 에이전트 프로젝트 대다수가 초기 실험 단계에 머물러 있고, 기존 챗봇이나 업무 자동화(RPA) 제품에 '에이전트'라는 이름표만 새로 붙인 "에이전트 워싱" 사례도 적지 않다고 지적했다.

프로덕션까지 가는 회사 자체가 소수라는 점도 같은 그림을 보여준다. 딜로이트(Deloitte)가 2025년 6~7월 미국 기술 리더 500명을 대상으로 진행한 조사에서는 38%가 에이전트를 파일럿 단계에서 운영해봤다고 답했지만, 실제로 프로덕션에서 운영 중인 곳은 11%에 그쳤다. 에이전트를 여러 개로 늘리는 일은 각 에이전트의 권한 범위, 실패 대응, 에이전트 간 데이터 접근 통제 같은 거버넌스 문제를 그만큼 배가시킨다. 지멘스 사례에서 심사 에이전트에 임의 판단이 아닌 고정된 규칙을 부여한 이유도 여기에 있다. 여러 에이전트가 자율적으로 판단하게 둘수록 예측 불가능성이 커지기 때문에, 실제 현장에서는 자율성보다 통제 가능한 논리를 우선하는 설계가 자리 잡고 있다.

한국 기업에 주는 시사점

한국 기업 다수는 아직 사내 챗봇 도입 단계에 머물러 있고, 이는 이상한 일이 아니다. 문제는 그 다음 단계를 준비하지 않고 챗봇 하나로 모든 업무를 밀어 넣으려 할 때 생긴다. 영업이든 고객관리든 여러 부서와 여러 시스템에 걸친 업무를 한 개의 범용 도구로 처리하려는 시도는 지멘스가 겪었던 것과 같은 병목에 부딪힌다. 다중 에이전트로의 전환을 준비한다는 것은 값비싼 신기술을 도입하는 일이 아니라, 업무를 먼저 몇 개의 독립된 단계로 명확히 쪼개고 각 단계에 정해진 규칙과 권한 범위를 부여하는 설계 작업에 가깝다. 그 설계가 없는 상태에서 에이전트 숫자만 늘리면 가트너가 경고한 취소 프로젝트 목록에 하나를 더 보태는 결과로 이어질 가능성이 크다.

챗봇 하나로는 안 된다 — 다중 에이전트 체계로 넘어가는 기업들

왜 한 개의 에이전트로는 한계가 오는가

실제로 무엇이 바뀌었나 — 두 개의 공개 사례

한계와 회의론

한국 기업에 주는 시사점

참고한 자료

글보다 직접 만져보는 게 빠릅니다