고객 문의를 받은 AI가 내용을 정리하고, 다른 AI가 환불 가능성을 판단한 뒤, 또 다른 AI가 결제 시스템을 수정하는 서비스를 검토하는 상황을 생각해 보겠습니다. 이때 사업 담당자가 먼저 정할 일은 AI가 얼마나 자연스럽게 대화하는지가 아닙니다. 우리 회사의 고객 정보와 업무 권한이 다음 AI로 어디까지 자동 전달되어도 되는지입니다.
다중 AI 에이전트 보안 기술은 위험한 답변을 걸러내는 기능 하나로 판단하기 어렵습니다. 여러 AI가 협업할수록 업무를 넘기는 지점도 늘어나기 때문입니다. 업체를 비교할 때는 AI의 수나 자동화 시연보다, 역할이 바뀔 때 권한과 책임도 함께 좁혀지는지를 보아야 합니다.
앞선 AI의 판단이 다음 AI의 권한이 되지 않게 한다
업무를 나누면 앞 단계 AI가 고객 요청, 첨부 문서, 내부 기록을 다음 단계에 전달합니다. 문제는 앞선 AI가 받은 내용이나 판단을 다음 AI가 검증 없이 실행 근거로 삼을 때 생깁니다. 문서 안에 잘못된 지시가 섞였거나, 다른 고객의 정보가 포함됐거나, 요청 자체가 부적절해도 마지막 AI가 넓은 권한으로 움직일 수 있습니다.
가령 환불 업무에서 상담 요약 AI는 문의 내용과 주문 이력을 읽을 수 있습니다. 그러나 환불을 확정할 필요까지는 없습니다. 정책 판단 AI도 가능 여부를 제안하면 충분하며, 고객 목록 전체를 내려받거나 결제를 변경할 이유는 없습니다. 결제를 수정하는 AI는 앞 단계의 설명만 믿지 않고 주문 상태, 금액, 환불 조건을 연결된 시스템에서 다시 확인해야 합니다.
핵심은 AI를 많이 나누는 일이 아니라, 역할마다 필요한 정보와 행동만 남기는 일입니다. 같은 역할을 반복하는 AI는 신원을 함께 쓸 수도 있습니다. 다만 여러 고객사나 부서의 데이터를 함께 다룬다면, 역할이 같아도 데이터 경계에 따라 권한이나 서비스 환경을 더 나누는 편이 안전할 수 있습니다.
업체 시연에서는 업무가 넘어가는 장면을 본다
“보안 기능 제공”, “다중 에이전트 지원”, “가드레일 적용”이라는 설명만으로는 운영 방식까지 알기 어렵습니다. 업체에는 정상적인 자동화 화면뿐 아니라, 판단이 틀렸거나 멈춰야 하는 상황을 보여 달라고 요청하는 편이 좋습니다. 누가 일을 시작했고, 어떤 정보가 다음 AI로 전달됐으며, 어느 시스템에서 어떤 행동이 실행됐는지를 역할별로 확인할 수 있어야 합니다.
상담 전에는 자동화하려는 업무 하나를 정한 뒤, 아래 세 가지를 물어보면 됩니다.
- 각 AI가 맡는 일과 접근 가능한 시스템을 역할별로 따로 보여줄 수 있나요? 한 AI의 계정과 권한을 다른 AI가 넓게 함께 쓰지 않는지 확인합니다.
- AI끼리 일을 넘길 때 무엇이 전달됐고, 누가 시작했으며, 어떤 권한으로 실행했는지 확인할 수 있나요? 대화 기록뿐 아니라 시스템 조회와 실행 결과까지 이어져야 합니다.
- 실행 전 무엇을 다시 확인하고, 잘못되면 어디까지 멈출 수 있나요? 주문·고객·정책 조건의 재확인, 역할이나 도구 연결만 즉시 중지하는 방법, 고객사·부서별 데이터 경계가 함께 답변에 들어가야 합니다.
좋은 답은 “기록이 남는다”에서 끝나지 않습니다. 예를 들어 환불 실행 AI가 어느 주문을 왜 처리했는지, 앞 단계에서 어떤 판단을 받았는지, 결제 시스템에서 무엇을 다시 확인했는지 설명할 수 있어야 합니다. 반대로 모든 AI가 공용 계정으로 움직이고 대화 내용만 남긴다면, 문제가 생겼을 때 원인을 좁히거나 특정 역할만 멈추기 어렵습니다.
업무가 정리된 범위부터 자동화 범위를 넓힌다
업무 기준이 자주 바뀌거나 예외 처리가 많은 조직이라면, 처음부터 여러 AI가 자율적으로 협업하게 만들 필요는 없습니다. 조회와 요약은 AI가 맡고, 판단이나 실제 실행은 사람이 연결하는 방식부터 시작할 수 있습니다. 이 과정에서 어떤 정보가 다음 역할로 넘어가야 하는지, 어느 판단을 사람이 되돌려야 하는지가 드러납니다.
고객관리, 결제, 발주, 계정 관리처럼 사내 시스템과 연결할 계획이 있다면 처음 요구사항에 역할별 권한 구분, 도구별 허용 행동, 업무 인계 기록, 중지 방법을 넣는 편이 낫습니다. 승인 화면을 추가했다고 해서 데이터 접근 문제가 사라지지는 않습니다. 승인 전에 AI가 필요 이상으로 고객 정보를 조회하거나 다른 부서의 정보를 전달할 수 있다면, 피해를 막는 시점은 이미 늦을 수 있습니다.
보안 지침과 업계 논의도 AI의 신원, 권한 위임, 외부 도구 실행을 별도의 통제 대상으로 다루고 있습니다. 그렇다고 특정 제품이나 연결 방식이 안전하다고 단정할 수는 없습니다. 업체가 우리 업무 흐름을 기준으로 데이터 분리, 재확인, 중지 장면을 시연하고 시험할 수 있는지가 더 중요한 판단 기준입니다.
여러 AI 도입을 검토한다면 자동화할 업무 하나를 골라 “읽어도 되는 정보”, “다음 AI에 넘겨도 되는 정보”, “사람 또는 시스템이 다시 확인해야 하는 행동”을 먼저 적어 보십시오. 그 한 장을 받은 업체가 역할, 권한, 기록, 중지 방법을 나누어 설명한다면 자동화를 넓혀 갈 출발점이 됩니다.
