AI 에이전트를 도입하려는 팀이 요구사항 단계에서 가장 많이 놓치는 것은 성능 목표가 아니다. "이 시스템이 틀렸을 때 누가, 어떻게, 얼마나 빨리 알아챌 수 있는가"라는 질문이다.
속도는 AI 자동화의 핵심 가치다. 그런데 속도는 맥락 없이 홀로 작동하지 않는다. 올바른 판단을 빠르게 전달하면 이득이지만, 왜곡된 정보나 편향된 해석을 빠르게 전달하면 피해가 그만큼 빠르게 번진다. 위기 상황일수록 이 증폭 효과는 커진다. AI가 악의를 갖거나 특별히 똑똑해야 문제가 생기는 게 아니다. 평범한 수준의 시스템이 평범한 인간 판단의 약점과 결합하면 충분히 나쁜 결과를 만들 수 있다.
이 글은 고위험 AI 의사결정 시스템을 설계하거나 도입 결정을 앞둔 CTO, 개발 리드를 대상으로 한다. 요구사항 단계에서 정해두지 않으면 운영 중에 고치기 어려운 통제 구조를 순서대로 설명한다.
왜 지금 이 문제인가
군사·핵 분야 연구자들이 AI와 위기 확대 가능성을 분석한 결과는 일반 기업 시스템에도 직접 적용 가능한 패턴을 보여준다. 핵심은 세 가지다.
첫째, 정보 과부하. AI는 짧은 시간 안에 방대한 신호를 수집하고 요약해 전달한다. 의사결정자가 소화할 수 있는 양보다 빠르고 많이 들어오면, 정작 중요한 맥락이 잘려 나간다. 보고서가 틀리지 않아도 판단은 틀릴 수 있다.
둘째, 인지 편향 증폭. 인간은 숫자가 커져도 위험을 선형으로 느끼지 못한다. 연구자들이 약 3,000명을 대상으로 진행한 실험에서, 핵 공격 피해 규모가 20배 차이가 나도 의사결정 지지율은 통계적으로 거의 같았다. AI가 선택지를 구성하거나 정렬하는 방식이 이 편향을 완화하지 않고 고착시킬 수 있다. 선택지가 추가되면 오히려 덜 나쁜 쪽을 합리화하는 방향으로 판단이 이동했다.
셋째, 속도 증폭. 한쪽 시스템이 신호를 감지하고 대응을 높이면, 상대 시스템이 그 대응을 다시 신호로 읽는다. 각각의 판단이 틀리지 않았어도 전체 흐름은 아무도 의도하지 않은 방향으로 빠르게 올라간다. 이것은 군사 시나리오만의 문제가 아니다. 금융 자동매매, 공급망 자동 발주, 의료 응급 경보 체계에서도 구조적으로 동일한 패턴이 발생한다.
요구사항 단계에서 정해야 할 것들
통제 구조는 운영 중에 추가하기가 어렵다. 시스템이 살아 있는 상태에서 안전 장치를 끼워 넣으면, 속도 이점이 사라지거나 기존 로직과 충돌한다. 도입 전 요구사항 단계에서 아래 네 가지를 결정해야 한다.
1. 위험 등급 분류
모든 AI 자동화가 같은 수준의 통제를 필요로 하지는 않는다. 먼저 "이 시스템이 내린 결정이 틀렸을 때 되돌릴 수 있는가, 그 비용은 얼마인가"를 기준으로 등급을 나눠야 한다.
되돌릴 수 없거나 비용이 크면 고위험, 수정 가능하고 영향 범위가 제한적이면 저위험으로 분류한다. 고위험으로 분류된 시스템에는 이후 단계의 통제 조치가 모두 적용된다. 저위험 시스템에는 일부를 선택적으로 적용한다.
등급 기준 예시:
- 자동으로 외부 행동을 트리거하는가 (발주, 경보 발신, 사용자 계정 변경 등)
- 결정 하나가 다른 시스템의 자동 반응을 연쇄적으로 유발하는가
- 사람이 개입 없이 전체 사이클이 완료되는가
2. 인간 개입 지점 설계
"Human-in-the-loop"는 흔히 쓰이는 표현이지만, 구체적으로 어느 지점에서 누가 무엇을 확인하는지 명시되지 않으면 의미가 없다. 설계 시 정해야 할 것은 세 가지다.
- 개입 트리거: 어떤 조건이 되면 사람의 승인이 필요한가. 임계값을 초과한 신뢰도, 특정 카테고리의 결정, 이전 결정과 일정 이상 다른 결과 등이 기준이 될 수 있다.
- 개입 시간 한도: 사람이 확인할 수 있는 시간이 얼마나 있는가. 이 한도가 현실적이지 않으면 개입은 형식에 그친다.
- 개입 불가 시 fallback: 지정된 시간 안에 사람이 응답하지 않으면 시스템이 어떻게 동작하는가. 자동 진행인지, 보류인지, 에스컬레이션인지를 사전에 정해야 한다.
3. 맥락 보존 요건
AI가 요약과 판단 결과만 전달하면 의사결정자는 그 결과가 어떤 데이터에서 나왔는지, 어떤 전제가 깔렸는지 알 수 없다. 연구 결과가 보여주듯, 정확한 수치도 맥락 없이 제시되면 판단을 왜곡한다. 선택지의 배열 방식 자체가 선호를 만든다.
요구사항에 포함시켜야 할 항목:
- 결정 근거가 된 주요 입력 데이터와 가중치를 결과와 함께 표시
- 시스템이 사용한 전제나 임계값을 감사 로그에 기록
- 대안 선택지가 있을 때 배열 순서와 그 기준을 고정하거나 랜덤화하는 정책 명시
4. 에스컬레이션 경로와 중단 조건
속도 증폭 문제를 막는 가장 직접적인 방법은 시스템이 스스로 멈출 수 있는 조건을 만드는 것이다. 이것은 장애 대응이 아니라 정상 운영의 일부로 설계해야 한다.
- 회로 차단기: 연속으로 일정 횟수 이상 자동 결정이 내려지면 다음 결정은 사람 승인이 필요하도록 설계
- 상태 변화 감지: 시스템 결정이 외부 환경에서 예상 밖 반응을 유발했을 때 이를 감지하는 피드백 루프 설계
- 명시적 중단 권한: 운영 중 누가 시스템을 일시 중단할 수 있는지, 그 절차가 얼마나 빠른지 문서화
검증 단계에서 확인해야 할 조기 신호
시스템이 실제로 통제 구조대로 작동하는지 검증하는 시점은 운영 직전이 아니라 스테이징 단계부터다. 아래 신호가 보이면 통제 설계를 재검토해야 한다.
- 인간 개입 승인율이 지나치게 높거나 낮을 때: 개입이 거의 승인으로만 끝난다면, 검토가 실질적으로 이루어지지 않고 있다는 뜻이다. 개입이 거의 발생하지 않는다면, 트리거 조건이 너무 높게 설정된 것이다.
- 맥락 없이 결론만 보고되는 패턴: 운영 팀이 AI 판단을 맥락 없이 수용하는 루틴이 생기면, 도구가 아니라 권위자가 되어 있는 것이다.
- 속도 지표만 보고되고 오류율은 보고되지 않을 때: 속도 이득이 강조되는 문화가 형성되면 오류 신호를 묻어두는 경향이 함께 생긴다.
- 시스템이 연쇄 결정을 내렸는데 아무도 전체 흐름을 추적하지 못할 때: 감사 로그가 있더라도 그것을 읽을 수 있는 사람과 프로세스가 없으면 없는 것과 같다.
거버넌스 체크리스트를 만든다는 것의 실제 의미
체크리스트는 제도적 면피 수단이 아니다. 이것이 유효하려면 두 가지 조건이 갖춰져야 한다.
하나는, 체크리스트 항목이 실제 판단 장면과 연결되어야 한다. "인간 감독이 필요한가"는 항목이 아니다. "24시간 안에 외부에 영향을 미치는 결정을 AI가 단독으로 내릴 수 있는 조건이 있는가"가 항목이다.
다른 하나는, 체크리스트를 통과하지 못한 시스템을 실제로 보류할 수 있는 권한이 누군가에게 있어야 한다. 이것이 없으면 체크리스트는 배포 후에 작성되는 서류가 된다.
고위험 AI 시스템의 거버넌스는 사후 감사보다 배포 전 통제에 무게를 두어야 한다. 배포 후에 문제를 발견하면, 그때는 이미 속도 증폭이 시작된 다음이다.
