Eval을 통과해도 프로덕션은 실패한다 – AI 에이전트 모니터링 도구 Agnost AI (agnost.ai)

한줄 요약

Eval이 잡지 못한 AI 에이전트 실패를, 실제 대화 데이터에서 찾아 자동으로 수정 제안까지 해주는 모니터링 도구.

무엇이 달라지나?

AI 에이전트 개발에서 가장 불편한 진실이 있다. 평가(Eval) 테스트를 모두 통과시켰는데 실제 프로덕션에서 에이전트가 엉뚱한 답을 내놓는 상황이다. 테스트 케이스는 결국 개발자가 상상한 시나리오의 집합일 뿐이고, 실제 사용자는 예상 밖의 방식으로 에이전트와 대화한다.

Agnost AI는 이 간극을 정면으로 겨냥한 도구다. Y Combinator S26 배치에 선발된 이 스타트업은, 실제 서비스에서 오가는 대화 로그를 수집·분석해 에이전트가 실패한 패턴을 자동으로 감지하고 개선 방향을 팀에 제시한다. 단순한 에러 로깅이 아니라, 실패의 맥락과 원인을 추론해 수정 가능한 형태로 가공해준다는 점이 핵심이다.

Google Cloud의 MCP Toolbox for Databases 프로젝트가 Agnost AI와 협력해 옵저버빌리티 기능을 통합한 사례가 공개돼 있고, Exa의 기술팀은 이 도구를 통해 애널리틱스와 에러율 추적에 활용하고 있다고 밝혔다. Lopus AI의 경우, 에이전트 대화에 숨어 있던 버그를 Agnost AI가 탐지하고 PR을 자동 생성해 18개 중 16개가 머지됐다는 사례를 공개했다.

기능 발굴 측면에서도 쓰임새가 있다. Odysser는 Agnost AI를 통해 사용자 대화에서 1,247건의 피처 리퀘스트를 발굴했다고 전한다. 이미 쌓여 있는 대화 데이터 안에 사용자 니즈가 숨어 있었지만 이를 체계적으로 꺼낼 방법이 없었던 것이다.

실무에서 어떤 의미인가?

AI 에이전트를 직접 개발하거나 외주 개발로 도입한 팀이라면 공통으로 마주치는 과제가 있다. 에이전트를 배포한 이후에도 품질을 지속적으로 높여야 한다는 것이다. 그런데 대부분의 팀은 사용자 불만이 접수되거나 명확한 오류가 발생하기 전까지 에이전트의 실패를 인지하지 못한다.

Agnost AI가 제안하는 방식은 이렇다. 대화 로그를 상시 수집하고, 인텐트와 감정 신호를 추출하며, 실패 패턴을 자동으로 분류한다. 그 결과를 팀이 리뷰할 수 있는 형태로 정리해주고, 자연어로 데이터에 쿼리를 던질 수 있는 인터페이스도 제공한다. 에이전트 개선의 사이클을 단축하는 것이 목표다.

가격 구조는 무료 플랜(월 1,000건 메시지, 7일 데이터 보존)부터 월 499달러 Pro 플랜(월 10만 건 메시지, 90일 보존), 그리고 엔터프라이즈 커스텀 플랜으로 구성돼 있다. 에이전트를 막 배포한 초기 팀도 무료로 시작할 수 있는 구조다.

앱 개발 외주나 웹 개발 외주를 통해 에이전트 기능을 도입한 경우에도 마찬가지다. 개발이 끝난 뒤 에이전트 품질을 누가, 어떻게 관리할 것인지는 별도의 운영 전략이 필요하다. Agnost AI 같은 도구는 그 공백을 메우는 역할을 한다.

도입 전 체크포인트

Agnost AI는 이미 AI 에이전트를 운영 중인 팀을 주요 대상으로 삼는다. 아직 에이전트 자체를 구축하지 않은 상황이라면 이 도구가 당장 필요하지는 않다. 아래 기준으로 도입 시점을 가늠해볼 수 있다.

에이전트가 이미 프로덕션에서 대화를 처리하고 있는가. 대화 데이터가 쌓이지 않으면 이 도구의 핵심 기능이 작동하지 않는다.

Eval 테스트만으로 에이전트 품질을 관리하고 있는가. 정형화된 테스트 케이스 외에 실제 사용자 대화를 모니터링하는 체계가 없다면 도입 가치가 크다.

에이전트 실패를 사후에 인지하는 패턴이 반복되는가. 유저 불만이 쌓인 뒤에야 문제를 파악하는 구조라면 조기 감지 도구가 필요하다.

반면, 에이전트 아키텍처 자체를 설계하거나 처음부터 구축하는 단계라면 도구 도입보다 설계 품질을 먼저 잡는 것이 우선이다.