AI 에이전트에게 화면을 보여줄 것인가, API를 줄 것인가 — 비용이 45배 차이 난다 (reflex.dev)

한줄 요약

비전 에이전트는 편해 보이지만, API 연동 에이전트보다 토큰 비용이 수십 배 더 든다.

본문

AI 에이전트를 내부 업무 시스템에 붙이는 방식은 크게 두 가지로 나뉜다. 화면을 캡처해 클릭하는 비전(Vision) 방식과, 앱의 데이터 인터페이스를 직접 호출하는 API 방식이다. 에이전시 입장에서 이 선택은 단순한 기술 취향의 문제가 아니다. 클라이언트가 장기적으로 지불하게 될 운영 비용과 직결된다.

최근 공개된 실험 데이터에 따르면 동일한 AI 모델로 동일한 작업을 수행했을 때, 비전 에이전트는 API 에이전트보다 입력 토큰을 약 45배 더 소비했다. 작업 소요 시간은 17분 대 20초, 호출 횟수는 53회 대 8회였다. 숫자만 보면 충격적이지만, 이유는 구조적으로 명확하다.

왜 비전 에이전트는 비쌀 수밖에 없나?

비전 에이전트는 매 스텝마다 화면을 찍고, 그 이미지를 모델에 입력해 다음 행동을 결정한다. 화면 한 장이 수천 토큰을 차지한다. 작업이 5단계든 50단계든, 모든 중간 상태를 이미지로 처리해야 한다.

반면 API 에이전트는 화면 없이 데이터 자체를 읽는다. 필터 조건을 파라미터로 넘기고, 전체 결과셋을 구조화된 응답으로 돌려받는다. 렌더링된 페이지에서 보이는 것만 읽을 수 있는 비전 에이전트와 달리, 페이지네이션이나 숨겨진 데이터도 한 번의 호출로 처리한다.

비전 방식의 비용은 모델 성능이 좋아져도 근본적으로 줄지 않는다. 더 똑똑한 모델은 판단 오류를 줄이지만, 스텝 수 자체는 인터페이스 구조가 결정하기 때문이다.

그럼 왜 에이전시들은 비전 에이전트를 쓰나?

현실적인 이유가 있다. API 연동은 공수가 든다. 내부 어드민, ERP, CRM, 커스텀 대시보드 등 기업이 쓰는 툴이 20개가 넘는 경우가 흔한데, 툴마다 API 레이어를 따로 만들면 그 자체가 별도 개발 프로젝트다.

클라이언트가 "AI 에이전트로 업무 자동화해줘"라고 요청했을 때, 에이전시 입장에서 가장 빠르게 데모를 보여줄 수 있는 방법은 비전 에이전트다. 별도 백엔드 작업 없이 화면만 있으면 돌아가니까. 문제는 그 선택이 운영 단계에서 클라이언트에게 지속적인 비용 부담으로 돌아온다는 점이다.

에이전시가 클라이언트에게 실제로 해줘야 할 것

에이전시의 역할은 빠른 PoC 납품이 아니라 장기적으로 유지 가능한 구조를 설계하는 것이다. 이를 위해 프로젝트 초기에 다음 두 가지를 구분해야 한다.

첫째, 통제할 수 없는 외부 시스템이냐, 직접 개발하거나 수정할 수 있는 내부 시스템이냐. 외부 SaaS나 레거시 시스템처럼 API를 붙이기 어려운 환경에서는 비전 에이전트가 현실적인 선택이다. 하지만 클라이언트가 직접 운영하는 어드민 패널, 사내 툴, 사용자 관리 시스템이라면 API 레이어를 만드는 쪽이 훨씬 경제적이다.

둘째, 반복 실행 빈도다. 하루에 한 번 쓰는 작업과 분 단위로 돌아가는 자동화는 비용 구조가 다르다. 비전 에이전트의 토큰 비용은 호출 횟수에 비례하므로, 반복 빈도가 높을수록 격차는 기하급수적으로 벌어진다.

설계 단계에서 이 질문을 꺼내지 않으면 생기는 일

프로젝트 후반부에 "왜 이렇게 API 비용이 많이 나오지?"라는 질문이 나오기 시작한다. 대부분의 경우 이 시점에는 이미 비전 에이전트 기반으로 전체 파이프라인이 구축되어 있고, 구조를 바꾸려면 재개발에 준하는 작업이 필요하다.

더 큰 문제는 비전 에이전트의 결과 신뢰성이다. 화면에 보이지 않는 데이터를 에이전트가 놓쳤을 때, 그것이 오류인지 정상 처리인지 확인하기 어렵다. 실험에서도 비전 에이전트는 같은 프롬프트에서 실행 시간이 749초~1257초로 크게 흔들렸다. API 에이전트는 매번 동일한 경로로 동일한 결과를 냈다. 안정성 차이도 무시할 수 없다.