토큰 종량제 없이 AI 돌리는 법 — 오픈소스 모델이 바꾼 실제 현장 (stateofopensource.ai)

한줄 요약

오픈 가중치 모델이 추론 비용을 50배 낮추며 생산 토큰의 과반을 점유했지만, 실제 서비스 배포율은 여전히 폐쇄형 모델에 뒤진다.

---

오픈소스 AI는 2026년 기준으로 더 이상 "타협안"이 아니다. Mozilla가 발간한 The State of Open Source AI V1.0(2026년 7월)에 따르면, OpenRouter를 통해 라우팅되는 토큰의 과반이 오픈 가중치 모델을 통과하고 있으며, 상위 5개 고볼륨 모델은 모두 오픈 가중치다. 기술 선택의 무게중심이 이동하고 있다.

무엇이 달라졌나?

비용 곡선이 무너졌다

GPT-4급 추론 비용은 36개월 만에 100만 토큰당 20달러에서 0.40달러로 50배 하락했다. 이는 닷컴 시대 인터넷 대역폭 가격 하락 속도보다 빠른 수치다. 비용이 무기가 되기 어려운 구조가 됐다는 뜻이다.

성능 격차가 좁아졌다, 그러나 완전히 사라지지는 않았다

Chatbot Arena 기준 오픈 대 폐쇄 모델의 성능 격차는 2024년 8월 0.5%까지 좁혀졌고, 2025년 2월 DeepSeek-R1이 잠깐 최상위 미국 모델과 동등한 수준에 올랐다. 그러나 2026년 3월에는 폐쇄형 추론 모델들이 앞서가며 다시 3.3%로 벌어졌다. 코딩, 지시 이행, 일반 지식에서는 동등 수준이지만, 복합 추론·장문 컨텍스트·에이전트 작업에서는 격차가 집중된다.

토큰 점유율이 뒤집혔다

OpenRouter 집계에서 오픈 가중치 모델의 토큰 점유율은 2025년 말 3분의 1에서 2026년 중반 과반으로 올라섰다. 특히 코딩과 에이전트 워크로드에서 이 추세가 두드렷하다. 주간 토큰 기준으로 중국산 모델 약 18조 토큰 대 미국산 약 5.5조 토큰, 3대 1 이상의 격차가 벌어졌다.

현장에서 이미 쓰이고 있다

PwC는 오픈 모델을 금융 언어로 파인튜닝해 수백 개 고객사에 자체 하드웨어로 서비스 중이다. 스위스의 한 공공 컨소시엄은 국가 슈퍼컴퓨터로 모델을 훈련하고 가중치·데이터·학습 코드를 전부 공개했다. 로잔의 연구진은 적십자와 함께 인도주의 가이드라인에 맞춘 의료 모델을 만들어 탄자니아 임상시험을 준비하고 있다. 동아프리카 농업 현장에서는 카사바 병해를 오프라인 스마트폰 앱으로 진단한다.

실무에서 어떤 의미인가?

도입률과 배포율 사이의 간극이 핵심 문제다

Mozilla·SlashData 2026 개발자 설문에서 AI 기능을 추가하는 개발자 중 오픈 모델 사용 비율은 79%, 폐쇄형은 71%다. 도입 측면에서는 오픈이 앞선다. 그러나 실제 서비스 배포에 도달하는 비율은 오픈 모델 팀이 51%, 폐쇄형 팀이 63%다. 12%포인트 차이는 모델 성능의 문제가 아니다.

이탈 원인은 운영 문제다

이탈한 개발자들이 꼽은 상위 이유는 성능 부족(+12pp), 기존 시스템 연동(+11pp), 유지보수 부담(+10pp) 순이다. 보안·비용·지원 부재는 유지 중인 개발자와 이탈 개발자 사이에 거의 차이가 없었다. 즉, 모델 자체보다 그 주변의 운영 도구와 프로세스가 성패를 가른다.

규모는 해법이 아니다

기업 규모별로 보면 폐쇄형 모델의 배포율은 소기업 54%에서 대기업 73%로 규모와 함께 오른다. 오픈 모델은 소기업 53%에서 대기업 57%로, 규모가 늘어도 배포율이 거의 개선되지 않는다. 예산을 쏟아도 해결되지 않는 문제가 있다는 신호다. 외주 개발사나 내부 개발팀 모두, 오픈 모델 도입 시 배포 파이프라인 설계에 별도의 공수를 배정해야 한다.

도입 전 체크포인트

오픈 모델 도입을 검토할 때 실무에서 먼저 확인해야 할 항목들이다.

워크로드 유형 확인: 코딩·분류·지시 이행 중심이라면 오픈 모델이 충분히 경쟁력 있다. 복합 추론이나 긴 컨텍스트 처리가 핵심이라면 폐쇄형 모델과 비교 평가를 병행하는 것이 현실적이다.

배포 환경 설계 선행: 모델 선택보다 배포·모니터링·업데이트 파이프라인을 먼저 설계해야 이탈을 막을 수 있다. 이탈 원인의 상위 세 가지가 모두 운영 관련이라는 점을 기억할 것.

파인튜닝 계획 수립: 도메인 특화 데이터가 있다면 파인튜닝은 오픈 모델의 가장 큰 차별점이다. 단, 파인튜닝 자체보다 이후 버전 관리와 재학습 주기를 계획에 포함해야 한다.

규정·라이선스 검토: 의료·금융·공공 분야라면 모델 라이선스와 데이터 잔류 요건을 초기부터 확인해야 한다. 오픈 모델이라도 라이선스 조건은 모델마다 다르다.