MoE 아키텍처란 무엇인가 — DeepSeek이 GPT보다 훨씬 싸게 돌아가는 이유 (id.news.hada.io)

한줄 요약

1.6조 파라미터 중 3%만 켜서 쓰는 MoE 구조가 AI 추론 비용을 10분의 1로 낮춘다.

---

MoE(Mixture of Experts)는 하나의 거대 모델 안에 여러 개의 전문가 서브모델을 두고, 입력 토큰마다 적합한 전문가만 선택적으로 활성화하는 AI 아키텍처다. 이 구조 덕분에 DeepSeek V4는 1.6조 개라는 방대한 파라미터를 보유하면서도, 실제 추론 시 GPT-5.5 대비 약 10분의 1 수준의 비용으로 운영이 가능한 것으로 알려졌다.

MoE는 기존 Dense 모델과 무엇이 다른가?

전통적인 Dense 모델은 어떤 입력이 들어와도 전체 파라미터가 연산에 참여한다. 텍스트 한 줄을 처리할 때도, 복잡한 코드를 생성할 때도 동일한 연산 부하가 걸린다. 규모가 커질수록 GPU 비용은 선형이 아닌 지수적으로 증가한다.

MoE는 이 구조를 근본적으로 바꾼다. 라우터(gating network)가 각 토큰을 분석해 가장 적합한 전문가 서브모델 몇 개만 선택한다. 나머지 전문가들은 해당 연산에서 완전히 제외된다. 결과적으로 모델은 방대한 지식 용량을 유지하면서도, 실제 계산량은 훨씬 작은 모델 수준으로 억제된다.

DeepSeek V4 Pro를 기준으로 보면, 전체 1.6조 파라미터 중 토큰당 실제로 활성화되는 건 약 490억 개, 전체의 약 3%에 불과하다. 즉, 1.6조 규모의 지식 저장소를 가지면서 추론 비용은 490억 규모의 모델과 비슷한 수준으로 유지된다. 일반적으로 MoE는 동일 규모의 Dense 모델 대비 가격 대비 성능을 약 3~5배 개선하는 것으로 보인다.

실무에서 어떤 의미인가?

IT 에이전시나 스타트업 입장에서 이 아키텍처 변화는 단순한 기술 트렌드가 아니라 비용 구조의 재편을 의미한다.

첫째, API 호출 비용이 줄어든다. 같은 품질의 응답을 더 낮은 토큰당 비용으로 받을 수 있다면, AI 기능을 제품에 녹이는 진입 장벽이 낮아진다.

둘째, 온프레미스 또는 자체 호스팅을 고려하는 팀이라면 선택지가 넓어진다. MoE 모델은 파라미터 수 대비 추론 연산이 적기 때문에, 상대적으로 가벼운 GPU 구성으로도 고성능 모델을 운용할 여지가 생긴다.

셋째, 모델 선택 기준이 바뀐다. 파라미터 수는 더 이상 성능을 판단하는 유일한 척도가 아니다. 활성 파라미터 수, 라우터 효율, 추론 비용을 종합적으로 따져야 한다. 2026년 기준으로 GPT-4, Gemini 1.5, Mixtral, DeepSeek 시리즈 등 주요 프론티어 모델 대부분이 MoE 기반으로 전환된 상태다. 모델 경쟁의 축이 단순 규모에서 가격 대비 성능으로 이동한 결과다.

도입 전 체크포인트

MoE가 만능은 아니다. 실제 도입이나 평가 전에 반드시 확인해야 할 구조적 한계가 있다.

VRAM 요구량은 여전히 높다. 추론 시 전체 파라미터의 3%만 활성화되더라도, 모든 전문가 파라미터를 메모리에 올려둬야 한다. 즉, 연산은 가볍지만 메모리 요구량은 전체 파라미터 크기에 비례한다. 자체 GPU 서버를 구성할 때 이 점을 간과하면 실제 운용이 불가능해진다.

학습 시 부하 불균형 문제가 있다. 특정 전문가에게 토큰이 집중되는 현상이 발생할 수 있으며, 이를 제어하는 로드 밸런싱 로직이 별도로 필요하다. 파인튜닝이나 자체 학습을 계획 중이라면 이 부분의 복잡도를 미리 고려해야 한다.

라우터 품질이 전체 성능을 좌우한다. 어떤 전문가를 선택하느냐를 결정하는 gating network의 설계와 학습 품질이 곧 모델 전체의 효율을 결정한다. 오픈소스 MoE 모델을 커스터마이징할 때 이 부분을 블랙박스로 다루면 예상치 못한 품질 저하가 생길 수 있다.