MoE(Mixture of Experts)란 무엇인가 — DeepSeek이 GPT 대비 1/10 비용으로 운영되는 구조적 이유 (id.news.hada.io)

한줄 요약

MoE는 전체 파라미터 중 일부만 선택적으로 활성화해 추론 비용을 대폭 낮추는 AI 아키텍처다.

무엇이 달라지나?

MoE(Mixture of Experts)는 AI 모델의 추론 비용 구조를 근본적으로 바꾸는 아키텍처다.

전통적인 Dense 모델은 입력과 무관하게 모든 파라미터가 연산에 참여한다. 파라미터 수가 곧 연산량이었다. 반면 MoE는 다수의 전문가 서브모델(Expert)과 이를 선택하는 라우터(Gating Network)로 구성된다. 각 토큰을 처리할 때 라우터가 가장 적합한 전문가만 골라 활성화하고, 나머지는 연산에서 제외된다.

DeepSeek V4-Pro를 기준으로 보면 이 구조의 효과가 수치로 명확하게 드러난다. 전체 파라미터 1.6조 개 중 토큰당 실제 활성화되는 파라미터는 약 490억 개로, 전체의 약 3%에 해당한다. 즉, 1.6조 규모의 지식을 저장하고 있지만 실제 추론 연산은 490억 규모 모델과 유사한 수준으로 처리된다는 뜻이다.

원문에 따르면 MoE는 동일 규모의 Dense 모델 대비 가격 대비 성능(Price-Performance)을 약 3~5배 향상시키는 것으로 알려졌다. 이 구조적 이점이 DeepSeek V4가 GPT-5.5 대비 약 1/10 수준의 비용으로 서비스될 수 있는 핵심 근거다.

현재 GPT-4, Gemini 1.5, Mixtral, DeepSeek 시리즈 등 주요 프런티어 모델 대부분이 MoE 기반으로 구축된 것으로 알려져 있다. AI 모델 경쟁의 축이 단순한 파라미터 규모에서 비용 효율성으로 이동했고, MoE는 그 흐름에서 사실상 표준 아키텍처 위치를 차지하게 됐다.

실무에서 어떤 의미인가?

개발자와 아키텍트 관점에서 MoE는 단순히 "더 저렴한 모델"을 의미하지 않는다. 비용 구조 자체를 다르게 설계할 수 있다는 가능성이다.

동일한 예산으로 훨씬 큰 지식 베이스를 가진 모델을 서빙할 수 있고, API 호출 비용이 낮아지면 프롬프트 설계나 체인 구성 방식도 달라진다. 예를 들어 비용 부담 때문에 단일 호출로 압축했던 작업을 여러 단계로 분리하거나, 더 풍부한 컨텍스트를 넣는 방식으로 전환하는 것이 현실적으로 가능해진다.

기업 입장에서는 LLM 도입 시 단순히 벤치마크 성능 수치만이 아니라 추론 비용 구조, 즉 모델이 Dense인지 MoE 기반인지를 함께 검토해야 한다. 같은 성능처럼 보여도 아키텍처에 따라 운영 비용이 수 배 이상 차이날 수 있기 때문이다.

도입 전 체크포인트

MoE의 비용 효율성은 분명하지만, 이를 실제 인프라에 적용할 때는 몇 가지 제약을 미리 파악해야 한다.

VRAM 요구량은 여전히 높다. 추론 시 일부 파라미터만 활성화되더라도, 모든 전문가 파라미터는 메모리에 상주해야 한다. DeepSeek V4-Pro의 경우 연산은 490억 파라미터 수준이지만 VRAM에는 1.6조 파라미터를 올려야 한다. 자체 서빙을 고려한다면 GPU 메모리 확보 계획이 필수다.

학습 안정성 관리가 필요하다. 학습 과정에서 특정 전문가에 부하가 집중되는 불균형 문제가 발생할 수 있다. 이를 방치하면 일부 전문가는 과적합되고 나머지는 제대로 학습되지 않는다. 파인튜닝이나 자체 학습을 계획 중이라면 이 부분에 대한 별도 처리 전략이 필요하다.

API 기반 사용이라면 내부 아키텍처는 대부분 추상화된다. 결국 비용과 응답 품질 중심으로 모델을 선택하면 되고, MoE 여부는 참고 정보 수준으로 활용하면 충분하다.