맥북 한 대로 400B급 AI 성능을 — Gemma 4 로컬 추론 완전 정복 (ai.georgeliu.com)

한줄 요약

48GB 맥북 한 대로 400B 거대 모델과 맞먹는 Gemma 4를 로컬에서 돌리는 방법 — API 비용 0원, 데이터 외부 유출 없음.

---

어떤 상황에서 필요한가?

클라우드 AI API는 편리하지만 요금 청구, 분당 요청 한도, 민감 데이터 외부 전송 같은 문제가 따라온다. 코드 리뷰, 문서 초안 작성, 프롬프트 테스트처럼 반복적으로 짧은 작업을 돌리는 개발자라면 로컬 모델이 현실적인 대안이 된다. LM Studio 0.4.0 이후로는 GUI 없이 CLI만으로 모델 서버를 띄울 수 있게 되어, SSH 환경이나 CI/CD 파이프라인에서도 활용 범위가 넓어졌다.

---

핵심 구현 방법

1. 왜 Gemma 4 26B-A4B인가

Google이 공개한 Gemma 4는 단일 모델이 아니라 네 가지 변형으로 구성된 패밀리다. 그 중 26B-A4B는 혼합 전문가(MoE) 아키텍처를 채택한 모델로, 총 파라미터 수는 25.2B이지만 토큰 하나를 처리할 때 실제로 활성화되는 파라미터는 약 3.8B에 불과하다. 128개 전문가 중 8개만 골라 쓰는 방식이다.

MoE 모델의 실효 성능은 흔히 √(총 파라미터 × 활성 파라미터) 공식으로 추산하는데, 이 기준으로 26B-A4B는 약 10B 수준의 밀집 모델과 동등한 품질을 낸다. 추론 비용은 4B 밀집 모델 수준이면서 품질은 그보다 훨씬 높다는 뜻이다.

벤치마크 수치를 보면 MMLU Pro 82.6%, AIME 2026 88.3%로, 같은 패밀리의 31B 밀집 모델(85.2%, 89.2%)에 근접한다. Elo 점수 기준으로 ~1441점을 기록하며, 비슷한 점수대를 위해 397B 이상의 파라미터가 필요한 다른 모델들과 비교하면 파라미터 효율이 압도적이다.

14인치 MacBook Pro M4 Pro(48GB 통합 메모리) 기준으로 초당 51토큰을 생성한다. 256K 컨텍스트 길이, 비전 입력, 네이티브 함수 호출, 추론 모드(thinking mode)를 모두 지원한다.

참고로 E2B·E4B 같은 'E' 시리즈는 온디바이스 최적화에 특화되어 있고 오디오 입력도 지원하지만, 성능은 26B-A4B보다 낮다.

---

2. LM Studio 0.4.0에서 달라진 것

기존 LM Studio는 GUI 앱이었다. 0.4.0에서는 llmster라는 독립 추론 엔진을 분리하고, 이를 제어하는 lms CLI를 함께 제공하기 시작했다. 데스크톱 앱 없이 터미널만으로 모델을 내려받고, 로드하고, 서빙할 수 있다.

주요 변경 사항은 다음과 같다.

• llmster 데몬: 백그라운드에서 모델 로딩과 추론을 관리하는 상주 서비스
• lms CLI: 다운로드, 모델 로드, 채팅, 서버 실행을 커맨드 하나로 처리
• 병렬 요청 처리: 순차 큐잉 대신 연속 배치(continuous batching) 방식 채택
• 상태 유지 REST API: /v1/chat 엔드포인트가 대화 히스토리를 자동으로 유지
• MCP 통합: 로컬 Model Context Protocol 지원