26B 모델을 2GB 메모리로 돌리는 방법 — TurboFieldfare의 기술적 선택 (github.com)
목차(4)
한줄 요약
26B LLM을 RAM 2GB로 돌리는 SSD 스트리밍 추론 엔진, Apple Silicon 전용 오픈소스 공개.
무엇이 달라지나?
대형 언어 모델(LLM) 로컬 실행의 가장 큰 장벽은 메모리다. Gemma 4 26B-A4B는 설치 용량만 약 14.3GB에 달하는 모델인데, 이걸 8GB RAM MacBook Air에서 구동한다는 건 상식적으로 불가능해 보인다. TurboFieldfare는 그 상식을 정면으로 깬다.
핵심 아이디어는 단순하다. 모델 전체를 메모리에 올리지 않는다. 공유 코어 1.35GB와 FP16 KV 캐시만 메모리에 상주시키고, 각 토큰 생성에 필요한 전문가(expert) 가중치만 SSD에서 그때그때 스트리밍해서 읽어온다. Gemma 4 26B-A4B는 MoE(Mixture of Experts) 구조 모델로, 전체 26B 파라미터 중 토큰당 실제 활성화되는 파라미터는 약 3.88B에 불과하다. 이 특성을 SSD 스트리밍과 결합한 것이다.
런타임은 Swift 6.2와 Metal 4로 직접 작성됐다. MLX나 llama.cpp 같은 범용 프레임워크를 감싸는 래퍼가 아니라, 이 모델 구조에 특화된 커스텀 구현이다. macOS 26과 Metal 4가 요구 조건이라는 점에서 최신 플랫폼 기능을 적극 활용한 설계임을 알 수 있다.
실측 디코드 속도는 8GB M2 MacBook Air 기준 초당 5.1~6.3 토큰, 24GB M5 Pro 기준 초당 31~35 토큰이다. M2 기준 수치는 실용적 대화보다는 느리지만, 8GB 머신에서 26B 모델이 응답을 내놓는다는 사실 자체가 이 프로젝트의 의미다.
실무에서 어떤 의미인가?
이 프로젝트가 흥미로운 이유는 단순히 "저사양에서 돌아간다"는 것 이상이다. 설계 철학 자체가 다르다.
첫째, 메모리 계층 재설계다. 기존 LLM 추론은 모델 전체를 VRAM 혹은 통합 메모리에 올리는 게 전제였다. TurboFieldfare는 SSD를 사실상 확장 메모리로 활용한다. Apple Silicon의 SSD 대역폭이 경쟁력 있는 수준이기 때문에 가능한 접근이다.
둘째, MoE 모델 구조의 실용적 활용이다. MoE는 파라미터 수 대비 추론 비용이 낮다는 이론적 장점이 있었지만, 실제로 전문가 선택과 라우팅 오버헤드 때문에 구현이 까다롭다. TurboFieldfare는 이 구조를 SSD 스트리밍과 결합해 저메모리 환경에서의 실용적 이점으로 전환했다.
셋째, 플랫폼 종속 최적화의 효과다. 범용 프레임워크를 쓰지 않고 특정 모델과 플랫폼에 맞춰 직접 구현했기 때문에 최적화 여지가 넓다. 103개의 측정 실험 결과를 정리한 문서가 공개돼 있다는 점에서, 엔지니어링 과정 자체가 투명하게 공유된다는 점도 주목할 만하다.
개발 외주나 자체 AI 기능 개발을 검토하는 팀 입장에서 실질적인 시사점은 이렇다. 클라우드 API 없이 로컬에서 26B급 모델을 돌릴 수 있다면, 데이터 프라이버시 요구가 엄격한 엔터프라이즈 환경에서 선택지가 하나 더 생긴다. 단, 현재는 macOS 26과 Metal 4 요구 조건이 있어 프로덕션 적용보다는 개발 및 테스트 환경에 적합한 단계로 보인다.
도입 전 체크포인트
실제로 이 프로젝트를 시험해보거나 유사한 아키텍처를 검토할 때 확인해야 할 사항들이다.
플랫폼 요구사항 확인이 먼저다. Apple Silicon Mac, macOS 26, Metal 4, Xcode 26, Swift 6.2 이상이 모두 필요하다. x86 Mac이나 Windows, Linux는 지원하지 않으며, arm64 전용 패키지다. 현재 시점에서 macOS 26과 Metal 4는 최신 베타 환경에 해당하므로 프로덕션 머신에 바로 적용하기보다는 별도 테스트 환경 구성이 권장된다.
스토리지 여유 공간을 확보해야 한다. 메모리는 약 2GB면 되지만, 모델 설치에는 약 14.3GB의 저장 공간이 필요하다. 첫 실행 시 모델 다운로드 및 리패킹 과정이 진행된다.
멀티모달 기능은 없다. 현재 텍스트 전용이며, 이미지·오디오·영상은 지원하지 않는다. 도구 실행(function calling)은 루프백 서버 모드에서 클라이언트 측 실행 방식으로 제한적으로 지원된다.
디코드 속도는 하드웨어에 따라 크게 달라진다. M2 8GB 기준 초당 5.1~6.3 토큰은 실시간 대화 용도로 사용하기엔 다소 느릴 수 있다. 고성능이 필요하다면 상위 칩 환경을 고려해야 한다.
자주 묻는 질문
Q.8GB RAM Mac에서 26B 모델이 실제로 실용적으로 쓸 수 있는 수준인가?
현재 M2 8GB 기준 실측 디코드 속도는 초당 5.1~6.3 토큰이다. 실시간 대화보다는 느리지만 오프라인 텍스트 처리나 코드 리뷰 보조처럼 응답 속도가 덜 중요한 작업에는 충분히 활용 가능한 수준이다. M5 Pro 24GB 환경에서는 초당 31~35 토큰으로 체감 속도가 크게 향상된다. 용도와 하드웨어 조합을 함께 고려해야 한다.
Q.MLX나 llama.cpp 같은 기존 프레임워크와 무엇이 다른가?
TurboFieldfare는 기존 프레임워크의 래퍼가 아니라 Gemma 4 26B-A4B 모델 구조에 특화된 커스텀 Swift + Metal 런타임이다. 범용성을 포기하는 대신 SSD 스트리밍과 MoE 전문가 선택 최적화를 이 모델에 맞춰 직접 구현했다. 특정 모델 하나에 집중했기 때문에 메모리 효율 측면에서 범용 프레임워크보다 유리한 결과를 낼 수 있다.
Q.이런 아키텍처를 실제 서비스 개발에 적용할 때 어떤 점을 고려해야 하나?
현재 macOS 26과 Metal 4가 요구 조건이어서 당장 프로덕션 서비스에 바로 투입하기는 이르다. 다만 데이터가 외부 서버로 나가지 않는 온디바이스 추론 구조 자체는 개인정보 보호 규정이 엄격한 서비스 개발 시 유의미한 참조 모델이 된다. 외주 개발 관점에서는 요구사항 초기 단계부터 온디바이스 AI 가능 여부를 플랫폼과 함께 검토하는 것이 불필요한 재설계를 막는다.
관련 아티클
관련 사례
이 글의 키워드와 맞닿은 실제 개발 사례를 함께 보세요.
