975B 파라미터 오픈소스 LLM 'Inkling', 텍스트·이미지·오디오를 한 모델로 (thinkingmachines.ai)

한줄 요약

총 975B 파라미터지만 실제 동작은 41B — MoE 구조로 비용은 낮추고 성능은 유지한 오픈소스 멀티모달 LLM.

---

Thinking Machines가 공개한 오픈소스 LLM 'Inkling'은 MoE(Mixture of Experts) 아키텍처를 채택해 전체 975B 파라미터 중 실제 추론 시 활성화되는 파라미터는 41B에 그친다. 텍스트, 이미지, 오디오를 네이티브로 처리하는 멀티모달 입력을 지원하며, 컨텍스트 윈도우는 기본 1M 토큰, 자사 훈련 플랫폼 Tinker에서는 최대 256K 토큰 설정도 가능하다고 명시돼 있다. 가중치(weights)가 공개되어 있어 누구든 파인튜닝 기반으로 도메인 특화 모델을 만들 수 있다는 점이 핵심이다.

왜 MoE 구조가 중요한가?

MoE는 전체 파라미터를 동시에 사용하지 않고, 입력에 따라 일부 전문가(expert) 네트워크만 선택적으로 활성화한다. 결과적으로 모델이 표현할 수 있는 총 용량은 975B 수준으로 크지만, 실제 연산량은 41B 모델에 준하는 수준으로 유지된다. 이는 단순히 "작은 모델"과는 다르다. 큰 모델의 지식 표현력을 가지면서도 추론 비용을 억제할 수 있는 구조다.

오픈소스 LLM 생태계에서 MoE 모델이 주목받는 이유가 여기 있다. 클라우드 API에 의존하지 않고 자체 인프라에서 운영할 때, 활성 파라미터 수가 실질적인 GPU 메모리 요구량과 연산 비용을 결정하기 때문이다. 41B 활성 파라미터라면 소규모 GPU 클러스터에서도 운영 가능한 현실적인 선택지가 된다.

Inkling이 커버하는 기능 범위는?

Inkling이 공개적으로 내세우는 기능 영역은 크게 여섯 가지다.

첫째, 지식·수학·과학 영역의 범용 추론. 둘째, 코드 작성과 툴 사용을 포함한 에이전틱 워크플로우. 셋째, 텍스트·이미지·오디오를 동시에 받는 네이티브 멀티모달 입력. 넷째, 추론 시간을 조절해 속도와 정확도를 트레이드오프할 수 있는 '조절 가능한 사고(controllable effort)'. 다섯째, 예측과 신뢰도 추정이 가능한 캘리브레이션. 여섯째, 복잡한 멀티스텝 지시를 안정적으로 따르는 instruction following.

오디오 입력을 네이티브로 지원하는 오픈소스 모델은 여전히 드물다. 이 부분이 Inkling을 기존 오픈소스 모델들과 차별화하는 지점으로 보인다. 특히 음성 기반 인터페이스나 콜센터 자동화, 회의록 처리 같은 실제 서비스를 구축하려는 팀에게 의미 있는 옵션이 될 수 있다.

실무에서 어떤 의미인가?

외주 개발이나 자체 AI 기능 내재화를 검토하는 팀 입장에서 Inkling의 등장은 몇 가지 현실적인 시사점을 준다.

우선 파인튜닝 진입 장벽이 낮아졌다. Hugging Face에 가중치가 공개되어 있고, Thinking Machines의 자체 플랫폼 Tinker를 통한 파인튜닝 경로도 열려 있다. 도메인 특화 데이터를 가진 조직이라면 범용 API를 반복 호출하는 대신, Inkling 기반 특화 모델을 구축하는 방향이 장기적으로 비용 구조를 개선할 수 있다.

다음으로 멀티모달 통합 비용이다. 텍스트, 이미지, 오디오를 별도 모델로 처리하면 각각의 API 비용, 오케스트레이션 복잡도, 레이턴시가 누적된다. 단일 모델이 세 가지 모달리티를 처리할 수 있다면 파이프라인 구조가 단순해지고, 유지보수 부담도 줄어든다.

마지막으로 벤더 종속성 문제다. 오픈 가중치 모델은 특정 클라우드 제공사의 API 가격 정책 변화나 서비스 종료 리스크에서 상대적으로 자유롭다. AI 기능을 핵심 서비스에 깊게 통합할수록 이 유연성의 가치는 커진다.

도입 전 체크포인트

Inkling 도입을 고려한다면 아래 항목을 먼저 점검해야 한다.

인프라 준비도: MoE 모델은 활성 파라미터 외에도 전체 파라미터를 저장할 스토리지와 메모리가 필요하다. 41B 활성이지만 975B 전체를 어딘가에는 올려야 한다.

파인튜닝 데이터 품질: 오픈 가중치의 진짜 가치는 커스터마이징에 있다. 도메인 특화 데이터가 없다면 범용 API 대비 실질적 이점이 크지 않을 수 있다.

오디오 처리 요구사항: 오디오 입력 지원이 자신의 서비스와 무관하다면, 이 기능에 따른 모델 복잡도는 오히려 불필요한 부담이 될 수 있다.

운영 역량: 오픈소스 LLM은 API를 쓰는 것보다 훨씬 높은 MLOps 역량을 요구한다. 모델 서빙, 버전 관리, 모니터링 체계가 갖춰져 있지 않다면 초기 비용이 예상보다 클 수 있다.