구글 AI Edge Gallery: 완전 오프라인으로 스마트폰에서 LLM을 직접 실행하다 (github.com)
목차(4)
한줄 요약
인터넷 없이 스마트폰에서 LLM을 직접 돌릴 수 있는 구글의 오픈소스 앱이 공개됐다.
무엇이 달라지나?
구글이 'AI Edge Gallery'라는 이름의 오픈소스 모바일 앱을 GitHub에 공개했다. 이 앱은 안드로이드와 iOS 기기에서 대형 언어 모델(LLM)을 완전 오프라인 환경으로 실행할 수 있도록 설계됐다. 서버로 데이터를 전송하지 않기 때문에 프롬프트, 이미지, 개인 데이터가 기기 밖으로 나가지 않는다.
이번 릴리스의 핵심은 Gemma 4 패밀리 공식 지원이다. Gemma 4는 추론, 논리, 창의적 생성 등의 기능을 기기 내에서 처리하며, '씽킹 모드(Thinking Mode)'를 통해 모델이 문제를 단계별로 추론하는 과정을 사용자가 직접 확인할 수 있다. 씽킹 모드는 현재 Gemma 4 패밀리부터 지원된다.
기능 면에서도 단순 채팅을 넘어선다. 카메라나 갤러리 사진을 활용한 멀티모달 질의(Ask Image), 음성 녹음을 실시간으로 텍스트로 변환하는 오디오 전사(Audio Scribe), Wikipedia 검색·지도·시각 카드 등 외부 도구를 연결하는 에이전트 스킬(Agent Skills)까지 갖췄다. 여기에 FunctionGemma 270m 파인튜닝 모델 기반의 오프라인 기기 제어(Mobile Actions)와 자연어로 식물을 심고 수확하는 미니게임(Tiny Garden)도 포함됐다.
모델 관리 측면에서는 목록에서 직접 다운로드하거나 사용자가 만든 커스텀 모델을 불러올 수 있으며, 각 모델이 자신의 기기에서 어떤 성능을 내는지 벤치마크 테스트로 측정할 수 있다. 기술 스택으로는 구글 AI Edge API, 경량 런타임인 LiteRT, 그리고 Hugging Face 통합이 사용됐다.
실무에서 어떤 의미인가?
클라우드 API에 의존하지 않고 기기 안에서 LLM을 실행할 수 있다는 것은 보안 민감 환경이나 인터넷이 제한된 현장에서의 AI 활용 가능성을 열어준다. 특히 개인정보나 기업 내부 데이터를 외부 서버에 보내지 않고도 AI 기능을 사용할 수 있다는 점은 규제 산업군에서 실질적인 검토 가치가 있다. 다만 현재 베타 단계이므로 프로덕션 적용보다는 온디바이스 AI의 가능성과 한계를 직접 평가하는 용도로 접근하는 것이 현실적이다.
도입 전 체크포인트
- 운영체제 요구사항 확인 필수: Android 12 이상, iOS 17 이상에서만 동작한다
- 스토리지 여유 공간 확보: LLM 모델 파일은 수 GB에 달할 수 있으므로 사전 확인이 필요하다
- Google Play 미사용 환경: APK 직접 설치 옵션이 제공되므로 기업 기기 등에서도 설치 가능하다 (프로젝트 Wiki 참고)
- 씽킹 모드 지원 모델 제한: 현재 Gemma 4 패밀리에서만 씽킹 모드가 작동한다
- 베타 소프트웨어: 실험적 베타 릴리스임을 감안하고 버그 가능성을 열어두어야 한다
- 오픈소스 라이선스: Apache License 2.0으로 배포되어 코드 수정 및 재사용이 가능하다
- 커스텀 모델 호환성: 자체 모델을 불러올 수 있지만, LiteRT 호환 포맷인지 사전 확인이 필요하다
자주 묻는 질문
Q.구글 AI Edge Gallery 앱은 무엇이고, 기존 AI 챗봇 앱과 어떤 점이 다른가?
AI Edge Gallery는 구글이 오픈소스로 공개한 모바일 앱으로, ChatGPT나 Gemini 앱처럼 클라우드 서버를 거치지 않고 스마트폰 하드웨어에서 직접 LLM을 실행한다. 모든 연산이 기기 내부에서 이루어지기 때문에 인터넷 연결 없이도 동작하며, 사용자 데이터가 외부로 전송되지 않는다. 단순 대화 외에도 이미지 인식, 음성 전사, 에이전트 기능 등 복합적인 AI 기능을 오프라인 환경에서 제공한다는 점이 가장 큰 차별점이다.
Q.AI Edge Gallery에서 Gemma 4를 지원한다고 하는데, 일반 스마트폰에서도 실행이 가능한가?
공식 요구사항은 Android 12 이상 또는 iOS 17 이상이다. 다만 LLM 모델 자체가 상당한 연산 자원을 필요로 하기 때문에 기기 성능에 따라 실행 속도와 안정성이 달라질 수 있다. 앱 내 벤치마크 기능을 통해 자신의 기기에서 각 모델이 어떤 성능을 내는지 직접 측정해볼 수 있으므로, 기기 적합성은 테스트를 통해 확인하는 것이 권장된다. 현재 베타 단계이므로 모든 기기에서 동일한 경험을 보장하지는 않는다.
Q.기업 환경에서 AI Edge Gallery를 보안 도구로 활용할 수 있는가?
모든 모델 추론이 기기 내부에서만 이루어지고 외부 서버와 통신하지 않는다는 점에서 데이터 유출 위험이 구조적으로 차단된다. 이는 민감한 정보를 다루는 업무 환경이나 인터넷 접근이 제한된 현장에서 AI 보조 기능을 테스트하는 데 적합할 수 있다. 다만 현재 실험적 베타 릴리스 상태이며, 기업 기기 설치 시에는 Google Play 없이 APK를 직접 배포하는 방식도 지원된다. 프로덕션 도입 전에는 프로젝트 Wiki의 기업 기기 설치 가이드와 라이선스(Apache 2.0) 조건을 먼저 검토하는 것이 바람직하다.
관련 아티클
관련 사례
이 글의 키워드와 맞닿은 실제 개발 사례를 함께 보세요.
