한줄 요약
최신 LLM 4종에 동일 프롬프트를 던진 결과, 코딩 완성도·속도·비용 모두 모델마다 뚜렷하게 갈렸다.
무엇이 달라지나?
2026년 7월 기준, LLM 코딩 능력 비교의 기준점이 다시 세워지고 있다. tryai.dev 팀이 Grok 4.5, GPT-5.5, Claude Opus 4.8, Claude Fable 5에 완전히 동일한 세 가지 프롬프트를 던졌다. 외부 라이브러리 없이 단일 HTML 파일로 앱을 만들어라, 한 번에, 수정 없이. 실패 시 딱 한 번만 재시도를 허용했다.
라운드 1: 3D 루빅스 큐브
가장 난이도가 높은 과제였다. 3D 수학, 면별 상태 관리, 애니메이션을 단일 파일에 모두 구현해야 한다. Claude Opus 4.8과 Fable 5는 첫 시도에 정확한 색상과 회전 애니메이션을 갖춘 큐브를 완성했다. Grok 4.5는 첫 시도에서 제목과 버튼만 렌더링하고 큐브 자체가 나타나지 않아 재시도를 소진했으며, 재시도에서는 완성도 있는 결과를 냈다. GPT-5.5는 단일 어두운 면만 렌더링하는 수준에 그쳤다.
라운드 2: 파티클 중력 샌드박스
4개 모델 모두 작동하는 결과물을 냈다. 차이는 '완성도'가 아니라 '감각'에서 갈렸다. GPT-5.5는 네온 글로우 어트랙터와 밀도 높은 색상 궤적으로 가장 시각적으로 인상적인 결과물을 만들었다. Grok 4.5는 깔끔한 궤도형 디자인을, Fable 5는 부드러운 글로우 orb 스타일을, Opus 4.8은 물리 시뮬레이션 품질이 뛰어나지만 시각적 임팩트는 상대적으로 낮은 결과물을 냈다.
라운드 3: 브레이크아웃 게임
4개 모델 모두 첫 시도에서 마우스 조작, 점수, 목숨 기능이 포함된 플레이 가능한 게임을 완성했다. Grok 4.5와 GPT-5.5는 네온 아케이드 스타일을 가장 강하게 표현했다. 사실상 전원 합격 수준이었다.
실무에서 어떤 의미인가?
코딩 결과물 외에 속도와 비용도 측정했다. 동일한 테스트 환경에서 나온 수치다.
| 모델 | 중앙값 지연 | 첫 토큰 | 처리량 | 응답당 비용 |
|---|---|---|---|---|
| Grok 4.5 | 2.8s | 0.44s | 110 tok/s | 0.002¢ |
| GPT-5.5 | 2.0s | 1.26s | 53 tok/s | 0.004¢ |
| Claude Opus 4.8 | 2.6s | 1.16s | 47 tok/s | 0.004¢ |
| Claude Fable 5 | 6.3s | 3.47s | 28 tok/s | 0.009¢ |
Grok 4.5의 수치가 눈에 띈다. 첫 토큰까지 0.44초, 처리량 110 tok/s로 다른 모델 대비 약 2배 이상 빠르고, 비용도 가장 낮다. 다만 중앙값 지연이 상대적으로 낮지 않아 보이는 이유는 출력 토큰 수 자체가 많기 때문이다. p95 지연이 약 9초까지 튀는 스파이크도 관측됐다.
Claude Fable 5는 가장 느리고 비용도 가장 높다. 그 대신 루빅스 큐브 과제에서 첫 시도 완성이라는 결과를 냈다. 속도와 지능의 트레이드오프가 여전히 존재한다는 뜻이다.
실무 관점에서 이 데이터는 꽤 유용한 시그널이다. 외주 개발이나 AI 보조 개발 도입을 검토하는 팀이라면, 단순히 "어떤 모델이 더 좋냐"보다 "어떤 작업 유형에 어떤 모델을 쓸 것이냐"라는 질문이 훨씬 실용적이다. 복잡한 UI 로직 구현에는 Claude 계열이 안정적이고, 빠른 반복 작업이나 비용 민감한 태스크에는 Grok 4.5가 강점을 보인다.
도입 전 체크포인트
AI 코딩 도구를 팀에 실제로 도입하려는 경우, 이번 비교 결과에서 몇 가지 실용적 판단 기준을 뽑아볼 수 있다.
복잡도 기준으로 모델을 나눠라. 3D 큐브처럼 알고리즘 정확성이 중요한 과제에서는 Claude 계열이 일관성이 높았다. 빠른 프로토타입이나 반복 생성에는 Grok 4.5의 속도와 비용 구조가 유리하다.
첫 시도 성공률을 체크하라. 이번 테스트에서 Grok 4.5는 루빅스 큐브 과제에서 재시도를 소진했다. 운영 환경에서는 재시도 비용도 비용이다. 단순히 결과물의 품질만 보지 말고, 첫 시도 안정성도 평가해야 한다.
속도 지표는 평균이 아닌 꼬리를 봐라. Grok 4.5의 p95 지연이 약 9초까지 튀었다는 점은 UX에 민감한 실시간 서비스에서는 리스크 요인이 된다. 중앙값만 보고 판단하면 놓치는 부분이다.
비용은 단가가 아니라 총량으로 계산하라. 응답당 비용이 낮아도 출력 토큰 수가 많으면 총 비용이 올라간다. 모델별 출력 경향도 함께 파악해야 정확한 예산 예측이 가능하다.
