GPT-5.5의 환각률 86% — 더 큰 AI 모델이 더 정확하지 않은 이유 (arrowtsx.dev)

한줄 요약

파라미터가 클수록 환각이 심해질 수 있다 — AI 모델 선택 기준이 바뀌고 있다.

2026년 중반, AI 업계에서 오랫동안 당연시되던 전제 하나가 흔들리고 있다. "더 큰 모델이 더 똑똑하다"는 명제가, 실제 환각률(Hallucination Rate) 데이터 앞에서 설득력을 잃어가는 중이다.

Artificial Analysis의 Omniscience 벤치마크에 따르면, GPT-5.5의 환각률은 86%로 측정됐다. 이는 모델이 답을 모르는 질문에 대해 "모른다"고 응답한 비율이 고작 14%에 불과하다는 뜻이다. 나머지 86%는 틀린 답을 자신 있게 내놓는다. 같은 벤치마크에서 DeepSeek V4 Pro(1.6T 파라미터, 활성 49B)는 94%로 더 심각했다.

반면 Z.ai의 오픈웨이트 모델인 GLM-5.2(753B 파라미터, 활성 약 40B)는 환각률 28%를 기록했다. MIT 라이선스로 공개된 이 모델은 Artificial Analysis Intelligence Index에서 GPT-5.5와 불과 4점 차이다. 사이즈는 절반 수준인데 정확도는 훨씬 높다.

왜 더 큰 모델이 더 많이 틀리나?

대규모 모델이 방대한 사실 데이터로 학습될수록, 모델은 "항상 답을 내놓는" 방향으로 수렴하는 경향이 있다. 불확실성을 인정하는 능력, 즉 "나는 이걸 모른다"고 말하는 능력이 오히려 퇴화하는 것이다.

실제로 단일 스레드에서 멀티플렉스 I/O를 동시에 처리하라는 — 구조적으로 불가능한 — Python 코드 질문을 두 모델에 던진 테스트에서 결과 차이가 극명하게 드러났다. DeepSeek V4 Pro는 약 10배 많은 추론 토큰을 소비하고 3분 26초를 사용한 끝에 자신감 넘치는 오답을 내놨다. GLM-5.2는 12초, 약 800 추론 토큰만으로 해당 질문이 기술적으로 불가능하다는 사실을 정확히 짚어냈다.

이 격차는 단순한 성능 차이가 아니다. 전자는 "틀렸지만 그럴듯한 답"을, 후자는 "정직한 판단"을 선택했다. 실무에서 어느 쪽이 더 위험한지는 자명하다.

개발 프로젝트에서 실제로 무슨 의미인가?

소프트웨어 개발 현장에서 AI 코딩 어시스턴트를 쓰는 팀이라면 이 데이터를 그냥 넘길 수 없다. 환각률이 높은 모델은 특히 다음 상황에서 치명적이다.

존재하지 않는 라이브러리나 API를 실제처럼 제안할 때. 개발자가 검증하지 않고 그대로 통합하면 빌드가 깨지고, 최악의 경우 보안 취약점이 생긴다.

설계상 불가능한 구조를 가능한 것처럼 구현해줄 때. 코드가 일단 돌아가는 것처럼 보이지만, 특정 조건에서 예외 없이 실패한다.

디버깅 과정에서 틀린 방향을 자신 있게 제시할 때. 오히려 원인 파악에 더 오랜 시간이 걸린다.

앱이나 웹 서비스를 외주 개발로 맡기는 입장에서도 이 문제는 중요하다. 개발사가 어떤 AI 도구를 어떤 기준으로 선택해서 쓰는지가, 결과물의 품질 신뢰도에 직결된다.

AI 모델 도입 전 체크포인트

단순히 "GPT 계열이니까 좋겠지"라는 판단은 2026년 기준으로 이미 구식 접근이다. 모델을 선택하거나 평가할 때 아래 세 가지 축을 동시에 따져야 한다.

원문 저자는 이를 현대 LLM의 트릴레마(Trilemma)로 정의한다. 원시 성능(Raw Capability), 불확실성 교정 능력/환각률(Uncertainty Calibration / Hallucination Rate), 그리고 연산 효율성(Computational Efficiency). 이 셋을 동시에 만족하는 모델은 아직 없다. 따라서 사용 목적에 따라 어느 축에 가중치를 둘지 판단하는 것이 전략이다.

코딩 어시스턴트처럼 정확성이 최우선인 용도라면, 벤치마크 종합 순위보다 환각률 지표를 먼저 확인해야 한다. 모델 크기나 파라미터 수는 참고 정보일 뿐, 선택 기준이 되어선 안 된다.