한줄 요약
LLM이 자기 출력만으로 코드 생성 성능을 42.4% → 55.3%까지 끌어올렸다.
무엇이 달라지나?
기존에 LLM의 코드 생성 능력을 높이려면 보통 세 가지 중 하나가 필요했다. 정답을 검증해주는 외부 검증기, 더 똑똑한 교사 모델, 또는 복잡한 강화학습 파이프라인이다. 이번 연구는 이 세 가지를 모두 걷어낸다.
연구진이 제안한 방식은 **단순 자기 증류(Simple Self-Distillation, SSD)**다. 모델 자신이 특정 온도(temperature)와 절삭(truncation) 설정으로 샘플을 생성하고, 그 샘플을 그대로 지도 학습(SFT)으로 다시 학습하는 구조다. 외부 피드백 없이 모델의 출력 분포 자체를 재조정하는 것이 핵심이다.
성능 변화는 뚜렷하다. Qwen3-30B-Instruct 기준으로 LiveCodeBench v6에서 pass@1 점수가 42.4%에서 55.3%로 올랐다. 특히 어려운 문제일수록 성능 향상 폭이 컸다는 점이 주목할 만하다. 이 효과는 4B, 8B, 30B 규모에서 Qwen과 Llama 계열 모델 모두에 재현됐으며, instruct 버전과 thinking 버전 양쪽에서 확인됐다.
왜 이렇게 단순한 방법이 통하는가에 대해 연구진은 정밀도-탐색 충돌(precision-exploration conflict) 개념으로 설명한다. LLM 디코딩 과정에서 정밀도가 필요한 맥락에서는 불필요한 토큰 분포의 꼬리를 억제하고, 탐색이 필요한 맥락에서는 다양성을 유지하는 방식으로 토큰 분포가 맥락 의존적으로 재형성된다는 것이다.
