증류 모델은 검열을 물려받지 않는다 — DeepSeek 실험이 증명한 것 (ctgt.ai)
목차(4)
한줄 요약
중국 검열 LLM을 교사 모델로 써도 정치 검열은 학생 모델에 전이되지 않는다 — CTGT 통제 실험 결과.
무엇이 달라지나?
오픈소스 LLM 도입이 확산되면서 국내외 개발팀 사이에서 공통적으로 나오는 질문이 있다. "중국산 모델을 기반으로 파인튜닝하거나 증류하면, 그 안에 심어진 검열 성향도 함께 딸려오는 것 아닌가?" 이 질문은 단순한 정치적 우려가 아니라, 실제 서비스 운영에서 예측 불가능한 응답 거부가 발생할 수 있다는 기술적 리스크로 연결된다.
AI 안전성 연구사 CTGT가 이 질문에 정면으로 답하는 실험을 공개했다. 핵심은 DeepSeek V4 Flash를 교사 모델로 삼아 금융 추론 특화 증류를 진행한 뒤, 정치 검열 행동이 학생 모델로 전이되는지를 152쌍의 매칭 프롬프트와 4개 판정 모델로 측정한 것이다.
실험 결과는 명확했다. DeepSeek V4 Flash는 중국 민감 주제에 대해 통제 프롬프트 대비 45.45점 더 높은 검열 점수를 기록했다. 신장 위구르 강제노동 프로그램에 관한 질문에 4개 판정 모델 모두 "거부"로 평가한 반면, 구조적으로 동일한 우즈베키스탄 면화 강제노동 질문에는 상세하게 답변했다. 같은 교사 모델에게 배운 학생 모델 GPT-OSS-120B는 두 질문 모두에 상세히 답했고, 중국 민감 주제와 통제 주제 사이에 통계적으로 유의미한 행동 차이가 없었다.
성능 측면에서도 의미 있는 결과가 나왔다. GPT-OSS-120B는 8,000토큰 생성 예산 기준 FinanceReasoning 벤치마크에서 83.61%를 기록해 Kimi K3(81.93%)와 Inkling(65.13%)을 앞섰다. 쿼리당 비용은 Inkling 대비 62배, Kimi K3 대비 160배 낮다는 점도 함께 공개됐다.
추가로 주목할 만한 발견이 있다. 교사 모델 없이 자기 자신의 수정 출력으로만 훈련하는 자기증류(self-distillation) 방식도 금융 추론에서 동일한 수준의 점수를 기록했다. 도메인 특화 애플리케이션이라면 반드시 더 강력한 외부 교사 모델이 필요한 것은 아니라는 함의다.
실무에서 어떤 의미인가?
개발 외주나 AI 서비스 내재화를 검토하는 팀이라면 이 실험에서 두 가지 실용적 판단 근거를 얻을 수 있다.
첫째, 중국산 오픈소스 모델의 성능을 활용한 증류 파이프라인 구성이 정치·검열 리스크 없이 가능하다는 기술적 근거가 생겼다. 지금까지 이 가설은 소규모 실험이나 인위적으로 조작된 교사 모델 기반 연구에만 머물렀다. CTGT의 실험은 실제 프로덕션에 가까운 조건, 즉 프론티어급 중국 모델을 교사로 쓴 금융 도메인 증류라는 점에서 신뢰도가 다르다.
둘째, 고비용 프론티어 모델에 API로 종속되지 않고도 경쟁력 있는 추론 성능을 확보할 수 있다는 가능성이 구체화됐다. 특히 도메인이 명확한 서비스(금융, 법률, 의료 등)에서 비용 구조를 통제하면서 성능 목표를 달성하려는 팀에게 자기증류와 경량 증류 전략은 현실적 대안이 된다.
물론 이 결과를 무조건적인 안전 보장으로 해석해서는 안 된다. 실험이 다룬 것은 정치적 검열 전이 여부이며, 편향, 사실 오류 습득, 특정 프레이밍 학습 등 다른 차원의 리스크는 별도로 검토해야 한다.
도입 전 체크포인트
오픈소스 LLM 또는 증류 파이프라인 도입을 검토하는 팀이 확인해야 할 항목을 정리했다.
교사 모델의 도메인 적합성 검증: 성능 향상이 목표 도메인에 실제로 나타나는지 벤치마크로 사전 확인한다. 범용 성능이 아닌 도메인 특화 지표를 기준으로 삼는다.
검열·거부 행동 감사 프레임워크 구성: 교사 모델의 검열 특성이 학생 모델에 전이되지 않았더라도, 기업 서비스 환경에서 발생할 수 있는 응답 거부 패턴을 별도로 감사하는 체계가 필요하다. CTGT가 공개한 LineageEval 데이터셋(152 매칭 쌍, 판정 루브릭, 평가 코드 포함)은 이 체계를 구성하는 데 참고할 수 있다.
자기증류 가능성 선검토: 도메인이 명확하고 내부 데이터가 충분하다면, 외부 교사 모델 의존 전에 자기증류 전략을 먼저 시험해볼 가치가 있다. 비용과 공급망 리스크를 동시에 줄일 수 있다.
라이선스 및 규제 환경 확인: 오픈 가중치 모델이라도 상업적 이용 라이선스 조건이 다르고, 금융·의료 등 규제 산업에서는 모델 출처에 대한 컴플라이언스 요구사항이 추가될 수 있다.
자주 묻는 질문
Q.증류 모델이 교사 모델의 검열을 물려받지 않는다면, 다른 행동 특성도 전이되지 않는 건가?
이번 실험이 측정한 것은 정치적 검열 행동의 전이 여부에 한정된다. 어떤 정보를 더 강조하거나 특정 프레이밍을 선호하는 경향, 또는 사실 오류 패턴 같은 다른 차원의 행동 특성은 별도 실험이 필요하다. 증류는 교사 모델의 출력 분포를 학습하는 과정이기 때문에, 검열처럼 명시적 거부 신호가 없는 미묘한 편향은 전이 여부를 측정하기 더 어렵다. 이 실험 결과를 "교사 모델의 모든 특성이 전이되지 않는다"로 일반화하는 것은 과도한 해석이다.
Q.자기증류가 외부 교사 모델과 동일한 성능을 낸다면, 언제 외부 교사 모델이 필요한가?
자기증류는 모델이 이미 부분적으로 알고 있는 영역을 강화하는 데 효과적이다. 모델이 전혀 노출되지 않은 새로운 지식 도메인이나, 현재 기반 모델의 능력 한계를 뛰어넘어야 하는 경우에는 외부 교사 모델의 더 풍부한 출력이 필요할 수 있다. 이번 실험의 금융 추론 과제처럼 기반 모델이 이미 관련 지식을 어느 정도 보유하고 있고 도메인이 명확할 때 자기증류의 효율이 극대화되는 것으로 보인다.
Q.앱이나 서비스 개발 외주 시 이런 LLM 도입 결정을 어떻게 접근하면 좋은가?
LLM을 서비스에 통합할 때는 모델 선택, 증류 또는 파인튜닝 전략, 감사 체계 구성을 기술 스택 설계 단계에서 함께 결정해야 한다. 특히 외주 개발로 AI 기능을 구현할 경우, 개발사가 모델의 출처와 행동 감사 방법론을 설명할 수 있는지 확인하는 것이 중요하다. 비용 효율이 좋은 오픈소스 모델을 쓰더라도 서비스 특성에 맞는 평가 기준과 모니터링 체계를 갖추는 것이 장기적으로 리스크를 낮춘다. 📌 원문: [CTGT Research](https://www.ctgt.ai/research/distillation-censorship-transfer) 🔗 새로운 기술 도입이나 기술 검토가 필요하다면 → [삼태연구소에 문의하기](/contact)
관련 아티클
관련 사례
이 글의 키워드와 맞닿은 실제 개발 사례를 함께 보세요.
