모델 출시 전 회귀 테스트에서 세 명의 LLM 평가자가 모두 “통과”를 냈다고 가정해 보겠습니다. 이 결과만으로 배포를 승인하면 편합니다. 하지만 세 평가자가 같은 모델 계열, 같은 프롬프트 구조, 같은 불완전한 기준 데이터를 보고 있다면, 같은 이유로 틀렸을 가능성도 함께 커집니다.
운영 규모의 AI 프로젝트에서 LLM 평가자 간 일치는 품질 보증서가 아니라 점검 신호에 가깝습니다. 합의가 높으면 처리 자동화를 검토할 근거는 생기지만, 그 전에 “이 평가자들은 서로 다른 오류를 발견할 수 있는가”, “틀렸을 때 누가 어떤 피해를 받는가”를 확인해야 합니다.
핵심은 평가자 수를 늘리는 일이 아닙니다. 어떤 업무를 자동 승인 대상으로 둘지, 평가자 집단의 공통 편향을 어떻게 드러낼지, 어느 조건에서 사람에게 넘길지를 운영 정책으로 정하는 일입니다.
합의율은 정확도와 다른 지표다
합의율은 평가자들이 같은 판정을 내린 비율입니다. 반면 정확도는 그 판정이 조직이 원하는 기준과 맞았는지를 뜻합니다. 두 수치는 함께 움직일 수 있지만, 같은 값은 아닙니다.
예를 들어 고객 상담 답변을 평가할 때 여러 모델이 문장이 정중하고 형식이 잘 갖춰졌다고 판단할 수 있습니다. 그러나 답변 안의 정책 안내가 오래됐거나, 특정 고객 상황에서 적용하면 안 되는 예외를 놓쳤다면 높은 합의는 도움이 되지 않습니다. 평가자들이 표현의 매끄러움에는 민감하지만 사실성이나 업무 규칙 위반에는 둔감한 상태일 수 있습니다.
특히 아래 조건에서는 합의율을 품질 근거로 과대해석하기 쉽습니다.
- 같은 기반 모델 또는 유사한 모델군을 여러 평가자로 사용한다.
- 모든 평가자가 같은 시스템 프롬프트, 같은 채점 문구, 같은 참고 문서를 받는다.
- 평가 기준이 “좋은 답변인가”처럼 넓고 해석 여지가 크다.
- 평가 대상이 학습 데이터나 기존 테스트셋과 비슷한 유형에 치우쳐 있다.
- 모델이 만든 답변을 다른 모델이 판단하면서, 설득력 있는 표현을 정답으로 오인한다.
따라서 대시보드에 합의율을 표시하더라도 이를 승인 지표 하나로 쓰면 안 됩니다. 합의율 옆에는 기준 데이터와의 일치율, 오류 유형별 재현율, 사람 검토에서 뒤집힌 비율을 함께 봐야 합니다.
자동 승인 여부는 오류 비용부터 나눈다
모든 평가 업무에 같은 검토 강도를 적용하면 비용이 과해지고, 반대로 모든 업무를 자동화하면 위험이 누적됩니다. CTO나 개발 리드는 먼저 평가 결과가 바꾸는 행동을 기준으로 업무를 세 구간으로 나누는 편이 낫습니다.
| 업무 구간 | 예시 | 권장 처리 |
|---|---|---|
| 낮은 영향 | 문장 형식, 금칙어 1차 탐지, 내부 실험용 응답 분류 | 검증된 기준 안에서 자동 승인 가능 |
| 중간 영향 | 검색 답변의 품질 선별, 지원 티켓 우선순위, 콘텐츠 초안 게시 후보 선정 | 합의와 규칙 검사를 통과하되 표본 인간 검토를 병행 |
| 높은 영향 | 결제·계약·의료·채용·보안·개인정보 관련 판단, 고객 권리나 접근 권한 변경 | LLM 합의만으로 승인하지 않고 사람 또는 결정적 규칙을 거침 |
여기서 높은 영향은 법적 위험 여부만을 뜻하지 않습니다. 잘못된 승인 하나가 대량 고객에게 복제되는 업무, 되돌리기 어려운 외부 발송, 운영자가 나중에 판단 근거를 설명해야 하는 업무도 포함합니다.
반대로 자동 승인이 가능한 업무도 있습니다. 다만 그 업무는 “평가자가 옳다”고 믿어서가 아니라, 오류가 발생해도 되돌릴 수 있고 영향 범위가 제한되며, 기준을 기계적으로 확인할 수 있을 때 선택해야 합니다. 예를 들어 정해진 JSON 스키마 충족 여부는 LLM 합의보다 파서와 스키마 검증기가 더 적합합니다. LLM은 그 다음 단계에서 의미상 누락이나 표현 문제를 살피는 보조 평가자로 두는 편이 안전합니다.
평가 기준을 먼저 쪼개야 공유 오류가 보인다
“이 답변은 좋은가”라는 단일 점수는 평가자 합의를 높이기 쉽지만, 무엇이 문제였는지 알려주지 못합니다. 자동 승인 정책을 만들려면 품질을 행동 가능한 기준으로 나눠야 합니다.
가령 RAG 기반 사내 지식 도우미라면 다음처럼 분리할 수 있습니다.
- 근거 충실성: 답변의 주요 주장이 제공된 문서에서 확인되는가.
- 인용 또는 근거 연결: 사용자가 검증할 수 있도록 관련 문서 위치를 제시했는가.
- 업무 규칙 준수: 권한, 승인 절차, 최신 정책의 예외를 빠뜨리지 않았는가.
- 요청 해결성: 사용자의 질문에 필요한 다음 행동이 포함됐는가.
- 안전한 보류: 근거가 부족할 때 추측 대신 확인 경로를 안내했는가.
이렇게 나누면 세 평가자가 모두 통과를 냈더라도 어느 축에서 같은 실수를 했는지 추적할 수 있습니다. 예를 들어 근거 충실성 점수는 높지만 최신 정책 예외를 지속적으로 놓친다면, 모델을 하나 더 추가하기보다 기준 데이터와 평가 프롬프트에 예외 사례를 보강해야 합니다.
기준 데이터도 정답 문장 모음에 머물면 부족합니다. 운영 중 실제로 문제가 되는 경계 사례를 포함해야 합니다. 오래된 문서와 최신 문서가 충돌하는 경우, 질문 자체가 모호한 경우, 정답처럼 보이지만 권한상 안내하면 안 되는 경우처럼 평가자들이 쉽게 같은 방향으로 틀리는 입력을 따로 관리하는 편이 좋습니다.
평가자 다양성은 모델 이름보다 오류 경로로 설계한다
서로 다른 공급사의 모델을 쓰면 독립성이 높아질 수 있습니다. 그러나 모델 공급사를 바꾸는 것만으로 공유 오류가 사라지지는 않습니다. 같은 평가 기준, 같은 검색 결과, 같은 잘못된 정답 예시를 사용하면 다른 모델도 같은 결론에 도달할 수 있습니다.
평가자 다양성은 다음 세 층에서 확인할 수 있습니다.
-
판단 방식의 차이
한 평가자는 자유 점수 대신 항목별 체크리스트를 사용하고, 다른 평가자는 답변의 주장과 근거 문서를 문장 단위로 대조하게 합니다. 한 모델에게 모든 판단을 맡기지 않는 방식입니다. -
입력 정보의 차이
생성 답변만 보고 채점하는 평가자와, 원문 근거·검색 로그·도구 호출 기록까지 확인하는 평가자는 발견하는 오류가 다릅니다. 중요한 판정일수록 결과물만 보지 말고 생성 과정의 증거를 함께 제공해야 합니다. -
실패 목표의 차이
한 평가자는 도움이 되는 답변을 찾고, 다른 평가자는 위험한 오답·근거 없는 확신·정책 위반을 찾아내도록 역할을 나눌 수 있습니다. 모두가 “좋은 답변”을 찾으면 같은 장점에 끌릴 가능성이 큽니다.
이 구성에서도 독립성을 증명하려면 검증이 필요합니다. 인간이 판정한 보류 사례와 실패 사례를 대상으로 평가자별 오류가 겹치는지 확인해야 합니다. 평가자들이 자주 동시에 놓치는 오류 유형이 발견되면, 다수결의 가중치를 높일 일이 아니라 자동 승인 범위를 줄일 신호입니다.
사람 재검토는 불일치 처리팀이 아니라 안전장치다
많은 팀이 평가자 의견이 갈릴 때만 사람에게 넘깁니다. 하지만 위험한 경우는 오히려 평가자들이 자신 있게 합의하는 경우일 수 있습니다. 따라서 인간 재검토 조건에는 불일치 외의 트리거가 들어가야 합니다.
다음 조건 중 하나라도 해당하면 별도 모델, 기준 데이터 대조, 또는 사람 검토를 요구하는 정책을 고려할 수 있습니다.
- 답변이 외부 고객에게 즉시 발송되거나 되돌리기 어렵다.
- 답변이 금전, 권한, 계약 조건, 보안 조치에 영향을 준다.
- 최신성에 민감한 정책이나 데이터에 의존한다.
- 검색 근거가 없거나, 서로 상충하는 근거가 함께 검색됐다.
- 과거 인간 검토에서 자주 뒤집힌 오류 유형에 해당한다.
- 입력 언어, 고객군, 제품 버전이 기존 검증 범위 밖에 있다.
- 평가자가 짧은 사유만 내거나 근거 위치를 제시하지 못한다.
사람에게 넘긴다고 해서 모든 답변을 처음부터 다시 읽게 할 필요는 없습니다. 검토 화면에는 모델 점수보다 “어떤 기준에서 통과했는지”, “어떤 근거 문서를 사용했는지”, “어떤 평가자가 어떤 이유로 보류했는지”를 보여줘야 합니다. 그래야 검토자가 모델의 결론을 재생산하는 대신, 모델이 놓친 조건을 빠르게 확인할 수 있습니다.
운영 지표는 승인률보다 뒤집힘을 추적해야 한다
LLM 평가 시스템은 모델 교체, 프롬프트 수정, 정책 문서 갱신, 데이터 분포 변화에 따라 조용히 성격이 바뀝니다. 초기 검증에서 합의가 높았더라도 운영 후에도 같은 의미를 유지한다고 가정하면 안 됩니다.
운영 대시보드에는 최소한 다음 변화를 남겨둘 만합니다.
- 평가자 간 합의율과 기준 데이터 일치율의 차이
- 인간 검토가 자동 판정을 뒤집은 이유와 유형
- 특정 제품, 언어, 고객 요청 유형에서 늘어난 보류율
- 근거 문서 부재, 문서 충돌, 최신 문서 미참조 같은 증거 품질 문제
- 모델·프롬프트·검색 인덱스·평가 기준 변경 후의 판정 변화
여기서 중요한 경보는 합의율 하락만이 아닙니다. 합의율은 높게 유지되는데 인간 검토의 뒤집힘이 늘거나, 특정 오류 유형이 반복된다면 평가자들이 같은 사각지대를 공유하고 있을 가능성이 있습니다.
자동 승인 정책을 만들 때 첫 질문은 “몇 개 모델이 동의해야 하는가”가 아닙니다. 먼저 최근 운영 데이터에서 되돌릴 수 없는 오류를 몇 유형으로 나누고, 각 유형에 필요한 증거와 재검토 주체를 정해 보십시오. 그 뒤에야 합의율이 자동화에 기여할 수 있는 범위가 드러납니다.
