피부 병변 분석 서비스의 첫 모델을 고를 때, 최신 범용 멀티모달 LLM이 더 넓은 설명 능력과 대화 인터페이스를 제공한다는 이유만으로 진단 엔진까지 맡기면 실패가 시작될 수 있다. 피부 병변 분류는 이미지를 보고 병명을 맞히는 과제처럼 보이지만, 서비스에서는 “추가 검사 없이 안내해도 되는가”라는 분류보다 더 무거운 판단으로 이어지기 때문이다.
탐색 단계의 CTO와 개발 리드는 범용 LLM과 특화 영상 모델을 기능 목록으로 비교하기보다, 각 모델이 어떤 입력과 어떤 실패 조건에서 안전한 결정을 내리는지 비교해야 한다. 현재 확인 가능한 공개 평가들은 특화 데이터로 미세조정한 영상 모델이 범용 모델보다 높은 정확도를 보일 수 있음을 보여주는 한편, 전문 모델도 학습하지 않은 질환, 촬영 기관 변화, 이미지 잡음 앞에서는 크게 흔들릴 수 있음을 보여준다.
핵심 선택은 “LLM인가 CNN인가”가 아니다. 병변 판정 모델, 설명 인터페이스, 사람에게 넘기는 통제 장치를 어떤 역할로 나눌지 결정하는 일이다.
실패는 모델의 나이가 아니라 입력과 과제가 어긋날 때 시작된다
공개된 한 비교에서는 조직검사로 확인된 피부 병변 200개를 대상으로 범용 멀티모달 모델 두 종류와 미세조정된 Inception v3 CNN을 비교했다. 해당 평가에서 CNN은 6개 진단 범주 중 정답을 125건, 두 범용 모델은 각각 84건과 85건 맞힌 것으로 보고됐다. CNN은 2015년에 공개된 구조를 사용했지만, 피부 임상 사진과 더모스코피 이미지를 포함한 데이터로 미세조정했다는 조건이 중요하다.
이 결과만으로 모든 범용 LLM이 피부암 진단에 부적합하다고 결론낼 수는 없다. 비교에 사용한 프롬프트, 모델 버전, 진단 범주, 이미지 구성, 임상 정보 제공 여부가 결과에 영향을 주기 때문이다. 반대로 “최신 모델이므로 전문 모델보다 낫다”는 가정도 이 비교만으로는 지지되지 않는다.
여기서 제품팀이 놓치기 쉬운 문제는 과제 정의다. 서비스가 요구하는 것이 여섯 가지 병변의 단일 분류인지, 악성 가능성이 있는 병변을 놓치지 않는 선별인지, 사용자가 촬영한 품질 낮은 사진에 대해 재촬영을 요청하는 일인지에 따라 최적 모델과 평가지표가 달라진다.
예를 들어 모델이 양성 병변을 악성 의심으로 분류하면 불필요한 상담이나 검사로 이어질 수 있다. 반대로 악성 병변을 “경과 관찰 불필요”로 안내하면 위험은 더 직접적이다. 따라서 정확도 하나로 모델을 비교하면, 서비스에서 더 중요한 실패 방향을 가릴 수 있다.
조기 신호는 높은 평균 점수보다 퇴원 판단에서 먼저 드러난다
피부 병변 AI의 실패는 평균 정확도가 낮을 때만 발생하지 않는다. 평균 성능이 좋아도 특정 질환, 특정 촬영 환경, 특정 피부 상태에서 오류가 몰릴 수 있다.
2019년 국제 피부영상 협력 챌린지의 검증에서는 훈련 데이터와 다른 국가·기관에서 수집된 이미지, 훈련 범주에 없던 진단, 털·펜 표시·궤양 같은 이미지 요소가 모델 정확도에 영향을 줬다. 같은 알고리즘이라도 비교적 익숙한 데이터셋에서는 최고 균형 정확도 82.0%를 기록했지만, 더 현실적 조건을 반영하도록 설계된 다른 데이터셋에서는 58.8%로 낮아졌다.
특히 학습하지 않은 진단 범주에서 알고리즘은 전문가보다 크게 낮은 정답률을 보였다. 이 조건에서 상위 알고리즘군은 상당수 이미지를 악성으로 오분류했다. 이는 “알 수 없는 병변을 잘못 안심시키지 않는다”는 점만으로 충분하지 않다는 뜻이다. 미확인 병변을 모두 위험으로 몰아도, 서비스의 상담·검사 흐름은 감당하기 어려워질 수 있다.
개발팀은 다음 신호를 모델 탈락 또는 사용 범위 축소의 기준으로 삼을 수 있다.
- 병명 분류 점수는 높지만, 추가 평가가 필요한 병변을 낮은 위험도로 안내하는 오류가 반복된다.
- 외부 기관 이미지나 다른 촬영 장비 이미지에서 성능이 급락한다.
- 학습 범주 밖 병변을 특정 진단으로 과도하게 확신한다.
- 털, 반사광, 펜 표시, 궤양, 초점 불량이 있는 이미지에서 오류 유형이 달라진다.
- 임상 사진과 더모스코피 사진을 함께 제공했을 때와 한 종류만 제공했을 때의 결과 차이를 설명하지 못한다.
범용 LLM을 쓸 때는 답변의 자연스러움이나 상세한 설명이 이 신호를 가릴 수 있다. 문장이 설득력 있어도, 그 판단이 어떤 검증 조건에서 재현되는지는 별개다.
비교 평가는 같은 병변, 같은 입력, 같은 행동 규칙으로 설계해야 한다
범용 멀티모달 LLM과 특화 영상 모델을 공정하게 비교하려면, 먼저 서비스가 실제로 받을 입력을 고정해야 한다. 더모스코피 이미지가 없는 일반 사용자 서비스라면, 더모스코피 기반 전문 모델의 성능을 그대로 제품 성능으로 가져올 수 없다. 반대로 의료진이 더모스코피 이미지를 제공하는 환경이라면, 범용 모델에 임상 사진만 넣은 결과로 우열을 정해서도 안 된다.
평가 세트는 적어도 다음 조건을 분리해 구성하는 편이 낫다.
-
목표 질환 범주: 서비스가 안내 대상으로 삼는 병변과, 모델이 학습하지 않은 병변을 구분한다. 후자는 정답 경쟁보다 보류·전문가 검토로 전환하는 행동을 평가한다.
-
촬영 조건: 기관, 장비, 조명, 확대 방식, 임상 사진과 더모스코피 여부를 분리한다. 한 데이터 출처에서만 좋은 점수를 낸 모델은 배포 환경에서도 좋을 것이라고 가정하기 어렵다.
-
이미지 품질과 방해 요소: 털, 표시선, 궤양, 반사, 초점 문제처럼 실제 입력에 섞일 수 있는 요소를 별도 집단으로 둔다. 이 집단에서의 실패는 사용자 촬영 가이드나 재촬영 흐름으로 줄일 여지가 있는지도 함께 본다.
-
행동 결과: 단일 진단 정답 외에, 추가 평가 권고, 재촬영 요청, 판단 보류, 전문가 검토 전환이 적절했는지 기록한다. 서비스가 내보낼 문구가 아니라 다음 단계의 흐름까지 평가 대상에 넣어야 한다.
모델별 결과는 동일한 병변 단위로 비교해야 한다. 같은 환자나 같은 병변의 다른 이미지가 학습·검증·시험 세트에 나뉘어 들어가면, 성능이 실제보다 높게 보일 수 있다. 공개 비교 중에는 시험 병변과 동일 병변·환자의 다른 사진을 학습 및 검증 데이터에서 제외했다고 밝힌 사례도 있다. 이런 누출 방지 절차는 특정 모델의 우수성을 보장하지 않지만, 비교 결과를 신뢰할 최소 조건에 가깝다.
권장 구조는 진단 모델의 선택과 대화 기능의 선택을 분리하는 것이다
탐색 단계에서 범용 LLM을 완전히 배제할 이유는 없다. 다만 병변 위험도나 진단 범주를 정하는 핵심 엔진으로 채택하기 전에, 특화 영상 모델과 같은 입력·같은 시험 세트에서 비교해야 한다.
특화 영상 모델이 목표 과제에서 더 안정적인 결과를 보인다면, 병변 분류와 위험 신호 검출은 그 모델에 맡기고 범용 LLM은 결과 설명, 사용자 질문 정리, 촬영 안내처럼 별도 평가가 가능한 역할로 제한하는 방식을 검토할 수 있다. 이때도 LLM이 분류 결과를 임의로 바꾸거나, 모델이 보류한 사례를 안심시켜서는 안 된다.
반대로 범용 LLM이 후보가 되려면 이미지 판독 성능뿐 아니라 다음 질문에 답할 수 있어야 한다.
- 서비스가 제공하는 이미지 종류와 촬영 조건에서 특화 모델보다 나은가, 또는 적어도 동등한가?
- 미학습 질환이나 저품질 이미지에서 확신을 낮추고 적절히 보류하는가?
- 추가 검사나 전문의 검토가 필요한 병변을 놓치는 오류가 어떤 조건에서 생기는가?
- 모델 버전이 바뀌었을 때, 이전 버전과 같은 평가 세트에서 결과를 다시 확인할 수 있는가?
- 제품 화면과 API가 모델의 불확실성, 입력 부족, 재촬영 필요성을 행동 규칙으로 전달하는가?
출시 판단보다 먼저 정할 것은 보류의 경계다
피부 병변 서비스의 초기 요구사항에는 “무엇을 진단할 것인가”만큼 “무엇을 판단하지 않을 것인가”가 들어가야 한다. 학습 범주 밖 질환, 목표 품질에 못 미치는 이미지, 입력 정보가 부족한 사례를 어떻게 처리할지 정하지 않으면, 높은 정확도 점수도 안전한 운영 규칙이 되지 못한다.
다음 회의에서는 모델 공급자나 내부 개발팀에 최고 정확도를 묻기보다, 서비스 입력과 일치하는 외부 평가 세트에서 어떤 병변을 보류했는지부터 요청하는 편이 좋다. 그 답이 없다면 아직 선택할 모델이 없는 것이 아니라, 선택할 수 있는 검증 절차가 없는 상태에 가깝다.
