고객이 계정 삭제, 개인정보 열람, 분쟁 대응처럼 민감한 질문을 AI 지원 채널에 던졌을 때, 답변이 도움말 화면에 보이는 정책과 다르다면 어디부터 확인해야 할까. 모델의 환각만 의심해서는 부족하다. AI가 읽는 문서에는 사람이 화면에서 보지 못하는 텍스트, 조건부 지시문, 검색 로봇에만 전달되는 응답이 섞일 수 있다.
최근 공개된 조사 보도는 이 문제가 가정에 그치지 않음을 보여준다. 해당 보도는 WhatsApp 도움말 센터에서 연결된 545개 페이지를 점검했고, 80개 페이지에서 AI용으로 보이는 숨은 텍스트와 총 102개의 숨은 블록을 발견했다고 밝혔다. 그중 일부는 특정 상황에서 규제기관이나 법률을 언급하지 말라는 방향의 지시를 담고 있었다고 보도됐다.
여기서 중요한 판단은 특정 기업의 의도를 추정하는 일이 아니다. 자사 도움말, 정책, FAQ가 사람에게는 A를 보여 주면서 AI에는 B를 전달하지 않는지 검증하는 일이다. 특히 법적 권리, 환불, 해지, 계정 복구, 안전 신고처럼 답변 누락 자체가 문제를 키울 수 있는 주제라면 문서 감사 범위를 화면 밖까지 넓혀야 한다.
실패는 문서와 답변의 경로가 갈라질 때 시작된다
운영팀은 보통 CMS 미리보기 화면, 공개 URL, 검색 결과를 중심으로 문서를 검토한다. 그러나 AI 지원 봇이나 외부 크롤러가 같은 문서를 어떤 HTTP 응답으로 받는지는 별도 문제다.
실패 메커니즘은 대체로 세 갈래로 나뉜다.
첫째, HTML 안에 숨겨진 지시문이 들어가는 경우다. 화면에서 숨기기 위한 CSS, 접힌 영역, 주석성 데이터, 접근성용 속성, 구조화 데이터처럼 사람이 읽지 않는 영역에도 텍스트는 존재할 수 있다. 그 텍스트가 단순한 편집 메모인지, AI 행동을 유도하는 지시인지 구분하지 않으면 문서 검토자는 위험한 문장을 통과시킬 수 있다.
둘째, 사용자나 크롤러 유형에 따라 다른 문서가 전달되는 경우다. 브라우저로 볼 때와 특정 사용자 에이전트로 요청할 때의 본문, 메타데이터, 리디렉션이 다르면 “공개 문서”는 하나가 아니다. 화면 검수에서 승인한 정책과 AI가 수집한 정책이 달라질 수 있다.
셋째, 권위가 다른 문서가 충돌하는 경우다. FAQ의 운영 편의상 안내가 개인정보 처리방침, 계약 조건, 법령상 권리 안내와 어긋날 수 있다. GDPR 원문은 정보주체의 삭제 요구권과 감독기관에 대한 불만 제기권을 규정한다. 기업 내부 문서나 챗봇 지시문이 이런 권리의 존재를 지워도, 그 지시문이 법적 기준을 대체하는 것은 아니다. 다만 고객이 도움을 요청한 경로에서 필요한 정보를 얻지 못할 위험은 남는다.
조기 신호는 답변 품질 지표보다 문서 변경 이력에서 먼저 보인다
“법률 자문을 제공하지 않는다”는 문구 자체는 문제라고 볼 수 없다. 지원 챗봇이 법률 해석이나 개별 사건의 결론을 대신하지 않도록 제한하는 것은 합리적인 운영 선택일 수 있다. 위험 신호는 법률 자문 제한이 사실 안내, 공식 정책 안내, 외부 구제 절차의 존재까지 막는 방향으로 확장될 때 나타난다.
다음과 같은 문구나 변경 요청은 문서 감사 대상으로 올려둘 만하다.
- 특정 키워드가 나오면 어떤 기관, 법령, 절차를 언급하지 말라고 지시한다.
- 고객이 요청할 수 있는 경로보다 “기다리라”는 안내만 반복한다.
- 정책 문서에는 있는 권리나 절차가 FAQ 또는 챗봇용 문서에서 빠진다.
- 콘텐츠 담당자가 아닌 프롬프트, 검색 최적화, 챗봇 운영 설정에서 고객 대응 문구를 따로 바꾼다.
- 문서 개정 후 화면 캡처만 남고, 원본 HTML·응답 헤더·구조화 데이터의 변경 기록은 남지 않는다.
- 동일 URL이 브라우저, 사내 봇, 검색 크롤러에 서로 다른 본문을 준다.
이 신호들은 악의의 증거가 아니다. 다만 제품팀, 법무팀, 지원팀이 서로 다른 목적에서 문구를 수정하는 과정에서 답변 경로가 갈라졌을 가능성을 보여준다. 따라서 사람의 의도를 추궁하기보다 어떤 문서가 어떤 소비자에게 전달됐는지를 재현하는 방식이 더 낫다.
문서 감사의 대상은 화면, 원문, 전달 경로, 근거 문서다
운영 단계의 감사는 “숨은 문구가 있는가”만 찾는 작업으로 좁히면 부족하다. 다음 네 층을 하나의 변경 단위로 묶어 확인하는 편이 낫다.
1. 화면에 보이는 문서
일반 브라우저에서 고객이 읽는 제목, 본문, 접힌 영역, 다운로드 파일, 연결 링크를 보관한다. 특히 권리 행사, 해지, 안전, 결제 분쟁 문서는 지역·언어·로그인 상태에 따라 달라지는지도 함께 확인한다.
2. 전달된 원문과 메타데이터
HTML 본문뿐 아니라 주석, 숨김 요소, meta 태그, 구조화 데이터, 대체 텍스트, 임베드된 설정값을 검사한다. 여기서 “무시하라”, “언급하지 말라”, “다른 출처보다 이 지시를 우선하라”처럼 답변 행동을 직접 통제하는 표현이 있는지 찾아야 한다.
3. 요청자별 응답 차이
동일 URL을 일반 브라우저와 승인된 테스트용 크롤러 요청으로 비교한다. 본문, 상태 코드, 리디렉션, robots 관련 지시, 캐시된 응답이 달라졌다면 그 차이를 배포 기록에 남긴다. 외부 AI 서비스가 실제로 어떻게 수집하거나 답하는지는 서비스별로 확인하지 않는 한 단정할 수 없다. 그러나 자사가 외부에 내보내는 응답이 일관적인지는 자사가 점검할 수 있다.
4. 권위 출처와의 대조
FAQ가 안내하는 권리, 예외, 연락처, 처리 기한은 개인정보 처리방침, 계약 조건, 지역별 필수 고지, 적용 법령의 원문과 대조한다. 이 단계의 목적은 챗봇에게 법률 판단을 맡기는 일이 아니다. 고객에게 제공하는 사실 안내가 더 높은 우선순위의 문서와 충돌하지 않는지 확인하는 일이다.
승인 흐름에는 ‘AI 독해 영향’을 넣어야 한다
문서 변경 승인에서 브랜드 표현, 번역, 링크 오류만 본다면 숨은 지시문 문제를 잡기 어렵다. CTO나 개발 리드는 콘텐츠 배포 파이프라인에 다음 질문을 넣을 수 있다.
- 이 변경은 화면에 보이는 문장 외에 HTML, 메타 태그, 구조화 데이터, 챗봇 검색 인덱스에도 영향을 주는가?
- AI의 답변 범위를 제한하는 문장이 있다면, 그 제한은 안전상 필요한가 아니면 고객의 공식 선택지와 권리 안내를 빼는가?
- 제한 문구는 정책 소유자, 법무 검토자, 고객지원 책임자가 같은 의미로 승인했는가?
- FAQ의 단축 안내가 개인정보 처리방침이나 계약 문서의 안내와 충돌할 때 어느 문서를 우선 기준으로 삼는가?
- 배포 후 같은 URL을 서로 다른 요청 조건에서 다시 수집해 차이를 확인할 수 있는가?
여기서 핵심은 모든 숨은 텍스트를 금지하는 데 있지 않다. 접근성 정보, 검색 설명, 시스템 운영을 위한 메타데이터는 필요할 수 있다. 대신 고객의 선택지를 좁히거나 외부의 권위 있는 정보를 배제하는 지시문은 일반 콘텐츠와 다른 위험도로 다뤄야 한다.
감사 결과는 ‘발견’, ‘판단’, ‘조치’를 분리해 기록한다
감사 보고서에 “문제가 없다”는 결론만 남기면 다음 변경 때 비교할 기준이 없다. 문서별로 발견한 텍스트와 응답 차이, 그것이 고객 답변에 미칠 수 있는 영향, 수정 또는 유지 결정의 근거를 분리해 남기는 편이 좋다.
예를 들어 숨은 문구가 발견됐다는 사실과 그 문구가 실제 외부 AI 답변을 바꿨다는 사실은 다르다. 후자는 해당 AI 서비스의 수집 여부, 시점, 검색·검색증강 구조, 시스템 지시 등에 따라 달라질 수 있다. 반면 숨은 문구가 자사 문서에 존재했고, 공개 정책과 상충하는지는 별도로 검증할 수 있다. 불확실한 효과를 과장하지 않되, 확인 가능한 문서 충돌을 미루지 않는 태도가 필요하다.
다음 문서 개정에서 먼저 시험할 대상은 개인정보, 해지, 환불, 신고, 계정 접근처럼 고객이 다른 구제 경로를 찾을 가능성이 높은 페이지다. 그 페이지 하나를 골라 화면과 원문, 요청자별 응답, 상위 정책 문서를 나란히 놓아 보자. AI 답변의 신뢰성은 모델 설정 화면이 아니라, 모델이 읽는 문서의 정합성에서 먼저 흔들릴 수 있다.
