회의 중인 임원이 “현재 활성 고객 수를 알려 달라”고 묻고, AI가 숫자와 근거 문서를 함께 내놓는 장면을 생각해 보겠습니다. 검색 결과가 관련 문서를 잘 찾았더라도 답변을 바로 믿을 수 있는지는 별도 문제입니다. 영업팀과 재무팀이 ‘활성 고객’을 다르게 정의한다면, 두 문서 모두 검색 결과에 있어도 AI는 서로 다른 숫자 중 무엇을 써야 하는지 알지 못합니다.
기업용 AI의 다음 병목은 검색 성능만으로 설명하기 어렵습니다. 문서를 잘 찾는 RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 여전히 중요합니다. 다만 에이전트가 사람 대신 문서를 읽고 답변하거나 후속 작업까지 수행하려면, 시스템은 관련성 외에도 네 가지를 판단해야 합니다. 이 정보가 지금도 유효한지, 요청자가 봐도 되는지, 업무상 무엇을 뜻하는지, 답변이 어디에서 왔는지입니다.
이 네 가지를 검색 인덱스와 생성 모델 바깥에서 일관되게 관리하는 구성을 여기서는 지식 계층이라고 부르겠습니다. 특정 제품 이름이나 지식 그래프 도입을 뜻하지는 않습니다. 조직의 데이터, 권한, 업무 용어, 문서 상태를 AI가 판단 가능한 규칙과 메타데이터로 연결하는 설계 범위에 가깝습니다.
먼저 구분할 것: 검색 품질 문제인가, 지식 관리 문제인가
RAG 고도화가 맞는 문제도 많습니다. 다음 조건이라면 검색과 답변 품질을 먼저 개선하는 편이 합리적입니다.
- 답변 대상이 공개 매뉴얼, 확정된 정책, 단일 팀의 문서처럼 비교적 균질하다.
- 사용자가 검색 결과와 원문을 직접 열어 최종 확인한다.
- 문서의 최신 버전이 명확하고, 오래된 문서를 제외할 규칙도 단순하다.
- 질문이 “어느 문서에 이런 내용이 있는가”에 가깝고, 여러 시스템의 정의를 조합해 업무 판단을 내려야 하지는 않는다.
- 문서 접근 권한이 넓게 열려 있거나, AI 사용 집단과 원본 시스템의 권한 집단이 거의 같다.
이 경우에는 하이브리드 검색, 재순위화, 문서 청킹 방식, 질의 확장, 답변 인용 범위 같은 검색 설계가 우선입니다. 검색되지 않는 문서가 많거나 비슷한 문서가 상위에 뒤섞이는 문제를 지식 그래프로 해결하려 하면, 복잡도만 늘어날 수 있습니다.
반대로 다음 질문에 “그렇다”가 많다면 지식 계층을 요구사항에 넣어야 합니다.
- 같은 업무 용어가 부서·시스템·보고서마다 다른 정의를 갖는가?
- 폐기되었거나 대체된 문서가 여전히 검색 대상에 남아 있는가?
- 부서 이동, 퇴사, 프로젝트 종료에 따라 문서 접근 권한이 자주 바뀌는가?
- AI가 답만 제시하는 것이 아니라, 승인·분류·요약·티켓 생성처럼 후속 업무를 수행하는가?
- 사용자가 답변의 근거뿐 아니라 적용 기준, 기준일, 데이터 범위를 물을 가능성이 높은가?
- 여러 저장소의 문서와 데이터가 하나의 업무 질문에 함께 쓰이는가?
여기서 핵심은 데이터 양이 아닙니다. 문서가 적어도 정의와 권한이 충돌하면 지식 관리 문제입니다. 반대로 문서가 많아도 한 가지 기준으로 관리되고 사람이 원문을 검토한다면 검색 개선으로 시작할 수 있습니다.
네 가지 결손이 보이면 검색 점수만 조정하지 말아야 한다
1. 업무 의미가 흔들린다
“매출”, “활성 고객”, “계약 완료”, “재고” 같은 말이 팀마다 다르면 AI는 언어적으로 자연스러운 답을 만들 수 있어도 업무상 맞는 답을 보장하지 못합니다. SQL이나 대시보드가 각각 정상 작동한다는 사실도 정의 충돌을 해결하지는 않습니다.
이때 필요한 것은 모든 용어를 거대한 온톨로지로 만드는 일이 아닙니다. 우선 AI가 답변에 자주 쓰는 핵심 업무 용어부터 정해야 합니다. 용어별로 정의, 계산 기준, 적용 조직, 책임자, 유효 기간, 연결 데이터 소스를 기록하면 됩니다. 같은 이름을 쓰되 뜻이 다르면 동의어로 묶지 말고 구분해야 합니다.
조기 신호는 간단합니다. 같은 질문을 두 담당자에게 물었을 때 서로 다른 문서나 다른 지표를 먼저 꺼낸다면, 검색 정확도보다 업무 의미를 정리할 순서입니다.
2. 최신 문서가 항상 정답이 아니다
최신성은 문서의 수정 시각 하나로 끝나지 않습니다. 어떤 문서는 가장 최근에 수정됐어도 과거 시점의 정책을 설명하고, 어떤 문서는 수정하지 않았지만 현재도 유효합니다. 사용자가 “지난 7월 기준”, “현재 정책”, “최근 변경”처럼 시간 의도를 다르게 말하는 점도 고려해야 합니다.
따라서 요구사항에는 최소한 발행일, 효력 시작일, 효력 종료일 또는 폐기 상태, 마지막 검토일, 원본 시스템의 갱신 시각을 구분해 넣는 편이 좋습니다. 질문에 특정 시점이 있으면 해당 기간에 유효한 자료를 우선해야 하고, “최근”처럼 범위가 모호한 질문에는 기계적으로 오래된 자료를 모두 차단하기보다 답변에 기준일을 드러내는 방식을 검토할 수 있습니다.
특히 벡터 유사도는 문서의 주제 유사성을 다루는 데 유용하지만, 두 정책의 날짜 차이가 업무상 중요한지까지 스스로 판단하지는 않습니다. 시간 조건을 임베딩에 기대기보다 메타데이터 필터와 순위 규칙으로 분리할 이유가 여기에 있습니다.
3. 권한은 검색 후 마스킹하는 문제가 아니다
기업 데이터에서는 검색 단계부터 요청자의 권한을 반영해야 합니다. 검색 결과에 권한 없는 문서가 들어간 뒤 생성 단계에서 일부 문장을 가리는 방식은, 제목·요약·인용·후속 도구 호출 등 여러 경로에서 정보가 드러날 여지를 남깁니다.
권한 동기화도 한 번 연결했다고 끝나지 않습니다. 원본 시스템에서 권한이 바뀌었는데 검색 인덱스가 이를 늦게 반영하면, AI는 이전 권한을 바탕으로 응답할 수 있습니다. 기업용 RAG 연구에서도 내부 문서 활용과 외부 모델 호출을 함께 설계할 때 보안 필터가 데이터 노출 위험을 줄이는 핵심 요소로 다뤄집니다.
다만 AI 계층이 원래의 과도한 공유 권한을 고쳐 주지는 않습니다. 원본 문서가 “링크가 있는 모든 사내 사용자”에게 열려 있다면, 권한을 충실히 적용하는 AI도 그 문서를 넓게 보여줄 수 있습니다. AI 프로젝트를 시작하기 전에 정보보호팀만이 아니라 문서 소유 부서가 과도한 공유 상태를 점검해야 하는 이유입니다.
4. 출처가 링크가 아니라 판단 근거가 된다
출처 표시는 답변 끝에 링크 몇 개를 붙이는 기능으로 축소하기 쉽습니다. 그러나 업무 의사결정에 쓰려면 사용자는 “어떤 문서를 근거로 했는가”뿐 아니라 “어떤 기준일의 문서인가”, “이 문서는 정책 원문인가 해설인가”, “서로 충돌하는 근거가 있었는가”를 알아야 합니다.
지식 계층을 고려한다면 출처에는 원본 위치 외에 문서 유형, 소유자, 버전, 유효 상태, 적용 범위를 함께 다룰 필요가 있습니다. 이것이 있어야 AI가 답변을 만들 때 권위가 높은 원문과 참고용 회의록을 같은 비중으로 다루지 않도록 설계할 수 있습니다.
요구사항 단계에서 합의할 최소 단위
지식 계층을 도입한다고 해서 첫 단계부터 전사 데이터를 통합할 필요는 없습니다. 오히려 하나의 고위험 질문군을 고르는 편이 낫습니다. 예를 들어 인사 규정 안내, 보안 정책 질의, 영업 계약 조건 확인처럼 답변의 최신성·권한·출처가 모두 중요한 영역입니다.
해당 질문군을 정한 뒤에는 다음 항목을 요구사항으로 확인해 보십시오.
| 확인 항목 | 결정해야 할 내용 |
|---|---|
| 업무 용어 | AI가 답할 핵심 용어와 조직별 정의 차이를 누가 승인하는가 |
| 문서 상태 | 초안, 승인본, 폐기본, 과거 기준 문서를 어떻게 구분하는가 |
| 시간 기준 | 발행일, 효력일, 검토일 중 어느 날짜를 답변 판단에 쓰는가 |
| 권한 기준 | 원본 시스템의 권한을 그대로 적용할지, AI용 추가 정책이 필요한가 |
| 동기화 | 콘텐츠와 권한 변경을 어떤 방식으로 반영하며, 지연 시 어떻게 처리하는가 |
| 출처 표시 | 사용자에게 보여줄 근거와 내부 감사용 기록을 어디까지 남길 것인가 |
| 예외 처리 | 근거가 충돌하거나 권한 때문에 충분한 자료를 못 찾을 때 AI가 어떻게 답할 것인가 |
이 표는 제품 비교표가 아닙니다. 어떤 검색 엔진이나 AI 플랫폼을 고르더라도 먼저 답해야 하는 업무 질문입니다. 이 답이 없으면 벤더의 검색 성능 데모가 좋아도 운영 단계에서 기준이 흔들릴 수 있습니다.
구축 우선순위는 “더 많이 연결하기”가 아니라 “더 안전하게 답하기”다
첫 단계에서는 가장 많이 쓰이는 문서를 모두 연결하는 것보다, 답변 오류의 비용이 큰 질문을 골라 검증하는 편이 낫습니다. 테스트 질문에는 정답만 넣지 말고 기준일이 다른 문서, 권한이 다른 문서, 비슷하지만 정의가 다른 문서를 함께 넣어야 합니다.
검증할 때는 “답을 맞혔는가” 외에 다음도 확인해야 합니다.
- 권한이 없는 사용자가 관련 문서의 존재나 내용을 추정할 수 있는가
- 폐기 문서가 현재 정책보다 먼저 선택되는가
- 서로 다른 정의가 충돌할 때 AI가 하나를 임의로 고르는가
- 답변 근거가 원문 정책인지, 요약 문서인지 구별되는가
- 충분한 근거가 없을 때 모른다고 말하거나 사람에게 넘기는가
RAG 고도화와 지식 계층 설계는 경쟁하는 선택지가 아닙니다. 검색은 필요한 정보를 찾아오는 기반이고, 지식 계층은 그 정보가 누구에게 어떤 의미와 조건으로 쓰일지를 관리합니다. 조직의 AI가 문서 탐색 보조를 넘어 업무 판단과 실행에 가까워질수록, 후자를 미루는 비용도 커집니다.
다음 요구사항 회의에서는 “어떤 모델과 검색 방식을 쓸 것인가”보다 먼저 이 질문을 꺼내 보십시오. 이 AI가 답한 내용을 사용자가 믿으려면, 무엇이 최신이고 무엇이 승인된 기준이며 누가 볼 수 있는 정보인지를 시스템이 답할 수 있는가. 그 답이 아직 사람의 기억과 메신저 대화에 머문다면, 필요한 것은 검색 기능 하나가 아니라 지식 계층의 첫 설계입니다.
