AI가 내 글을 고쳐준다고? 사실은 '다른 글'로 바꾸고 있다 (id.news.hada.io)

한줄 요약

LLM은 글을 다듬는 게 아니라, 의미 자체를 조용히 교체한다.

본문

LLM 기반 글쓰기 보조 도구는 현재 전 세계 10억 명 이상이 사용하는 기술이다. IT 에이전시 입장에서 이 숫자는 곧 클라이언트의 마케팅 카피, 기술 문서, 제안서, 심지어 RFP 응답서까지 상당 부분이 이미 AI 손을 거쳤다는 의미이기도 하다. 문제는 효율이 아니다. LLM이 글을 수정할 때 단어만 바꾸는 게 아니라 주장의 방향과 결론 자체를 바꾼다는 점이다.

LLM에게 "최소한만 수정해달라"고 해도 벌어지는 일

최근 연구에서 인간이 작성한 에세이 수십 편을 세 가지 주요 LLM으로 수정시켰다. 요청은 단순했다. "문법만 고쳐줘", "최소한으로만 바꿔줘." 그런데 결과는 달랐다. 어떤 모델도 지시대로 움직이지 않았다. 의미 공간 시각화를 보면, 인간이 수정한 글은 원본 근처에 머물렀지만 LLM이 수정한 글은 인간 글쓰기가 한 번도 도달한 적 없는 영역으로 이동했다.

IT 에이전시 현장으로 옮겨보자. 클라이언트가 초안을 들고 와서 "AI로 좀 다듬어줘"라고 요청한다. 에이전시는 효율적으로 처리하고 납품한다. 그런데 그 결과물은 클라이언트가 처음에 하려던 말과 다른 무언가가 되어 있을 수 있다. 포지셔닝이 흐릿해지거나, 날카로웠던 주장이 중립적인 문장으로 희석되거나, 브랜드 고유의 목소리가 사라진다.

왜 이런 일이 생기는가 — 구조적 이유

LLM은 수많은 텍스트 패턴을 학습했고, 그 패턴 중에서 '잘 쓰인 글처럼 보이는 것'을 기준으로 출력을 최적화한다. 이 과정에서 나타나는 변화는 꽤 일관적이다.

• 1인칭 표현과 개인 경험 기반 논거가 줄어든다.
• 명사와 형용사 비중이 늘고, 글이 더 격식체가 된다.
• 감정적 언어와 통계적 표현이 동시에 늘어난다.
• 논지가 명확한 입장을 피하고 양쪽을 균형 있게 다루는 방향으로 수렴한다.

한마디로, LLM이 선호하는 글쓰기 스타일이 있고, 어떤 지시를 받든 그 방향으로 글을 당긴다. 이건 버그가 아니라 설계 방식의 결과다. RLHF(인간 피드백 강화학습)는 '사람들이 좋아하는 결과물'을 최적화하도록 모델을 훈련시키는데, 그 결과가 반드시 '원래 의도를 보존한 결과물'과 일치하지는 않는다.

만족도와 품질 사이의 역설 — 에이전시가 놓치기 쉬운 지점

연구에서 흥미로운 결과가 하나 더 나왔다. LLM을 많이 활용한 사용자들은 결과물 만족도가 높다고 응답했다. 그런데 동시에 "내 목소리가 반영되지 않았다", "창의성이 줄었다"는 응답도 통계적으로 유의미하게 많았다. 만족하지만 잃어버린 것도 있다는 역설이다.

에이전시 맥락에서 이 역설은 위험하다. 클라이언트는 납품받은 결과물을 보고 "깔끔하다"고 만족한다. 그런데 6개월 후 그 브랜드의 콘텐츠가 왜 개성이 없는지, 왜 경쟁사와 비슷하게 들리는지 의문을 품기 시작한다. 이건 에이전시의 전략 실패로 돌아온다. LLM이 만든 문제인데 에이전시의 역량 문제로 귀결되는 구조다.

---

AI 검토 보고서가 '더 관대한' 이유도 같은 맥락이다

학술 커뮤니티에서도 비슷한 현상이 관찰됐다. AI가 작성한 것으로 분류된 논문 리뷰는 인간 리뷰어보다 평균 10% 높은 점수를 부여하는 경향이 있었다. 인간 리뷰어가 논문의 '명확성'과 '연구 관련성'을 중시한 반면, AI 리뷰어는 '재현 가능성'과 '확장 가능성'을 훨씬 더 많이 언급했다.

IT 에이전시가 제안서나 기술 검토 문서를 LLM으로 작성하거나 검토할 때도 같은 편향이 들어온다. AI는 확장성, 재현성, 논리적 구조를 좋아한다. 반면 실제 고객의 비즈니스 맥락, 운영 현실, 조직 특수성 같은 것들은 AI의 평가 기준에서 상대적으로 낮은 가중치를 받는다. 결과적으로 '좋아 보이지만 현장과 어긋난' 문서가 나올 수 있다.

에이전시가 실무에서 취해야 할 태도

LLM을 쓰지 말자는 이야기가 아니다. 어떤 목적에 어떻게 쓸지를 명확히 해야 한다는 것이다.

구조와 초안 생성에는 적극 활용한다. LLM은 빈 화면에서 시작하는 비용을 크게 줄여준다. 브레인스토밍, 섹션 구조 잡기, 반복적인 포맷 작업에는 강력한 도구다.

핵심 논지와 포지셔닝은 인간이 직접 쓴다. 클라이언트의 브랜드 보이스, 차별화 포인트, 시장에서의 입장은 LLM이 다듬으면 흐려진다. 이 부분은 에이전시가 직접 책임져야 하는 영역이다.

LLM이 수정한 결과물은 반드시 의미 단위로 검토한다. 문법이 맞는지가 아니라, 원래 말하려던 것이 여전히 거기 있는지를 봐야 한다. 이 검토 과정이 생략될 때 클라이언트는 모르는 새 '다른 브랜드'의 글을 발행한다.

AI 도구가 강력할수록, 그 도구를 어떻게 제어할지 아는 파트너의 가치도 함께 올라간다. 에이전시의 경쟁력은 AI를 쓰냐 안 쓰냐가 아니라, AI가 왜곡하는 지점을 정확히 알고 거기서 인간의 판단을 끼워 넣을 수 있느냐에 달려 있다.