클라이언트 사이트, 숫자만 보다가 놓치는 것

한줄 요약

숫자 지표가 "문제 있음"을 알려준다면, 행동 데이터는 "어디서 왜"를 보여준다.

---

웹 개발 외주를 맡기든 직접 운영하든, 사이트를 개선해야 하는 순간은 반드시 온다. 그런데 막상 개선 작업에 들어가면 대부분의 팀이 같은 벽에 부딪힌다. 대시보드에는 이탈률이 높다고 나오는데, 정작 어디를 어떻게 고쳐야 하는지는 숫자가 말해주지 않는다.

집계 기반 분석 도구가 답하는 질문은 "얼마나"다. 방문자가 몇 명이고, 체류 시간이 몇 분인지. 그런데 개발사가 실제로 필요한 것은 "어떻게"다. 사용자가 어디서 멈추고, 무엇을 클릭하고, 어느 시점에 이탈했는지. 이 간극을 채우는 도구가 행동 분석 도구다.

우리가 외주 개발 프로젝트에서 행동 분석 도구를 도입하며 겪은 시행착오와, 그 과정에서 세운 판단 기준을 정리한다.

행동 데이터가 없으면 개선은 감으로 하는 것이다

클라이언트가 "버튼 색을 바꾸면 어떨까요?"라고 물어올 때, 근거 없이 동의하거나 반대하면 그건 전문가 의견이 아니라 의견 교환에 불과하다. 외주 개발사 입장에서 이 상황은 두 가지 문제를 만든다.

첫째, 개선 방향을 잡기 어렵다. 무엇이 문제인지 모른 채 고치면, 다음 번 미팅에서 "효과가 있었나요?"라는 질문에 답할 방법이 없다.

둘째, 클라이언트와의 신뢰가 흔들린다. 데이터 없이 결정된 개선은 결과가 나쁠 때 책임 소재가 모호해진다.

행동 분석 도구를 붙이는 이유는 단순히 더 많은 정보를 얻기 위해서가 아니다. 개선 판단의 근거를 만들고, 그 근거를 클라이언트와 함께 공유하기 위해서다.

열 지도를 읽을 때 가장 먼저 확인해야 할 것

행동 분석 도구가 제공하는 열 지도는 시각적으로 강렬하다. 붉은 영역이 보이면 "여기가 핵심"이라는 인상을 준다. 그런데 이 인상이 정확하지 않은 경우가 많다.

열 지도는 비율을 색으로 표현한다. 전체 클릭이 10건이든 1만 건이든, 가장 많이 클릭된 곳은 붉게 표시된다. 즉, 표본이 작을수록 색은 더 오해를 부른다. 프로젝트 초기나 트래픽이 적은 서비스에서 열 지도를 열면, 몇 사람의 행동이 전체 사용자 패턴인 것처럼 보인다.

실무에서 우리가 세운 기준은 이렇다.

• 클릭 수 총합이 세 자리 이하라면 순위와 퍼센트는 읽지 않는다.
• 색보다 절대 클릭 수를 먼저 확인한다.
• 열 지도에 적용된 필터 상태(기기 유형, 유입 경로 등)를 반드시 기록해 둔다. 같은 페이지도 필터에 따라 전혀 다른 그림이 나온다.

열 지도가 줄 수 있는 것은 결론이 아니라 방향이다. "강조한 영역이 실제로 눌리고 있는가, 그렇지 않은가" 정도의 방향성을 확인하는 용도로 써야 한다.

세션 녹화를 효율적으로 쓰는 방법

세션 녹화는 사용자의 실제 화면 조작을 재생해 볼 수 있다. 강력한 기능이지만, 무작정 앞에서부터 재생하면 수백 개의 영상을 보는 것과 다르지 않다. 시간이 사라진다.

외주 개발 현장에서 우리가 세션 녹화를 쓰는 방식은 다르다. 먼저 가설을 세우고, 그 가설에 해당하는 세션만 필터링해서 본다.

예를 들어 "특정 버튼이 클릭되지 않는 이유를 모르겠다"는 상황이라면, 그 버튼 주변에서 클릭 시도가 있었던 세션만 추려서 확인한다. 전체를 보는 게 아니라, 질문을 먼저 만들고 그 질문에 답하는 세션을 찾는 식이다.

세션 길이에 속지 않는 것도 중요하다. 10분짜리 세션이라고 해서 사용자가 10분 동안 화면을 보고 있었다는 뜻이 아니다. 탭을 열어 두고 다른 일을 하다 돌아오는 경우가 흔하다. 도구가 제공하는 총 체류 시간과 실제 활성 시간의 차이를 항상 구분해서 봐야 한다. 대부분의 프로젝트에서 이 두 수치는 두 배 이상 벌어진다.

관측 기간과 표본 설계가 결론을 바꾼다

짧은 기간의 데이터로 결론을 내리는 것은 외주 개발 프로젝트에서 반복되는 실수다. 클라이언트가 빠른 판단을 원할수록, 이 압박이 커진다.

데이터를 관측할 때 우리가 쓰는 기준은 요일 한 주기다. 사흘치 데이터는 그 사흘의 성격에 결론이 끌려간다. 주중과 주말 트래픽의 성격은 다르고, 특정 요일에 유입이 몰리는 서비스라면 더욱 그렇다. 날짜 수가 아니라 요일 한 바퀴가 돌았는지를 기준으로 삼는다.

표본 크기도 마찬가지다. 어떤 신호를 경향으로 읽으려면 최소한의 건수가 확보되어야 한다. 같은 기간, 같은 서비스라도 어떤 이벤트는 수십 건이 쌓이고 어떤 이벤트는 한두 건에 그친다. 한두 건짜리 신호를 개선 근거로 올리면, 그건 데이터 기반이 아니라 데이터를 빌린 감이다.

클라이언트에게 리포트를 전달할 때도 이 점을 명시한다. "이 수치는 X일 동안 Y건 기준입니다. 판단을 내리기에 충분한 표본인지 함께 확인해 주십시오."

행동 데이터 하나만으론 답이 안 나온다

행동 분석 도구는 페이지 안에서 일어난 일을 잘 보여준다. 하지만 그 사용자가 어디서 왔는지, 어떤 의도를 갖고 들어왔는지는 알려주지 않는다. 유입 경로가 다르면 같은 페이지에서 행동 패턴도 달라진다.

외주 개발 프로젝트에서 우리는 행동 분석 데이터를 단독으로 쓰지 않는다. 유입 경로 데이터와 함께 봐야 그림이 완성된다. 어디서 들어와서, 무엇을 했는지가 세트로 붙어야 개선 방향이 선명해진다.

도구는 관측 장비다. 판독은 사람이 한다. 화면이 직관적일수록 이 사실을 잊기 쉽다. 붉게 물든 열 지도는 해석이 끝난 것처럼 보이지만, 그 붉은 색이 "잘 돼서 많이 클릭된 것"인지 "혼란스러워서 헤매는 것"인지는 데이터가 말해주지 않는다. 그 판단을 내리는 것이 개발사의 역할이다.