방법론
세션 샘플링이 편향을 만들 때
리플레이 도구를 열면 보통 ‘최근’ 또는 ‘가장 많이 재생된’ 세션이 위에 있습니다. 분석가가 바쁘면 그 목록만 훑게 되고, 극적인 실패·분노 클릭·긴 정체가 대표 사례처럼 남습니다. 문제는 그 장면이 실제 비중보다 크게 기억된다는 점입니다.
편향이 생기는 세 갈래
첫째, 재생 횟수 편향입니다. 이미 이슈로 공유된 세션이 다시 열려 가중됩니다. 둘째, 최신성 편향입니다. 배포 직후 세션만 보면 일시적 버그가 구조적 문제로 포장됩니다. 셋째, 편의 표본입니다. 본인이 익숙한 플로우만 검색창에 넣게 됩니다.
최소 층화 규칙
Smart Evo 마스터리에서는 주간 리뷰 전에 네 층을 고정합니다. 신규/재방문, 성공/실패(목표 이벤트 기준), 모바일/데스크톱, 유료/무료(해당 시). 각 층에서 최소 2건을 무작위에 가깝게 뽑고, 추가로 ‘탐색용’ 특이 세션 1–2건만 허용합니다.
기록을 남길 것
샘플 목록에 선정 이유를 한 줄로 적으세요. ‘랜덤-실패-모바일’처럼요. 회의에서 누군가 극적인 클립을 가져오면, 그것이 층 밖 탐색용인지 먼저 표시합니다. 해석의 온도를 낮추는 가장 싼 장치입니다.