仮説を数字で書き MVP の範囲を切る

한 줄 요약

MVP 는 '작은 제품' 이 아니라 가장 위험한 가설 하나를 가장 싸게 시험하는 장치다. 그러려면 가설을 "누가 · 무엇을 · 얼마나" 가 들어간 숫자 문장으로 쓰고, 통과·실패·보류의 기준을 시험 전에 정하고, 결과는 누가 시험에 참여했는지까지 따져 읽어야 한다. 기능 범위는 그다음에, 가설을 시험하는 데 필요한 만큼만 자른다.

왜 이게 필요했나

"사람들이 좋아할 것 같다" 는 가설이 아니다. 무엇이 나와도 맞았다고 우길 수 있기 때문이다. 틀릴 수 있어야 시험할 수 있다. "프리랜서 디자이너 방문자의 3% 이상이 월 9,900원 선결제를 누른다" 는 틀릴 수 있다.

두 번째 함정은 시험 대상이다. 첫 소개 페이지를 창업자의 뉴스레터와 지인에게 먼저 돌리면 전환율이 높게 나온다. 그 사람들은 제품이 아니라 창업자를 믿고 누른다. 낯선 사람에게 같은 페이지를 보였을 때의 숫자가 시장의 숫자다.

세 번째는 범위다. 기능 후보를 점수로 줄 세우면 만들기 쉬운 것이 위로 올라온다. 다크 모드는 싸고 많은 사람이 쓰지만, 선결제 가설을 시험하는 데는 아무 도움이 안 된다.

어떻게 동작하나

가설 문장과 기준. 지표(선주문율 = 선주문 ÷ 방문자), 기준값(예: 3%), 대상(낯선 방문자)을 적는다. 판정은 비율 하나가 아니라 구간으로 한다 — 앞 모듈에서 쓴 95% 윌슨 구간의 하한이 기준 이상이면 통과, 상한이 기준 아래면 실패, 기준이 구간 안에 있으면 보류(아직 모름)다. 기준값 3% 는 이 실습의 예시이고, 실제로는 단위 경제(가격·CAC)에서 거꾸로 계산해 정하는 편이 낫다 — 가격 모듈에서 다룬다.

보류면 표본을 늘린다. 지금의 비율이 그대로라면 방문자가 몇 명이 되어야 구간이 기준에서 벗어나는지 계산할 수 있다. 이 실습은 n 을 1부터 늘려 가며 k = round(p·n) 으로 구간을 다시 계산하는 단순한 방법을 쓴다. 필요한 방문자가 지금보다 훨씬 많다면 그 채널은 시험 수단으로 비싸다는 뜻이기도 하다.

따뜻한 청중을 따로 본다. 채널을 합친 숫자 하나만 보면, 전환율이 높은 지인 채널이 평균을 끌어올려 '거의 통과' 처럼 보인다. 지인 채널을 뺀 낯선 채널만의 판정을 따로 내고, 결정은 그쪽으로 한다.

RICE 로 범위를 자르되 가설을 먼저. Intercom 의 RICE 글(Sean McBride)은 점수를 (Reach × Impact × Confidence) ÷ Effort 로 두고, Impact 는 3·2·1·0.5·0.25 의 척도로, Confidence 는 100%·80%·50% 로, Effort 는 인월(person-month)로 잰다고 설명한다. 이 실습은 점수 내림차순으로 예산(인월)에 들어가는 것만 담는 탐욕적 방법으로 범위를 자른다. 그리고 그 결과를 가설과 대조한다 — 점수가 높아도 가설을 시험하지 않는 기능(예: 다크 모드)이 범위에 들어와 있다면, 점수표가 아니라 가설이 범위를 정해야 한다는 신호다.

판단	근거
만들까	낯선 채널의 판정이 통과인가
더 시험할까	보류인 채널 가운데 필요한 추가 방문자가 가장 적은 곳
무엇을 만들까	가설을 시험하는 기능 → 예산 안에서 RICE 순

스모크 테스트의 윤리. 아직 없는 제품의 선결제를 받는다면, 결제 직후 "아직 준비 중이며 전액 환불된다" 는 사실을 분명히 알리고 실제로 환불한다. 사람들이 속았다고 느끼면 그 채널은 다음 시험에 쓸 수 없고, 무엇보다 신뢰는 초기 제품이 가진 거의 유일한 자산이다. 결제 대신 '대기 명단 + 가격 확인' 처럼 약한 신호로 시험할 수도 있지만, 그만큼 신호가 약하다는 것을 판정 기준에 반영해야 한다.

현장에서 만나는 모습

• 지인 200명에게 보낸 소개 페이지의 선주문율 7% 로 투자 자료를 만들었는데, 광고로 들어온 사람은 1% 대였다.
• MVP 에 로그인·알림·설정 화면부터 넣다 보니 석 달이 지났고, 정작 결제 버튼은 없었다.
• 보류인 결과를 "조금만 더 모으면 통과할 것" 이라고 읽는다. 필요한 표본을 계산해 보면 지금의 몇 배다.

틀렸을 때 알아채는 법

• 채널별 판정을 먼저 보고, 합친 판정이 한 채널의 숫자에 끌려가지 않는지 확인한다. 합친 결과와 따뜻한 청중을 뺀 결과가 다르면 결정은 뒤쪽으로 한다.
• 기준값을 결과를 본 뒤에 바꾸고 싶어지면 멈춘다. 기준이 결론을 따라가기 시작하면 시험이 아니라 설득이 된다.
• MVP 범위에 들어간 기능마다 "이 기능이 없으면 가설을 시험할 수 없는가" 를 묻는다. 아니라고 답하는 기능이 절반을 넘으면 범위가 가설이 아니라 점수표를 따르고 있는 것이다.
• 필요한 표본이 지금 방문자의 몇 배라면, 같은 채널로 기다리기보다 더 싸게 표본을 모을 채널이 있는지부터 본다.

다음 실습에서 할 것

네 채널의 스모크 테스트 결과로 채널별·전체·낯선 채널만의 판정을 내리고, 보류인 채널에 방문자가 얼마나 더 필요한지 계산한다. 기능 후보 여덟 개의 RICE 점수로 예산 안의 범위를 자르고, 마지막에 "만들까, 더 시험할까, 무엇을 만들까" 를 한 장으로 정한다.