스타트업을 위한 실험 문서 템플릿 + 작성 가이드라인
그로스 실험, 프로덕트 실험, 마케팅 실험 등에 모두 이용할 수 있는 실험 문서 템플릿입니다.
지난 번 글(스타트업을 위한 '실험'과 '가설' 개념 설명)에 이은 실험 시리즈. 그로스 실험, 프로덕트 실험, 마케팅 실험 등에 모두 이용할 수 있는 실험 문서 템플릿입니다.
실험을 설계하기 위해서는, 그리고 실험을 통해 학습하는 내용을 문서화해서 팀의 자산으로 남기기 위해서는 실험 문서가 필수적이죠. 이번 글에서는 실험 문서 템플릿뿐 아니라, 실험 문서에 어떤 내용을 채워 넣어야 하는지 작성 가이드를 제공해 드립니다. 실험 문화를 만들려는 팀에 도움이 되길 바랍니다. :)
실험 문서 템플릿
실험 문서 템플릿입니다. 복사해서 사용하시면 됩니다.
1. 실험 목적
2. 문제의식
3. 테스트할 가설(Hypothesis) / 확인할 가정(Assumptions)
4. 실험 계획
5. 투입 시간 및 자원 예상치
6. 실험 결과
7. Lessons Learned
8. 후속 가설/가정
실험 문서 작성 가이드라인
1. 실험 목적
- 무엇을 위한 실험인지 작성합니다.
- 예) 사용자 온보딩 개선하기: 신규 가입 회원이 1주일 내 A 기능을 이용하는 비율을 높여 더 많은 사용자들을 Activate 하기
2. 문제의식
- 어떤 문제의식에 의해서 실험을 하게 되었는지 작성합니다.
- 정량적 데이터, 고객 인터뷰, 사용자 테스트, 팀에서 나온 의견 등… 실험을 해야 하는 이유를 적습니다.
- 참고할 만한 자료가 있으면 URL과 스크린샷 등을 첨부합니다.
- 데이터 분석 문서 URL, Product Anayltics 차트 URL, 차트 스크린샷, 고객 인터뷰 정리 문서, 슬랙 대화 캡쳐 이미지 등
3. 테스트할 가설(Hypothesis) / 확인할 가정(Assumptions)
- 이번 실험에서 어떤 가설을 테스트하고자 하는지, 관련해서 어떤 가정을 가지고 있는지 작성합니다.
(참고) ‘가설(Hypothesis)’과 ‘가정(Assumption)’은 어떻게 다른가?
- 가설(Hypothesis)
- ‘OOO을 하면 OOO에 OOO만큼의 변화가 생길 것이다’ 라는 식의,
- 반증 가능(데이터를 통해서 거짓이라는 것을 입증할 수 있는)한 진술입니다.
- 가설은 실험을 통해 테스트합니다.
- 가정(Assumptions)
- 우리가 고객, 시장에 대해 가지고 있는 추측들입니다.
- 가정은 다양한 형태가 있습니다. 예를 들면 이런 것들.
- ‘우리 잠재 고객은 OOOO라는 문제를 가지고 있을 것이다’
- ‘OOOO라는 문제를 가지고 있는 사람이 많을 것이다.’
- ‘고객이 전환하지 않고 이탈하는 이유는 OOOO일 것이다.’
- ‘잠재 고객에게 도달하는 마케팅 채널로는 OOO 채널이 효과적일 것이다.’
- 가정은 가설처럼 반증 가능한 진술은 아닙니다.
- 아직 사실인지 아닌지 모르기 때문에, 가정을 그대로 믿고 많은 시간과 자원을 투입했다가는 비용을 낭비할 위험(Risk)이 있습니다. 그래서 가정 역시 사실인지 아닌지 확인할 필요가 있습니다.
- 테스트할 가설은 최대한 구체적으로, 데이터로 반증 가능한 형태로 씁니다.
- (테스트할 가설 예시) 광고에서 ‘회원가입 페이지’가 아니라 ‘제품을 이용할 수 있는 페이지’로 랜딩하도록 랜딩페이지를 변경하면 랜딩페이지에서 가입으로 전환하는 비율이 OO%에서 OO%로 증가할 것이다.
- 확인할 가정은 반증 가능한 형태로 쓸 필요는 없지만, 그래도 가능한 한 구체적으로 씁니다.
- (확인할 가정 예시) 랜딩페이지 유입자들이 회원 가입을 하지 않고 이탈하는 이유 중 주된 이유는 '서비스에서 사용자가 무엇을 할 수 있는지 볼 수 없다’일 것이다.
4. 실험 계획
예시) 페이스북 광고 랜딩페이지 A/B 테스트를 해서, 실험군에게는 새로운 랜딩페이지를 보여주고, 대조군에게는 기존 랜딩페이지를 보여주는 실험의 경우.
5. 투입 시간 및 자원 예상치
- PM, 디자인, 엔지니어링, 마케팅, 운영 등 얼마나 많은 시간을 투입할지 예상 시간을 적습니다.
- 투입해야 하는 다른 자원(현금 등)이 있을 경우, 적습니다.
예시)
6. 실험 결과
- 실험을 완료한 뒤에 결과를 입력합니다.
7. Lessons Learned
- 실험을 통해 무엇을 배웠는지 적습니다.
- 이런 것들을 적으면 됩니다.
- 우리가 당연하다고 생각했는데 사실은 그렇지 않았던 것
- 고객과 시장에 대해 새로 알게 된 사실
- 실험을 계획하고 진행하는 과정에서 시행착오를 겪으면서 알게 된 것
8. 후속 가설/가정
- 실험을 통해 새롭게 생긴 가설/가정, 그래서 앞으로 검증하거나 확인해 봤으면 하는 가설/가정을 적습니다.
안내: 프로덕트 조직과 개인을 위한 코칭
프로덕트 조직, 혹은 개인(제품 리더, PM, PO 등)을 대상으로 한 코칭을 제공하고 있습니다. 아래 이야기들이 내 얘기로 느껴지는 분들께 도움을 드립니다. 자세한 내용은 링크된 페이지를 참고해주세요.
- 제품에서 해야 할 일들은 쏟아지는데, 어떤 기준으로 우선순위를 설정하면 좋을지 답을 내리지 못하고 있다. 명확한 방향성이 없이 그때 그때 급한 일을 쳐내는 식으로 일하고 있다.
- 지표를 개선해야 하는데, 어떤 식으로 접근해야 할지 모르겠다. 어떤 지표를 봐야 좋을지 모르겠다.
- 조직에 큰 영향을 끼칠 수 있는 의사결정을 해야 하는데, 하나를 택하면 포기해야 하는 것도 명확해서 쉽게 결정을 내리지 못하고 있다. 이로 인해 리더로서 자신감이 떨어진다.
- 제품 조직과 다른 부서 간 의견 차이와 갈등이 있다. 다른 조직의 입김 때문에 제품 조직이 꼭 필요한 일을 제대로 수행하기 어렵다.
코칭 및 컨설팅 안내
개인 코칭: 프로덕트 리더 개인 코칭: 프로덕트 리더프로덕트 조직 리더들을 위한 코칭을 제공합니다.Thinker-Practitioner김민우 / Minwoo Kim 팀 코칭: 프로덕트 조직 코칭/컨설팅 프로덕트 조직 코칭/컨설팅프로덕트 조직을 위한 코칭, 컨설팅을 제공합니다.Thinker-Practitioner김민우 / Minwoo Kim About Me * 스타트업에서 프로덕트, 그로스(growth), 데이터 분석, 조직 운영 등의 일을 해 왔습니다. 구체적으로 어떤
Member discussion