[Lean Analytics] Chapter 2. How to Keep Score

이 글은 Lean Analytics 책을 읽은 후, 요약하기 위해 작성되었습니다. ‘불특정 다수에게 공유’하기 위한 목적보다는 ‘개인적인 학습’과 ‘가까운 동료들과 토론’하기 해 작성되었습니다.

분석은 비즈니스에 중요한 지표(Metric)를 추적하는 것이며, 분석의 목적은 올바른 제품과 시장을 위한 길을 찾는 것이다.

좋은 지표란 무엇인가?

• 비교할 수 있는 지표: 다른 기간, 다른 사용자 그룹 등과 비교할 수 있는 지표는 어떤 방향으로 나아가고 있는지 이해하는데 도움이 된다. ‘conversion rate 2% 향상’보다 ‘지난 주 보다 향상된 conversion rate’이 더욱 의미있다.
• 이해할 수 있는 지표: 사람들이 기억하기 어렵고 토론하기 어려운 지표는 변화의 기회를 얻기 힘들다.
• 비율로 표현할 수 있는 지표: 비율로 표현하면 지금 행동해야 하는 것이 더욱 명확하며 본질적으로 비교할 수 있는 지표다.
• 행동을 변화시키는 지표: 목표에 맞는 행동 변화를 원한다면, 행동 변화와 관련된 지표를 설정해야한다.

올바른 지표 선정을 위해 명심할 것

• 정성적(Qualitative) 지표 vs 정량적(Quantitative) 지표: 정성적 지표는 ‘왜’에 대한 답을 한다면 정량적 지표는 ‘무엇’에 대한 답을 한다.
• 허영(Vanity) 지표 vs 실행 가능한(Actionable) 지표
• 탐색적(Exploratory) 지표 vs 보고 가능한(Reporting) 지표: 탐색적 지표는 추구할 만한 것을 찾기 위함이고, 보고 가능한 지표는 실험의 결과일 수 있다.
• 선행 지표(Leading) vs 후행(Lagging) 지표: 선행 지표는 미래를 예측할 수 있게 하는 지표이고, 후행 지표는 과거의 문제를 파악할 수 있게 하는 지표이다.
• 상관(Correlated) 지표 vs 인과(Causal) 지표: 상관관계 지표는 두 지표 사이의 관계이며 어떤 일이 발생할지 예측할 수 있고, 인과관계 지표는 그 원인을 발견하여 결과를 바꿀 수 있다.

테스트를 위한 주요 개념

세그멘테이션

사람을 어떤 특성으로 나눈 그룹

코호트

정의된 시간 범위 내에서 유사 그룹의 행동을 분석하는 것

A/B 테스팅

한 가지 속성을 다르게 표현하고 효율을 측정

This article is intended to summarize after reading Lean Analytics book. It is written for ‘personal learning’ and ‘discussing with colleagues’ rather than ‘sharing to the public’.

Analytics is about tracking the metrics that are critical to your business, and the purpose is to find your way to the right product and market.

What Makes a Good Metric?

• A good metric is comparative: “Increased conversion from last week” is more meaningful than “2% conversion”.
• A good metric is understandable: If people can’t remember it and discuss it, it’s hard to turn a change.
• A good metric is a ratio or a rate: Ratios are easier to act on and inherently comparative.
• A good metric changes the way you behave: If you want to change behavior, your metric must be tied to behavioral change you want.

Keeping 5 things in mind to choose the right metrics

• Qualitative vs quantitative metrics: If quantitative data answers “what” and “how much”, qualitative data answer “why”.
• Vanity vs actionable metrics
• Exploratory vs reporting metrics: Exploratory metrics are those you go looking for and reporting metrics can be the results of experiments.
• Leading vs lagging metrics: A leading metric tries to predict the future, and a lagging metric gives you an indication that there’s a problem.
• Correlated vs causal metrics: Correlations can help you predict what will happen. But finding the cause of something means you can change it.

Important concepts for testing

Segmentation

A group that shares some common characteristic

Cohort

A comparison of similar groups along a timeline

A/B Testing

A comparison one attribute of a subject’s experience