[Lean Analytics] Chapter 1. We’re All Liars

Mijeong (Rachel)

5 min readFeb 9, 2020

이 글은 Lean Analytics 책을 읽은 후, 요약하기 위해 작성되었습니다. ‘불특정 다수에게 공유’하기 위한 목적보다는 ‘개인적인 학습’과 ‘가까운 동료들과 토론’하기 위해 작성되었습니다.

직감은 실험하면 되고, 데이터는 그 증거가 된다.

린 스타트업 운동

측정할 수 없는 것은 관리할 수 없다.

현실 왜곡에 구멍 내기

Airbnb 사진 사례

‘전문적인 사진을 보유한 호스트의 사업이 더 잘 될 것이고, 호스트는 전문적인 사진을 위한 서비스를 이용할 것이다.’ 라는 가설을 수립했다. 이 서비스를 바로 구축하지 않고, 가설을 빠르게 검증하기 위해 Concierge MVP를 구축했다. 초기 테스트는 ‘전문적인 사진이 존재하는 목록에서 평균보다 2–3배 높은 예약 발생’ 이라는 결과를 보여줬다. 그 이후 Airbnb는 20명의 포토그래퍼를 보유하고 호스트에게 전문적인 사진을 제공했다. 그 결과 예약 수가 급격하게 증가하는 결과를 얻었다.

Concierge MVP? ‘고객의 문제를 해결’하는 관점보다는 ‘고객의 문제를 해결하기 위한 방법’을 찾는 솔루션이다. 예를 들어, 차량 공유 자동화 서비스를 구축하고 싶다고 가정할 때 실제로 차량 공유 서비스가 의미 있는지 검증이 필요하다. 이때, 드라이버와 승객을 수동으로 연결해주며 차량 공유 서비스의 가치가 검증된다면 이는 Concierge MVP 접근을 시도한 것이다.

요약

Airbnb 팀은 사진의 품질이 높을수록 예약 수가 늘어날 것이라는 가설을 세웠다.
Airbnb 팀은 Concierge MVP를 구축하고 최소한의 노력으로 테스트하여 의미 있는 결과를 얻었다.
Airbnb 팀은 테스트에서 의미 있는 결과를 얻은 후, 필요한 요소를 구축하고 사용자에게 배포했다.

Analytics 교훈

아이디어가 생겼다면 ‘아이디어가 성공했을 때의 결과’와 ‘아이디어(가설)의 테스트 결과가 의미 있을 때 실행해야 하는 것’을 정의할 수 있어야 한다.

This article is intended to summarize after reading Lean Analytics book. It is written for ‘personal learning’ and ‘discussing with colleagues’ rather than ‘sharing to the public’.

Instincts are experiments. Data is proof.

The Lean Startup Movement

If you can’t measure it, you can’t manage it.

Poking a Hole in Your Reality Distortion Field

Airbnb Photography

Airbnb team made the hypothesis that “Hosts with professional photography will get more business. And hosts will sign up for professional photography as a service”. They built Concierge MVP to quickly validate the hypothesis instead of building the feature right away. Initial tests showed that “professional photographed listings got 2 to 3 times more bookings than the market average”. After that, Airbnb had 20 photographers and provided professional photography service to hosts. As a result, the number of booking increased drastically.

Concierge MVP? It is for “finding a way to solve customer’s problem”, rather than for “solving customer’s problem”. For example, if you want to build a car sharing service. You need to validate the worth of a car sharing service. At this point, you can try to connect between drivers and passengers manually. If you get meaningful result, it is attempt to try Concierge MVP.

Summary

Airbnb’s team had a hunch that better photos would increase results.
They tested the idea with a Concierge MVP, putting the least effort possible into a test that would give them valid results.
When the experiment showed good results, they built the necessary components and rolled it out to all customers.

Analytics Lessons Learned

When you think you’ve found a worthwhile idea, you can define what success looks like beforehand, and know what you’re going to do if your hunch is right.