[Lean Analytics] Chapter 4. Data-Driven Versus Data-Informed

10가지 함정

  • 데이터가 깨끗하다는 가정. 데이터에 대한 작업 대부분은 데이터 전처리 과정이다. 확보한 데이터의 30% 이상이 null은 아닌가? 혹은 많은 사용자가 1900년에 태어나지는 않았는가? 데이터가 유효하고 유용한지 먼저 확인해라.
  • 정규화하지 않음. 가장 인기있는 결혼식 장소 목록을 작성한다고 가정해보자. 당신은 단순히 결혼식을 목적으로 비행기를 이용하는 사람 수를 셀 수도 있다. 하지만, 해당 비행기를 이용하는 총 사람 수를 고려하지 않는다면 해당 결과는 단순히 인기있는 도시가 될 것이다.
  • 데이터 이상치 제외. 하루에 천 번이상 당신의 서비스를 이용하는 사용자가 21명이 있다. 이들은 당신의 서비스의 굉장한 팬이거나 당신의 서비스를 크롤링하는 봇(bot)일 수도 있다. 이상치를 제외하면 실수가 발생할 수 있다.
  • 데이터 이상치 포함. 하루에 천 번 이상 당신의 서비스를 이용하는 사용자가 실제 사용자라면, 질적 관점에서는 흥미로울 수 있다. 하지만, 일반적인 모델을 수립할 때 그들의 관점을 적용한다면, 예상하지 못한 결과를 얻을 수 있다.
  • 정기적 변동 무시. 데이터의 패턴을 볼 때 시간, 요일, 월별 변경을 고려하지 않는다면 잘못된 의사 결정을 할 수 있다.
  • 성장 보고시, 규모 무시.
  • 과잉 데이터. 대시보드에 정보가 너무 많고, 무엇을 확인해야 하는지 혹은 어디로 가야하는지 모르겠다면 그 대시보드는 의미가 없다.
  • 과잉 지표. 무언가 잘못된 것을 빠르게 알아채기 위해 많은 알림을 설정할 수 있다. 하지만 임계값이 필요 이상으로 민감하게 설정되면 너무 빈번한 알림으로 결국 무시하게 된다.
  • “여기서 수집된 것 아님” 증후군. 우리 서비스에서 발생한 데이터가 아니더라도, 다른 서비스의 데이터와 함께 정리하면 다음 실험 혹은 성장 전략에 좋은 아이디어를 얻을 수 있다.
  • 노이즈에 집중.

10 common pitfalls

  • Assuming the data is clean. Cleaning the data you capture is often most of the work. Is an instrumentation bug causing 30% of your numbers to be null? Do you really have that many users born in 1900? Check your data at the door to be sure it’s valid and useful.
  • Not normalizing. Let’s say you’re making a list of popular wedding destinations. You could count the number of people flying in for a wedding, but unless you consider the total number of air travellers coming to that city as well, you’ll just get a list of cities with busy airports.
  • Excluding outliers. Those 21 people using your product more than a thousand times a day are either you biggest fans, or bots crawling your site for content. Whichever they are, ignoring them would be a mistake.
  • Including outliers. While those 21 people using your product a thousand times a day are interesting from a qualitative perspective, because they can show you things you didn’t expect, they’re not good for building a general model.
  • Ignoring seasonality. Failure to consider time of day, day of week, and monthly changes when looking at patterns leads to bad decision making.
  • Ignoring size when reporting growth.
  • Data vomit. A dashboard isn’t much use if you don’t know where to look.
  • Metrics that cry wolf. You want to be responsive, so you set up alerts to let you know when something is awry in order to fix it quickly. But if your thresholds are too sensitive, they get “whiny” — and you will start to ignore them.
  • The “Not Collected Here” syndrome. Mashing up your data with data from other sources can lead to valuable insights.
  • Focusing on noise.

--

--

programming x writing

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store