오피노의 매거진

실험 기획, 어떻게 해야 할까?

오피노

2020.06.09 17:38
  • 1626
  • 콘텐츠에 ‘좋아’해줘서 고마워요 -
    0
  • 0

실험 기획 어떻게 해야할까?지금 마케팅에서 가장 핫한 단어 Growth, 이것을 위해 많은 회사에서 적극적으로 A/B TEST를 진행하고 있습니다. 이런 실험 어떻게 하면 우리도 효과적으로 해볼 수 있을까요? 단순히 따라 하는 것으로 될까요?

 

1. 버튼 색을 파란색, 빨간색으로 바꾸고 하던데… 우리도 색 바꿔볼까?

 

 


 

 

A/B TEST에서 인사이트를 얻기 위해서는 고려해야 할 부분이 많은데요, 그 중에서도 가장 중요한 부분은 실험을 기획하는 부분이 아닐까 합니다.

 

단순히 다른 곳에서는 이런 실험 한다더라 그러니까 우리도 해보자!가 아니라 나는 어떤 목표를 가지고 실험을 할 것인지, 그 목표를 이루기 위해서는 내가 운영하는 사이트에서는 어떤 행동이 중요한 것인지를 먼저 파악하는 것이 필요합니다.

 

가령, 제 친구가 온라인 교육 사업을 하고 있는데 사이트에서 메인 페이지의 롤링 배너를 클릭한 유저들의 거래 전환(최종목표)이 다른 행동을 한 유저들보다 유의미한 수치를 보이는 것을 발견했다고 가정해봅시다. 이런 경우, 메인 페이지의 롤링 배너 클릭을 유도하는 것이 최종 목표로 나아가는데 영향을 미치므로 배너의 개수를 바꾼다던가 배너에 CTA 버튼을 삽입한다던가 하는 TEST를 실행해볼 수 있겠죠. 이후, 롤링 배너의 개수가 4개일 때 유저들이 배너를 가장 많이 클릭하고 전환으로 연결되는 경우가 많았다는 사실을 친구가 제게 공유해주었다고 합시다. 그럼 저도 동일하게 롤링 배너의 개수를 4개로 고정해야 할까요? 혹은, 롤링 배너가 없었다면 새롭게 만들어서 넣어야 할까요? 너무나 당연하게 들릴 수도 있지만 그렇지 않겠죠!

 

우리는 결과를 동일하게 적용하는 것에 대해서는 당연하게 그렇게 하면 안 된다고 생각하지만 TEST를 동일하게 진행하는 것에 대해서는 생각보다 깊은 고민을 하지 않는 경우가 많습니다. 오히려 실험을 기획하는 부분이 가장 중요한 부분임에도 불구하고 말입니다.

 

그렇다면, 이런 실험, 어떻게 기획하면 좋을까요?

 

 

2. 일단 정한다. 무엇을? 목표를!


우선, 가장 먼저 진행되어야 하는 것은 내가 개선하고자 하는 지표를 정하는 것입니다. 무엇을 개선 해야하는지도 모른채 일단 시작한다면 이것저것 해보다가 실험 결과가 내가 원하는 것이었는지 알 수가 없습니다. 그렇기 때문에 내가 가장 우선적으로 개선하고자 하는 것 하나를 확실하게 정합니다.

 

그 이후에 해당 지표에 영향을 줄 수 있는 행동을 찾아 가설을 세우는 것입니다. 그리고 이 가설은 사이트에 대한 분석에서 나올 수도, 경험적 증거에 기반한 가설일 수도, 타 브랜드 사례에서 아이디어를 얻은 가설일 수도 있습니다. 타 브랜드 사례를 동일하게 실험해보는 것을 주의해보라고 앞에서 이야기했는데 지금은 왜 타 브랜드 사례에서 아이디어를 얻어도 될까요? 무작정 따라하는 것이 아니라 먼저 원하는 목표를 설정했고 그것을 인지한 상태이기 때문입니다.

 

 

3. 그래서 어떻게 가설 세우는데?

 

앞에서 잠깐 언급했던 것처럼 가설을 세우는데 정해진 방법이 있는 것은 아닙니다. 경험에 기반한 가설이 될 수도 데이터에 기반한 가설이 될 수도 있습니다. 가령, 우리의 목표가 객단가를 높이는 것에 있다고 생각해봅시다. 객단가를 높여야 하니 사람들이 장바구니 페이지에 상품을 많이 담게 만들어야 합니다. 그럼 장바구니 페이지에서 추천 상품을 유저에게 보여주는 것은 어떨까?하는 생각이 들 수 있겠습니다. 장바구니에서 추천 상품을 보고 이를 통해 장바구니에 물건을 추가해보았던 경험을 기반으로 도출한 가설입니다.

 

혹은, 이렇게 해볼 수도 있습니다. 장바구니에서 뭔가 해보고 싶어서 데이터를 확인해보았는데 장바구니 페이지로 도달하는 유저의 수 자체가 너무 적은 것입니다. 그럼 장바구니 페이지에서 상품을 추천하는 것보다 우선 장바구니 페이지에 도달할 수 있도록 하는 것이 먼저겠다라는 생각이 듭니다. 이후, 장바구니에 도착한 유저들을 하나로 묶어 이들이 어떤 행동을 하고 있는지 파악해봅니다. 그랬더니 장바구니에 도착한 유저의 약 90%가 평균적으로 17개 상품을 확인한다는 사실을 발견했습니다. 그럼, 우리는 유저들이 상품을 많이 확인할 수 있도록 하는 가설을 세울 수도 있겠습니다.

 

이런 식으로 가설을 설정하고 A/B TEST를 진행하는 것을 반복하게 됩니다. 실제로 업무를 하다 보면 꼭 이런 방식으로 진행하게 되지 않을 수도 있지만 목표를 확실히 한 이후 가설을 세우고 목표 달성을 위해 A/B TEST를 진행하다 보면 최종적으로 원하는 형태에 가까운 서비스를 제공할 수 있지 않을까 기대해봅니다.

 

위에서 말한 것처럼 A/B TEST를 진행할 때 가장 우선되어야 할 것은 내가 무엇을 목표로 할 것인지를 정하는 것입니다. 목표가 없는 실험은 배움이 없는 실험이 될 가능성이 큽니다. 그러므로 실험을 세팅하기 전에 모두 모여 우리는 어떤 목표를 가지고 움직일 것인가를 가장 먼저 정해보세요. 이후에는 그 실험의 성공 여부와는 관계없이 배움이 있는 실험이 될 것입니다.

  • #A/B테스트