설문조사 기초 공략집 | ② 응답 대상자와 표본수를 설정하자

“컨셉 조사 할 건데 샘플은 몇 명으로 해야 돼요?”

오픈서베이에는 위처럼 표본수에 대한 문의가 많습니다. 사실 조사에 있어서 굉장히 중요한 요소이기도 합니다. 결과의 신뢰도와 비용에 직결되기 때문이죠. 그럼 우리 설문 표본수는 어떻게 설정해야 할까요? 그전에 응답 대상자를 누구로 설정할지도 생각해봐야 합니다. 글을 통해 응답 대상자와 표본수를 설정하면서 좀 더 정확하고 합리적인 비용으로 조사를 설계하는 노하우를 알아봅시다.

 | 일반인 500명 중 ‘온라인 장판 전문몰’ 잠재 고객은 몇 명일까요?

응답 대상자 설정은 간과하기 쉬운 부분입니다. 그냥 일반인 500명에게 물어보면 된다고 생각하는 경우도 많죠. 하지만 원하는 설문조사의 주제에 따라서 유효한 응답 대상자는 달라집니다. 단적으로 골프웨어 브랜드의 신제품 컨셉 조사에 20대 사회 초년생 남성의 의견은 그다지 중요하지 않죠.

다른 모든 조사도 마찬가지입니다. 이에 설문 진행에 앞서 적확한 응답 대상자 설정이 중요한 겁니다. 좀 더 원활한 설명을 위해 전 글에 이어서 열린장판의 이창민 매니저 예시를 들어보겠습니다. 

열린장판은 소도매점이나 건설사 같은 전통적인 유통 채널을 벗어나 온라인 장판 전문 쇼핑몰을 만들고 싶습니다. 관련된 시장 경험이 없어 설문조사를 통해 시장성을 판단할 수 있는 자료를 수집하고 싶은 상황이죠.

이러한 설문조사를 일반인 대상으로 진행한다면 어떨까요? 원하는 조사 결과를 얻기 힘들 겁니다. 생애 주기로 볼 때 장판을 직접 구매해야 하는 시기는 매우 특징적이라 잠재고객의 범위가 좁기 때문입니다. 다시 말해 장판 구매를 고민해본 사람이 적다는 뜻이죠.

그런 상황에서 일반인 500명에게 장판 구매 의사가 있는지 물어보면 몇 명이나 긍정적인 답변을 할까요? 장판 구매 의사가 없다는 응답자에게 온라인 장판 전문 쇼핑몰의 시장성을 판단할만한 소비자 조사를 진행할 수 있을까요? 응답자는 관심 없는 주제의 설문에 성실하게 답변하지 않습니다. 성실하게 응답하지 않으면 의미있는 데이터라 보기도 힘들고요.

| 관련성 높은 응답자를 한정하는 방법은 말이죠

이에 열린장판은 온라인 몰의 잠재 고객에 맞춰 응답 대상자를 좁혀야 합니다. 장판을 직접 구매한 경험이 있거나 구매 결정권을 가진 사람이 대표적입니다. 설문조사란 다른 사람의 의견을 통해 해답을 찾는 과정이라고 볼 수 있기 때문에, 질문에 유의미한 답변을 줄 수 있는 사람일수록 좋습니다.

이에 열린장판이 설정한 응답 대상자는 다음과 같습니다.

3040 주부는 직업과 연령대 같은 기본적인 프로필로도 타깃팅할 수 있는 장판에 대한 구매 결정권이 높은 대상입니다. 물론 직접 장판을 구매해봤다거나 집에 장판을 DIY로 깔아본 사람이 좀 더 적확한 타깃이긴 합니다. 그렇지만 이들은 매우 특수한 경험자로 설문 시 충분히 많은 응답자를 모집하기 어렵다는 단점이 있습니다.

이에 관련성 높으면서도 충분히 다양한 응답을 받을 수 있는 최적화된 모집 규모를 설정해야 하죠. 표본수에 대한 고민을 할 단계에 온 겁니다. 이제부터는 응답 대상자를 누구로 한정할지를 넘어서 얼마나 많은 사람에게 물어볼지 고민해봅시다.

| 응답자 수 설정에 앞서 신뢰 수준과 표본 오차 제대로 알기

선거철이 되면 방송에서 각 후보의 여론조사 결과를 보여줍니다. 이때 그래프에 ‘신뢰 수준’과 ‘표본 오차’가 반드시 포함되죠. 예를 들면 우리나라 대통령 선거 때 A, B 후보 1000명 대상 여론조사 그래프에 ‘표본오차 ±3.1%p(95% 신뢰수준)’라고 표기되는 경우죠.

여기서 말하는 95%의 신뢰 수준은 같은 조사를 100번 진행할 때 95번은 같은 조사 결과가 나올 것이라는 의미입니다. 100번 중 95번은 같은 결과가 나올테니 이만큼이나 신뢰할 수 있다는 거죠. 표본오차 ±3.1%p란 투표권을 가진 대한민국 성인남녀 3800만명 중 1000명을 추려 조사한 결과이므로 3800만명 대상의 실제 수치와의 차이가 위아래로 3.1%p 정도는 발생할 수 있다는 의미입니다.

1000명 대상 표본오차 ±3.1%p(95% 신뢰수준)의 여론조사 결과가 A 후보 40%, B 후보가 30%라고 예를 들어보겠습니다. 이는 같은 조사를 100번 했을 때 95번은 A 후보가 36.9%~43.1%, B후보가 16.9%~23.1%의 지지율을 얻을 것이라는 뜻입니다. 신뢰수준과 오차범위를 고려하더라도 A 후보가 당선될 것임을 알 수 있죠.

문제는 여론조사 결과가 A 후보 40%, B 후보 38%일 때입니다. 신뢰 수준과 오차 범위를 고려할 때 조사 결과만으로 특정 후보의 당락을 예측할 수 없는 거죠. 이런 우려사항 때문에 특히 선거조사는 오차를 최소화 하기 위해 대단위 조사를 진행합니다. 보통 국회의원 선거는 500명 이상, 광역단체장 선거는 800명 이상, 대통령 선거는 1000명 이상으로 응답자 수를 설정합니다.

| 소비자 조사는 경향성을 읽는 것도 중요합니다

그럼 조사해보니 그다지 유의미한 결과가 나온 것 같지 않으면 어떡할까요? 소비자 조사는 경향성을 읽는 것 또한 중요합니다. 시간의 흐름 혹은 연령이나 소득 수준 등 연속 변수의 응답 결과에서 특정한 경향성을 발견할 수 있다면 충분히 유의미한 데이터로 활용할 수 있습니다. 비단 각 세그먼트에서 표본오차 내의 차이만 있더라도 말이죠.

2018 온라인 동영상 광고 효과 리포트 중

[Base: 전체 응답자 (최근 1주일 이내 동영상 시청 경험자), N=500, 단일응답, %]

위 예시는 오픈서베이의 ‘2018 온라인 동영상 광고 효과 리포트’ 일부입니다. 모바일 동영상 시청 시 사람들이 데이터를 얼마나 고려하는지를 조사한 결과죠. 보시다시피 매년 큰 수치 변화는 없었습니다. 올해도 신경을 쓴다는 비중이 작년 대비 4.2% 정도 줄었을 뿐이죠.

그런데 지난 3년 간의 응답 결과를 함께 놓고 볼 때는 데이터에 신경을 쓴다고 응답한 비중이 꾸준히 감소하고 있다는 경향성을 읽을 수 있습니다. 이에 앞으로는 데이터 사용량을 고려해서 모바일 동영상 시청을 하지 않는 사람들은 점차 줄어들 것이라고 예측할 수도 있죠.

이에 오픈서베이 고객 중에서도 일반적인 마켓 조사나 인지도 조사를 할 때 신뢰수준 95% 기준 표본 오차 5% 이내로 맞춰 400~500명 대상 설문을 꾸준히 진행하는 경우도 많습니다. 오차 범위를 고려하더라도 축적된 데이터는 경향성을 파악하는 훌륭한 도구가 될 수 있기 때문이죠.

| 경우에 따라 응답자가 더 적어도 괜찮습니다

경우에 따라 100명 혹은 200명 단위의 조사도 유의미한 결과를 얻을 수 있습니다. 탐색적 조사의 경우가 대표적인데요. 비즈니스 아이디어를 점검하거나 가설을 구체화 하는 단계에서 힌트를 얻을 때 주로 진행합니다.

혹은 시제품 컨셉 조사에 앞서 후보가 많을 때 다소 적은 응답자를 대상으로 컨셉 후보를 3~4개까지 줄이고자 할 때도 유용합니다. 이러한 탐색적 조사는 고객 데이터와 시장 조사가 자료가 많지 않은 스타트업이 비즈니스 모델을 구체화할 때도 활용할 수 있고요.

더 적은 응답자 대상의 소비자 조사도 진행됩니다. 설정한 응답 대상자가 굉장히 특수한 경우 그런데요. 극단적인 예시로는 B2B 소비자 조사를 들 수 있습니다. 예를 들어 항암 치료 전문의 대상 소비자 조사라면 적게는 10명 대상 조사도 굉장히 의미있는 결과를 얻을 수 있습니다.

정리하자면 설문조사에서 표본수는 많을수록 좋지만 비용과 시간의 문제를 고려해 조사 유형에 따라 합리적인 수준으로 표본 수를 줄여 조사를 진행하는 것이 효과적입니다.