여론조사 결과 제대로 이해하기 1 – 조사방법에 대하여
요즘 지방선거의 열풍으로 여론조사 결과들이 홍수처럼 쏟아져 나오고 있습니다. 그런데, 그 여론조사의 결과를 항상 따라다니는 이상한 말이 있습니다. 95% 신뢰수준에 플러스, 마이너스 3.2% 포인트 표본오차로 조사하였다. 이런 용어죠. 이 말의 의미를 살펴보도록 하겠습니다.
KBS에서 실시한 여론조사 결과를 가지고 설명을 하도록 하겠습니다.
오세훈 45.6%, 강금실 30.0%
조사 기관 : 미디어리서치
조사 시기 : 2006년 4월 27일~29일
조사 대상 : 서울 거주 만 19세 이상 성인 남녀 1,000 명
조사 방법 : 전화 면접 조사 (CATI: Computer Aided Telephone Interview)
표본 오차 : ±3.10% 포인트 (95% 신뢰수준)
위의 결과가 가장 전형적인 여론조사 결과입니다. 여기서 대부분의 내용은 이해가 가는데 마지막 2줄의 내용을 살펴보도록 하겠습니다.
이번시간에는 조사방법 등에 대한 내용을 살펴보도록 하겠습니다.
전화면접조사라는 것은 조사원이 전화를 해서 전화로 물어보고 답변을 얻었다는 것입니다. 그러나 여기서 핵심은 전화조사를 했다는 것이 아니라 CATI 라는 방식입니다. 실제 리서치기관들이 가장 많이 쓰고 있는 방법이고, 조사의 핵심적인 사항은 바로 이 CATI 라고 할 수 있습니다.
여론조사의 가장 중요한 핵심사항은 유권자들을 대표할 수 있는 대상자(표본)을 어떻게 뽑는가 하는 것입니다. 만약 이 표본들을 잘못 뽑으면 여론조사의 의미가 없어지고, 이 결과를 가지고 조작을 하는 사태가 발생될 수 있습니다. 그래서, 후보자가 직접 여론조사를 하게 되면 아무래도 자기들이 알고 있는 한도내의 사람들은 대상으로 표본을 선출하게 되므로, 항상 자기가 유리하다는 잘못된 내용을 가지고 선거를 하게 됩니다. 그러다가 실제 개표를 하게 되면 전혀 엉뚱한 결과가 나오게 되고, 그 이유를 알지 못하게 되는 것이죠.
예를 들어, 노사모 회원들을 대상으로 노무현, 이회창 중에 누가 대통령이 될까요? 라고 물어보면 이건 해보나마나 노무현씨의 득표율이 엄청 높게 나옵니다. 반대로 이회창 지지모임을 대상자로 여론조사를 하면 이회창씨의 득표율이 엄청 높게 나오겠죠.
바로 그런 문제 때문에 리서치 기관들에서는 어떻게 하면 표본들을 편중되지 않고, 전체 대상자들을 잘 뽑을수 있을까에 대한 연구를 계속하게 되고, 실제로 그 효과가 상당히 잘 나와서 요즘의 여론조사 결과들은 엄청난 정확도를 가지고 있습니다. 대표적인 것이 바로 지난번 대선에 해당되는 것이죠.
현재의 여론조사는 대부분 전화조사를 하게 되는데, 그 전화조사에서 표본을 잘 뽑는 방법에 대한 시스템이 바로 이 CATI 입니다.
현재 대부분의 사람들이 전화를 가지고 있습니다. 따라서 그 아이디어를 이용해서 전화조사를 많이 하게 됩니다. 또한 이 전화조사의 장점은 빠른 시간안에 가장 많은 응답을 얻어낼 수 있다는데에 있습니다.
문제는 전화번호를 어떤 방식으로 뽑을까하는 문제입니다.
초창기에는 전화번호부를 많이 이용했습니다. 그런데, 전화번호부에는 등재되지 않는 사람들이 비율이 10% 이상으로 꽤 되기 때문에 표본이 누락되는 문제가 발생됩니다. 그래서, 요즘은 컴퓨터를 이용한 CATI 방식을 쓰고 있습니다. 이 시스템은 리서치 기관마다 다르고 그 방식 역시 차이가 있기 때문에 차이를 말하기는 힘이 들지만 가장 기본적인 아이디어만을 말씀드리면 다음과 같습니다.
예를 들어, 서울을 대상으로 조사를 한다고 한다면 먼저, 서울에 할당된 모든 국번을 조사합니다.
예를 들어, 서울의 국번은 1001, 1002, 1003, 1004 라는 4개의 국번이 있다고 가정하고 각 국번마다 서울 전체의 20%, 20%, 30%, 30%의 번호가 배정되어 있다면 1000명을 대상으로 뽑을 경우에 1001 국번에서는 200명, 1002 국번에서는 200명, 1003 국번에서는 300명, 1004 국번에서는 300 명을 전화해서 물어본다는 것이죠.
이렇게 먼저 배정을 하게 되면 컴퓨터 시스템이 1001 국번에서 200개의 번호를 무작위로 뽑게 됩니다. 그러면 그 번호가 조사원의 컴퓨터 화면에 뜨게 되고, 그 번호를 역시 컴퓨터가 자동으로 걸어주게 됩니다.
이렇게 통화한 전화가 성공하게 되면, 조사원의 모니터에 나오는 질문을 읽어주고, 응답자가 답변을 하면 그 자리에서 응답 내용을 입력하게 되는 방식을 이용하는 것이죠.
문제는 통화를 시도한 전화가 결번이거나 받지 않을 경우입니다. 만약 결번이라면 다른 번호를 하나 더 뽑아서 시도를 하게 됩니다. 하지만 부재중으로 통화가 안될 경우에는 문제가 발생됩니다. 만약 이 번호까지 빼버리고 다른 번호를 조사하게 되면 낮시간에 집에 없는 사람들은 표본에서 제외되는 문제 등이 발생하므로 표본의 대표성에 문제가 생기는 것이죠. 그래서, 이런 경우 대부분은 3-4 번 정도 일정 시간간격을 두고 다시 시도를 하게 됩니다. 그렇게 하면 실제로 통화에 실패하는 가능성은 낮아지게 되고, 대표성은 높아지는 것이죠.
두번째 조사시의 문제점은 조사원의 자질입니다. 응답자들은 조사원들이 읽어주는 내용을 듣고 응답을 하게 됩니다. 그런데, 조사원의 태도나 발음 등이 문제가 생긴다면 응답자들은 성실한 답변을 하지 않게 됩니다.
리서치 기관들의 가장 큰 생명 중의 하나가 바로 이 조사원들입니다. 그래서, 리서치 기관들은 조사원들에 대한 교육과 모니터링을 수시로 실시해서 최상의 응답 결과를 얻을 수 있도록 노력을 하게 되는 것입니다.
세번째 조사시의 문제점은 질문 내용입니다. 질문 내용이 어떻게 되어 있는가에 따라서 응답자의 응답 내용은 달라질 수 있습니다.
예를 들어
이번 평택 미군기지의 이전은 그 지역의 환경, 생태적 파괴 뿐만이 아니라
지역 주민의 이주 등 여러 가지 문제점을 가지고 있습니다.
선생님은 평택 미군기지 이전에 어떻게 생각하십니까?
1. 찬성한다 2. 반대한다
이런 형태로 물어본다면 거의 대부분의 사람은 반대한다라고 응답을 할 것입니다. 질문 내용에 이미 않좋은 상황만 기술한 다음에 질문을 하게 되면 응답자들의 생각은 순간 평향될 수 밖에 없는 것이죠.
바로 이러한 사항 때문에 질문지의 문항을 어떻게 만드냐에 따라서 조사 결과는 전혀 반대의 결과가 나올 수도 있습니다. 이러한 설문 문항에서 주의하고 지켜야 될 사항 등은 100 여가지 넘습니다.
그외에도 여러가지 문제가 있지만, 일단 가장 중요한 몇가지를 설명했습니다.
그래서, 여론조사의 경우에는 조사 기관이 얼마나 신뢰할 수 있는 기관인지가 중요하게 됩니다.
조사 기관을 신뢰할 수 있다면
표본추출 방법, 조사원의 능력, 질문지의 객간성
이 확보되기 때문에 그 결과를 신뢰할 수 있는 것입니다.
다음 시간에는 신뢰수준과 표본오차에 대해 살펴보도록 하겠습니다.
댓글
최상열 (2006-08-18 11:27:11)
사실 거의 매일 접하는 내용이지만 이러한 부분을 정확하게 이해하고 보시는 분들은 그리 많지 않은 것 같습니다. 우리 교육의 문제가 아닌가 봅니다. 저도 아직 통계에 대하여 미천한 지식을 가지고 있지만 일반인의 경우 학교에서 통계교육이 가장 중요하게 이루어져야 된다고 생각하고 있습니다.
김기영 (2007-01-29 22:58:13)
잘 읽었습니다.^^
장형림 (2007-05-08 09:53:10)
고맙습니다. 도움이 많이 되었습니다
박성주 (2007-05-21 00:03:46)
흠... 그러네요.
곽나연 (2007-06-17 15:03:41)
아...그렇군요;;
사실 지금 레포트 중인데 어떤 방법으로 표본을 추출해야할지
고민 중이거든요;;;
마침 필요한 자료가 있었네요...감사합니다 도움이 돼었어요...ㅎㅎ
이명철 (2007-12-01 13:33:36)
다음 내용도 올려주세요!
박근세 (2008-02-15 17:55:30)
통계를 공부하는데 유용한 자료 입니다
이시우 (2009-12-28 14:01:25)
본문에 오타가 있는 것 같습니다.
에서 마지막 1004 국번에서도 300명에게 전화해서 물어봐야겠지요 ^^
에서 "조사기간"이 아니라 "조사기관"이 아닐까요?
바로 다음 문장이 이라고 나오기 때문입니다.
내용 잘 읽었습니다.
이시우 (2009-12-28 14:02:12)
그리고, 마지막에
라고 하셨는데...이 내용은 어디에 있는지요???
기존 StatEdu 통계이야기 글을 통계컬럼으로 이전했습니다. 원문: http://www.statedu.com/lec_iyagi/1407
댓글
로그인 후 댓글을 남길 수 있습니다.