[서평] 강흥수가 쓴 <여론조사, 과학인가 예술인가?>
오늘날 한국사회에서 여론조사는 국민들의 생각을 드러내는 과학적인 방식으로 널리 활용되고 있다. 저자의 말처럼 "사흘이 멀다하고 자주 접하는 것이 언론사의 여론조사 보도고 선거철이면 하루가 멀다 할 지경이" 되곤 한다.
실제로 여론조사는 이제 우리 정치에서 누구도 부인하기 어려울 만큼 확고한 위상을 차지하게 되었다. 아프가니스탄 파병은 어떻게 생각하는지? 4대강 공사는 어떻게 생각하는지? 언론관계법 개정은 어떻게 생각하는지? 혹은 세종시 수정은 찬성하는지, 반대하는지와 같은 중요한 사항은 늘 여론조사라는 방식으로 국민들의 생각이 '확인'되는 것이다.
여론조사의 결과를 신뢰할 수 없다는 적지 않은 문제제기가 있어도 오히려 많은 경우 여론조사 결과는 마치 국민들의 뜻을 정확히 반영한 것처럼 인정받곤 한다. 말하자면 여론조사는 지극히 과학적인 방법을 통원하여 국민전체의 뜻을 정확하게 읽어내고 있다는 신뢰(?)를 얻고 있는 것이다.
특히, 언론사를 통해서 보도되는 여론조사 결과는 여론조사에 대한 신뢰뿐만 아니라 언론이라고 하는 매체가 가진 영향력으로 인하여 객관적인 사실을 정확히 반영하는 것으로 간주되기도 한다. 여론조사가 과학이라는 신화 때문에 여러 가지 중요한 의사결정이 여론조사 결과를 바탕으로 결정되기도 한다.
여론조사가 결정한 가장 극적인 결과는 바로 2002년 당시 노무현 후보와 정몽준 후보의 대선후보 단일화 조사 결과였을 것이다. 선거 막판 정몽준 후보의 노무현 후보 지지 철회 선언이라는 돌출 상황이 벌어졌지만, 결과적 노무현 후보는 정몽준 후보와 대선후보 단일화 여론조사에서 승리하였기 때문에 대통령에 당선될 수 있는 발판을 마련한 것이다.
가장 극적인 여론조사 노무현-정몽준 후보단일화
그러나 <여론조사, 과학인가 예술인가?>를 쓴 강흥수는 전문 설문조사기관이 질문 문구, 질문 순서, 재 질문 방식 등 설문지 구성이 일치하도록 매우 높은 수준으로 통제한 설문조사인데도 불구하고 두 회사가 내놓은 결과는 표본오차를 뛰어넘는 차이로 나타났다는 사실을 강조하고 있다.
"리서치앤리서치 노무현 46.8% 대 정몽준 42.2%, 월드리서치 노무현 38.8% 대 정몽준 37.0%....... 두 회사가 내놓은 결과는 표본오차를 뛰어넘는 차이(두 조사 간 노무현 후보의 지지도 격차는 8%P)를 나타냈다." (본문 중에서)
사람들은 보통 두 회사의 여론조사에서 모두 노무현 후보가 앞섰다는 사실에만 주목하였지만, 저자는 두 회사가 동일한 설문지를 사용하였으면서도 조사결과에서 아주 큰 차이가 있었다는 사실에 주목하고 있다. 사람들은 흔히 설문조사 결과가 다르게 나타나면, 질문이 다르기 때문에 결과가 다르게 나타난다고 믿는다.
그러나, 저자는 여론조사 결과에 설문지 차이보다 더 큰 영향을 주는 것이 바로 조사응답자 선정, 곧 표본추출과 관련된 방법상의 부실이라고 주장한다. 강흥수는 <여론조사, 과학인가 예술인가?>를 통해 여론조사 결과의 신뢰성에 대한 문제를 집중적으로 제기한다.
현재 우리나라 여론조사가 '예술'의 수준에 머무르고 있다고 하는 수많은 증거들을 보여준다. 그는 이 책에서 표본추출과 관련하여 발생하는 오류와 표본추출과 무관하게 발생하는 오류로 나누어 여러가지 증거를 제시하고 있다. 여론조사를 예술로 만드는 오류 중에서 먼저 표본추출과 관련한 중요한 문제를 소개해보면 다음과 같다.
국민 60%만 표집틀로 삼는 전화여론조사의 한계
첫째, 표집틀의 문제이다. 우리나라 여론조사에서는 전화번호부가 가장 광범위하게 사용되는 표집틀이라고 한다. 전화 여론조사는 한국통신과 하나로 통신 인명 전화번호부를 표집틀로 삼는데, 가장 광범위하게 사용하는 전화번호부조차도 이미 모집단 대표성이 심각하게 왜곡되어 있다는 지적이다.
"고려대 허명회 교수는 현재 우리나라 총 가구 중 전화번호부에 등재된 가구는 57.2%에 그치는 데다, 유선전화 없이 휴대폰만 사용하는 1인 가구가 늘어나는 추세라는 점을 지적하면 표집틀의 신뢰성에 우려를 제기한다." (본문 중에서)
저자는 40%를 상회하는 가구가 여론조사의 대상에서 원천적으로 배제되고 있다는 사실을 결코 가볍게 넘겨서는 안 된다고 말한다.
둘째, 표본선정의 문제를 지적한다. 여론조사의 신뢰도를 높이기 위해서는 무작위 확률표집이 이루어져야 하는데 우리나라에서 이루어지는 대부분의 여론조사는 확률표집이 이루어지지 않고 있다는 것. 대부분 우리나라 전화 조사는 전화 받는 사람을 대상하기 때문에 응답자 전체에서 주부 비율이 높고 재전화를 하지 않기 때문에 무응답율도 지나치게 높다고 한다.
과학적인 여론조사를 위해서 고안된 여러 가지 무작위 응답자 선정 방식이 있지만, 이 경우 여러 차례 전화를 반복해야 하므로 표본수 1000명 정도의 조사에 통상 3~4일, 길게는 일주일가량이 소요된다고 한다. 그러나, 대부분 하루 만에 이루어지는 국내 전화조사는 과학적인 조사 방법들이 생략된 채 이루어지고 있다고 지적한다.
셋째, 응답률 문제이다. 응답률이 낮으면 표본의 무작위 선정이라는 원칙이 흔들리기 때문이다. 응답률이 낮을수록 조사에 참여한 사람들과 거절한 사람들 사이에 인구통계학적 특성이나 심리적 측면 등 여러 측면에서 차이가 날 수 있다.
응답률이 낮을수록 노령층, 여성, 저교육층을 과다 대표하는 경향이 있다고 한다. 외국에서는 여론조사의 신뢰와 응답률을 높이기 위해 비용과 노력을 기울인다고 한다. 그러나, 우리나라의 경우 거절률을 포함한 전체 무응답 비율이 80~85%에 이르고 있다는 것이다. 즉 전화 조사 응답비율은 15~20%밖에 안 된다.
최악의 여론조사 도구, ARS 조사
이런 상황은 ARS 여론조사에서 더욱 심각한 상황으로 나타나고 있다고 한다. 2004년 총선에서 100개 이상의 여론조사를 살펴본 저자는 마지막 문항까지 다 응답한 사람의 비율이 고작 6%였다고 한다. 또한 2007년 대통령 선거를 앞두고 이루어진 여론조사 결과는 더욱 참혹하다.
"CBS 보도에 따르면 그 조사의 응답자 수는 670명, 총 통화 시도수는 1만 3954였다. 응답률은 670/1,3954, 즉 4.8%에 머물렀다.......단순하게 해석하면 5%는 100명 가운데 95명이 하지 않는 짓을 하는 사람들이다.......표본의 대표성에 문제가 있을 가능성이 높다는 말이다." (본문 중에서)
따라서 응답률이 5%라고 하는 것은 선거철에 규모가 작은 선거구를 대상으로 하는 여론조사에서는 500표본을 얻기 위해서는 대략 1만개, 1000개 표본을 얻기 위해서는 2만 개정도의 전화번호에 전화를 걸어야 한다는 것이다. 결국, 전화를 받는 사람이 조사에 참여하겠다는 의지만 있으면 표본이 될 수 있는 상황이라는 것이다.
결국 조사대상 지역이 좁고, 선거구 규모가 작을수록 엉터리 조사가 될 가능성은 더 높은 것이다. 따라서 ARS 조사는 여론조사를 빙자한 홍보에서 더 진가를 발휘하게 된다는 것이다. 실제로 많은 후보자들이 ARS조사를 교묘하게 이용하여 자신을 알리는데 활용하고 있는것이 현실이다.
넷째, 표본오차의 문제이다. 표본오차는 표본으로 모집단을 대표하려는 시도에서 필연적인 오류라고 한다. 철저하게 확률표집의 원리를 살려 표본을 선정하더라도 모집단과 완벽하게 일치하지 않는 오류가 생긴다는 것이다.
표본오차가 제대로 반영되지 않는 경우는 쉽게 볼 수 있다고 한다. 대선 후보 사이에 5%P정도 차이만 나도 언론은 상당히 앞선 후보가 상당히 우세한 것으로 보도하지만, 표본오차를 감안하면 지지도의 차이는 없다고 보아야 한다. 1000명 표본조사에서 후보자간 지지도 격차가 6.2%P를 넘지 않으면 두 후보간 지지도 격차는 통계적으로 의미가 없다는 것이다.
표본오차 개념 적용할 수 없는 엉터리 여론조사가 대부분
또한, 1000명 표본 조사에서 지역, 연령, 직업, 종교별로 나오는 세부적인 지지도 역시 하위 표본수가 전체 표본수보다 훨씬 작기 때문에 1000명 조사의 표본오차를 적용하는 것은 엉터리가 된다는 주장이다.
더 중요한 것은 국내에서 주로 이루어지는 전화 여론조사는 대부분 확률표집이라는 중요한 원칙을 지키지 않기 때문에 표본오차 개념을 사용하는 것조차 불가능하다는 것이 저자의 주장이다. 즉, 확률표집의 원칙을 지키지 않은 조사에서 "95% 신뢰수준에서 최대 허용 표본오차는 ±3.1%P"라고 하는 것은 아무 의미가 없다는 것.
"여론조사가 처한 현실의 문제를 간단히 요약해보면, 부실한 표집틀이란 문제로부터 완전히 자유롭지 못하고, 응답자 선정에서 원칙과 비용 간 타협은 업무관행으로 뿌리를 내렸으며, 낮은 응답률은 우려할 만한 수준을 뛰어넘어 모집단 대표성을 위협하는 지경이고, 표본오차 개념은 오용되거나 무시되기 일쑤이다." (본문 중에서)
수 많은 선거여론조사, 출구조사가 실제 개표결과 엉터리로 밝혀지는 것은 바로 여론조사과정에서 이런 중요한 원칙들이 지켜지지 않기 때문에 빚어진 당연한 결과일 수 있다는 지적이다.
한편, 이상에서 소개한 표본추출 오류가 완벽하게 통제된다고 가정하면 여론조사에 더 이상 오류는 없을까? 문제는 그렇지 않다는 것이다. 여론조사 기법을 모두 적용하여도 여론조사에서는 여러 가지 비표본추출 오류가 일어날 수 있다고 한다.
문장 한 줄, 단어 하나에 달라지는 여론조사 결과
그것은 우리가 흔히 알고 있는 설문지 관련 오류, 응답자 관련 오류, 조사원의 문제나 조사설계의 문제와 같은 오류 요인이 남아있다는 것이다. 강흥수가 쓴 <설문조사, 과학인가 예술인가?>에는 이러한 설문지 관련 오류, 응답자 관련 오류에 대하여도 생생한 사례를 풍부하게 소개하고 있다.
질문지 속에 포함된 단어하나, 응답 문구의 순서, 상대적인 용어 사용, 유도성 질문, 그리고 응답자의 태도 등에 따라서 달라지는 여론조사 결과를 여러 가지 사례를 들어서 한 눈에 보여준다.
저자는 여론조사의 유의미성을 부정하진 않지만, 현재 이루어지는 여론조사는 과학보다는 예술에 더 가깝다고 한다. 그는 여론조사는 가장 완벽하게 수행되었을 때도 과학이 아니라 '엄밀하지 못한 과학'에 해당된다는 것이다.
특히 그는 여론조사가 지나치게 권위 있는 과학적 결과로 평가되는 것에 대하여 주의를 촉구하고 있다. 여론조사가 정치 전반에 영향력을 확대하고 후보자 공천에 필수적인 자료가 되면, 박빙의 승부처에서 여론조사로 후보가 결정되는 상황은 난센스에 가까운 일이라는 주장이다.
"여론조사에 공천권을 위임하는 것은 이론적으로 공천자를 그냥 제비뽑기로 정하는 것과 별로 다를 바가 없다. 예비후보들은 여론조사를 실시하기 전에 표본오차를 무시하고 단 0.1%라도 더 나온 사람을 후보로 뽑는다는 약속에 동의하는 경우도 있다고 한다. 그러려면 그냥 주사위를 던져 후보를 정하지 뭐 하러 돈 들여 여론조사를 하는지 모를 일이다." (본문 중에서)
이 책을 읽고 나서 여론조사에 의한 공천 결정이 제비뽑기보다 못하다는 저자의 주장에 전적으로 공감하지 않을 수 없었다. 그는, 여론조사의 유통자인 언론이 보도에 앞서서 반드시 여론조사의 원칙이 제대로 적용되었는지 신중하게 살펴달라고 당부하고 있다. 아울러 여론조사 소비자인 시민(유권자)들에게도 언론을 통해 보도되는 여론조사 결과를 받아들일 때, 여론조사의 기본 원칙이 지켜졌는지 충분히 따져보기를 권유하고 있다.
저자가 이 책을 쓴 것도 바로 이런 이유 때문이었다고 한다. 그는, 과학이라는 가면을 쓴 여론조사의 뒷모습을 적나라하게 보여줌으로써 예술에 가까운 여론조사가 과학에 더 가까워지는 계기가 될 수 있을 것이라는 기대를 버리지 않는다.
