여론조사의 신뢰성이 갈수록 떨어지는 이유

이 글은 3년 전에 문재인과 안철수의 후보 단일화 협상 중단과 재협상 개시에 대한 서울발 로이터 통신의 뉴스를 출발점으로 해서 많은 분들이 궁금해하는 여론조사에 관한 내용입니다. 우리나라 여론조사(외국도 큰 차이가 없지만 우리보다는 전문적인 교육이 행해지고 투자도 많이 이루어진다는 면에서 우리보다는 양호하다)가 같은 조사기관이 했음에도 둘쭉날쭉하는 이유에 대해 최소한으로 다루었습니다.  

보수 진영의 후보인 박근혜 후보에 맞서 누가 더 경쟁력을 가지고 있느냐를 가리는 야권의 단일화 협상의 중단과 재개에 따른 일련의 과정에서 통 큰 양보를 한 문재인 후보의 지지율이 안철수 후보에 비해 15.3%나 높아졌다는 동아시아연구소(East Asia Institute)의 여론조사 결과를 보도한 내용입니다. 로이터 통신은 기사 내용 중 새누리당 박근혜 후보가 독재자(dictator) 박정희의 딸이라고 소개하고 있습니다. 

이것이 박정희 대통령에 대한 유럽인들의 일반적인 평가인데, 박정희 망령에 사로잡혀 있는 분들이 박근혜의 콘크리트지지층을 형성하고 있는 한국의 상황은 천양지차라 해도 단일화 협상이 잘 진행되면 야권이 승리할 것이란 안철수 후보의 말도 인용했습니다. 로이터 통신도 단일화 협상이 진흙탕 싸움으로 번지지 않고 멋지고 쿨한 결과를 산출해내면 승산이 높다는 결론을 내린 것입니다.

 

SEOUL (Reuters) - With a week until a deadline to finalize nominations for South Korea's December 19 presidential election, neither of two main opposition challengers appears willing to step aside, which will likely mean the conservatives retain the country's most powerful office.

Moon Jae-in, who has been nominated by the main left-of-centre opposition party, has held talks with independent Ahn Cheol-soo over a joint platform that could lead to a single candidate, but the talks have been bedeviled by infighting and leaks, with neither side appearing willing to give way.

"If I yield arbitrarily, it would be equivalent of breach of trust (for my party)" Moon said on Monday.

Speaking within minutes in the same building, Ahn declined to be drawn on whether the two sides could agree on a single candidate.

Opinion polls show that either Moon or Ahn would stand a chance of beating conservative Park Geun-hye in a straight fight. But a split vote see Park into the presidential palace.

Park is the daughter of dictator Park Chung-hee who ruled the country for 18 years until he was killed by an assassin. Park's mother was assassinated earlier, in an attack backed by North Korea.

Ahn told journalists on Monday Park could be defeated if the backers of both challengers joined forces.

"If we are able to get support from those people who support both camps, I am confident the likelihood of defeating candidate Park is very high," Ahn said.

"But if not, I expect there will be a very difficult battle."

Ahn, a software mogul turned academic and philanthropist, has promised a break from South Korea's confrontational party politics. But the man who once led in opinion polls has seen his ratings slide sharply.

A poll by the East Asia Institute showed Moon was 15.3 percentage points ahead of Ahn on the question of which one should be the sole opposition candidate.

Moon, a former human rights lawyer and confidant of ex-president Roh Moo-hyun, was elected to parliament for the first time in April. Ahn has never held political office.

Facing them is the 60-year old Park, a veteran politician from the conservative Saenuri party, which now holds the presidency and controls parliament.

(Reporting by Ju-min Park and David Chance; Editing by Robert Birsel) 

  

필자는 우리나라 대선 후보별 지지도 여론조사가 왜 이렇게 다르고 제각각인지 연구를 하고 있으며(3년이 지난 지금은 어느 정도 공부를 마친 상태입니다), 우리나라에 시청률조사기법을 도입한 친척 어른의 조언까지 들었습니다. 그 조언을 출발점으로 우리나라 여론조사의 문제점을 살피면, 다음과 같은 서양의 속담으로 출발할 수밖에 없습니다. 

 

Garbage in Garbage out. 쓰레기 자료만 넣으면 쓰레기 결과만 나온다.

 

 

우리나라 여론조사의 문제점은 여론을 알아보는 과정의 첫 관문부터 전문성을 결여했기 때문에 위의 속담처럼 제대로 된 여론조사 결과가 나오지 못하고 있습니다. 어느 한쪽에 일방적으로 유리한 문구 작성의 문제를 넘어 여론조사를 하는 상담원의 능력이 매우 떨어집니다(상담원 교육에 투자하지 않아서). 심지어는 비정규직 상담원조차 쓸 수 없어서 녹음으로 대체하고 있기 쓰레기 같은 자료만 수집할 수 있고, 그 결과는 당연히 쓰레기입니다.   

보다 전문적으로 여론조사에 대해 논하려면 가우스의 종형곡선에 나오는 중심극한정리, 모집단에서 임의표본집단을 추출하는 기초자료(row data), 이것을 통해 결정되는 조사문장, 토씨와 배열에 따라 달라지는 응답의 편차, 표집분포와 신뢰구간 대비 표준편차를 구하는데 사용되는 2표준편차법칙(2SD rule), 수집한 데이터의 결측변수나 무반응에 대한 해석, 팩터 별 응답률에 따른 신뢰도 높은 샘플링 구성, 상황에 따라 응답이 바뀌는 심리 상태와 환경, 날씨, 지역, 시대조류, 시간대, 유료전화와 핸드폰, 인터넷 사용자의 성향과 나이 및 성별 등등의 변수들을 고려하는 각종 소프트웨어의 추가 사용 등등.. 통계학과 심리학 및 행동학 등의 모든 지식이 총동원된 다양한 프로젝션 팩터를 적용해 신뢰도 높은 결과를 추출하는 프로세싱 과정의 전문성이 필요합니다.

 

TV에 부착된 기계로 측정하는 시청률 조사와는 달리 조사자나 녹음에 의한 여론조사는 위에서 언급한 것처럼 여러 가지 예기치 못한 변수가 발생합니다. 하지만 가장 중요한 것은 기초 자료를 만드는 조사자(대부분이 아르바이트생이다)의 능력과 경험에 여론조사의 신뢰도가 결정 나는 경우가 많다는 것입니다. 아무리 좋은 첨단 기법들이 투입되었다고 해도 여론조사를 할 때 응답자와 만나는 상담원이나 조사자의 능력이나 경험, 전문성과 책임감 등이 낮으면 여론조사의 핵심인 기초 자료가 부실해집니다.

 

 

조사자에게 주어지는 일당이 응답 건당으로 정산되는 경우가 많고, 그 비용도 높지 않으며, 전문적인 훈련도 받지 않은 채 주어진 메뉴얼에 따라 진행되는 여론조사가 그 질적인 면에서 한계가 있을 수밖에 없습니다. 최근에는 사전 녹음된 내용을 사용하기 때문에 응답률도 매우 낮아 조사로서의 의미도 갖지 못하고, 그에 따라 여론조사기관마다 커다란 편차가 발생하고 있습니다, 심지어는 같은 조사기관에서조차도. 

기초 자료의 부실함이란 그것을 통해 이루어진 여론조사가 제대로 나올 리가 없는 것처럼, 쓰레기 같은 기초 자료를 넣으면 쓰레기 같은 결과가 나오는 것은 모래 위에 성을 쌓는 것과 다를 것이 없습니다. 게다가 여론조사기관이 난립하다 보니까 조사자에게 주어지는 일당도 줄어들고, 여론조사를 의뢰하는 측에서 여론조사에 주는 금액도 떨어져 부실한 결과가 나올 가능성은 매우 높다고 봐야 합니다(여론조사 결과에 따라 논조가 바뀌는 JTBC의 가장 큰 문제).  

 

 

이런 여러 가지 문제들로 해서 이념적 편향성에 휘둘리는 여론조사기관도 속출하는 등 여론조사 자체의 신뢰도 추락의 주범으로 작용하고 있습니다. 지나친 경쟁에 따른 입찰가 하락이라는 일종의 제 살 깎아먹기(벤처기업들 사이에서도 이런 경우가 허다합니다)가 벌어지는 것입니다. 중앙일보의 김진 전 논설의원이 단일화를 폄하하며 말했던 것처럼, 표본수 대비 응답률이 낮다는 것만이 문제가 아닙니다. 낮은 응답률에서 신뢰성 있는 결과를 추출해내는 상담자와 조사자의 전문성 결여와 투자의 부족이 가장 큰 문제입니다. 

 

 

결국 여론조사는 조사자에 의해서 구축된 기초 자료가 부실하면 그 결과도 부실할 수밖에 없는 것은 지극히 상식적인 결과입니다. 이런 현실적 상황을 고려해 로이터 통신이 인용한 여론조사는 중립적인 동아시아연구소가 진행한 것이었고, 그 결과가 문재인 후보의 지지율이 안철수 후보보다 15.3% 높게 나온 것으로 추정됐습니다. 협상 중단을 선언한 안철수 후보와 그 진영의 입장에서 보면 결정적인 패착을 둔 것이라 할 수 있었습니다(그래서 이번에는 탈당의 효과를 극대화했다).  

 

 

우리나라 언론보다 외국 언론을 신봉하는 것은 아니지만 정파적 이해에서 보다 자유로운 로이터 통신의 뉴스에 눈길이 가는 것은 어쩔 수 없었나 봅니다. 결국 정치적으로 통 큰 양보를 한 문재인 후보에게 민심의 향배가 기울어졌던 모양입니다. 안철수 후보 진영도 이런 낌새를 눈치채 자신들에게 일방적으로 유리한 경선룰을 들고 나왔던 것이었고요. 이런 버릇이 또 한 번의 탈당으로 이어진 것은 습관성에 해당한다고 할 수 있습니다. 

 

 

물론 두 후보 간의 화학적 결합을 위해서는 로이터 통신의 보도는 그저 참고사항에 불과할 뿐이었습니다. 동아시아연구소의 여론조사가 결과보다 전체적인 추세를 보는 것이 중요하며, 그것을 제대로 읽어내는 쪽이 최종 승자가 되었을 것입니다. 물론 국정원과 군의 사이버사령부, 보훈처 등 국가기관을 총동원한 불법 및 부정선거가 자행돼 문재인 후보가 승리할 방법이 원천봉쇄 돼버렸고, 개표조작의 가능성이 매우 높아 의미없는 여론조사로 변질됐지만.  

 

 

최근에 연일 방송과 신문을 뒤덮고 있는 각종 여론조사 결과들이 어떤 내용을 담고 있어도, 이런 일련의 여론조사들이 단순한 참고사항일 뿐이라는 것은 다음과 같은 세 개의 문장이 분명하게 보여줍니다. 첫 번째 문장은 누가 한 말인지 생각이 나지는 않지만 매우 유명해 자주 인용되는 말이고, 두 번째 문장은 그것을 변형시킨 필자의 모방이자 표절이고, 세 번째 문장은 신자유주의자의 대부라는 사실 때문에 배척되기 일쑤인 월터 리프먼의 《여론》에 나오는 내용입니다.

 

 

“수학이 현실에 관해 발언할 때는 확실하지 않고, 확실한 언급일 때에는 현실에 관한 것이 아니다.”

“여론조사가 현실 정치에 관해 발언할 때는 확실하지 않고, 확실한 언급일 때에는 현실 정치에 관한 것이 아니다.”

“우연한 사실, 창조적 상상, 믿으려는 의지, 이 세 가지 요소에서 가짜 현실이 만들어지고 거기에 본능적으로 격렬히 반응한다. 왜냐하면 어떤 조건 아래 놓인 인간은 현실을 대하는 것과 마찬가지로 허구에 대해서도 강력하게 반응할 뿐만 아니라, 대부분의 경우에 그들은 스스로 반응하고 있는 그 허구의 창조를 돕고 있음이 뚜렷하기 때문이다.”

최근에는 없는 여론을 형성하기 위해, 정책집행 정당성을 높이기 위해, 국민의 판단을 흐리고 왜곡하고 조작하기 위해 여론조사가 진행되고 있습니다. 여론을 조사하는 것이 아니라 여론조사를 통해 여론을 조작하는 것이지요. 미국의 민주주의가 축소되는 과정을 장대하게 서술한 《다운사이징 데모크라시》를 보면 여론조사의 현실을 비판하는 내용이 다수 나옵니다. 10% 미만의 응답률이란 쓰레기에 불과하며, 그나마 의미를 부여할 수 있는 것은 중장기적인 추세 뿐입니다.

                                               

                                                                                                            사진 출처 : 구글이미지