증거의 오류

증거의 오류 - 데이터, 증거, 이론의 구조를 파헤친 사회학 거장의 탐구 보고서
하워드 S. 베커 지음, 서정아 옮김 / 책세상 / 2020년 2월

숫자는 싫어해도, 이상하게 데이터에는 관심이 많다. 요즘 빅데이터 시대라고 많이들 하는데, 데이터를 분석해 무언가의 흐름을 읽는 일은 참 매력적인 것 같다. 나는 개인적으로 데이터와는 거리가 먼 상담을 하고 있지만 아이러니하게도 상담 안에서도 데이터가 매우 중요하다.

데이터를 수집할 때는 대체로 연구를 많이 한다. 응답자가 어떤 질문에 대답을 해야 하는데, 그 대답에는 대체로 선택지가 있다. 그 선택지를 잘 설정하는 것이 분석하는데 큰 도움이 된다. 책에서는 선택 가능한 범위를 설정하여 선택지를 제시하는 것이 명확하다고 말한다. 데이터가 명확할수록 당연히 분석은 정확하겠지.

[우리가 오랫동안 격은 문제와 앞으로 겪을 문제] 라는 주제에 대해서 저자가 써 놓은 글이 인상적이다. 종교, 결혼여부를 예로 들고 있지만 그 외에도 많을 것 같다. 종교는 우리가 생각하는 불교, 기독교, 천주교 이외에 여러가지가 있다. 천주교는 의외로 간단하다고 말한다. 가톨릭교회에서 영세를 받은 사람은 누구나 천주교라고 말할 수 있다고 한다. 가장 복장한 건 유대교다. 유대교 안에도 여러가지가 있고, 유대교 안에도 사상이나 생각이 다 다르기 때문에 종교라는 카테고리 안에서 응답자를 나누기는 쉽지 않다는 것이다. 결혼도 마찬가지다. 우리는 기혼, 미혼 이외의 여러 형태의 결혼을 가지고 있기 때문이다.

책에 나오는 연구들은 매우 흥미롭다. 주제에 따른 데이터를 어떻게 활용했는지에 따라서 혹은 분석했는지에 따라서 결과가 다르다. 이렇게 분석해도, 저렇게 분석해도 결과는 나온다. 원하는 정답이 있다면 그 정답대로 분석도 가능하다는 뜻이다. 요즘 보면 하나의 자료를 가지고 도출해내는 결과가 달라 보는 사람으로 하여금 헷갈리게 만드는 경우가 많다. 저자가 말하는 증거의 오류다.

데이터 관리를 한 적이 있다. 여러 사람이 하나의 시스템에 정보를 넣으면 그것을 토대로 1차적으로는 실적을 뽑아내고 2차적으로는 분석을 하고, 3차적으로는 내년의 계획을 세우는 일이었다. 가장 중요한 건 여러 사람이 같은 기준을 가지고 시스템에 정보를 넣는 것이다. 그리고 빈 곳이 없도록 충실히 정보를 넣는 것이다. 그래야 유의미한 데이터가 나오고 유의미한 분석이 가능하다. 그래서 어떻게 정보를 넣을 것인지에 대한 교육과 매뉴얼이 중요하다.

이 책은 데이터에 관심이 있는 사람, 실제로 연구를 하거나 논문을 쓰는 사람에게 유용할 것 같다. 그리고 어떤 이유에서든 본인에게 유리하게 분석을 해서 내놓는 기자나 연구원들도 반성하는 차원에서 읽어보면 좋겠다. 데이터에 속지 말아야 하는 건 우리기 때문에 우리도 반드시 읽으면 좋겠다.