관련근거의 함정

증거의 오류 - 데이터, 증거, 이론의 구조를 파헤친 사회학 거장의 탐구 보고서
하워드 S. 베커 지음, 서정아 옮김 / 책세상 / 2020년 2월

근거 : 어떤 일이나 의견의 근본 / 증거 : 어떤 사실을 증명할 수 있는 근거

회사에서 작성하는 보고서에는 '관련 근거'라는 필수 항목이 있다. 통계 데이터 형태를 띄는 근거는 보통 주장에 대한 설득력과 신뢰도를 높인다. 이런 상황은 간혹 근거가 없다면 개인의 생각이 아이디어나 신산업의 계기가 될 수 없다고 여기는 것 같아 안타까울 때도 있다. 그렇다면 통계 형태로 등장하는 각종 근거들은 모두 믿을 수 있는 것인가? <증거의 오류>의 저자 하워드 S.베커는 이 물음으로 책을 시작한다.

데이터 생산자들은 수입을 극대화하거나 그 수입을 얻는 데 들어가는 시간과 노력을 최소화하는 것을 업무의 일부로 삼기도 한다. 그들의 행위가 조직의 목표를 앞당길 때도 있지만 어떤 경우에는 자신들의 사리사욕을 추구하는 데 이용되기도 한다. (p.225)

저자는 증거의 오류 원인을 '누가 데이터를 수집하는가'에 초점을 맞추며 그 예로 공무원들, 비과학자 등의 증거 수집을 든다. 세부적으로는 <5장. 공무원들이 증거로 수집하는 데이터>에서 법의관의 판정을 예로 든다. 법의관은 사망을 사고, 자연사, 자살, 타살 네 분류로 구분한다. 자살로 의심되는 타살은 없을까? 자살과 타살의 증거가 모두 존재할 때 과연 법의관은 어떤 결론을 내릴까. 저자는 이런 상황에 대해 스테판 팀에르만스의 저작을 소환한다. 팀에르만스는 의심스러운 상황에서 사망할 때, 사망 원인을 밝혀내는 일을 하는 법의관에 대한 연구를 발표한 학자로, 그의 저작 문구 중에는 이런 말이있다.

자살로 분류하는 현상에는 분류 당사자의 기준과 업무 관행이 반영된다. (p.233)

즉, 수집절차, 증거해석, 이해당사자가 가하는 압력에 대한 반응이 판단에 영향을 미치며, 그 맥락이 자살과 타살 둘 중 하나로 가르는 기준이 된다는 것이다. 저자는 하나의 위험성을 추가로 경고한다. 법의관의 ‘판단’은 실제 사고의 가족과 공중 보건 관료들이 자신의 업무 영역에서 동의하지 않는다 하더라도, 전문가 관점에서 ‘자살’로 기록된 것은 ‘진짜 자살’이 된다는 것. 이것은 책에 등장하는 ‘업무관행이 만들어내는 판단의 오류’ 혹은 ‘사람에 의한 착오’의 넘쳐나는 사례 중 하나에 불과하다.

“싫어요. 내가 유죄라고 하면 그렇게 결정되는데 어떻게 그래요.” 작년에 개봉했던 한국영화 <배심원들>이 떠오른다. 영화는 사건의 원인과 결과가 ‘답’으로 정해진 재판이, 우리나라 최초의 ‘국민참여재판’으로 바뀌면서 벌어지는 헤프닝을 그린다. 여기서 정부가 국민을 재판에 끌어들인 이유는 명확했다. 정답이 있으므로 무리 없이 하나의 쇼를 마무리할 수 있을 것이라는 판단. 하지만 배심원들이 자꾸 의심하고 묻는다. 그리고 그 과정에서 사건의 진상이 밝혀지고 만다.

하워드가 지적한 법의관의 판단은 어쩌면 영화 속 ‘정해진 답’ 아니었을까. 또한 배심원들의 의심은 저자가 제기하는‘신뢰도에 대한 의심’과 맥락을 같이 한다고도 볼 수 있겠다. 책은 사회적 데이터의 오류 원인을 ‘원인을 입증할 수 없을 때 적용되는 미확인을 제외하는 범주(p.229)'라고 표현한다. 그 예로 경찰, 검찰, 판사를 드는데 그들은 ’갈등을 피하고 자신의 업무를 수월히 진행할 수 있는 방식으로 행위를 규정한다‘며 상황적 요소가 판단의 오류를 조장한다고 설명한다.

책은 총 2부로 구성되어있다. 1부에서는 연구모형과 데이터, 과학자들의 연구 방법을 통해 '상황'을 설명한다. 이런 상황은 2부에서 데이터 수집 주체의 판단, 수집과정의 오류 등으로 만들어지는 '문제점'을 얘기한다. 사회과학자는 사회 현상을 보며 아이디어를 얻고, 관찰, 연구하며 분석과 해석을 진행한다. 그 지난한 과정에는 언제나 '객관적 데이터'라는 것이 존재한다. 하지만 책은 객관적이란 것은 현실적으로 불가능하다고 말하고 싶은 듯 하다. 이런 측면에서 볼때, 신뢰성을 높인 다는 것은 단지 ’보다 그럴듯한 답을 찾는 과정‘ 아닐까.

사회과학적 데이터에 대한 분석을 담은 책 <증거의 오류>는 다소 난해하다. 단조로운 문체와 학문적 용어가 자주 등장하기 때문이다. 하지만 책의 가치는 명확하다. 무분별하고 자극적인 정보의 홍수 속에서 과연 우리가 보고 있는 데이터는 믿을 수 있는가? 혹 누군가의 조작과 일반화에 내가 속고 있는 것은 아닌가? 책을 읽고 나면 한 번쯤 의심하게된다. 이런 태도는 가짜 정보들 속에서 진주를 찾아내는 혜안을 키우는 첫걸음이 될 것이다. 더 나아가 회사와 사회가 원하는 ’관련근거‘의 본질에 다가갈 수 있는 계기가 될 것이다. '관련근거'와 '증거'로 머리를 쥐어뜯어본 경험이 있다면 한번쯤 읽어보자.