이는 취약계층 학생들에게 배움의 길이 열렸다는 신호였다. 취약계층의 대학 지원자들이 증가 당연히 전체 SAT 평균 점수는 떨어졌다. 그런데 SNL의 통계학자들은 SAT 응시자들 소득 수준에 따라나누어 평균 점수를 계산해 보았다. 그러자 빈공층에서 부유층까지모든 소득 계층에서 점수가 상승했다는 결과가 나왔다.
통계학에선 이 같은 현상을 ‘심슨의 역설simpson‘s Paradox‘ 이라고 부른다. 이는 하나의 추세를 나타내는 전체 데이터를 하위 그룹으로 나누면 각각의 하위 그룹에서는 전체와 정반대되는 추세가 나타나는 현상을 일컫는다. 결국 전국적인 교사 평가 운동을 촉발시킨 <위기의 국가> 보고서의 비관적인 결론은, 데이터를 심각하게 잘못 해석한 결과에서 비롯됐던 것이다. - P230
달리 말하면 점수 모형의 개발자들은 "당신은 과거에 어떻게 행동했을까?"라는 질문이 이상적인 상황에서 엉뚱하게도 "당신 같은 사람들은 과거에 어떻게 행동했을까?"라는 질문을 던진다. 이 두 질문의 차이는 엄청나다. 평범한 이민자 가정에서 태어났지만 야망이크고 책임감 있는 사람이 창업 자금을 빌리기 위해 은행 문을 두드린다고 가정해보자. 만약 그가 점수 같은 시스템에 의존해야 한다면 어떻게 될까? 그에게 누가 투자하겠는가? 잘은 몰라도, 그가 속한 인구집단과 그들의 행동에 관한 데이터를 이용하도록 고안된 모형을 적용하는 집단은 아닐 것이다. - P245
자동화된 시스템이 스스로 이 같은 문제를 해결할 거라고 기대하기는 어렵다. 그 모든 놀라운 능력에도 불구하고 기계들은 공정성을 제고하기 위해 그 무엇도 조정할 수 없다. 최소한 기계 스스로는 그렇게 할 수 없다. 데이터를 샅샅이 조사하고 무엇이 공정한지 판단하는 것은 기계로선 절대적으로 불가능한 영역이며 지독히도 복잡한일이다. 오직 인간만이 시스템에 공정성을 주입할 수 있다. - P259
|