자동화된 불평등

자동화된 불평등 - 첨단 기술은 어떻게 가난한 사람들을 분석하고, 감시하고, 처벌하는가
버지니아 유뱅크스 지음, 김영선 옮김, 홍기빈 / 북트리거 / 2018년 12월

예정됐기 때문에 만들어지는 미래

 2002년 개봉한 스티븐 스필버그 감독의 영화 <마이너리티 리포트>에서 당신이 만약 살인을 하려한다면, 살인직전 체포되어 감옥에 수감된다. 범죄예방수사국에 의해 예방되지 않는다면 ‘예정된 살인이 일어나기’ 때문이다. 영화의 배경은 2054년의 워싱턴이다. 영화에서는 최소한 살인이 임박했을 때 예언자에 의해 예고된다. 그런데 지금 미국 일부 지역에서는 영화보다 더 영화같은 일들이 벌어지고 있다. 

 미국에서는 1974년부터 아동학대방지및처리법에 따라, 아동 학대와 방치를 예방하고, 조사하고, 기소할 수 있다. 효율적으로 아동학대를 예방하기 위해 캘리포니아주의 앨러게니 카운티에서는 통계모형 AFST를 도입했다. AFST는 앨러게니 가정 선별 도구의 약자로, 이 자동화된 전산시스템을 통해 각 가정을 20개 등급으로 나눠 아동학대 발생률이 높은 가정을 주시한다. 지역의 의료진들, 심리상담사들은 위험해보이는 아동의 발견시 신고가 의무적이다. 주변 이웃들도 어떤 아이가 위험에 처한 것처럼 보인다면 익명으로 신고할 수 있다. 부모가 아동을 학대하거나 학대위험발생률이 높게 예상된다면 기관은 아이를 부모에게서 분리해 안전한 가정에 위탁한다. 아동학대는 한 사람의 인생에 회복할 수 없는 상처를 남기기 때문에 이 시스템은 합리적이며 정의로워 보이기까지 한다.

 문제는 이 아동학대라는 개념의 범위와 판단이다. 위의 법에서는 “아이의 건강 또는 복지가 손상되거나 위협받고 있음이 드러나는 상황에서 그 아동의 복지에 책임이 있는 사람에 의한, 아동에 대한 신체적 또는 정신적 위해, 성적 학대, 치료 태만, 또는 가혹 행위.” 이 모두를 아동학대라고 말한다. 실제 조사된 아동학대의 대부분은 신체적 학대나 정서적 학대보다는 방치이다. 여기에는 음식을 충분히 주지 않거나, 위생적인 집을 제공하지 않거나, 아플 때 병원에 데려가지 않거나, 일하느라 아이를 혼자 두는 것이 포함된다. 만약 당신이 이혼하고 혼자 아이를 양육한다고 가정하자. 돈을 벌기 위해 직장에서 일을 하는 동안 아이가 학원에서 돌아와 혼자 동네에서 놀고 있는 걸 이웃들이 발견하고 신고한다면 아동학대가 된다. 집에 돌아와 밀린 빨래를 돌려놓고 설거지를 하고, 아이가 먹을 김치찌개를 끓이는 동안 아이가 마당에 나가있는 경우도 마찬가지다.

 만약 당신이 흑인이라면 아마 이웃의 백인들은 더 열심히 신고할 것이다. 한 번 신고가 접수되면 기관에서 조사를 하러 나오고, 조사에 협조적이지 않으면 그 자체로 등급의 위험도가 올라간다. 기관에서 조사나온 사람들이 현관에 있는 걸 본 이웃들은 그 집을 더 주시한다. 이 나쁜 되먹임의 모든 기록들은 자동화된 전산시스템에 저장되고, 삭제되지 않는다. 심지어 나의 아이에게도 기록이 남는다. 나의 아이가 자라 꾸린 가정에 대해 위와 같은 신고가 접수된다면, 같은 신고를 당한 기존 기록이 없는 가정보다 높은 위험등급이 매겨진다. 아이가 성인이 되어 부모가 되기 전부터 낙인이 찍히는 것이다. 과장하면 아이가 태어날 때부터 아동학대예정자라는 낙인을 사회에서 받는 것이다.

 AFST는 통계모형이기 때문에 사람이 만든 알고리즘에 의해 작동하고, 사람의 편견으로 입력된 데이터를 학습해 시스템을 점점 완벽하게 만든다. 이 자동화된 전산시스템은 쉬지 않고 아동학대를 일으킬 확률이 높은 가정을 추적한다. 작은 실수라도 포착되면 자동화된 나쁜 되먹임의 과정을 거쳐 사회적으로 아동학대범으로 만들어진다. 썩은 사과를 찾으려던 스크리닝 시스템은 기계에 대한 사람들의 믿음으로 썩은 통으로 변신한다. 영화의 마지막 장면에서 예정된 살인을 앞두고 주인공은 자기를 죽이려는 살인예정자에게 말한다. ‘당신은 미래를 알고있으니 미래를 선택할 수 있소.’ 자동화된 불평등한 미래를 안다면 우리는 다른 미래를 선택할 수 있다.