대량살상수학무기

대량살상수학무기 - 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가
캐시 오닐 지음, 김정혜 옮김 / 흐름출판 / 2017년 9월

국정원 댓글 사건이 왜 중요할까요?

정치에 무관심했던 사람들조차도 최근 속속 밝혀지고 있는 내막을 보면서 경악하고 있습니다.

다소 뜬금없지만 이 책이 많은 것들을 설명해주고 있습니다.

<대량살상 수학무기>라는 어마어마한 제목 만큼이나 매우 중요한 내용을 담고 있습니다.

바로 경고 메시지!

이 책은 수학과 데이터, IT 기술의 결합으로 탄생한 빅데이터 모형이 어떻게 불평등을 확산하고 민주주의를 위협하고 있는지를 낱낱이 보여줍니다.

우선 대량살상수학무기(Weapons of Math Destruction)라는 용어부터 설명해야겠네요. 줄여서 WMD란 이름을 붙였으며, 책에서는 일괄적으로 WMD로 표현합니다.
WMD는 수학과 데이터, IT기술의 결합으로 만들어졌으며, 빅데이터로 대표되는 수학적 알고리즘인데, 실제로 사법, 교육, 노동, 보험 등 다양한 영역에서 그 영향력이 확대되면서 그만큼 피해가 확산되고 있습니다. 실체가 보이지 않기 때문에 그 위험을 체감하기는 어렵지만 이 책을 통해서 구체적인 폐해들을 확인할 수 있습니다.

빅데이터라는 말은 최근 등장했지만 이미 우리 사회에서 널리 사용되고 있습니다. WMD는 빅데이터의 모형으로, 대규모 데이터를 처리하도록 특화되어 있어서 효율성을 중시합니다. 무엇보다도 놀라운 확장성 때문에 우리도 모르는 사이에 우리 삶 대부분의 영역에 침투하여 비밀스러운 지배의 손길을 뻗치고 있습니다.

예를 들어 매스매티카의 평가 시스템이 와이사키와 205명의 교사들을 무능하게 평가하여, 워싱턴 교육 당국은 그들 모두를 해고했습니다. 이 평가 시스템의 결정이 옳은지에 대한 피드백은 전혀 없습니다. 오직 가치부가모형에 따른 성과만으로 유능한 교사들을 한순간에 나쁜 교사로 만든 것입니다. 또한 입사 지원자들을 심사할 때 신용평가점수를 참고하는 고용주들이 증가하면서, 실제로 책임감과 능력은 있으나 신용평가점수가 낮은 사람은 일자리를 구하기 어려워집니다. 문제는 당사자가 WMD의 피해자인 줄 모른다는 겁니다.

미국 이류 시사 주간지 <유에스 뉴스>는 1988년 처음으로 데이터를 기반으로 한 대학순위를 발표합니다. 매우 합리적으로 보이지만 순위가 전국적인 표준으로 확장되면서 부정적인 피드백 루프가 활성화되기 시작합니다. 낮은 순위를 받은 대학은 평판이 손상되고 전반적인 여건이 악화됩니다. 그러니 해당 대학의 총장들은 이류 시사 주간지가 독단적으로 정의한 15가지 항목에 맞춰 좋은 점수를 받으려고 애쓰게 되고, 편법적인 조작이 벌어지게 됩니다. 그 결과 학생들은 WMD를 충족시키도록 훈련되고, 등록금은 천정부지로 치솟게 됩니다. 모든 순위 시스템은 항상 조작될 여지가 있습니다. 피해자는 귀중한 내부 정보를 얻기 위해 수천 달러를 지출할 여력이 없는 빈곤층과 중산층 가정입니다. 이제는 교육 시스템 자체가 가난한 학생을 차별하고, 그들 대부분을 가난으로 몰고가면서 사회의 극심한 양극화를 불러옵니다.

구글 광고 또한, 절박한 사람들을 찾아내 표적공략하는 약탈적 광고이며 전형적인 WMD입니다. 광고에 표적이 된 사람들은 자신이 어떻게 속고 있는지도 모르는 상태에서 피해자가 됩니다.

빅데이터 스타트업 프레드폴이 개발한 범죄 예측 프로그램은 예산에 쪼들리는 미국 전역 경찰서에서 크게 환영받으며 활용됩니다. 문제는 강력 범죄와의 전쟁을 해야 할 경찰들이 범죄예측모형을 통해 경범죄자들을 주로 색출하면서 빈곤층을 조준합니다. 프레드폴 지도에서 빈민가는 범죄 다발 구역으로 표시되며, 빈곤을 범죄로 취급하게 됩니다.

미국 뉴스에 종종 인종차별적인 불심검문 때문에 다치거나 죽는 사건이 보도됩니다. 불심검문은 WMD의 속성이 있어서 유해한 피드백 고리를 활성화시킵니다.

WMD를 살펴보면 공정성과 효과성 사이에서 효과성을 선호하는 걸 알 수 있습니다. WMD는 본질적으로 측정되고 셀 수 있는 데이터에 기반을 두기 때문에 코드화하기 어려운 공정성은 배제됩니다. 가까운 미래에는 방대한 양의 행동 데이터가 인공지능 시스템에 입력되면서 정부 혹은 기업들이 개인 정보를 침해할 가능성이 큽니다. 개인을 존중받아야 할 인간으로 보는 것이 아니라 평가하고 분류해야 할 데이터로 보는 것. WMD의 세상에서는 오직 부자들만이 프라이버시를 지킬 수 있습니다.

WMD의 표적이 된 시민들은 가짜 뉴스를 보며 정치 시스템에 조종당할 수 있습니다. 그것은 민주주의를 위협하는 심각한 사태를 초래하게 됩니다.

그렇다면 WMD의 위험으로부터 우리를 지킬 수 있는 방법은 무엇일까요?  저자는 도덕적 상상력이 필요하다고 말합니다. 더 나은 가치를 알고리즘에 포함시키고, 윤리적 지표를 따르는 빅데이터 모형을 창조하기 위해서는 이익보다 공정성을 우선시해야 합니다. 현재 유해한 WMD를 제거하려면 유일한 해결책은 불공정한 시스템 자체를 폐기하는 것입니다. 그리고 법률이 변해야 합니다. 모형의 성공 여부를 측정하는 현행 기준을 반드시 재평가해야 할 수 있는 규제 시스템이 마련되어야 합니다.

가장 중요한 건 우리 모두가 WMD의 본질을 이해하고 그것을 제어하기 위해 나서야 한다는 것입니다. 민주주의는 스스로 지켜내지 않으면 안된다는 사실을, 이 책을 통해 다시금 확인한 것 같습니다.