-
-
대량살상수학무기 - 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가
캐시 오닐 지음, 김정혜 옮김 / 흐름출판 / 2017년 9월
평점 :
'대량살상 수학무기’의 저자는 정규직 교수직을 그만두고 헤지펀드의 금융분석가가 되었다. 수학적 능력으로 정당한 돈을 벌기 위해서였을 것이다. 그러나 막상 현장에 가보니 자신이 그토록 사랑했던 수학이 부당한 거래의 수단으로 오남용되는 것을 목격하게 된다.
신은 볼 수도 들을 수도 없는 존재라는 것을 악용하여 일부 나쁜 사제들이 마치 신을 본 것처럼 들은 것처럼 거짓말을 해도 착한 신도들은 속을 수밖에 없다. 마찬가지로 수학의 이해하기 어려운 속성을 악용하여 일부 나쁜 수학자들이 착한 시민들을 속인다. 그 대표적인 예가 복잡한 금융상품을 판매하여 소비자들에게 막대한 피해를 입히는 경우이다.
설령 좋은 의도로 수학을 사용한 사례가 있다고 가정해보자.예를 들면 교사 평가 시스템이다. 좋은 교사에게 높은 점수를 주고, 나쁜 교사에게 나쁜 점수를 주는 것이다. 그런데 교육에 있어 좋다는 것은 무엇일까? 아마도 사랑, 희망, 믿음 등이 아닐까? 하지만 이런 것들은 수학적으로 계량하기 힘든, 즉 숫자로 표현하기 어려운 영역이다.
따라서 수치화가 가능한, 즉 눈에 보이는 영역만을 평가의 기준으로 삼는다. 가령,학생의 시험성적이다. 그러나 학생성적은 교사평가의 참고가 될 수는 있겠으나 그것으로 인해 월급이나 고용이 좌지우지되면 안되는데 종국 그렇게 된다면, 선한 의도와 다르게 수학이 악용된 사례이다.
그렇다면 어떻게 해야 하는가? 첫째,수치화 할 수 있다고 비본질적인 영역만 평가하여 이를 맹신하는 관행을 없애야 한다. 둘째, 수학으로 평가하기 힘든, 눈에 안보이지만 본질적인 영역을 평가하려는 시도는 최대한 면밀히 실험하여, 발생하는 오류를 꼼꼼하게 교정해야 한다. 문제점이 충분히 잡힌 다음에 현실에 적용해야 한다.
이 일련의 과정에서 가장 중요하게 생각해야 하는 것은 수학자의 능력보다는 양심이다. 그리고 그 양심을 지키기 위해선 수학자 개인뿐만이 아니라 우리 사회 모든 이들이 함께 양심을 지키는 파수꾼이 되어야 한다.
<밑줄>
빅데이터 경제의 원동력인 수학 모형 프로그램들은 실수가 있을 수밖에 없는 인간의 선택에 기반을 둔다. 분명 이런 선택 중 일부는 선한 의도를 가지고 있다. 그러나 대다수 모형은 인간의 편견, 오해, 편향을 코드화했다.
수학 모형은 여러 가지 면에서 신을 닮았다. 신처럼 불투명해서 이해하기 힘들다. 각 영역의 최고 사제들, 즉 수학자와 컴퓨터 과학자들을 제외하고는 그 누구에게도 내부의 작동 방식을 보여주지 않는다. 그리고 신의 평결처럼, 잘못되거나 유해한 결정을 내릴지라도 반박하거나 수정해달라고 요구할 수 없다. 무엇보다 사회적 약자와 가난한 사람들을 차별하고 부자는 더
욱 부자로 만들어주는 경향이 있다. 나는 이런 유해한 모형들의 적절한 이름을 생각해 보았다. 바로 대량살상수학무기 Weapons of Math Destruction’, 줄여서 WMD다.
2007년 워싱턴 DC 시장으로 취임한 에이드리언 펜티는 관내 부실 학교들을 개혁하겠다고 강력하게 선언했다. 펜티는 워싱턴 교육감 자리를 신설하고, 교육 개혁가인 한국계 미국인 미셸 리를 그 막중한 자리에 앉혔다.
워싱턴 교육 당국은 학생들의 성적이 부진한 것이 교사들 탓이라고 결론 내렸다. 2009년 리 교육감은 무능한 교사들을 가려내기 위한 계획을 시행했다.
이 계획을 실천에 옮기기 위해 리 교육감은 ‘임팩트IMPACT’라는 교사 평가 기법을 개발했다. 임팩트의 평가에 따라 2009~2010년 학년 말에 워싱턴 교육청은 평가점수가 하위 2%에 해당하는 교사들을 무더기로 해고했다. 다음 학년 말에는 하위 5%인 206명의 교사들에게 해고를 통지했다.
워싱턴의 교사들은 수년에 걸쳐 일방적으로 통보받은 교사 평가 점수에 대해 불만을 표시하고, 평가 방식에 대한 상세한 정보를 공개하라고 요구했다. 그러나 평가 시스템이 수학적 알고리즘으로 구성되어 있어서, 설명하기가 매우 복잡하다는 대답만 돌아올 뿐이었다.
교사들은 학생들의 시험 성적이 나쁘면 자신들의 일자리가 위태로워진다는 것을 잘 알았다. 학생들이 우수한 성적을 거둘 경우, 교사와 행정관은 최대 8000달러의 상여금을 받을 수 있었다. 교사들이 낮은 고과 점수에 대한 두려움 때문이든, 아니면 탐욕에 눈이 멀어서든 학생들의 답안을 수정했다고 의심할 만한 합리적인 근거가 된다.
모형이란 원래 복잡한 현실을 단순화한 개념이기 때문이다. 실제로 세상의 모든 복잡성이나 인간 커뮤니케이션의 미묘한 차이를 완벽히 반영한 모형은 존재하지 않는다.
위싱턴 공립학교의 교사평가모형을 생각해보자. 가치부가모형은 학생들의 시험 성적을 토대로 교사들을 평가한다. 교사가 수업할 때 학생들의 참여를 얼마나 이끌어냈는지, 특정한 수업 기술을 얼마나 사용했는지, 교실을 얼마나 잘 관리했는지, 개인적인 문제나 가정 문제가 있는 학생들을 얼마나 많이 도와주었는지 같은 요소는 철저히 배제한다. 가치부가모형은 지나치게 단순하며, 효율성을 위해 정확성과 통찰을 희생한다.
당시 나는 헤지펀드가 도덕적으로 중립이라고 생각했다. 아무리 나쁘게 보아도 금융 시스템의 포식자 정도일 거라고 여겼다. 그랬기에 헤지펀드의 하버드로 불리는 디이 쇼에 선뜻 입사한 것이다. 그곳 사람들에게 내 지식으로 돈을 벌 수 있음을 증명할 기회가 생겼다는 것이 마냥 자랑스러웠다. 게다가 교수 연봉보다 세 배나 많은 돈을 받게 되어 개인적으로 금상첨화였다.
그러나 곧 금융 세상에 발을 담글 당시에는 내가 상상조차 하지 못한 일이 일어났다. 금융위기가 닥치면서 내가 믿었던 세상이 무너져 내린 것이다. 나는 온몸으로 그 과정을 혹독하게 겪여내면서 수학이 얼마나 음흉하고 파괴적일 수 있는지에 대해 교훈을 얻게 되었다.
사람들은 무언가를 명확히 정의하기보다는 강렬한 인상을 주기 위해 수학 공식들을 의도적으로 이용했다.
사립학교, 고액 SAT 과외, 파리나 상하이 어학연수 등 유리한 조건을 갖추고 교외의 부자 동네에 거주하는 젊은이는 금수저인데도 자신을 특권층으로 만들어 준 것이 자신의 능력, 근면함, 탁월한 문제 해결력이라고 자부한다. 이는 돈이 모든 의심을 잠재운 결과다. 게다가 이런 계층의 사람들이 똘똘 뭉쳐 서로 칭찬하는 사회(mutual admiration society)를 형성한다. 다른 사람들의 눈에는 시스템을 악용한 것과 대단한 행운이 결합된 결과물로밖에 보이지 않는데도, 그들은 세상 사람들에게 자신들의 성공을 적자생존의 사회적 다윈주의가 작동한 결과임을 납득시키려 한다.
배움, 행복, 자신감, 우정 등등 학생 각자가 대학에서 4년간 경험하는 다양한 측면을 객관적으로 측정하기란 불가능했다.
그래서 ‘유에스 뉴스’는 교육의 우수성과 상관성 있는 것처럼 보이는 대리 데이터를 사용하기로 했다. 먼저 SAT 점수와 학생 대 교수 비율, 입학 경쟁률을 조사하고, 신입생 잔류율과 졸업률을 분석했다. 또한 동문들이 모교에 기부하는 비율도 계산하였는데, 모교에 기부하는 동문은 재학 시절에 받은 교육에 만족할 가능성이 높을 것으로 추측했기 때문이다.
‘유에스 뉴스’는 1988년 처음으로 데이터를 기반으로 한 대학 순위를 발표했는데, 이는 매우합리적으로 보였다. 그러나 순위가 전국적인 표준으로 확장됨에 따라 피드백 루프가 활성화되기 시작했다. 가령 ‘유에스 뉴스’에서 낮은 순위를 받으면 대학의 평판이 손상되고 전반적인 여건이 악화됐다. 우수한 학생들과 훌륭한 교수들이 해당 대학을 기피하고, 동문들은 노골적으로 불만을 드러내면서 기부금을 줄였다. 그러다 보면 다음해 해당 대학의 순위는 더욱더 떨어졌다.
대학 행정관들은 자기 대학의 순위를 끌어올리기 위해 필사적으로 몸부림쳤다. 가령 텍사스에 위치한 베일러 대학교는 입학 예정자들의 SAT 점수를 끌어올리고, 그래서 학교의 순위도 올라가기를 기대하면서, SAT를 다시 치르는 학생들의 응시료를 대신 부담해주었다. 심지어 펜실베이니아에 있는 버크넬 대학교와 캘리포니아에 자리한 클레어몬트 매케나 칼리를 포함해 규모가 작은 명문대학들은 ‘유에스 뉴스’에 신입생들의 SAT 점수를 부풀리는 등 허위 데이터를 제공했다. 뉴욕 주에 위치한 아이오나 칼리지는 2011년 직원들이 시험점수, 입학 경쟁률, 졸업율, 신입생 잔류율, 학생 대 교수 비율, 동문 기부금 등 거의 모든 항목의 숫자를 조작했노라고 시인했다.
‘유에스 뉴스’ 모형 같은 WMD는 모든 사람이 정확히 똑같은 목표를 따르도록 강제한다. 이는 사람들을 무한경쟁에 내몰고 이전에는 겪지 않았을 다양한 부작용에 시달리게 한다.
‘유에스 뉴스’는 대학 순위 측정 항목으로 학비를 고려하지 않음으로써 대학 총장들의 손에 황금알을 낳는 거위를 쥐어주었다.
1985년부터 2013년까지 미국 대학 교육비는 500% 이상 증가했다. 이는 같은 기간 물가상승률의 거의 네 배에 이른다.
‘유에스 뉴스 & 월드 리포트’는 쇠퇴를 거듭하다가 2010년 종이 잡지 인쇄를 중단했다. 그러나 대학 순위 사업은 지속적으로 성장하여 의과대학, 치과대학, 인문과 공학 분야의 대학원 프로그램까지 영역을 확대했다. 이제는 고등학교의 순위까지 집계하고 있다.
2014년 ‘유에스 뉴스’가 발표한 세계 대학 순위에선 사우디아라비아의 킹압둘라지대학(KAU)의 선전이 돋보였다. 불과 2년전에 신설된 KAU 수학과가 케임브리지와 MIT를 포함한 몇몇 전통적인 수학 강호들을 제치고 하버드의 뒤를 이어 세계 7위에 선정된 것이다.
KAU는 유명한 논문을 발표한 다수의 수학자들과 접촉했고, 그들에게 겸임교수직과 7만2000달러라는 높은 연봉을 제시했다. KAU와 계약한 수학자들은 사우디아라비아에서 1년에 3주간 일해야 한다는 조건이 명시되어 있다.
KAU는 교수들에게 톰슨 로이터스 인용 색인 웹사이트에 등록된 근무처 정보를 KAU로 변경하도록 요구했는데, 이 웹사이트는 ‘유에스 뉴스’가 순위를 산정할 때 참조하는 핵심 출처였다. KAU의 순위는 급등할 수밖에 없었다.
중국 중샹의 학생들은 중국의 대입시험인 ‘가오카오’에서 우수한 성적을 거두고 명문대학에 많이 진학하는 것으로 유명하다. 2012년 중샹 교육 당국이 어떤 과목 시험에서 동일한 답안지를 99개 발견한 뒤 의심은 확신이 되어버렸다고 한다.
2013년 가오카오 고사장에 도착한 중샹의 학생들은 매우 당혹스러운 상황에 직면했다. 고사장에 들어가려면 금속 탐지기를 통과하고 휴대전화를 강제로 제출해야만 했다. 이 과정에서 일부 학생이 지우개처럼 생긴 소형 송신기를 뻬앗기는 등 부정 행위가 적발됐다. 고사장 안에서는 각기 다른 교육구에서 파견된 54명의 조사관이 배치돼 수험생들을 따라다녔다. 일부 조사관은 고사장 건너편에 있는 호텔을 수색했는데 그곳에서 송신기로 수험생들과 연락하기 위해 대기하던 사람들을 무더기로 찾아냈다.
부정 행위 단속에 학생들은 활화산 같은 반응을 보였다. 2000여 명이 고사장이었던 학교 앞 거리에 모여 “우리는 공정함을 원한다. 우리에게 부정 행위를 허용하지 않는다면 공정함이란 없다”라는 구호를 외치며 투석 시위를 벌였다. 이런 구호가 장난처럼 들리겠지만, 시위자들은 더없이 진지했다. 학생들에게 가오카오는 너무나 많은 것이 걸려 있는 시험이었다. 그들은 시험 성적에 따라 엘리트 교육을 받고 사회에서 화려한 경력을 쌓거나, 아니면 상대적으로 낙후된 지방도시에서 계속 살아야 하는 갈림길에 서있다고 생각했다. 그리고 사실이든 아니든 간에 다른 지역의 학생들도 자신들처럼 부정 행위를 저지른다고 믿었다. 그래서 중샹의 학생들을 대상으로만 부정 행위를 단속하는 것은 불공정하다고 주장했다. 부정 행위가 규범이 된 시스템에서 정직하게 규칙을 따르면 불리할 수밖에 없다.
이에 대한 좋은 사례가 있다. 세계적인 권위를 자랑하는 사이클 경주 투르 드 프랑스Tour de France의 랜스 암스트롱과 그와 함께 금지 약물을 복용한 팀 동료들에게 7년이란 세월을 빼앗긴 사이클 선수들에게 물어보라.
불공정한 조건에서 이길 수 있는 방법은 하나뿐이다. 수단과 방법을 가리지 않고 우위를 차지하고 다른 사람이 자신보다 앞서지 못하게 하는 것이다. 이것은 비단 중국에서만의 이야기가 아니다. 고등학교 진학 상담 교사, 학부모, 학생 모두가 <유에스 뉴스> 모형이 만든 시스템을 유리하게 이용하기 위해 처절하게 몸부림치는 미국에서도 정확히 적용되는 사실이다.
지금의 대학 입학 게임은 비록 이익을 얻는 일부가 있지만, 교육적으로는 사실상 아무런 가치가 없다. 우려스럽고 복잡한 대학 입시 시스템은 18세 때 대학 관문을 통과한 학생들을 최신 방식으로 재분류하고 점수를 매겨 서열화하는 것에 지나지 않는다. 학생들은 전문 강사의 감독 아래 미세조정된 틀에 맞춰 자기소개서를 작성하거나 더 많은 장애물을 통과할 뿐, 정작 대학 교육에 관한 중요한 지식을 배우지는 못한다. 저렴한 비용으로 이용할 수 있는 입시 컨설턴트를 찾기 위해 온라인을 뒤지는 학생들도 있다. 요컨대 부유층부터 노동자 계층까지 모든 학생이 거대한 기계에 맞도록, 즉 WMD를 충족시키도록 단순히 ‘훈련’될 뿐이다. 이같은 시련을 견뎌낸 다음에도 그들 중 상당수는 천정부지로 치솟은 등록금 때문에 수십 년간 갚아야 하는 학자금 대출을 떠안게 된다.
수학적 관점에서 볼 때, 신뢰는 정량화하기 어렵다. 이를 측정하는 것은 모형 개발자들에게 쉽지 않은 도전이다. 반면 유유상종의 잣대로 사람을 판단하는 모형은 개발하기가 훨씬 쉽다. 이런 모형은 범죄자들에게 둘러싸여 있다는 이유만으로 무고한 시민들을 잠재적 범죄자로 취급한다. 프레드폴 같은 범죄 예측 모형이 만들어낸 피드백 루프는 가난한 사람들에 대한 경찰의 감시를 정당화하고 이를 더 강화시키고 있다.
교육계의 WMD는 대학의 입학 과정을 오염시키고 부유층과 중산층 모두를 피해자로 전락시켰다. 형사 사법 시스템의 WMD는 수백만 명에게 범죄자라는 올가미를 씌웠다. 대부분 가난하고 또한 대학 문턱조차 밟아보지 못한 사람들에게 말이다.
인간에게서 지원자들을 차별하는 법을 배운 컴퓨터는 인간들보다 한 술 더 떠서 기가 막힐 만큼 효율적으로 차별적인 심사를 했다.
나는 일정관리소프트웨어가 지독히도 끔찍한 WMD라고 생각한다. 일정관리프로그램은 대규모로 적용되고 있는 데다 빠듯하게 먹고사는 사람들마저 착취한다.
일정관리모형은 정의 구현이나 모두의 이익이 아니라 효율성과 수익성에 맞춰 최적화된다. 이는 자본주의의 본질이기도 하다. 기업의 입장에서 볼 때 잠재적인 비용 절감 가능성을 거부하는 것은 지극히 어리석고, 부자연스러운 행위다. 그렇기 때문에 사회에는 대항 세력이 필요하다. 효율성의 오남용을 고발하고 기업들을 질책해 옳은 일을 하게 만드는 대항 세력 말이다.
부당한 노동환경을 활발히 보도하는 언론도 대표적인 저항 세력이다. 노동자들을 조직적으로 규합하고 대변해 줄 강력한 노동조합, 그리고 기업이 저지르는 최악의 방종 행위를 억제하는 법률을 제정할 의지가 있는 정치인들도 필요하다.
“누군가의 감정 상태는 다른 사람들에게 전이될 수 있고, 자신도 모르는 사리에 그 사람과 똑같은 감정을 경험하게 만든다” 즉, 페이스북 알고리즘은 마음만 먹으면 수백만 명의 감정을 누구도 눈치채지 못하게 조작할 수 있다. 만약 페이스북의 알고리즘이 선거일에 사람들의 감정을 조작한다면 어떻게 될까?
데이커 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. 우리는 더 나은 가치를 알고리즘에 명백히 포함시키고, 우리의 윤리적 지표를 따르는 빅데이터 모형을 창조해야 한다. 그렇게 하려면 가끔은 이익보다 공정성을 우선시해야 한다.
우리의 삶을 갈수록 광범위하게 지배하는 수학 모형을 규제하려면 먼저 무엇을 해야 할까? 나는 출발점을 모형 개발자들에게서 찾아야 한다고 생각한다. 의사들이 그러하듯이, 데이터과학자들도 자신들이 만든 모형이 오남용되고 잘못 해석될 가능성에 대항할 일종의 히포크라스테스 선서를 해야 한다.
공정성과 공익은 오직 인간의 머릿속에서만 존재하는 개념으로, 정량화하기 힘들다. 그런데 모형은 인간의 손에서 탄생한다. 그저 측정하기 어렵다는 이유로 처음부터 배제할 뿐이다. 그러나 효율성을 희생시키는 한이 있더라도 알고리즘에 인간적인 가치를 반영할 필요가 있다.
WMD들이 득세하게 된다. 일터에서 우리를 기계 부품처럼 취급하고, 가난한 사람들에게서 취업 기회를 빼앗아가고, 건강에 이상이 있는 직원을 배척하며, 온갖 불평등한 만행을 저지르는 치명적인 수학 모형이 모든 것을 지배하게 될지도 모른다. WMD들을 규제하고 길들이며 무장해체시키기 위해 우리는 모두 힘을 합쳐야 한다.