빅데이터의 위협

대량살상수학무기 - 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가
캐시 오닐 지음, 김정혜 옮김 / 흐름출판 / 2017년 9월

수학자이자 퀀트, 데이터과학자로서 나는 빅데이터와 인공지능이 가 진 파괴적인 힘을 수년간 목격했습니다. 이 책은 내 여정의 기록이자 내부 고발이며 전문가로서의 제안입니다. 수학, 데이터, IT기술의 결합으로 만들어진 알고리즘들은 지금 이 순간에도 곳곳에서 '보이지 않는 손'이 되어 무소불위의 권한을 휘두르고 있습니다. - '한국 독자들에게' 중에서

빅데이터, 우리들에게 장밋빛만은 아니다​

책의 저자 캐시 오닐은 매사추세츠공과대학교(MIT)에서 박사후과정을 거친 후 컬럼비아대학교와 공동학위를 수여하는 버나드 칼리지 수학과 종신교수로 재직하다가 2007년 수학을 현실 세계에 활용한다는 아이디어에 매료되어 교수직을 버리고, 헤지펀드 디이 쇼(D.E. Shaw)의 퀀트quant가 된다. 디이 쇼의 선물거래팀을 이끌며 2000년대 글로벌 금융계의 호황과 붕괴를 몸소 겪은 후 수학과 금융의 결탁이 불러온 파괴적 힘에 환멸을 느끼고 월스트리트를 떠났다.

이후 IT업계에서 데이터과학자로서 금융상품의 위험도, 소비자 구매 패턴 등을 예측하는 수학 모형을 개발했던 그녀는 수학자이자 퀀트, 데이터과학자로 일하면서 장밋빛으로 포장된 빅데이터 경제가 불평등을 확산하고 민주주의를 위협한다는 사실을 깨닫게 된다. 현재는 월가점거운동의 하위조직인 대안금융그룹을 이끌고 있다. 또한 알고리즘을 감사하고 위험성을 측정하는 기업 ORCAA를 설립해 빅데이터의 그림자를 세상에 알리는 데 힘쓰고 있다.

​그녀는 특히 인간의 편견과 무지, 오만을 코드화한 프로그램들은 차별을 정당화하고, 민주주의를 위협하므로 이런 프로그램들이 대량살상무기Weapons of Mass Destruction만큼 위험하다고 생각한다. 그래서 '대량살상수학무기Weapons of Math Destruction', 줄여서 WMD라고 명명했다. 대량살상수학무기는 이 책의 제목이기도 하다.

책은 한 사례를 들춰 낸다. 2007년 워싱턴 DC 시장시장으로 취임한 에이드리언 펜티는 관내의 부실 학교들을 개혁하겠다고 선언했다. 이에 워싱턴 교육 당국은 학생들의 성적 부진은 전적으로 교사들의 무능이라고 결론내리고 무능한 교사들을 가려내기 위한 교사 평가 기법을 개발했다. 이를 근거로 206명의 교사들을 해고했는데, 단지 1년 동안의 성과로 교사들의 무능을 평가하는 게 과연 옳은지에 대해서 알고리즘은 말이 없다고 저자는 폭로한다. 어쩌면 그녀는 빅데이터 업계의 내부고발자인 셈이다.

      ​

WMD의 특징

​LSI-R 같은 재범위험성모형은 치명적인 피드백 루프를 확대재생산한다. '고위험군'으로 분류된 사람은 일정한 직업이 없을 뿐만 아니라 법적으로 문제가 있는 가족과 친구가 많은 환경에서 성장했을 가능성이 높다. 게다가 이들은 재범 위험성 평가에서 받은 높은 점수가 더해져, 더욱 무거운 형을 선고받고 범죄자들에게 둘러싸인 감옥에서 사회와 격리된 채 수년을 보내게 된다. 그리고 오랜 수감 생활은 그가 다시 감옥으로 돌아갈 가능성을, 즉 재범 위험성을 확실히 증가시킨다.

마침내 형기를 마치고 출소하더라도 이들은 예전에 살던 가난한 동네로 돌아가야 하는데, 이번에는 전과자라는 별까지 단 상태라 일자리를 구하기가 훨씬 어렵다. 이런 상황에 몰려 그가 또 다시 범죄를 저지른다면 재범위험성모형은 의문의 1승을 추가하는 셈이다. 그런데 실상은 더욱 잔인하다. 재범위험성모형 자체가 그런 악순환이 발생하는 하나의 원인이며, 그런 악순환이 지속되는 데 일조한다. 이것이 바로 WMD의 대표적인 특징이다.

노동자, 알고리즘의 노예가 되다

미국 직장인들 사이에 최근 유행하는 신조어가 있다. '클로프닝 clopening'이 바로 그것이다. 이는 상점이나 카페의 종업원이 밤늦게까지 일하다가 매장 문을 닫고 퇴근한 다음, 불과 몇 시간 후 새벽 동도 트기 전에 다시 출근해서 매장 문을 여는 것을 가리키는 신조어다. 한 명의 종업원이 매장의 폐점과 개점을 수행하는 클로프닝은 기업의 입장에서 볼 때 물류적으로 타당한 업무 방식이다. 그러나 노동자의 입장에서는 수면 부족과 빡빡한 일정에 쫓기는 것을 의미한다.

미국에서는 불규칙한 근무 일정이 갈수록 보편화되고 있다. 이런 업무 방식의 최대 피해자는 스타벅스, 맥도날드, 월마트 등에서 일하는 저임금 노동자들이다. 일정 조정에 관한 통보가 적절히 이뤄지지 않기 때문에 이들의 피해는 더욱 커지고 있다. 즉 많은 종업원이 수요일에 야간근무를 하거나 금요일 혼잡한 시간대에 근무해야 한다는 사실을 겨우 하루이틀 전에 통보받는다.

이런 일은 노동자들의 삶을 뒤죽박죽 뒤엉키게 만든다. 특히 자녀가 있는 근로자의 경우, 양육 문제 때문에 재앙과 같은 혼란에 빠질 수 있다. 이런 상황에선 당연히 식사도 수면도 아무렇게나 닥치는 대로 해결할 수밖에 없다. 노동자의 불규칙한 근무 일정은 빅데이터 경제의 새로운 부산물이다. 

자동화 의사결정 시스템의 오류

채용 과정의 맨 꼭대기에 있는 사람들은 컴퓨터가 의사 결정에 도움을 주는 유용한 도구 정도로 생각한다. 그러나 채용 과정의 중간 지대부터는 많은 의사 결정이 자동화 시스템에 의해 처리 된다. 어쩌다 잘못된 데이터가 끼어들면 아무리 잘 설계된 알고리즘이라도 잘못된 결정을 내리게 된다. 데이터 사냥꾼들 사이에서 오래전부터 전해오는 다음과 같은 격언이 있다.

"쓰레기를 넣으면 쓰레기가 나온다garbage in, garbage out, GIGO"

자동화 과정에서 빚어진 실수는 피해자들에게 오랫동안 고통을 안겨준다. 예를 들어, 컴퓨터가 만들어낸 비행기 탑승 금지 테러리스트 명단은 오류투성이인 것으로 악명이 높다. 테러 근처에도 가본 적 없는 무고한 시민이 테러리스트 용의자와 이름이 비슷하다는 이유만으로 비행기를 이용할 때마다 번번이 지옥 같은 경험을 하고 있다는 것이다.

알고리즘은 민주주의를 해친다

페이스북은 오즈의 마법사에 가깝다. 관여하는 사람들이 드러나지 않는다. 사용자는 페이스북에 접속해 친구들이 게시한 글들을 죽 훑어본다. 이때 페이스북 자체는 중립적인 중개자로 여겨진다. 실제로 많은 사람이 그렇게 믿고 있다. 2013년 일리노이 대학교의 컴퓨터과학자 캐리 캐러핼리어스는 페이스북 알고리즘에 관한 설문 조사를 실시했는데, 응답자의 62%가 페이스북이 뉴스피드를 조작한다는 사실을 모른다고 답했다. 대부분의 응답자가 게시하는 콘텐츠를 페이스북이 즉각적으로 모든 친구에게 전송한다고 알고 있었다.

"페이스북 알고리즘을 조정해 정치 시스템에 영향을 줄 수 있을까?"​

페이스북이 정치 세계에 미칠 잠재력은, 뉴스 순위를 정하는 기능이나 투표 독려 캠페인의 영향력을 훨씬 능가한다. 2012년 연구자들은 뉴스피드에 올라오는 콘텐츠가 사용자의 감정에 영향을 미치는지 알아보기 위해 68만 명의 페이스북 사용자들을 대상으로 실험을 했다. 기분이 전염된다는 것은 이미 실험실 실험을 통해 명백히 밝혀진 사실이다. 즉, 매사 불평불만인 사람과 어울리면 비록 일시적일지라도 우리들까지 그런 사람이 될 가능성이 크다. 이처럼 온라인을 통해서도 감정이 전염된다는 사실이다. 특정 후보에 관한 좋은 기사를 맨 위에 배치하는 인터넷 기사나 포털 사이트 등이 바로 이런 예이다.

인간성을 상실해선 안 된다

데이터 처리 과정은 단순히 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. 우리는 더 나은 가치를 알고리즘에 명백히 포함시키고, 우리의 윤리적 지표를 따르는 빅데이터 모형을 창조해야 한다. 그렇게 하려면 가끔은 이익보다 공정성을 우선시해야 한다. 더 이상 알고리즘의 노예가 되지 않으려면 이 책을 지금 바로 펼쳐보자.​ <사피엔스>의 저자 유발 하라리가 왜 강추하는지 이해하게 될 것이다.