대량살상수학무기 / 캐시 오닐

대량살상수학무기 - 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가
캐시 오닐 지음, 김정혜 옮김 / 흐름출판 / 2017년 9월

빅데이터 경제의 원동력인 수학 모형 프로그램들은 대다수가 "인간의 편견, 오해, 편향성을 코드화했다. 그리고 이 코드들은 점점 더 우리 삶을 깊이 지배하는 시스템에 그대로 주입됐다."(15) 대량살상수학무기(WMD) "모형 자체는 속이 보이지 않는 블랙박스로, 그 안의 내용물이 영업 비밀처럼 엄격하게 보호된다. 이것은 매스매티카 같은 컨설팅업체들에게 일거양득의 효과를 가져다준다. 첫째, 그들은 자신들이 만든 알고리즘이 지닌 가치보다 훨씬 많은 수수료를 청구할 수 있다. 둘째, 평가 대상이 모형의 작동 원리에 대해 모르기에 모형을 자신에게 유리하게 조정하려는 시도를 할 가능성이 줄어든다. 대신에 평가 대상자들은 모형의 기준에 맞춰 열심히 일하고 규칙을 준수한다. 모형이 그들의 노력을 제대로 평가해주기만을 바랄 수밖에 없는 처지에 놓인다. 세부 사항이 공개되지 않은 상태에서 평가 결과에 의문이나 이의를 제기하기란 더더욱 쉽지 않다."(24-5)

WMD이 안고 있는 세 가지 위험 요소는 '불투명성, 확장성, 그리고 피해'다. 비즈니스에 중요한 영업비밀이라는 이유로 알고리즘이 공개되지 않은 모형에 쓰인 가정들은 파괴적인 피드백 루프를 통해서 자신의 가정들을 정당화하는 환경을 창조한다. "은행의 대출심사모형이 당신에 대해 채무불이행 위험이 높다고 판단하면 어떻게 될까? 이것이 지독한 오해에 불과할지라도 온 세상이 당신에게 '예비 채무불이행자'라는 똑같은 꼬리표를 붙일 것이다. 꼬리표 정도로 끝나면 그나마 다행이다. 이 꼬리표는 당신이 아파트나 일자리를 구할 때는 물론이고 자동차를 렌트할 때조차 기준이 되어 당신의 삶 전체에 영향을 미칠 것이다."(58-9) 문제의 핵심은 "알고리즘에 의해 작동되는 모형이 수백만 명의 면전에서 기회의 문을 닫아버리고 이의를 제기할 가능성조차 허용하지 않는다는 사실이다. 더욱이 가끔은 지극히 하찮은 이유로 그렇게 한다."(61)

금융위기 직전까지만 해도 "투자자들은 MBS(주택저당증권, mortgage-backed securities)에 투자하는게 현명한 선택이라고 생각했다. 그런데 복병이 있었다. 바로 불투명성이었다. 투자자들은 증권에 포함된 주택담보대출 각각의 건전성에 대해서는 전혀 알 길이 없었다. 증권에 포함된 내용물을 얼핏이라도 짐작해볼 수 있는 방법은 신용평가기관의 분석가들이 평가한 등급이 유일했다. 그런데 분석가들은 자신이 등급을 매기는 금융상품을 만들어 판매하는 기업들에서 수수료를 챙겼다."(75) 금융과 첨단기술이 안겨주는 혜택을 장악한 계층의 사람들은 "똘똘 뭉쳐 서로 칭찬하는 사회mutual admiration society를 형성한다. 다른 사람들의 눈에는 시스템을 악용한 것과 대단한 행운이 결합된 결과물로밖에 보이지 않는데도 그들은 세상 사람들에게 자신들의 성공을 적자생존의 사회적 다윈주의가 작동한 결과임을 납득시키려 한다."(90)

"데이터를 처리하는 기계들 스스로가 우리의 데이터를 샅샅이 조사하면서 우리의 습관과 희망, 두려움과 바람을 찾아내고 있다." 인터넷이 등장한 뒤 "전세계 사람들이 자신의 삶, 일, 구매 경험, 우정 등에 관해 무수히 많은 말을 쏟아내기 시작했다. 이 과정에서 자연언어를 처리하는 기계들을 위한 역사상 가장 대규모의 학습 말뭉치training corpus가 자연스레 만들어졌다. 사람들이 손글씨와 종이에서 이메일과 SNS로 소통의 도구를 바꿈에 따라 기계들이 우리의 언어를 연구하고 비교하면서 언어의 문맥과 관련해 방대한 데이터를 수집할 수 있게 된 것이다. 이런 진전은 신속하고 극적으로 이루어졌다." 기계학습machine learning을 통해 향상된 "자연언어 처리 능력은 광고주들에게 무한한 가능성의 신세계를 열어주었다. 이제 프로그램은 특정한 단어의 의미를 안다. 아니, 적어도 가끔은 그 단어를 특정한 행동이나 결과와 충분히 관련시킬 수 있을 만큼은 안다."(135-8)

오늘날 사람들은 "자신이 인터넷 세상에서 드러낸 선호도와 패턴을 토대로 수많은 모형에서 나뉘고 분류되어 점수가 매겨진다. 이런 정보는 합법적인 광고 캠페인의 튼튼한 토대가 되는 것은 물론이고 약탈적인 광고들의 연료가 된다. 도움이 절실한 사람들만 골라서 지킬 수 없는 거짓 약속을 하거나 지나치게 높은 비용이 드는 약속을 해서 바가지를 씌우는 악질적인 광고 말이다."(126) 전형적인 WMD인 약탈적 광고는 절박한 사람들을 찾아내 표적공략한다. 일례로, 배터롯 칼리지는 신입생 모집원들에게 "복지수당을 수령하고 자녀가 있는 편모, 임신한 미혼여성, 최근에 이혼한 사람, 자긍심이 낮은 사람, 저임금 종사자, 최근에 가까운 사람과 사별한 사람, 신체적·정신적 학대 피해자, 최근 출소자, 약물 중독 재활 치료 유경험자, 장래성이 없는 직종 종사자"를 집중 공략하라고 지시했다.(129)

이처럼 알고리즘은 기본적인 명령에 따라 데이터를 처리할 뿐이지만, 그 명령을 내리는 사람(혹은 집단)의 의도가 모형 안에 속속들이 배어 있다. "미국 정부는 1965년에 시행된 고등교육법Higher Education Act에 소위 '90-10법칙'이라고 불리는 조항을 포함시켰다. 이 조항은 대학들이 재정의 최대 90%까지만 연방정부의 원조를 받을 수 있다고 규정했다. 9대1이라는 비율의 근거는 학생들이 교육비의 일정 부분을 감당할 때 자신의 교육을 좀 더 진지하게 받아들인다는 판단에서였다. 그러나 얼마 지나지 않아 영리 대학들은 이 조항의 허점을 공략하는 사업 계획을 만들었다. 저축이든 은행 대출이든 학생들이 개인적으로 수천 달러를 긁어모을 수 있다면, 영리 대학들은 그 학생들의 이름을 빌려 그 금액의 9배나 되는 돈을 정부에서 지원받을 수 있었다. 결과적으로 영리 대학들에는 학생 하나하나가 막대한 수익 창출원이 됐다."(142)

"가난한 동네에서 경미한 범죄는 흔한 일이다. 오죽하면 어떤 지역에서는 경찰들이 그런 범죄를 범죄가 아니라 반사회적 행동antisocial behavior, ASB이라고 부르겠는가." 이런 2군 범죄를 예측 모형에 포함시키면 "더 많은 경찰이 가난한 동네로 출동하게 되고, 당연히 그런 동네에서 더 많은 사람들이 체포당할 것이다." 이는 바로 유해한 피드백 루프가 활성화되는 전형적인 과정이다. "경찰 활동 자체가 새로운 데이터를 생성시키고, 이런 데이터가 다시 더 많은 경찰 활동을 정당화해준다. 그리고 교도소는 피해자가 없는 범죄victimless crime를 저지른 수많은 범죄자들로 넘쳐나게 된다. 이런 범죄자들은 대부분 가난한 동네 출신이고, 또한 대부분 흑인이거나 히스패닉계다. 설령 모형이 '색맹', 다른 말로 피부색을 고려하지 않더라도 결과는 달라지지 않는다. 피부색과 소득 수준에 따라 거주 지역이 뚜렷이 구분되는 오늘날 미국 도시에서 지리적 요소는 인종에 대한 유효적절한 대리 데이터다."(151-2)

"미국 직장인들 사이에 최근 유행하는 신조어가 있다. '클로프닝clopening'이 바로 그것이다. 이 단어는 상점이나 카페의 종업원이 밤늦게까지 일하다가 매장 문을 닫고 퇴근한 다음, 불과 몇 시간 후 새벽 동도 트기 전에 다시 출근해서 매장 문을 여는 것을 가리키는 신조어다. 한 명의 종업원이 매장 문을 닫고 여는 클로프닝은 기업의 입장에서 볼 때 물류logistics적으로 타당한 업무 방식이다. 그러나 노동자의 입장에서는 수면 부족과 빡빡한 일정에 쫓기는 것을 의미한다."(208) 일정 관리 소프트웨어가 양산하는 "불규칙적인 장시간 근무는 노동자들이 더 나은 근무 조건을 요구하거나 스스로 조직화하는 것을 힘들게 만든다. 대신 노동자들은 극심한 불안감과 수면 부족에 시달리고, 급격한 감정 변화를 겪고 있다." 더욱이, 일정 관리 소프트웨어에게 착취당하는 저임금 노동자들의 "자녀도 커다란 피해자다. 이런 부모를 둔 아이들은 평범한 일상을 경험하지 못한 채 성장한다."(217-8)

"보험사들은 신용평가 보고서에서 신용평가점수를 얻은 다음, 자사의 고유한 알고리즘을 통해 자체적인 등급이나 e점수를 생성시켰다. 이런 등급이나 e점수는 '책임 있는 운전 습관'을 대신하는 대리 데이터"로 활용된다. "자동차 보험비를 산정하는데 '돈을 어떻게 관리하는가'가 '어떻게 운전하는가'보다 더 중요할 수 있다는 이야기다."(273) 보험사들은 이를 악용해서 저신용 고객층에게 "과다한 보험료를 부과함으로써 실리를 챙긴다. 운전 기록이 깔끔해도 신용평가점수가 낮은 운전자는 사고 위험이 낮기 때문에 보험사에 복덩어리다. 게다가 그 운전자의 보험 계약에서 발생한 수익의 일부는, 보험사가 사용하는 모형의 비효율적인 측면을 보전해준다. 신용평가 보고서가 완벽해서 보험료를 적게 내는 운전자가 음주 운전 사고를 일으켰다고 가정해보자. 이 경우, 보험사는 보험금을 지급해야 하는데, 그 손실을 신용평가점수가 낮아도 운전 습관이 좋은 운전자들의 보험료로 메울 수 있다."(275)

"현대의 소비자 마케팅은 정치인들을 특정한 유권자들에게로 데려다주는 새로운 경로를 제공한다. 이제 정치인들은 각 유권자 집단의 욕구에 맞춤화된 정보를 들려줄 수 있다. 일단 그렇게 하고 나면, 유권자들은 정치인들에게서 들은 정보를 액면 그대로 받아들일 가능성이 큰데, 그 주장이 자신들의 기존 믿음을 확인시켜 주기 때문이다. 심리학자들은 이를 확증편향이라고 부른다." 정치참모들은 micro-targeting이라는 "신용카드업계의 전술을 차용함으로써 막대한 유권자 데이터베이스를 구축하고, 각자의 가치관과 인구통계학적 정보를 고려해 유권자를 다양한 하위집단으로 분류했다. 그리하여 역사상 처음으로, 이웃한 두 집이 동일한 정치인으로부터 각각 다른 내용의 우편물이나 팸플릿을 받게 됐다. 가령 같은 후보로부터 한 집은 야생동식물 보호를 약속하는 우편물을, 바로 옆집은 법과 질서를 강조하는 우편물을 받는 식이다."(311-2)

정치가와 유권자 사이의 이런 "정보의 비대칭asymmetry of information은 여러 집단이 손을 잡고 힘을 합치는 것을 막는다. 이는 현대 민주주의 체제가 안고 있는 근본적인 문제다."(325) 정보의 비대칭 말고 또 다른 비대칭이 있다. 바로 관심의 비대칭이다. "알고리즘에 의해 투표할 것으로 예상됐지만 이런저런 이유로 투표하지 못한 사람들은 다음 선거에서는 관심의 융단폭격을 받게 된다. 여전히 투표할 가능성이 매우 높다고 여겨지기 때문이다. 반면 애시당초 투표하지 않을 것으로 예상되는 유권자들은 관심에서 거의 배제된다. 정치 시스템은 투자 수익률이 가장 높은, 다른 말로 가장 적은 비용으로 표심을 바꿀 수 있는 유권자들을 열심히 찾는다. 이런 상황이다 보니 때로는 투표 기권자들이 돈 먹는 하마처럼 보이는 것도 당연하다. 정치 시스템의 이런 역학은 양극화를 부추긴다. 특정 계층은 물과 양분을 쏟아부어가며 살뜰히 보살피고, 나머지 계층은 영원히 방치되고 있다."(327-8)

"가난한 사람들을 착취하는 WMD들은 상위 계층 사람들, 즉 부자들에겐 확연히 다른 얼굴을 보여준다. 그들만을 따로 모아 배타적인 마케팅을 전개한다. 가령 카리브 해에 위치한 아루바로 휴가를 가도록 추천하고, 세계 최고의 경영대학원 중 하나인 펜실베이니아 대학교 와튼 스쿨 대기자 명단에 이름을 올려준다. 그러니 부자들은 세상이 갈수록 편리해진다고 생각할 만하다." 이런 표적 마케팅 기법의 "은밀하고 개인적인 특성 때문에 사회의 승자들은 자신들에게 우호적인 모형이 다른 사람들의 삶을 어떻게 파괴하는지 볼 수 없다."(330) "돈으로 영향력을 사는 오늘날 사회에서 WMD의 피해자들은 입이 있어도 말을 하지 못하는 벙어리나 다름없다." 가난한 사람들은 가난과 범죄로 개인적 비난에 시달리기 십상이지만, "사회적 통념에서 보면 가난의 병폐는 질병에 가깝다. (오늘날 정치권의) 빈곤 퇴치 노력은 중산층에게까지 그 병폐가 확산되지 않도록 차단시키는 것이 전부다."(335)