대다수 모형은 인간의 편견, 오해, 편향성을 코드화했다. 수학 모형은 여러 가지 면에서 신을 닮았다. 신처럼 불투명해서 이해하기 힘들다. 각 영역의 최고 사제들, 즉 수학자와 컴퓨터 과학자들을 제외하고는 그 누구에게도 내부의 작동 방식을 보여주지 않는다. 그리고 신의 평결처럼, 잘못되거나 유해한 결정을 내릴지라도 반박하거나 수정해달라고 요구할 수 없다. 무엇보다 사회적 약자와 가난한 사람들을 차별하고 부자는 더욱더 부자로 만들어주는 경향이 있다.
수학모형은 가난한 사람들을 저평가하는 경향이 있다. 여기에는 다양한 이유가 있지만, 이런 모형이 저렴한 비용으로 대규모로 사람을 평가하도록 설계됐다는 것이 그렇게 된 이유 중 하나이다. 반면 부자들은 종종 개인적인 접촉으로 유리한 위치를 차지한다. 예를 들어, 유서 깊고 명망 있는 법률 회사나 학비가 비싼 사립학교는 패스트푸드 체인점이나 재정이 빈약한 도시의 교육구보다 추천서와 대면 인터뷰를 훨씬 선호한다. 특권층은 주로 개별적인 대인면담을 통해 평가받고, 대부분의 평범한 사람들은 기계가 일괄적으로 처리한다.
사람들은 무언가를 명확히 정의하기 보다는 강렬한 인상을 주기 위해 수학 공식들을 의도적으로 이용했다.
금융업과 첨단기술 산업에서 돈은 더 이상 생존수단이 아니다. 개인적인 가치와 직결된다. 사립학교, 고액 SAT 과외, 파리나 상하이 어학연수 등 유리한 조건을 갖추고 교외의 부자 동네에 거주하는 젊은이는 금수저인데도 자신을 특권층으로 만들어준 것이 자신의 능력, 근면함, 탁월한 문제 해결력이라고 자부한다. 이는 돈이 모든 의심을 잠재운 결과다. 게다가 이런 계층의 사람들이 똘똘 뭉쳐 서로 칭찬하는 사회 mutual admiration society를 형성한다.
알고리즘은 패배자로 낙인찍힌 사람드링 언제까지나 계속 패배자로 남도록 만든다. 반면 운이 좋은 소수는 빅데이터 경제에 대한 통제력을 갈수록 확장하고 막대한 부를 축적하면서 자신은 모든 특혜를 누릴 자격이 있다고 확신한다.
일정 관리 소프트웨어는 JIT 경제의 확장이라고 생각할 수 있다. 다만 적기에 공급되는 것이 잔디 깎는 기계의 칼날이나 휴대전화 액정 화면이 아니라 사람들, 그것도 대개는 돈이 절실히 필욯ㄴ 사람들이라는 점이 다를 뿐이다.
노동력 공급 과잉과 유능한 노동조합이 극히 드문 상황에서 노동자들은 협상력을 갖지 못한다. 이는 소매유통업과 요식업 대기업이 갈수록 불합리해지는 일정을 소화하도록 종업원들의 삶을 좌지우지 할 수 있는 이유다. 종업원들의 삶이 피폐해질수록 기업들의 곳간에는 돈이 쌓인다. 이런 최적화 프로그램은 어느 기업에나 존재하기 때문에 종업원들은 애써 직장을 바꿔봐야 자신의 운명이 크게 나아지지 않을거라는 사실을 너무나 잘 안다. 이렇게 여러 역학이 결합되어 종업원들은 강제노역자와 비슷한 처지에 몰리고 있다. 일정관리 소프트웨으는 부정적인 피드백 루프를 생성시킨다. 불규칙적인 근무 시간 때문에 학업을 이어가지 못하는 근로자는 더 나은 직장으로 이직하지 못하고 공급 과잉 상태의 저임금 노동 시장을 전전하게 된다. 또한 나쁜 근무조건은 노동자들이 스스로 조직화하는 것을 힘들게 만든다.
대신 노동자들은 불안감과 수면 부족에 시달리고 급격한 감정변화를 겪고 있다. 수면 부족은 우리 몸에 매우 심각한 영향을 미친다.
대다수 WMD는 모형에 현실을 반영해 수정하기보다는 원하는 현실을 창조한다.
이 기술은 콜센터로 전화를 건 고객의 데이터를 순식간에 검색해서 고객들을 서열화한다. 가령, 더 많은 수익이 예상되는 잠재 고객들은 ‘인간‘ 상담원과 곧바로 연결해준다. 반면 서열이 낮은 고객들은 상담원에게 연결되기까지 대기 시간이 더 길다. 통화량이 폭주하면 서열이 낮은 고객의 전화를 기계가 응대하는 외주 콜센터로 보내기도 한다.
감시는 보험의 본질을 변화시키고 있다. 전통적인 관점에서 볼 때, 보험은 지역사회의 불행한 소수의 필요에 반응하기 위해 다수에 의존하는 산업이다. 수백 년 전 마을에서 누군가의 집에 화재가 발생하거나, 누군가 사고를 당하거나 병에 걸리면 가족친지와 이웃, 그리고 신앙이 있다면 신도들이 도와주기 위해 팔을 걷어붙였다. 시장경제에서 우리는 이런 도움을 보험사들에 위탁하고, 보험사들은 그에 대한 보상으로 보험료의 일부를 취한다. 우리에 대해 많이 알게 될수록 보험사들은 위험도가 가장 높아 보이는 사람들이 누구인지 확인하고, 그런 다음 그들에게 천문학적인 보험요율을 적용하거나 보험 가입을 거부할 수 있게 될 것이다. 이는 사회 스스로 다양한 위험을 균형 있게 관리하도록 돕는다는 보험의 본래 목적에서 크게 벗어난다.
모형의 영향력을 측정하고 알고리즘을 대상으로 한 감사 AUDIT을 실시해야한다.
나는 21세기 초반의 WMD들이 100여 년 전 참혹했던 석탄 광산처럼 기억되기를 바란다. 인간이 데이터의 시대에 공정성과 책임성을 반영하는 법을 배우지 못했던 새로운 혁명의 초창기 시절의 유물로 기억되기를 희망한다. 수학은 WMD보다 더 나은 대접을 받을 자격이 충분하다. 민주주의도 마찬가지다
|