세 번째 질문은 모형이 기하급수적으로 성장할 역량이 있느냐 하는 것이다. 통계 전문가처럼 말하면, 모형을 확장시킬 수 있을까? 괴짜 수학자의 괜한 트집처럼 들릴지도 모르겠다. 그러나 확장성은 WMD들을 지엽적인 골칫거리에서 막대한 피해를 초래하는 지진 해일로, 즉 우리의 삶을 정의하고 한계를 부여하는 거대한 힘으로 변화시키는 요소다. 차차 알아보겠지만 노동, 건강, 금융 분야에서 사용되는 WMD들은 우리에게 법률에 버금가는 힘을 발휘하는 광범위한 규범을 신속하게 구축하고 있다.
예를 들어, 은행의 대출심사모형이 당신에 대해 채무불이행 위험이 높다고 판단하면 어떻게 될까? 이것이 지독한 오해에 불과할지라도 온 세상이 당신에게 ‘예비 채무불이행자‘라는 똑같은 꼬리표를 붙일 것이다. 꼬리표 정도로 끝나면 그나마 다행이다. 이 꼬리표는 당신이 아파트나 일자리를 구할 때는 물론이고 자동차를 렌트할 때조차 기준이 되어 당신의 삶 전체에 영향을 미칠 것이다. 이것이 WMD의 확장성이다.
- P58
세 번째 요소인 피해와 관련해서도, WMD가 모든 사람에게 파괴적인 영향을 미치는 것은 아니다. WMD 모형 덕분에, 어떤 학생은 하버드 대학교에 진학하고, 누군가는 저금리 대출을 받거나 좋은 직장을 구하고, 일부 운이 좋은 범죄자는 가벼운 양형을 받는 것이 사실이다. 하지만 핵심은, WMD 모형으로 혜택을 얻는 사람들이 있다는 것이 아니다. 일부 예외를 제외하면 고통 받는 사람이 너무 많다는 것이 문제다. 알고리즘에 의해 작동되는 모형은 수백만 명의 면전에서 기회의 문을 닫아버리고 이의를 제기할 가능성조차 허용하지 않는다. 더욱이 가끔은 지극히 하찮은 이유로 그렇게 한다. 그러니 WMD 모형이 불공정하다고 할 수밖에 없는 것이다.
알고리즘과 관련해서 마지막으로 하고 싶은 말이 있다. 알고리즘은 하나의 분야에서 전혀 다른 분야로 이동할 수도 있다. 실제로 그런 일은 빈번하게 있어왔다. 가령, 전염병에 관한 역학 연구는 영화흥행을 예측하는 데 활용된다. 스팸 필터링 기법을 응용해 에이즈 바이러스를 식별할 수도 있다. WMD도 마찬가지다. 수학 모형들이 교도소에서 본연의 목적을 성공적으로 달성하는 것처럼 보인다면, 즉 수감자들을 아주 효과적으로 관리한다면, 그 모형들은 다양한 영역으로 응용되고 확산되면서 우리에게 부수적 피해를 안겨줄 수 있다. - P61
수학 모형은 본질적으로 과거와 기존 패턴들이 반복될 것이라는 가정에 기반을 두기 때문이다. - P73
어느 순간, 나는 데이터과학 분야에서도 예전에 금융계에서 목격했던 것과 똑같은 패턴이 나타나고 있음을 깨달았다. 안전하다는 착각에 사로잡혀불완전한 모형을 광범하게 사용하고, 성공을 자기중심적으로 정의하며, 차별적 피드백 루프가 갈수록 강력해지고 있었다. 이런 흐름에 반대하는 사람들은 향수에 젖은 러다이트 Luddite 라고 매도됐다.
나는 빅데이터 분야와 관련, 금융계의 신용위기와 유사한 개념이무엇일지 궁금했다. 나는 파산이라는 말 대신에, 불평등이 증가함에따라 많이 회자되고 있는 디스토피아 dystopia 라는 말이 적당하다고 생각했다. 알고리즘은 패배자로 낙인찍힌 사람들이 언제까지나 계속 패배자로 남도록 만든다. 반면 운이 좋은 소수는 빅데이터 경제에 대한 통제력을 갈수록 확장하고 막대한 부를 축적하면서 자신은 모든 특혜를 누릴 자격이 있다고 확신한다.
- P91
|