대량살상 수학무기 - 빅데이터에 대한 오해

대량살상수학무기 - 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가
캐시 오닐 지음, 김정혜 옮김 / 흐름출판 / 2017년 9월

우리가 너무나도 열심히 활용하고 있는 빅데이터
우리의 정보가 머리부터 발끝까지, 아침부터 저녁까지
저장 되어 있을 수도 있는 빅데이터에 대한 위험은
생각해 본 적이 있을까? 편하다, 좋다는 생각 외에
이 것이 우리에게 가져다 줄 위협적인 부분을
『대량살살 수학무기』 도서를 통해 읽어보았다.

반면 빅데이터의 위협과 오해에 대한 이야기를
담은 책의 제목이 왜 "대량살상 수학무기" 일까
호기심을 자극한다. 이미 빅데이터 속에서 우리가
성공할 수 있는 키워드는 '정보'이며 얼마나 빠르고
얼마나 많은 정보를 수집할 수 있느냐 = 돈 이 된다는
부분은 석사수업을 통해 토론을 했던 적이 있어
딱히 새로운 주제는 아니지만 얼마나 민주주의를
위협할지 그 정도가 궁금했었다.

빅데이터 이제는 편리함을 넘어서 일상이 되었다.
아침에 눈을 떠서 우리가 보는 실시간 순위부터
회사에 출근해 보는 수많은 수치와 그래프들,
그리고 그 것들을 한 눈에 보기 좋게 정리해주는
컴퓨터 프로그램은 사람이 간혹 실수하는 부분은
줄이고 객관적이고 공정하고 빠르다, 생각하며
창고 속 바인더를 찾아보지 않고 마우스 클릭
몇 번만으로도 원하는 자료를 볼 수 있는 것
이 것부터가 우리의 삶 깊숙히 자리 잡고 있는
빅데이터 경제의 모습인 것이다.

저자 캐시 오닐이 이야기하는 『대량살상수학무기』라는
정의는 도대체 무엇일까 생각했지만 이 것도 알고나면
어렵지 않다, 빅데이터 경제의 원동력인 수학 모형
프로그램들은 실수가 있을 수 밖에 없는 인간의 선택에
기반을 해 만들어졌다는 것이다. 분명 이런 선택 중
일부는 선한 의도를 가지고 있지만 대다 수 모형은
인간의 편견, 오해, 편향성을 코드화 했다는 것이다.

생각해보지 않았던 부분이었다. 그런데 생각해 보니
맞는 말이었다. 누군가가 필요하기 때문에 시스템은
만들어지게 되는 것이고 개발은 사람의 머릿 속에 있는
수학언어들을 이용해 이루어진다. 이 사이에는 필요로
하는 사람의 요구나 또는 알고있는 지식만이 반영된다.
하지만 우리는 그것을 이용하면서도 알지 못하는게
다반사고 알더라도 이미 너무 깊숙히 들어와 수정하기
어려운 경우가 많다는 것이다.

“수학 모형은 여러 가지 면에서 신을 닮았다. 신처럼 불투명해서 이해하기 힘들다.

각 영역의 최고 사제들, 즉 수학자와 컴퓨터 과학자들을 제외하고는 그 누구에게도

내부의 작동 방식을 보여주지 않는다. 그리고 신의 평결처럼, 잘못되거나 유해한

결정을 내릴지라도 반박하거나 수정해달라고 요구할 수 없다. 무엇보다 사회적

약자와 가난한 사람들을 차별하고 부자는 더욱더 부자로 만들어주는 경향이 있다.”

이런 유해한 모형들을 "대량살상수학무기 (WMD)"라 부른다.
우리가 만약 이 정의를 이해했다면 앞으로 어떤 일이
벌어질지 어느정도 예상이 될 것이다, 그리고 그 건
우리의 상상보다 좀 더 파괴적이거나 현실적이다.

무지막지하게 수집되는 우리의 정보는 앞, 뒤 없이
하나의 수치로만 보여지고 있어 어떠한 상황에서
우리를 보다 평균 이하의 존재로 비추기도 한다.

ex) 나쁜교사 색출, 신용등급 프로그램 등

가장 정확하게 이해가 되는 사례 한가지는 흑인 차별

동일 죄목에 대해서 백인범죄자 보다 흑인 범죄자의
비율이 더욱 높게 나타나는 점을 고려하여 데이터를
입력해 위험을 예측하는 모형을 개발하였다.
이른바 재범위험성모형이라는 것으로 판사들이 재범
위험성을 측정하는데 도움이 되는 것은 물론 평균 수감
기간을 줄여 예산을 절약한다는 장점이 있다고 주장했다.

그런데 이 재범위험성모형에서 인간의 편견이 완벽히
제거가 되었을까? 오히려 재판의 기록은 질문과 대답이
오롯이 남아 나중에 이의를 제기할 수 있는 반면에
재범위험성모형은 알고리즘이라는 전문성에 극소수만이
이해할 수 있을 뿐만 아니라 재범 가능성을 명백히
높이고 있는 질문이 상당 수 들어있다는 것이다.

또 이 외에도 지역의 출신에 따른 대답이 갈라진다는
점도 유심히 봐야할 부분이라는 것이다. 특권층 출신이
자란 지역에서 경찰에게 붙잡히는 경험은 흔하지 않은
반면 빈민가에서 자란 경우에는 잘못이 없어도 빈번히
불심검문을 당했을 가능성이 크다는 것이다.

오히려 앞, 뒤의 내용 없이 yes, no 데이터만를 베이스로
통계를 낸다는 것은 질문에 대한 수치적인 통계는
정확할지 몰라도 오히려 치명적인 피드백 루프를
확대재생산하게 된다는 문제점을 가지고 있다는 것이다.

물론 이런 케이스에도 공통적으로 존재하는
WMD의 세 가지 요소가 있다.

불투명성, 확장성, 피해

2007년 발생한 서브프라임 모기지 사태 역시
WMD 였던 것이었다. 은행들은 일부 대출 회수가
불가능 할 것을 분명히 알고 있었음에도 불구하고
모든 금융 기관에 종사하는 뛰어난 수학자들이
뛰어나고 신중하게 분석하고 고려할 것이라 생각했다.

두번째는 많은 사람이 동시에 채무를 불이행하지
않을거라는 믿음이었다. 그러나 알고리즘은
대출채권의 가치를 몇 배로 불릴 수는 있으나
그 가치를 해석할 능력이 없다는 것이다.

빅데이터를 가지고 있는 자는 그 것을 이용해
부를 끌어안고 그 시스템을 이용하는 사람은
모른채 그 자리에 머물거나 혹은 떨어지는 상황

미국의 대학등록금이 비싸게 된 이유에는
이런 대학 줄세우기 시스템을 이용한 어떤
시사주간지에서 시작된다. 자신들의 주간지를
더욱 이슈화 시키기 위해 대학교에 등급을 메겨
줄세우기를 하게 되면서 학교들은 자연스럽게
자신의 학교들이 높은 순위에 올라가기 위해
많은 투자를 하고 있고, 이런 투자를 이익으로
얻기 위해서는 그만큼의 학생 유치를 필요로한다.

하지만 학생들은 일종의 보험처럼 여러학교를
지원하다보니 정말 우수한 학생은 정작 등록을
안하는 현상이 발생하게 되면서 학교는 또
이 우수한 학생들을 유인하기 위한 장학금
예산을 책정하게 되면서 자연스레 등록금은 상승

학생들은 저렴한 학비에서 수준있는 수업을
듣는 것이 아니라 호화로운 건물 과 월풀 욕조를
가진 학교를 다니기 위해 값비싼 학비를 낸다면
이 건 어디에 의미를 두어야 하는 것일까?

물론 이 문제를 잡지사 한 곳에 둘 수 없다는
말에 동의한다 대학을 나와야만 취업을하고
살아갈 수 있다는 생각만을 하게 만드는 사회
자체의 문제도 존재하겠지만 이런 불안감에
기름을 통으로 던져버린 역할을 한게 아닐까?

『대량살상 수학무기』 속에 나오는 케이스는 정리할 수
없을 정도로 너무 많지만 또 생각해보면 충분히
벌어질 일이기도 하다, 당장만해도 회사에서 프로그램이
작동되지 않으면 회사의 회계업무는 마비되고,
국세청의 세금신고 역시 중단된다. 우리가 할 수
있는 건 무엇이 문제인지를 찾는게 아니라
언제 해결할 수 있는지 전화로 물어볼 뿐이다.

“요컨대, WMD의 세상에서 가난은 갈수록 위험해지고

더 많은 비용을 감당해야 하는 꼬리표가 된다.

가난한 사람들을 착취하는 WMD들을 상위 계층 사람들,

즉 부자들에겐 확연히 다른 얼굴을 보여준다.

그들만을 따로 모아 배타적인 마케팅을 전개한다.

WMD들은 어둠 속에서 은밀히 작동하면서 하나를

여럿으로 나누는 동시에, 우리의 가까운 이웃과

먼 이웃들에게 가하는 수많은 피해를 은폐한다.”

“데이터 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다.

미래를 창조하려면 도덕적 상상력이 필요하다.

그런 능력은 오직 인간만이 가지고 있다.”

『대량살상 수학무기』에서 강조 된 점은 이런 WMD의
피해는 아직 초기에 불과해 앞으로 어떤 문제를
야기할지 모른다는 것이다, WMD는 가난한사람이
아니더라도 악의적인 모형들이 구직자들을 배제시키거나
기업이 생각하는 이상적인 건강적인 상태에 부합하지
않는 직원들의 임금을 갈취하기도 한다는 것이다.

우리가 너무 편히 시스템을 이용하고 있어 모르고
있는 문제점을 지적하고 있어 나쁘게만 보이지만 분명
우리를 좀 더 수월하게 해주는 이전에 하지 못했던 것을
가능하게 해주는 역할을 한다는 점에서는 혁명과도 같다.

기계는 자체를 뜯어보거나 개발을 통해 통제가 가능하다.
그렇다면 이런 알고리즘에도 필요한 것은 통제라는 것이
가능하도록 나만이 알고 있는 그 부분을 공유해 도덕적인
통제가 가능토록 하면 어떨까 싶은 생각이 든다