빅데이터 알고리즘의 왜곡 피해, 대량살상 수학무기

대량살상수학무기 - 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가
캐시 오닐 지음, 김정혜 옮김 / 흐름출판 / 2017년 9월

우리는 현재 빅데이터의 시대에 살고 있으며, 이를 토대로 인공지능의 시대로 빠르게 움직이고 있다.

그동안 잠재되었던 빅데이터의 활용성이 마치 폭발하듯이 사회, 교육, 방위, 경제, 사업 등 다양한 곳에서 쓰이고 있다. 그러나 과연 지금 활용되고 있는 빅데이터 분석이 제대로 쓰이고 있는지는 자신 있게 말할 수 없을 거 같다. ​

왜냐하면, 일단 빅데이터 알고리즘에는 너무 비밀이 많다. 기업의 비밀, 복잡성 등으로 인해 일일이 설명하기도 힘들고 일부러 알려고 하는 사람도 거의 없다. 그러다 보니 어떤 잠재적 문제가 있는지 검증조차 안되는 것이다. ​

문제는 생각보다 클 수가 있다. 예를 들어 프로그램을 짜본 사람을 잘 알 것이다. 글자 하나 잘못 써서 결과가 얼마나 문제가 될 수 있는지 말이다. 빅데이터를 이용한 각종 모형도 이런 위험성을 가지고 있다.

하지만 빅데이터에 관련된 기존의 책들은 빅데이터를 통해 얻을 수 있는 신기할 정도의 다양한 활용성이나, 예측성과 같은 긍정적인 면만을 대부분 이야기하고 있다. 이를 통해 아름다운 유토피아와 같은 사회가 이루어 질 거 같이 말하고 있다.

이에 반해 캐시 오닐의 책 '대량살상 수학무기'은 이런 환상을 철저히 깨트리고 있다.

빅데이터는 무조건적인 절대 선, 절대 정의가 아니며, 잘못된 적용으로 인해 많은 사람의 인생, 심지어 국가 시스템까지 파괴할 수 있는 엄청난 살상 무기가 될 수 있다고 말하고 있다.

저자 캐시 오닐은 수학 교수, 선물 거래 분석 리더를 거친 데이터 과학자로 각종 수학 모형을 개발했으며, 현재 알고리즘을 감사하고, 위험성을 측정하는 기업에 일하고 있다. 그녀가 했던 일을 봐서 알 수 있듯이 다양한 알고리즘을 접해온 인물이다.

​그래서 책 안에 그녀가 직접 겪었던 대량 살상무기가 된 수학의 많은 경우가 함께 나온다. 그녀가 이렇게 대량살상 수학무기 ( WMD Weapons of Math Destruction )에 관심을 가진 계기는 교수직을 그만두고, 월가로 직업을 바꿨을 때였다고 한다. 금융시장에서 자신의 수학적 지식이 긍정적으로 사용되리라 생각했으나, 현실 속에서는 잘못된 금융 시장을 숨기는 면피의 도구로 전락되고 이로 인해 결국 가난한 자에게 많은 고통을 주는 부역자가 되어버린 자신을 보고, WMD의 무서움을 절실히 느끼고, 이를 막기 위한 길을 걸어간 것이다.

저자는 우선 WMD의 세 가지 조건으로 불투명성, 확장, 피해를 말하고 있다. 야구와 같은 스포츠에 관련된 통계적 분석은 경기에서는 중요할지 모르지만, 이것이 아무리 규모가 커진다고 해도 일반인의 삶에 큰 영향을 끼치지는 않는다. 또한 분석에 이용되는 스포츠 자료는 공개되어 있고, 조작의 위험이 적다. 그만큼 자료가 투명한 것이다. 따라서 이런 유의 수학적 모형은 WMD라고 할 수 없다.

​그럼 어떤 것들이 WMD 일까? 책 속에는 법적 판결, 직원 채용, 교사 평가, 보험, 대출, 정치 등 많은 곳에서 이뤄지는 대량살상 수학무기를 실제 예를 들어 알려주고 있다.

잘못된 알고리즘 적용으로 성실하고 유능한 교사가 하루아침에 무능한 교사가 되어 퇴출될 수도 있고, 유색 인종이라는 이유만으로 같은 잘못을 저질러도 백인 보다 더 많은 형량이 구형될 수 있다. 어느 동네에 사는가에 따라 보험료나 이자가 달라질 수 있다.

그 중 떠오르는 것을 적어보면, 입사 시 치루게 되는 인성적성검사의 문제가 있다. 기업에 자신에 맞는 인재를 고르기 위해 치르는 일종의 설문인데, 문제는 정직한 대답보다는 높은 점수를 얻을 수 있는 문항을 고르게 된다는 것이다. 이 때문에 인성적성검사가 더 교묘해지지만, 지원자도 같이 교묘해지고 만다. 정직한 사람만 떨어지는 수학 모형인 것이다. 더 큰 문제는 이런 인성적성검사가 직무수행능력 측정하는데 큰 효과가 없다는 논문이 나왔다는 것이다.

직원들의 건강을 관리하는 웰니스 프로그램 이야기는 저자의 이야기보다 우리나라의 현실이 더 문제가 있음을 알 수 있었다. 미국의 웰니스는 일종의 강제 운동 프로그램이라면, 우리의 건강진단 시스템은 정리해고를 위한 데이터라는 것이다. 전에 체력진단 그런 일을 해본 적 있었는데, 그때 몇 개의 기업체에 납품했었다. 회사가 얼마나 좋으면 직원들 건강까지 챙겨주나 내심 그 회사가 부럽기도 하고, 오너가 존경스럽기도 했다. 하지만, 나중에 알고 보니, 인사고과에 이게 몰래 적용되고 있다는 것이다. 건강과 체력이 직무와 전혀 무관한 것은 아니지만, 그렇다고 중병에 걸리지 않은 사람까지 점수로 관리한 다는 것은 무리가 있다.

그리고 우리는 이미 국정원, 정치권, 언론과 같은 막강한 거대 권력이 국민의 생각을 조작하기 학자나 전문가를 이용하여 얼마나 치밀하게 작업했는지 알고 있다. 여론 조작을 위해 그들 나름대로 각종 통계를 이용한 모형을 만들어 나간 것이다. 바르고 더 좋아지는 대한민국을 포기하고 자신들의 권력을 지키기 위한 알고리즘 모형을 선택한 것이다. 결국 그 피해를 다수의 국민이 받게 되었다. 따라서 주요 관련자뿐만 아니라 여기에 편승한 전문가들 역시 처벌을 하지 않을 경우 앞으로 이러한 잘못된 모델은 고삐 풀린 망아지처럼 우리들을 위협하게 될 것이고, 이를 바로잡기 위해서도 많은 시간과 돈이 들게 될 것이다.

물론 이렇게 많은 문제가 있다고 해서 빅데이터를 반대하는 것도 시대를 거스르는 짓이다. 구더기 무서워 장 못 담굴 수는 없는 것이다. 빅데이터, 인공지능은 아무리 막아도 앞으로 더욱 폭넓게 적용될 것이다. 그렇기에 지금부터라도 잘못된 알고리즘을 막기 위한 노력이 필요하다고 저자는 주장하고 있다. 알고리즘 모형을 절대적으로 여겨서는 안되며, 적용에 문제가 없는지 지속적인 피드백을 해줘야 한다. 또한 처음부터 결론을 정하고 그에 맞추는 의도된 모형을 만들어서도 안된다. 내가 만든 수학적 모형이 WMD 인지 살펴봐야 한다. 의사가 히포크라테스 선서하는 것처럼 이젠 수학자나 과학자, 프로그래머도 이러한 양심 선서가 필요한 시대인 것이다.

'대량살상 수학무기'는 사피엔스 저자 유발 하라리의 추천 말과 같이 대단히 흥미롭고 굉장히 심란케 하는 책이다.

애니 사이코패스가 떠오르면서 내가 살면서 알게 모르게 겪을 수 밖에 없었던 알고리즘을 생각하게 한다.