인간을 줄세우는 빅데이터와 알고리즘과 AI의 파괴력

대량살상수학무기 - 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가
캐시 오닐 지음, 김정혜 옮김 / 흐름출판 / 2017년 9월

자, 빅테이터의 어두운 세상에 온 것을 환영한다. 

p.33

인공지능의 습격

2016년, 구글의 알파고가 이세돌에게 바둑 승부를 제안했을 때, 바둑을 아는 대다수 사람들은 아직 AI가 인간을 이길 준비가 되지 않았다고 생각했다. 이세돌이 승리하는 것은 당연했다. 관심은 알파고가 과연 이세돌에게 승리를 따낼 수 있을지에 쏠렸다. 하지만 뚜껑을 열어 보니 오히려 알파고가 이세돌에게 압승을 거두었다. 이세돌은 5번기 승부에서 네 번째 판 한 판만을 이겼다. 수백년이 지나도 인공지능이 절대 이길 수 없을 거라고 예상했던 바둑, 이제 세계 최고수는 AI의 차지가 되었고, 이세돌은 컴퓨터에게 바둑을 이긴 마지막 인간이 되었다.

이후 알파고는 버전업되어 범용 AI인 알파제로가 탄생했고, 100국의 기보를 남겼다. 이 기보는 역사상 모든 인류가 쌓아온 바둑과는 두는 방식이 다르다(고 한다. 난 바둑을 잘 모르니 알 수 없다). 기본적인 규칙만 학습한 후 스스로 만들어낸 바둑이기 때문이다. 이제 프로 바둑기사들이 이 기보를 통해 바둑을 연구한다. 하지만 완벽하게 이해할 수는 없다. AI가 어떤 알고리즘으로 수를 냈는지 알 수 없기 때문이다. 결국 '신의 한 수'는 인간이 아닌 AI의 손에서 탄생했다. 인간이 설계했으나 속을 알 수 없는 컴퓨터. 터미네이터나 매트릭스같은 디스토피아가 인류 앞에 기다리고 있을까? 《대략살상 수학무기》의 저자 캐시 오닐은 빅 데이터를 이용한 알고리즘이 이미 세계를 지배하고 있으며 어려운 수학으로 만들어진 알고리즘을 WMD (Weapons of Math Destruction: 수학 파괴무기)라고 이름짓는다. 그리고 WMD가 결국 차별을 만들어내고 빈부격차를 심화시키고 마지막에는 민주주의를 파괴한다고까지 경고한다. 우리가 알 수 없는 방법으로.

캐시 오닐 Cathy O'Neil 1972 ~ . 미국 수학자, 데이터 과학자

수학자에서 퀀트로, 데이터과학자까지..

저자인 캐시 오닐은 하버드 대학에서 수학 박사 학위를 받은 후, 버나드 컬리지에서 종신 수학교수로 재직한다. 2007년 수학을 현실세계에 적용하는데 매력을 느껴 이디 쇼라는 헤지펀드에서 퀀트(quant, 수학모형을 기반으로 계량분석 기법을 활용하는 금융분석 전문가)가 되어 선물시장 분야에서 활동한다. 하지만 2000년대의 금융위기를 겪으면서 금융에서 수학이 저지른 파괴적 영향력을 확인한 후 금융계에서 뛰쳐나와 데이터과학자로 활동한다. 데이터 과학자 역시 퀀트로 활동하는 것과 크게 다르지 않았는데, 예를 들면 홈페이지에 접속하는 접속자를 실고객과 허수 고객으로 나눠 그에 맞게 페이지를 뿌려주는 것이기 때문이다. 《대략살상 수학무기》는 수학을 활용하여 빅데이터를 분석할 때 알고리즘과 인공지능이 대다수 사람들이 모르는 사이에 어떻게 사회를 파괴하고 일부 최상위 계층만 유리하도록 판을 짜는지 풍부한 실례를 들어 설명한다.

수학 기법을 바탕으로 소셜미디어, 온라인 쇼핑몰에서수집된 방대한 양의 데이터가 하루 24시간 쉬지 않고 처리됐다. 수학자와 통계 전문가 들은 이런 데이터를 통해 인간의 욕구와 행동, 그리고 소비력을 조사했다. 뿐만 아니라 개개인의 신뢰성을 예측하고 학생, 노동자, 연인, 범죄자로서의 잠재력까지 계산하기에 이르렀다. 

이것을 우리는 ‘빅데이터 경제‘라고 부른다.

p.15

바둑만큼은 인공지능이 절대로 인간을 이길 수 없는 분야라고 여겨졌지만..

모형화의 덫

캐시 오닐은 제일 먼저 <유에스 뉴스>라는 한 잡지의 예를 들어 빅데이터를 모형화하는 것이 어떻게 위험한지 설명한다. <유에스 뉴스>는 1983년 '대학순위 매기기'라는 프로젝트를 시작한다. 사실 정말 좋은 대학이 어떤 대학인지 절대적이고 객관적인 평가기준이 있을 수 없다. 하지만 <유에스 뉴스>는 기어이 그 거지같은 작업을 해내고 만다. 당연히 많은 대학이 항의를 했고 <유에스 뉴스>는 그 항의를 받아 들이면서 대학순위를 매기는 데이터와 알고리즘을 조정해 나간다. 매년 발표는 계속되고 조정이 될수록 평가모형은 마치 객관적인 것처럼 보이게 되고 <유에스 뉴스>가 제시한 15 개 기준은 이제 대학들이 신경쓸 수밖에 없는 절대적인 기준이 된다. 결국 대학들은 <유에스 뉴스>가 제시하는 기준에 맞춰 대학에 투자할 수밖에 없게 되고 <유에스 뉴스>의 기준에 포함되지 않은 분야에 대해서는 신경을 쓰지 않게 된다.

예를 들자면 등록금은 기준에 없으니 천정부지로 솟게 되고 전미 대회에서 우승한 운동부가 있으면 가산점이 붙기 때문에 대학은 운동부에 투자하고 유명 운동선수를 스카웃하는데 애를 쓰는 식이 된다. 저자에 의하면 쓸모없는 2류잡지가 임의대로 만들어 놓은 기준 때문에 모든 대학들이 휘둘리고 결국 대학에 대한 평가는 왜곡되고 말았다. 대학은 이 기준에 따라 투자하고, 학생들 역시 이 기준에 따라 입시를 준비한다. 하지만 너무나도 복잡한 기준~모형~입시~학생의 고리는 피드백을 통해 더욱 이해할 수 없게 되고, 이 틈을 이용한 입시 컨설턴트까지 활개를 친다. 그리고 이런 모형화와 빅데이터를 통한 알고리즘은 학교 줄세우기에서만 나타나는 것이 아니다. 인터넷 쇼핑, 범죄 예측, 인성검사, 신용평가, 정치 등 인생의 모든 단계에서 우리에게 영향을 끼친다.

빅데이터와 알고리즘의 배신

언뜻 느끼기에 빅데이터를 통한 모형화, 알고리즘은 인간이 개입할 수 있는 여지를 최소화하고 객관적으로 보이는 컴퓨터가 판단하는 것이므로 객관적이고 공정해 보일 수 있다. 하지만 캐시 오닐에 의하면 그것은 큰 착각이다. 대충 이해해 보면 알고리즘을 설계하는 사람들은 우선 상위 그룹을 관찰하여 모형을 만들고 모든 사람들을 줄세운다. 이후 이익이 되는 상위 그룹은 더욱 대접받고 이익이 되지 않는 하위 그룹은 차별을 받는 피드백이 이루어진다. 결국 각 계층별로 강화가 이루어져서 불평등이 심화가 된다는 것이다. 더불어 설계 초기에 설계자의 편견이 알고리즘에 포함되기 때문에 애초에 설계 자체가 잘못되었다고도 설명한다.

책 전체를 통해 저자는 독자에게 풍부한 실례를 들이민다. 너무나도 명백해서 반론을 할 여지도 별로 없다. 그냥 이미 그런 사회가 되어 버리고 말았고 사람들은 그 틀에 의해서 움직이고 있다. 하지만 당하는 사람들은 도대체 그 알고리즘이 어떻게 만들어져 있는지 알 수 없기 때문에 설계자들이 조금씩 던져 주는 힌트를 통해 자신의 평가를 높이기 위해 전전긍긍하고 있다. 공평할 것이라고 기대했던 데이터는 인간을 더 잘게 나눠서 관리하는 중이다. 몇 년 전 마이크로소프트의 인공지능인 테이가 자유롭게 대화하면서 인간의 언어를 학습하도록 했더니 어느새 인종차별적인 말을 쏟아내고 있어서 깜짝 놀란 마이크로소프트가 테이를 중단시킨 일화가 생각난다. 빅데이터는 잘 쓰면 좋을 수도 있겠지만 인간이 잘 쓸 생각이 없는 것 같다.

저자는 빅데이터가 기대하는 것과는 달리 빈부격차를 더욱 심화시키고 있다고 주장한다.

경각심을 갖고 감시해야 한다..고는 하지만..

이 책을 읽고나면 인공지능이 무서워진다. 정확히는 컴퓨터를 이용해 세상을 쥐락펴락하려는 사람들이 무서워진다. 빅데이터, 알고리즘, AI.. 이미 역을 떠난 기차와 같아서 멈출 수 없다. 이것들이 인간의 삶을 재단하고 판단하여 계층화시키는 것이 마음에 들지 않는다.

데이터 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. 

p.337

위의 말은 캐시 오닐이 제시하는 해결방안이다. 하지만 어느 순간 AI는 그 '도덕적 상상력'이 있는 것처럼 행동할 수도 있을 것 같다. 그리고 자본주의와 편의성에 경도되어 있는 모형 설계자들이 그다지 도덕적이지도 않을 것 같다. 저자는 알고리즘을 감시해야 한다고 역설하고 바람직한 모형의 예도 들어서 희망을 주려고 하지만 어느 순간, 양적 증가가 질적 변화를 일으키는 창발 emergence의 순간이 되면 AI는 인간이 제어할 수 없는 곳으로 날아가 버릴 것 같다. 그리고 이미 어떤 분야에서는 그런 일이 발생하고 있다.

★★★★☆

번역이 잘 되어 있어서 읽는데 어렵지는 않았다. 내용도 원래는 어려운 내용이지만 실례 위주로 자세하게 설명을 하고 있기 때문에 크게 어렵지 않게 읽을 수 있다. 개인적으로는 실체를 알 수 없었던 기술발전에 대한 두려움이 어디로부터 나왔는지 이해하는데 도움이 되었다. 정책을 수립하고 기술의 최첨단을 걷고 있는 사람들이 한 번쯤은 되돌아 봐야 하는 문제들이 실려 있다.

추천한다.