플로리다주에서는 운전 기록이 완벽해도 신용평가점수가...

플로리다주에서는 운전 기록이 완벽해도 신용평가점수가낮으면, 신용등급이 매우 우수하지만 음주운전으로 유죄 판결을 받은 경우보다 평균 1552달러의 보험료를 더 부담해야만 했다.
경제 전반에 걸쳐 신용평가점수에 대한 의존도가 커지는 것이 빈곤층에게 어떤 불이익을 가하는지는 이미 앞에서 알아보았다. 자동차 보험료와 신용평가점수의 관계는 그런 추세에 대한 또 다른 사례다. 이는 사실 아주 고약한 사례이기도 하다. 모든 운전자가 자동차보험에 의무적으로 가입해야 하기 때문에 그렇다. 하지만 자동차보험과 다른 신용평가점수 활용 사례들 사이에는 두드러진 차이점이 있다. 자동차 보험은 운전자의 안전과 직접 연관되는 데이터가 있는데도 대리 데이터를 더 중요하게 취급한다. - P274

보험사들의 모형은 어째서 신용평가점수를 더 중요하게 취급하는것일까? 우선은 다른 WMD와 마찬가지로, 보험사의 자동 시스템도 신용평가점수를 매우 효율적이고 대대적인 방식으로 처리할 수 있기 때문이다. 하지만 가장 주된 이유는 이익과 관련 있다. 신용평가점수를 활용하면 완벽한 운전 솜씨를 자랑하는 이른바 무결점 운전자에게서도 해마다 1552 달러를 추가로 거둬들일 수 있는데, 굳이 그런 시스템을 바꿀 이유가 있을까? - P275

연구진의 결론은 이랬다. "누군가의 감정 상태는 다른 사람들에게 전이될 수 있고, 자신도 모르는 사이에 그 사람과 똑같은 감정을 경험하게 만든다." 즉, 페이스북 알고리즘은 마음만 먹으면 수백만 명의 감정을 누구도 눈치채지 못하게 조작할 수 있다. 만약 페이스북의 알고리즘이 선거일에 사람들의 감정을 조작한다면 어떻게 될까?
페이스북에서 일하는 사회과학자들이 정치 시스템을 적극적으로조종하고 있다고 의심할 만한 증거는 없다. 이들은 20여년 전만 해도 오직 상상 속에서만 존재하는 플랫폼에서 연구할 기회를 잡은 학자들일 뿐이다. 그러나 이들의 연구는 페이스북이 우리가 무엇을 배우고 어떤 기분을 느끼고, 투표할지 말지 결정하는데 영향을 미치는 강력한 힘이 있음을 증명했다. 페이스북의 플랫폼은 거대하고 강력하며 불투명하다. 게다가 페이스북의 알고리즘은 대중에게 공개되지않는다. 대중은 오직 페이스북이 공개하기로 선택한 실험 결과만 볼수 있을 뿐이다. - P306

이런 이중성은 혹은 다중성은 정치권에서 새삼스러운 것이 아니다. 예로부터 정치인들은 유권자 각각에게 맞는 다양한 모습을 보여주기 위해 노력했다. 가령 위스콘신 주 밀워키에서는 폴란드의 전통음식 킬바슈를 먹고, 뉴욕의 브루클린에서는 유대교의 율법을 인용하며, 아이오와에서는 옥수수에서 추출한 에탄올을 입에 침이 마르도록 칭찬하는 식이다. 그러나 롬니가 뼈저리게 경험했듯, 오늘날에는 정치인들이 외부인들을 배척하는 극단적인 주장을 한다면 발달된 기술이 언제라도 그들을 무너뜨릴 수 있게 됐다.
현대의 소비자 마케팅은 정치인들을 특정한 유권자들에게로 데려다주는 새로운 경로를 제공한다. 이제 정치인들은 각 유권자 집단의 욕구에 맞춤화된 정보를 들려줄 수 있다. 일단 그렇게 하고 나면, 유권자들은 정치인들에게서 들은 정보를 액면 그대로 받아들일 가능성이 큰데, 그 주장이 자신들의 기존 믿음을 확인시켜주기 때문이다.
심리학자들은 이를 확증편향이라고 부른다.  - P311

직접우편물은 보조바퀴들을, 다른 말로 세분화된 소규모 집단을목표로 하는 마이크로 타기팅 micro-targeting 시대를 열었다. 빅데이터와 소비자 마케팅의 결합은 오늘날 정치인들에게 훨씬 강력한 마이크로 타기팅 도구를 제공한다. 요즘 정치인들은 유권자의 표심을 얻고 정치후원금을 모금하기 위해 세분화된 소규모 시민집단들을 표적공략할 뿐 아니라, 각 집단에 맞춰 철저히 다듬어지고 외부인들에게는 공개되지 않을 메시지를 앞세워 지지를 호소할 수 있게 됐다. 페이스북에 올린 배너광고나 정치후원금을 독려하는 이메일이 좋은예다. - P313

미국 국새에 새겨져 있는 라틴어 표어 "여럿으로 이뤄진 하나Pharibus Unm, 영어로는 Out of Many, One"에서 볼 수 있듯, 미국은 다양성의 나라다. 그런데 WMD들은 그 공식을 뒤집는다. WMD들은 어둠 속에서 은밀히 작동하면서 하나를 여럿으로 나누는 동시에, 우리의 가까운 이웃과 먼 이웃들에게 가하는 수많은 피해를 은폐한다. 싱글맘은 들쑥날쑥한 근무 일정에 시달리지만, 아이를 돌봐줄 사람을 찾지못한다. 생활고로 허덕이는 젊은이는 지원한 회사의 인성적성검사결과 때문에 시간제 일자리조차 구하지 못한다. 가난한 소수 계층의 청소년들은 경찰에게 불심검문을 당하거나 폭행을 당한다. 가난한 동네로 분류된 지역의 우편번호를 사용하는 주유소 종업원은 남들보다 훨씬 비싼 보험료를 부담해야 한다. 요컨대, WMD의 마수가 뻔치는 곳에서는 가난한 사람들이 가장 큰 타격을 입고, 중산층도 어느정도 피해를 입는 소리 없는 전쟁이 벌어진다. 게다가 피해자들은 대부분 처지가 엇비슷한데, WMD에 맞서 싸울 경제력이 없거나 변호사를 고용할 처지가 안 된다. 혹은 자금력이 풍부해서 그들이 후원금을 내지 않더라도 대신 싸워줄 정치단체를 찾지 못한다. 그리하여 광범위한 피해가 마치 운명처럼 받아들여지는 경우가 허다하다. - P331

데이터 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다.
미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. 우리는 더 나은 가치를 알고리즘에 명백히 포함시키고, 우리의 윤리적 지표를 따르는 빅데이터 모형을 창조해야 한다. 그렇게 하려면 가끔은 이익보다 공정성을 우선시해야 한다. - P337

우리의 삶을 갈수록 광범위하게 지배하는 수학 모형을 규제하려면먼저 무엇을 해야 할까? 나는 출발점을 모형 개발자들에게서 찾아야한다고 생각한다. 의사들이 그러하듯이, 데이터과학자들도 자신들이만든 모형이 오남용되고 잘못 해석될 가능성에 대항할 일종의 히포크라테스 선서를 해야 한다. 2008년 금융시장이 붕괴한 이후에 금융공학자인 이매뉴얼 더만과 폴 윌모트는 실제로 모형 개발자를 위한히포크라테스 선서를 작성했다.

• 나는 내가 세상을 만드는 것이 아니며, 세상이 내 방정식을 따르지 않음을 명심하겠습니다.
나는 가치를 추산하기 위해 모형을 대담하게 사용할지언정, 수학에 지나치게 감동받지는 않겠습니다.
• 나는 이유를 설명하지 않고는 우아함 때문에 현실을 결코 희생시키지 않겠습니다.
• 나는 내 모형을 사용하는 사람들이 그 정확성에 대해 거짓된 위안을 갖도록 하지 않겠습니다. 대신에 나는 모형에 이용된 가정과 간과된 점들을 분명히 밝히겠습니다.
• 나는 내 일이 사회와 경제에 지대한 영향을 끼칠 수 있음을, 그런 영향의 상당 부분이 나의 이해 수준을 능가하는 것임을 명심하겠습니다.

이 같은 선서는 바람직한 철학적 토대가 된다. 그러나 확고한 가치관과 자기 절제력은 오직 양심적인 사람들에게만 효과를 발휘할 뿐, 비양심적인 사람들에게는 무용지물이다. 더군다나 모형 개발자의 히포크라테스 선서는, 상사가 구체적인 대답을 요구할 때 데이터과학자들이 종종 맞닥뜨리는 현장의 압박을 막아주지 못한다. 따라서 유해한 WMD를 제거하려면, 데이터 세상에서 모범적인 관행을 구축하는 것 이상을 해야 한다. 즉, 법률이 변해야 한다. - P339

WMD들이 득세하게 된다. 일터에서 우리를 기계 부품처럼 취급하고, 가난한 사람들에게서 취업 기회를 빼앗아가고, 건강에 이상이 있는 직원들을 배척하며, 온갖 불평등한 만행을 저지르는 치명적인 수학 모형이 모든 것을 지배하게 될지도 모른다. WMD들을 규제하고 길들이며 무장해제시키기 위해 우리 모두는 힘을 합쳐야 한다. 나는21세기 초반의 WMD들이 100여 년 전 참혹했던 석탄 광산처럼 기억되기를 바란다. 인간이 데이터의 시대에 공정성과 책임성을 반영하는 법을 배우지 못했던 새로운 혁명의 초창기 시절의 유물로 기억되기를 희망한다. 수학은 WMD보다 더 나은 대접을 받을 자격이 충분하다. 민주주의도 마찬가지다. - P359