틱톡의 미국 시장 성공은 ‘AI 침공‘이 두려워해야 ...

틱톡의 미국 시장 성공은 ‘AI 침공‘이 두려워해야 할 만큼 현실화됐다는 걸 알려준다.

기업들은 로봇이 수십억 명의 현실에 미치는 영향을 대수롭지 않게 여 기게 되었다. 그런데 기계의 힘을 알려주는 징후를 자주 놓쳤다. 중국산 앱 틱톡이 사용자에게 보여주는 영상은 거의 알고리즘이 고른 것이다. 틱톡을 만든 엔지니어 대다수가 영어를 모르거나 미국 문화를 이해하지 못하는데도, 틱톡의 AI가 매우 정교한 덕분에 미국에 선보이자마자 사용자를 무려 8천만 명이나 끌어모았고, 이 사용자들이 한 번에 몇 시간씩 틱톡을 사용하는 일이 숱하다.
투자가 유진 웨이Eugene Wei는 틱톡을 놓고 "반응성과 정확성이 상당히 뛰어난 기계학습 알고리즘은 문화적 무지라는 장막을 뚫을 수 있다. 문 화는 분리될 수 있다"고 설명했다. 유튜브 알고리즘팀의 한 엔지니어는 <월스트리트 저널》에 "우리는 굳이 많이 생각할 필요가 없습니다. 원본 데이터를 집어넣고 알고리즘이 처리하게 두면 되니까요"라고 말했다. - P171

수치가 절대선일 정량 평가 사회는 잔인해진다.

수치가 절대선일 정량 평가 사회는 잔인해진다.

아마존 창업주 제프 베이조스는 지금도 실리콘밸리에서 회자되는 한 주주 서신에 이렇게 적었다.
"오른 답과 틀린 답, 더 좋은 답과 더 나쁜 답이 있는 상황에서 수학은 어느 쪽이 옳은지 더 좋은지를 알려줍니다." 다른 회사는 구글로, 도어는 구글의 젊은 창업자들에게 직접 그로브의 복음을 가르쳤다. 수전 워치츠키도 그중 한 명이었다.
그런데 실리콘밸리의 영향력이 커지자, 무슨 수를 쓰든 최적화를 달성하려는 이런 문화가 2차 효과를 일으켰다. 승차 공유 서비스 우버가 가장 빠른 승객 탑승을 목표로 최적화하자 전 세계 택시 시장에서 노동자 보호정책이 마련되었다. 에어비앤비가 단기 대여 수입을 목표로 최적화하자 장기 임대 주택이 드물어지고 더 비싸졌다. 소셜네트워크는 최대한 많은 사용자를 끌어모아 최대한 오랫동안 붙잡아 두는 것을 목표로 최적화했으므로, 가장 큰 영향을 미쳤을 것이다. 샤슬로는 이렇게 평가했다. "정량화 지표는 스타트업을 구축하기에 대단히 좋은 방법이었습니다. 당신이 한 지표에 초점을 맞추면, 모든 구성원이 그 지표에 초점을 맞추니까요. 그러니 성장에 정말로 효율적이죠. 하지만 다른 여러 상황에는 재앙을 부릅니다." - P161

오직 시청시간만이 잣대가 돼버린 유튜브는 그 임무를 ...

오직 시청시간만이 잣대가 돼버린 유튜브는 그 임무를 수행할 최고의 일꾼을 찾았다. 알고리즘이라는 직원은 선악이나 시비를 따지지 않는다. 따지도록 가르칠 수 있지만 가르치지 않는다는 편이 맞지 않을까. 그렇게 유튜브가 짠 매트릭스에서 정치와 이념이 움직이고 있다.

알고리즘의 목적은 관심사를 더 자극적으로 변형한 영상을 이용해 사용자를 끌어들이는 것이다. 그 관 심사가 고양이나 자전거일 때는 영향이 미미하다. 하지만 정치, 건강처럼 사회에 중대한 주제라면, 심각한 영향을 미칠 수 있다.
추천 시스템의 힘이 커지는 사이, 샤슬로가 시스템이 이상한 경향을 보이는 것을 알아챘다. 유튜브 시스템이 여성을 향한 분노를 옹호하는 동영상을 보도록 많은 사용자를 유도했다. 게임 문화 비평가 어니타 사키지언처럼 특정인을 겨냥할 때도 있었고, 여성 전체를 겨냥할 때도 있었다. 남성은 여성보다 유튜브 시청 시간이 40% 더 길었다. 당시 유튜브에 비디오게임 관련 콘텐츠가 대단히 많았던 것도 한 이유였다. 샤슬로는 알고리즘이 자연스럽게 남성 중심의 콘텐츠에 힘을 실어주는 것을 알아차렸다.
트위터와 레딧에서 그랬듯, 유튜브에서도 격분과 부족주의 tribalism가 사용자의 감정을 매우 효과적으로 활성화해 점점 더 많은 영상을 보게 한다.
구드로가 샤슬로의 팀에 최우선으로 요청한 과제가 바로 이것이었다. 알고리즘은 비디오게임광에게 페미니즘에 격분하는 영상을 되풀이해 보여주면 시청 시간이 는다는 것을 학습했다. 동영상은 단순히 젊기 때문에 자신이 성차별 문제를 어떻게 느끼는지 잘 알지 못하는 남성들에 주로 초점을 맞췄다. 샤슬로는 "이 악순환이 바로 문제의 토끼굴을 만듭니다"라고 설명했다. 많은 사용자가 무시하더라도, 적잖은 사용자가 그런 동영상에 빠져들어 비슷한 영상을 계속 내보내게 시스템을 훈련할 것이다. 영상 제작자들은 ‘페미니즘의 진실‘ 같은 제목을 달면 조회수가 치솟는 것을 깨닫고서 그런 영상을 더 많이 만들었다. - P154

알고리즘이 미끼를 던진다. 미끼를 문 사람들을 모아 ...

알고리즘이 미끼를 던진다. 미끼를 문 사람들을 모아 분노케 하고 조직화한다. 알고리즘이 가진 하나의 목적은 그들이 그렇게 분노를 키우고 배설하는 동안 그들의 SNS에 오래오래 머물게 하는 것. 그것을 위해 편가르기와 분노가 가장 유용하다는 걸 SNS 개발자들이 알고리즘에게 가르쳤다.

페이스북은 어떤 사용자가 이런 부추김에 넘어갈 때마다 다른 사용자도 똑같이 행동하게 유도하도록 시스템을 훈련했다. 디레스타는 "사용자가 미끼를 물면, 페이스북은 그런 학습을 강화했어요. 그러면 알고리즘이 그런 강화 학습을 받아들여 가중치를 늘리고요"라고 말했다.
디레스타가 비공식적으로 조직한 소셜미디어 감시자 단체에 속한 사람들도 페이스북을 포함한 플랫폼들이 자신들을 비슷한 방식으로 유도하는것을 눈치챘다. 그런 인공지능이 저마다 인간 본성과 관련한 끔찍하고도 평범한 진실에 공통으로 도달했다는 듯, 거듭 똑같은 양상이 펼쳐졌다. 디레스타는 이것을 추천 엔진을 통한 과격화라 불렀다. "사용자 참여도를 척도로 둔 탓에, 분노로 가득 찬 콘텐츠가 기준이 되는 세상을 만든 거죠."
알고리즘의 로직은 탄탄하고 뛰어나기까지 했다. 과격화는 망상에 사로잡혀 인생을 허비하는 과정이다. 망상에 빠진 사람들에게는 소셜미디어 플랫폼이 일상생활의 중심이 된다. 몇 번이고 소셜미디어를 찾고, 망상이 곧 정체성이 된다. 자기네가 내건 대의의 위기에 초조한 과격파들이 다른 과격파를 모집한다. 디레스타는 "우리가 사람들로 하여금 분노 콘텐츠를 적극적으로 권하게 하는 분노 기계를 만들었고" 그곳에서 과격화된 사람들이 그 뒤로 "분노 콘텐츠의 전파자"가 되었다고 지적했다. - P92

SNS에서 사람들은 왜 더 폭력적이 될까? 혹시 S...

SNS에서 사람들은 왜 더 폭력적이 될까?
혹시 SNS 회사들이 그 폭력화에 한몫하고 있는 건 아닐까?

그렇다. SNS 회사들은 가입자수 확대를 위해 폭력화의 버튼을 기꺼이 눌렀다.
인류가 인지적으로 관계를 유지할 수 있는 이른바 ‘던바의 수‘ 150명. 묘하게 SNS도 이 한계를 넘지 못했다. 원숭이들의 실험은 150명이 넘는 공동체에서는 투쟁과 도피 반응이 커지는 것을 보여줬다.

우리 뇌가 감당할 수 있는 안락의 한계를 넘도록 유도하는 SNS는 ‘폭력화‘라는 지뢰밭으로 수십억 인구를 몰아넣고 있는 것이다.

페이스북은 사용자 참여를 끌어올릴 수 있기를 바라며 이른바 던바의 수를 깨는 실험에 들어갔다. 1990년대에 영국 인류학자 로빈 던바 Robin Dunbar가 인간이 인지적으로 유지할 수 있는 인간관계는 150명이 한계라는 주장을 내놓았다. 150명은 우리가 진화한 사회 집단이 최대 150명인 데서 얻은 숫자다. 이 숫자를 넘기면 우리 뇌에서 사회 인지를 담당하는 신피질neocortex이 한계에 다다른다. 우리 행동도 회로 차단기가 작동하듯 바뀌어 다시 150명으로 돌아가려 한다. 온라인에서마저 사람들은 던바의 수에 자연스럽게 수렴했다. 2010년에 페이스북 사용자의 친구 수는 평균 130명이었고, 소셜네트워크 게임 프렌드스터는 친구 수를 아예 150명으로 제한했다.
"던바의 저주에서 벗어나는" 것은 실리콘밸리의 오랜 꿈이었다. 저커버그는 그 저주를 깨겠다고 공언했다. 하지만 계획이 물거품이 되었다.
아무리 페이스북이라도 수백만 년에 걸친 진화를 넘어설 수는 없었다. 적어도 아직은. 2013년에 다시 사용자 증가가 멈추자, 페이스북은 던바의 저주를 깨겠다는 목표를 중심으로 플랫폼을 재설계했다. 사용자에게 ‘약한 관계‘, 즉 친구의 친구, 지인의 지인, 친척의 친척이 만든 콘텐츠를 쏟아냈다.
정교한 알고리즘을 활용한 덕분에, 이 계획이 효과를 거뒀다. 페이스북은 던바의 수를 넘어 계속 확장하는, 건너 건너 아는 사람들의 집단으로 사용자를 끌어들었다. 비슷한 시기에 같은 정책을 펼친 트위터도 사용자에게낯선 사람의 트윗을 보여줘 친구의 친구를 팔로우하게 자극했다. 이 회사들은 인간이 타고난 신경학적 한계를 우회할 때 나타날 결과를 그리 신경쓰지 않았다. 늘 그랬듯 자기네 상품이 본질적으로 사람을 해방한다는 믿음 속에 회사를 운영했기 때문이다.
그런데 던바의 수가 인간과 비슷하다는 레서스원숭이와 마카크원숭이를 연구한 결과에 따르면, 이 원숭이들을 넌바의 수보다 더 큰 집단에 집어넣으면 공격성과 폭력성이 커지고 서로 더 불신했다. 마치 공동체 생활의 위험은 모조리 증가하고 기쁨은 줄어드는 듯한 모습이었다. 원숭이들은 부자연스럽게 큰 집단을 안전하게 탐색하는 일이 자기네 능력을 넘어선다는것을 알아챈 듯 끝없이 사회적 투쟁-도피 반응을 이어갔다. 또 일종의 방어 기제로 사회적 위기를 형성해 강제하는 데 더 몰두하는 모습을 보였다. - P91