결국 ‘데이터‘는 무색무취한 단어가 되어 자신의 물질적 기원과 종말을 둘 다 감추고 있다. 데이터가 추상적이고 비물질적인 것으로 간주된다면 배려, 동의, 위험 등에 대한 전통적 이해와 책임을더 쉽게 벗어날 수 있다. 연구자 루크 스타크와 애나 로런 호프먼이 주장하듯, 데이터를 그저 발견되기를 기다리는 ‘천연자원‘에 빗대는 은유는 식민주의 열강들이 수백 년간 써먹은 탄탄한 수사적 수법이다." 원시적이고 ‘정제되지 않은‘ 출처에서 온 것이라면 추출은 정당화된다." 데이터를 그저 추출되기만 기다리는 석유로 치부한다면 기계학습은 마땅히 필요한 정제 과정으로 간주할 수 있다.
_ 데이터 중 - P135
데이터가 이해되고 수집되고 분류되고 명명되는 방식은 기본적으로 세계 만들기 world-making 와 담기 containment의 행위다. 이것은 인공지능이 세상에서 어떻게 작동하는지, 어떤 집단이 가장 큰 피해를 입는지에 엄청난 영향을 미친다. 전산학에서 데이터 수집이 선의의 행위라는 신화는 권력의 작동 실태를 가려, 가장 많은 이익을 얻으면서도 결과에 대한 책임을 모면하는 자들을 보호한다.
_ 데이터 중 - P145
분류의 정치는 인공지능에서도 핵심적인 수법이다. 분류 행위는 대학 연구실에서 기술업계에 이르는 여러 분야에서 기계 지능이 어떻게 인식되고 생산되는지에 영향을 미친다. 제3장에서 보았듯 세상의 인공물은 추출, 측정, 라벨 달기, 순서 정하기를 통해 데이터로 전환되며 이 실축자료는 그 데이터로 훈련받은 기술 시스템을 (의도적으로든 아니든) 오도할 우려가 있다.
_ 분류 중 - P151
편향과 분류의 관계를 이해하려면 데이터 집합이 편향되었는지 아닌지를 판단하는 것 같은 지식 생산에 대한 분석을 넘어서서 지식이 구성되는 현상 자체(사회학자 캐린 노어 서티나가 ‘인식론적 기계‘라고부르는 것)의 역학 관계를 살펴보아야 한다. 그러려면 역사 전반의 불평등 패턴이 어떻게 자원과 기회에 대한 접근에 영향을 미치고 이것이 다시 데이터에 영향을 미치는지 관찰해야 한다. 그러고 난 뒤그 데이터는 기술 시스템에서 분류와 패턴 인식을 위해 수집되며,
이렇게 산출된 결과는 그럭저럭 객관적인 것으로 인식된다. 하지만이 결과는 실은 통계학적 우로보로스(문장에 새겨진 고대 이집트와 그리스의뱀으로, 꼬리를 계속 먹어 들어가다가 결국 다시 태어나는 모습을 하고 있다 - 옮긴이)다.
기술적 중립성이라는 탈을 쓰고 사회적 불평등을 증폭하는 자기 강화식 차별 기계인 것이다.
_ 분류 중 - P156
다시 말하지만 분류 행위는 권력을 집중시킨다. 이것은 어떤 차이가 ‘차이‘를 만드는지 결정하는 권력을 말한다.
_ 분류 중 - P158
브라운의 정의에 따르면 디지털 표피화는 감시 기술의 비실체적 시선이 ‘주체의 주장에도 아랑곳없이 몸과 정체성에 대한 진실을 만들어냄으로써 주체를 소외하는 일을 하는‘ 권력의 행사를 말한다.
분류의 다양성에 대한 IBM 접근법의 기본적 문제점들은 이런종류의 중앙 집중화된 정체성 생산에서 자라나며 이것을 주도한 것은 연구진이 이용할 수 있던 기계학습 기법이었다.
_ 분류 중 - P159
이 명명 행위는 권력과 식민주의적 통제의 행사였으며 그러한 분류의 부정적 영향은 제국보다 오래 남기도 한다. 분류는 앎의방식을 만들어내고 제한하는 기술이며 AI의 논리에 새겨져 있다.
_ 분류 중 - P176
전산학의 문제는 AI 시스템에서 정의가 결코 부호화되거나 연산될 수 있는 것이 아니라는 점이다. 최적화 지표와 통계적 동등성을 넘어서서 시스템을 평가하고 수학과 공학의 얼개가 어디서 문제를 일으키는지 이해하는 변화가 필요하다.
_ 분류 중 - P176
‘권력은 요구하지 않으면 아무것도 양보하지 않는다. 결코 그러지 않았고 결코 그러지 않을 것이다‘
_ 분류 중 - P178
상대방의 얼굴에서 감정 상태를 정확히 예측할 수 있다는 ‘신뢰할 만한 근거는 전혀 없다‘
_ 감정 중 - P183
‘더 일반적으로 보자면 기술 기업들은 근본적으로 틀린 질문을 던지고 있는 듯하다. 맥락의 다양한 측면을 고려하지 않은 채 얼굴 움직임을 분석하는 것만으로 사람들의 내적 상태를 읽어내려는 노력은 잘해야 불완전하며 최악의 경우에는 연산 알고리즘이 아무리 정교하더라도 타당성을 완전히 잃을 수 있다. (………) 이 기술을 이용하여 얼굴 움직임을 토대로 사람들이 무엇을 느끼는지에 대한 결론에 도달하려는것은 시기상조다
_ 감정 중 - P212
AI 시스템은 우리의 신체적 자아가겪는 가변적이고 사적이고 다양한 경험을 추출하려 하지만 그 결과물은 감정적 경험의 뉘앙스를 포착하지 못하는 만화적 스케치에 불과하다.
_ 감정 중 - P213
AI의 전체 논리에 스며 있는 것은 표적, 자산, 이상 탐지 같은 명백한 전투 중심 개념에서 고위험, 중위험, 저위험 같은 더 미묘한 범주에 이르는 일종의 분류적 사고다. 지속적 상황 주시 및 표적 개념은 수십 년간 AI 연구를 주도하며 업계와 학계에 영향을미칠 인식론적 토대를 놓았다.
국가 중 - P219
|