[마이리뷰] AI 지도책

AI 지도책 - 세계의 부와 권력을 재편하는 인공지능의 실체
케이트 크로퍼드 지음, 노승영 옮김 / 소소의책 / 2022년 11월

제1차 상쇄는 흔히 1950년대의 핵무기 사용으로 이해된다."
제2차 상쇄는 1970년대와 1980년대에 추진된 비밀, 병참, 재래식 무기의 팽창이었다. 카터에 따르면 제3차 상쇄는 AI, 컴퓨터 전쟁, 로봇의 조합이어야 한다." 하지만 국가안보국이 탄탄한 감시 능력을 갖춘 것과 달리 미 군부는 미국 유수의 기술 기업들이 가진 AI 자원, 전문성, 인프라를 보유하지 못했다. 2014년 로버트 워크 국방부 부장관은 제3차 상쇄를 ‘인공지능과 자율 구동에서의 모든 발전을 활용하려는 시도로 규정했다."

_ 국가 중 - P223

궁극적으로 국방부가 원한 것은 적 전투원을 탐지하고 추적하는 자동 드론 영상 검색 엔진이었다.

_ 국가 중 - P224

질서 정연한 수확. 생산의 순환을 촉진하기 위해 밭을 가는 것처럼 말이다. 필 애그리는 이렇게 주장한 적이 있다. ‘현재의 기술은 몸을 숨긴 철학이다. 관건은 기술을 공공연히 철학적인 것으로 만드는 것이다.‘

_ 국가 중 - P245

정치학자 버지니아 유뱅크스가 ‘자동화된 불평등‘에서 밝히듯 AI 시스템이 복지국가의 일부로 운용되면 사람들에게 지원을 확대하는 수단보다는 공적 자원에 대한 접근을 감시하고 평가하고 제한하는 수단으로 주로 이용된다.

_ 국가 중 - P243

국가는 자신이 통제할 수 없고 온전히 이해하지도 못하는 기술 기업들과 계약을 맺고있으며 기술 기업들은 자신에게 적합하지 않고 미래의 어느 시점에는 책임져야 할지도 모르는 국가적 · 초국가적 기능을 떠맡고 있다.
.
_ 국가 중 - P246

국가안보국의 독특한 방법과 도구는 교실, 경찰서, 직장, 고용지원센터에 스며들었다. 이것은 막대한 투자, 사실상의 민영화, 위험과 공포를 이용한 안보 정당화가 낳은 결과다.

_ 국가 중 - P247

정확한 예측이란 세상의 복잡성을 단순화하는 것이라는 믿음은 사회에 대한 암묵적 이론을 낳았다. 그것은 잡음 속에서 신호를 찾고 무질서에서 질서를 만들어내라는것이었다.

_ 권력 중 - P252

청사진에서 보듯 인공지능 산업은 국방비와 연방 연구 기관에서 공공시설과 세금 감면, 검색 엔진을 이용하거나 이미지를 온라인에 게시하는 사람들에게서 취한 데이터와 무급 노동에 이르는 공적보조금을 받으며 팽창했다. AI는 20세기의 주요 공공사업으로 시작되었으며 무차별적으로 민영화되어 추출 피라미드의 꼭대기에 있는 극소수에게 막대한 금전적 이익을 가져다준다.

_ 권력 중 - P256

AI는 볼리비아의 소금 호수와 콩고의 광산에서 탄생하여, 크라우드 노동자들에 의해 라벨링되며 인간의 행동과 감정과 정체성을분류하려 드는 데이터 집합으로부터 구성된다. 예멘 상공에 드론을날리고 미국에서 이민자 단속을 지휘하고 전 세계에서 인간의 가치와 위험에 대한 신용 점수를 조정하는 데 이용된다. 이 중첩하는 체제와 맞서려면 AI를 광각廣角적이고 다 규모적인 관점에서 바라보아야 한다.

_ 권력 중 - P258

한때 정보기관의 면죄부이던 ‘모조리 수집하라‘ 사고방식은 이제 정상으로 뿐아니라 규범으로 취급받으며, 가능할 때마다 데이터를 수집하지 않는 것이야말로 낭비로 치부된다.

_ 권력 중 - P260

AI는 체계화할 수 없는 것을 체계화하고, 사회적인 것을 규격화하고, 무한히 복잡하고 변화하는 우주를 기계가 읽을 수 있는 린네식 질서로 바꾸려 든다.

_ 권력 중 - P262

기술 부문을 평가할 때가 왔다. 지금껏 업계의 통상적 반응은AI 윤리 원칙에 서명하는 것이었다. 유럽 의회 의원 마리트 스하커에 따르면 2019년에 AI 윤리 규정은 유럽에서만 128건에 이르렀다. 이 문서들은 종종 AI 윤리에 대한 ‘폭넓은 합의‘의 산물로 제시된다. 하지만 이중 압도적 다수는 경제적으로 발전한 나라들에서제정되며 아프리카, 남아메리카, 중앙아메리카, 중앙아시아를 대변하는 일은 거의 없다. AI 시스템으로 인해 가장 큰 피해를 입는 사람들의 목소리는 이 규정들을 제정하는 과정에서 누락되는 경우가 태반이다.

_ 권력 중 - P264

무엇이 관건인지를 이해하려면 윤리보다는 권력에 더 초점을 맞춰야 한다. AI는 최적화를 위해 동원된 권력 형태를 증폭하고 재생산하도록 어김없이 설계된다. 여기에 맞서려면 가장 큰 피해를 입는 공동체의 이익을 중심에 놓아야 한다. 기업 창업자, 벤처 투자가, 기술 예측 전문가를 찬미하는 것이 아니라 AI 시스템에 의해 권력을 박탈당하고 차별당하고 피해를 당하는 사람들의 생생한 경험에서 출발해야 한다. 누군가가 ‘AI 윤리‘를 입에 올리면 광부, 도급업자, 크라우드 노동자의 노동 여건을 떠올려야 한다. ‘최적화‘라는말을 들으면 이것이 이민자를 비인도적으로 처우하는 수단이 아닌지 물어야 한다. ‘대규모 자동화‘가 칭송받으면 지구가 이미 극심한 스트레스를 받고 있는 시대에 자동화로 인해 생겨나는 탄소발자국을 명심해야 한다. 이 모든 시스템을 아울러 정의를 추구한다는 것은 어떤 의미일까?

_ 권력 중 - P265

[마이리뷰] 음표 위 경제사

음표 위 경제사 - 대중음악과 자본주의, 그 동행의 역사
이두걸 지음 / 루아크 / 2023년 1월

계몽주의가 자본주의의 씨앗이었다면 상업혁명과 그에 뒤따른 가격혁명은 씨앗을 움트게 한 햇살이었다. 15세기말 아메리카와인도 항로가 발견되면서 아시아와 아프리카, 아메리카와 유럽 사이의교역이 크게 확대되었다. 기존 지중해 지역으로 국한되었던 상업 활동이 전 대륙에서 이뤄지는 글로벌 무역으로 진보한 것이다. 이런 상업의 규모와 체제의 대변혁을 ‘상업혁명‘이라 부른다.

_ 산업자본주의, 부르주아와 ‘베토벤들‘을 낳다 중 - P28

노동과 자본의 확충 못지않게 중요한 요인은 생산성의 산정 기준이 되는 기술혁신이다. 영국에서 산업혁명이 처음 등장했다는 것은 산업혁명의 기초가 되는 기술혁신이 가장 활발했다는 뜻이다.

_ 산업자본주의, 부르조아와 ‘베토벤들‘을 낳다 중 - P33

영국 면공업은 정부의 적극적 후원으로 수출시장에서 승리를 거두었는데, 제국주의적 지배라는 방법을 통해 독점적 지위를 확보한 탓이다. 여기에 더해 엘리자베스 1세 Elizabeth I, 1533~1603로 대표되는 정치적 안정성, 세계 최강의 해군력을보유하고 있다는 이점은 영국이 산업혁명의 길로 나아가게 한 원동력이었고, 이는 곧 영국의 세계 독점으로 이어졌다.

_ 산업자본주의, 부르조아와 ‘베토벤들‘을 낳다 중 - P35

[마이리뷰] 음표 위 경제사

음표 위 경제사 - 대중음악과 자본주의, 그 동행의 역사
이두걸 지음 / 루아크 / 2023년 1월

세계 자본주의의 최전성기였던 1960년대에 팝음악의 거의 모든 장르가 출현하고 경쟁적으로 꽃을 피웠다는 건 우연이 아니다. 복고주의는 우리가 살아가고 있는 후기 자본주의 문화의 대표 특징이기도 하다. 최근의 복고 열풍을 마냥 긍정적으로 바라보기 어려운 이유다.

_ 들어가는 말 중 - P9

[마이리뷰] 음표 위 경제사

음표 위 경제사 - 대중음악과 자본주의, 그 동행의 역사
이두걸 지음 / 루아크 / 2023년 1월

최초의 ‘자유 음악가‘ 베토벤이 모차르트처럼 굶어 죽지 않은 건 1차 산업혁명에 따라 부르주아계급이 대거 양산된 덕분이다. 음악을 향유하고 소비하는 방식의 근본적 변화를 가져왔던 축음기와 라디오는 2차 산업혁명기 과학기술의 발전에 따른 결과물이다. 2차 세계대전 이후 세계경제의 ‘이례적‘ 호황이 1970년대 이후에도 계속되었다면 기성세대를 상대로 전면전을 벌였던 펑크록이 출현할 수 있었을까.

_ 들어가는 말 - P8

[마이리뷰] AI 지도책

AI 지도책 - 세계의 부와 권력을 재편하는 인공지능의 실체
케이트 크로퍼드 지음, 노승영 옮김 / 소소의책 / 2022년 11월

결국 ‘데이터‘는 무색무취한 단어가 되어 자신의 물질적 기원과 종말을 둘 다 감추고 있다. 데이터가 추상적이고 비물질적인 것으로 간주된다면 배려, 동의, 위험 등에 대한 전통적 이해와 책임을더 쉽게 벗어날 수 있다. 연구자 루크 스타크와 애나 로런 호프먼이 주장하듯, 데이터를 그저 발견되기를 기다리는 ‘천연자원‘에 빗대는 은유는 식민주의 열강들이 수백 년간 써먹은 탄탄한 수사적 수법이다." 원시적이고 ‘정제되지 않은‘ 출처에서 온 것이라면 추출은 정당화된다." 데이터를 그저 추출되기만 기다리는 석유로 치부한다면 기계학습은 마땅히 필요한 정제 과정으로 간주할 수 있다.

_ 데이터 중 - P135

데이터가 이해되고 수집되고 분류되고 명명되는 방식은 기본적으로 세계 만들기 world-making 와 담기 containment의 행위다. 이것은 인공지능이 세상에서 어떻게 작동하는지, 어떤 집단이 가장 큰 피해를 입는지에 엄청난 영향을 미친다. 전산학에서 데이터 수집이 선의의 행위라는 신화는 권력의 작동 실태를 가려, 가장 많은 이익을 얻으면서도 결과에 대한 책임을 모면하는 자들을 보호한다.

_ 데이터 중 - P145

분류의 정치는 인공지능에서도 핵심적인 수법이다. 분류 행위는 대학 연구실에서 기술업계에 이르는 여러 분야에서 기계 지능이 어떻게 인식되고 생산되는지에 영향을 미친다. 제3장에서 보았듯 세상의 인공물은 추출, 측정, 라벨 달기, 순서 정하기를 통해 데이터로 전환되며 이 실축자료는 그 데이터로 훈련받은 기술 시스템을 (의도적으로든 아니든) 오도할 우려가 있다.

_ 분류 중 - P151

편향과 분류의 관계를 이해하려면 데이터 집합이 편향되었는지 아닌지를 판단하는 것 같은 지식 생산에 대한 분석을 넘어서서 지식이 구성되는 현상 자체(사회학자 캐린 노어 서티나가 ‘인식론적 기계‘라고부르는 것)의 역학 관계를 살펴보아야 한다. 그러려면 역사 전반의 불평등 패턴이 어떻게 자원과 기회에 대한 접근에 영향을 미치고 이것이 다시 데이터에 영향을 미치는지 관찰해야 한다. 그러고 난 뒤그 데이터는 기술 시스템에서 분류와 패턴 인식을 위해 수집되며,
이렇게 산출된 결과는 그럭저럭 객관적인 것으로 인식된다. 하지만이 결과는 실은 통계학적 우로보로스(문장에 새겨진 고대 이집트와 그리스의뱀으로, 꼬리를 계속 먹어 들어가다가 결국 다시 태어나는 모습을 하고 있다 - 옮긴이)다.
기술적 중립성이라는 탈을 쓰고 사회적 불평등을 증폭하는 자기 강화식 차별 기계인 것이다.

_ 분류 중 - P156

다시 말하지만 분류 행위는 권력을 집중시킨다. 이것은 어떤 차이가 ‘차이‘를 만드는지 결정하는 권력을 말한다.

_ 분류 중 - P158

브라운의 정의에 따르면 디지털 표피화는 감시 기술의 비실체적 시선이 ‘주체의 주장에도 아랑곳없이 몸과 정체성에 대한 진실을 만들어냄으로써 주체를 소외하는 일을 하는‘ 권력의 행사를 말한다.
분류의 다양성에 대한 IBM 접근법의 기본적 문제점들은 이런종류의 중앙 집중화된 정체성 생산에서 자라나며 이것을 주도한 것은 연구진이 이용할 수 있던 기계학습 기법이었다.

_ 분류 중 - P159

이 명명 행위는 권력과 식민주의적 통제의 행사였으며 그러한 분류의 부정적 영향은 제국보다 오래 남기도 한다. 분류는 앎의방식을 만들어내고 제한하는 기술이며 AI의 논리에 새겨져 있다.

_ 분류 중 - P176

전산학의 문제는 AI 시스템에서 정의가 결코 부호화되거나 연산될 수 있는 것이 아니라는 점이다. 최적화 지표와 통계적 동등성을 넘어서서 시스템을 평가하고 수학과 공학의 얼개가 어디서 문제를 일으키는지 이해하는 변화가 필요하다.

_ 분류 중 - P176

‘권력은 요구하지 않으면 아무것도 양보하지 않는다. 결코 그러지 않았고 결코 그러지 않을 것이다‘

_ 분류 중 - P178

상대방의 얼굴에서 감정 상태를 정확히 예측할 수 있다는 ‘신뢰할 만한 근거는 전혀 없다‘

_ 감정 중 - P183

‘더 일반적으로 보자면 기술 기업들은 근본적으로 틀린 질문을 던지고 있는 듯하다. 맥락의 다양한 측면을 고려하지 않은 채 얼굴 움직임을 분석하는 것만으로 사람들의 내적 상태를 읽어내려는 노력은 잘해야 불완전하며 최악의 경우에는 연산 알고리즘이 아무리 정교하더라도 타당성을 완전히 잃을 수 있다. (………) 이 기술을 이용하여 얼굴 움직임을 토대로 사람들이 무엇을 느끼는지에 대한 결론에 도달하려는것은 시기상조다

_ 감정 중 - P212

AI 시스템은 우리의 신체적 자아가겪는 가변적이고 사적이고 다양한 경험을 추출하려 하지만 그 결과물은 감정적 경험의 뉘앙스를 포착하지 못하는 만화적 스케치에 불과하다.

_ 감정 중 - P213

AI의 전체 논리에 스며 있는 것은 표적, 자산, 이상 탐지 같은 명백한 전투 중심 개념에서 고위험, 중위험, 저위험 같은 더 미묘한 범주에 이르는 일종의 분류적 사고다. 지속적 상황 주시 및 표적 개념은 수십 년간 AI 연구를 주도하며 업계와 학계에 영향을미칠 인식론적 토대를 놓았다.

국가 중 - P219