성평등 : 아테네 vs. 스파르타 - 민주적인 아테...

성평등 : 아테네 vs. 스파르타
- 민주적인 아테네가 더 불평등하다


역사적 증거를 살펴보면 여성에 대한 아테네와 스파르타의 인식이 달랐고, 일반화가 위험할 수도 있음을 알 수 있다. 아테네 여성들은 공적 생활에 참여할 기회가 거의 없었고, 집 안에 갇힌 채 살아가야 했으며, 가족 이외의 남성과는 말을 나눌 수 없었다. 반면 스파르타 여성들은 공적 활동과 스포츠 경기에 적극 참여했다. 아테네는 여성의 혼인 연령이 14~15세인 반면, 스파르타는 18세였다. 아테네는 여성의 재산 소유를 금지했지만, 스파르타에서는 많은 여성이 재산을 소유했고, 대부분 가정을 관리했다. 스파르타 여성들은 읽고 쓰는 법도 배운 반면 아테네에서는 그런 교육이 정상이 아니었다. 아테네 남성이 매춘부를 찾으면 누구도 뭐라고 하지 않았지만(외국인 여성은 대개 사회적 통제를 받지 않았다) 여성의 불륜은 용납되지 않았다. 반면 스파르타에서는 남편이 전쟁터로 떠난 지 너무 오래되면 여성이 다른 남편을 맞이할 권리가 있었다. - <빅 히스토리>, 데이비드 크리스천 외 2인 - 밀리의 서재
https://millie.page.link/egFdGiiozQFEHNXq8

[마이리뷰] 예측 기계

예측 기계 - 인공지능의 간단한 경제학
어제이 애그러월 외 지음, 이경남 옮김 / 생각의힘 / 2019년 1월

인공지능의 트레이드 오프

안면 인식 같은 특성을 추구할 때는 이 점이 특히 두드러진다. 미국과 달리 중국은 엄청난 양의 집중화된 신원 확인용 사진 데이터베이스를 보유하고 있다. 덕분에 중국의 스타트업 페이스++ Face++ 같은 기업들은 중국 최대의 라이드헤일링ride-hailing 업체인 디디를 이용하는 승객에게 택시 기사의 신분을 확인해 주는 안면 인식 인공지능을 개발해 라이선스를 받는 한편 알리페이 Alipay 를 통해 송금을 할 수 있게 했다. 알리페이는 중국에서 1억 2,000만 명 이상이 이용하는 모바일 결제앱이다. 이 시스템은 그들의 안면 분석 기술에 의존해 결제를 승인한다. 더욱이 바이두는 안면 인식 인공지능을 사용해 고객의 기차표를 수거하고 명승지를 찾는 관광객들의 신원을 확인한다. 

이와 달리 유럽에서는 프라이버시 규제로 인해 다른 어느 곳보다 데이터 액세스가 훨씬 더 엄격하기 때문에 유럽의 기업들은 인공지능에서 앞으로 치고 나가기가 처음부터 어렵다. - P300

인공지능의 등장은 사회에 많은 선택지를 제시한다. 각각의 선택에는트레이드오프가 담긴다. 현 단계에서 인공지능은 여전히 걸음마 단계지만, 사회적 차원에서는 트레이드오프가 두드러진다.

첫 번째 트레이드오프는 생산성 대 분배다. 인공지능으로 우리의 형편이 더 안 좋아질 것이라고 주장하는 사람들이 많다. 그렇지 않다. 경제학자들은 기술이 진보하면 우리의 형편은 더 나아지고 생산성이향상된다고 생각한다. 인공지능이 생산성을 향상시킨다는 점은 의심할 필요가 없다. 문제는 부의 창출이 아니라 부의 분배다. 인공지능은 두 가지 이유에서 소득불평등을 악화시킨다. 첫째, 인공지능은 어떤 과제를 떠맡음으로써 남은 과제를 놓고 인간끼리 치열한 경쟁을 벌이게 만들어 임금을 떨어뜨리고 자본이 벌어들이는 소득에 비해 노동으로 벌어들이는 소득을 더욱 줄인다. 둘째, 예측 기계는 다른 컴퓨터관련 기술과 마찬가지로 매우 숙련편향적이어서 인공지능 툴은 숙련도가 높은 노동자의 생산성을 불균형적으로 높이 끌어올릴 것이다.

두 번째 트레이드오프는 혁신 대 경쟁이다. 소프트웨어와 관련된 기술이 대부분 그렇듯, 인공지능에는 규모의 경제가 적용된다. 더욱 인공지능 툴은 어느 정도 수익을 증가시키는 것이 특징이다. 그래서 예측이 정확해질수록 사용자가 많아지고, 사용자가 많으면 데이터가 많아지며, 데이터가 많아지면 예측이 더 정확해진다. 해당 분야에 한 기업의 지배력이 강화되면 예측 기계를 구축할 동기가 더 많아지만, 그렇게 되면 규모의 경제로 인한 독점이 야기될 것이다. 혁신속도가 빠르면 단기적으로 사회에 혜택이 되지만 사회적 관점이나 장기적 관점에서 볼 때는 바람직한 현상이 아니다.

세 번째 트레이드오프는 성능 대 프라이버시다. 데이터가 많을수록 인공지능의 성능은 좋아진다. 특히 개인적 데이터에 쉽게 접근할 수있다면 인공지능의 예측을 더욱 개별화할 수 있다. 개인적 데이터를 제공할 때는 프라이버시의 침해를 감수해야 한다. 유럽에서는 시민들에게 프라이버시를 더 많이 보장해 주는 환경을 선택했다. 그 혜택은 시민들에게 돌아가 사적 데이터 시장을 크게 활성화시킬 것이고, 그곳에서 사람들은 자신의 사적 데이터를 거래하거나 팔거나 기증하는 문제를 좀 더 쉽게 결정할 수 있도록 환경을 바꿀 수 있을 것이다. 반면에 그렇게 되면 진입하기 위해 비싼 대가를 치러야 하는 환경이 조성되어 갈등이 심해지고, 그로 인해 상대적으로 데이터 액세스가 쉽지 않은 유럽 기업과 시민들은 데이터에 쉽게 접근할 수 있는 인공지능이 경쟁력을 갖춘 강한 시장에서 불리한 처지에 놓일 것이다.

세 가지 트레이드오프에도 불구하고, 해당 지역의 정부는 거래의 양쪽 당사자를 모두 중시해야 하고 그들의 전반적인 전략과 시민의 선호도가 가장 조화를 이룰 수 있는 정책을 설계해야 한다. - P306

[마이리뷰] 예측 기계

예측 기계 - 인공지능의 간단한 경제학
어제이 애그러월 외 지음, 이경남 옮김 / 생각의힘 / 2019년 1월

반사실적 추론

차별적 요소를 피하려면 인공지능 지능이 내놓은 결과에서 본의 아닌 차별을 찾아내는 즉시 바로잡아야 한다. 그리고 왜 인공지능이 차별적인 예측을 생성했는지 알아내야 한다. 그러나 인공지능이 블랙박스라면 어떻게 하겠는가

컴퓨터과학커뮤니티에서는 이것을 인공지능 신경과학자이라고 부르기도 한다. 

핵심 툴은 어떤 것이 차별을 조장한다고 가정해 그 가정을 검증하는 다양한 입력 데이터를 제공한 다음 결과로 나온 예측을 비교하는 것이다. 람브레흐트와 터커가 그 일을 한 것은 남성에게 보여 주는 STEM 광고비가 상대적으로 쌌기 때문에 여성들이 그런 광고를 많이 보지 못했다는 사실을 알아냈기 때문이었다. 문제는 인공지능이라는 블랙박스가 잠재적 차별을 소홀히 하는 구실이 될 수 없고.
또 차별이 중요 이슈가 되는 상황에서 인공지능의 사용을 피하는 것도 좋은 방법이 아니라는 점이다. 실제로 인간은 기계보다 훨씬 더 많이 차별한다. 인공지능을 배치하려면 차별을 검사하는 데 더 투자해 차별을 줄이도록 힘써야 한다. - P271

광고가 효과가 있는지 알고싶다면, 광고가 판매로 이어지는지를 지켜보아야 한다. 그러나 그것이 전부는 아니다. 광고를 내지 않았을 때 판매가 어떻게 달라지는지도 역시 알아야 한다. 광고와 판매에 관한 정보가 많이 담긴 데이터로 훈련을 받은 인공지능은 광고를 하지 않을 경우 어떤 결과가 나오는지 알지못한다. 그런 데이터는 빠져 있다. 안다는 사실을 모르는 것은 인간의 판단이 개입되어야 극복할 수 있는 예측 기계의 중요한 약점이다. 인공지능이 그 덫에 걸릴 경우, 지금으로서는 생각을 할 줄 아는 인간만이 해결책이다 - P273

[마이리뷰] 예측 기계

예측 기계 - 인공지능의 간단한 경제학
어제이 애그러월 외 지음, 이경남 옮김 / 생각의힘 / 2019년 1월

인공지능과 노동

인공지능을 실제로 현장에 적용할 수 있었던 것은 그에 맞는 툴이 개발되었기 때문이었다. 인공지능 툴의 설계 단위는 ‘직무‘나 ‘직업‘이나 ‘전략‘이 아니라 ‘과제(task)‘였다. 7장의 [그림 7-1]에서 확인했듯이 과제는 결정의 집합체다. 결정은 예측과 판단을 기반으로 하고 데이터에서정보를 받는다. 하나의 과제 안에서 이루어지는 결정은 보통 이런 요소들을 공유한다. 차이가 있다면 그 뒤의 행동이다(그림 12-11 참조).

경우에 따라서는 하나의 과제 안에서 이루어지는 모든 결정을 자동화할 수 있다. 아니면 정확해진 예측을 토대로 미처 자동화하지 못한 마지막 남은 결정을 자동화할 수도 있다. 예측 기계의 성장은 전 과정을 재설계하고 자동화하는 법과 우리가 여기서 워크플로라고 부르는 개념을 다시 생각해 볼 계기를 주어 해당 과제에서 인간을 완전히 효과적으로 배제할 것이다. 그러나 더 정확하고 값싼 예측만으로 자동화를 실현하기 위해서는 과제의 다른 측면에 예측 기계를 사용했을 때에도 그에 대한 보상이 증가해야 한다. 그렇지 않으면 누구든 예측 기계를도입해도 인간 의사결정자를 함께 활용하려 할 것이다. - P174

과학을 기반으로 하는 기업의 성장을 돕는 CDL에는 이제 150개가 넘는 인공지능 기업들이 들어와 있다. 이들 기업은 모두 특정 워크플로에서 특정 과제를 다룰 인공지능 툴의 개발에 초점을 맞춘다. 어떤 스타트업은 서류에서 가장 중요한 부분을 예측해 강조한다. 또 어떤 스타트업은 제조 과정의 결함을 예측해 알린다. 또 어떤 기업은 고객에 대한 적절한 대응을 예측해 질문에 답한다. 이런 목록은 일일이 열거하기어려울 정도다. 대기업들은 워크플로의 다양한 과제를 향상시키기 위해 수백 가지의 다양한 인공지능을 실행하고 있다. 실제로 구글은 이메일이나 수송이나 운전 등 1,000종이 넘는 갖가지 과제를 돕는 인공지능툴을 개발하고 있다. - P175

그때까지 연산 작업은 회계원들bookkeepers의 몫이었다. 1970년대 말에 미국에는 40만 명의 회계원이 활동하고 있었다. 스프레드시트는 그들의 주업무였던 연산을 불필요한 것으로 만들었다. 그렇다면 회계원들이 일자리를 잃었을까? 그들이 일자리를 잃었다는 소문은 어디에도없었다. 그렇다고 스프레드시트가 어떤 이유로 인기를 잃어 수작업을하던 옛날로 되돌아간 것도 아니었다. 

왜 스프레드시트는 회계원들에게 위협이 되지 않았을까?

비지칼크가 오히려 그들을 더욱 소중한 존재로 만들었기 때문이었다. 비지칼크는 연산을 아주 간단한 작업으로 만들었다. 사람들은 예상되는 이윤을 계산한 다음 여러 가지 가정을 변경할 때 이윤이 어떻게 바뀌는지 쉽게 확인할 수 있었다. 연산을 반복적으로 수행할 수 있기때문에 사업 현황을 단 한 장의 스냅 사진이 아니라 동영상으로 만들어 검토할 수 있었다. 특정 투자의 수익성 여부를 따지는 것이 아니라 다양한 예측을 통해 복수의 투자를 비교해 가장 좋은 투자를 고를 수 있었다. 그래도 최종 투자를 판단할 사람은 있어야 했다. 스프레드시트는 답을 쉽게 제시했지만 그 과정에서 질문을 던지면 얻는 것이 많았다.
전산화된 스프레드시트에 제대로 된 질문을 던질 수 있는 사람은스프레드시트가 등장하기 전에 열심히 답을 계산하던 바로 그 사람이었다. 그들은 대체되지 않았다. 그들은 오히려 막강한 권한을 부여받았다.
이런 유형의 시나리오, 즉 기계가 직무의 전부는 아니더라도 일부를 대신했을 때 권한이 더 막강해지는 경우는 인공지능 툴을 적용했을 때 나타나는 자연스런 결과이기 때문에 앞으로 아주 흔해질 가능성이 높다 그때는 직무를 구성하는 과제도 바뀔 것이다 예측 기기가 대신하면서 사라지는 과제도 있고 사람들이 그 일에 매달리는 시간이 많아지면서 새로 생겨나는 과제도 있을 것이다 그리고 어떤 과제를 수행하는데 꼭 필요한 기술은 새로운 기술로 대체될 것이다 회계원들이 스프레드시트 마법사가 되었던 것처럼 인공지능 툴로 인해 많은 업무를 재설계하는 일도 똑같이 극적인 결과를 낳을 것이다 - P196

창고에서 물건을 움켜쥐는 문제는 무수한 ‘이프‘가 특징인 반면, 자동차 조립 공장에서 움켜쥐기는 ‘이프‘의 수가 매우 적다. 그래서 창고에서 일하는 로봇은 물건을 보고 (이미지를 분석하고) 정확한 각도와 압력을 예측해야 물건을 부수거나 떨어뜨리지 않고 집을 수 있다. 다시 말해 물류센터에서 아주 다양한 물건을 움켜쥐는 동작에서 가장 중요한 부분은 예측이다. 움켜쥐는 문제는 강화학습을 통해 인간을 흉내 내도록 훈련시키는데 초점이 맞춰진다.  - P200

이 책의 공저자인 어제이가 합류한 팀에서 설립한 밴쿠버 소재의 스타트업 킨드레드Kindred는 킨드레드소트Kindred Sort라는 로봇을 사용한다.
이 로봇은 자동화된 소프트웨어와 인간 조종자가 함께 작업하도록 설계된 로봇 팔이다. 소프트웨어가 물체를 확인하고 가야 할 곳으로 가면,
가상현실 VR 헤드셋을 쓴 인간이 로봇 팔을 조종해 물건을 집어 옮긴다.
첫 번째 시도에서 인간은 로봇이 있는 창고와 멀리 떨어진 곳에서 로봇 팔을 원격 조종하는데, 접근 각도와 움켜쥐는 압력을 결정해 물류워크플로에서 빠진 고리를 채운다. 킨드레드의 장기 목표는 로봇이 이 부분을 직접 배워서 할 수 있도록 만드는 것이다. 그래서 그들은 원격조종을 통해 인간이 움켜쥐는 모습을 수없이 관찰하게 하는 방식으로 예측 기계를 훈련시킨다. - P201

인공지능 툴의 실행이 직업에 미치는 영향은 네 가지로 나타난다.
1. 스프레드시트와 회계 사례에서 보듯 인공지능 툴은 직무의 권한을 강화시킬 수 있다.
2. 풀필먼트업에서 보듯 인공지능 툴은 직무를 축소시킬 수 있다.
3. 방사선 전문의에서 보듯 인공지능 툴은 직무의 구성을 바꿔 추가되는 과제도 생기고 사라지는 과제도 있을 것이다.
4. 스쿨버스 운전기사에서 보듯 인공지능 툴은 특정 직무에 필요한 특정 기술의 비중을 바꿀 것이다. - P208

미국 노동통계국Bureau of Labor Statistics에 따르면 입출금 업무가 자동화되어도 창구 직원, 즉 텔러teller들의 일자리는 위협받지 않았다(그림16-11 참조). 그러나 그들은 더 이상 입출금 업무를 하지 않았다. 텔러들은 돈을 받고 내주는 일 대신 은행 상품 마케팅과 고객서비스 쪽의 업무에 치중했다. 기계는 돈을 내주고 받는 일을 인간보다 더 안전하게 처리했다. - P233

현금자동인출기의 도입으로 은행 시스템은 크게 바뀌었다. 우선 새로운 텔러가 내리는 주관적 판단이 크게 늘었다. 원래 텔러가 맡았던일상적 업무는 쉽게 기계화되었다. 그러나 고객과 이야기하고 대출에관한 조언을 하고 신용카드 옵션을 설명하는 새로운 업무는 좀 더 복잡했다. 그러다 보니 새로운 텔러에 대한 업무 평가도 더 어려워졌다.
업무 평가가 객관적인 것창구에 늘어선 줄을 짧게 유지하고 있는가?
서 주관적인 것(고객에게 맞는 상품을 팔고 있는가?)으로 바뀌면 인적자원HR 관리는 더욱 복잡해진다. 경제학자들은 업무 책임의 명확성이 약해지고 좀 더 관계적relation이 되었다고 말한다. 그래서 은행은 과제의 복잡성과 직원의 강점과 약점을 고려한 업무 고과 같은 주관적 절차를 근거로 직원을 평가하고 그에 맞는 보상을 하게 된다. 그런 절차에 의지해 열심히 일할 동기를 부여하려면 상당한 신뢰가 우선되어야 하기 때문에 여간 어려운 일이 아니다. 그래도 결국 회사는 객관적 평가보다는주관적인 평가를 근거로 보너스나 급여 인상이나 승진을 쉽게 거부하고 만다. 그러나 복잡한 환경에서 객관적인 평가를 내리다 보면, 중대한 실수를 범하게 된다. 웰스파고wells Fargo에서 벌어진 계좌 관리자들의 조작 사건이 그런 사실을 극적으로 보여 준다. - P234

이런 식의 경제 논리는 인공지능을 통해 인적자원 권리를 거래적인 것에서 관계적인 쪽으로 바꿀 수 있는 단서를 제공한다.

이유는 두 가지다. 첫째, 그 자체로 고유의 가치를 갖는 인간의 판단은 기계에 프로그래밍해 넣기가 어렵다. 프로그래밍을 했다고 해도 그 보상이 어느 정도인지 확실히 알 수 없다. 보상을 하는 데도 인간의 경험이 필요하다. 둘째, 기계 예측이 급격히 늘어날 때 인간의 판단이 더 중요해진다면, 그 판단에는 주관적인 업무 평가가 개입되기 마련이다. 객관적인 기준이 있다면 기계는 인적자원을 관리하지 않고도 그런 판단을 할수 있을 것이다. 따라서 목표가 주관적일 경우에는 결국 인간이 중요한결정을 내려야 한다. 그 때문에 이런 사람들을 관리하는 일은 더 관계적이 될 것이다.

따라서 인공지능은 자본에 미치는 영향과는 또 다른 영향을 노동에 미치게 된다. 판단이 중요해지면 고용 계약도 좀 더 주관적으로 되어야한다. - P235

자본설비에 미치는 힘은 노동에도 똑같이 작용한다. 인간의 노동이 만들어 낸 것 중 가장 중요한 것이 데이터나 예측이나 행동일 경우, 인공지능을 활용한다는 것은 장비와 자재 공급에 대한 아웃소싱이 많아진다는 뜻이기 때문에 당연히 노동력의 아웃소싱도 많아진다. 

자본에서처럼, 예측이 정확해질수록 ‘이프가 많아지기 때문에 아웃소싱 계약에서 ‘then‘을 좀 더 구체적으로 명시할 수 있다.

그러나 노동에 미치는 영향이 중요해질수록 인간의 판단은 더욱 중요해진다. 예측과 판단은 보완적이어서 예측이 정확해지면 판단에 대한 수요가 증가한다. 다시 말해 의사결정 과정에서 판단을 내리는 행위가 고용인의 주요 역할이 된다. 이런 것은 계약서에 구체적으로 밝힐수 없다. 

이처럼 판단의 질을 평가하기가 어렵기 때문에 인간이 수행한 일의 질에 대한 불확실성이 증가한다 그래서 보상 기능 엔지니어와 그 밖의 판단에 치중하는 직원을 확보할 필요가 있다 - P235

[마이리뷰] 예측 기계

예측 기계 - 인공지능의 간단한 경제학
어제이 애그러월 외 지음, 이경남 옮김 / 생각의힘 / 2019년 1월

예측문제

데이터의 양에 따른 가치 창출의 정도는 통계적 관점과 경제적 관점에 따라 입장이 완전히 달라진다. 통계적 관점에서 보는 데이터에는수확 체감의 법칙이 적용된다. 데이터가 하나씩 추가될 때마다 정확도를 높이는 데 기여하는 정도는 이전 데이터에 비해 낮아진다. 예측의 정확도를 높이는 데는 열 번째 관측이 천 번째 관측보다 낫다. 경제적 관점에서 보면 이야기가 달라진다. 이미 데이터가 많이 존재하고 있는 상황에 데이터가 추가되면 데이터가 적은 상황에서 추가되는것보다 더 좋을 것이다. 예를 들어 데이터를 추가하게 되면 사용할 수없었던 예측 기계의 성과가 임계치를 넘어 사용할 수 있는 것으로 바뀌거나 규제의 한도를 깨뜨리거나, 앞서가던 경쟁사를 뒤로 제칠 수있다. 따라서 조직은 추가하는 데이터와 예측의 정확도와 가치 창출등의 관계를 파악해야 한다. - P77

답부터 말하자면 그렇다. 심리학자 대니얼 카너먼 Daniel Kahnenman과아모스 트버스키 Amos Tversky는 여러 차례의 실험을 통해 그렇다는 사실을 입증했다. 두 사람은 사람들에게 두 곳의 병원을 제시했다. 매일 마혼다섯 명의 아기가 태어나는 병원과 매일 열다섯 명의 아기가 태어나는 병원이다. 그런 다음 신생아 중 60퍼센트 이상이 남자 아기인 날이더 많은 병원이 어느 병원인지 물었다. 정답을 맞힌 사람은 거의 없었다. 답은 작은 병원이다. 경우의 수(여기서는 신생아 수)가 클수록 결과가 평균(이 경우엔 50퍼센트)에 가까운 확률이 크기 때문에 작은 병원이 정답이다.  - P81

때로 인간과 기계가 손을 잡고 서로의 약점을 보완할 때 최고의 예측이 나오는 경우가 있다. 2016년에 하버드·MIT의 인공지능 연구팀은조직검사 슬라이드를 보고 전이성 유방암을 컴퓨터로 검출해 내는 경연대회인 카멜리온 그랜드 챌린지 cameyon Grand Challenge에서 우승했다.
이 팀에게 승리를 안겨 준 딥러닝 알고리즘은 92.5퍼센트의 적중률을보였다. 96.6퍼센트를 적중시킨 인간 병리학자에 조금 못 미치는 꽤 정확한 예측이었다. 결국 인간의 승리처럼 보였지만 연구진은 이에 그치지 않고 한 걸음 더 나아가 그들의 알고리즘의 예측과 그 병리학자의예측을 결합했다. 결과는 99.5퍼센트의 적중률로 나타났다." 즉 3.4퍼센트였던 인간의 오류율이 0.5퍼센트로 떨어진 것이다. 오류는 85퍼센트 줄어들었다.
이 역시 고전적인 분업이지만 애덤 스미스가 말한 신체적인 분업은아니다. 오히려 그것은 경제학자이자 컴퓨터 선구자인 찰스 배비지가19세기에 처음 설명한 인식적 분업이다.  - P96

인간과 기계는 예측을 잘하는 분야가 서로 다르다. 병리학자가 암이 있다고 말하면 대체로 틀림이 없었다. 인간이 암이 있다고 판정했는데 암이 아닌 경우는 드물었다(낮은 2종의 오류). 반대로 인공지능은 암이 없다고 말할때 훨씬 더 정확했다(낮은 1종의 오류). 인간과 기계는 실수하는 유형이 달랐다. 이렇게 인간과 기계는 서로 다른 능력을 인정하고 손을 잡음으로써 각자의 약점을 극복했고 그래서 오류율을 크게 줄였다.

이런 협업을 사업에 어떻게 적용할 것인가? 기계 예측은 두 가지 경로를 거쳐 인간의 예측 생산성을 향상시킬 수 있다. 첫째는 기계가 먼저 예측을 내놓는 방법이다. 그러면 인간은 이를 이용해 자신의 평가와종합한다. 둘째는 기계가 사후에 다른 의견을 제시하는 방법이다. 즉기계가 인간의 작업을 감시하는 식이다. 상사도 이 방법을 써서 부하직원이 예측 작업에 적극적으로 노력하게 만들 수 있다. 그런 감시가없으면 인간은 필요한 만큼 열심히 하지 않을지도 모른다. 이론적으로볼 때 인간의 예측이 객관적인 알고리즘과 다를 경우 인간은 그 이유를설명해야 하기 때문에 인간은 웬만큼 자신 있다고 확신할 수 있을 만큼각별한 노력을 기울일 경우에만 기계를 제압할 수 있을 것이다.
- P97

결정은 보통 불확실한 상황에서 이루어진다. 교사는 어떤 아이에게어떤 교수법이 좋은지 확신하지 못한다. 인사 담당자는 구직자가 주어진 업무를 잘할지 확신하지 못한다. 의사는 값비싼 검사를 꼭 해야 하는지 확신하지 못한다. 이들은 모두 예측을 해야 한다.
그러나 예측은 결정이 아니다. 결정은 예측을 판단한 다음 취하는행동이다. 최근에 인공지능에서 큰 진전이 있기 전만 해도 인간은 항상예측과 판단을 동시에 했다. 이 둘을 구분하는 문제는 학자들의 관심사일 뿐 그 이상은 아니었다. 하지만 기계 예측이 발전하면서 인간은 결정의 과정을 면밀히 해부하고 검토해야 하는 입장이 되었다. - P106

예측 기계가 더 정확해지고 예측 비용이 내려가게 되면, 예측을 가장 잘 활용할 방법을 생각해 봐야 한다. 판단을 미리 구체적으로 밝힐수 있든 없든, 누군가는 판단을 결정해야 한다. 보상 기능 엔지니어링rewand function engineering이란 것이 있다. 인공지능의 예측이 주어졌을 때여러 가지 행동에 대한 보상을 판단하는 일이다. 이런 일을 잘하려면조직의 니즈와 기계의 역량을 알아야 한다.
보상 기능 엔지니어링에는 때로 판단을 하드코딩하는 일이 포함된다. 즉 행동을 자동화하기 위해 예측에 대한 보상을 미리 프로그래밍해넣는 것이다. 자율주행 차량도 그렇게 하드코딩이 된 보상의 한 가지사례다. 예측이 나오면 행동은 즉각적이다. 그러나 제대로 된 보상을얻는 일은 사소한 문제가 아니다. 보상 기능 엔지니어링은 인공지능이성공의 여러 가지 기준 중 어느 한 가지 기준을 과도하게 최적화한 탓에 조직의 큰 목표와 맞지 않는 행동을 할 가능성을 고려해야 한다. 자율주행 차량을 다루는 사람들도 이런 문제를 해결하기 위해 애쓴다. 그래도 여러 가지 새로운 결정을 위해서는 이처럼 분석을 해야 한다. - P129

어떤 결정과 관련된 행동상황 조합의 수가 감당할 수 있을 정도라면, 판단을 예측 기계에게 넘길 수 있다(이것이 ‘보상 기능 엔지니어링‘이다). 그러면 기계는 예측을 해 스스로 결정한다. 그렇게 하면 결정을자동화할 수 있다. 그러나 행동상황의 조합이 너무 많아 모든 득실을 미리 코드화하기 어려울 정도로 비용이 많이 들 때가 있다. 흔하지않은 조합일 때는 특히 그렇다. 이런 경우엔 예측 기계가 예측한 뒤에인간이 판단하는 편이 더 효과적이다. - P132