차별적 요소를 피하려면 인공지능 지능이 내놓은 결과에서 본의 아닌 차별을 찾아내는 즉시 바로잡아야 한다. 그리고 왜 인공지능이 차별적인 예측을 생성했는지 알아내야 한다. 그러나 인공지능이 블랙박스라면 어떻게 하겠는가
컴퓨터과학커뮤니티에서는 이것을 인공지능 신경과학자이라고 부르기도 한다.
핵심 툴은 어떤 것이 차별을 조장한다고 가정해 그 가정을 검증하는 다양한 입력 데이터를 제공한 다음 결과로 나온 예측을 비교하는 것이다. 람브레흐트와 터커가 그 일을 한 것은 남성에게 보여 주는 STEM 광고비가 상대적으로 쌌기 때문에 여성들이 그런 광고를 많이 보지 못했다는 사실을 알아냈기 때문이었다. 문제는 인공지능이라는 블랙박스가 잠재적 차별을 소홀히 하는 구실이 될 수 없고.
또 차별이 중요 이슈가 되는 상황에서 인공지능의 사용을 피하는 것도 좋은 방법이 아니라는 점이다. 실제로 인간은 기계보다 훨씬 더 많이 차별한다. 인공지능을 배치하려면 차별을 검사하는 데 더 투자해 차별을 줄이도록 힘써야 한다. - P271
광고가 효과가 있는지 알고싶다면, 광고가 판매로 이어지는지를 지켜보아야 한다. 그러나 그것이 전부는 아니다. 광고를 내지 않았을 때 판매가 어떻게 달라지는지도 역시 알아야 한다. 광고와 판매에 관한 정보가 많이 담긴 데이터로 훈련을 받은 인공지능은 광고를 하지 않을 경우 어떤 결과가 나오는지 알지못한다. 그런 데이터는 빠져 있다. 안다는 사실을 모르는 것은 인간의 판단이 개입되어야 극복할 수 있는 예측 기계의 중요한 약점이다. 인공지능이 그 덫에 걸릴 경우, 지금으로서는 생각을 할 줄 아는 인간만이 해결책이다 - P273