조금 거창하게 들릴지는 모르지만 나는 디지털 시대에 이용 가능성이 점차 늘어나고 있는 이 새로운 데이터가 인류에 대한 이해의 폭을 급속하게 확장시킬 것이라고 믿는다. 현미경은 연못에 있는 물 한 방울에 우리가 볼 수 있다고 생각했던 것보다 많은 것이 들어있음을 보여줬다. 망원경은 밤하늘에 우리가 볼 수 있다고 생각했던 것보다 많은 것이 있음을 보여줬다. 그리고 이제 새로운 디지털 데이터는 인간 사회에 우리가 볼 수 있다고 생각했던 것보다 많은 것이 들어있음을 보여주고 있다. 디지털 데이터는 중요한, 심지어는 혁명적인 식견을 제공해주는 우리 시대의 현미경이나 망원경인지도 모른다.
p. 30 서론. 빅데이터 혁명의 개요
데이터 과학자의 목표는 세상을 이해하는 것이다. 직관과 어긋나는 결과를 얻으면 우리는 데이터 과학을 이용해서 세상이 겉으로 보이는 것과 왜 다른지를 설명한다.
p. 55 1. 직감은 불완전하다
빅 데이터의 힘
1) 새로운 유형의 데이터 제공
2) 솔직한 데이터 제공
3) 작은 집단도 클로즈업해서 볼 수 있는 것
4) 인과적 실험의 실행 가능성
P. 72, 73 2. 프로이트가 옳았을까?
설문조사에 답할 때 사람들은 당혹스러운 행동이나 생각을 축소해서 이야기한다. 사람들은 멀쩡하게 보이기를 원한다. 설문조사가 대부분 익명인데도 말이다. 이것을 사회적 바람직성 편향Social desirability bias이라고 부른다. (…) 설문조사에서 우리가 거짓말을 하는 또 다른 이유는 인터뷰를 진행하는 낯선 사람에게 좋은 인상을 주고 싶어하는 강한 욕구때문이다.
p.129 4. 디지털 자백약
그렇지만 개인적인 수준에서 범죄 예측에 검색 데이터를 사용하려면 매우 신중을 기해야 한다. 데이터는 끔찍한 검색이 끔찍한 행동으로 이어지는 경우가 매우 드물다고 분명히 말한다. 현재로서는 정보가 이런 검색을 검토해서 특정한 잔혹 범죄를 높은 확률로 예측할 수 있다는 증거가 없다. 따라서 정부가 검색 데이터를 바탕으로 개인적인 수준에 개입할 수 있도록 허용하는 데는 각별한 주의가 필요하다. 단순히 윤리적, 법적인 이유에서만이 아니다. 데이터 과학적 이유에서도 필요하다.
p. 309 8. 빅데이터로 하지 말아야 할 것
MIT 과학자로 최초로 인공지능의 가능성을 연구한 마빈 민스키는 심리학이 물리학을 따라 하려 노력하면서 궤도에서 벗어났다고 말했다. 물리학은 모든 시간과 모든 장소에 적용되는 단순한 법칙을 찾는 데 성공했다. 민스키는 인간의 두뇌는 그러한 법칙의 대상이 아니라고 생각했다. 두뇌는 한 부분이 다른 부분의 실수를 교정하는 복잡한 시스템일 가능성이 높다. 경제와 정치 시스템도 그와 마찬가지로 복잡하다.
이런 이유로 사회과학 혁명은 E=MC2처럼 깔끔한 수식의 형태로 정리되지 않는다. 사실, 누군가 깔끔함 공식을 바탕으로 사회과학 혁명을 주장한다면 거기에 회의를 품어야 마땅하다.
혁명은 연구에 이은 연구로, 발견에 이은 발견으로, 단편적으로 진행될 것이다. 우리는 인간 정신과 사회라는 복잡한 시스템에 대한 이해를 서서히 넓혀갈 것이다.
p. 313 결론. 얼마나 많은 사람이 책을 끝까지 읽을까?
따라서 나는 이 책을 적절한 방법으로 끝맺을 것이다. 데이터에 따라서, 사람들이 하는 말이 아니라 사람들이 실제로 하는 행동에 따라서 말이다. 나는 친구들과 맥주를 한잔하고 이 망할 결론을 그만 쓸 것이다. 빅데이터가 말하길 여기까지 읽고 있는 사람은 극히 소수니까.
p. 324 결론. 얼마나 많은 사람이 책을 끝까지 읽을까?