인류는 로켓과학을 발전시켰고 달까지 날아갈 수 있지만, 정작 필요할 때 간단한 합리적 판단을 내리기 위해 불확실성과 관점 대립을 해소하는 법을 늘 생각해내지는 못한다. - P18
의료 문제, 사업적 판단, 사회·환경 정책에 이르기까지 오늘날 우리가 개인적, 직업적, 정치적 삶에서 맞닥뜨리는 난관의 상당수는 고도로 기술적인 과학 정보를 처리하는 문제와 관계있다. 이 책은 정보가 의미하는 것은 무엇이고 의미하지 않는 것은 무엇인지, 정서적, 도덕적, 철학적, 영적 질문 중에서 기술적 정보가 답할 수 있는 것은 무엇이고 답할 수 없는 것은 무엇인지 들여다본다. 하지만 우리가 파악하고자 씨름하는 정보나 해결하고자 하는 문제가 ‘과학적‘이든 아니든 이 책의 과학적 얼개는 유용성을 발휘한다. 복잡하고 변화무쌍한 세상에서 다른 인간과 상호작용하는 인간으로서 우리가 일상생활에 적용할 수 있는 관점을 제시하기 때문이다. 대학원 과정에 등록하려고 빚을 지는 것이 합리적일까? 새 췌장암 치료법 연구에 피험자로 자원해야 할까? 우리 아이의 학습 장애를 해결하는 가장 효과적인 방법이 무엇일까? 외래종 수생 잡초를 없앨 제초제 살포를 마을에서 승인해야 할까? 태양광 패널 설치를 위해 우리 학교의 시설 예산을 써야 할까? 정부에서 자율주행차랑을 어떻게 규제해야 할까? - P2021
함께하고 힘을 합치는 현실적이고 원칙에 입각한 방법들을 더 많이 발전시킬 수 있다는 생각은 우리의 집단적 미래에 가장 중요한 열쇠인지도 모른다. - P23
이 기법들을 이해한다고 해서 과학자들의 실험을 재현하거나 과학 분야의 까다로운 전문 지식을 쌓을 수는 없다. 하지만 우리가 보고 있는 것이 정직한 연구인지, 우리를 진리에 가까이 데려다줄 것인지, 아니면 단지 우리의 선입견을 악용하는 미사여구인지 평가할 수는 있다. 즉, 전문가와 사이비 전문가를 구별할 수 있다. 과학적 사고의 기법과 도구를 다루는 능력을 갖추는 것은 이 책의 중요한 목표 중 하나다. - P34
위험에 어떤 가치를 부여할지는 당신에게 달렸다. 의사들은 위험이 얼마나 큰지는 알려줄 수 있지만, 그것이 당신에게 어떤 의미가 있는지는 알려줄 수 없다. - P35
우리가 언제 무엇을 먹고 어떤 약을 복용하고 어떤 의료 절차를 거쳐야 하는지, 어떤 직업을 선택하고 어떤 모임에 가입하고 어떤 운동을 하고 어떤 애인을 사귀어야 하는지를 전문가가 결정하는 사회는 설령 그들의 결정이 ‘옳을‘지라도 지옥처럼 느껴진다. 우리는 ‘전문가‘의 조언을 귓등으로 흘릴 권리를 갖고 싶어 한다. - P38
요즘 사람들은 과학이 다방면에서 성공을 거두는 것보다는 오늘날 과학 기술의 한계에 놀란다. 전자는 당연하다고 생각하기 때문이다. - P50
인터넷에서 ‘Spurious Correlations(허위상관)‘를 검색하면 나오는 웹사이트에서 수십 가지 사례를 볼 수 있다. 예를 하나만 들어보겠다. 웹사이트에 따르면 미국의 1인당 치즈 섭취량은 2000년부터 2009년까지 꾸준히 증가했으며 홑이불에 목이 감겨 죽는 사람의 수도 정확히 보조를 맞춰 증가했다. - P73
무엇이 무엇의 원인인지 알아내기란 힘든 일이지만, 우리 삶에서 달갑잖은 결과를 줄이고 바람직한 결과를 늘리고 싶다면 꼭 알아내야 한다. 바이러스가 지역사회에 퍼지는 경우를 생각해보자. 무슨 일이 일어나고 있고, 이 현상을 지배하는 과학 법칙이 무엇이고, 지금까지의 감염률이 얼마인데 1년 뒤 감염률이 열 배로 증가하리라는 것 등을 아는 일은 근사하다. 하지만 우리는 한낱 구경꾼이 아니다. 어떻게 해야 현실을 변화시킬 수 있을지 알고 싶어 한다. 마스크를 쓰면 감염률이 달라질까? 우리가 먹는 음식이 바이러스의 인체 내 작용에 영향을 미칠까? 사회적 거리두기가 바이러스의 사람 간 전파를 예방하는 데 정말로 효과가 있을까? 이것들은 전부 원인과 결과에 대한 물음이다. - P7475
20세기 초가 되어서야 과학자들(특히 통계학자 로널드 피셔Ronald Fisher)은 우리가 아는 변인뿐 아니라 모든 무관한 변인을 통제하는 해법이 있음을 알게 되었다. 그 해법이란 사람들을 두 집단에 무작위 배정하는 것이었다. 통계학적으로 말하자면 100명 중 누구를 처리군에 넣고 누구를 대조군에 넣을지를 동전 던지기로 정하면, 한 집단의 여성 수와 16세 참가자 수는 다른 집단과 대략 같다. 근사하게도 상상할 수 있는 모든 변인을 이런 식으로 통제할 수 있다. 표준화할 엄두를 결코 내지 못했을 변인도 문제없다. 두 집단은 테일러 스위프트 팬, 생일 별자리가 천칭자리인 사람, 골프 애호가, 아침을 굶은 학생 등의 수도 비슷할 것이다. 이런 까닭에 무작위 배정 실험은 황금 표준(최적 표준)‘으로 간주된다. - P77
인과는 우리가 체계에 개입할 때 관찰하는 상관관계의 문제에 불과하다. - P79
단일 인과와 일반 인과의 이런 차이는 왜 중요할까? 둘 다 인과관계가 결부되어 있기 때문에 어느 쪽을 확정하는 것이 주어진 목적에 맞는지 헷갈리기 쉽다. 우리는 위험한 제품(담배라고 하자)의 특정 쓰임새가 특정 결과(암이라고 하자)의 원인임을 입증할 수 없으므로 제조사에 결과의 책임을 물려서는 안 된다는 논증을 쉽게 떠올릴 수 있다. 이것은 분명 단일 인과 주장을 정확히 이해했지만 일반 인과 주장에 대해서는 올바르지 않다. 우리 사회가 이렇게 다른 인과 주장에 대한 반응을 어떻게 구조화하는지 생각하는 일은 흥미롭다. 전형적으로 우리는 일반 인과를 통해 해로운 결과를 낳은 무책임한 행위(이를테면 조명 기구에 설계 결함이 있으면 많은 구매자가 부상을 입을 수 있다)에 대해서는 이를 예방하기 위해 규제가 실시될 것이라고 기대한다. 하지만 단일 인과에 의해 해로운 결과로 이어진 무책임한 행위(이를테면 날림으로 설치한 조명이 누군가의 머리에 떨어진 경우)에 대해서는 소송을 제기(하고 비난)하는 것이 마땅하다고 생각한다. 실제로 단일 인과와 일반 인과 둘 다 이를 다루는 폭넓은 법적 메커니즘이 있다. - P8788
조금은 알지만 전부는 알지 못하는 현실과의 연결을 궁리하는 태도에 대해 과학은 극단적으로 다른 방법을 제시한다. 절대적으로 확신하는 것만 다룰 수 있다고 말하는 태도에서 벗어나, 확신의 정도가 다양한 것을 다룰 수 있으면 더 성공할 수 있다고 말하는 태도로 전환하게 해준다. 게다가 확신의 정도에 차이가 있다는 개념을 이해하기만 해도 세상에서 명확한 답을 얻으려 할 때보다 훨씬 큰 효과를 거둘 수 있다. 우리가 얻을 수 있는 증거는 우리가 원하는 절대적 확실성을 보장하지 않는 경우가 많기 때문이다 - P9394
잠정적 태도를 가지면 자신이 그 순간 품은 믿음에 지나친 애착을 느끼지 않을 수 있다. 자신의 진술이 매번 옳다는 것에 모든 자존감을 걸지 않음으로써 당신은 자부심과 자신감을 가진 과학자이면서도 "이 이론이 현상을 포착하고 있다고 상당히 확신합니다"라는 말이 이따금 틀릴 여지를 스스로에게 부여한다. (스키에 비유하자면 각각의 명제에 무게를 다르게 싣는 셈이다. 즉, 옳을 확률을 다르게 부여한다.) 사실 목표는 매번 옳음(불가능하다)에 자신의 정체성을 거는 게 아니라 자신이 무언가에 대해 얼마나 확신하는지 얼추 판단하는 능력을 기르는 데 있다. - P95
과학자는 무언가가 참임을 아주아주 확신하더라도, 즉 명백히 확실히 절대적으로 참이라고 말하고 싶더라도, 훈련을 제대로 받았다면 "예, 100퍼센트 옳습니다. 명백히 확실히 절대적으로 참이라고요"라고 말하기를 주저한다. 그보다는 자신의 확신이 (이를테면) 99퍼센트 수준이라고, 심지어 999999퍼센트 수준이라고 말할 것이다. 무언가에 대한 확신이 99.9999퍼센트 수준이라는 말은 "이것이 참이라는 데 목숨을 걸겠어"라는 말과 사실상 같다. 하지만 이렇게 말하는 격이기도 하다. "내가 틀릴 수도 있음을 인정한다." 절대적 진술에서 한발 물러서는 능력은 확률론적 사고 초능력을 얻는 첫 번째 열쇠다. - P96
0퍼센트에서 100퍼센트까지의 확신 범위는 누구나 세상을 다룰 때 쓸 수 있는 과학 도구 중 하나다. - P97
확률론적 사고의 이점 중에서 과학자들이 자신이 틀렸을 때 체면을 구기지 않을 수 있다는 점은 미묘하지만 강력하다. 틀리더라도 신용이 깎이지 않기 때문이다. 과학자로서 그가 말한 거의 모든 것에는 어느 정도의 불확실성이 내포되어 있으니 말이다. - P9899
진술의 구체성과 자신이 표출하고자 하는 확신도 사이에서도 반비례 관계가 관찰된다. 상세한 데이터 집합이 없는 대부분의 상황에서는 명확하고 구체적인 진술의 진실성보다는 막연하고 일반적인 진술의 진실성을 더 확신할 수 있다(진실의 한 가지 버전에 국한되지 않으므로). - P102
솔은 유쾌한 사례도 하나 떠올렸다. 사흘간 열리는 우주학 워크숍에 참석했을 때의 일인데, 과학자들은 확실한 정량적 추정값이 없는 경우에 다양한 결과의 확신도를 어떻게 표현하는지 이야기를 주고받았다. 확신도를 묘사하는 표현은 "여기에 목숨을 걸겠다."와 "여기에 집을 걸겠다"부터 "여기에 내 황무지쥐(미국에서 인기 있는 애완용 설치류-옮긴이)를 걸겠다"까지 다양했는데, 심지어 "여기에 당신 황무지쥐를 걸겠다"도 있었다! - P105
이 예들에서 보듯 세 번째 밀레니엄에 전문가가 권위를 지키기 위해서는 지적(또는 인식론적) 겸손이라고 불리는 것을 함양해야 한다. 심리학자 마크 리리Mark Leary는 이 특질을 오랫동안 연구했는데, 지적으로 겸손한 사람들이 "사실 주장에 대한 증거의 힘에 더 주목하고 사람들이 동의하지 않는 이유를 이해하는 것에 더 관심을 기울인"다는 점을 발견했다. 그는 말한다. "개방성과 유연성을 중시하고 불확실성과 모호성을 감내하는 정도는 문화마다 다르다." - P115
다음 그림은 여러 해 동안 학생들에게 보정 문제를 낸 결과다. 학생들이 50퍼센트의 확신도를 보고한다는 것은 사실상 무작위 추측을 한다는 뜻인데, 그때 학생들이 정답을 맞히는 확률은 50퍼센트보다 약간 높다. 이것은 학생들이 자신의 생각보다 많이 안다는 뜻이다. 하지만 정답에 대한 확신도가 커질수록 정확도는 자신의 생각보다 일관되게 낮아진다. 과신을 향한 뚜렷한 추세를 보여주는 ‘고전적‘ 보정 패턴은 수많은 인구집단을 대상으로 실시한 수많은 연구에서 거듭거듭 도출되었다. - P117
과신이 인간 심리의 속성이기는 하지만 보정을 개선할 수 있다. 우리는 불확실한 상황에서의 확신을 꽤 능숙하게 보정할 수 있다. 예측이 필수인 다양한 직종의 확신도 보정을 들여다보면 (이를테면) 기상학자들의 단기 예보가 놀랍도록 훌륭히 보정되어 있음을 알 수 있다. 기상 예보관이 이튿날 강수 확률을 80퍼센트로 예측한 경우를 전부 조사하면 실제로 비가 온 경우가 약 80퍼센트다. 그들의 보정은 왜 이렇게 훌륭할까? 관건은 기상학자들이 예측에 대한 즉각적 피드백을 끊임없이 받는다는 것이다. 더욱이 기상학자들의 직업적 명성은 자신의 지식(정확도) 못지않게 메타지식(보정)에도 좌우된다. - P121122
당신의 직종에서 확신도를 보정하는 데 영향을 미치는 요인을 알면 당신을 과신으로 시나브로 밀어대는 힘을 발견하고 저항할 수 있을 것이다. - P122
전문가들은 신뢰받을 만큼 확신도를 보정해야 한다. 하지만 정보 가치가 있을 만큼 구체적이어야 하는데, 이것은 만만한 일이 아니다. 희소식은 자신의 확신도를 정직하고 현실적으로 평가하면 전문성에 대한 신뢰를 유지할 수 있다는 것이다. - P125
전문가의 말을 들을 때는 그들이 자신의 불확실성과 자신이 틀릴 수도 있는 상황을 인정하는지에 주목하라. 우리야 전문가들이 100퍼센트 정확하면 좋겠지만 그런 일은 일어날 리 만무하다. 하지만 우리는 100퍼센트에 가깝게 보정된 전문가를 찾을 수 있고 찾아야 한다. "확고한 의견을 제시할 만큼 잘 알지 못합니다"라고 말하는 전문가는 쓸모없는 사람이 아니다. 그들이야말로 신뢰할 수 있는 사람이다. 당신이 보기에 그들이 해당 주제에 대해 가장 식견이 높은 사람이라면 그들은 방금 당신에게 이 주제에 대해 연구가 더 필요하다는 사실을 가르친 셈이다. 그때까지는 행동에 신중을 기하고 얼마나 많은 것이 밝혀지지 않았는지 감안해 겸손한 태도를 취하는 것이 상책이다. - P126
과학자들은 신호 대 잡음비에 대해 이야기할 때 종종 더 근사한 통계학적 정의를 동원하기도 한다. 하지만 원리는 같다. 당신이 알고 싶은 것은 자신이 가진 신호의 잉어 비해 잡음의 양이 얼마큼인지, 이 비율이 주어졌을 때 잡음에서 신호를 탐지할 가능성이 얼마큼인지다. 이런 이유로 ‘신호 대 잡음비‘는 중요하고 알아두면 요긴한 용어다. - P141
하지만 우선 잡음 속에서 유의미한 패턴을 찾는 필터링 게임을 할 때 맞닥뜨리는 고약한 문제에 대해 논의해야 한다. 바로 우리 뇌가 무작위 잡음에서 패턴을 보고 그 패턴에 의미를 부여한다는 것이다! 이제 보겠지만 일상적(이고 장기적인) 의사결정을 위해 온갖 잡음 출처 가운데에서 필요한 신호를 인식하는 능력은 같은 방식으로 속아 넘어가는 자신의 성향을 얼마나 잘 이해하느냐에 달렸다. - P143
무작위 잡음에서 얼마나 자주 패턴이 나타나는지에 대해 뛰어난 직감을 가진 사람은 아무도 없다. 우리가 할 수 있는 최선은 자신의 패턴 발견 노력에 늘 의문을 제기하는 법을 익히고, 무엇이 신호인가에 대한 직관이 틀릴 수 있으며 무작위 데이터에서 패턴이 나타나는 빈도와 비교해야 함을 명심하는 것이다. (통계학에는 이런 비교를 할 수 있는 수학 기법이 많다.) 당신이 이 책을 다 읽고 나서 앞의 생각을 깊이 내면화한다면 큰 도움을 받을 것이다. - P146
그렇다면 데이터를 더 많이 수집할 때의 이점은 가짜 잡음 패턴을 보게 되는 빈도를 더 정확히 예측한 다음, 그 개수를 데이터에서 보이는 실제 패턴 더하기 가짜 패턴의 개수와 비교할 수 있다는 것이다. 이렇게 비교하면 자신이 보는 것이 한낱 잡음일 확률이나 반대로 잡음 속에 있는 진짜 신호일 확률을 알 수 있다. 대부분의 통계학 기법이 기본적으로 이런 식이다. - P391000000
위의 모든 예에서 과학자들은 잡음이 아니라 신호를 발견했다고 결론 내리기에 충분한 확신을 얻으려면, 자신이 적절한 양의 데이터를 수집했는지 판단해야 한다. 일상생활의 사례들에서도 우리는 진짜 패턴이라고 생각되는 것이 한낱 무작위가 아닐 가능성을 가늠할 수 있어야 한다. 그렇다면 신호를 발견했다고 잠정적으로 주장할 수 있기 위해 가능성이 얼마나 커야 하는지는 어떻게 판단할까? - P161
관습법 전통에서 배심원단에 제시하는 입증 기준은 무고한 사람에게 유죄 평결을 내리지 않는 쪽으로 편향된다. 영국의 법학자 윌리엄 블랙스톤 경Sir William Blackstone은 무고한 사람 한 명을 단죄하는 것보다 범인 열 명을 놓치는 편이 낫다는 명언을 남겼다. 그러므로 대체로 배심원단은 "합리적 의심을 넘어서서" 피고인이 유죄라는 확신이 들지 않는 한 피고인에게 무죄 방면 평결을 내리라고 교육받는다. 어떤 사람들 눈에는 이것이 ‘범죄에 무른‘ 태도로 보일지도 모르겠다. 하지만 이 편향에는 타당한 이유가 있다. 첫째, 형사사건에서는 시민 개인이 검찰이라는 공권력을 정면으로 상대해야 하는데, 검사는 피고인보다 인적•물적 자원이 훨씬 풍부하다. 둘째, 많은 경우(이를테면 범행이 저질러진 것은 알지만 누가 저질렀는지는 모르는 ‘범인 찾기‘ 범죄) 유죄 평결에 더 엄격한 기준을 적용하는 것이 논리적으로 바람직하다. 무고한 사람을 단죄하는 것은 곧 진짜 범인을 풀어주는 셈이기 때문이다. - P166167
우리는 거짓양성의 위험과 거짓음성의 위험 사이에 진퇴양난 상충관계가 있음을 보았다. 다시 말하지만 기준 점수를 정하는 것은 정책 결정이며 여기에는 오류의 상대적 비용에 대한 기관 차원의 결정이 반영된다. 이런 결정은 본질적으로 과학적 결정이라기보다는 가치에 대한 정치적 결정이다. - P174
이 시점에서 과학자들은 두 종류의 불확실성을 구분하고 이름을 붙인다. 통계적 불확실성은 당신이 측정한 값을 올바른 값 주위에 무작위로 흩어지게 만드는 잡음원을 가리킨다. 호텔 체중계마다 몸무게가 오르락내리락하는 것처럼 어떤 값은 더 높고 어떤 값은 더 낮다. 통계적 불확실성만 있을 때는 측정값을 점점 많이 평균할수록 참값에 점점 가까워진다. 이에 반해 계통적 불확실성은 모든 측정값을 한쪽으로 몰아가는 잡음원을 가리킨다. 측정할 때마다 값을 낮게 표시하는 당신의 부정확한 체중계처럼 값은 전부 더 높거나 전부 더 낮다. 계통적 불확실성만 있을 때는 측정을 몇 번 하느냐는 중요하지 않다. 아무리 평균을 내봐야 참값이 아니라 ‘편향된‘ 결과를 얻을 뿐이다. - P182
요점은 계통적 불확실성을 일으킬 수 있는 원인을 알아낸 뒤에는 연구를 통해 설명할 수 있다는 것이다. 따라서 불확실성의 원인을 알아내고 이 원인 때문에 측정이 결정의 토대로 삼기에 너무 불확실해지지 않도록 각각의 측정을 통제하거나, 균형을 맞추거나, 적절히 실시하는 창의적 방법을 생각해내는 일은 과학자가 받는 훈련에서 막대한 비중을 차지한다. - P190
게다가 어떤 약을 복용해야 하는지, 셰일가스 추출 정책에 찬성표를 던져야 하는지 등에서와 같이 과학자들의 연구 결과를 바탕으로 우리 스스로 결정을 내려야 할 때는 과학자들이 자신의 연구에서 계통적 불확실성의 범위를 충분히 탐색했는지 예민하게 점검해야 한다. 반대 견해를 가졌거나 맞수인 과학자들이 계통적 불확실성을 이미 들여다보았다면 더할 나위 없다. 어느 분야의 전문가든 자신이 어떤 과학적 발견을 왜 믿는지 설명하려면 계통적 불확실성에 대한 질문에 답할 수 있어야 하며 우리는 답변을 요구해야 한다 - P191
요는 우리 인간이 천성적으로 게으르다는 것이다. 우리 잘못이 아니다. 에너지를 절약하기 위해 게으르게 진화했을 것이다. 신기하게도 끝똘히 생각하는 일은 에너지를 많이 쓰는 것처럼 느껴진다. 그래서 우리는 가파른 언덕을 에돌 수 있으면 굳이 올라가려 하지 않듯, 힘든 생각을 가급적 피하려 한다. 하지만 중요한 문제를 해결하려면 골똘히 생각해야 한다. 우리의 느림보 뇌에는 여러 부담이 가해지는데, 앞에서 보았듯 잡음 속에서 거짓 패턴을 신호로 착각해 스스로를 속일 가능성이 있는 때를 알아차리려면, 또는 중대한 측정을 편향시키는 계통적 불확실성의 잠재적 원인 목록을 짜려면 상당한 정신노동이 필요하다. - P199200
문제에 진득이 매달리지 못하는 이 인간적 속성을 어떻게 해야 하나? 좀처럼 논의되지 않는 과학의 비밀 도구가 여기서 등장한다. 이 도구는 과학 문화가 발명한 단순한 심리적 수단으로 이루어졌는데, 우리는 과학적 낙관주의라고 부를 것이다. 과학적 낙관주의는 하루하루 느끼는 평범한 낙관주의가 아니다. 기본적으로는 ‘할 수 있다‘ 정신이며 당면 문제가 당신에 의해서나 당신과 동료들에 의해 해결 가능하리라는 기대다. 복잡한 문제를 맞닥뜨렸을 때 해법이 손안에 있는 것처럼 접근하면 문제를 풀 가능성이 훨씬 커진다. 기본적으로 과학자들은 문 제를 풀 수 있다고 믿도록 (실제로 푸는 데 걸리는 시간 동안) 스스로를 속이는 방법을 고안한 셈이다. 이 책에서 스스로에게 속아 넘어가는 것을 목표로 삼는 대목은 이곳뿐이다! - P200201
반복적 진전이 충분하지 않고 막무가내식 ‘과학적 낙관주의‘ 추구를 미뤄야 한다고 결론 내리더라도, 이것은 목표의 폐기보다는 일시 중단일 수도 있다. 한데 어우러져야 하는 해법의 여러 조각들이 한꺼번에 준비되지 않았을 때가 있는가 하면, 새로운 보조 기술이 개발될 때까지 문제를 제쳐두어야 하는 때도 있다. 사실 과학의 ‘할 수 있다‘ 정신에서 큰 부분을 차지하는 것은 문제를 오랫동안 묵혀두었다가 기술이 등장해 해결할 수 있게 되었을 때 끄집어내는 능력이다. (페르마의 마지막 정리가 증명된 시점에도 이런 성격이 있었다. 페르마 시대에는 존재하지 않았던 수학 분야에서 1980년대에 도출된 결과가 1995년의 증명 가능성을 열어주었으니 말이다.) - P208
과학적 낙관주의는 우리를 계속 나아가게 하고, 이상적으로는 앞으로 나아가도록 하는 필수 가속페달이다. 물론 문제를 풀 수 있다는 보장이 없는 경우도 비일비재하다. 아무리 오랜 시간이 지나도 끝이 보이지 않는다. 날마다, 달마다, 해마다, 10년마다 조금씩 나아지는 것이 고작이다. 이런 점이 불만스럽게 들릴 수도 있다. 하지만 올바른 마음가짐을 가진다면, 반복과 끈기를 통해 목표에 도달하고 있다는 느낌이야말로 삶에서 누릴 수 있는 최고의 쾌락 중 하나다. - P206
페르미 추정은 일차 설명을 이차 설명과 구별하는 데 매우 실용적인 쓰임새가 있다. 숫자를 제시해 논점을 입증하는 세상에서 페르미 추정은 그 숫자가 말이 되는지 확인하는 데 매우 요긴한 기법이기도 하다. 하지만 페르미는 학생들이 이 빠른 추정 방법에 익숙해지면서 ‘할 수 있다‘ 정신을 체득하는 일에도 관심을 가졌을 것이다. 세상을 이런 식으로 다룰 수 있음을 깨달으면 커다란 자신감이 생기기 때문이다. - P217
방금 제시한 예들에서 페르미 추정을 위해 쓴 세 가지 요긴한 비법을 나열해보겠다.
낯익은 항목으로 추정할 것. 낯설고 접근하기 힘든 양을 낯익고 접근하기 쉬운 양으로 분해한다. (첫 번째 경우는 미국의 차량 대수보다 미국 인구가 낯익으므로 후자를 근거로 전자를 추정했다.)
근사적일 것. 추정값은 정의상 근삿값이지만, ‘충분히 가깝‘기만 하면 대체로 무방하다. 당신이 찾는 답은 위아래로 세 배 이내까지는 괜찮은 경우가 많다. 말하자면 당신이 추정하려는 양의 참값이 100이라면 33부터 300까지의 추정값은 대개 적당하다. 이 말은 당신이 추정의 토대로 삼는 낯익은 숫자가 그 이상 정확할 필요가 없다는 뜻이다.
자신이 없으면 상한과 하한을 먼저 추정한다. - P219220
우리는 ‘편향되었다‘라는 낱말을 너무 쉽게 내뱉는다. 우리가 상대방을 편향되었다‘라고 공격하는 경우는 단지 그의 관점이 마음에 들지 않기 때문일 때가 많다. 다행히도 9장에서 논의했듯 판단에서의 편향은 꽤 객관적으로 정의할 수 있다. 어떤 과정이 무작위 오류를 많이 만들어낼 때는 잡음이 많다고 말하지만, 계통적 오류를 만들어낼 때는 편향되었다라고 말한다는 것을 떠올려보라. 계통적 오류란 정답보다 일관되게 높거나 낮은 오류를 말한다. 그러므로 객관적 기준이나 참값이 있을 때는 상대방의 반응을 그 기준이나 값과 비교해 편향을 확인할 수 있다. 객관적으로 참인 것을 모를 때는 그 방법을 쓸 수 없지만, 편향을 근절하는 다양한 실험적 전략이 연구자들에 의해 개발되어 있다. - P236237
후견은 선견보다 훨씬 수월하다. 심리학자 바루크 피시호프 Baruch Fischhoff는 인간 판단의 일반적 특징을 하나 제시했는데, 결과를 알고 나면 그 결과가 처음부터 명백했다고 생각한다는 것이다. 예를 들어보겠다. 1970년대 초 피시호프는 확률 판단을 연구하고 있었는데, 이를 위해 가능성이 희박해 보일 수도 있고 다분해 보일 수도 있는 미래 사건들을 선정했다. 때는 닉슨 행정부 시절이었다. 닉슨은 골수 반공산주의자였기에, 피시호프는 가능성이 희박한 사건의 예로 닉슨이 퇴임 전 중국에 외교 방문을 할 가능성을 사람들에게 물었다. 공교롭게도 닉슨은 실제로 1972년 중국을 방문해 외교정책 전문가들조차 놀라게 했다. 피시호프는 빛나는 통찰력을 발휘해 이 사건 뒤 사람들에게 다시 연락을 취해 그들이 닉슨의 중국 방문 사건에 대해 제시한 확률을 기억해보라고 주문했다. 그랬더니 사람들은 자신의 확률을 실제보다 높게 오기억했다. 한마디로 사건이 일어나리라는 것을 예상했다고, "처음부터 알고 있었다"고 생각했다. - P242243
지금껏 밝혀진 편향 말피 전략 중에서 가장 성공적인 것은 반대로 생각하기(더 복잡한 경우에는 대안을 고려하기)다. 미래의 결과에 대해 확고한 예상이 든다면 잠시 멈추고 정반대 결과가 생길 수 있는 이유를 모조리 생각해보라. 이 연습을 해보면 자신이 내린 선택에 대해 물론 좋은 이유가 있지만 다른 선택에 대해서도 좋은 이유가 있을 수 있었다는 것 또한 알게 된다. 4장에서는 학교의 전국 모의고사 확대를 주제로 한 토론에 대해 서술했는데, 참가자들은 참일 수도 있고 거짓일 수도 있는 각각의 진술에 대해 확신도(예: 75퍼센트)를 부여하라는 주문을 받았다. 한 가지 흥미로운 결과는 이렇게 했더니 참가자들이 자연스럽게 "반대로 생각‘하게 되었다는 점이다. 대부분의 진술에 대해 확신도가 99퍼센트 미만임을 인식했기 때문이다. ‘반대로 생각하기‘는 과학 수업에서 정식으로 가르치지는 않지만, 실상으로는 대부분의 과학 방법론에 배어 있다. 이를테면 무작위 배정 실험을 설계하는 것은 반대(‘반사실‘) 조건에서 무슨 일이 일어나는지 탐구하기 위해서다. - P248
좋은 과학을 기준점으로 삼아 출발하자. 과학이 훌륭히 수행되어 정확한 결과를 내놓는 것은 이상적 상황이다. 당신이 과학 연구 결과에 대한 신문 기사를 읽거나 과학 논문을 읽을 때 실제로 보고 싶어 하는 것이기도 하다. 하지만 좋은 과학이 틀린 결과를 내놓기도 한다. 사실 4장에서 논의한 확신도를 생각해보면 좋은 과학 중에서 어떤 것은 반드시 틀린 결과를 낸다. 좋은 과학자는 당신에게 확신도를 제시해야 하는데, 확신도란 결과가 옳을 확률이다. 확신도야말로 당신이 과학자에게 기대하는 전부다. 하지만 과학자가 그 결과에 대해 95퍼센트의 확신도를 제시한다면, 그들이 최선을 다하더라도 논문 20건 중에서 한 건은 틀릴 수밖에 없다. 이 말은 틀린 결과를 내놓는 좋은 과학이 있을 수밖에 없다는 뜻이다. 확신도가 95퍼센트라면 논문 중에서 적어도 20분의 1은 그 범주에 속해야 한다. - P250251
앞에서 언급한 랭뮤어의 병적 과학 강연(노벨화학상 수상자 어빙 랭뮤어Irving Langmuir의 1953년 강연)에서는 과학적 결과가 이 수상쩍은 범주에 속했을지도 모른다고 의심케 하는 실마리의 목록을 제시한다(문구는 살짝 바꿨다).
1. 간신히 탐지되는 원인에 의해 결과가 발생하며, 결과의 크기가 원인의 세기에 대해 대체로 독립적이다. 2. 결과 자체가 간신히 탐지되거나 통계적 유의성이 매우 작다. 3. 대단히 정확하다고 주장한다. 4. 경험과 상반되는 허무맹랑한 이론이 연구에 결부되어 있다. 5. 연구에 비판이 제기되면 임기응변으로 변명한다. 6. 지지자 대 비판자 비율이 초반에 50퍼센트 가까이로 급등했다가 0퍼센트 가까이로 급락한다. - P257
여기서 분명히 해두어야 할 게 있다. 핵융합에 이르는 경로 중에서 훨씬 쉽게 이용할 수 있는 새롭고 이례적인 것을 찾으려는 탐구는 과학이 작동하는 모습을 보여주는 위대한 사례다. 심지어 결과가 재현 가능하지 않거나 실험에 결함이 있더라도 반드시 나쁜 일은 아니다. 하지만 모두가 갈망하는 것은 한발 물러서서 오류를 선제적으로 찾아보는 능력이다. 묻고 더블로 가는 것은 여기서는 미덕이 아니다. 그것은 무언가 심각하게 잘못되어 적신호가 켜질 가능성을 외면하는 노골적 저항이다. - P265
하지만 우리가 살펴본 사례들에는 더 기본적인 문제가 하나 예시되어 있다. 과학 연구를 실제로 수행하든 아니든 모든 사람은 무엇이 참이어야 하는가에 대한 나름의 믿음에 홀딱 반할 수 있으며 그 믿음이 우리가 안다고 생각하는 나머지 모든 것과 아무리 모순되더라도 아랑곳하지 않을 수 있다("놀랍게도 내가 가장 생산적인 때는 과부하가 걸리고 여러 업무를 한꺼번에 처리할 때야"). 또한 이 믿음이 통하지 않을 때마다 나쁜 핑계를 대며 앞 장에서부터 논의했듯 우리의 믿음과 잘 맞아떨어지는 최적 사례에만 주목한다("금요일에 여러 업무를 한꺼번에 처리하다 실수를 저지른 것은 물론 전날 밤 숙면을 취하지 못했기 때문이라고!"). 확고한 발견으로 이름을 날린 저명 과학자들조차, 훈련을 통해 이런 정신적 고장모드에 저항력이 생겼어야 마땅하건만 두 사례 연구에서 보듯 이 함정에 빠질 수 있다. 스스로에게 이런 일이 생긴다면, 잠깐 멈춰 ‘기억력을 가진 물’과 ‘상온 핵융합‘에 대해 생각하라. 그러고 나서 한발 물러서서 이렇게 말하라. "여기서 더 회의적인 태도를 취해야겠어." - P271
문제는 이것이다. 신뢰할 수 없는 데이터를 찾아 거부하고, 소프트웨어 버그를 찾아 고치는 행위는 놀랍지 않은 답을 얻게 되는 시점까지 계속되는 경향이 있다. 즉, 당신은 뜻밖의 결과를 얻으면 불량 데이터나 버그를 찾지만 결과가 ‘옳게 보이면‘ 찾지 않는다. 근사해 보이는 결과가 잔류 불량 데이터나 컴퓨터 프로그램의 미발견 버그 때문일 경우에도 말이다. 이런 까닭에 최종 측정과 학술 논문의 결과는 과학자들이 예상한 쪽으로 계통적으로 편향된다. 과거의 물리학 측정이 무작위 잡음에서 예상되는 정도로 오르락내리락하지 않은 것은 이 때문인 듯하다. 우주 팽창 측정이라는 더 극적인 경우에 결과가 50km/sec/Mpc(메가파섹, 태양계 밖의 천체까지의 거리를 나타내는 단위로, 우리은하와 안드로메다 사이의 거리는 약 0.7메가파섹이다-옮긴이)과 100km/sec/Mpc으로 다르게 나타난 이유는 각 연구진이 어느 데이터를 신뢰할지에 대해 서로 다른 선택을 내렸기 때문일 것이다. - P281
모든 과학자가 이 절차를 접하자마자 쓰지 않는 이유는 무엇일까? 맹분석blind analysis은 익숙해지기까지 시간이 좀 걸린다. 대부분의 과학자들이 데이터나 컴퓨터 프로그램에 문제가 있는지 알아내는 방법 중 하나는 결과의 성격을 들여다보는 것이기 때문이다. 맹분석에 익숙해지려면 핵심 결과를 도출하지 않은 채 이런 문제를 찾아낼 새로운 방법을 발명해야 한다. 여기에는 어느 정도 재훈련이 필요하며 이따금 창의성이 필요할 때도 있다. 이를테면 핵심 결과를 얻기 위해 대량의 측정 집합을 평균해야 하는 과학 연구를 상상해보라. 간단한 맹분석 방법은 분석을 시작하기 전에 친구에게 모든 자료점(도표나 그래프 따위의 그래픽 좌표에서 하나의 점을 표시하는 정보-옮긴이)에 숫자 하나를 몰래 더하도록 하는 것이다. 그러면 당신은 평균값을 알 수 없게 된다. 그런 다음 최종 분석이 끝났다는 판단이 들면 친구가 알려주는 비밀의 수를 빼서 실제 평균값을 구한다. 이렇게 하면 핵심적 최종 답을 섣불리 공개하지 않고도 (숨겨진) 평균과 거리가 먼 자료점을 찾아내어 나쁜 데이터로 간주해 폐기함으로써(그날 검출기가 고장났으려나?) 실험을 디버깅할 수 있다. - P284
|