4 도쿄역에서 출발하는 ‘고다마호‘는 예상했던 것보...

4

도쿄역에서 출발하는 ‘고다마호‘는 예상했던 것보다 붐볐지만 다행히 자유석이나마 앉을 수 있었다. 미카와안조역까지 약 2시간 30분이 걸린다. - P27

고다이는 창가 좌석에 앉아 어제저녁에 쓰쓰이에게서 받은 서류를 다시 훑어보았다.
구라키 다쓰로, 지금 만나러 가는 인물의 이름이다. 생년월일에 따르면 현재 66세. 그 이외의 정보는 거의 없었다. - P28

결국 기록된 번호에 연락해 본인에게 직접 확인해보기로 결론이 났다. 이성 쪽이 대화하기 쉬울 것이라는 계산에 따라 여성 경찰관이 그 역할을 맡았다.
사건 내용은 자세히 얘기하지 않고, 수사의 일환일 뿐이라고 양해를 구하고 이름과 연락처 등을 물었다. 상대는 대답을 거부하는 일없이 구라키 다쓰로라고 이름을 밝혔고 주소 등도 알려주었다.  - P29

"아, 사사메篠目쪽이군요." 그렇게 말하고 운전기사가 시동을 걸었다.
"이 한자를 사사메라고 읽습니까? 시노메가 아니고?" 고다이가 물었다.
"그렇죠. 타지에서 온 사람은 모를 겁니다. 유명한 게 아무것도 없는 동네라서." 운전기사가 웃으면서 하는 말에 사투리가 섞여 있었다. 미카와 지방 사투리다. - P30

"고다이라고 합니다. 바쁘실 텐데 죄송합니다." 경시청 배지를 꺼내면서 다가가 상대에게 내보이고는 잽싸게 안주머니에 챙겨 넣었다. 그 대신 이번에는 명함을 꺼내 내밀었다.
구라키는 받아 든 명함을 눈을 가늘게 하고 들여다본 뒤, 안으로들어오라고 권해주었다.
실례합니다, 라고 머리를 숙이며 고다이는 실내로 들어섰다. - P31

"저런 아직 젊은 나이셨는데, 무슨 사고라도?"
"아니, 골수성 백혈병이었어요. 골수이식이 가능했다면 어떻게든 살려낼 수도 있었을 텐데 결국 기증자를 찾지 못해서."
"그렇군요......." 어떻게 대답해야 좋을지 몰라서 고다이는 말끝을흐렸다.
"그런 형편이라서 남자 혼자 살림이올시다. 주전자로 차를 내리는것도 벌써 몇 년째 안 했어요. 마트에서 사 온 차라도 괜찮다면......." - P32

단숨에 얘기한 뒤에 고다이는 구라키의 반응을 살펴보았다. 마른 얼굴의 노인은 거의 표정이 바뀌지 않은 채 짧게 턱을 끄덕였다.
"알고 계셨습니까. 시라이시 씨가 살해된 것을?"
"어제 경찰서에서 전화를 받고 인터넷으로 찾아봤어요. 내가 이래봬도 컴퓨터는 좀 다룰 줄 알거든요. 사건을 알고 놀랐어요. 경찰이나한테 찾아오는 것도 그럴 만하다 싶었습니다." 구라키의 목소리는 침착했다. - P32

"딱히 관계는 없어요. 만난 적도 없고 얘기한 것도 그 통화가 처음이자 마지막이었습니다."
"만난 적도 없는 사람에게 전화를 하셨다고요? 무슨 일로?"
"그야 상담을 받으려고 했지요.
"상담?"
"법률상담이에요. 요즘 작은 고민거리가 있어서 돈에 관한 고민거리예요. 어떤 사람하고 다툼이 났어요. 그래서 법률상 어떻게 해결하면 되는지 전화해본 거였어요." - P33

"어떤 곳이든 상관없었어요. 인터넷으로 알아봤더니 간단한 상담이라면 전화로 대답해준다고 적혀 있더라고요. 게다가 무료라고 해서. 나로서는 본격적으로 의뢰할 생각은 아니었으니까 도쿄든 오사카든 상관없었습니다." - P33

그런 참에 어디선가 착신음이 들려왔다. 구라키의 전화가 울리는 모양이었다.
"아, 전화가 왔네. 저쪽에 두고 왔구먼. 잠깐 자리를 떠도 되겠습니까?" 구라키가 물었다.
"물론 괜찮고말고요. 그런데 저는 화장실에 좀 가도 될까요?"
"그래요. 그래요. 여기 복도 건너 맞은편이니까." - P34

"도쿄에 가시는 일도 있습니까?" 고다이는 물었다. 말투가 딱딱해진 것이 스스로도 느껴졌다.
"예에 있지요. 아들이 거기 사니까요." - P35

"도쿄에 가시면 아드님 댁에서 주무시게 되나요?"
"그렇죠. 아들이 아직 독신이라 공연히 눈치 볼 필요는 없으니까요."
"괜찮으시면 아드님 이름과 연락처 등을 알려주시겠습니까?"
고다이의 말에 구라키는 슬쩍 시선을 떨구고 눈을 깜작거렸다. 망설이는 것처럼 보였다.
이윽고 구라키가 입을 열었다. "가즈마라고 합니다. 아들이 다니는 회사는……………." - P36

탐문수사나 취조 때 가장 힘든 대답 중의 하나가 ‘잊어버렸다‘라는 것이다. (중략).
하지만 고다이는 뭔가 감이 왔다. 이번 출장은 분명 헛걸음은 아니다.
"시라이시 변호사의 사무실에 전화한 것은 단순한 법률상담 때문이라고 하셨는데, 그 건에 대해 다른 법률사무실에도 상담한 적이있습니까?" - P38

고다이는 손목시계를 들여다보았다.
"엇, 시간이 벌써 이렇게 됐네? 죄송합니다. 그러면 마지막 질문입니다. 지난 10월 31일에 도쿄에 가셨었습니까?"
"10월 31일... 아, 이거 알리바이 확인처럼 들리는군요."
"실례인 줄은 알지만, 관련된 모든 분들께 똑같이 하는 질문입니다. 양해해주시면 고맙겠습니다."
구라키는 씁쓸한 표정으로 고개를 돌렸다. 벽을 올려다본 것이다. - P39

형사님, 이라고 구라키가 불렀다.
"한 가지, 잘못 말한 게 있군요."
"잘못 말한 것......?"
"마지막으로 도쿄에 갔던 날짜. 방금 전에 아들 추석 휴가 때 다녀왔다고 했었는데, 그 뒤에 한 번 더 다녀온 걸 깜빡했어요." - P40

"협조해주셔서 감사합니다."
고다이는 인사를 건네고 방을 나섰다. 현관으로 향하는 도중에 그 부적 앞에서 멈춰 섰다.
"이 부적, 누가 줬는지 생각나면 연락해드리는 게 좋겠군요?" 구라키가 물었다.
"네, 물론입니다. 꼭 부탁드립니다." - P41

길로 나와 걸음을 옮기면서 왜 자신이 산 것이라고 말하지 않을까, 라고 고다이는 생각을 굴렸다. 자신이 도미오카 하치만구에서 사온 것이라고 말했다면 누가 줬는지 잊어버렸다. 라는 부자연스러운 대답은 하지 않아도 된다.
어쩌면 사실인지도 모른다. 실제로 누군가 준 것이었기 때문에 깜빡 그렇게 대답이 튀어나왔다. 하지만 부적을 준 사람의 이름을 댈수 없었기 때문에 난감한 나머지 잊어버렸다고 말했던 게 아닐까. - P42

5


(전략). 전화를 받은 구라키의 아들은 경시청 형사라는 말에 뜻밖이라는 듯한목소리를 냈다. 문의할 게 있어서 만났으면 한다고 말하자 어떤 건에 대한 것이냐고 물었다. - P42

"그렇겠네요. 둘이 말을 맞춰서 10월 5일에 상경했던 것을 감출수도 있었을 텐데 그러지 않았잖아요."
"맞아, 그거야. 설령 구라키는 이번 사건과 관련이 있더라도 아들쪽은 관계가 없는 거 아니겠어?"
고다이는 신중한 말투를 썼지만, 마음속으로는 이번 사건과 관련이 있는 건 물론이고 구라키가 분명 범인이다. 라고까지 생각했다. - P43

찻집 문이 열리고 한 남자가 들어왔다. 30세 전후일까. 콧날이 반듯한, 단정한 생김새였다. 구라키의 아들이다. 라고 고다이는 바로 알아봤다. 부친과 눈매가 붕어빵처럼 닮았다. - P44

가즈마는 무슨 영문인지 모르겠다는 기색으로 연거푸 눈만 끔벅거렸다.
"아버지가 뭔가 나쁜 일을 했습니까? 저희 아버지, 지금 아이치현 안조시에서 사시는데요."
"알고 있습니다. 그래도 이따금 상경하시는 모양이던데요."
"네, 그건 그렇지만......." - P45

가즈마는 가볍게 양손을 내밀며 고다이와 나카마치의얼굴을 번갈아 보았다. "이건 어떤 수사죠? 아버지가 관련된 일이에요? 그걸 먼저 얘기해주시지 않으면 저도 대답하기가 어렵습니다." - P45

"살인 사건입니다." 고다이는 가즈마가 커피 잔을 입가로 가져가기 전에 말했다. "도쿄에서 한 사람이 살해됐어요. 그래서 피해자와접촉했던 인물, 접촉했을 가능성이 있는 인물들을 모두 찾아다니는중이죠. 접촉이라는 건 직접 만나지 않았더라도 전화나 메일, 편지등을 주고받은 것도 포함됩니다."
"그 속에 아버지 이름도 있었다는 건가요?" 가즈마는 커피 잔을들어 올린 채 물었다.
"네, 그렇습니다. 전화를 하셨어요." - P46

"10월 5일이네요." 가즈마의 대답은 이쪽이 예상한 대로였지만, 그 뒤에 이어진 말이 마음에 걸렸다. "정확히 말하면 10월 6일이지만."
(중략).
"5일 몇 시쯤에 도쿄에 도착했는지는 제가 알지 못하거든요. 우리집에 들어오신 건 날짜가 바뀐 오전 1시쯤이었습니다." - P47

"아버님이 도쿄에 놀러 오신 것은 언제쯤부터예요?"
"정년퇴직하시고 나서부터였을 거예요. 시간이 생겼다면서 오시곤 했으니까."
"그 이후로 내내 지금 같은 페이스로 다녀가셨군요."
"그렇죠, 네, 그랬던 것 같아요." - P48

"미안하지만 그 점에 대한 답변도 하기가 어려워요. 자아, 마지막 질문입니다. 최근에 아버님이 법률과 관련된 일로 뭔가 상의하신 적이 있습니까?"
"법률? 어떤 법률 말이죠?"
"어떤 것이든 좋아요, 금전과 관련된 것일 수도 있고 권리에 관한 것일 수도 있겠죠. 아버님이 그런 얘기를 하신 적이 있습니까?"
"아뇨, 저한테 그런 얘기를 하신 적은 없어요." - P49

가즈마는 노골적으로 불쾌감을 드러냈다. 미간에 주름을 새기고 입이 삐뚜름해진 채 커피 잔을 집어 들었다. 이미 미지근해진 커피를 마시더니 거칠게 잔을 내려놓았다.
"그쪽 집안은 부자 관계가 어떤지 모르지만 우리는 서로 간섭하지 않는다는 주의예요. 아버지가 도쿄에서 뭘 하시든 내가 관여할 일이 아닙니다. 따라서 궁금할 것도 없어요." - P50

흐흣하고 고다이는 콧김을 내뿜으며 웃었다.
"자주 오시는데 아들에게 행선지는 알려주지 않는다. 그리고 아들 집에는 한밤중에나 들어오신다. 별다른 얘기도 나누지 않은 채 다음날에는 본가로 내려가신다…………. 남자가 그런 행동을 취한다면 이유는 단 한 가지뿐이잖아."
"......여자?" - P50

6


구라키 가즈마를 만나고 3일 만에 그 ‘여자‘로 추정되는  인물을찾아냈다. 수훈을 올린 것은 구라키 다쓰로의 사진을 들고 몬젠나카초를 샅샅이 발로 뛰어다닌 수사원들이었다. 상점가 귀퉁이 작은 가게 하나도 허투루 넘기지 않고 끈질기게 탐문하다가 마침내 한 주류 판매점 점원에게서 "몇 번 봤다"라는 증언을 따낸 것이다. - P51

시라이시 겐스케가 들렀던 바로 그 커피점이다. 지난번처럼 2층으로 올라가 에이타이 대로가 내려다보이는 카운터석에 나란히 앉았다.
고다이 씨, 라고 젊은 형사가 흥분한 목소리를 냈다. 그가 손에 든것은 쓰쓰이가 건네준 지도였다. "이거 진짜 틀림없는데요?"
고다이는 옆에서 지도를 흘끔 들여다보았다. - P52

요즘에는 어떤 작은 식당도 인터넷에서 간단히 정보를 입수할 수있다. 아스나로의 개점 시각은 오후 5시 반이었다. - P52

계단을 올라가자 입구에 ‘준비 중‘이라는 팻말이 걸려 있었다.
(중략).
"죄송하지만, 개점은 5시 반부터예요." 여자가 말했다.
"아뇨, 손님으로 온 게 아니고요. 이런 사람입니다." 고다이는 경시청 배지를 여자에게 내보였다. - P53

고다이는 얼굴 사진 한 장을 내밀었다. "이 사람, 아십니까?"
오리에는 사진을 보고 눈이 둥그레졌다. 예에, 라고 고개를 끄덕인다.
(중략).
오리에의 말은 그리 자신이 없다는 듯한 투였다. 둘이 남녀관계를 맺었다면 모를 리가 없다. 어쩌면 교묘한 연기일 가능성도 있다. - P54

"단골 식당이 생기면 정해진 자리에 앉고 싶어지잖습니까. 그런자리가 있지 않았나 해서요."
아, 하고 오리에는 고개를 끄덕이더니 "저기예요"라고 벽 쪽의 자리를 가리켰다.
그 자리를 지그시 쳐다보며 고다이는 구라키가 앉아 있는 모습을 머릿속에 그렸다. 다른 손님에게 방해가 되지 않는 자리에서 식당이문을 닫을 때까지 4시간 반 동안 술잔을 기울이며 혼자 보낸다…………… - P55

저기요, 라고 오리에가 마음먹은 듯이 입을 열었다. "이건 어떤 수사예요? 구라키 씨에게 무슨 일이라도 있었어요?"
고다이가 입을 꾹 다물고 있자 나카마치가 온화한 어조로 말했다.
"질문에 답만 해주시면 됩니다. 굳이 더 알려고 하시지 않는 게 좋아요." - P56

"꼬치꼬치 캐물었다고 하셨는데 우린 아직 별다른 질문도 안 했어요." 고다이는 오리에의 단정한 얼굴을 똑바로 마주 보며 말했다. - P56

(전략)
"그러면 나중에 시간 나실 때, 다시 생각해봐주십쇼. 어차피 몇 번찾아뵐 것 같으니까요."
(중략). 또 찾아오겠다는 거냐, 라고 얼굴에 뻔히 적혀 있었다. 이건 아마도 연기는 아니리라.
등 뒤에서 문이 열리는 소리가 났다. (중략). 나이는 70세 전후로 안경을 쓴 작은 얼굴에 무수한 주름이 새겨졌다. 그래도 고다이는 오리에의 모친이라는 것을 한눈에 알았다. - P57

"우리는 그냥 물어보는 것에 답하기만 하면 된대요." 카운터 안에서 오리에가 비꼬는 뉘앙스가 담긴 어조로 말했다.
"홍. 그러시구나. 그렇다면 얼른 끝내주셔, 개점 시간이 코앞에 닥쳤으니까. 게다가 이런 말을 하면 실례겠지만, 나는 경찰이라면 옛날부터 아주 싫어." 그렇게 말하고 고다이를 올려다보는 요코의 눈에는 흠칫할 만큼 냉랭한 빛이 서려 있었다.
"알겠습니다. 그러면 두 분께 묻겠는데요. 시라이시 겐스케라는분을 아십니까? 변호사인데요." - P59

"구입한 부적이나 오마모리를 다른 사람에게 주신 적은?"
"항상 나눠드리지, 자주 찾아주시는 단골손님들한테."
"구라키 씨에게는 어떻습니까?"
"구라키 씨? 아, 그렇지." 요코는 가볍게 손을 마주쳤다. 그러고보니 구라키 씨한테도 드렸었네. 그게 몇 년 전이었더라. 한 3년 전이었나? 번번이 선물을 들고 오시니까 내가 답례 삼아 챙겨드렸어." - P59

"두 분 얘기를 들어보니 구라키 씨와 스스럼없이 지낸 모습이 눈에 선한데요, 다른 손님들 중에 구라키 씨와 친했던 분은 없었습니까?"
"글쎄 누가 있었나... 보시다시피 이렇게 작은 가게니까 여러번 얼굴 마주하다 보면 당연히 서로들 친해졌겠지."
"어떤 사람들인지 알려주시겠습니까?"
"그건 안 될 말씀이지." 요코가 피식 웃으면서 말했다. - P60

그 순간, 고다이는 조금 전에 느꼈던 기묘한 감각의 정체를 깨달았다.
억양이다. 요코의 말투에 미묘하게 사투리가 섞여 있었다. 그건 고다이가 최근에 어디선가 들은 말투와 흡사했다.
미카와안조역에서 탔던 택시 운전기사의 말투다. 즉 미카와 사투리 억양이다. - P60

지난달 31일? 그 무렵에 임시휴업은 한 적 없어"
"두 분 다 여기 가게에 나와 계셨군요?"
"나왔지. 감사하게도 장사가 잘돼서 나 혼자서는 일이 벅차서 안돼, 근데 그날 무슨 일 있었어?" - P61

"몽키도 알아보시네 난 아이치현 세토가 고향이야. 거기서 결혼해서 서른 중반까지 도요가와라는 데서 살았고, 도쿄로 올라온 건남편에 세상 뜨고 난 뒤였어."
"그러시군요 그렇다면 구라키 씨와는 고향 얘기도 나누시고 재미있었겠네요." - P62

"남편이.......내 남편이.."
노멘이 표정을 짓기 시작했다. (중략).
"경찰이 죽었어." 주름살에 둘러싸인 요코의 입에서 신음하는 듯한 목소리가 흘러나왔다. "살인 사건 용의자로 잡혀가서 그길로 불귀의 객이 되어버렸다고 유치장에서 목을 맸던 말이야." - P42

7

(전략).
"어느 날 갑자기 형사와 경찰들이 집에 들이닥쳐서 남편을 데리갔어. 남편이 나한테 금세 돌아올 테니까 걱정 말라고 했는데 며칠이 지나도 돌아오지를 않더라고. 그러고는 그다음에 들은 소식이 감옥에서 목을 매 죽었다는 얘기였어."
담담하게 말하는 요코의 얼굴을 고다이는 잊을 수 없었다. 30여년이 지난 지금도 그녀의 마음속 상처가 치유되지 않은 건 명백해보였다.
하지만 기록이라는 점에서는 이 사건은 완전히 풍화되었다. - P64

"이건 아이치 현경 쪽에서는 되도록 건드리지 않았으면 하는 사건일 텐데 말이야. 구류 중인 피의자가 자살하다니, 실수도 보통 실수가 아니야. 잊어버리고 싶다고 할까. 없었던 일로 하고 싶지 않겠어?"
"그렇겠지요." 사쿠라카와는 고개를 끄덕였다. "그래서 상담을 드린 겁니다."
"그 식당 여주인들이 이번 사건의 범인일 가능성은 희박한 거지?" - P65

고다이는 고개를 갸우뚱했다.
"솔직히 말씀드리면, 아직 모르겠습니다. 다만 구라키 다쓰로가그 식당 얘기를 숨기려고 했던 점은 마음에 걸립니다. 답례 선물을준 사람을 잊어버렸다고 한 게 아무래도 자연스럽지 않으니까요. 제생각에는 구라키가 숨기려고 했던 게 식당이 아니라 그 모녀의 존재였던 것 같습니다. 그래서………….‘ - P66

"1984년이라니." 코다이는 한숨을 내쉬었다. "초등학교입학도 안 했을 때에요."
"그러니 수사 자료가 폐기될 반도 하지. 이제 어떻게든 당시 담당자를 찾아내 물어보는 수밖에 없어."
"윗선의 책임자들은 대부분 고인이 됐겠지요?"
"담당자가 당시 우리 나이대였다고 해도 지금은 일흔이 넘은 나이야 살아있더라도 여기가 이상해졌을 수도 있어 쓰쓰이가 관자놀이를 손끝으로 툭툭 치며 말했다. - P67

8

(전략).
1984년에 일어난 ‘히가시오카자키역 앞 금융업자 살해 사건‘의수사 자료는 역시 거의 남아 있지 않았다. 공소시효가 만료된 데다사건 발생 이후의 세월을 고려하면 자연스러운 흐름이어서 아이현경이 의도적으로 은폐했다고 생각하기는 어려웠다. - P68

이번 시라이시 변호사 살해 사건 쪽은 유감스럽게도 수사가 진전되었다고 말하기는 어려운 상황이었다. 흉기로 쓰인 나이프는 대형쇼핑몰에서 누구라도 살 수 있는 물건이고, 살해 현장에서 범인의 유류품으로 보이는 것은 발견되지 않았다. - P69

1 2017년 가을창유리 너머로 보이는 하늘의 아...

1


2017년 가을창유리 너머로 보이는 하늘의 아래쪽 반은 빨갛고 위쪽은 회색이다. 저녁노을이 서린 하늘에 두툼한 구름이 번져가는 것이다. 인터넷으로 확인했던 날씨예보에 비 그림 같은 건 없었다.
"나카마치 우산 가져왔어?" 고다이 쓰토무는 옆에 있는 젊은 형사에게 물었다.
"아뇨 안 가져왔는데요. 비, 쏟아질까요?" - P5

두 사람은 도쿄 아다치구에 자리한 소규모 공장 사무실에 와 있었다. 응접실처럼 널찍한 공간은 없고 싸구려 칸막이로 구분해둔 한쪽 귀퉁이가 손님을 맞이하는 곳이다. 벽 쪽에 놓인 선반에는 상품샘플이 줄줄이 진열되어 있었다. 파이프, 밸브, 조인트 등등, 수도관련 부품이 이 회사의 주력 상품인 모양이다. - P6

회의 책상을 끼고 두 사람은 야마다와 마주 앉았다.
"갑작스럽게 미안하지만, 시라이시 겐스케 씨에 대해 몇 가지 물어볼 게 있어요. 시라이시 씨는 알지요?"
고다이의 질문에 네, 라고 야마다는 대답했다. - P6

"그런 건・・・・・・ 다 아시니까 찾아온 거잖아요."
고다이는 웃음을 건넸다.
"본인 입으로 직접 듣고 싶어서요. 부탁합니다."
야마다는 불만과 불안과 당혹스러움이 뒤섞인 표정을 보이더니다시 시선을 떨군 채 입을 열었다.
"내가 사고 쳤을 때, 변호를 맡아주신 분이에요." - P7

 일부러 화를 돋워 본심을 끌어내려는 것이다. 화가 난 사람은 거짓말을 둘러대는 게 서투르다.
"1년 전쯤에 상해 사건으로, 제가 일하던 노래방의 사장을 때려서 부상을 입혔어요. 그때 노래방 매상금을 들고 튀었다고 절도죄로도 기소됐거든요. 돈은 훔친 적이 없다고 몇 번이나 말했는데 경찰에서내 얘기를 전혀 믿어주지 않아서..... 그거 재판할 때 변호를 맡아주신 분이 시라이시 선생님이었어요" - P7

"그래서 그 재판 결과는 어떻게 나왔어요?"
"집행유예 3년요. 돈을 훔쳐 갔다는 건 노래방 사장의 착각・・・・・・이아니라 거짓말이었다는 거, 시라이시 선생님이 밝혀주신 덕분이에요. 게다가 평소에 심하게 갑질을 했다는 것도 증명해주셨죠. 그게 없었다면 실형이 떨어졌을걸요." - P8

"시라이시 씨에게 원한을 가진 사람이 있었다든가 하는 건?"
"나도 잘은 모르지만, 그런 사람은 있을 리가 없어요. 혹시 있다면그놈은 진짜 멍청한 놈이죠. 멍청이에다 쓰레기, 차라리 죽는게 나을 놈이에요. 그 선생님에게 원한을 품다니, 그건 절대로 있을 수 없
"어요."
야마다의 말투는 점점 열기를 더해갔다. 처음에는 시선도 안 맞추려고 했는데 지금은 고다이의 눈을 똑바로 마주 보고 있었다. - P9

2

발단은 한 통의 전화였다.
수상한 차량이 길가에 주차되어 있으니 단속해달라는 신고가 들어온 것이다. - P10

지갑은 도난당하지 않고 안주머니에서 발견되었다. 약 7만 엔의현금도 그대로 남아 있었다. 지갑에 운전면허증이 있었기 때문에 신원은 간단히 밝혀졌다.
이름은 시라이시 겐스케, 나이는 55세, 주소는 미나토구 미나미아오야마였다. 소지한 명함으로 아오야마 대로 근처에 사무실을 가진 변호사라는 것이 판명되었다. - P11

특별수사본부가 당일 중에 설치되었다. - P11

(전략).
스마트폰에 피가 묻은 것으로 보아 이곳이 살해 현장일 가능성이 높았다. 그다지 밤늦은 시각도 아니었던 만큼 평소 같으면 산책이나 조깅을 하는 사람이 많은 장소였지만, 사건 발생 시에는 사정이 달랐다. 바로 옆 배수장에서 보수공사를 하느라 산책로를 지나갈 수없게 되었던 것이다 - P12

고다이 팀에게 주어진 역할은 피해자의 인간관계를 훑어보는 주변 인물 수사였다. 첫 번째 업무는 가족의 진술을 따내는 것이다.
미나미아오야마에 소재한 시라이시 겐스케의 자택은 아담한 단독주택이었다. 그쪽이 워낙 고급주택가로 알려져 있고 직업도 변호사라서 상당한 저택을 상상하고 갔었기 때문에 고다이는 약간 의외라는 마음이 들었다. - P13

마지막으로, 살해되기 전 시라이시 겐스케의 동선에 대해 고다이는 질문했다. 도미오카 하치만구 신사, 스미다가와테라스, 미나토구 해안 같은 지명을 듣고 뭔가 생각나는 건 없습니까.
모녀는 똑같이 고개를 갸웃거렸다. 그런 지명은 시라이시 겐스케에게서 들어본 적조차 없다, 라는 답변이었다. - P15

나가이 세쓰코에 따르면, 시라이시 겐스케는 주로 형사사건이나 교통사고, 소년범죄를 다뤘다. 국선 변호인으로 등록되어 있어서 그쪽으로 의뢰가 들어오는 일도 많았던 모양이다. - P15

(전략).
고다이로서도 충분히 공감할 만한 얘기였다. 예전에 자신이 체포했던 용의자 중에도 그런 자가 있었다.
"다만 변호사님은 형이 확정된 뒤에 그런 사람들도 극진히 돌봐주셔서 결국에는 거의 대부분 자신의 죄를 인정하고 받아들였어요.
판결이 내려졌을 때는 원망을 하던 사람이 형기를 마친 뒤에 감사인사를 하러 왔던 일도 여러 번 있었습니다." - P16

그렇다고 해도 살해당할 만큼 원한을 산 경우는 전혀 짐작되는게 없다. 라고 덧붙였다.
"제가 다른 변호사들까지 그리 많이 아는 건 아니지만, 우리 시라이시 변호사님은 의뢰인뿐만 아니라 상대측 입장도 진지하게 고민해주시는 참으로 양심적인 분이었어요. 그런 분이 원한이라느니 증오라느니, 그런 원인으로 살해되었다고는 도저히 생각할 수가 없네요. 물론 세상에는 별난 사람들도 많으니까 그런 경우가 절대로 없었다고 단언할 일은 아니겠지만." - P17

그다음에도 고다이와 나카마치는 의뢰인 혹은 예전의 의뢰인들을 일일이 찾아다니며 얘기를 들었다. 시라이시 겐스케 살해 소식을 듣고는 모두가 깜짝 놀랐고, 나아가 거의 똑같은 말을 입에 올렸다.
그 변호사 선생님에게 원한을 품다니, 그런 일은 있을 수 없다, 라는 것이었다. - P18

3

(전략).
"주변 인물들이 거의 비슷비슷한 얘기들만 했네요." 나카마치가작은 수첩을 펼쳐놓고 한숨을 내쉬었다. - P19

고다이는 상의 호주머니에서 수첩을 꺼냈다.
"시라이시 겐스케. 도쿄 네리마구에서 태어났고, 국립대학 법학부 졸업 후 단번에 사법시험 합격, 이다바시에 있는 법률사무실에서 처음 변호사로 일하기 시작했어. 스물여덟 살 때, 대학 시절부터사귄 동급생과 결혼했고, 서른여덟 살에 독립해서 현재의 법률사무실 개업. 어때, 이런 식으로 열거해보면 그야말로 순풍에 돛 단 듯 술술 풀려나간 인생이잖아? 그렇다면 시샘하는 사람이 있었을 법도 하지." - P20

"하지만 그런 경우라면 살의를 품었다고 해도 충동적이겠지? 흡기를 준비하거나 실제로 찌르는 행위까지 이어지지는 않았을 거라고 내가 먼저 말해놓고 부정하는 것도 이상하지만." 고다이는 어깨를 으쓱하고 수첩을 다시 호주머니에 넣었다. - P21

사건 당일, 시라이시 겐스케가 법률사무실을 나와자동차로 맨 먼저 향한 곳은 도미오카 하치만구 바로 옆의 유료 주차장이었다. (중략).
고려해볼 수 있는 것이 한 가지가 있었다. 시라이시 겐스케가 범인의 지시에 따라 유료 주차장에 차를 세웠는데 주차 중에 다시금 연락이 왔다. 그리고 새로 지정해준 장소가 바로 살해 현장이 된 스미다가와테라스였다는 것이다. - P22

안타깝게도 시라이시 겐스케를 기억하는 커피점 점원은 없었다. - P22

"스마트폰의 위치정보에 따르면, 시라이시 씨는 이 커피점에서 두시간쯤 머문 것으로 나왔어. 아무 인연도 관련도 없는 동네의 커피점에서 두 시간이나 뭘 하고 있었을까."
"첫 번째로 생각할 수 있는 것은 누군가를 만났을 가능성이겠지요?" - P23

"피해자가 커피를 무지 좋아하는 사람이고, 이 가게 커피가 유난히 맛있다는 소문이 나서 일부러 찾아왔다. 라는 것도 아닐 거고......."
"재미있는 추리지만, 이 커피점은 그냥 평범한 체인점이야." - P24

"저거 봐. 잠복근무에는 그야말로 안성맞춤의 장소야. 몬젠나카초의 웬만한 상점은 모두 이 도로변에 줄줄이 자리 잡고 있어. 저기 맞은편 상점들에 관해서 말하자면, 어떤 가게에 어떤 식으로 손님이 드나드는지 한눈에 훤히 보이잖아. 그리고 이 동네에 오는 사람도, 이 동네에서 나가는 사람도 대개는 이 도로를 이용하게 돼." - P25

옮긴이의 말 이 책은 빙Bing에서의 광고 페이지...

옮긴이의 말


이 책은 빙Bing에서의 광고 페이지 속 한 줄의 변화로 전체 매출의 10%를향상시킨 놀라운 사례로 시작한다. 단순한 A/B 테스트의 기술서가 아닌 마이크로소프트, 구글, 링크드인에서 수년간 온라인 종합 대조 실험을 주도했던저자들의 경험과 교훈을 공유하는 책이다.
숫자를 얻는 것은 쉽다. 하지만 믿을 수 있는 숫자를 얻는 것은 어렵다. - P18

온라인 종합 대조 실험인 A/B 테스트는 2000년 중반부터 시작된 테크기업들의 문화적 혁신, 예를 들면 에릭 리스의 린 스타트업 Lean Startup 및 MVP(최소 기능 제품)의 개념과 그 맥을 같이 한다. - P18

A/B 테스트의 기능 중 가장 중요한 것은 한꺼번에 모든 것을 테스트하는것이 아니라 조금씩 테스트하는 것이다. 통제된 상황에서 이를 실행하는데,
이는 온라인상의 통제이므로 실제 상황을 반영하는 통제이다. - P19

1부는 배경에 상관없이 모든 사람이 읽을 수 있도록 설계됐으며, 4장으로구성돼 있다.

• 1장에서는 온라인 종합 대조 실험 실행의 이점을 간략히 설명하고 실험 용어를 소개한다.
• 2장에서는 예를 들어 엔드-투-엔드로 실험을 실행하는 과정을 살펴본다.
• 3장에서는 일반적인 오류 및 실험 신뢰도 구축 방법을 설명한다.
4장에서는 실험 플랫폼을 구축하고 온라인 실험을 확장하기 위해 필요한 사항을 개략적으로 설명한다.

2부에서 5부까지는 필요에 따라 모든 사람이 이용할 수 있지만, 각 장은 특정 청중에 초점을 두고 작성됐다. - P26

웹사이트 https://experimentguide.com은 이 책의 동반자이다. 여기에는추가 자료와 오타 정보가 포함돼 있으며, 공개 토론의 영역을 제공한다. 저자들은 이 책의 모든 수익금을 자선단체에 기부할 계획이다. - P27

1부

모두를 위한 소개


01

소개와 동기


하나의 정확한 측정이 수천 개의 전문가 의견보다 가치 있다.
그레이스 호퍼 제독Admiral Grace Hopper


2012년 마이크로소프트의 검색 엔진인 빙Bing에서 일하는 한 직원이 광고 헤드라인 표시법을 바꾸자고 제안했다(Kohavi, Thomke 2017). 아이디어는 그림 1.1과 같이 타이틀 라인을 타이틀 바로 밑 첫째 줄의 문장과 합쳐서 광고의 타이틀 줄을 길게 만드는 것이었다.
아무도 이 간단한 변화가 수많은 아이디어 중 빙 역사상 최고의 매출 창출아이디어가 될 줄 몰랐다! - P31

테스트를 시작한 몇 시간 후 매출이 너무 많다는 경고가 발생했으며, 이는 보통 무엇인가 실험에 잘못된 것이 있다는 의미다. - P31

그러나 이 실험에서의 매출 증가는 유효한 것이었다. 빙의 매출은 12%나 증가했으며 당시 미국에서만 연간 1억불에 해당하는 것이었다. 다른 주요 사용자 경험 지표를 저해하지도 않았다. 이 실험은 오랜 기간 동안 여러 번 되풀이됐다. - P32

온라인 종합 대조 실험 용어


종합 대조 실험 controlled experiment은 길고도 매혹적인 역사를 갖고 있으며 이에 대한 우리의 연구는 온라인에서 공유하고 있다(Kohavi, Tang, Xu 2019). - P33

가장 일반적인 온라인 종합 대조 실험에서 사용자는 실험군과 대조군에 무작위로 분할되며, 한 번 지정된 분할은 바뀌지 않는다(따라서 사용자는 여러 번광의 사이트 방문에서 동일한 경험을 하게 된다). - P34

전체 평가 기준 OEC, Overall Evaluation Criterion: 실험 목적의 계량적 지표. 예를 들어 OEC를 사용자별 활동일 수active days per user로 정할 수 있는데, 이는 실험 중사용자가 활동한 일수(사용자가 방문해서 어떤 행동을 취한 일 수)를 가리킨다. 이 OEC를 늘린다는 것은 사용자들이 해당 사이트를 더 자주 방문한다는 것을 의미하며, 이는 좋은 결과물이다. OEC는 단기적으로 (실험 기간 동안) 측정할 수 있어야 하면서도 결과적으로는 장기적 전략목표를 추진하는 원인이라고 믿을 수 있는 것이 돼야 한다(이 장의 뒷부분과 7장의 전략, 전술 및 실험과의 관계 참조). - P35

이는 통계에서 흔히 반응 Response 또는 종속Dependent 변수라고 불리며(Mason,
Gunst, Hess 1989, Box, Hunter, Hunter 2005), 결과outcome, 평가Evaluation, 적합도 함수 _Fitness Function가 동의어로 사용될 수 있다(Quarto-vonTivadar 2006), 단일 지표를 선택하는 것이 매우 바람직하고 권장되지만(Roy 2001, 50, 405-429), 실험은 여러 목표를 가질 수 있으며 밸런스 스코어 카드 접근 방식(Kaplan, Norton 1996)을 사용할 수 있다.
실험을 위한 OEC를 결정하는 방법은 7장에서 자세히 알아본다. - P35

어떠한 요인도 변형군 배정에 영향을 주도록 허용해서는 안 된다. 사용자(실험단위)는 "무작위 추출이 아닌 어떠한 방식"으로도 편향이 없는 분포로 할당될 수 없다(Weiss 1997). 랜덤성은 "마구잡이식이거나 계획되지 않은 것이 아니라 "확률에 기초한 의도적인 선택"을 의미한다는 점에 유의해야 한다(Mosteller, Gilbert, McPeek 1983). - P37

실험의 이유? 상관관계, 인과관계, 신뢰성


매달 사용자의 X%가 이탈(가입 종료)하는 넷플릭스와 같은 구독 사업에서 일하고 있다고 가정하자. 당신은 새로운 기능을 도입하기로 결정했고 그 기능을 사용하는 사용자의 이탈률이 X%/2. 즉, 반이라는 것을 보게 된다. 당신은 이에 대해 인과관계를 주장하고 싶을지도 모른다. 기능은 이탈을 절반으로 줄이고 있다. 이 기능을 더 쉽게 검색하고 더 자주 사용하게 할 수 있으면, 가입자가 급증할 것이라는 결론을 얻을 것이다. 그러나 이는 잘못된 논리다! - P37

1995년에 가이야트 외(Guyatt et al., 1995)은 의학 문헌에서의 추천을 평가하는 방법으로 증거 계층hierarchy of evidence을 도입했으며, 그린할 Greenhalgh은증거 기반 의학의 실행에 대한 논의(1997, 2014)에서 이를 확장했다. 그림1.3은 바일라(Bailar, 1983. 1)에 근거하는 간단한 증거 계층을 보여준다. - P38

옥스포드 증거 기반 의학 센터 Oxford Centre for Evidence-based Medicine의 증거 수준Levels of Evidence과 같은 좀 더 복잡한 모델도 이용할 수 있다(2009). - P38

우리는 온라인 종합 대조 실험이 다음과 같은 것이라고 믿는다.

• 높은 확률로 인과관계를 확립할 수 있는 최선의 과학적인 방법이다.

• 시간에 따른 변화와 같이 다른 기법으로 탐지하기 어려운 작은 변화 감지가 가능하다(민감도).

• 예상치 못한 변화 감지가 가능하다. 종종 과소평가되지만 성능 저하, 충돌/오류 증가, 또는 다른 기능으로부터의 클릭 수 감소 등 많은 실험에서 여러 지표에 대한 놀라운 영향을 발견한다.

이 책의 핵심은 실험에서의 잠재적 오류를 알아보고 결과에 대한 신뢰도를 높이는 방법을 알려주는 것이다. - P39

유용한 종합 대조 실험 실행을 위한 필수 재료

종합 대조 실험의 과학적인 엄격함으로 모든 결정을 내릴 수 있는 것은 아니다. (중략). 이제 유용한 대조 실험을 실행하는 데 필요한 기술적 요소들을검토하고(Kohavi, Crook, Longbotham 2009), 그 다음에 조직에 도움이 되는 핵심 원칙들을 살펴본다. - P39

원칙

온라인 제어 실험을 실행하려는 조직에게 도움될 세 가지 핵심 원칙이 있다(Kohavi et al. 2013).

1. 조직은 데이터 중심 결정을 내리고 OEC를 공식화한다.
2. 조직은 종합 대조 실험을 실행하고 그 결과가 신뢰할 수 있는지 확인하기 위해 인프라와 실험에 기꺼이 투자한다.
3. 조직은 아이디어의 가치를 평가하는 데 서툴다는 것을 인지한다. - P41

원칙 1. 조직은 데이터 중심 결정을 내리고
OEC를 공식화한다.



(전략). 많은 조직에서 성과를 정의하고 측정하는 데드는 자원을 투자하지 않을 것이다. 많은 경우, 새로운 기능이 핵심 지표에 긍정적인 영향을 미치는지 여부를 무시하고, 그저 계획을 짜고 실행해 "실행된 계획의 비율로 성공을 측정하는 것이 쉽다. - P41

예를들어 단기적인 수단(예: 가격 인상)은 단기 이익을 증가 시킬 수 있지만 장기적으로는 오히려 이를 해칠 수 있기 때문에 "이익"은 좋은 OEC가 아니다. 고객생애가치는 전략적으로 강력한 OEC이다(Kohavi, Long-bottom et al. 2009). - P42

 궁극적으로 종합 대조 실험, 조사, 새로운 코드의 유지보수 비용 추정 등을 포함한 다양한 데이터를 기반으로 의사결정이 이뤄져야 한다.  - P42

원칙 2. 조직은 종합 대조 실험을 실행하고그 결과가 신뢰할 수 있는지 확인하기 위해인프라와 테스트에 기꺼이 투자할 용의가 있다.


온라인 소프트웨어 영역(웹사이트, 모바일, 데스크톱 애플리케이션 및 서비스)에서는 소프트 엔지니어링을 통해 종합 대조 실험에 필요한 조건을 충족할수 있다(유용한 종합 대조 실험 실행에 필요한 필수 요소 참조). 즉 사용자를 안정적으로 랜덤화¹할 수 있으며 원격 측정도 가능하고 새로운 기능과 같은 소프트웨어 변경사항을 도입하기가 매우 쉽다(4장 참조).



1 랜덤화(Randomization)는 무작위화라고도 한다. 이 용어는 통계학, 의학, 실험 설계 등 다양한 분야에서 사용된다. 통계학에서 랜덤화는 연구에서 다루는 변수를 무작위로 할당하는 것을 의미한다. 이는 연구의 외생적 요인이나 바이러스를 최소화하고, 결과의 신뢰성과 일반화 가능성을 높이기 위한 중요한 기법이다. 의학에서 랜덤화는 환자를 무작위로 집단에 할당하는 것을 의미한다. 이를 통해 연구자들은 환자 집단 간의 차이를 무작위로 생성하여 편향을 최소화하고, 신약이나 치료법 등의 효과를 정확하게 평가할 수 있다. 실험 설계에서 랜덤화는 실험 처리를 무작위로 할당하는 것을 의미한다. 이는 처리 간의 차이를 최소화하고 실험의결과를 신뢰성 있게 분석하기 위한 중요한 기법이다. 옮긴이 - P42

종합 대조 실험은 『린 스타트업』(Ries 2011)의 에릭 리스Eric Ries가 널리 알린 애자일² 소프트웨어 개발(Martin 2008, K. S. Rubin 2012), 고객 개발 프로세스(Blank 2005), MVP Minimum Viable Products와 결합할 때 특히 유용하다. - P43

 의료기관에서의 종합 대조 실험에서 필요한 일부 실험은비윤리적이거나 불법적일 수 있다. - P43

원칙 3. 조직은 아이디어의 가치를
평가하는 데 서툴다는 것을 인지한다.


팀에서는 각 기능이 유용하다고 생각해 개발하지만 많은 곳에서 대부분의 아이디어는 핵심 지표를 개선하는 데 실패한다. 마이크로소프트에서 시험한아이디어 중 개선을 보인 지표를 실제로 개선할 수 있었던 것은 1/3에 불과했다(Kohavi, Crook 및 Longbotham 2009). - P43

슬랙의 제품 및 라이프사이클 담당 이사인 파리드 모사밧Fareed Mosavat은 그의 트위터에서 슬랙의 경험으로부터 수익화 실험의 약 30%만이 긍정적인 결과를 보여준다고 밝혔다. "실험을 주도하는 팀에 있다면 최소한 70% 이상의작업이 버려지는 것에 익숙해져야 한다. 이에 따라 프로세스를 구축해야 한다."(Mosavat 2019) - P44

모든 도메인이 그런 열악한 통계를 갖고 있는 것은 아니지만, 고객 대면 웹사이트와 애플리케이션에서 종합 대조 실험을 실행한 대부분의 사람들은이런 겸허한 현실을 경험했다. 즉 우리는 아이디어의 가치를 평가하는 데서툴다. - P44

시간에 따른 개선

실제로 주요 지표의 개선은 0.1%~2%의 수많은 작은 변화로 달성된다. - P45

흥미로운 온라인 종합 대조 실험 사례


기대 결과와 실제 결과의 절대적 차이가 큰 실험은 흥미롭다. 만약 무슨일이 일어날 거라고 생각했을 때 그런 일이 일어난다면, 그때는 새로 배울 점이 많지 않다. - P47

사용자 인터페이스 예: 41개 색조의 파란색


구글과 마이크로소프트가 모두 보여주듯이 작은 결정은 상당한 영향을 미칠 수 있다. 구글은 구글 검색 결과 페이지에 대해 41개 색조의 파란색을 테스트했으며(Holson 2009), (중략), 미국에서의 매출이 연간 천만달러 이상으로 향상됐다(Kohaviet al. 2014, Kohavi et al. 2014, Kohavi, Thomke 2017). - P48

올바른 시점에 제안하기


2004년에 아마존은 신용카드 제안을 홈페이지에 올렸다. 그것은 매우 수익성이 좋았지만, 클릭률이 매우 낮았다. (중략). 대조 실험은 이러한 단순한 변화가 아마존의 연간 수입을 수천만 달러 증가시킬 수 있다는 것을 증명했다. - P48

개인화 추천

아마존의 그렉 린덴 Greg Linden은 사용자의 쇼핑 카트에 있는 아이템을 기반으로 개인화된 추천을 보여주는 프로토타입을 만들었다(Linden 2006, Kohavi,
Longbottom et al. 2009). 사용자가 어떤 항목을 추가하면 그에 따른 추천 사항이 나타나고 또 다른 항목을 추가하면 새로운 추천 사항이 나타난다. 그렉은이 시제품이 유망해 보였지만 "마케팅 수석 부사장이 이 시제품이 사람들의체크아웃을 방해할 것이라 주장하면서 이에 대해 완전히 반대했다"고 지적했다. 그렉은 더 이상 이 일을 진행하는 것이 금지됐다. - P49

악성코드 감소

광고는 수익성이 좋은 사업이어서 사용자들이 설치한 ‘프리웨어‘는 종종 광고로 페이지를 오염시키는 악성코드를 포함하고 있다. (중략).
이로 인해 빙 광고가 제거됨으로써 마이크로소프트의 수입이 줄어 들었을뿐만 아니라, 저품질 광고와 관련 없는 광고가 자주 게시돼 왜 그렇게 많은 광고를 보고 있는지 깨닫지 못했을 사용자들에게 나쁜 사용자 경험을 제공했다. 마이크로소프트는 380만 명의 사용자에게 종합 대조 실험을 실행했는데, 여기서 DOM－Document Object Mode 수정 기본 루틴은 신뢰할 수 있는 소스로부터의 제한된 수정만 허용되도록 재정의됐다(Kohavi et al. 2014).  - P50

게다가 사용자들은 검색에 더 자주 성공했고, 유용한 링크를 더 빨리 클릭했으며, 연간 수익은 수백만 달러 증가했다. - P50

전략, 전술과 이들의 실험과의 관계

온라인 종합 대조 실험의 실행에 필요한 요소들이 충족되면 전략에서 전술에 이르기까지 모든 수준의 조직 결정에 정보를 주도록 실험이 수행돼야한다. 전략(Porter 1996, 1998)과 종합 대조 실험은 시너지 효과를 낸다. - P52

적절한 지표를 사용해 잘 실행된 실험은 비즈니스 전략, 제품 설계를 보완하고, 조직의 데이터 중심화를 통해 운영 효율성을 개선한다. 전략을 OEC에 요약하는 것으로 종합 대조 실험은 전략에 대한 훌륭한 피드백 루프를 제공할 수 있다. OEC를 개선하는 실험으로 아이디어를 평가했는가? - P53

시나리오 2: 제품과 전략을 갖고 있으나
결과는 방향 전환Pivot을 검토할 필요가 있다는 것을 제시하는 상황


(전략). 즉, 더 큰 언덕에 있을 수있는 공간의 다른 위치로 점프하거나 전략과 OEC(따라서 지형의 모양)를 변경할 필요가 있다.
보통 항상 아이디어 포트폴리오를 만들 것을 권고한다. 즉 대부분은 현재위치에 가까운 곳에서 최적화하는 시도에 대한 투자이어야 하지만, 그러한 점프가 더 큰 언덕으로 이어지는지를 보기 위해 몇 가지 급진적인 아이디어들이 시도돼야 한다. - P56

에릭 리스Eric Ries는 완전히 결함이 있는 것으로 판명된 계획을 성공적으로, 충실하게 그리고 엄격하게 집행하는 회사들에게 "달성된 실패"라는 용어를사용한다. 대신 그는 다음과 같이 제안한다.


린 스타트업 Lean Startup의 방법론은 스타트업의 노력을 어떤 부분이 훌륭하고어떤 것이 말도 안되는지 그 전략을 테스트하는 실험으로 재인지하는 것이다.
진정한 실험은 과학적 방법을 따른다. 어떤 일이 일어날지 예측하는 명확한 가설에서 시작된다. 그러고 나서 실험은 그 예측들을 경험적으로 테스트한다. - P57

기억해야 할 유용한 개념 중 하나는 더글라스 허버드(Douglas Hubbard,
2014)가 제안한 정보의 기대가치로 EVIExpected Value of Information이다. 이는 추가정보가 의사결정에 어떻게 도움 될 수 있는지를 포착한다. - P58

추가 참고문헌


(전략) 대부분은 훌륭한 동기부여 스토리를 갖고 있지만 통계적으로는 부정확하다. 게오르기 게오르기예프 Georgi Georgiev의 최근 저서에는 종합적인 통계적 설명이 포함돼 있다(Georgieves 2019).
종합 대조 실험과 관련된 문헌은 방대하다(Mason et al, 1989, Box et al. 2005, Keppel, Sauzey and Tokunaga 1992, Rossi, Lipsey, Freeman 2004. Imbens, Rubin 2015, Pearl 2009, Angist, Pischke 2014, Ger, Ger 2012). - P58

멀티암드 밴딧에 기반한 실험은 대개 "일반적인" A/B 실험보다 더 효과적이다. 왜냐하면 그들은 실험 끝까지 기다리는 대신, 점차 승리하는 변형군 쪽으로 트래픽을 이동시키기 때문이다. - P59

02

실험의 실행과 분석-엔드-투-엔드 예제


사실이 적을수록 의견이 강해진다.
아놀드 글래소Arnold Glasow.

1장에서는 종합 대조 실험이 무엇인지, 의사결정을 위해 직관에 의존하는것보다 실제 데이터를 얻는 것의 중요성에 대해 살펴봤다. 이번 장에서는 실험 설계, 실행 및 분석의 기본 원리를 탐구한다. - P61

다음으로 중요한 질문은 사용자당 매출 지표의 분모로 어떤 사용자들을 고려할 것인지 결정하는 것이다.

• 사이트를 방문하는 모든 사용자. 이는 유효하다. 그러나 이는 변화가 일어난 곳에서 체크아웃을 전혀 개시하지 않은 사용자를 포함하기 때문에 불필요한 노이즈가 추가돼 있다. 체크아웃을 전혀 개시하지 않은 사용자들은 우리의 변화에 영향을 받지 않는다. 이들 사용자들을 제외할 때, 더 민감한 A/B 테스트가 될 것이다(20장 참조).

• 구매 프로세스를 완료한 사용자, 이 선택은 변화가 사용자당 구매액에만 영향을 준다고가정하고 있는데, 실제로는 구매를 완료하는 사용자 수에도 영향을 줄 수 있으므로 잘못된 선택이다. 만약 더 많은 사용자가 구매한다면, 총 수입은 증가할지라도 사용자당 수입은 떨어질 것이다.

• 구매 프로세스를 시작한 사용자 변화가 퍼널 내에 있다는 전제하에 이것은 최적의 선택이다. 잠재적으로 영향을 받은 모든 사용자를 포함하지만, 퍼널 영향을 받지 않는 사용자들(체크아웃을 전혀 시작하지 않는 사용자들)은 포함하지 않는다. - P64

가설 검정: 통계적 유의성 확립

실험을 설계, 실행 또는 분석하기 전에 통계적 가설 검사와 관련된 몇 가지 기본 개념을 살펴보자.
기준 평균값과 평균의 표준오차, 즉 지표의 추정치가 어느 정도로 변동성이 큰지 이해함으로써 지표의 기능을 파악한다. (중략). 통계적으로 유의미한 차이를 탐지하는 능력인 민감도는 평균의 표준오차가 낮을수록 개선된다. - P65

실험을 할 때, 하나의 지표로 요약할 수 있는 한 개의 샘플이 아니라 여러 개의 샘플을 사용한다. 특히 종합 대조 실험에서는 대조군을 위한 샘플 하나와 실험군을 위한 샘플 하나를 갖고 있다.. - P66

과학적 표준은 0.05 미만의 p값을 사용하는 것으로, 이는 효과가 실제로없다면 100번 중 95번 효과가 없다는 것을 정확하게 추론할 수 있다는 것을 의미한다. 차이가 통계적으로 유의한지 여부를 조사하는 또 다른 방법은 신뢰구간이 0을 포함하는지를 확인하는 것이다. - P66

"통계적 검정력은 변형군 간에 실제로 차이가 있을 때, 이 차이를 유의미하다고 판별할 확률이다(통계적으로 차이가 있을 때 귀무가설을 기각한다). - P66

이러한 실질적인 경계를 설정하는 것은 그 차이가 변경 비용을 지불할 가치가 있는지 여부를 이해하는 데 중요하다. 만약 당신의 웹사이트가 구글이나 빙과 같이 수십억 달러를 창출한다면, 0.2%의 변화는 실질적으로 중요하다. 이에 비해, 스타트업은 10% 이상의 개선된 변화를 추구하기 때문에 2%의 변화라도 이들은 너무 작게 생각할 수 있다. - P68

실험 설계

이제 우리의 실험을 설계할 준비가 됐다. 가설과 실제적인 유의도 경계를설정했고 지표를 특징지었다. 우리는 설계를 정의하기 위해 다음과 같은 일련의 결정을 사용할 것이다.

1. 무작위 추출 단위는 무엇인가?
2. 무작위 추출 단위의 모집단을 어느 정도 대상으로 하고 싶은가?
3. 어느 정도 규모의 실험이 필요한가?
4. 실험을 얼마나 오래 진행할 것인가? - P68

정체성 위기와 그 너머 IDENTITY CRISIS ...

정체성 위기와 그 너머
IDENTITY CRISIS AND BEYOND


지그문트 프로이트는 자아 발달의 종점을 lieben und arbeiten, 즉 사랑하고 일하는 능력으로 요약했다. - P147

해리슨의 모델은 ‘사랑하고 일하는‘ 투쟁을 분리된 두 가지의 정체성 위기, 즉 정체성 형성의 위기와 장기간 친밀한 관계 형성의 위기로 나뉜다.  - P147

정체성 대 정체성 혼란

정체성 위기의 다섯 번째 단계는 에릭슨 이론의 중심부다. 에릭슨은 개인적으로 의미 있는 경력이나 인생을 걸만한 일을 찾으려는 청년의 욕구에 초점을 맞추는데, 영화에서 정체성의 탐색은 흔히 자신이 동일시할 수 있는 유의미한 이유를 찾는 투쟁으로 묘사된다. - P148

화면 밖 소리, 혹은 화면 밖 소리가 아닌 것으로
To Voice Over or Not to Voice Over

때로, 배경 이야기가 너무 복잡해서 실제 장면으로 펼쳐내기에는 너무 오랜 시간이 걸릴 수도 있다－<슈퍼맨>처럼 150분 넘는 분량의 시나리오를 쓸 마음이 아니라면 그렇다－. 이런 이유로, 화면 밖 소리 내레이션은 배경 이야기를 설명하는 시작 부분에 흔히 사용되며, 관객이 빠르게 그것을 따라잡도록 도와준다. - P149

배경 이야기의 개인적 폭로배경 이야기의 공개는 캐릭터 자신이 개인적 정보를 폭로할 때, 특히 정서적 차원에서 각별할 수 있다. - P150

폭로와 자기성찰의 조용하고 진지한 순간은 매우 강력할 수 있다. 폭로하는 캐릭터가 말하고 있는 상대와 친밀감을 형성하는 동안, 그는 관객과도 친밀한 정서적 연대감을 창조한다. - P151

정체성 혼란

어떤 영화들, 특히 전기적 주제는 모두 배경 이야기에 관한 것이다. (중략). 이런 영화에서는 연기가 진정 캐릭터이며, 모든 플롯과 이야기는 영화가 말하고 있는 이야기 주인공의 초상에 또 다른 차원을 더하기 위한 목적으로 설계된 것이다. - P152

유예와 압류 Moratorium and Foreclosure


당신 캐릭터의 정체성 위기를 구조화할 때, ‘유예‘란 요소즉 정체성 성취에 선행하는 능동적 탐색 단계를 명심하라. (중략). 에릭슨 모델에서 또 다른 중요한 요소는 ‘압류‘인데, 그것은 탐색을 너무 일찍 끝낸 위험으로 인해, 자신의 발견을 통해 성취된 개인적으로 중요한 정체성보다 다른사람에 의해 제공된 정체성에 정착하는 것이다. - P152

저항


(전략). 에릭슨은 십대에게 저항은 공통적이라고믿었는데, 왜냐하면 그들은 아이로서 자신이 동일시할 역할 모델에게 저항할 인생의 단계에 도달했기 때문이다. 아이로서 존경했던 부모나 권위적인 인물들은 이제 과잉 비판적인 십대의 시선에서 보면, 엄격하고 위선적이고, 구식이고 억압적이며 절망적인 고지식한 존재일 뿐이다. - P153

자기 자신의 발견

정체성 문제는 본질적으로 개인적인 문제다. 당신의 주인공이 친구와 멘토에게 도움과 안내를 받을 수 있거나, 때로는 받아야만 하지만, 위기의 최종적 해결은 늘 자기 추동적이어야만 한다. 캐릭터는 자신을 발견해야만 한다.
자신의 정체성은 누군가로부터 완성된 채로 넘겨받을 수 없다. - P154

당신의 주인공이 정체성 위기로 인한 혼란, 고통과 비판에 시달리는 것을 두려워하지 마라. 당신의 주인공이 더 힘겹게 투쟁할수록, 관객은 그의 갈등을 더욱 동일시할 수 있으며, 결말에서 그의 성공을 더욱 응원하게 될 것이다. - P155

친밀감 대 고립감

에릭슨의 정체성 위기 여섯 번째 단계는 특별히 사랑의 도전을 다루고 있다. 인생에서 그리고 영화에서 낭만적 친밀감은 두 개의 층위에 존재한다. 육체적 층위인 섹스는 전통적으로 스크린에선 은밀하게 묘사되었다. 오늘날, 섹스신은 사랑을 다룬 영화에선 거의 의무적 수단이다.  - P155

규범적 갈등 NORMATIVE CONFLICT (...

규범적 갈등
NORMATIVE CONFLICT


(전략). 에릭슨의 이론은, 자신의 욕구와 충동들이 사회적 기대와 갈등을 일으킬 때 발생하는 갈등을 유지하는 ‘사회심리학psychosocial‘이다. 자아의 내적 삶은 사회적인 외적 삶과 갈등을 일으킬 때, ‘규범적 갈등‘이 발생한다. - P131

 각 단계의 중심적인 규범적 갈등은 발달하는 자아 정체성에 매우 중대한 영향을 끼치는데, 이러한 각각의 규범적 갈등은 ‘정체성 위기‘의 수준에 이를정도로 상승하기도 한다. 정체성 위기는 자아감sense of self에서 극적인 변화와 전환의 시기, 즉 자아 정체성의 변태기 a time of metamorphosis에 발생한다. - P132

신뢰감 대 불신감


정체성 위기에 관한 에릭슨의 사회심리적 단계들은 자아 발달에 관한 프로이트의 성심리적 단계들에서 직접적인 영감을 받았다. (중략). 정체성 위기의 첫 단계는, ‘신뢰감 대 불신감‘으로, 프로이트의 구강기에 해당한다. - P132

인생의 첫 단계에서, 아이는 완전히 무력하고 상처받기 쉽다. 돌보는 사람의 양육에 전적으로 의지해 생존하면서, 그들이 먹여주고 보호해주고 돌봐주고 버리지 않을 것이라는 아이의 신뢰감은 근본적인 믿음이다. - P133

수상한 영웅

불신감은 스스로에게 영웅적 이유를 밝히길 꺼리는 캐릭터에서 나타날 수 있는데, 왜냐하면 그는 자신의 도움을 필요로 하는 좋은 사람을 믿을 수 없기 때문이다. 수상한 영웅은 일반적으로 다소 어두운 캐릭터, 즉 어두운 과거를 가진 반영웅에 해당한다. - P133

수상한 영웅의 도전은 불신감을 극복함으로써 자신의 정체성 위기를 해결하는 것이다. 그는 누군가를 믿어야만 하고. 또 다른 누군가를 믿거나 비이기적인 마음을 믿어야만 한다. - P133

믿음의 도약

불신에 대한 갈등의 해결은 믿음의 도약을 통해 성취되는데, 이는 수상한 영웅이 경계태세를 늦추고 다른 누군가에게 자신을 맡기는 장면에서 가능하다. (중략).
믿음의 도약이 반드시 캐릭터의 큰 변화로 작동해야만 할 필요는 없다. 도약은 캐릭터에게 단순한 한 걸음일 수 있으며, 거기에서 그/그녀는 주저하는기력없는 상태로부터 다른 사람이나/과 다른 이유에 헌신하는 보다 주도적인 상태로 나아간다. - P134

캐릭터가 곧 행동

불신과 믿음의 도약은 당신의 각본에서 중요한 요소들인데, 왜냐하면 이 요소들은 현실 세계를 드러내기 때문이다. 실제로 사람들은 일반적으로 다른 사람들을 위해 자신을 내거는 위험을 꺼린다. 실제로 사람들의 충실함과신뢰는 장려되어야만 한다. 캐릭터의 믿음의 도약을 구조화할 때, 이런 주제가 단지 말로만 하는 장치보다는, 반드시 실제로 적용되도록 고심해야 한다. - P135

믿음의 도약을 경솔하게 다루는 것은 시나리오 쓰기에서 벌어지는 가장 흔한 잘못이다. 이것은 다시 말해 캐릭터 전에플롯을 먼저 설정하는 잘못이다. 작가로서, 당신은 플롯이란 캐릭터 주위를도는 것이란 점을 기억해야만 한다. - P135

낙천주의자

수상한 영웅의 반대는 잘 속는 영웅, 즉 너무 잘 믿는 캐릭터다. 이 캐릭터의 도전은 신뢰하는 법을 배우기보다. "아니오"라고 하는 법을 배우는 것이다.  - P136

 분명 캐릭터들 사이의 관계가 진행될 수 있고 발전할 수 있지만, 심리적 완성을 위해 그들은 반드시 서로가 필요한 것은 아니다. 각 캐릭터가충분히 발달했을 때, 그들은 그 자체로서 완전하고 균형 잡힌 심리적 정체성을 재현해내야만 한다. - P137

자율성 대 의혹과 수치심


프로이트의 두 번째 성심리 단계－항문기－가 화장실 훈련을 두고 벌이는 부모와 아이 사이의 힘겨루기에 중점을 둔 단계처럼 에릭슨의 자아 위기 두 번째단계는 부모로부터 자율성을 갖기 위한 아이의 투쟁에 초점을 맞춘다. 에릭슨에게, 자율성이란 개인의 기본적 정체성으로, 아이의 "자기 자신이 되려는 의지 will to be oneself"다. 영화에서, 자율성의 주제는 일반적으로 자신이 처한환경에서 벌어지는 독재적인 힘에 저항하는 캐릭터들에 의해 수행된다.  - P137

모든 문명인은 사회의 짐을 지고 살아간다. 법률, 규칙, 세금, 공무원 등등... 모든 사회적 구속은 개인적 자율성을 억압하며, 자유를 원하는 우리의 자연적 본능을 좌절시킨다. - P138

주도성 대 죄책감 Initiative versus Guilt

프로이트 이론에 있는 발달과정에서 남근기는 오이디푸스 콤플렉스의 해결을 보여준다. 그때 초자아는 무의식에서 지배적인 힘을 갖게 된다. 반면에릭슨의 자아 위기 세 번째 단계는 죄책감－초자아의 산물－과 그 반대되는 힘인 주도성a desexualized version of the libido, 리비도의 탈성화 된 버전에 초점을 맞춘다. 에릭슨은 주도성과 죄책감을 무의식 속에 존재하는 대립하는 힘으로 상정한 반면, 이것들은 흔히 영화에서 캐릭터 동기부여의 상호보완적인 힘으로 사용된다. - P139

그러나 죄책감은 고전적 심리분석에서 신경증적 콤플렉스로 묘사될 수 있는데, 주인공은 진정한 주도성을 실현하기 위해 그것을 극복해야만 한다. (중략). 당신이 각본에서 이러한 주도성과 죄책감을 상호보완적 힘이든 혹은 적대적인 힘이든 어떤 식으로 사용하든, 그것들이 서로 연결되어 있다는 점을 기억해야 한다. 어떤 방식으로든, 당신 캐릭터의 발달은 이러한 중요한 동기부여에서 그중 하나 혹은 둘 모두에 달려있다. - P140

근면성대 열등감

(중략). 에릭슨의 모델에서, 승화의 예술은 개인의 정체성과 본질적으로 연결된 중요한 기술로 여겨진다. 심리적 에너지를 일로 승화시킴으로써, 우리는 능동적으로 우리 자신을 규정하게 되는데, 우리가 무엇을 하는가에 따라 우리가 누구인지 광범위하게 결정되기 때문이다. 성공적이고 생산적이며, 근면하다고느끼는 기본적인 욕망은 부족하고 열등하다는 느낌에 의해 좌절될 수 있다. - P140

약자 플롯 장치는 영화에서 항상 인기가 있는데, 왜냐하면 관객은 극복할수 없는 역경에 맞서 승리하는 주제에 쉽게 동일시되기 때문이다. (중략). 그러나 약자 주제는 단지 스포츠영화와 액션영화에만 국한 되지 않는다.  - P141

규범적 갈등

연습문제

1. 당신의 영화 지식을 활용하여, ‘수상한 영웅‘이라고 분류할 수 있는 영화 캐릭터 5명을 찾아보라.

2. ‘남을 잘 믿는 주인공이라고 할 수 있는 영화 캐릭터 3명을 찾아보라.

3. ‘저항적 영웅‘이라고 할 수 있는 영화 캐릭터 7명을 찾아보라.

4. ‘죄책감을 가진 주인공‘이라고 할 수 있는 영화 캐릭터 3명을 찾아보라.

5. ‘삐뚤어진 주인공‘이라고 할 수 있는 영화 캐릭터 3명을 찾아보라.

6. ‘약자 주인공‘이라고 할 수 있는 영화 캐릭터 5명을 찾아보라.

7. ‘약자 주인공 무리‘가 나오는 영화 3편을 찾아보라. - P143