당신이 몰랐던, 무시했던, 제외했던 데이터가 가져오는 공포의 결과

다크 데이터 - 보이지 않는 데이터가 세상을 지배한다
데이비드 핸드 지음, 노태복 옮김 / 더퀘스트 / 2021년 10월

다크 데이터 : 당신이 몰랐던, 무시했던, 제외했던 데이터가 가져오는 공포의 결과

 

 

 

데이터가 미래의 식량이라는 이야기는 많이 들어봤을 것이다.

하루 일과를 시작해서 마무리할 때까지 우리가 알던 모르던 발자국처럼 쏟아내는 데이터는 차곡차곡 각자 필요로 하는 회사들의 서버에 저장이 되고 있고, 부지런한 회사는 의미 있는 데이터로 만들고 제안을 하고 유혹을 하기위해 가공의 작업을 진행하고 있다.

어떤 데이터는 VALUE=1이라고 표기되고 어떤 데이트는 0으로 표기되어 분기되어 처리될 지도 모른다.

식사를 한 장소, 금액, 주기, 사용카드, 주문메뉴.

점심 한끼를 통해 생성되는 데이터는 누적되고 다른 사람의 데이터와 합쳐지고 나뉘면서 의미 있는 숫자로 기업의 자산이 되어 간다.

 

한가지 재미난 것은 이런 과정에서 숨어있는 값들도 쌓여 간다는 사실이다.

어떤 데이터는 우리가 알지도 못한 채 숨어있거나 삭제되고, 어떤 데이터는 임의로 삭제시키거나 다른 데이터와 혼동을 일으킬 수 있다.

보통 사회과학에서는 우리가 무시해도 될 데이터는 생략하거나 제거하여 연구대상에 빼놓아도 무방한 경우가 많지만, 여기에 통계 같은 숫자가 들어가면 이야기가 달라진다.

숨어있는 존재의 숫자가 전체에 어떤 영향을 끼칠지 실제 고민해보지 않는다면 전혀 엉뚱한 결과치를 가지고 세상 사람들이 거짓된 허상을 믿게 될 수도 있다.

 

책에는 비극적인 우주여행의 상징인 챌린지호 사례가 등장한다.

계속되는 발사 지연이 관계자들의 밥줄에 영향을 미칠 수준이다 보니, 일부 적은 데이터는 무시되기도 했다. 로켓의 단 격차를 해결하는 작은 고무링의 온도에 의한 변형데이터는 무시되었고 또는 알 지 못했던 사례를 충분히 고려하지 못했다. 여러 발사실험에서는 기온이 크게 낮지 않아 문제가 되지 않았지만 막상 실제 발사 당일 기온이 떨어지면서 사전 시뮬레이션에는 잡히지 않았던 링의 변화가 커진 결과가 현실화되었고 여기에서 비극적인 폭발의 원인이 시작되었다고 한다.

흔히 무시해도 좋을 만한 통계적 제거가 우주비행사들의 목숨을 앗아간 최악의 사건으로 기록된 단초가 된다.

 

다크 데이터 이렇듯, 우리가 알거나 모르거나 모든 생성과정에서 등장하여 상당수는 영향없이 무시되기도 하지만, 심각한 왜곡으로 우리의 삶을 전혀 의도하지 않았던 미래로 끌고 나가기도 한다.

그리고 그 결과 챌린저 호의 비극 같은 일로 우리를 최악으로 몰아넣기도 한다.

 

재미난 사례도 등장한다

이베이에 올린 빈티지 맥주 Ailsopp의 이름을 오타로 p를 하나 빼놓았다고 한다. 최저 경매가 299달러에 304달러 낙찰. 여기까지 괜찮다. 이 제품을 낙찰 받은 주인공이 제대로 철자를 써서 올렸는데 결과는 놀랍게도 157건 입찰에 50만 달러에 낙찰된다.

P자 하나로 제대로 검색이 안된 결과 이런 극과 극의 결과가 나타나고 이는 우리 실생활 어디에서나 등장할 수 있는 사고에 가까운 사례이다.

 

책에서 다루는 다크 데이터의 유형은 15가지이다.

물론 여기에 속하지 않는 범주도 얼마든지 있을 수 있음을 우리는 알고 있어야 한다.

 

DD 유형 1: 빠져 있는지 우리가 아는 데이터

DD 유형 2: 빠져 있는지 우리가 모르는 데이터

DD 유형 3: 일부 사례만 선택하기

DD 유형 4: 자기 선택

DD 유형 5: 중요한 것이 빠짐

DD 유형 6: 존재했을 수도 있는 데이터

DD 유형 7: 시간에 따라 변하는 데이터,

DD 유형 8: 데이터의 정의

DD 유형 9: 데이터의 요약

DD 유형 10: 측정 오차 및 불확실성

DD 유형 11: 피드백과 게이밍

DD 유형 12: 정보 비대칭

DD 유형 13: 의도적인 다크 데이터

DD 유형 14: 조작된 합성 데이터

DD 유형 15: 데이터 너머로 외삽하기

 

 

이런 유형에 대한 이해가 필요한 분야 중 금융은 특히 관심을 가지고 데이터를 살펴봐야 한다. 생존자 편향에 의해 펀드 수익률 중 실적이 나쁜 것들은 제외되고 양호한 펀드만 가지고 평균적인 수익률을 따진다면 사라진 데이터의 숨어있는 마이너스 실적이 드러나지 않게 되고 잘못된 투자결정을 하게 되어 우리의 호주머니에도 마이너스의 그림자가 드리워질 수 있다.

내 투자가 손해라니! 다크 데이터의 중요성이 뼈 속 깊이 새겨지고 있다!

 

다양한 유형의 다크 데이터를 살펴보며 비즈니스 활동은 물론이고 개인적인 과제를 수행할 때 데이터의 왜곡을 어떻게 지혜롭게 회피할 수 있을지에 대한 인사이트를 주는 책이다.

약간은 sf 소설 같은 겉표지와 데이터를 다루는 따분한 책으로 오해받을 수도 있지만, 다양한 사례에서 숨어있는 데이터들이 어떻게 무시되고 제외되며 그로 인해 다른 결과가 등장하는 일련의 사건들은 그 자체만으로도 읽을 만한 요소가 된다.

 

더욱이 우리의 저지를 수 있는 실수를 생생한 사례를 통해 머리속에 쏙쏙 집어넣을 수 있는 기회인 만큼 데이터를 통해 무엇인가 멋진 일을 하고 싶은 사람이라면 꼭 읽고 자주 들쳐봐야 하는 책임에는 이론의 여지가 없다.

 

  *출판사에서 도서를 제공받아 작성한 서평입니다.