데이터 분석의 힘

데이터 분석의 힘 - 그 많은 숫자들은 어떻게 전략이 되는가
이토 고이치로 지음, 전선영 옮김, 이학배 감수 / 인플루엔셜(주) / 2018년 8월

정치, 경제, 사회 전반의 다양한 이슈들이 데이터 분석을 통해 해결이 가능해 지고 있습니다. 그 중에서도 기업의 미래 예측과 새로운 고객 가치 창출을 위한 '빅데이터 분석'은 혁신적 ICT 기술의 발전과 함께 기업의 디지털 트랜스포메이션(DX)의 전제 조건처럼 여겨집니다. 현재 그리고 미래에도 빅데이터가 중요한 역할을 할 것이라 판단하는 이유는 빅데이터 분석을 통해 얻어지는 정보의 가치(Value)  때문일 겁니다.

2008년 <와이어드>​의 편집장 Chris Anderson은 '데이터의 홍수로 과학적 방법은 구식이 되었다.'고 말한 바 있습니다.  그는 전통적인 과학적 발견과정은 이제 쇠퇴하고 있고, 이론이 필요없는 순수한 상관성이라는 통계적 분석이 그 자리를 대신한다고 주장하며, 새로운 방법론의 예시로 구글의 검색엔진과 유전자 분석을 들고 있죠.

"이제는 대량의 데이터와 응용수학이 다른 모든 것을 대신하는 세상이다. 바야흐로 데이터만 충분하다면 숫자들은 스스로 입을 여는 시대가 도래했다"

그렇다면 여기서 잠깐 !

그동안 우리가 사회현상을 이해하기 위한 접근법은 주로 '인과성(causality)'에 근거해 있습니다. 즉, 특정 이유 때문에 이러 이러한 현상이 나타났다고 보는 것이죠. 반명 '상관성(correlation)'은 '인과성'과는 달리 'A는 B와 관련이 있다. 왜냐하면 B가 나타나면 A에게 이런 변화가 있더라' 정도로 설명을 합니다. 당연히 사회가 점점 복잡해 지면서 인과성을 찾기 어려워지고, 대신 상관성을 강조하는 빅데이터 분석이 더욱 각광을 받고 있다고 여겨집니다.

이런 의미에서 세계적인 빅데이터 전문가인 "빅토르 마이어 쇤버거"가 그의 저서 <빅 데이터가 만드는 세상>에서 이야기한 "빅데이터 시대에는 인과성에서 상관성의 시대로의 전환"이라는 표현은 일견 타당해 보입니다.

"빅데이터 시대는 우리가 사는 방식에 의문을 던진다. 그중에서 가장 두드러진 부분은 사회가 '인과성(causality)'에 대한 그동안의 집착을 일부 포기하고 '상관성(correlation)'에 만족해야 할 것이라는 점이다. 즉 '이유'는 모른 채 '결론'만 알게 될 것이다. 이것은 수백년간 이어져 온 관행을 뒤집는 일이며, 우리는 의사 결정 방식이나 현실에 대한 이해 방식을 아주 기초적인 부분부터 다시 생각해야 할지도 모를 일이다."

"빅데이터가 모든 문제를해결해 준다는 주장도 있지만데이터의 처리, 분석, 해석에는인간의 판단이 중요하다.데이터의 양이 늘어났다고 해서근본적인 해결책이 되지 않기에인과관계 파악법을 통해 스스로 데이터를 가려내는 힘을 갖추어야 한다 !"

빅데이터 분석에 있어 중요한 사실은 인과관계를 파악하는 것은 기계가 아니라 인간이라는 것입니다. 기계(즉, 빅데이터를 분석하는 인공지능 등)가 잘하는 것은 인간이 이해할 수 없는 조합의 상관관계를 제시할 때가 많습니다. 한편, 인간(빅데이터 분석가)에게 요구되는 것은 데이터 분석의 목적을 명확히 하여 어떤 인과 관계인지를 파악하고, 이때 얻은 지식으로 문제를 해결하고 목적을 달성하는 데 있습니다.

데이터 분석의 가장 기본이되는 "인과 관계를 판별하는 방법"에 대해 수식을 사용하지 않고, 구체적인 예와 그림, 그래프 등을 이용하여 해설하고 있는 입문서 성격의 책입니다. 입문서라 할지라도 그 내용은 결코 가볍지 않습니다. 데이터 분석을 통해 인과관계를 파악하는 '계량 경제학' 영역의 최신 이론과 쉬운 접근법을 찾으시는 분들에게 추천합니다.