빅 데이터가 만드는 세상

빅 데이터가 만드는 세상 - 데이터는 알고 있다
빅토르 마이어 쇤버거 & 케네스 쿠키어 지음, 이지연 옮김 / 21세기북스 / 2013년 5월

빅 데이터: 데이터의 생성 양ㆍ주기ㆍ형식 등이 방대한 데이터

신문이나 책에서 잠깐씩 봤던 빅 데이터라는 의미는 단순히 "광대한 자료를 바탕으로 고객의 니즈를 충족시키는 것"이라고 받아들이고 있었다. 그리고 내가 살아가는데 있어서 그리 많은 영향을 끼치진 않을거라는 생각을 갖고 별 관심을 갖진 않았다. 하지만 이 책을 보고 나서는 생각이 바뀌었다. 현재 내가 하고 있는 일뿐만 아니라 일상생활에서도 빅데이터가 미치는 영향은 엄청났으며 앞으로는 더욱 더 커질 것이라는 것을 알게 되었기 때문이다. 심지어 빅 데이터로 인해 내가 직장에서 쫒겨날 수도 있다는 생각에 다다르게 되자 눈에 불을 켜고 읽게 되었다!

빅 데이터에 대해 모호한 의미만 알고 있었던 나에게 이 책은 과거부터 현재, 미래까지 빅 데이터의 모든 것을 자세히 설명해준다. 데이터 활용의 역사, 과거와 최근의 이슈와 쟁점, 활용가치, 활용방법, 영향력, 리스크 등에 대해 하나도 빠짐없이 빅데이터에 대해 낱낱이 알려준다. 기존의 빅 데이터 관련 도서들이 그 의미와 활용방법, 현재의 모습에 대해서만 얘기를 했다면 이 책은 빅 데이터의 모든 것을 일목요연하게 알려준다.

흥미로웠던 부분은 컴퓨터가 없었던 과거에도 현재의 빅데이터와 유사한 것들이 있었다는 것이다. 19세기 미 해군 장교가 방대한 항해서를 바탕으로 새로운 해도를 작성하여 미군뿐만 아니라 수 많은 무역선들이 엄청난 시간을 혁신적으로 줄일 수 있었다. 이와 같은 다양한 사례들의 공통점은 기존의 방대한 데이터를 베이스로 새로운 혁신을 이끌어 낸다는 것이다. 그리고 컴퓨터 시대가 도래하면서 베이스가 되었던 데이터의 양은 점차 늘어났다. 그리고 메모리칩과 알고리즘이 발전하면서 저장할 수 있는 메모리칩과 이를 활용할 수 있는 알고리즘의 발전을 통해 데이터의 활용은 상상할 수 없을 정도로 광대해진다.

이렇게 엄청나게 방대한 데이터들을 쉽게 추출하여 활용을 하면서 세상이 점차 변하고 있다. 고객의 구매 데이터와 웹서핑 패턴의 데이터를 모아서 고객에게 맞춤형 상품을 추천하거나(월마트, 아마존) 검색어 데이터를 모아서 현재 독감이나 유행성 질환의 발병율이 어느정도 인지 알 수 있는 것까지 기존에는 엄두도 낼 수 없었던게 현실로 다가오고 있다. 이렇게 엄청나게 많은 자료들을 활용하면서 점차 전문가라는 자리가 무색해지고 있다. 스몰데이터 시기에는 전문가들의 직관적인 판단에 대해 검증을 하는데 오랜 시간이 걸렸지만 현재는 전문가들의 직관적인 판단에 대해 곧바로 확인하고 잘 못된 부분을 고칠 수 있게 되었다. 자신의 자리를 작은 메모리칩에게 뺏기는 현실이 눈 앞으로 다가온 것이다.

굳이 세상이 빅데이터로 인해 어떻게 변화하고 어떻게 혁신을 이끌어내는지에 대해서 자세히까지는 아니더라도 나의 일, 나의 생활에서 어떤 변화가 있고 여기에서 내가 어떻게 이를 잘 활용할 것인지에 대해서는 잘 알아야 한다고 생각한다. 최소한 어떻게 빅데이터가 만들어지고 활용되는지 알고 나의 일과 생활속의 인과관계를 잘 이해해야 한다. 그리고 더 나아가 관련된 자격증을 준비해도 좋을 것이다. 이는 빅데이터에 관한 작은 관심으로부터 시작되는 것이기에 이와 같은 책을 통해 시작해 보기를 추천한다.

아마존에서 내부 도서 리뷰 담당자들을 퇴직시켰다. 알고리즘에 의한 추천이 더 큰 판매고를 올린다는 것을 데이터가 보여주었기 때문이다. 이것은 직장에서 성공하는 데 필요한 역량이 바뀌고 있음을 보여준다. 직원들이 회사에 기여해야 할 부분이 바뀌고 있는 것이다. 미숙아를 돌보는 맥그레거 박사는 병원 내에서 가장 박식한 의사가 되지 않아도 환자들에게 최선의 결과를 안겨줄 수 있다. 사실 그녀는 의사인 것도 아니다. 그녀는 컴퓨터 과학 분야의 박사 학위를 가지고 있기 때문이다. 그녀는 그녀의 지식이 아닌 컴퓨터가 분석하는 10년 치 이상의 환자 기록을 활용해 치료법을 추천할 뿐이다.   -p259 빅 데이터의 영향-