빅 데이터

세상을 읽는 새로운 언어, 빅데이터 - 미래를 혁신하는 빅데이터의 모든 것 ㅣ 서가명강 시리즈 6
조성준 지음 / 21세기북스 / 2019년 8월

빅 데이터라는  새로운 분야에 대한 이야기가 많지만 아직까지는 대형 마트에서의 수매 성향으로 소비자의 임신 상태를 알아냈다던가, 오바바 대통령이 대통령 선거운동시 빅데이터를 잘 활용하였다는 정도의 내용이외에는 특별히 대단한 이야기가 없는 것 같다. 1980년대부터 이론적 기반은 있었지만 발달하지 못했던 인공지능 분야가 빅데이터를 활용하면서 부쩍 성장하여 미래의 산업방향을 이끄다는 이야기까지 나오기도 하지만 이 분야에 대해 체계적인 지식을 얻기 힘든 것이 사실이다.

머신러닝과 데이터마이닝을 전공하고 이 분야를 활발하고 있는 연구자의 책을 통해 그 동안 궁금했던 이 분야의 현황을 알게되어 무척 기대하는 마음으로 책을 읽었는데 크게 와닿는 내용은 없었다. 실제로 프로그램을 개발하고 활용하는 부분을 빼놓은 이 분야에 대해 설명하는 것이 쉽지 않을 것이란 생각이 들었다. 저자의 원 전공이 산업공학이기에 실제 산업에서 빅데이터나 머신러닝이 어떤 식으로 활용될 것인가에 대해 전산학자들보다는 분명하며서도 체계적인 정리가 포함되어 있다는 것이 이 책의 큰 강점이 아닐까 생각한다.

빅데이터 분야에서 신기한 것 중 하나가 아마존 이나 네플릭스같은 기업이 활용하는 사용자의 취향을 분석하여 그 사람이 향후 구매 또는 선택하게 되는 상품을 미리 추천해주는 서비스인데, 이 책을 통해 어떤 방식으로 구현되는지 알 수 있었다. 채기나 영화의 특징을 대단위 벡터 형태의 데이터로 구현하고 그 데이터들의 내적을 계산하여 1에 가까운 값이 나온다면 두 상품의 특징은 매우 유사한 것이라 할 수 있다는 점인데, 내 자신도 이미 잘 아는 수학내용이지만 실제 생활에서 이런 분야에서 활용될 줄은 전혀 예상하지 못했다. 다른 전산 분야도 미슷하겠지만 어떤 구조의 데이터 구조로 빅데이터를 정리하느냐에 따라 많은 활용분야가 나올 수 있을 것이라 생각한다. 

이 책에서 빅 데이터를 설명하기 위해 사용된 예가 TV프로그램 냉장고를 부탁해이다. 냉장고 속 음식재료와 세프의 음식기술, 그리고 초대손님의 취향을 연결시켜줄 방법을 제한된 시간 내에 찾아내는 것이 이 프로그램의 관건인데, 빅데이터의 활용이 비슷하게 진행된다는 설명이 무척 인상적이었다. 실제로는 훨씬 복잡한 알고리즘을 쓰겠지만 초보 단계에서는 위에서 언급된 벡터의 내적을 계산하는 방법을 사용할 수 있을 것이라 생각되었다. 

향후 꾸준하게 발달될 분야이기에 기술도 꾸준히 발달될 것이로 생각한다. 시대에 뒤떨어지지않기 위해 이 분야에 대한 책이나 다른 자료를 꾸준히 접할 계획이다.