《돈이 보이는 빅데이터》 기회와 수익을 만드는 빅데이터 사용법

돈이 보이는 빅데이터 - 새로운 기회와 수익을 만드는 빅데이터 사용법
이종석 지음 / 김영사 / 2018년 6월

빅데이터 개념부터 활용하는 방법이 담긴 친절한 안내서

빅데이터라는 개념은 어려웠지만 이제는 많은 사람들에게 인식할 수 있을 정도로 대중화되고 상용화되어 가고 있다. 멀리서 찾지 않아도 빅데이터 기술이 쓰이고 있는 분야를 쉽게 알 수 있다. 인터넷을 검색할 때 이전에 찾아봤던 물품과 관련된 광고가 나오고 있고 영상을 볼 때도 내가 좋아하는 영상에 맞춰 제안하고 있다. 그런데 이런 빅데이터는 어떤 원리로 작동하고 어떻게 더 활용될 수 있을까? ≪돈이 보이는 빅데이터≫에서 자세한 답을 알 수 있다.

p.6

사람들은 비즈니스에서 인공지능-머신러닝-빅데이터가 성공할수록 인간이 직업을 잃게 될 거라고 생각한다. (중략) 하지만 산업 현장에 로봇이 등장했던 과거에도 지금처럼 일자리에 대한 우려가 있었다. 하지만 스마트폰 등 모바일 기술과 SNS 서비스를 구현하는 기술이 발전하자 IT 기술에 기반을 둔 아마존, 페이스북 같은 거대 기업들이 탄생했고 새로운 일자리가 만들어졌다.

빅데이터는 유망한 기술이지만 이미 많은 부분에서 사용하고 있는 기술이다. 우리나라는 2012년 본격적으로 용어와 개념이 확산되었고 3Vs(규모 volume, 다양성 Variety, 속도 Velocity)로 모호한 기준을 보다 명확히 할 수 있다. 빅데이터는 분석할 수 있는 요건들이 많아지면 경우의 수가 늘어나고 이에 분석 속도도 급감하게 된다. 이를 차원의 저주라고 하는데 분산, 병렬처리와 컴퓨터 하드웨어의 연산 속도가 발전에 따라 속도 문제도 점차 해결되어 가고 있다.

빅데이터는 많은 정보를 모아 보다 직관적으로 할 수 있는 시각화를 가능하게 하지만 엄청난 정보를 모은다는 점에서 일반인들이 쉽게 접근할 수 없다. 다행히 어려운 알고리즘의 경우 오픈소스를 통해 장벽은 낮아졌지만 이를 가용할 수 있는 자원이나 활용도를 가지려면 데이터가 지속적으로 증가할 수 밖에 없는 비즈니스를 운영하는 구글이나 페이스북 같은 기업들에게 국한된 이슈라는 제기도 있다.

p.139

두 알고리즘(다크포레스트, 알파고)은 모두 딥러닝을 사용했다. 딥러닝의 인공신경망 개수가 12개와 13개로 한 층 차이가 있지만 실력차가 엄청 날 정도는 아니다. 주의 깊게 봐야 하는 부분은 학습을 위해 사용된 데이터 양이다. (중략) 실제 비즈니스에 알파고를 적용하려면 시간이 더 필요하니 성공 여부도 모르는 거 아니냐고 반문할 수 있다. 아직 여유가 있다고 생각할 수 있다. 하지만 이미 해외에는 빅데이터를 실제 비즈니스에 적용해 돈을 버는 기업이 있다.

어떤 정보를 요약하는 것에서부터 연속성 분석, 인공신경망, 퍼지로직, 러프집합 등 분석 알고리즘도 기존의 단점을 해결해나가면서 발전해나가고 있다. 구글(알파고)과 페이스북(다크포레스트)은 같은 방식인 알고리즘을 사용했는데 다른 결과가 나온 것에 주목할 필요성이 있다. 어떤 분석법에 따라 어떻게 해석했는지에 따라 빅데이터의 성능도 크게 차이날 수가 있다.

빅데이터는 정보를 한 대 모아 효과적인 마케팅 툴로도 사용할 수 있지만 언어 해석 분야에서도 사용할 수 있다. 챗봇이나 음성 상담을 통해 한없이 자신의 차례를 기다리는 지금의 모습은 사라질 가능성이 있다. 하지만 한국어는 어렵다. 이미 영어를 기반으로 연구가 진행된데 반해 우리말은 상대적으로 연구 기간이 짧고 스피치 인식 알고리즘에서 노이즈나 음성 왜곡, 녹음 방식, 사투리나 전문 용어의 사용, 형태소 분석, 품사 부착, 구절·구문 단위 분석 등 복잡함을 가지고 있는데 향후 어떻게 이런 문제를 해결해 나갈지 주목할 점이다.

p.247

아마존처럼 새로운 비즈니스를 창출하려는 기업이라면 오픈소스 기반의 빅데이터 플랫폼을 도입하여 업무 시스템과 실시간 연계 시 발생하는 문제들을 스스로 풀어보는 것을 추천하고 싶다.

빅데이터을 활용해 개인적으로 돈을 벌 수 있는 방법을 안내하는 것이 아닌 빅데이터의 정의와 특징, 적용하는 알고리즘, 이를 활용한 기업 등의 사례를 제시해주고 있다. 빅데이터에 대해 아주 모르고 있다면 조금은 어려울 수 있는 책, 빅데이터에 대해 잘 알고 있다면 전반적인 흐름을 짚어주는 책이 될 듯 하다. 책의 이름에서 말하는 ‘돈 버는 방법’은 개인이 아니라 기업 쪽에 조금 더 포커스가 맞춰져 있는 부분으로 잘 유념하고 흐름대로 읽어간다면 빅데이터의 현재와 미래를 알 수 있는 좋은 책이 되어줄 것이다.