빅데이터, 돈을 읽다

빅데이터, 돈을 읽다 - 아마존.구글.넷플릭스는 어떻게 초일류 기업이 되었는가?
데이비드 스티븐슨 지음, 장진영 옮김 / 동아엠앤비 / 2020년 9월

빅데이터라는 단어가 나온지는 꽤 되었다. 빅데이터를 이용해서 마케팅에 활용하는 기업도 있고 다각도로 활용하기도 한다. 빅데이터가 만들어 질수 있는 환경이 되어서 앞으로도 계속 데이터의 발생과 수집은 커질 것이다. 페이스북, 유튜브 등이 등장하면서 소비자가 콘텐츠를 만드는 세상으로 변하였다. 그러면서 데이터의 증가가 폭등 하게 되었다. 페이스북, 유튜브 , 트위터 등이 대표 셀프 퍼블리싱이다. 누구나가 손쉽게 만들고 공유 할수 있는 세상이 되었다. 모바일 장치에서도 생성이 가능하기 때문에 어느장소에서건 쉽게 데이터가 만들어지는 상황이 되어 버린 것이다.

게다가 사물인터넷을 통해 기계와 통신하는 데이터도 증가되고 있는 현실이다. 저장 장치의 가격은 예전에 비해 엄청 저렴해 졌다. RAM 의 가격도 급락하여 빅데이터를 조성하기 위한 환경으로 만들어지고 있다.

인공지능은 환경에 대응하는 시스템이고 머신러닝은 기계가 스스로 퍼포먼스를 계속하는 것이다. 스스로 학습하는 것을 의미한다. 바둑으로 유명해진 알파고는 전문가들의 바둑을 복기하며 바둑 실력을 스스로 쌓은 것이다. 오랜 시간을 학습할수록 그 분야에 대해서 전문가가 되어 가는 것이다.

​빅데이터

아직도 빅데이터와 데이터 과학을 활용하지 않는 조직이 많다.

빅데이터에 그만한 비용과 노력을 들일 가치가 있을지 확신하지 못하기 때문이다.

— 프롤로그 中

인공지능에 대한 연구는 아주 오래전 부터 했지만 번번히 실패를 거듭했고 최근에 여건이 갖추어지면서 탄력을 받기 시작했다고 볼수 있다. 머신 러닝을 사용할수 있도록 방대한 데이터가 생성되었고 일반 컴퓨터를 연동해 슈퍼 컴퓨터처럼 사용할수 있는 소프트웨어가 개발되었다.

​빅데이터를 통해 암 연구에서 활용된다면 보다 적은 비용으로 암세포를 추출하고 조기 발견이 가능해지게 된다. 여러 분야에서 빅데이터는 활용할 곳이 많을 것이다.

​머신러닝

책에서는 빅데이터와 데이터 과학에 관련된 팀을 구성하는 방법도 제시하고 있다. 데이터 과학자, 플랫폼 엔지니어, 데이터 엔지니어, 알고리즘 전문가, 비즈니스 분석가, 웹 분석가, 보고 전문가 등 이렇게 팀이 짜여져야 한다고 이야기 한다. 회사의 규모에 따라 다르겠지만 전문가들을 구하는 것도 쉽지는 않을것 같다. 법과 규정의 준수에 대해서도 집어주고 있다. 데이터를 다루는 일이기에 간과해서는 안될 부분이다.

​인공지능, 머신러닝, 빅데이터 등 신기술에 대한 니즈와 그 기술을 통해 이룰수 있는 것들에 대해 설명한 책이다. 빅데이터를 잘 활용하는 기업은 그만큼 매출 향상의 기회를 넘볼수 있을 것이다. 그러기에 각 분야마다 어떻게 빅데이터를 활용할수 있을지 고민해야 하고 적제적소에 맞게 빅데이터 팀을 꾸려 활용해야 할 것이다.