빅데이터 사용설명서

빅데이터 사용설명서
김진호 지음 / 메이트북스 / 2022년 3월

요즘 프로그램 개발자들이 좋은 대우를 받는다고 합니다. 물론 빅데이터분석가를 직접칭하는 것은 아니고 C나 자바 그리고 파이썬 프로그래머를 의미하는 겁니다. 하지만 빅데이터분석도 이 개발자품귀의 한축을 담당한다고 생각합니다. <빅데이터 사용설명서>는 빅데이터의 역사부터 현재 의미 그리고 현업에서의 빅데이터의 문제점까지 다룹니다. 코딩을 하는 빅데이터분석기사가 되지는 않더라고 직접적으로 빅데이터의 활용성을 알아야 빅데이터를 경영에 적용이 가능할 겁니다.

저자는 스위스경영대학서울 김진호교수입니다. 서울대 경영대를 나와 와튼스쿨에서 경영학석사와 마케팅박사를 했습니다. 서울과학종합대학원과 국방대학원 교수를 거쳤고 삼성경제연구소에 통계관련 인터넷강좌도 있다고 합니다. 그리고 이세돌9단과 알파고의 대결에서 알파고의 승리를 예측해서 화재가 된적도 있습니다. <괴짜통계학>,<빅데이터 리더십><가장 섹시한 직업 데이터 사이언티스트>도 저술하셨습니다.

저자는 2005년 교황취임식과 2013년 교황취임식을 비교합니다. 모든 장면은 거의 같은데, 교황이 나오자 모두 핸드폰을 높이 쳐들고 촬영하는 것이 가장 큰 차이였습니다. 8년만에 세상은 교환취임식이 TV나 레거시미디어가 아니라 개인간 SNS와 가족에게 참여자들이 실시간으로 전해졌습니다. 개인이 다양한 장소에서 찍어대고 써대는 내용은 SNS에 실시간으로 업로드되고 엉청난 데이터폭증하였고 사물인터넷의 확산과 센서의 활용으로 데이터 폭증의 주역이 되었다고 합니다. 분명한 것은 이제 빅데이터를 품은 디지털전환은 선택이 아니라 기업의 생존을 건 필수라고 할 수있습니다. 문제는 이렇게 많이 쌓이는 데이터를 인간이 처리할수없어졌다는 겁니다. 그래서 인공지능이 주목받습니다. 과거에는 AI도 규직기반이었지만 지금은 패턴 기반 AI로 변화중입니다. 많은 빅데이터를 인공지능이 스스로 분석하여 좋은 인사이트를 방출하고 사람들이 그것을 이용할 수있게 됨으로써 미래의 다양한 가능성이 실현되고 있습니다.

빅데이터와 인공지능을 배우다보면 결국 예측을 배우게 됩니다. 과거나 현재 데이터를 분석해서 미래의 무엇인가를 예측하는 거죠. 그래서 이상탐지와 예측이 관심을 받습니다. 기법상으로는 차이가 없다고 합니다 이상탐지는 예방차원이고 예측은 선제적이고 처방적 대응이라고 합니다. 단어로도 비슷해보이기는 합니다. 이상탐지를 하는이유는 이상상황이 발생하면 더큰 피해를 보기전에 즉각 대응을 목적으로 하는 거죠. 이 이상탐지에서 빅데이터가 많이 사용되는 이유는 자동화가 가능하기 때문이라고 합니다. 원래 데이터처리에 전처리가 노다가의 대부분이기때문에 이 부분의 노력을 줄일수있다는 것이 매우 유의미합니다. 이를 응용한것이 롤스로이스가 비행기엔진을 렌탈로한것이고 기계학습으로 임산부임을 로그분석으로만 분석하여 필요한 물품을 추천하는 시스템도 화제가된 적이 있습니다.

빅데이터가 다양한 장점이 있다는 것은 책을 읽으면서 더욱 부각이 됩니다. 그런데 이 빅데이터의 활용성을 더욱 높이기 위해서는 인간만의 특징인 창의성이 매우 중요하다고 합니다. 결국 창의적인 기업이 데이터분석을 중요시하고 이를 새로운 원유라고도 합니다. 이러한 분석을 6단계로 분류해석, 문제인식, 관련연구조사, 모형화, 자료수집, 자료분석, 결과제시 등으로 분류합니다. 빅데이터를 다루는 방법은 사실 통계학에 기원을 둡니다. 1856년 멘델도 인내심을 가지고 데이터를 분석해서 유전학이라는 인류의 큰 공헌을 한 인사이트를 발견했고 최근에 한국에서 치뤄진 대선의 분석도 유력, 확실, 당선이라고 표시하는데도 분명 빅데이터를 이용한 인공지능 기술이 들어간다고 보아야 할겁니다. 앞으로 시대는 빅데이터시대임은 누구도 부인할 수없으면 앞으로 점점 인공지능이 빅데이터를 어떻게 조율하고 인사이트를 뽑아내느냐가 더욱 주목받을 겁니다.

끝으로 빅데이터를 개인차원에서 보면 취업을 보았을때 기업들은 데이터를 어떻게 다룰수있느냐를 기본소양으로 볼겁니다. 그래서 분석역량을 키우라고 합니다. 이를 문맹에서 숫자에 두려움을 느끼는 수맹이라는 표현까지도 끌어올립니다. 물론 인공지능과 빅데이터 쉽지 않습니다. 숫자를 두려워하지말고 모르는 것은 바로 검색을 해보고, 호기심을 확장하고 확률과도 친해지라고 저자는 조언을 합니다. 이제는 분석능력이 몸에 밴사람이 상위권으로 올라가는 세상이라는 겁니다. 무서움을 가져야 하지않을까요.

본 도서는 출판사로부터 무상으로 제공받아 주관적인 리뷰를 합니다.

빅데이터,인공지능,빅데이터사용설명서