빅데이터 커리어 가이드북 [빅데이터는 무엇이고, 빅데이터 전문가는 어떤 일을 할까?]

빅데이터 커리어 가이드북 - 빅데이터는 무엇이고, 빅데이터 전문가는 어떤 일을 할까?
조성준 외 지음 / 길벗 / 2021년 11월

 

“기업이 어떤 인재를 원하는지 소개하고 있을 뿐 아니라, 빅데이터 전문가들이 현업에서 겪은 생생한 경험이 담겨 있습니다” 「HSBC 코리아 COO 임미선」 책은 두 분류의 집단에 유익하게 보인다. 인재를 채용해야 하는 담당자와 취업을 준비하는 취준생들에게 말이다. 또한, 나는 예비창업자들에게도 굉장히 유용할 것으로 생각한다.

빅데이터(Big Data) 디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치뿐만 아니라 문자와 영상 더 나아가 몸짓과 행동 등 모든 것의 디지털 데이터를 말한다. 그럼 데이터(Data)는 무엇일까? 의미 있는 정보를 가진 모든 값을 사람이나 기계로 생성이나 처리 가능한 형태를 말한다. 20세기 컴퓨터산업의 비약적인 발전으로 인해, 컴퓨터공학의 용어로 많이 생각하지만, 실제적인 의미는 정보가 아닌 자료이다. 내 머릿속에 떠오른 아이디어나 지식은 데이터일까 아닐까? 결론을 말하자면, 실제화하지 않은 정보는 데이터가 될 수 없다. 자료를 가공하여 얻는 것이 정보이며, 정보를 통해 연구나 방법이 제시된다.

PC 통신과 인터넷만으로도 엄청난 데이터를 창출해냈었다. 2007년 스티브 잡스의 스마트폰 문화혁명 이후, 휴대기기와 온라인상에서 쏟아내는 데이터의 양은 비약적으로 상상을 초월하는 수준으로 늘어났다. 2004년 130EB(exabyte)를 생산하던 인터넷 기업의 데이터가, 10년만인 2015년엔 8ZB(zettabye)를 생산하게 이른다. 1엑스 바이트는(1EB) 미국 의회도서관의 인쇄물의 10만 배에 해당하는 정보량이다. 8제타 바이트는(8ZB) 8000 EB이고 이는 미국 의회도서관 인쇄물의 8억 배에 해당하는 양이다. 2021년 인구가 80억이라면, 하루에 쏟아지는 데이터의 양은 1인당 미국 의회도서관 하나만큼의 분량이 될 것이다. 이것을 현실로 구현해보자면, 전 세계 사람 1명당 매일 세계최대도서관을 하나씩 가지는 것을 의미한다.

『빅데이터 커리어 가이드북』 온·오프라인으로 올라오는 모든 자료가 빅데이터가 될 수 있을까? 빅데이터는 실질적으로 사용 가능한 유용하고 가공 가능한 자료여야 한다. 10억 명의 인구가 하루에 셀카 100장만 찍었을 때. 하루 1000억 장의 사진이 생성된다. 이 1000억 장의 사진 자료에서 정보를 찾아내는 것이 의미 있는 일일까? 기업들은 하루에도 엄청나게 개인의 정보를 어떤 방식으론 수집하고 있다. 그러나 그렇게 수집된 정보들 99% 이상은 알지도 못하는 저장 매체에 버려져 있고, 1% 안에서도 선별된 자료만 정보로 취급된다. 1000억 장의 사진 1%라고 해도 10억 장이다. 사람이 하루 8시간씩 숫자를 세어서 1억에 도달하는데 걸리는 시간이 50년은 걸린다고 한다.

간단하게 말해서, 우리가 쇼핑몰에서 옷을 고르듯이 데이터를 걸러내는 일은 물리적으로 불가능하다는 것을 말한다. 이런 물리적으로 불가능한 일을 처리해내는 것이 빅데이터 전문가들이 하는 일이다. 20세기는 생산시설을 갖춘 자본가가 세상의 부를 독점했고, 20세기 후반에서 21세기 초반에는 기술력을 갖춘 기업들이 세상의 부를 독점하고 있다. 많은 IT, 경제, 사회 전문가들은 앞으로 멀지 않아, 부의 기준은 데이터가 될 것이라고 말한다. 유용한 데이터를 많이 가진 것이 강자이며, 자본이 아니라 데이터에 유무에 따라 빈부의 격차가 발생할 것이라고 말이다.

TSMC(대만 반도체 수탁업체)의 실적은 애플과 삼성전자를 훨씬 뛰어넘었다. 반도체 업계에서 1등은 모든 것을 가져가지만, 수십 조를 투자하여도 2등은 적자를 볼 수밖에 없는 구조라고 한다. 2016년 35세의 나이로 대만의 디지털 정무위원(장관)이 된 성전환자 「오드리 탕」은 무엇보다 데이터의 중요성에 관해 역설했다. 대만과 오드리 탕과 TSMC에는 과연 어떤 것이 존재했던 것일까? 캔버스에 그림을 그리는 것은 누구나 할 수 있다. 하지만 가치 있는 그림이 되는 것은 다르다. 빅데이터가 캔버스라면 데이터마이닝 전문가는 명화를 그리는 화가라고 할 수 있겠다.