빅데이터 사용설명서

빅데이터 사용설명서
김진호 지음 / 메이트북스 / 2022년 3월

정형 데이터 : 바로 통계 분석이 가능한 형태(표)로 정리된 데이터로 열은 항목이고, 행은 저장되는 단위가 된다. 기존의 시스템에 저장된 데이터, 예를 들어 회원 정보, 구매 정보 등은 모두 정형 데이터다. 

반정형 데이터 : 데이터 구조가 일관성이 없는 데이터로 속성을 나타내는 메타 데이터를 갖는다. html , 웹로그, 센서 데이터 드이 대표적이다. 

비정형 데이터 : 형태 자체가 정해지지 않는 텍스트(글),음성, 이미지, 동영상,GPS 등과 같은 데이터로 분석하려면 정형 데이터로 변환해야 한다. (-25-)


고객(회원) 이탈 (통신사, 보험사, 은행, 증권사, 포털 사이트 등)

사기 탐지(보험 청구, 세금환급, 수당 청구, 정부 계약 등)

채무 불이행 (대출,신용칵드, 외상매출 등)

이상탐지 (환자,미숙아,암 조기 진단 등)

고장 탐지 (인공위성, 원자로, 항공기, 선박, 시추선, 공장 설비 등)

기타 (직원 이탈, 학교 중퇴 가능성, 거짓말 여부 탐지 등) 

빅데이터 분석이 이상탐지 목적으로 가장 많이 활용되는 이유는 바로 위 사례를 대부분 인공지능으로 자동화할 수 있기 때문이다. (-116-)


네스트랩스는 2016년 가정용 방법 카메라를 출시했으며, 현재는 40여 종류릐 IoT 스마트홈 기가가 네스트랩스에 연동되어 있다.이제 네스트랩스는 스마트홈의 허브가 되어 미국 대부분 가정에서 무슨 일이 벌어지는지에 대한 데이터를 자동으로 축적하고 있다. (-161-)


업무 관련성 :업무에서 자신을 돋보이게 할 뿐만 아니라 성과도 높일 수 있어야 한다.
차별적 능력 :나만의 차별적 능력이자 브랜드가 될 수 있어야 한다.
투자대비 효율성 :자기 계발을 위한 투자에 비해 그 효과가 훨씬 커야 한다.
비용 :다양한 방법으로 독학이 가능해서 비용이 적게 들어야 한다.
장기적 비전: 비래에도 계속 전문성과 차별성이 확보되는 것이어야 한다.
부수효과 :자기계발 과정에서 창의성이 함양되는 부수효과도 있어야 한다. (-272-)


빅데이터, 사물인터넷, 클라우드, 빅데이터,모바일,이 ICBM 기술은 제4차 산업혁명의 핵심 기술이다. 이 네가지 기술 중에서, 빅데이터 산업은 우리 삶을 변화시키고 있으며,인간의 삶의전면적인 개선과 혁신을 가져온다. 먼저 비정형화된 데이터를 정형화된 데이터로 열과 행으로, 속성에 따라 바꿔 나가면서, 그렇게 수집된 빅데이터는 우리 삶을 편리하게 바꿔 놓았다. 아마존 그룹의 핵심 인프라 중 하나인 아마존 웹서비스 AWS, 무인 쇼팅몰 아마존고가 완성되었고, 제프 베이조스가 세계 최고의 부자가 될 수 있었던 이유다. 


특히 빅데이터 산업은 단 하나의 산업으로 독자생존할 수 있더라도 큰 비전과 이프라가 될 수 있다.우리가 즐겨 쓰는 지도 서비스,GPS 서비스,스마트홈 서비스의 밑바닥에는 빅데이터 산업이 있다. 잡안에 반려동물을 혼자 두어도 안심할 수 있는 이유는 여기에 있다. 내 삶을 관찰할 수 있고,그 관찰된 데이터가 새로운 산업 인프라가 된다. 조선 후기 김정호의 대동여지도가 지금 우리는 빅데이터 산업으로 바뀐 것이다. 그러한 변화 속에서, 구글의 딥마인드 기술을 통해 인간이 해왔던 일들을 대체하게 된다. 우리 사회의 이상징후들을 빅데이터 기술을 통해 예방하거나, 예측할 수 있고, 감지하게 된다. 그거한 것들이 우리의 삶을 과거보다 더 안전하게, 편리하게 바꿔 놓았고 빅데이터 기술들이 우리 삶의 자본이 새어나가는 틈을 메꿔 놓았다. 직장인들이 일를 하지 않고, 비효율적인 상황에 놓여지는 것을 예방하고, 집에 사물인터넷과 빅데이터 산업으로 ,외부의 사람이 침입하는 것을 감지할 수 있다. 내가 운전하는 차가 어디에서,어디로 움직이는지 알게 되면, 지역과 장소에 최적화된 맞춤형 산업을 구축할 수 있다. 이러한 모습들은 단순히 산업전반의 개편 뿐만 아니라,새로운 인프라 가치를 발경할 수 있다. 장소와 시간이 씨줄과 날줄로 엮인 빅데이터 사업은 빅데이터 하나의 가치가 하나의 의미가 되고,그 의미가 우리 삶을 바꿔 놓았다. 아마존 쇼핑에서, 물건이 적제적소에 배달되었고,물류 혁명와 유통 혁명이 완성될 수 있었던 이유는 빅데이터 산업과 알고리즘 인프라가 결합되어, 우리 삶의 라이프 스타일의 개선을 도모하였기 때문이다. 앞으로 인간의 삶에 있어서,노동의 질을 변화시키고, 삶과 일의 조화와 균형을 꾀할 수 있는 이유는 여기에 있다. 그리고 인간은 앞으로 인간의 진화를 인공지능 진화에 반영할 개연성이 있다.