블록데이터 시대가 도래한다

블록데이터 혁명 - 빅데이터·AI·블록체인, 제4차 산업혁명시대의 본질을 관통하는 전략과 솔루션
빅데이터 전략 연구소 지음, 이지은 옮김, 이영환 감수 / 앵글북스 / 2018년 12월

블록데이터는 빅데이터 시대의 패러다임 전환을 가져올 뿐 아니라 새로운 지식 체계와 가치 체계, 생활방식에 대한 인식의 변화와 탄생을 주도하며 인류의 정치와 경제, 문화, 사회 전반에 걸쳐 큰 영향을 미칠 것이다. 우리는 이런 변화와 영향을 빅데이터 시대의 패러다임 혁명이라고 부른다. - '들어가는 말' 중에서

빅데이터 시대의 본격적 등장

책의 저자 빅데이터 전략 연구소는 2015년 4월에 설립되었다. 이 연구소는 베이징 시 과학기술위원회와 구이양 시 인민정부가 공동으로 설립한 전문화, 국제화, 개방형 연구 플랫폼으로, 국내외 빅데이터 관련 전문 연구가, 관리자와 정책 의사결정권자와 함께 독립적이고 객관적이며, 공정하고 지속적인 과학 정신과 혁신적 방법을 통해 전 세계 빅데이터 발전 추세와 중국의 빅데이터 발전 현황을 소개하고 있다.

또한 블록데이터의 혁신적 이론과 발전, 응용을 주요 방향으로 삼아 빅데이터의 발전 전략과 전체적 추이 등을 연구하고, 개방적이면서도 협조적인 플랫폼, 전문 연구 플랫폼, 국제화 협력 교류 플랫폼의 구축, 국제적으로 큰 영향력을 지닌 중국의 빅데이터 발전을 위한 새로운 싱크탱크 등에 대한 문제를 심층적으로 다루고 있다.

연구소는 매년 IT업계 빅3인 BAT(알리바바, 바이두, 텐센트)의 최고 관리층이 모두 운집하는 전국 규모의 행사인 BIG DATA ANNUAL SUMMIT MEETING을 주최하는 기관으로서, 지난 10월 항저우에서 클라우드 컴퓨팅, AI, 데이터베이스, VR, 기술금융 등의 거대한 토픽들을 다루는 세계 최대의 과학 기술 행사인 윈치 컴퓨팅 컨퍼런스를 개최했다. 연구소가 출판한 <블록데이터: 빅데이터 시대의 진정한 탄생의 상징>, 그리고 '빅데이터 지수' 와 '데이터 케이지'의 응용 및 실천에 대한 소개는 연구소가 거둔 혁신적 성과로서 전 세계적으로 큰 영향력을 행사하고 있다.

이 책은 총 10장으로 구성되었는데, 제1~3장은 블록데이터의 개념과 정의를 설명하고 기본적 속성과 본질을 풀이했으며, 제4~5장에서는 블록데이터의 개념 모델, 활성 데이터'학學'을 중심으로 블록데이터의 형성 메커니즘과 운영 규칙을 집중적으로 다룬다. 그리고 제6~9장에서는 블록데이터의 산업 체인과 서비스 체인, 공공경영 체인에 대해 소개하며, 마지막으로 제10장에서는 블록데이터의 보안 문제를 집중적으로 언급하고 있다.

세계 경제의 패권을 추구하는 중국은 인공지능AI, 빅데이터, 사물인터넷IoT 등을 바탕으로 기술경쟁력을 키워 가며 '중국 제조 2025'라는 국가전략을 달성해가고 있다. 책은 그동안 가려져 있던 중국 내부의 빅데이터시대 전략을 공개했는데, 중국 기업들이 산업 구조조정의 핵심 원동력으로 삼고 있는 '블록데이터'(여러 개의 데이터를 블록단위로 묶은 것)를 중심으로 개념, 모델, 가치사슬, 조직 등을 설명하고 있다.

블록데이터의 개념과 정의

빅데이터란 디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말한다. 빅데이터 시대가 진화할수록 인류의 데이터 축적 능력이 데이터 처리 능력을 크게 앞지르면서 정크(쓰레기) 데이터가 범람하고 데이터의 옥석을 가리는 일이 점점 어려워질 전망이다.

이런 문제점들을 해결하려는 블록데이터는 높은 연관성을 지닌 각종 데이터가 특정한 플랫폼에서 꾸준히 통합된 결과물을 말한다. 인간과의 상호작용을 통해 만들어진 데이터 가치사슬이다. 블록데이터는 인과因果성이 아니라 연관성을 강조한다. 높은 연관성을 지닌 데이터의 가치는 일반적 의미의 빅데이터보다 높다는 것. 저자들은 빅데이터에 비해 블록데이터가 산업 발전, 공공서비스, 사회 관리에 더 큰 역할을 할 수 있다고 주장한다. 즉 블록데이터의 가치는 현실 세계에 존재하는 여러 가지 어려운 문제를 해결하는 데 있다는 것이다.

과학 기술이 탄생시킨 사회 변혁인 블록데이터는 우리의 사고방식과 사회생활 방식을 바꾸고, 세상에 존재하는 물질과 의식의 구성을 뒤엎을 것이다. 따라서, 우리의 세계관과 가치관, 방법론을 모조리 바꿀 블록데이터에 집중하고 연구하고 기회를 잡아야 할 것이다. 왜냐하면 우리들은 이미 블록데이터의 세상에서 살아가고 있기 때문이다.

빅데이터에서 블록데이터로의 전환

기존의 빅테이터에서 노출된 정보의 고립, 정보의 독점 현상을 타파하려면 '블록데이터'라는 새로운 비전이 필요하다. 블록데이터는 복잡계 과학에서 파생된 새로운 사고 패러다임으로, 데이터화된 체계적 사고다. 이런 점에서 블록데이터는 인과성이 아니라 연관성을 강조하며 데이터 패턴에 대한 연구를 통해 단조로운 인과적 규칙을 보완해 합리주의와 경험주의에 입각한 데이터 통합을 이룬다.

빅데이터는 개방과 공유를 강조하지만 공유에 따른 어려움, 심각한 독점 현상, 미약한 통합능력, 낮은 응용 가치, 높은 보안 리스크 등의 문제에 발목이 잡혀 있다. 높은 연관성을 지닌 데이터가 특정 플랫폼에서 꾸준히 집결되어 있다는 점에서 블록데이터는 데이터가 집결된 결과이자 그 과정이라고 할 수 있다. 블록데이터는 데이터 공간의 확충, 공간 데이터의 구성, 조직 과정의 통합이라는 특징과 함께 새로운 데이터 수집과 기존 데이터가 결합한 후 파생되는 데이터의 탄생이라는 현상을 수반한다.

블록데이터의 통합은 고도의 연관성을 지닌 데이터를 하나로 모으는 작업으로, 데이터의 가치연관성이 블록데이터의 구성을 결정한다. 이 과정은 단순히 데이터를 쌓는 것이 아니라 공간 네트워크 상태로 분포되며 네트워크와 내재된 로직 등에 따라 규칙을 작동시킨다. 블록데이터는 자체적 플랫폼 외에도 높은 연관성과 응집력, 높은 가치밀도, 개방성 등의 특징을 지닌다. 이런 경향은 블록데이터가 보다 높고, 보다 많은 가치를 '발굴'하도록 이끌어주고, 빅데이터가 스트립 데이터와 블록데이터의 통합적 발전이라는 새로운 단계로 진입하도록 힘을 보탤 것이다.

데이터 사회학

오래토록 인류사가 발전하는 과정에서 인간은 계속해서 사물과의 관계를 고민하고 탐구해왔다. 고대 그리스의 철학자 피타고라스는 "숫자는 만물의 기원이다"라고 설명하면서 데이터를 통해 세계를 관찰하기 위해선 인간과 사물의 관계를 반드시 정의해야 한다고 주장했다. 빅데이터가 인간의 사고를 이용해 데이터를 관찰하고 해석한다면, 블록데이터는 데이터의 사고를 이용해 인간의 행위 법칙을 관찰하고 해석한다. 

인간의 속성과 정적 데이터

인간의 능동성과 행위 데이터

인가늬 초월성과 의식 데이터

블록데이터는 빅데이터에 비해 입체적이며 다차원적이라는 특성을 지닌다. 블록데이터의 다차원성을 가장 먼저 드러내는 곳이 바로 영역의 통합Non-boundary이다. 블록데이터는 정부 부처, 상업 물류, 금융 보험, 기업, 커뮤니티, 영상, 엔터테인먼트, 센서 설비 등 각 분야의 데이터를 한데 아우르며 더 큰 규모의 유기적 데이터를 형성한다. 유기체에서 각 데이터가 '경계'를 유지하는 데 반해 블록데이터의 내부 구조에서는 사전에 설정된 경계나 제한 등이 존재하지 않는다. 즉 데이터와 데이터사이에 '벽'이 존재하지만 데이터 사이의 흐름을 막지 않으므로 데이터 에너지끼리 정보를 빠르게 전달할 수 있다.

블록데이터 시대의 새로운 변화

머지않은 미래, 어쩌면 10년 후에 블록데이터 이론을 기반으로 삼아 풍요로운 물질 생활과 상상하기 힘들 정도로 발전한 기술이 구현되면 인류사회의 생산과 생활, 사고 모델에 커다란 변화가 나타날 것이다. 그리고 세계는 장기적으로 거대한 데이터 혁명을 맞이할 것이다. 모든 사물은 계량화되고 기록되고 분석되며 사건, 과학 기술, 생산, 생활 발전 추이 등은 연구를 통해 예측되고 판단될 것이다.

중국의 '2025 디지털 만리장성'은 이미 시작되었다