-
-
빅데이터 사용설명서
김진호 지음 / 메이트북스 / 2022년 3월
평점 :
빅데이터나 알고리즘이라는 단어를 접한지는 꽤 되었고 여러 서적들에서 관련된 설명들을 읽었지만 이해가 잘 되질 않았다. 보이지 않는 곳에서 세상에 많은 영향을 미치는 빅데이터 알고리즘이 어떻게 사용이 되고 있으며 활용할 수 있는지에 대한 호기심이 일었다.
알고리즘도 인간이 만든 것이지만 인간이 할 수 없는 범위의 일을 순식간에 해내기도 한다. 1장에서는 빅데이터 시대를 이해하고 정확히 무엇을 빅데이터라고 하며 그 특징은 무엇인가에 대해서 살펴본다. 빅데이터는 규모와 다양성, 속도, 정확성, 가치라는 5가지 특징이 있어야 빅데이터라고 할 수 있다.
![](https://image.aladin.co.kr/Community/paper/2022/0318/pimg_7018171753347737.jpg)
일반적으로 데이터라고 하면 바로 통계분석이 가능한 형태로 정리된, 우리가 일반적으로 정리해서 기존 시스템에 저장된 데이터, 회사의 사무실 컴퓨터의 데이터라고 생각하면 될만한 정형데이터와 html,웹록, 센서 데이터등의 구조나 일관성이 없는 데이터인 반정형 데이터, 형태가 정해지지 않은 텍스트나 음성, 이미지 동영상과 같이 데이터로 분석하려면 정형 데이터로 변환해야 하는 비정형 데이터로 나뉜다고 한다.
빅데이터는 기존에 기업이나 조직에서 정보를 체계화해 보관하던 데이터베이스의 범위 보다 훨씬 큰 데이터를 이야기 하기 때문에 기존의 방법으로는 수집, 저장, 검색, 분석등이 어려운 데이터가 빅데이터이다. 도저히 인간이 관리할 수 없고, 컴퓨터가 수학에서 유례된 알고리즘 시스템으로수집 저장 검색 분석을 한다고 보면 될 것이다.
빅데이터의 예측이나 새로운 기회, 데이터 분석과 창의성에 대해서 이야기 하는 4,5,6 장의 이야기도 흥미로웠다. 예측은 은근히 잘 들어맞기도 하는데, 사람 전문가보다 나은것 같다. 그렇다고 그런 예측을 많이 신뢰할 수는 없다. 미래는 사람도 컴퓨터도 모르는 법이니까.
이런 빅데이터를 활용하지 않는 기업은 빅데이터를 활용하는 기업에 뒤쳐질 수 있기 때문에 경쟁우위를 높이기 위해서라도 빅데이터를 활용해야 한다고 저자는 말한다. 새로운 시대에 적응 하지 못하면 도태된다는 진화의 법칙일 것이다. 진화는 아주 천천히 진행되어왔으나 요즘 시대에는 그 변화 속도가 너무 빨라 정신을 차리기 힘들다. 그렇기 때문에 기본적인 개념 정도는 알고 있어야 한다는 생각이 든다. 기본조차 모르면 순식간에 저 멀리 뒤쳐지고 말 것이다.
SNS나 인터넷 공개 글, 개인의 쇼핑 기록이나 조회 기록등이 데이터의 소스라고 할 수 있는데 기업은 이를 이용해서 소비자의 수요에 걸맞는 상품 정보를 제공하게 되는 것이다. 게임에 전혀 관심이 없는 사람에게 게임 광고를 한다거나, 책에 관심없는 사람에게 신작 소설을 홍보한다면 하나 마나 이므로 관심사에 맞는 범주의 상품을 소개를 해야 효과가 있을 것이다.
넷플릭스도 시청자가 주로 시청하는 장르의 작품을 자동으로 추천하곤 하는데, 개인적으로는 이게 별로 잘 들어맞지는 않았다. 워낙 다양한 장르를 시청하면서도 배우나 작품성 등 기호가 맞지 않으면 잘 보지 않기 때문이다. 한국 드라마를 잘 보지 않지만 좋아하는 배우나 잘만든 작품을 가끔 보는데 계속 별 관심도 없는 한국 드라마를 추천해주는 식이기 때문이다. 보통 직접 검색해서 볼 컨텐츠를 선정하지 알고리즘이 추천해줘서 보는 경우는 드물었다.
점도 지적하고는 있긴 하지만 빅데이터를 우호적으로 보는 시각의 책이다.
개인이 자유 선택할 수 있는 범위의 것들은 존중되어야 하는데, 날이 갈수록 그렇지 못한 것 같은 생각이 든다. 물론 공공의 질서를 위해서 지켜야 할 것들은 지켜져야 하지만, 사회생활을 하다보면 그것을 구분하기 애매한 부분을 포함해서 그럴 필요가 없는 부분 까지 강요를 받는 듯한 느낌이 자주 있다. 분별력이 필요한 부분인데 인간이기 때문에 자주 그런 선을 넘어선다. 개인의 영역을 구분 못하는 사람이나 집단이 힘을 가지면 어떻게 되는지 우리는 역사를 통해서 수없이 봐왔다. 같은 실수를 반복하는게 인간이지만 조금씩 나아지는 것도 인간이다. 빅데이터는 이런 다수나 집단의 논리에 더 힘을 실어주는게 아닌가 하는 우려도 든다. 필요한 부분은 잘 활용하되 무조건 적인 신뢰는 피해야 한다고 생각된다.