빅 데이터가 뭐예요?

빅 데이터가 뭐예요? ㅣ 미래를 여는 키워드 7
반병현 지음, 김민준 그림 / 풀빛 / 2026년 2월

요즘처럼 미래에 대해 걱정하던 때가 있었을까. 당장 오늘 먹을 것을 구하고, 비바람과 맹수로부터 안전한 쉼터를 찾는 일이 전부였던 시대를 지나 지금 우리는 아직 오지 않은 미래를 위해 살고 있다. 저자의 말처럼 미래는 무한한 가능성의 영역이기 때문에 기대와 걱정이 성장의 동력이 될 수도 있다. 반면에 통제할 수 없는 불확실성은 분명 두려움의 대상이 되어 우리를 주저앉히곤 한다.

더 재미있는 사실 하나 알려 줄까? 실은, 조상님들이 천체를 관측하여 절기를 알아 내는 과정이나, 현대의 기상청이 일기 예보를 만드는 과정은 모두 '빅 데이터' 분석이라는 동일한 작업이란다! 요즘은 빅 데이터를 활용해 인간보다 더 똑똑한 인공 지능을 만들고 있기도 하지!

빅데이터가 뭐예요? 5쪽

빅 데이터가 뭐냐고 묻는다면 빅 데이터는 빅 데이터라고 대답할 수밖에 없다.

100년 전에는 데이터라고 해 봐야 숫자나 글자 정도였지만 요즘은 사진, 그림, 동영상은 물론 메시지나 SNS 게시물 등 스마트폰으로 주고받거나 열어 볼 수 있는 모든 정보가 데이터다. 전 세계 인구를 생각하면 얼마나 큰 데이터일지 상상이 안 된다.

흥미롭게도 빅 데이터의 출발은 "게임에서 항상 이기고 싶다!"는 욕심이었다. 동서고금을 막론하고 법 없이도 살 사람들이 있는가 하면 목적을 위해 수단과 방법을 가리지 않는 부류도 넘쳐난다. 그들의 잔머리는 어떻게 하면 의심받지 않고 더 많이 이길 수 있을까, 그렇지, 항상 이기기보다는 적당한 타이밍을 봐서 한 번씩 져 주기도 하자로 이어졌다. 그 머리를 좋은 쪽으로 썼으면 우리 모두가 잘 먹고 잘 살 수 있을 텐데.

이러한 확률은 일기 예보에도 적용된다. 비가 내리기 전에는 습도가 올라가고, 기압이 떨어진다. 습기가 높고 저기압이 형성되면 얇은 피막으로 된 날개를 가진 곤충들은 날개가 무거워져서 비행이 어려워진다. 때문에 새들도 굳이 사냥을 위해 높이 날아다닐 필요가 없다. 관찰력이 뛰어난 우리의 조상님들은 비가 오기 전 새들이 낮게 날아다니는 경우가 많다는 점을 경험으로 터득했을 것이다.

빅 데이터 분석은 식재료를 요리하는 과정과 비슷한 부분이 많아. 자연에서 채집한 신선한 식재료는 그 자체로도 맛있는 음식이지만, 훌륭한 요리사의 손을 거치면 훨씬 더 맛도 좋아지고, 영양소도 더 풍부해지기 마련이다.

빅 데이터가 뭐예요?, 56쪽

언제나 먹는 것과 비유하면 이해하기가 수월해진다. 그러니까 빅 데이터가 오이, 당근, 사과, 호박 같은 식재료고, 요리하는 방법으로는 '외삽', '내삽', '분류', '회귀' 등이 있다.

그 중 외삽은 '무언가를 바깥에 끼워 넣는다'는 뜻이다. 여기서 '무언가'는 내가 알고 있는 것, '바깥'은 내가 모르는 것을 의미한다. 신학을 전공한 목사였던 베이즈는 말년에 확률론에 관심을 가지고 여러 가지 연구를 했다. 그의 업적 중에는 '내일'의 비가 올 확률과 같이, 많은 횟수를 반복하지 못하는 상황에서 확률을 구하는 방법에 대한 것도 있었다. '베이즈 정리'를 통해서도 알 수 있듯 우리가 이미 아는 정보들을 잘 조합하면 아직 모르는 미래를 예측할 수 있다. 이런 연구 덕분에 확률은 '빈도'의 영역에서 '신뢰도'의 영역으로 나아갈 수 있었다.

전 세계가 혼란스럽다. 인류는 이미 전쟁에 대한 빅 데이터를 충분히 가지고 있다. 100년을 살 수 있다는 기대와 걱정에 대한 대비도 중요하지만, 지금 당장 고통받고 있는 사람을 구하는 게 먼저다. 1993년 마이클 잭슨이 슈퍼볼 경기에서 말하고 싶었던 것, 지키고 싶었던 것이 무엇인지 잊지 말아야겠다.