심지어 미국의 어떤 은행은 대출받는 이유를 글로 쓰게하고 그 글에 등장하는 단어를 분석해 대출 신청자가 돈을 잘 갚을 사람인지, 못 갚을 사람인지를 추정한다. 해당 은행이 발견한 인사이트는 다음과 같다. 대출금을 잘 갚는 사람들은 ‘금리‘, ‘금리 차이‘ 등의 단어를 많이 사용했고, 잘갚지 못하는 사람들은 ‘절대로‘, ‘죽어도‘, ‘반드시‘, ‘하나님께 맹세‘와 같은 단어나 구문들을 많이 사용했다. 약속을 지키지 못하는 사람들이 어떻게라도 대출을 받으려고 과장된 모습을 보인 것이다.
그런데 이와 같은 이미지 데이터와 텍스트 데이터는 사실상 컴퓨터가 처리하기 전에 전부 숫자로 변환된다. 컴퓨터는 이 세상에 있는 모든 단어와 이미지를 숫자로 바꿔준다. 사용된 단어가 의미적으로 가까운 개념의 단어들로 숫자 코드가 유사하다면 추후 분석을 할 때에 유용하게 사용될 수 있다. 예를 들어 ‘아버지‘와 ‘아빠‘에 대응되는 숫자코드는 서로 유사한 값을 갖고, ‘아버지‘와 ‘우주선‘에 대응되는 숫자 코드는 매우 다른 값을 갖는 것이다. - P39
IT의 발전으로 인해 비로소 빅데이터의 저장과 분석이 가능해졌기 때문이다. 데이터의 분산화와 계산의 병렬화라는, 과거에는 불가능하던 일이 가능해진 것이다.
분산화라는 것은 데이터를 한군데에 모아두지 않고 여러 군데에 흩어져 있는 저가의 컴퓨터에 분산 저장하는 것을 말한다. 그것을 클라우드라고 한다. 네이버클라우드나 아이클라우드 등이 모두 클라우드 서비스다. 클라우드라는 것은 나의 데이터가 복사돼서 나도 모르는 어딘가에 저장된다는 것이다. 페이스북에 사진을 한 장 올리면 두 장 더 복사되어 ‘어딘가‘에 있는 클라우드에 저장된다. 복사하는 이유는 사진을 저장하는 컴퓨터가 저가의 불안전한 기계이므로 백업을 하는 것이다. 과거 조선왕조실록을 복사해서 여러 곳에 나누어 보관한 것과 마찬가지 이치다.
병렬화라는 것은 컴퓨터의 뇌에 해당하는 CPU를 100개, 1000개 이상 동시에 일을 시킨다는 것이다. 즉 일을 나눠서 하는 것인데, 예를 들어 1부터 1만까지 더할 때 하나의 CPU가 1부터 100까지 더하면 다른 CPU는 101부터200까지 더한다. 이런 식으로 일을 100대가 나누어서 하면 계산하는 시간을 100분의 1로 단축할 수 있다. 이렇게 병렬화를 함으로써 빅데이터 분석에 드는 시간을 획기적으로 줄이는 것이다. - P40