빅데이터를 지배하는 통계의 힘

빅데이터를 지배하는 통계의 힘 : 입문 편 - 통계학이 최강의 학문이다 ㅣ 빅데이터를 지배하는 통계의 힘 시리즈
니시우치 히로무 지음, 신현호 옮김 / 비전비엔피(비전코리아,애플북스) / 2013년 7월

빅데이터는 IT업계의 화두입니다. 메모리 가격의 하락과 더불어서 데이터망의 속도가 빨라짐에 따라 이전과 상상할 수 없을만큼의 데이터가 쌓이고 또 처리가 가능하게 됨에 따라 대두된 용어입니다. 이세돌과의 바둑에서 승리를 거두었던 알파고와 촛불집회의 정확한 인원수를 계측하는 것등은 모두 바로 이 빅데이터가 바탕이 되어 가능했습니다.

이러한 빅데이터를 처리하는 기법은 모두 ‘통계’를 기본으로 합니다. 오늘은 빅데이터를 다룰 수 있는 기본 통계의 지식에 대해서 말해 주는 도서 ‘빅데이터 통계 실무’에 대해서 알아보겠습니다.

통계학의 전제

모든 통계학의 전제는 샘플링입니다. 표본을 추출하고 표본집단을 상정하여 의미 있는 신뢰구간안에 오차범위를 추정하는 것이 모든 통계의 기본입니다. 바로 부분으로 전체를 추정하는 것이죠. 부분으로 전체를 추정하는 것이 가능한 이유가 있습니다. 표본을 임의적으로 추출한다면, 모집단을 모두 전수조사 하는 것과 같은 의미 집단을 가지게 되고 이것을 가지고 통계를 추정하더라도 오차범위내에서 모집단과의 차이가 없다는 것이죠.

바로 여기서 빅데이터의 약점 아닌 약점이 드러납니다. 통계에 있어서 전수조사 즉, 모든 데이터를 다량으로 처리하는 것은 그렇게 큰 의미를 가지는 것이 아니라는 것입니다.

인과관계 도출 – 교차분할 분석

샘플링을 통해서 우리는 인과관계를 도출 해낼 수 있습니다. 수학의 방정식처럼 무언가 요인을 주는 X가 Y와 어떤 관계가 있는지 알아보는 것이죠. 예를 들어서 A와 B 집단을 나눈 뒤 다른 요인들을 통제하고 A집단에는 TV 광고 시청을 그리고 B 집단에는 TV 광고 시청이 없이 실험을 합니다. TV 광고시청이후 인터넷 쇼핑몰 평균 구매액을 추정 조사하여 만약, A집단이 B 집단보다 평균 구매액이 많다면, 우리는 TV광고 시청이 인터넷 쇼핑몰 구매에 영향을 준다는 잠정적 결론을 내릴 수 있다는 것입니다. 이를 교차분할 분석, Cross Section 분석이라고 합니다.

관계 도출의 한계와 보완점

허나 이러한 관계 도출에는 근본적인 한계를 지니고 있습니다. 바로 표본조사에는 오차가 존재한다는 것입니다. 이를 보완하기 위해 카이제곱검정을 실시하게 되고 이를 P값으로 나타냅니다. 이 P값이 0.05보다 낮을 때 우리는 통계적으로 유의미하다고 결론을 내립니다. 바로 표본조사에 의한 약점을 보완하는 것이죠.

임의화를 통한 요인 통제

이전의 A,B 그룹의 인과관계의 조사에서 보았듯이, A,B 그룹을 나누어서 실험했더라도 다른 요인이 영향을 미칠 수 있습니다. A 과 B 그룹의 연령대가 다르다는 등의 여타 요인은 인과관계 분석에서 오류를 내릴 수 있는 여지를 줍니다. 이를 보완하고자 우리는 표본을 모집할 때 있어서 다른 모든 요인이 제거된 랜덤 추출을 합니다. 즉, 어떻게 될지 모르고 뽑은 것이니 A 집단과 B 집단에 모인 사람은 확률적으로 같은 집단이 되는 것이죠. 허나, 실제 사회과학 실험에서는 완벽한 임의화가 없기 때문에 조사자는 항상 주의해야 합니다.

이 도서는 통계학에 관심 있는 분이라면 한 번쯤 읽어볼 만한 도서입니다. 수학적 내용이 많이 다루어 지거나 통계적으로 깊이 있는 내용들이 나오는 것은 아니지만, 기본적으로 통계를 다루거나 접하는 분들이 읽어볼 만합니다.

빅데이터 시대 데이터를 다수를 모으는 것보다는 거기에서 어떤 유의미한 관계가 있는지 추출해내는 것이 더 중요한 것 같습니다. 그럼 오늘도 좋은 하루 되세요 

출처: http://pjw1307.tistory.com/89 [타가의 투자공간]

IT 거의 모든 것의 역사

거의 모든 IT의 역사 - 세상의 패러다임을 바꾼 위대한 혁명 ㅣ 거의 모든 IT의 역사 시리즈 1
정지훈 지음 / 메디치미디어 / 2010년 12월

IT는 가장 흥미로운 분야 중 하나입니다. IT를 통해서 이전과는 다른 새로운 세계가 열렸으며, 우리는 이전과는 다른 세계에 살고있는 것이 분명하기 때문입니다. 오늘은 이 IT의 역사를 이끈 세 거인 Apple, Google, Micro soft의 역사를 다룬 IT 거의 모든 것의 역사에 대해서 서평을 써보겠습니다.

Microsoft

개인 PC의 시대는 Apple이 먼저 그 포문을 열었습니다. Apple2를 통하여서 일반인들도 거대한 컴퓨터 덩어리가 아닌 PC(Personal Computer)라는 것에 눈을 뜨게 되었습니다. 허나, 맥북은 기본적으로 폐쇄성을 바탕으로 발달했습니다. 당시 하드웨어의 거물인 IBM과 이에 소프트웨어를 공급하게 된 Microsoft에 의해서 점차 그 점유율을 잃어가게 됩니다. 애플의 포문에 이어서 IT 공룡 Micro soft는 IBM의 등을 타고 날아올랐습니다.

그리고 시간이 지나, IBM은 크나큰 실수를 했음을 깨닫습니다. 아무리 좋은 하드웨어라도 그것을 구동하는 적절한 소프트웨어가 없이는 고철 덩어리에 불과했으며 IBM과 함께 날아오른 Micro soft는 word, excel등의 오피스 프로그램과 windows의 개방성과 호환성으로 전 세계 PC 시장을 점령한 공룡이 됩니다. Micro soft는 독점법으로 기소도 당했으나, 소프트웨어의 통일로 유저의 편익을 증가시킨 것으로 무혐의 처리됩니다.

Apple

Apple은 apple2를 통해서 개인 PC의 시대를 열었습니다. Apple은 이후 i-phone을 통하여 스마트폰의 시대도 열었습니다. 이를 토대로 SNS 기멉인 페이스북, 인스타그램, 트위터등의 기업들이 성장하게 되는 토대를 마련하였습니다 가장 비밀스러운 프로젝트를 통해서 혁신을 주도한 애플은 개인 PC의 시대에 있어서도 스마트폰의 시대에 있어서도 새로운 시대의 포문을 연 기업이라고 할 수 있습니다.

독자적인 software와 기존의 기능성 위주의 전자제품에서 소유하고 싶은 전자제품을 만듦으로써 혁신의 아이콘이자 미국을 대표하는 기업으로 성장하였습니다. 허나, 처음 PC시장을 열었음에도 완벽성을 위한 폐쇄성이 성장의 한계를 지었듯 최근 스마트폰 시장에 있어서도 비슷한 양상을 보이고 있습니다. 그리고 애플을 주도한 거인 스티븐 잡스의 사후 주춤하는 듯한 모습을 보이고 있습니다.

Google

Google은 인터넷을 통한 검색시장의 성장을 통해 성장하게 되었습니다. Google은 다른 여타 다른 검색엔진들에 비해서 높은 정확도를 보이는 검색으로 IT의 거물이 되었는데요. 영어 단어에는 구글링이라는 단어가 있을 정도로 구글은 검색의 대명사가 되었습니다. 검색시장은 본래 시장성이 없어 거의 존폐위기에 몰렸었으나, 애드센스라는 광고시스템을 달고 날개를 단듯이 성장하게 되었습니다. 구글은 검색시장 뿐 아니라 딥러닝을 이용한 자율주행자동차등 A.I. 소프트웨어에 주력하는 모습을 보입니다.

끝마치며

IT를 주도하는 세 거물들은 모두 미국으로부터 유래되었다는 공통점이 있는데요. IT기업은 무엇보다 선점효과가 크다는 점에서 미국의 주도권은 앞으로도 지속될 것으로 예상됩니다. 그럼, 오늘은 IT 거의 모든 것의 역사 서평이었습니다.

출처: http://pjw1307.tistory.com/84 [타가의 투자공간]

이기적 유전자

이기적 유전자 - 2010년 전면개정판
리처드 도킨스 지음, 홍영남.이상임 옮김 / 을유문화사 / 2010년 8월

내 인생의 도서

살면서 감명 깊게 읽었던 도서들 중의 한권이다. 꿈을 가지고 살아야한다는 말들에 별로 힘이 나지 않고, 인간의 이기심을 철저히 신봉하고 있을 때 읽었다. 인간의 본성이 궁금했고 나름의 통찰이 필요했었다. 그리고 얻었다.

삶의 무목적성

우리는 우리의 삶을 선택하지 않았다. 누가 무엇이라고 하더라도 우리는 주어졌다. 그리고 살아간다. 꿈이 있냐는 물음에 없는게 당연하다. 우린 주어졌으므로 생물학에서는 우리를 어떻게 볼까? 주어진 우리는 무슨 생물학적인 목적을 띄고 이 땅에 태어났을까? 답은 인간은 종족의 번식 그러니까 자손을 생산하여 살아가기 위해 존재한다. 모든 생은 살아가고 그 자신의 유전자를 다음세대에 전달하기 위해서 살아간다. 우리는 개체단위가 아닌, 유전자를 다음세대에 전달하기 위해서 존재한다.

유전자 단위로 이기적이라는 것

인간의 행위가 유전자 단위로 이기적이라면 인간의 대부분의 행위가 이해된다. 과거 777부대가 저질렀던 만행 중 하나는 갓난아이와 어머니를 독가스실에 넣은 뒤 아래부터 차근차근 가스를 채우는 실험이 있었다. 어머니는 아이를 살리기 위해 필사적이었으나, 끝내 아이를 타고 올라서 환풍구에 숨을 쉬었다. 유전자 단위로 미래 번성의 기대값이 높은 아이를 살리기 위해 구하다가 마지막 순간엔 생존확률이 더 높은 모체를 보전코자 한 것이다.

남성은 대개 다수의 이성과 잠자리를 가지고자 하는 경향이 큰 반면 여성은 덜하다. 유전적 생존의 법칙으로 각기 다른 생존의 방식을 구사했기 때문이다. 위기의 상황 예를 들면, 전쟁,재난 등에서 일반적으로 남성의 사망률이 높다. 종족의 보존으로 보자면 적은 남성 수로도 다시 개체 수를 채울 수 있기 때문이다. 대개의 경우 위험은 남성이 부담한다.

의미는 만드는 것이다.

이기적 유전자에 의하면, 인간은 유전자를 나르는 기계일 뿐이다. 인간은 그렇게 태어난 것이다. 우리에게 어떤 숭고한 무엇을 붙이더라도 인간은 동물의 하나로써 생욕을 가지고 태어난 것이다.

허나, 여기에 덧붙이고 싶다. 인간이 동물과 다른 결정적인 것이 있다. 생각하고 의미를 부여할 줄 안다는 것이다. 단순한 돌멩이 하나도 성스러워질 수 있다. 우리는 놓여져 있다. 그러나, 그 이상을 생각하고 바라볼 수 있다. 우리가 그렇게 ‘태어난 것’과 그렇게 ‘살아가는 것’은 다르다. 태어나는 것은 주어졌지만, 살아가는 것은 당신이 선택할 수 있다.

출처: http://pjw1307.tistory.com/82 [타가의 투자공간]

생명은 기계가 될 것인가? - 다시 만들어진 신

다시 만들어진 신 - 카우프만, 신성의 재발명을 제안하다 ㅣ 사이언스 클래식 22
스튜어트 앨런 카우프만 지음, 김명남 옮김 / 사이언스북스 / 2012년 7월

1. 환원주의에 반하다.

- 기존의 생각과 다르게 생물학은 물리학으로 환원되지 않는다. 단순한 원자들의 합과 구성일지라도 생물은 스스로 환경에 적응하고 새로운 것을 만들어내는 ｀창발｀적인 존재이다. 이는 물리학의 법칙을 거스르지 않으나, 그것이 곧 모든 것을 설명해내지는 못 한다.

2. 인식,존재의 창발성

- 심장,경제현상 등등 우리가 일상에서 만나는 것들은 생성원리와 기능들에 있어서 환원주의만으로 설명되지 못 한다. 각 부분들은 처음부터 그 목적이 정해져 있던 것은 아니며, 시뮬레이션 되지 않았다. 그러나, 이들은 존재하며 기존에는 몰랐으나, 미래에 꾸준히 영향을 미친다.

3. 생물에서의 창발성

- 자발+비자발 행위 : 행위자로써의 생물. 목적적 행위 ｀의도｀를 가지고 자발적 + 비자발적 행위를 수행할 수 있는 존재이다. 물리학에서의 한 사이클을 스스로 수행해낼 수 있는 존재이다. 또한, 생물은 가치를 지닌 존재이다. 이러한 행위들은 환원주의를 벗어난 행위로써 당구대의 당구공이 다시 제자리로 돌아오는 행위와 같다. 즉, 행위의 목적이 존재하며, 이를 수행하며 추구하는 가치를 지닌 존재이다.

4. 자기 자생적 질서

- 생명체의 세포생성의 정보를 지닌 DNA. 이들은 RNA로 전사되는 과정에서 무수한 가짓 수를 가진다. 그럼에도 이들의 정보는 일정한 순환과정과 정해진 틀을 가지도록 진화하는데 이것은 환원주의로 설명되지 않는다. 생명 스스로 질서를 만드는 것이다. 이는 다시말하자면 스스로 주어진 법칙의 가정들을 만드는 것이다.

5. 물리법칙안에서의 진화. 비에드고르적 우주.

- 생명은 물리학의 법칙을 벗어나지 않는다. 그럼에도 물리법칙을 벗어나는 자발성을 지니고 있다. 물리학은 가정안에서 성립한다. 그러나, 자생적으로 질서를 만드는 생물의 행위를 설명할 수 없고 부분적 속성들이 모여 새로운 것을 이루거나 전혀 다르게 진화하는 ｀전적응｀을 이해하지도 설명하지도 못 한다. 알고리듬적 영역으로 연역적 법칙을 추론하지도 확률,귀납적인 표본공간도 제약,파악 할 수 없다. 미래는 진화,생명이 적응하는 것이다. 이를 저자는 우리가 이성을 넘어서는 ｀신성｀이라고 보았다.

6. 사회,경제에서의 창발성

- 사회는 전적응한다. 이에 따른 경제적 상품들도 진화,변화한다. 이것은 합리적 기대, 일반균형 , 게임이론이 지극히 단기적인 예정범위 안에서만 이루어질 수 있음을 이야기 한다. 경제는 스스로 새로운 상품이 발명되고, ｀창조적｀으로 파괴된다.

7. 마음과 뇌

- 인간의 마음과 뇌는 알고리듬을 벗어나는 의식적 주체이다. 알고리듬만으로 현재의 발전을 설명할 수 없다. 처음 탄생부터 모든 가능성이 존재한 채로 태어났다는 것은 상상할 수 없다. 인간은 창의성을 지니고 새로운 것을 만들고 적응,자연선택되는 존재이다. 미래는 생명이 접하고 적응하는 것이다.

8. 두 문화는 없다.

- 지금의 인문학과 자연과학의 분화는 없다. 뉴턴 이후, 인만학,시학,미학은 1류 지식처럼만 여겨졌다. 이제는 분화된 두 지식을 합치어야 한다. 오로지 생명만이 가지는 적응성과 미. 과학으로 설명되지 않는 지혜가 인문학 속에 있다. ｀사람은 누구인가?｀ 그 누구도 사람과 같은 로봇을 만들 수 없었다. 왜냐하면 인간은 컴퓨터처럼 알고리듬만으로 제작되는 것이 아니기 때문이다.

9. 부러진 뼈와 지구윤리

- 전 지구적 문명의 도래했다. 인간은 과거와 다른 세계에 직면하고 있다. 그럼에도 권력을 추구하고 타인에게 폭력을 행사하고자 하는 원시적 본성은 변함이 없다. 유전자 단위로 이기적인 인간에게 도덕이란 무엇일까? 생물학 속에 그 답이 있다. 진화의 결과로 생겨난 ｀집단선택｀은 인간이 스스로 도덕성을 추구하도록 진화했음을 보여주는 결과이다.

도덕에 대한 수 많은 논리에 하벼서 지구적 윤리를 만들어야 한다. 저자는 이에 대해 생명에 대한 신성을 느끼는 ｀전 지구적 윤리｀를 제안한다. 흄의 말처럼 존재가 당위를 규정하지는 못 한다. 그러나, 타인에 연민하고 다양성을 추구하는 인간은 지구적 윤리가 있다면 지금의 문제들을 해결해나갈 수 있을 것이다.

10. 신성의 재 발명

- 인간의 신에 대한 경외는 본성인 것처럼 보인다. 신성이 미개함으로 대체되고, 우리의 신성도 바뀌고 시대에 따라서 진화되어 왔다. 이젠 인격신과 유일신이 아닌, 자연적인 범신론적인 생명에 대한 경외로써의 신의 재발명이 필요하고 인류 전체가 이러한 공통된 신념을 가질 필요가 있다.

신은 존재하고 창발하되 미래를 개척해나가는 주체 그 자신이다. 그러나, 존재가 당위를 규정하지는 못 하기에 저자는 이에 초대한다고 말하였다.

내용이 심오하며, 간결하기 어렵다. 막상 정리하고 나니까 무슨 내용인지는 파악되나, 처음 읽을 때에는 많이 헷갈렸었다. 내용 자체가 생소한 편이기 때문일 것이다. 읽으면서 지금의 자동화에 대해서 다시금 생각해보게 되었다. 컴퓨터를 통한 거의 모든 것의 ｀자동화｀를 맞이할 줄 알았는데, 아직은 먼 미래인 것처럼 여겨진다. 물론, 2007년도에 나온 도서이니, 지금은 많이 달라졌을 수도 있겠지.. 저자는 생물과 비생물의 차이를 창발하며 진취적인 존재임을 나타내고 있다. 이는 뉴턴이후 우리를 지배해 온 환원주의와 물리법칙 알고리듬으로 설명되지 못 하는 존재임을 말한다. 컴퓨터가 아무리 계산을 빠르게 할 수 있어도 새로운 공식을 만들지도 변화된 환경에 적응하지는 못 한다. 그저, 주어진 정보를 명령대로 처리해낼 뿐.. 저자는 이것에서 놀라움과 경외를 느낀다고 하였다. 또한, 이를 ｀신성｀이라고 표현하였다. 

로봇과 자동화가 대중화 됨에 따라서 우리가 지금 추구해나가는 방향인 ｀창조경제｀ 에 대해서 이해할 수 있게 되었다. 창조성,진취성,사고는 인간만이 가지는 특성이기 때문이다. 모든 경우의 수가 계산가능한 체스에서 컴퓨터가 인간이 이겼다고 하여서 컴퓨터가 인간을 대체할 수 있음을 의미하는 것은 아니다. 복잡한 현실속에서 컴퓨터는 인간을 보조하는 도구일 뿐 그 이상의 의미를 지니지는 못 한다.

그런 의미에서 생명은 놀라우며 찬탄해마지 않는 존재이다. 

출처: http://pjw1307.tistory.com/62 [타가의 투자공간]