최무영의 물리학 강의, 물리학 입문서

최무영 교수의 물리학 강의 - 해학과 재치가 어루러진 생생한 과학이야기
최무영 지음 / 책갈피 / 2008년 12월

Intro

투자를 공부하면서 과학에 흥미가 많이 생겼습니다. 무엇보다 기초적인 과학은 알아야 제대로 투자를 할 수 있겠다는 생각이 들어서 입니다. 또, 과학이 어떻게 세상을 바꾸었는지도 궁금해졌기 때문입니다. 이 도서는 물리학에 대한 입문서입니다. 개괄적으로 과학이 가지는 기술적 측면 즉, 현실 사회를 바꾸는 모습보다는 과학 그 자체에 초점이 맞추어 있습니다.

1부 과학이란 무엇인가?

과학이란 무엇을 말할까요? 과학이란 과학적 사고관 즉, 어떤 주어진 현상을 객관적이고 타당한 근거 아래에 해석할 수 있음을 이야기 합니다. 아주 단순하게 물질이 변화하고 기술이 진보하는 것 만을 의미하지 않습니다. 

단순함으로 세상을 설명하는 방식. 그 속에 관측가능한 논리적 사실들을 바탕으로 설명해내는 것. 이것이 과학적 사고관 이며 한 사회가 얼마나 과학화 되었냐는 이러한 사고관이 얼마나 보편적으로 통용 되고있는지를 통해 설명되어야 합니다.

예를 들면, 과거에는 벼락이 치면 신의 진노라고 생각해 무언가 잘 못 한 것이 없는지 생각했다면, 지금은 전자 간의 상호작용에 의한 것이라고 생각합니다. 그 누구도 비 오는 밤하늘에 용서를 구하지 않습니다. 그만큼 사회가 과학화 되었다는 것이죠.

2부 물질의 구성요소

물리학은 물질을 다루는 학문입니다. 물리학의 목적은 보편적 지식을 탐구함과 동시에 일반이론의 탄생을 목적으로 합니다. 아주 단순한 이론과 가정들을 통해서 어디에서나 통용되는 일반이론을 만드는 것이 물리학의 목적입니다. 그러한 연구도중 나온 것이 물질 그 중에서도 원자론입니다.

물질은 무엇일까요? 우리는 아주 단순하고 작은 물질들의 합으로 이루어져 있습니다. 지구상에 널리 퍼져 있는 작은 입자 단위들이 모여 하나의 생명을 이루고 구성요소를 이룬다는 점은 흥미로운 부분입니다. 

작은 단위들의 합으로 모든 것이 구조되기에 물질에 대한 연구는 과학의 큰 분야 중 하나였습니다. 이러한 연구들을 통해서 발견된 것이 원자 – 중성자 – 쿼크 등이지요.

3부 자연현상과 역학

역학이란, 사물을 움직이는 힘의 원리를 서술하는 것을 말합니다. 뉴턴의 고전역학은 단순한 규칙을 이용해 사물들의 변동을 설명했고, 이를 통해 근대 과학이 성립하였습니다. 양자역학은 미시적 관점 세상에서 더 이상 고전역학이 적용되지 않음을 발견합니다. 단순한 물질들의 이동이 단순화를 통해 예측이 가능한 것이 아니라 단지 확률적으로 추정만 해볼 수 있음을 이야기합니다.

양자역학은 현대 과학의 기반이 되어 반도체 등의 제작에 이용되었습니다. – 반도체는 전기를 흘려 보내는 도체의 성질과 전기가 통하지 않는 부도체의 성질을 동시에 지니고 있습니다. -

4부 혼돈과 질서

질서 란, 주어진 대로 움직이는 것을 혼돈은 주어진 대로 움직이지 않는 무 질서를 이야기 합니다. 흔히, 질서는 좋은 것이고 무질서는 좋지 않은 것으로 생각하지만 그렇지 않습니다. 질서는 단일화를 뜻해 변화에 대한 적응력이 약함을 무질서는 역으로 환경에 대한 높은 적응력을 제공합니다.

지금의 민주사회는 일면 혼돈스러운 부분이 있습니다. 각자가 다른 의견을 가지고 있고, 다른 가치를 추구하고 있으니까요. 반면, 군부독재시절은 가장 질서정연했습니다. 질서라고 하여 반드시 좋은 것이고, 혼돈이라 하여 반드시 나쁜 것은 아니라는 말이죠.

5부 거시현상과 엔트로피

엔트로피는 점점 더 체계가 복잡해진다는 것을 이야기합니다. 우리가 활용 가능한 에너지의 형태에서 점점 더 사용하기 힘든 에너지의 형태로 변화하는 것을 엔트로피가 증가한다고 말합니다. 

6부 우주의 구조와 진화

우주는 굉장히 흥미로운 분야입니다. 우주의 구조에 대한 물음은 많은 호기심을 자극합니다. 우주의 모습은 어떤 형태일까요? 끝이 정해진 부분일까요? 끝이 정해져 있다면, 그 끝은 어떻게 생겼을까요? 아니면, 끝없이 팽창해 지금도 계속 팽창하고 있는 중 일까요? 

우주에 대한 이러한 호기심은 평행우주이론, 빅뱅이론 등을 탄생시켰습니다. 

7부 복잡계와 생명현상

복잡하다는 것은 질서정연 하지도 그렇다고 완전히 무질서 하지도 않은 상태를 이야기 합니다. 질서가 있기도 하고 없기도 한 혼란스러운 상태이지요. 만약, 상태가 복잡한 경우엔 예측이 매우 어렵습니다. 자연현상과 달리 생명현상이 예측이 어려운 것은 이러한 이유입니다. 질서정연해 정해진 값만 나오지도 그렇다고 무질서해 수학적 추론 값에 따른 확률 값만으로 정해지지도 않습니다.

8부 과학과 현대사회

과학과 기술에 있어서 현대의 우리는 과학이 어떻게 하면 현실에 사용되는지 기술적인 측면만을 강조합니다. 한 사회가 과학적이라고 하는 것은 단순히 과학의 기술화가 뛰어난 것뿐 아니라 사고체계도 얼마나 과학적인가에 달려있습니다. 그런 점에서 한국 사회는 다소 미흡한 점들이 많습니다. – 한국사람들의 의사결정 과정이 정말로 과학적이라고 생각하시나요? - 

또, 사회에 팽배해 있는 과학이 모든 것을 해결하리라는 믿음은 일면 무섭고 우려되는 부분입니다. 지금의 뛰어난 과학은 핵폭탄을 탄생시켜 지구를 몇 번이고 폭파시킬 수 있고, 과학의 발달은 인간의 개인화와 비인간화를 불러왔으니 말입니다.

결국, 과학과 기술을 활용하는 것은 인간입니다. 과학은 가치 무관하지 않습니다. 사용자에 따라서 충분히 유용할 수도 파괴적일 수도 있기 때문입니다.

마무리

문과로써 과학에 대한 기본적인 소양이 없다는 것은 때때로 아킬레스 건으로 작용했습니다. 특히나, 기술주에 투자할 때면 기본적인 내용은 알아야 이해가 빨랐으니까요. 투자에 있어 가장 중요한 것 중 하나는 다양한 독서인 듯 합니다. 이 번 도서를 계기로 좀 더 많은 과학 도서들을 읽겠습니다.

사실, 과학에 대한 기본이 부족하다 보니 완벽하게 도서를 이해한 것도 아니고 그렇다 보니 서평도 다소 구멍이 있습니다. 서서히 채워 나가겠습니다.

출처: http://pjw1307.tistory.com/171 [타가의 투자공간]

비즈니스 통계 입문 서평

비즈니스 통계 입문 - 퇴근시간이 빨라지는
우치다 마나부 외 지음, 오시연 옮김 / 시그마북스 / 2012년 2월

책 소개

학교에서 계량 경제학 수업을 듣고 있다. 표본공간에 표본조사에 대한 것들이 너무나 헷갈리던 차에. 언제나 배움에는 기초부터 중시하고 깊게 배우라는 선배의 조언이 떠올라서 학교에서 무작정 통계관련된 도서를 찾다가 읽게 된 책이다. 읽어본 결과는 ? 전후가 확실히 느껴진다. 통계에 대한 기본적인 이해도가 달라졌다....!

책 내용

1. 기술통계. 전체 데이터를 가지고와 평균,분산,정규화의 과정을 통하여서 우리는 데이터를 분석, 해석해 낼 수 있다. 이것이 통계의 시작이다.

2. 추리통계. 우리가 알고싶고 조사하고 싶은 모집단(Parameter)는 너무나 거대하다. 그러므로 우리는 표본을 가지고 전체를 추론한다. 표본평균의 평균이 모평균과 같고, 표준분산이 모분산에서 표본수를 나눈것이라는 논리에서 표본이 커질수록 한 번의 표본추출이 모집단의 평균과 같은 확률이 높아진다는 논리를 이용해서 우리는 표본을 통해 모집단을 추정한다.

3. 다변량 분석. 통계의 꽃이라고 생각하는 부분이다. X의 변화에 따른 Y의 변인 회귀분석을 종류에 따라서 '수량화 1류 이론', '회귀분석(OLS), 컨조인트 분석등을 통해서 미래에 대해서 추론해 볼 수 있다.

요약: 기초통계 입문서이다. 실제 기업생활에서 마케팅부서에서 일한다면 직접 사용할 만한 다양한 기법들에 대해서 손쉽게 설명해 놓았고, 응용이 가능하도록 엑셀 프로그램 사용법도 친절하게 소개하고 있다.

총평

초 강추 도서이다. 처음 도수분포표 작성에서 표본조사. 거기에 회귀분석에 이르는 각각의 단계를 이보다 쉽게 설명할 수 있을까 싶을 정도로 써 놓았다. 나는 고등학교떄 처음 통계를 배울 때 통계에 대한 흥미가 정말 대단했었는데, 부분으로 전체를 추론한다는게 지금도 그렇도 그때당시에도 정말 'Shocking'하고 놀라운 이야기 였기 때문이다. 그러다가 학교에 오고 통계를 접할일이 없다가 계량경제학을 배우고 그러다가 기초의 부족함을 느끽고 읽어보게 된 책이다. 통계의 흐름. 전수조사에서 표본조사로 거기에서 가설검정 그리고 회귀분석에 이르는 각 단계를 정말 손쉽게 설명해 놓은 책이다. 통계에 대해서 문외한이지만 관심이 있는 사람은 꼭 읽어보면 좋을 책이다.

출처: http://pjw1307.tistory.com/95 [타가의 투자공간]

물리학의 혁명적 순간들

물리학의 혁명적 순간들 - 과학혁명을 이끈 물리학자 12명의 삶과 연구
토마스 뷔르케 지음, 유영미 옮김 / 해나무 / 2010년 12월

1.힘에 대한 이해

물리학은 말 그대로 물체가 어떻게 움직이게 되는지에 대해서 탐구하는 학문이다. 무언가의 움직임에 대해서 신의 뜻이 아닌, 뉴턴은 ｀힘｀이라는 개념으로 최초로 정리하게 된다. 갈릴레이에 의해 발견된 물체의 등속운동에서 영감을 받은 뉴턴은 무언가를 끌어당기거나 미는 원리로써의 ｀힘｀으로 물리의 이론을 최초로 정립하고 대 혁신을 이루어냈다.

2.전기에너지

패러데이는 물체의 움직임 이면에는 더 다른것이 있다고 탐구하게 된다. 그는 전자의 움직임으로 자계의 상호작용을 통한 전기에너지를 발견한다. 이로인해, 인류는 새로운 진전을 하는 포문을 얻게 된다.

3. 상대성이론

인간에게 있어서 시간은 주어진 것으로 여겨졌고, 아인슈타인 이전에는 이것은 당연한 것이었다. 아인슈타인은 그러나 시간의 속도에 따라서 물체에 작용하는 힘이 다르다는 것을 발견하였고 이를 수식으로 증명하였다. 시간의 속도에 따라 공간이 팽창혹은 수축하여 빛의 속도이상으로 인간이 움직이게 된다면 물체의 노화는 감소하고 상대적으로 시간은 느리게 감을 증명하였다.

4.핵분열

원자에 대한 체계적 연구를 통해, 원자와 중성자,전자의 구조를 밝히게 되었다. 우라늄과 게르마늄등의 다양한 원소들이 추가적으로 발견되었고, 이들의 배치와 분열에 따른 에너지 방출이 연구되었다. 이로부터 핵 분열 발전고 더불어서 수소폭탄이 개발되었다.

5.빛과 원자 - 양자역학

물리학의 궁극적 추구에 따른 기괴한 학문인 양자역학이 탄생하였다. 물체의 움직임이 원자 또는 파동으로 존재하는 빛의 성질로부터 추론되었다. 인간의 감각적 한계로부터 미세한 원자학에서는 물리학의 법칙이 적용되지 않는 우연성의 법칙이 최초로 제시되었다. 이론적체계로써 정의할 수 없는 원자의 움직임은 모든것이 확률로써 존재한다는 결론에 이르렀다. 양자역학은 더 이상 개별적인 원자들의 움직임으로는 무언가를 파악할 수 없어 덩어리로써 움직이는 힘의 움직임을 분석하면 그 속에서 규칙을 발견한다는 것이다. 양자역학은 덩어리로 움직이는 힘을 파악하는 역학이라는 뜻이다.

6.베타와 감마선

원자의 움직임 중 특이한 것이 발견되었다. 그것은 방사선인데, 물체를 투과하여 어떤 특정부위에만 영향을 준다는 것이다. 물리학은 이것들을 발견하여 치료와 진단에 이용하고 있다.

*감상폄*

물리학은 먼 분야로만 느껴졌었던 대표적인 분야들 중에 하나였었다. 다행히도 이 책을 통하여서 조금은 가까워질 수 있었다. 물론, 배경지식이 부족한 관계로 도서의 내용을 충분히 이해하지는 못 했다는 아쉬움이 남기는 하지만..

 이 도서는 갈릴레이 -> 뉴턴 - > 패러데이 -> 맥스웰 -> 아인슈타인 -> 플랑크 -> 맥스웰 -> 러퍼더드 -> 보어 -> 하이젠베르크 -> 페르미 -> 마이트너에 이르는 물리학자들의 삶과 그들의 혁명적인 발견들에 대해서 나열하고 있다. 과거의 과학자들의 지식에 더해서 그들만이 내놓는 새로운 발견들을 연대기적으로 서술해주고 있다.

사실 혁명적인 순간들에 대해서 서술해주었던 과학적인 지식들에 대해서 비 전공자이자 상대적으로 과학적 지식에 대해서 문외한 문과로써 전부 이해했다고는 말할 수 없다. 그럼에도 도서를 읽으면서 또 이 도서에서 의도했던 대로, 나름 과학자들의 삶이 우리가 생각하는 것만큼 고루하지는 않았으며 스토리텔링을 통해서 나와다른 그 누구보다는 나와 비슷한 사람?들 중에 하나라는 것을 느끼게 된 소중한 경험이 되었다고 생각한다.

인문만큼이나 과학은 위대하다. 내가 그 내용을 비록 잘 알지는 못하여도, 그들의 판단과 연구가 세상을 바꾸었다. 조금은 생소한 물리학에서도 혁명적 순간들이 있었음을 배울 수 있었다.

출처: http://pjw1307.tistory.com/93 [타가의 투자공간]

만들어진 신

만들어진 신 - 신은 과연 인간을 창조했는가?
리처드 도킨스 지음, 이한음 옮김 / 김영사 / 2007년 7월

*감상평*

객관성 : 4 간결성 : 3.5 실용성 : 4 명확성 : 4 교훈성 : 4

리처드 도킨스의 명저 ｀이기적 유전자｀를 읽고나서 감명을 크게 받은 적이 있다. 그런만큼, 많은 기대를 하고 읽었으나, 전작만큼의 강렬한 인상을 주는 도서는 아니였다. 그 이전의 이야기가 간략하게, 인간과 생명은 ｀유전자 단위｀로써 이기적이고, 그것으로써 생명세계를 해석한다면 명쾌하게 모든 것이 해결된다는 논리였다. 만들어진 신에서는 ｀신｀이란, 자연선택의 과정에서 구성원들의 단합을 일으키는 강력한 통치체제였고, 그것의 부산물로써 지금까지 존재한다는 논리이다. 왜 유독 ｀신｀에 대해서만 그 논리적 타당성을 검증하는데에 있어서 남다른 위치를 차지하고 있어야하는지 저자는 이해하지 못 한다고 주장하며, 신학의 논리들을 하나하나 비판한다. 그리고 마지막에는 왜 자신이 종교에 대해서 남달리 비판적인지에 대해서 밝히고, ｀인격신｀이 없이도 인간은 자신의 삶을 풍요롭고 의미있게 살 수 있음을 강조한다. 배타적 합리주의로써 왜 합리주의는 유신론자에 대해서 온건하게 있을 수 없는지 주장한다. 한 마디로 하자면, 합리적 인본주의자가 바라보는 종교와 종교에 대한 이유있는 부정(?)정도의 도서라고 할 수 있다. 읽어볼만한 도서이다. 분량도 상다하다. 조목조목 하나씩의 제목들은 구조적으로 이루어져 있으나, 그 설명방식이나 전개해나가는 방식이 약간 아쉽게 느껴지는 도서였다.

1. 세속에서의 ｀신｀의 위치

세속에서의 ｀신｀의 위치는 유독 남다른 위치를 차지해옸다. 신의 이름이라는 미명아래에서 행해지는 모든 행태들은 철저히 숭배받고 비판을 거부했으며 그에대한 논리적 이유를 들이대는 것에 대해서도 거부당해 왔다. 여기에서의 ｀신｀이란, 인격신을 자처하는 모든 신이다. 기독교,알라,힌두 등등 인간세계에 관여하고 인간과 같이 화를내고 인간세계에 벌을내리고 상을 내리는 존재로써의 신 말이다. 저자는 유독 남달리 종교만이 다른 위상을 차지하는 것은 부당하다고 주장한다.

2. 신 가설 (God Hypothesis)

신의 존재를 증명할 수 없다는 것은 사실이다. 명백한 증거를 제시하기는 어려우며, 이는 증명이 불가능하다. 단, 신이라는 존재가 우주를 창조했다는 것은 마치 빅뱅이론과 같이 하나의 이론과 가설로써 받아들여져야 마땅하다. 그리고 불가지론 즉, 신의 존재가 있는지 없는지에 대해서 알 수 없다고 믿는 사람들에게 하고싶은 우화가 있다. 러셀이 말하길, 하나의 (현미경으로만 확인가능한)미세한 찻 주전자가 토성 주위를 공전하고 있다고 한다. 이는 우리가 확인할 수 있는 내용이 아니다. 허나, 합리적인 사람이라면, 이것을 온전히 믿는 사람은 없을 것이다. 신에대한 가설도 마찬가지이다. 불가지론으로써 우리가 명백히 증명해낼 수 는 없으나, 우리가 알 수있고 확인할 수 있는 증거들은 이것을 충분히 거짓이라고 여길만하다.

3. 신 옹호 입장론

신학 증명. 최고의 원인로써의 ｀신｀. 존재론적으로써의 당위성의 신은 모두 비판받아 마땅한 논리이다. 우리가 있기때문에 신이 있다는 것은 증명될 수 없는 논리이다. 또, 전지와 전능은 동시에 성립할 수 없는 이야기이다. 모든 것을 안다는 것과 모든 것을 행하는 것은 논리적으로 성립되지 못한다. 성서,복음주의를 택하여서 신의 존재를 증명하고자 하는 사람들도 있다. 그러나, 앞과 뒤가 다르고 주어진 족보마저 다른 책을 보면서 이것을 명백한 진리라고 이야기하는 것은 타당성에서 오류가 있다.

4.신이 없는 거의 확실한 이유

생물은 물리학으로 환원되지 않는 존재이다. 진화론이 언뜻 개연성이 없는 이야기처럼 내비쳐질 수 있으나, 긴 진화의 시간을 바라보면서, 하나하나의 짧은 기간들 속에서의 개연성있는 사건과 진화들이 모여서 지금에 이르렀다. 이는 가장 확실한 증거이며 가장 강력한 논거이다.

5.종교의 뿌리

밈하게 의해, 문화적 전승의 최소단위를 밈이라고 한다. 이 중 불로불사와 맹목적 추정등의 특성을 지니고 있는 밈은 종교에 강하게 내재되어 있는데, 이것은 전 인류 공통의 공유하는 문화적 전통이다. 이것들이 종교라는 것에 포장되어서 사회속에서 널리 전승된 것으로 보여진다. 구성원들의 단합과 헌신을 요하는 종교적 통합은 유전자와 밈학에서 생존력을 극대화시켰고, 이러한 특성들은 강하게 살아남았다. 허나, 지금에 와서는 과거의 생존을 보장해주던 부산물일 뿐이다. 

남아메리카 원주민들의 놀라운 것들(현대의 과학기술)을 맹몾적으로 숭배하는 화물숭배사상은 우리에게 종교의 근원에 대한 강한 통찰력을 제공한다. 급속하고, 가변적이며 그 추정이 확실치 않다. 또, 명백한 증거가 존재하지 않으며 무조건적인 복종과 숭배를 요구한다. 예수와 마찬가지로 전설적 인물에 대한 실존여부조차도 알기 어렵다. 

6.우리는 왜 선한가? - 도덕의 뿌리

인간은 자연선택되고 진화하면서, 집단 이익을 택하는 종들이 유리하게끔 진화되어 왔다. 연약한 인가들 사이에서의 나의 이해관계를 넘어서는 연민은 그러한 우리의 뿌리에서 기인한다. 종교없이도 우리는 충분히 선할 수 있고, 타인에게 연민할 수 있다. 이는 인간이 생물학적으로 종족번식의 욕구를 강하게 가지고 있는 것과 마찬가지의 논리이다.

7. 선한책과 변화하는 시대정신(zeigeist)

성서는 시대마다 그 근본적 주장이 바뀌어 왔다. 이는 성서가 바껴온 것이 아니라, 인간의 역사와 문화가 바뀌어 오면서 겪는 시대정신들이 바뀌어 왔기 때문이다. 구약과 신약의 논리는 철저히 다르다. 또 과거의 윤리와 지금의 윤리는 다르다. 우리가 변화했고, 또 이에 맞추어서 도덕도 변화했기 때문이다.

8. 내가 종교에 적대적인 이유

종교는 가장 배타적 이해집단을 상정하고 타집단을 배제 이에대한 강한 배타성으로 이들을 멸종시키고자하는 강한 유인을 가지고 있다. 그에 대한 죄책감도 종교의 이름으로 사라진다. 아무리 온화한 종교와 종교인이라고 할지라도 상황에 따라 얼마든지 종교를 위한 극단적인 행태를 할 수 있다. 그렇기에 ｀나｀(저자)는 종교에 대해서 적대적이다.

9. 종교로부터의 도피 

우리는 아이의 부모가 특정 종교를 가지고 있다는 이유만으로 그 아이를 특정 종교에 예속시킨다. 종교적 선택권에 대해서 아이들에게 주지 않고 선택의 기회를 주지 않는다. 그가 그의 종교적 뿌리를 무조건적으로 세습받을 것이 아니라, 스스로 선택하고 비판적 사고를 할 수 있도록 우리의 교육을 바꾸어야 한다. 기독교계 아이가 아니라, 기독교 부모를 둔 아이가 맞다. 

10. 종교가 우리에게 주는 것들

혹자는 종교가 우리에게 안락과 신성을 준다고 말한다. 그것으로써, 종교의 존재이유를 주장한다. 허나, 거짓이 진실이 될 수는 없으며, 나에게 좋다고 하여서 진리를 바꿀 수는 없는 법이다. 우리가 느끼는 신성 경외감은 과학과 통찰을 통해서도 충분히 느낄 수 있다. 원대한 우주 생명의 진화 창발하는 세계. 이 모든 것들이 우리에게 경외감과 신성을 넣어준다. 인간은 종교없이고 선할 수 있고, 종교없이도 살아갈 수 있다. 그렇기에, 신의 존재는 불필요한 부산물일 뿐이다.

출처: http://pjw1307.tistory.com/92 [타가의 투자공간]

빅데이터를 지배하는 통계의 힘

빅데이터를 지배하는 통계의 힘 : 입문 편 - 통계학이 최강의 학문이다 ㅣ 빅데이터를 지배하는 통계의 힘 시리즈
니시우치 히로무 지음, 신현호 옮김 / 비전비엔피(비전코리아,애플북스) / 2013년 7월

빅데이터는 IT업계의 화두입니다. 메모리 가격의 하락과 더불어서 데이터망의 속도가 빨라짐에 따라 이전과 상상할 수 없을만큼의 데이터가 쌓이고 또 처리가 가능하게 됨에 따라 대두된 용어입니다. 이세돌과의 바둑에서 승리를 거두었던 알파고와 촛불집회의 정확한 인원수를 계측하는 것등은 모두 바로 이 빅데이터가 바탕이 되어 가능했습니다.

이러한 빅데이터를 처리하는 기법은 모두 ‘통계’를 기본으로 합니다. 오늘은 빅데이터를 다룰 수 있는 기본 통계의 지식에 대해서 말해 주는 도서 ‘빅데이터 통계 실무’에 대해서 알아보겠습니다.

통계학의 전제

모든 통계학의 전제는 샘플링입니다. 표본을 추출하고 표본집단을 상정하여 의미 있는 신뢰구간안에 오차범위를 추정하는 것이 모든 통계의 기본입니다. 바로 부분으로 전체를 추정하는 것이죠. 부분으로 전체를 추정하는 것이 가능한 이유가 있습니다. 표본을 임의적으로 추출한다면, 모집단을 모두 전수조사 하는 것과 같은 의미 집단을 가지게 되고 이것을 가지고 통계를 추정하더라도 오차범위내에서 모집단과의 차이가 없다는 것이죠.

바로 여기서 빅데이터의 약점 아닌 약점이 드러납니다. 통계에 있어서 전수조사 즉, 모든 데이터를 다량으로 처리하는 것은 그렇게 큰 의미를 가지는 것이 아니라는 것입니다.

인과관계 도출 – 교차분할 분석

샘플링을 통해서 우리는 인과관계를 도출 해낼 수 있습니다. 수학의 방정식처럼 무언가 요인을 주는 X가 Y와 어떤 관계가 있는지 알아보는 것이죠. 예를 들어서 A와 B 집단을 나눈 뒤 다른 요인들을 통제하고 A집단에는 TV 광고 시청을 그리고 B 집단에는 TV 광고 시청이 없이 실험을 합니다. TV 광고시청이후 인터넷 쇼핑몰 평균 구매액을 추정 조사하여 만약, A집단이 B 집단보다 평균 구매액이 많다면, 우리는 TV광고 시청이 인터넷 쇼핑몰 구매에 영향을 준다는 잠정적 결론을 내릴 수 있다는 것입니다. 이를 교차분할 분석, Cross Section 분석이라고 합니다.

관계 도출의 한계와 보완점

허나 이러한 관계 도출에는 근본적인 한계를 지니고 있습니다. 바로 표본조사에는 오차가 존재한다는 것입니다. 이를 보완하기 위해 카이제곱검정을 실시하게 되고 이를 P값으로 나타냅니다. 이 P값이 0.05보다 낮을 때 우리는 통계적으로 유의미하다고 결론을 내립니다. 바로 표본조사에 의한 약점을 보완하는 것이죠.

임의화를 통한 요인 통제

이전의 A,B 그룹의 인과관계의 조사에서 보았듯이, A,B 그룹을 나누어서 실험했더라도 다른 요인이 영향을 미칠 수 있습니다. A 과 B 그룹의 연령대가 다르다는 등의 여타 요인은 인과관계 분석에서 오류를 내릴 수 있는 여지를 줍니다. 이를 보완하고자 우리는 표본을 모집할 때 있어서 다른 모든 요인이 제거된 랜덤 추출을 합니다. 즉, 어떻게 될지 모르고 뽑은 것이니 A 집단과 B 집단에 모인 사람은 확률적으로 같은 집단이 되는 것이죠. 허나, 실제 사회과학 실험에서는 완벽한 임의화가 없기 때문에 조사자는 항상 주의해야 합니다.

이 도서는 통계학에 관심 있는 분이라면 한 번쯤 읽어볼 만한 도서입니다. 수학적 내용이 많이 다루어 지거나 통계적으로 깊이 있는 내용들이 나오는 것은 아니지만, 기본적으로 통계를 다루거나 접하는 분들이 읽어볼 만합니다.

빅데이터 시대 데이터를 다수를 모으는 것보다는 거기에서 어떤 유의미한 관계가 있는지 추출해내는 것이 더 중요한 것 같습니다. 그럼 오늘도 좋은 하루 되세요 

출처: http://pjw1307.tistory.com/89 [타가의 투자공간]