[독서-738] 통계 101 X 데이터 분석 - 제대로 다진 기초 통계

빅데이터 시대, 올바른 인사이트를 위한 통계 101×데이터 분석 - 데이터는 다뤄도 통계까지 배울 시간은 없었던 당신에게
아베 마사토 지음, 안동현 옮김 / 프리렉 / 2022년 10월

인공지능과 데이터 분석을 진행하다 보면 통계와 관련된 내용이 자주 등장한다. 고등학교 수학에서 배우고 나중에 사회에서 사용할 일이 별로 없을 줄 알았는데 요즘 들어 다양한 곳에 통계에 관한 내용이 나오고 있어 이번 기회에 제대로 알려고 했다. 때마침 데이터는 다룰 수 있어도 통계에 대해 잘 알지 못하는 사람을 위한 책이 나왔다고 해서 반가운 마음에 이 책을 선택했다. 분석과 통계에 관한 이해를 하는데 많은 도움이 되어줄 거라 기대했다.

통계학의 전체 모습을 살펴보고 통계분석의 기초를 다룬다. 고등학교 수학에서 배웠던 내용이라 단어들은 익숙했다. 그림은 컬러로 심플하고 설명은 친절하고 잘 정리되어 있어서 이해가 잘 되었다. 통계를 기반으로 어떻게 데이터를 분석하는지 설명하고 있다. 책 표지나 페이지는 일반 서적처럼 편집되어 있지만 내용은 학술 서적에 가까웠다. 

지난달에 "데이터 분석 준전문가" 국가공인 시험을 응시했는데 "데이터 분석"과목에서 통계분석에 관한 내용이 상당히 비중 있게 나왔다. 고교 수학 이후로 통계에 관련 경험과 지식이 없어 상당히 힘들게 준비한 기억이 난다. 제대로 이해하지 못하고 암기를 하려니 잘 기억나지도 않았다. 이 책에서는 예시를 들어 각각의 개념을 잘 말해주고 있어 이해가 잘 되었다. 통계학에 대해 잘 모르는 사람이 이제 통계를 알아야 할 때 이 책을 보면 좋을 거 같다. 통계를 배우려고 하는 문과생에게도 추천한다.

통계학에 관해 확실한 개념을 잡기 위해 2번 정도는 정독해야겠다. 프리렉 출판사에서 독자의 니즈를 잘 파악한 듯싶다.​

출판사에서 도서 협찬을 받았습니다. 하지만 개인의 주관적인 견해로 작성하였습니다.

[독서-736] 그림으로 배우는 데이터 과학 - 한 눈으로 살펴봄

그림으로 배우는 데이터 과학 ㅣ 그림으로 배우는 시리즈
히사노 료헤이.키와키 타이치 지음, 김성훈 옮김 / 영진.com(영진닷컴) / 2019년 5월

데이터 과학자란 컴퓨팅 기술을 활용해 데이터 수집 및 처리, 통계학이나 머신러닝으로 분석, 의사 결정과 상품 개발까지 이어지는 일련의 흐름을 효과적으로 처리하는 기술을 가진 사람을 말한다. 데이터 과학자에게 필요한 지식과 기술은 수학, 알고리즘, 하드웨어 지식, 소프트웨어 지식, 통계학, 머신러닝, 비지니스, 과제 응용력 등 다양한 분야에 걸쳐 있다.

데이터 과학은 먼저 무엇을 할 것인지 가설을 수립하고 데이터를 수집한다. 그리고 필요한 지식과 요소 기술을 조합해 데이터 분석을 한다. 피드백 정보를 바탕으로 개선하며 원하는 결과가 나올 때까지 PDCA주기를 반복한다. 데이터를 수집하는 방법에는 크게 세 가지로 나눌 수 있는데 1) 공개 데이터, 2) 오픈 API, 3) 웹 콘텐츠(웹 크롤링 또는 웹 스크레이핑)가 있다.

[독서-735] 데이터 분석을 위한 판다스 입문 - Do it! 시리즈

Do it! 데이터 분석을 위한 판다스 입문 ㅣ Do it! 시리즈
다니엘 첸 지음, 김영하 옮김 / 이지스퍼블리싱 / 2018년 10월

일주일간 학습하여 판다스를 학습할 수 있는 서적이다. 아나콘다를 설치하고 주피터 노트북으로 실습을 진행한다.

판다스의 기본적인 기능을 살펴보고 데이터 프레임에 관해 실습하고 matplotlib 라이브러리와 seaborn 라이브러리로 그래프 그리기를 진행한다. 그리고 나서 데이터에 관해 집중적으로 다루는데 데이터를 연결하고 누락값을 처리하고 클린 데이터를 만들기 위한 기법들을 소개한다. 마지막으로 판다스 자료형을 다루고 문자열 처리하는 방법과 apply 메서드를 활용하는 법을 배운다.

Do it! 시리즈는 알고 싶은 기술에 대해 실습하며 빠르게 배울 수 있는 장점이 있어서 좋다.

[100자평] 가볍게 떠먹는 데이터 분석 프로젝트

가볍게 떠먹는 데이터 분석 프로젝트 - 기초 이론과 케이스 스터디로 배우는 데이터 분석의 전 과정
윤영진.황재진 지음 / 제이펍 / 2021년 11월

이론적인 설명과 실무적인 배경이 균형 있게 잘 정리되었습니다. 챕터마다 담겨있는 유용한 정보들이 데이터 분석을 이해하는데 도움이 되었습니다.

[독서-734] 가볍게 떠먹는 데이터 분석 프로젝트 - 기초 이론

가볍게 떠먹는 데이터 분석 프로젝트 - 기초 이론과 케이스 스터디로 배우는 데이터 분석의 전 과정
윤영진.황재진 지음 / 제이펍 / 2021년 11월

데이터 분석으로 데이터에 담긴 필요한 정보를 얻어 합리적인 판단과 올바른 의사결정을 지원한다. 데이터 분석 프로젝트란 데이터를 분석하여 개인 또는 조직이 원하는 결과를 얻기 위한 일련의 과정을 말한다. 아마존은 고객 경험을 이해하고 개선하기 위해 과거의 경험과 본능에 의존하지 않고 데이터를 적극적으로 활용하였다.

​데이터 분석을 수행하기 위해서는 비용과 시간이 소요된다. 데이터에는 실수와 오류가 발생할 수 있기 때문에 그것을 보정하거나 정정하지 않으면 결과값을 신뢰하기 어렵고 프로젝트의 실패로 이어지기 쉽다. 데이터 분석 프로젝트를 체계적으로 관리하면 지식과 경험을 자원으로 축적할 수 있고 개인이나 조직의 분석 역량을 강화할 수 있다. 마케팅, 유통, 제조 분야에서 데이터를 실무로 활용한다.

데이터 분석 프로젝트를 진행하기 위해서 필요한 것들이 있다. 데이터 프로젝트를 책임지는 핵심 인력이나 조직이 따로 구성되어야 한다. 데이터 분석을 진행하기 위해 프로세스가 마련되어야 한다. 데이터 분석을 위한 분석 도구와 시각화 도구를 활용할 수 있는 기술을 갖추어야 한다. 데이터 분석에 앞서 데이터를 체계적으로 잘 축적하여 관리하고 있는지와 축적한 데이터를 어떻게 활용하고 있는지를 확인해야 한다. 

데이터 분석 프로젝트의 6단계 절차

1. 목표 이해 - 환경 이해, 정보 수집, 기대치 설정, 결과물 정의

2. 계획 세우기 - 고려 사항 확인, 일정 계획 수립

3. 데이터 수집 및 전처리 - 사용 가능한 다양한 데이터 확보, 분석 가능한 상태로 처리

4. 데이터 분석 - 설명 분석, 진단 분석, 예측 분석, 처방 분석

5. 검증 및 평가 - 분석 결과 객관적인 검증, 분석 결과 및 프로세스 평가

6. 시각화 및 발표 - 효과적인 정보 표현, 스토리텔링 결합, 의사결정 메시지 전달