가볍게 떠먹는 데이터 분석 프로젝트

가볍게 떠먹는 데이터 분석 프로젝트 - 기초 이론과 케이스 스터디로 배우는 데이터 분석의 전 과정
윤영진.황재진 지음 / 제이펍 / 2021년 11월

요즘은 그야말로 정보의 홍수, 데이터의 홍수 시대에 살고 있다.

손안의 컴퓨터라 불리는 자그마한 스마트폰만 실행하면 즉시 전 세계의 방대한 데이터에 접근할 수가 있고, 한편으로는 스마트폰을 이용하는 우리의 기록(Log) 전부를 수집, 저장하여 여러 기업의 주요 데이터로 활용하고 있다.

이런 빅 데이터(Big Data)의 시대에 이 수많은 데이터에 파묻혀 정신을 못 차리게 되면 낙오하는 것이고, 데이터를 잘 수집, 정리, 분석할 수 있다면 개인의 경쟁력을 보다 극대화할 수 있을 것이다.

"데이터 분석은 여러 데이터를 수집, 정리, 변환하여 유용한 정보를 발견하여 결론을 내리고, 사용자의 의사결정을 지원하는 총체적인 과정이다"

회사에서의 주요 업무는 매주 나오는 품질 관련 데이터를 수집, 정리, 분석하여 보고서를 작성하는 일이다.

보고서라는 것이 알다시피 단순히 데이터의 나열만으로 국한되어서는 안된다.

책에서는 얘기하고 있는 것처럼 수집, 정리된 데이터를 잘 분석하여 이 데이터가 어떤 의미를 가지고 있는지 그래서 어떤 의사 결정의 주요 판단 근거가 될 수 있는 통찰력을 제시할 수 있어야만 한다.

이를 통해서 생산성, 효율성을 높일 수 있을 뿐만 아니라 현시점에서의 수준을 파악하여 어떤 리스크를 가지고 있는지를 사전에 식별해 낼 수가 있다.

데이터 분석은 크게 6단계를 거친다.

1) 목표 이해하기

2) 계획 세우기

3) 데이터 수집 및 전처리하기

4) 데이터 분석하기

5) 검증 및 평가하기

6) 시각화 및 발표하기

데이터 분석 업무가 일상화되면서 매 단계가 중요함을 앎에도 불구하고 몇몇 단계를 건너 뛰는 경우가 발생하게 된다.

목표 이해하기와 계획 세우기의 단계를 상당 부분 축소시키고, 검증 및 평가하기 단계도 큰 비중을 두지 않고 진행하는 것이다.

단순히 데이터를 수집하여, 획일화된 분석을 통해 정형화된 틀 속에서의 시각화를 이용한 보고서 작성이 루틴하게 돌아가게 된다. 업무가 익숙해지면서 효율화가 되었다고 볼 수도 있겠지만 스스로 냉정히 평가해 보면 보고서 발행 그 이상, 그 이하도 아닌 것 같다.

이런 식의 데이터 분석을 통해서는 절대 통찰력을 줄 수는 없을 것이다. 내가 지금 이 데이터를 왜 분석해야 하는지 방향성과 목표를 분명히 하고, 그에 맞춰 철저한 계획을 세우는 것에서 시작하지 않는다면 유의미한 데이터를 추출하는 것은 결코 쉬운 일이 아니라 생각한다.

시대가 발전하며 데이터 분석 도구도 다양하게 등장하고 있다.

입사 초만 하더라도 데이터 분석을 한다 하면 무조건 엑셀만 사용했었는데, 물론 엑셀이 아직까지 유용한 툴임은 분명하지만 요즘 다양한 툴을 사용하면서 격세지감을 느끼곤 한다.

프로그래밍 언어인 파이썬을 활용해서는 시간이 오래 걸리는 단순 반복 작업을 자동화시켜 효율성을 극대화할 수 있으며, Power BI 툴 같은 경우는 모아진 데이터를 기반으로 대시보드, 차트, 그래프 등 데이터 시각화를 통해 효과적인 의사 전달 수단으로 활용되고 있다.

예전에는 엑셀의 고수가 곧 업무의 고수였던 시절이었다면 요즘은 여러 툴을 잘 다루는 사람이 업무의 고수라 불린다. 일일이 한 땀, 한 땀 수동으로 데이터를 분석하고 시각화하는 방법은 요즘과 같은 빅 데이터 시대와는 맞지 않는 형태라 할 수 있겠다.

데이터 분석을 잘 마무리했으면 마지막 단계가 바로 시각화이다.

개인적으로 시각화 단계가 보고서의 화룡점정이 아닐까 생각한다. 아무리 데이터 분석을 잘 했어도 보고서의 스토리 라인이 매끄럽지 않거나 가독성이 떨어지는 방식으로 작성돼 있다면 이해관계자들이 이해하기 어려울 뿐만 아니라 큰 임팩트를 줄 수가 없다.

시각화 작업을 잘 하기 위해 나름 고심을 하지만 쉽지 않은 일임을 매번 절감한다. 툴을 잘 사용하거나 잘 시각화된 보고서를 샘플로 해서 조금씩 역량을 쌓는 길밖에 없을 것이다.

책 제목에서 유추할 수 있듯이 이 책이 데이터 분석에 대한 심화 내용까지 다루고 있지는 않지만 그동안 현업을 진행하면서 놓치거나 간과한 부분들을 되짚어 볼 수 있어서 의미가 있었다. 역시나 무엇을 잘하기 위해서는 정공법을 택해야 하는 것이고 꾸준히 실력을 배양해야 함을 다시 한번 느낄 수가 있었다.