데이터 분석

고객 니즈가 보이는 데이터 분석 with 파이썬 - 트렌드 분석자가 알려주는 실무 데이터 분석!
정인근 지음 / 길벗 / 2024년 4월

 파이썬으로 크롤링 하는 방법이 필요했고 때마침 좋은 기회에 습득하게 된 책이다. 대부분의 개발 경력을 가진 사람들은 부분적인 라이브러리 사용을 위해서는 굳이 책까지 필요하지는 않은데 난 인터넷 서핑보다는 책을 보는 것이 체계적이고 훨씬 더 편하기도 하고 관련 지식도 얻고 그래서 책을 보는 것을 선호한다. 아무튼 책을 보니… 크롤링하고 스크랩퍼하고 같은 것으로 알고 있었는데 다르구나! 어차피 데이터 수집하는 사람 입장에서는 같지만……

자바 개발자로 일을 하다가 2019년 말을 끝으로 개발자 은퇴하고 파이어족으로 지내면서 투자할 때 사용하려고 여러 가지 프로그램 모듈들을 만들어서 쓰고 있는데 이것이 상업용으로 만든 것이 전혀 아니기에 스탠드 얼론으로 전부 분리되어 있다. 대신에 인터페이스가 필요한 모듈 간에는 필요한 리소스를 공유할 수 있게 웹서비스를 만들었는데, 스크랩퍼로 데이터 수집 후 웹서비스를 연동해서 데이터를 누적할 수 있는 모듈을 빈둥거리다가 지겨우면 만들어야겠다. 침대에서 뒹굴뒹굴 거리 다가 코딩하면 재미가 난다는… 예전 추억도 돋고… 또한 향후 자산운영회사를 만들고 싶은 파이어족이라서… 요즘 블로그에 글 작성도 자동화할 수 있는 API도 일부 제공하는 것으로 알고 있는데 그걸 활용해서 나 자신을 홍보해도 좋을 것 같다는 생각도 들고……

 근데, 책을 보다가… 드는 생각이 파이썬이 데이터를 메모리상에서 핸들링 하는게 상당히 편해 보인다. 보통 DB에 데이터를 넣고 SQL를 이용해서 필요한 데이터만 가져와서 활용을 하는데 파이썬은 DB없이 메모리에서 데이터 집계 등이 충분히 가능해서… 이래서 비전문가들이 파이썬을 선호하는가 하는 생각이 들기도 하고… 아니면 내가 은퇴한 사이에 자바도 파이썬처럼 데이터를 처리하는 라이브러리를 지원하는데 내가 모르고 있는 것인가 하는 생각도 들고 그렇다.

 이 책에서 흥미를 끄는 부분은 자연어 분석인데, 처음에는 이 부분을 목적으로 본 것은 전혀 아니지만 인터넷에서 수집된 텍스트를 즉 정성적인 데이터를 정량화 할 수 있는 부분으로 잘만 활용한다면 엄청 좋아 보인다. 스크랩퍼 만들고 나서 책에서 나온 방법들을 잘 연구해볼 필요가 있겠다.

 난, 10년 넘게 개발자로 생활을 했기 때문에 책에 나온 코드의 난이도는 전혀 문제가 되지 않는다. 방법들의 설명도 이정도면 상당히 친절한 편이다. 아무튼 나에게는 쉽게 보이는데… 서평에 쉽다고 썼다가… 무엇이 쉽냐는 얘기를 들을까봐… 프로그래밍 코드를 처음 보는 사람에게는 배우기 쉽다는 파이썬도 어렵게 느껴진다는 말을 여러 군데서 보긴 했는데… 아무튼… 나에게는~ 두고두고 참고하기에 유용한 책이 될 듯~