빅데이터 시스템이 궁금하면?

자바와 파이썬으로 만드는 빅데이터 시스템 - 하둡, 카프카, 아파치 스파크로 연결하는 나만의 빅데이터 전처리 파이프라인 구현
황세규 지음 / 제이펍 / 2023년 5월

이번에는 제이펍에서 진행하는 "자바와 파이썬으로 만드는 빅데이터 시스템" 서평단에 선정되어 해당 도서를 읽어보게 되었다.

서평단 신청 동기는 이미 빅데이터라는 단어는 몇 해 전부터 들어봤기 때문에 생소하진 않았지만 어떻게 해당 빅데이터 다루는지 궁금해지던터라 이 도서를 보면 조금이라도 쉽게 이해할 수 있지 않을까 싶어서 신청하게 되었다.

결론부터 말해본다면

시간관계상 일단 모든 파트를 읽고 리뷰를 쓰지는 못했지만 전체적인 구성 및 내용을 보고 느낀 결론은 "빅데이터 시스템에 대한 개념 이해와 시스템을 구축하기 위한 전체적인 큰 그림을 접해볼 수 있을 것 같다" 였다.

이 도서의 구성은

빅데이터 처리를 위한 전체적인 프로세스(구성)를 보여주고 각각의 파트에서 필요한 환경을 구성하고 해당 환경을 제어하는 샘플을 설명하고 있다.

그래서 물 흐르듯이 개념 이해와 개발 환경 구성 및 실습을 진행하게 하는 수순이기에 지루하지 않고 재미있게 느껴지는게 장점 같았다.

또한 실습 환경 구성에 있어서도 2가지 개발 환경을 고려하여 안내하고 있는 부분이 좋았다.

설명하고 있는 개발 환경은 Windows 11(Java 언어)과 Ubuntu 22.04(Python 언어) 환경에서 진행할 수 있도록 각각 설명하고 있다. Windows 11 환경이 없다면 Ubuntu 22.04 OS를 무료로 다운받아 설치하여 진행할 수 있기에 실습하는데는 문제가 없어 보였다.

참고로 통합 개발 환경(IDE)는 Eclipse를 사용하기 때문에 양쪽 OS 모두에서 동일하게 사용할 수 있다.

위 전체 관계도 이미지에 나와 있는 각 파트별로 필요한 프로그램을 설치하고 환경 설정을 진행한 후 각 파트별 개념을 설명한다.

그리고 언어별(Java, Pyhon)로 제어를 위한 API(클래스, 메소드 등)들을 설명하고 예제들을 실습하는 구성으로 모든 파트들이 진행된다.

여기까지 진행함에 있어서 쉘이나 커맨드라인 명령어에 익숙하지 않으면 조금은 어려움이 있을지도 모르겠다.

이 책의 특이점은

보통의 책들과는 다르게 TIP, 기억하기, 알아두기, 중요포인트와 같은 주석 개념의 내용들이 구성(편집)되어 있지 않다라는 점이다.

타 IT 출판사 책들을 많이봐서 그런지 해당 부분이 특이점으로 다가왔다.

아마도 이 책의 구성상 환경 설정을 하고 순차적으로 실습을 진행하기 때문에 일 것 같다.

그래서 그런 부분보다는 순차적으로 잘 따라와야하기 때문에 각 설명마다 넘버링이 엄청나게 되어있었다.

정리하면

해당 도서를 읽으면서 빅데이터 처리를 위한 필요한 프로그램들이 생각보다 많았고 설정해야 하는 것도 복잡하다는 것을 느꼈다. 그래도 이 도서에서는 정말 친절하게 캡쳐이미지를 통해서 설치부터 설정 화면까지 구성되어 있어서 큰 무리 없이 따라할 수 있었던 것 같다. 

이 도서는 입문서이기 때문에 해당 도서에 나와있는 것이 빅데이터 처리에 전부라고 생각되진 않는다.

그렇기에 나처럼 개념이 없거나 부족하신 분 그리고 전체적인 구성이 궁금하신 분들이 읽어보면 좋은 시작점이 될 수 있을 것 같다.

- 해당 도서는 제이펍 서평단의 활동의 일환으로 작성되었습니다. -