실무에서 Kafka를 사용하기 위해 공부하기 좋은 책실무에서 Kafka를 사용하기 위해 공부하기 좋은 책

실전 아파치 카프카 - 애플리케이션 개발부터 파이프라인, 사물인터넷 데이터 허브 구축까지
사사키 도루 외 지음, 정인식 옮김, 시모가키 도루 외 감수 / 한빛미디어 / 2020년 2월

이번 달에 보게 된 책은

"실전 아파치 카프카(APACHE KAFKA) - 애플리케이션 개발부터 파이프라인, 사물인터넷 데이터 허브 구축까지"

개인적으로 KAFKA를 알게된 계기는 MLOps를 처음 공부할 때에

Streaming Data를 수집 및 배포하는 용도의 도구로 처음 접하게 되었었다.

Machine Learning에서 대용량의 데이터 특히 지속적으로 제공되는 straming data를 처리할 때,

앞단에 구축하게 되는 시스템으로 가장 추천하는 도구가 바로 Kafka였었다.

책에서 제일 처음 보여주는 그림을 보면, KAFKA의 용도를 정확히 알 수 있다.

Kafka는 대량의 데이터를 높은 처리량과 실시간으로 처리하기 위한 도구로써 다음의 4가지 특징이 있다.

  - 확장성 : 여러 대의 서버 구성 가능

  - 영속성 : 수신한 데이터를 디스크에 유지 가능

  - 유연성 : 다양한 도구와 연계 가능

  - 신뢰성 : 메시지 전달 보증

Apache Kafka 사이트에 가면, 위와 같은 홍보 문구(?)를 볼 수 있다.

Fortune 100대 기업의 80% 이상에서 사용될 정도로 신뢰성 있고 인기 있는 잘나가는 도구라는 의미이다.

이렇게 멋진 도구에 대해서 멋지게 잘 소개해주고 있는 책이 바로 이 책이다.

실전 아파치 카프카 -  사사키 도루 외 지음, 정인식 옮김, 시모가키 도루 외 감수/한빛미디어

조금 아쉬운 점은 이 책은 2018년도에 출시된 2.0 버전을 바탕으로 작성되었다는 것인데,

현재 시점 최신 버전은 아직 2.7 이다.

책이 출간된 것도 20년 2월이니까.... 1년이 조금 넘게 된 시점에서 이 책을 보게 되었지만...

Kafka라는 도구 특성상 엄청난 변화가 있는 것은 아니기에 Kafka에 대해서 공부하기에 별 무리는 없을 것으로 본다.

Kafka에 대한 hitstory에 대해서도 친절히 설명해주고 있다.

설치나 애플리케이션 구성 등에 대해서도 자세하게 친절하게 잘 되어있다.

실제 사례에 대해서도 보기 좋게 재미있게 잘 정리되어 있다.

실무에서 Kafka를 사용해야하는 분들에게 많은 도움이 될 수 있는 책이다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

PyTorch로 GAN 직접 사용해보기

GAN 첫걸음 - 파이토치 신경망 입문부터 연예인 얼굴 생성까지
타리크 라시드 지음, 고락윤 옮김 / 한빛미디어 / 2021년 3월

[ GAN is ... ]

AI가 만든 얼굴이라던지, 오바마 전미국대통령의 fake 영상이라던지 하는 뉴스를 들어보았을 것이다.

이런 것들을 만들어낼 수 있는 가장 대표적인 기술적 배경이 바로 GAN 이다.

아래 영상을 보면 바로 어떤 것인지 알 수 있다.

GAN은 "Generative Adversarial Network"의 줄임말인데, 풀어보면 아래와 같이 말할 수 있다.

• Generative: 생성(Generation) 모델을 이용하여, 진짜 데이터와 같이
• Adversarial: 두 개의 모델을 적대적(Adversarial)으로 경쟁시키며 발전 시키는
• Network: 인공신경망(Artificial Neural Network)

"GAN"은 라벨(정답)이 없는 데이터를 가지고 학습을 하는 비지도학습의 한 유형이다.

GAN에 대한 가장 대표적인 설명은 "위조지폐범"과 "경찰"이다.

위조지폐범(생성모델)은 진짜와 구분이 어렵도록 위조지폐(가짜 데이터)를 계속 생성하고,

경찰(분류모델)은 진짜와 가짜를 계속 분류하면서 50%의 확률 정도가 될 때까지 계속 진행을 하는 방식이다.

[ This book is ... ]

서두가 길었다 ^^

GAN에 대해서 알려주는 괜찮은 책이 이번에 한빛미디어에서 출간되었다.

책의 제목은 "GAN 첫걸음" !!!

예쁜 보라색으로 깔끔한 폰트로 제목이 적혀있는 표지를 갖고 있는 조금 작은 크기(신국판 규격 정도?!)의 책이다.

거기에다가 지금 이 글을 적고 있는 시점에서보면 나온지 얼마 안되는 따끈따끈한 책이다.

이 책의 지은이는 "타리크 라시드"이다.

"타리크 라시드"는 이 책에 앞서서 다른 책을 출간했었다.

신경망 첫걸음 -  타리크 라시드 지음, 송교석 옮김/한빛미디어

어떻게 보면 위 책의 다음 2권과 같은 위치에 있는 것이 바로 이 책 "GAN 첫걸음"인 것 같다.

물론, "신경망 첫걸음"을 보지 않고 바로 "GAN 첫걸음"을 본다고 하여 문제가 되지는 않는다.

책에 쓰여져 있는 것처럼, 기초부터 알고 싶은 사람을 배려해서 쓰여져 있기 때문이다.

하지만, 아무리 그래도 최소한 Machine Learning에 대한 기초적인 지식이 있으면 조금 더 읽기 수월할 것이고

"신경망 첫걸음"을 먼저 읽었다면 더더욱 읽고 이해하기 좋을 것이다.

[ Prerequisite ]

이 책은 기본적으로

"구글 코랩(Google Colab)" 환경에서 "파이토치(PyTorch)" 라이브러리를 이용하여 GAN을 구현한다.

친절하게도 이 책에서는 "Chapter1 파이토치 기본"에서

기본적인 실습 환경과 배경 지식에 대해서 친절하게 설명을 해주고 있다.

그러다가 PyTorch의 기본 데이터 형태인 텐서(tensor)에 대해서까지 Part1에서 설명을 해준다.

[ practice ]

"Chapter2 파이토치로 만드는 첫 번째 신경망"에서는

유명한 MNIST 데이터셋을 이용해 PyTorch로 신경망을 만드는 과정을 꼼곰히 설명해주고 있다.

"Chapter3 성능 향상 기법"에서는 조금 더 성능을 높이기 위한

손실함수, 활성화 함수, 옵티마이저, 정규화 등에 대해서 설명한다.

"Chapter4 CUDA 기초"에서는 AI 하면 떠오르는 GPU를

어떻게 사용할 수 있는지에 대해서 친절하게 설명해준다.

여기까지가 "Part1 파이토치와 신경망 기초"에 해당한다.

[ lesson ]

본격적인 GAN에 대한 학습은 "Part2 튼튼한 GAN 만들기"로 분류되어 있는

"Chapter5 GAN 개념"부터 "Chapter8 얼굴 이미지"까지로 이루어져 있고,

"Part3 흥미로운 GAN 기법"에서는 조금 더 고급스러운(?)

'Chapter9 합성곱 GAN', 'Chapter10 조건부 GAN'에 대해서 설명해주고 있다.

[ My Opinion is ... ]

아직 이 책의 끝까지 공부해보지는 못했지만 지금까지 공부하면서 느낀 점을 적어보면...

책이 나름 친절하고 쉽게 설명해주고자 노력했지만,

그렇다고 해서 Machine Learning이 뭔지도 공부하지 않은 상태에서 접하기에는 어려울 수 밖에 없다.

또한 책에서 심심찮게 보이는 "신경망 첫걸음에서 뭐뭐를 해봤었다"와 같이

이 책을 보기 전에 "신경망 철걸음"을 보고와야 되는 것처럼 되어 있는 점은 조금 아쉬웠다.

하지만,

최소한 "Machine Learning"에 대해서 조금이라도 공부를 해보신 분이라면

GAN에 대해서 공부하기 위해 이 책을 추천할 수 있을 것 같다.

어려운 수학 공식에 대한 설명 보다는

구글 코랩에서 PyTorch를 직접 구현해보며 공부할 수 있다는 점은 정말 좋았다.

직접 해보면서 공부하는 것을 좋아하시는 분에게는 정말 정말 적극 추천한다!!!

머신러닝을 실무에 적용하고 싶다면...

비즈니스 머신러닝 - 아마존 세이지메이커와 주피터를 활용한 빠르고 효과적인 머신러닝 활용법
더그 허전.리처드 니콜 지음, 김정민 외 옮김 / 한빛미디어 / 2020년 12월

머신러닝에 대한 이론 공부만 해서는 실무에서 적용할 때 무쓸모가 될 수도 있기에 😥

실무에 적용을 어떻게 해야하는지에 대해서 살펴보고자 찾던 중 찾게 된 도서 !! 😍

"Machine Learning for Business"

왠지 멋지게 생긴 선장 같은 아저씨가 더욱 더 눈길을 잡아끌었다.

하지만, 보험약관 처럼 놓친 것이 있었으니...

"아마존 세이지메이커와 주피터를 활용한 빠르고 효과적인 머신러닝 활용법"

어쩐지 추천의 글에 있는 2분 모두 AWS코리아 소속이시더라니... 😁

뭐 하지만, 회사에서도 퍼블릭 클라우드 사용량을 보면 대부분 AWS를 쓰고 있고,

글로벌 트렌드를 봐도 뭐 AWS가 대세이기는하니 ...

이번 기회에 말로만 듣던 세이지메이커 한 번 써보지 뭐 !!! 😑

우선 AWS 가입부터 해야하는데,

친절하게도 책의 뒷 부분에 있는 '부록'에

"AWS 가입"부터 파일 저장을 위한 S3 설정 및 사용방법, 세이지메이커 설정 등에 대해서 친절히 알려준다.

그런데, AWS 서비스 쓰려면 돈드는 것 아닌가!?

본래 처음 가입하면 1년간 어느 정도 사용할 수 있는 무료 정책이 있다지만

나는 이미 무료 1년이 지났는데... 그래서 홈페이지 찾아가봤다.

리전을 서울로 바꾸지는 말자.

시간당 요금이 여기보다 비싸다.

그런데, 실제 사용하면 얼마쯤 나온다는 것일까?

2시간 정도 쓰면 500원쯤 지불한다는거네... 음... 나의 똑똑해짐을 위해 이 정도는 투자해줘도 될 것 같다. 😎

뭐, 기본 환경 구축은 이 정도로 하고...

책의 내용을 살펴보자.

일반적인 회사의 운영 영역을 시나리오로 해서 구성이 되어있다.

각 시나리오에 따라 데이터가 제공되고

그 데이터를 모델에 적합한 형태로 가공도 하고

학습/검증/테스트 용도에 맞게 데이터셋 분리도 해보고

시나리오와 데이터에 맞는 머신러닝 알고리즘을 선택해서 학습도 한다.

심지어 AWS 비용 절감을 위한 관리 방법까지도 알려준다.

다만, 이렇게 실제 머신러닝을 비즈니스에 적용하기 위한 과정을

AWS SageMaker를 이용해서 적용하는 과정에 대해서 설명을 하다보니

머신러닝에 대해서는 많은 분량으로 설명해주지는 않는다.

하지만 이 부분은 절대 이 책의 단점이 아니다!!!

이 책은 분명히 타이틀에 적어놓은 것 처럼

"비즈니스 머신러닝"에 대한 책이다!!!

또한,

"아마존 세이지메이커와 주피터를 활용한 빠르고 효과적인 머신러닝 활용법"에 대해서 알려주는 책이다.

그리고, 이 책의 경우 원서에는 없는 설명도 포함되어 있다.

IT 서적의 안타까운 부분인데... 대상 시스템이 업그레이드가 되어버려 버전이 맞지 않게 되는 것이다.

하지만, 친절하게도 버전을 맞출 수 있는 방법을 가이드해주고 있다.

머신러닝에 대해서 기본적인 사항들을 공부하신 분들에게 추천하고픈 책이다.

전체적으로 어떤 흐름으로 비즈니스에 적용하는지 살펴보기에 충분히 괜찮은 책이다.

데이터 수집부터 분석, 종목선정, 평가까지

R을 이용한 퀀트 투자 포트폴리오 만들기 - 데이터 크롤링 및 분석, 퀀트 전략을 활용한 투자 종목 선정까지, 개정판
이현열 지음 / 제이펍 / 2021년 2월

요즘에는 새로운 언어가 너무 쏟아져서 굳이 R까지 배워야 하나 싶은 마음에 지금까지 R 언어와 관련된 것은 피해왔다.
Machine Learning 초창기에는 R이 유행하였지만, 지금은 솔직히 Python으로 못할게 없기에 더더욱... 😁

그래서 "R을 이용한"이라는 말이 붙어있어서 이 책 또한 살짝 피하고 싶었지만,
퀀트 투자를 위해 중요한 요소인 데이터 수집에 대해서 자세히 나온 책이라 하여 나름 과감하게 도전해보기로 하였다.

전체적으로 13개의 Chapter가 있는데,
거의 반을 차지하는 6개의 Chapter가 데이터 수집과 관련된 내용이고
2개 챕터가 데이터 정리 및 분석과 관련한 내용이다.
그 다음 9장부터 본격적으로 종목 선정하고 포트폴리오 구성하고 평가하는 것들을 설명해주고 있다.

이 책은 R 언어를 기본적으로 사용할 줄 아는 사람들을 대상으로 하고 있다.
그래서 안타깝게도 실습 환경 구축을 위한 과정 등을 설명해주지 않는다. 😥

저자는 독자들을 위해서 다음과 같은 온라인 지원을 해주고 있다.

- 웹페이지: hyunyulhenry.github.io/quant_cookbook

- GitHub: github.com/hyunyulhenry/quant_cookbook

- Blog: henryquant.blogspot.com

특히, 웹페이지의 경우에는 (책이 안팔리지 않을까 우려되어 알려드리기가 좀 조심스럽지만 ^^)

책 내용을 그대로 제공해주고 있다. 우와아~~~~ 😻

심지어, 책의 경우 2색 인쇄이지만, 웹페이지는 풀컬러로 제공이 된다 👍

뭐 일단 웹페이지를 통해서 공부하여도 좋지만,

개인적인 경험으로는 책을 사서 공부하는 것이 조금이라도 더 공부를 하게 되더라는 ... 👩‍🚀

퀀트 투자를 하기 위해서는 다양한 데이터가 필요하기에

이 책에서는 그러한 데이터를 수집하는 방법을 알려주고 있다.

물론 비싼 비용을 지불하면 손쉽게 데이터를 얻을 수 있지만... 우리가 좋아하는 것은 Free !!! 💛

이 책에서는 API를 이용해 데이터를 수집하는 방법을 시작으로 해서

HTML을 파싱하는 방법을 통해 공시를 받아오기도 하고 주식티커를 통해 데이터를 얻어오기도 한다.

또한 시각화를 통해 데이터를 분석하는 방법도 구체적으로 설명해주고 있으며,

종목을 선정하는 방법들에 대해서도 구체적으로 설명해주고 있다.

다만, R 언어를 이용한 프로그래밍적인 부분에 대해서 힘을 주다보니

퀀트 투자에 대한 설명 부분이 많지 않은 것은 조금 아쉽다.

그래서, 저자가 앞서 출간했던 책을 같이 살펴보면 더 좋을 것 같다.

    - https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=122208522

기존에 다른 퀀트 투자 책을 보면서 실제 구현에 대한 부분이 아쉬웠는데,

이 책에서는 실제 데이터들을 수집해서 구현하는 내용들을 자세히 설명해주고 있어서 너무 좋았다.

실습해보면서 공부하기 좋은 책

15단계로 배우는 도커와 쿠버네티스 ㅣ I♥Cloud (아이러브클라우드) 20
타카라 마호 지음, 이동규 옮김 / 제이펍 / 2020년 10월

최근 주력으로 공부하고 있는 것은 Kubernetes와 Machine-Learning이다.

특히 현재 업무와도 관련이 있어서 더 깊이 보고 있는 것이 바로 Kubernetes인데, 이와 관련된 새로운 책 하나를 살펴보게 되었다.

취향 저격!

요즘 IT 서적들은 표지도 너무 잘 만들고, 타이포그라피도 너무 잘 하는 것 같다.

그리고, 왠지 모르게 레벨업 욕구를 불러일으키게 "15단계"라니...

희한하게 요즘 보는 책들의 지은이가 계속 일본인이네...

지은이가 IBM 클라우드 소속이라서, 책에서도 IBM 클라우드를 소개했구나 ... ^^

15단계로 구성되었다고 하지만,

1장은 단계에 속하지 않은 사전 학습 내용으로 되어있다.

2장부터 1단계 시작이다.

그런데, 살펴보면 다른 책에서는 잘 보지 못하는 재미있는 항목이 보인다.

각 Step의 뒷 부분을 보면, "참고 자료"를 하나의 섹션으로 넣어 놓았다.

실제 내용을 보면 아래와 같이 되어있다.

추가적으로 공부를 더 해보고 싶은 경우, 이 내용을 참조하면 많은 도움이 될 것 같다.

책 내용은 깔끔하다.

다만, Why 에 대한 설명을 해주는 책은 아니고, How 위주로 설명을 해주는 책으로 보인다.

설명도 잘 되어 있고, 실행 예도 잘 보여주고 있다.

다만, 15단계에 따라 하나씩 직접 해보면서 어떤 명령어들을 사용하는지 배우기에는 적합하지만,

왜 이런 구성을 가지고 있는지 등에 대해서 파악하려면 다른 책을 보는 것이 나을 것 같다.

직접 몸으로 부딪히면서 배우는 것을 좋아하시는 분들에게 추천할 수 있는 책이다.