딥러닝 알고리즘 원리를 엑셀을 이용해서 살펴보자

파이썬과 엑셀로 시작하는 딥러닝 - 딥러닝의 알고리즘 원리부터 파악하기
홍재권.윤동현.이승준 지음 / 정보문화사 / 2023년 7월

Python Excel Deep Learning

딥러닝의 알고리즘 원리부터 파악하기

파이썬과 엑셀로 시작하는 딥러닝

딥러닝과 파이썬은 쿵짝이 잘맞는 짝꿍같은 느낌인데, 왠지 엑셀은 어울리지 않는 느낌이 든다.

하지만, 딥러닝을 잘 생각해보면 테이블 형식의 데이터들과 수학이 바탕이 되어야 하고

그렇게 생각해보면 엑셀은 딥러닝에 잘 어울리는 도구일 수도 있겠다라는 생각이 든다.

어!? 이거 가스라이팅인가!? ^^

지은이 3명의 소개글을 읽고 공통점을 찾으셨다면~ 센스쟁이 !!!

그렇다!!! 인공지능 대학원 동문 3명이 모여서 책을 썼다!!!

출간한지 얼마 안되는 따끈따끈한 New 책이다 !!!

AI를 공부하는 모두가 Model Researcher일 필요는 없다.

하지만, 그렇다고 해서 딥러닝의 기본기를 배울 필요가 없는 것은 아니다.

인공지능을 공부했다라고 말하기 위해서는

Scikit-Learn, Tensorflow, Pytorch 등에서 제공하는 것을 그냥 가져다가 쓰기만 하는 것이 아니라

그 기본이 되는 원리에 대해서 한 번쯤은 파고들어본 경험은 있어야 한다고 생각한다.

일단, 책의 전체 내용을 간략히 살펴보자.

크게 보면 "분류 문제 → CNN → RNN" 정도에 대해서 진행을 하게 되고

데이터 정규화 및 분할, 소프트맥스에 대해서도 설명을 해주고 있다.

왠지 귀여운 느낌의 차례가 등장했다 ^^

조금 아쉬운 점은 ...

개인적인 취향일 수도 있지만 자고로 개발환경이라고 하면 리눅스(Linux)가 표준이지 않을까 한다!

특히 시장지배적 위치에 있는 우분투(Ununtu) 기준으로 개발환경 설명을 해줘야 하는데.... 없다!!!

어디까지나 개인적인 취향으로... Ubuntu 운영체제에서의 환경 구축은 다음과 같이 하면 된다.

1. Python 설치 및 가상 환경

  - 원하는 버전의 Python을 편하게 사용하기 위해서는 다음 링크를 참조해서 pyenv를 설치하자

    . 다양한 버전의 파이썬을 사용하려면 (pyenv)

  - 실습을 진행할 디렉토리로 이동 후 기본 환경을 맞춰보자

❯ cd /srv/workspace/excel-dl

❯ pyenv local 3.8.10

❯ python -m venv .venv

❯ source .venv/bin/activate

2. Jupyter 설치

  - Jupyter Notebook 사용을 위해 jupyter 패키지를 설치하자

❯ pip install jupyter

  - 설치가 잘 되었는지 실행해보자

❯ jupyter notebook

  - 새로운 파일 생성은 책과 조금 다르기에 캡쳐한 화면으로 보여주겠다.

이하 과정은 책을 보면서 따라가면 된다.

사실 위의 내용도 책의 내용과 별 차이 없다 ^^ 괜한 투정~!!!

책의 뒷부분에는 재미있는 것들이 부록으로 제공된다.

Microsoft Excel 뿐만 아니라 `구글 스프레드시트`를 애정하는 분들을 위한 내용도 설명을 해주고 있다.

요즘 Pytorch에 비해 인기가 조금 시들해졌지만,

그래도 아직 그 명성을 떨치고 있는 Tensorflow를 사용하는 다양한 예제도 있다.

이 책의 가장 특징인 엑셀(Excel)을 사용하기 위한 패키지로 여기에서는 `xlwings`를 사용하고 있다.

Jupyter Notebook에서 설치해서 사용하면 된다.

책을 보다가 깜짝 놀란 이미지가 있어서 잠시 공유 !!! ^^

딥러닝을 공부하면서 정말 괴로운 부분이 바로 수학이다.

특히 미분 ... 어렸을 때 잘 공부해뒀어야 했는데 ... 뒤늦게 공부하려면 ... 정말 ... 짜증이 ... ^^

그런데, 컴퓨터를 사용하고 있으면서 그것도 프로그래밍을 하고 있으면서

미분을 컴퓨터에게 시키면 되지 왜 그것을 공부를 하고 있을까!?

기본적으로 컴퓨터는 ... 프로그래밍적으로 미분을 직접 푸는 것은 안된다.

(물론 불가능은 아니겠지만, 어렵다. 그리고 내가 원하는대로 나오는 것은 더더욱 어렵다)

그러면, 기울기를 구하기 위해 미분을 하려면 어떻게 될까!?

미분한 결과를 프로그래밍으로 구현해주면 된다.

위에서 보이는 함수 중에서 `def f_prime(x):` 부분을 보면 알겠지만,

미분이 된 수식을 구현하고 있다.

뭐 그렇다.

이 책을 훑어보다보면 `응? 왜 굳이 Excel이 필요한거지?`라는 생각을 할 수도 있을 것이다.

사실 많은 강의와 서적에서는 Pandas/Numpy/Matplotlib 등으로 잘 설명해주고 있기 때문이다.

하지만, 직접 이 책을 따라하다보면 왜 엑셀을 사용하고 있는지 느낄 수 있을 것이다.

특히, Pandas/Numpy/Matplotlib 등을 이용해서 공부를 해보신 분이라면

엑셀을 통해서 중간에 어떻게 값들이 변해가는지 등을 눈으로 보면서 막혔던 것이 뚫리는 기분을 느낄 수도 있을 것이다.

예제 파일도 제공을 해주고 있으니 편하게 사용해보자.

  - http://infopub.co.kr/new/include/detail.asp?sku=06000248

GitHub로 샘플을 제공해주면 좀 더 좋았을 것 같은데

아쉽지만 공식 홈페이지를 통해 압축 파일을 내려받아야 한다.

용량은 2.7MB 정도이다.

책 제목에서도 나와있지만

딥러닝의 알고리즘 원리를 직접 손으로 하나씩 확인하고픈 사람들에게는 정말 가뭄의 단비같은 책이 될 수도 있다.

하지만, 응용 위주로 딥러닝을 공부했거나 하려고 하는 분들에게는 별 도움이 되지 않는 책이 될 것이다.

그리고, 나름 친절하게 설명하려고 노력은 했지만

딥러닝에 대해 비기너(Beginner)... 아직 한 번도 공부하지 않으신 분들은 따라하기에도 쉽지 않을 수 있다.

많은 공식이 나오는 것은 아니지만,

중간 중간 나오는 공식들이 어떤 의미인지 친절할 정도로 설명은 하지 않고 있기 때문이다.

(설명이 충분치 않은 것이 당연하다! 그걸 다 설명하려면 그것만으로도 책이 나올 것이다 ^^)

즉, 이 책을 추천하고픈 분들은 다음과 같다.

- 딥러닝 공부를 하고 있지만, 대체 GD는 뭐고 Softmax가 뭔지 원리가 궁금한 사람

- 중간 중간 단계에서 값들이 어떻게 변하는지 눈으로 확인하고 싶은 사람

- Tensorflow나 Pytorch에서 제공해주는 것만 사용하다가, 어떻게 구현된건지 궁금한 사람

(눈치 채셨겠지만 ... 같은 대학원 공부를 하고 있는 분들이 저자라서 ... 리뷰를 해봅니다만 ... 나름 솔직한 리뷰입니다 ^^)

이 포스팅은 제공 받은 서적으로 작성한 리뷰입니다.

MSA, K8s 공부하는 분이라면 필독서

마이크로서비스 아키텍처 구축 - 대용량 시스템의 효율적인 분산 설계 기법 | MSA 핵심 용어집 수록, 설계/아키텍처 분야 아마존 베스트셀러, 전면 개정판 ㅣ O'reilly 오라일리 (한빛미디어)
샘 뉴먼 지음, 정성권 옮김 / 한빛미디어 / 2023년 6월

요즘 어떤 서비스의 아키텍처를 설계한다고 하면

당연히 "마이크로서비스 아키텍처(MSA)"를 떠올리게 될 정도로 MSA는 이제 거의 표준처럼 되어 버렸다.

그렇기에 당연히 우리는 "마이크로서비스 아키텍처(MSA)"를 공부해야 하고,

아마존에서 설계/아키텍처 부분 베스트셀러인 이 책을 살펴보는 것은 자연스러운 수순일 것이다 ^^

2017년도에 초판으로 출간된 책인데,

빠른 변화와 신기술의 등장에 발맞춰서 얼마전에 전면 개정판으로 새로운 책으로 거듭났다!

이 책의 저자는 특정 회사에 속하지 않고 프리랜서로 활동하시는 것 같고,

옮긴이는 포동 서비스를 언급하신 것으로 봐서 LG유플러스에서 근무하시는 것이 아닌가 싶다 ^^

책 제목에 "아키텍처"가 들어가있다보니

이 책의 대상독자로 제일 먼저 떠오르는 것이 "어?! 이 책은 Architect를 위한 책인가?"였다.

하지만, 뒤에 설명할 목차 등을 보면 알겠지만

이 책은 개발자부터 PL 및 C-level에게도 도움이 될 수 있는

"마이크로서비스 아키텍처(MSA)"에 대한 모든 것을 담고 있는 책이다.

이 책은 크게 "기초/구현/사람"이라는 3개의 부로 나뉘어져 있다.

응?

사람?

개인적으로는 2부 구현 부분에 가장 관심이 많이 간다.

정말 의외인 "3부 사람" ...

뭐 세상 모든 일은 다 사람하기 나름이니.... 가장 중요한 것이 사람인 것 맞지만.... 호오....!

회사를 다니고 있다면

처음부터 아무 것도 없는 상태에서 새롭게 설계하는 일 보다는

이미 모놀리스 아키텍처로 구성되어 있는 기존의 서비스를

마이크로 서비스 아키텍처로 마이그레이션하는 일이 더 많을 것이다.

그래서 "Chapter3. 모놀리스 분해" 부분에 관심이 많이 갔다.

아마존에서 괜히 베스트셀러가 된 것은 아니기에

책 구성과 내용은 정말 훌륭한 것 같다.

다만, 개인적인 취향으로 아쉬운 것은...... 풀컬러가 아니라는 점!?

ㅋㅋ 사실 책 주제 자체가 굳이 풀컬러일 필요가 전혀 없기에 이마저도 단점이 아닌 것 같다 ^^

책 내용이 훌륭하다는 예시를 들어보자면,

모놀리스의 유형 중 하나인 "모듈식 모놀리스"에 대한 설명을 한 번 살펴보자.

당연하게 보일 수도 있겠지만

개인적으로는 저렇게 모듈로 나눠서 구성하면

그것을 가지고 마치 마이크로 서비스인 것처럼 착각하는 경우가 종종 있다.

그런 부분에 대한 설명이 차분하게 잘 서술되어 있는 것을 보면 이 책의 내공이 정말 탄탄한 것 같다.

그리고 또, 개인적으로 애정하는 쿠버네티스...

마이크로서비스 아키텍처(MSA)하면 빼놓을 수 없는 짝꿍 쿠버네티스(Kubernetes) !!!

전반적으로 이 책은 정말 "마이크로서비스 아키텍처(MSA)"의 교과서라고 불리워도 무방할만큼

탄탄한 내공이 가득차 있는 정말 좋은 책이다.

쿠버네티스(Kubernetes)를 공부하는 분들도 필수 도서로 같이 공부하면 정말 많은 도움이 될 것이다!!!

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

서버담당자, DevOps를 하시는 분들의 필수 비치 독서

테라폼으로 시작하는 IaC - 테라폼 입문부터 실무 적용까지 올인원 가이드
김민수 외 지음 / 한빛미디어 / 2023년 5월

IaC라는 말은 인프라스트럭처(Infrastructure)를 코드(Code)로 관리를 하겠다라는 것이다.

Infrastructure as Code

이것을 가능하게 만들어주는 도구 중에서

최근 가장 유명한 도구가 바로 해시코프(HashiCorp)에서 만든 테라폼(Terraform)이다.

바로 이 도구에 대해서 친절히 알려주는 책이 바로 이 책이다.

5월말에 출간된 따끈따끈한 책이다.

이 책의 구성은 개인 사용자를 위한 내용부터 단일팀, 다수팀을 넘어 조직 단위에서 필요한 내용까지 담고 있다.

다만, 이 책은 초보자들을 위한 책은 아니다.

본업이 Infrastructure와 관련된 분들을 위한 책이다.

이 부분이 조금 아쉬운 부분일 수도 있겠지만,

이 분야를 조금이라도 아시는 분들은 어쩔 수 없다는 것에 동의하실 것이라고 생각한다.

사실 Infrastructure 라는 용어에 대한 명확한 정의조차 어려움이 있긴한데,

단순히 서버(Server)라는 hardware라고 생각할 수도 있지만

지금 실제 필드에서 infrastructure라는 용어는 대단히 광의적으로 쓰이고 있다.

이 분야에서 업무를 하기 위해 알아야할 것들은 정말 많다.

CPU, Memory 등의 실제 hardware에 대한 지식도 알아야 하고

Windows Server나 Linux 등의 운영체제에 대해서도 알아야 하고

서버에 설치되는 MySQL, PostgreSQL,Oracle 등과 같은 데이터베이스도 알아야 하고

NginX나 Apache, Tomcat과 같은 WAS에 대한 지식 뿐만 아니라

그 외 다양한 HW에 대한 지식 + SW에 대한 지식들을 모두 알아야 한다.

최근에는 심지어 AWS, Azure, GCP, OCI 등 Cloud에 대한 지식은 물론이고

Container, Kubernetes 등에 대한 지식까지 모두 알아야만 한다.

또한 보안 관련된 지식 뿐만 아니라 네트워크에 대한 지식까지도 필요하다.

위에서 언급한 모든 것들을 전부 잘 알아야 하는 것은 아니지만

최소한 무엇인지 알고는 있어야 테라폼에 대해서 공부할만할 것이다.

그러면, 테라폼 외에 다른 IaC 도구들은 없는 것일까!?

비교표를 보면 알겠지만... 뭐 결국은 Terraform 짱!!!

설치 과정이 단순하기에... 사실 경로 설정만 신경쓰면 된다.

책은 전반적으로 많은 노력을 기울인 잘 만들어졌다라는 것이 느껴진다.

다만, 아쉬운 점은 ... 위 이미지와 같이 ... 컬러가 아니다보니, 몇 몇 그림은 아쉬움이 남는다.

서버 관리 및 DevOps 등을 담당하는 분들이라면,

서버 및 클라우드 등을 code로 관리하고픈 분들이라면 필독서로 옆에 비치해놓아야 할 책이라고 생각한다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

실제 업무에 ChatGPT 활용하기

직장인을 위한 챗GPT - 업무 스킬업부터 자기 계발까지! 694개 ChatGPT 파워 프롬프트 가이드 | 추가 프롬프트 치트시트 부록 제공
이안 클레이턴 지음, 김상규 옮김 / 한빛미디어 / 2023년 5월

IT 관련 직업에 있는 사람이 아니더라도

최근 대부분의 사람들이 모두 알고 있을 ChatGPT !!!

그냥 심심풀이로 사용해보는 것에서 그치지 않고

본인의 업무에 실제로 도움이 되도록 사용하려면 어떻게 해야하는지를 알려주는 책이 나왔다.

ChatGPT는 이름 그대로 Chatting 방식을 통해서 인터페이스(interface)를 하는 도구이다.

그렇기에 어떻게 대화를 해야하는지가 대단히 중요하고

이러한 대화법을 바로 "프롬프트(prompt)"라고 한다.

이 책은

원하는 결과를 얻기 위한 프롬프트 작성 방법을 알려주는 책이다.

따끈따끈한 ChatGPT와 관련된 책이기에 번역본이 아니라 생각했는데 (시간이 좀 걸리는 것이 일반적이기에)

"이안 클레이턴"이라는 분이 쓴 책을 "김상규"님이 옮기셨다.

2023년 5월 12일에 초판 1쇄가 발행된 따끈따끈한 신간이다.

크게 3부로 구성된 책이다.

1부에서는 프롬프트에 대해서 알아야할 것들을 소개해준다.

2부에서는 본격적으로 산업별로 어떻게 프론프트를 작성해야하는지를 알려준다.

3분에서는 자기 계발을 위해 어떻게 ChatGPT를 활용할 수 있는지를 알려준다.

메인이 되는 내용은 2부에 있는 산업별 프롬프트 부분인데,

여기에서 소개해주는 산업 분야를 보면 엄청나게 세분화 되어 있다.

자신이 속한 산업 분야를 찾아보면 되는 것이다.

책의 내용을 보면 다양한 상황과 조건에 대해서 Example 형식으로 보여준다.

책을 보다보면 좀... 왠지 성의 없어보이는 페이지도 보이긴 하지만,

자세히 살펴보면 조금씩 미묘하게 차이가 있는 모두 필요한 내용들이다.

글을 쓰고자 할 때 알아야할 내용들을 설명해주는 페이지를 살펴보자.

쓰고자 하는 글의 분류가 어떻게 되는지

글의 핵심 요소가 무엇인지를 잘 설명해주고 있다.

이런 내용들을 파악하고 있어야 ChatGPT를 제대로 활용할 수 있는 것이다.

그냥 무조건 글을 써달라고 하면

ChatGPT는 그냥 그저그런 내용만 답변할 뿐이다.

구체적으로 무엇을 어떻게 해야하는지,

지금 필요로 하는 내용이 어떤 것인지 명확히 전달을 해줘야

그에 걸맞는 내용을 답변한다.

뉴스에서 새로 생긴 프롬프트 개발자의 연봉이 엄청 높다는 이야기가 나오면

고작 ChatGPT와 대화하는 것이 왜 그런 연봉을 받는지 의아해하는 사람이 많다.

ChatGPT를 효과적으로 사용하기 위해서는

필요한 도메인에 대한 충분한 지식과 분석적이며 논리적인 접근을 통해

제대로된 대화를 할 줄 알아야 하는 것이고

그런 능력을 갖고 있는 사람이 흔하지는 않기에 몸값이 비싼 것이다.

최근 다양한 생성형 AI가 쏟아지고 있고

이러한 생성형 AI를 효과적으로 다루기 위해서는 어떻게 해야하는지

이 책을 통해 충분히 느끼고 배우기를 바란다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

트랜스포머가 무엇인지 맛을 본 분들에게 활용에 대해서 안내해주는 친절한 가이드

트랜스포머를 활용한 자연어 처리 - 허깅페이스 개발팀이 알려주는 자연어 애플리케이션 구축
루이스 턴스톨.레안드로 폰 베라.토마스 울프 지음, 박해선 옮김 / 한빛미디어 / 2022년 11월

ChatGPT로 온세상이 떠들썩하다.

얼마전 발표한 GPT-4는 어지간한 인간보다 더 똑똑하다고 난리다.

이런 GPT와 같은 언어 모델의 바탕이 되는 것이 바로 트랜스포머(Transformers)이다.

과거(?) 딥러닝을 공부한다고 하면

이미지 처리를 위한 CNN 계열들 공부하고, 시계열 데이터를 다루기 위한 RNN 계열들 공부하고...

나중에 가면 음성처리 하던지 이미지 디텍션이라던지 하는 도메인별 특성에 따른 연구/공부를 하곤 했는데,

요즘은 그냥 무조건 그 끝은 전부 트랜스포머이다.

음성처리와 같은 것들도 그냥 End-to-End Model을 트랜스포머로 구성하곤 한다.

말 그대로 그냥 닥치고 트랜스포머인 세상이다.

NLP를 공부하면서 Transformer를 공부한다고 하면

논문부터 찾아서 encoder가 어쩌고 decoder가 어쩌고 Self-attention이 뭐고.... 공부를 하곤 하는데,

우리가 직접 GPT 같은 것을 만들어야 한다면 이런 공부가 필수이겠지만

OpenAI와 같은 충분한 인력과 자본이 없다면

지금 우리에게 필요한 것은 활용이다.

원서를 찾아보면 2022년 1월에 초판이 나왔고, 22년 5월에 Revised Color Edition이 나왔다.

번역본은 아마도 22년 5월에 나온 Revised Edition을 기반으로 했을테니, 아직은 1년이 되지 않은 책이다 ^^

옮긴이는 개인적으로 너무나 좋아하는 박해선님이다.

박해선님의 책은 무조건 추천!!! 와아~~~!!!

NLP 혁명의 성장 동력은 트랜스포머, 사전 훈련한 모델, 허깅페이스의 3가지라고 한다.

결국은 책 자랑인데 ^^

트랜스포머 개발자와 허깅페이스 개발자들이 모여서 책을 썼으니

이 책은 킹왕짱 !!!

거기에다가 옮긴이가 박해선님이라니 !!!

정말 울츠라 슈퍼 초 킹왕짱 !!!

이 책은 절대 입문서가 아니다.

그리고 활용을 주 목적으로 한다.

위의 3개 사이트는 그냥 그런게 있다라고 하면 된다.

그런데, 3번째로 나와있는 '페이퍼스페이스 그레이디언트 노트북'이라는 곳은

처음 듣는 것이라 접속을 해봤더니 '404'로 페이지를 찾을 수 없었다.

- https://www.paperspace.com/gradient/notebooks

위 주소로 접속할 수 있었는데, 뭐 사실 그냥 구글 코랩이면 충분하지 싶다 ^^

박해선님의 책을 좋아하는 이유는 정말 정말 충실한 예제 코드 제공이다.

꼼꼼히 직접 실행해보시며 만들어주시는 예제는 정말 정말 애정이다.

정말 긴 시간인 것 같지만 Transformer가 세상에 나온지는 얼마되지 않았다.

그리고 InstructGPT/GPT-3.5 이어서 얼마전 나온 GPT-4까지 ...

허깅페이스를 활용해서 우리가 해볼 것은 위와 같은 전이 학습이다.

허깅페이스를 통해 데이터셋을 다운로드 받을 수 있다.

별것 아닌 것처럼 보이지만, 정말 편리하다.

각 챕터의 뒷 부분에는 위와 같은 결론을 제공해준다.

그냥 단순한 summary가 아니라 참고 자료도 제공해주고, 어떤 의미가 있는지도 친근하게(?) 정리해준다.

흔하게 볼 수 있는 이미지가 아니라,

나름의 방법으로 표현된 아키텍처를 볼 수 있어서 좋았다.

이 책을 살펴보면서 느낀점은 다음과 같다.

딥러닝 공부를 하면서 트랜스포머가 무엇인지 맛을 본 분들에게 활용에 대해서 안내해주는 친절한 가이드.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."