강화학습의 강화학습에 의한 강화학습을 위한 책임

밑바닥부터 시작하는 딥러닝 4 ㅣ 밑바닥부터 시작하는 딥러닝 4
사이토 고키 지음, 개앞맵시 옮김 / 한빛미디어 / 2024년 1월

우선 이 책을 한 줄 요약하지면 '파이썬으로 직접 구현하며 배우는 강화학습 알고리즘'이다.

밑바닥부터 시작하는 딥러닝 1에서는 CNN(합성곱 신경망)을,

밑바닥부터 시작하는 딥러닝 2에서는 RNN(순환 신경망)을 프레임 워크 없이 밑바닥에서 직접 구현한다.

밑바닥부터 시작하는 딥러닝 3에서는 파이토치와 비슷한 딥러능 프레임워크를 만들고 CNN과 RNN 모델들이 동작함을 확인한다.

밑바닥부터 시작하는 딥러닝 4에서는 강화 학습에 딥러닝을 결합한 심층 강화 학습을 설명하며 3에서 만든 프레임워크를 사용한다.

밑바닥부터 시작하는 딥러닝 5에서는 생성 모델을 다룰 예정이다.

시리즈물이지만 이전 편을 읽지 않아도 된다. 책의 1~6장은 강화 학습의 기초를 다루며 딥러닝은 7장~10장에서 강화학습 문제에 적용하는 방법으로 배운다.

1장 - 여러 후보 중에 가장 좋은 것을 순차적으로 찾는 밴디트 문제

2장 - 일반적인 강화 학습 문제를 마르코프 결정 과정이라는 매커니즘으로 정의

3장 - 마르코프 결정 과정에서 최적의 답을 찾는데 핵심이 되는 벨만 방정식 도출

4장 - 벨만 방정식을 풀기 위한 방법들인 동적 프로그래밍

5장 - 몬테카를로법

6장 - TD법

7장 - 딥러닝을 강화 학습 알고리즘에 적용하는 방법

8장 - DQN 구현하고 확장

9장 - 정책 경사법 알고리즘

10장 - 최신 딥러닝 알고리즘의 목차를

사실 한빛 미디어 이 시리즈 전체의 장점이기도 한데

1. 풍부한 이미지를 사용하고 개념을 하나하나 매칭 되는 예시를 들어줌

2. 깃허브에 주석과 함께 코드 제공함

이 2개가 좋았다.

나는 비전공자고 딥러닝 관련 아주아주아주 간단한 프로젝트를 해본적 있지만 실무에 필요한것만 공부해서 이 책에서 처럼 이렇게 자세하게 강화학습을 볼 기회가 없었다. 수학 공식 자주 나오는데 영어가 많이 나와 ㅋㅋ 낯설겠지만 어쨌든 식을 찾는 방정식이라서 너무 겁먹을 필요는 없다. 1~6장에서는 강화 학습을 공부하기 위해 알아야하는 개념들을 소개했고 7장부터는 딥러닝에 본격적으로 도입한며 어떻게 적용하는지에 대한 설명이 나온다. 책 전체적으로 비슷한 논조다. 이 책의 목적처럼 강화학습의 강화학습에 의한 강하학습을 위한 책임. 그리고 읽으면서 밑바닥부터 시작하는 딥러닝 3이 궁금해졌다. ㅋㅋㅋ 이거 파이토치랑 아주 유사한 딥러닝 프레임워크를 만드는 프로젝트를 다룬 내용이라고 하더라고.