바닥부터 배우는 강화 학습
노승은 지음 / 영진.com(영진닷컴) / 2020년 9월
평점 :
장바구니담기


 

지난 20163월 이세돌 기사와 알파고와의 한판 승부는 세상을 깜짝 놀라게 했다. 바둑에서 나올 수 있는 경우의 수는 무려 10170승이라고 알려져 있다. AI가 아무리 뛰어나더라도 과연 인간의 두뇌를 따라올 수 있으려나 했다. 그렇지만 이세돌, 아니 인간은 무릎을 꿇었다. AI를 통한 딥 러닝이 이 정도로 발전했구나 싶었다.

이 책은 딥 러닝과 핵심이 되는 강화 학습을 초보자도 알기 쉽게 설명한다. 강화 학습에 가장 기본이 되는 개념부터 실무 사례까지 한 권으로 정리했다.

 

 

저자 노승은 씨는 서울대에서 컴퓨터공학과 경제학을 전공하고, 현재 엔씨소프트 GameAI랩에서 강화 학습을 연구하고 있다. 강화 학습 유튜브 채널 팡요랩도 운영 중이다. 그는 머리말에서 이 책을 집필하면서 특히 두 가지를 염두에 두었다고 밝힌다. 첫 번째는 쉽게’, 두 번째는 기본에 충실하게.

책은 강화 학습의 뼈대가 되는 MDP부터 딥 러닝과 강화 학습이 만나는 지점 및 학습 방법론, 알파고, 알파고 제로까지 기초부터 응용까지 포괄적으로 다룬다. 실제 사례로 저자가 몸 담은 엔씨소프트 GameAI랩에서 개발한 블레이드&소울 비무를 통해 강화 학습을 어떻게 적용하는지 노하우를 배울 수 있다.

 

 

책은 다음과 같이 모두 11장으로 구성돼 있다.

 

1. 강화 학습이란
2. 마르코프 결정 프로세스
3. 벨만 방정식
4. MDP를 알 때의 플래닝
5. MDP를 모를 때 밸류 평가하기
6. MDP를 모를 때 최고의 정책 찾기
7. Deep RL 첫걸음
8. 가치 기반 에이전트
9. 정책 기반 에이전트
10. 알파고와 MCTS
11. 블레이드&소울 비무 AI 만들기

 

먼저 강화 학습이 무엇인지 설명한다. 지도 학습이 지도자가 가르쳐 주거나 정답이 있는 상태에서 배우는 것인 반면, 강화 학습은 스스로 시행착오를 통해 배우는 것이다. 이때 중요한 개념은 전이 확률과 보상 함수다.

전이 확률이란 현재 상태가 s이며 에이전트가 액션 a를 선택했을 때 다음 상태가 s이 될 확률을 말한다. 표기는 다음과 같다.

 

 

보상 함수는 어떤 상태 s에 도달했을 때 받게 되는 보상을 의미한다. 전이 확률과 보상 함수는 값이 조금씩 다르게 나올 수 있기 때문에 기대치로 표시된다.


 

다음은 MP, MRPMDP에 대해 살펴본다. MP는 마르코프 프로세스(Markov Decision Process)를 말하여 가능한 상태를 모두 모아놓은 집합을 뜻한다. MP에 보상의 개념이 추가되면 MRP (Markov Reward Process)가 되고, MRP에 에이전트가 더해지면 MDP (Markov Decision Process)가 된.

 

 

MDP는 의사결정 과정을 모델링하는 틀을 제공한다. MDP의 구성 요소는 S, A, P, R, γ 등 5가지다. 여기서 S는 상태의 집합, A는 액션의 집합, P는 전이 확률 행렬, R은 보상 함수, γ는 감쇠 인자를 뜻한다.

저자는 일반 독자들이 강화 학습을 이해하기 위해 필요한 개념과 용어를 알기 쉽게 다룬 다음, 알파고를 위해하기 위한 MCTS를 설명한다. MCTS (Monte Carlo Tree Search)는 주어진 상황에서 시작하여 그냥 많이 둬 보는방법론을 말한다. 바둑에 최적화된 기법이 아닐 수 없다.

 


이제 마지막 단계다. 저자가 참여한 블레이드&소울 비무게임에서 어떻게 강화학습이 적용됐는지 엿볼 수 있다.

나는 이 책으로 AI의 핵심 기술이라고 할 수 있는 딥 러닝과 강화 학습이 어떤 프로세스로 작동되는지 차근차근 배울 수 있었다. 자동 로봇을 활용한 코딩에 관심이 많은 중학생 아들도 즐겁게 읽을 수 있었다. 강화 학습과 관련된 개념과 기법을 초보자도 알기 쉽게 풀어준 저자의 열정에 박수를 보내드린다.


댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
우리 아이는 발달장애가 아닙니다
한창완 지음, 이호정 옮김, Mamiko OTA 삽화 / 영진.com(영진닷컴) / 2020년 8월
평점 :
장바구니담기


 

이 책에 수록된 내용은 일본 오키나와현 류큐대학 교육학부에서 시작된 IN-Child 프로젝트연구 성과의 결과물이다.

 

저자 한창완 박사는 도호쿠대에서 2005년에 의학계연구과 박사 학위(장애과학)를 취득하고 2011년에 경제학연구과 박사 과정(경영학)을 졸업했다. 이후 우송대 의료사회복지학과 조교수를 지내고, 류큐대 교육학부 특별지원교육 전공 교수를 거쳐 현재 시모노세키시립대 이사와 ·부총장을 역임하고 있다.


‘IN-Child (Inclusive Needs Child)’라는 용어는 2015년부터 시작된 연구에서 나왔다. ‘IN-Child’의 뜻은 포괄적인 교육을 필요로 하는 아동으로 의료기관에서 실제 진단을 받은 아동도 포함하고, 진단은 받지 않았지만 학습 및 일상생활의 어려움으로 인해 교육적 지원이 필요한 아동을 포함한다.



‘IN-Child’ 프로젝트에서 주목하는 대상은 주의력 결핍과 과잉행동 증후군’ (ADHD, Attention Deficit Hyperactivity Disorder)자폐스펙트럼장애’ (ASD, Autism Spectrum Disorders)를 보이는 아동이다.

‘IN-Child’ 프로젝트는 ADHDASD 증상을 보이는 아동을 대상으로 어떻게 진단하고, 어떻게 교육시켜 사회에 적응할 수 있도록 할 것인가에 대한 심층 연구다.

교육 현장에 있는 분이라면 책에 소개된 다양한 패턴과 사례를 통해 개별교육플랜을 설계할 수 있다. 개별교육플랜은 세 편(결과·분석·개입)으로 구성되어 있어 단계별로 작성해야 한다. 저자는 교육 현장에서 ‘IN-Child’ 프로젝트를 원활하게 적용할 수 있도록 아동 행동 패턴 23가지와 ‘IN-Child’ 성공 사례 10가지를 소개한다.


여기에 ‘IN-Child Record’를 활용하여 아이 상태를 진단하는 방법과 적절한 지원 방안을 수립하는 방안을 이야기한다. ‘IN-Child Record’‘IN-Child’에게 필요한 지원이 무엇인지 파악하기 위한 도구로 총 14영역 82문항의 아동관찰 기록지다. 이때 주의력 결핍과 과잉행동·충동성 중 어느 쪽이라도 점수가 낮으면 ADHD 경향을 보이고, 집착·고집과 커뮤니케이션 중 어느 쪽이라도 점수가 낮으면 ASD 경향을 보인다고 할 수 있다.

책에 소개된 ADHD 아동의 성공 사례를 보자. 아이는 수업 중 느닷없이 교실을 뛰쳐나가거나 바닥에 드러눕기도 했다. 자신이 좋아하는 음악 및 게임 이야기를 할 때는 매우 집중했다. 선생님이 다른 친구에게 음악과 게임에 관해 질문해도 자신이 대답한다. 저자는 이 사례의 아동에게 선생님이 틈틈이 말을 걸면서 아이의 장점을 살려 학급 내 역할과 지위를 부여하면 좋다고 조언한다. 리더십과 책임감을 북돋우는 것이다. 그 결과 수업에 적극적으로 참여하여 성적도 올랐다! 전후 변화 모습을 정리하면 다음과 같다.


 

이전의 모습

지원 후의 모습

수업 중에 자리를 이탈하여 바닥에 드러눕는 행동을 했고, 수업 내용을 놓치는 것이 많았다.

국어와 사회 과목에 유달리 취약하여 전교 순위가 200명 중 190등이었다.

 

수업에 집중해서 참가할 수 있게 되어, 내용을 놓치는 일이 줄어들었다.

전교 순위가 200명 중 100등으로 올랐다.

아동의 변화로 주변 아이들까지 자극을 받아 함께 노력하게 됐다.

 

ASD는 자폐스펙트럼장애를 말한다. ASD를 겪는 사람 중 특정 분야에 한해서 뛰어난 능력을 발휘하는 경우를 서번트 증후군이라고 한다.

책에는 ASD 아동의 특정 행동 패턴이 나온다. 가령 한 아동은 책 읽는 것을 가장 좋아해서 혼자서 놀 때가 많다. 친구들 보다는 어른과 대화하는 것을 좋아하는데, 대화라기에는 일방적으로 이야기하는 경우가 많다. 조별 활동 시간에도 다른 사람에게 기회를 주지 않고 혼자만 계속 이야기하려 한다.



이런 아동에게 어떻게 지원하면 좋을까? 우선 특정 관심사에 관한 이야기만 해서 일상생활에 지장이 생기는 경우 너는 을 참 좋아하는구나! 그 이야기는 나중에 해주지 않을래?” 라고 말하는 것이 좋다. 지시는 구체적으로 한다. 가령 조금 이따 하자보다는 “10분 후에 하자”, “책상을 좀 옮겨줄래?” 보다는 책상을 이 빨간 선까지 옮겨줄래?”라고 하자.

조별 활동 때 의견을 말할 때는 각자 발표 시간을 정하고 정해진 시간 내에 마칠 수 있도록 한다. 수업 중 지켜야할 규칙에 대해 명확하게 이야기해 주는 것이 좋다. 가령 선생님이 낸 퀴즈에 답을 알고 있을 때는 손을 들어 지명 받은 뒤에 발표한다는 식이다.

이 책은 다른 성장 과정 또는 발달 장애를 보이는 아동을 새롭게 바라보고, 그 아동에게 무엇이 필요한지 그리고 어떻게 지원하면 좋을지 되돌아보게 한다. 교육 현장 뿐만 아니라 가정 교육과 육아에 관심 있는 이에게 일독을 적극 추천드린다!


댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
데이터 시각화와 탐색 with POWER BI
마경근.서주란 지음 / 영진.com(영진닷컴) / 2020년 7월
평점 :
구판절판


 

날마다 홍수처럼 쏟아지는 데이터 속에서 보고서나 자료에 눈에 띄는 비주얼 효과를 준다면 어떨까? 어느 누구보다 한 발 앞서 성장하고 달릴 수 있을 것이다. 이러한 맥락에서 마이크로소프트가 개발한 ‘Power BI’(이하 PB)는 탁월한 선택이 될 수 있다. 여기서 ‘BI’는 비즈니스 인텔리전스(Business Intelligence)를 뜻한다.

영진닷컴이 만든 데이터 시각화와 탐색 with POWER BI는 소프트웨어 ‘Power BI’를 사용하는 기초에서부터 데이터를 보기 쉽게 시각화하고, 데이터를 변환하고 활용하는 노하우까지 설명한다. 특히 데이터나 차트에 익숙하지 않은 독자들도 쉽게 따라할 수 있도록 친절하게 안내하니 더욱 좋다.

 

 

무엇보다 필요한 ‘Power BI’마이크로소프트 BI 누리집에 접속해서 무료로 등록, 사용할 수 있다. Power BI(이하 PB)는 비용면에서 무료로 사용할 수 있는 PB Desktop과 유료인 비즈니스용 PB Pro로 나눌 수 있다. 또 활용 면에서 PB Desktop, PB Service, PB Mobile로 나눌 수 있다.

PB Desktop은 윈도우 데스크톱 응용 프로그램으로 무료로 사용할 수 있고, PB Service는 온라인 Saas(Software as a Service), PB Mobile은 윈도우 폰, 태블릿, iOS나 안드로이드 장치에서 사용할 수 있는 모바일 앱이다.

책은 다섯 파트로 구성돼 있다. 먼저 PB 기능을 배운 다음(파트1~2), 이어 PB를 응용한 사례를 구체적으로 살펴본다(파트3~5).

 

 

먼저 파트1에서 PB의 구성 요소에 대해 설명하고, 데이터 분석 및 시각화에 대해 알아본다. 파트2PB 활용 편이다. PB는 파워 쿼리 편집기를 이용해 여러 파일을 결합하거나 추가해 하나로 통합할 수 있다. 이때 사용할 수 있는 파일 형식은 엑셀, 텍스트와 DB 등 다양하다. 또한 PB로 작성된 보고서를 다른 구성원들과 공유해서 협업할 수 있다.

파트3~5은 응용 편이다. 파트3 ‘혼밥족들이 살고 싶은 곳은?’에서는 행정안전부, 통계청 등 정부기관에서 공개하는 데이터를 활용하여 1인 세대의 현황과 그들의 거주 선호 지역을 분석해 본다. 파트 4 ‘서울의 미세먼지 탈탈 털어보자에서 서울을 비롯한 우리나라의 주요 이슈로 떠오른 미세먼지에 관련된 데이터를 시각화해본다.

마지막으로 파트 5 ‘직장 그만두고 카페나 차려볼까?’에서 카페 창업에 관심이 있는 사람들이라면 알아야 할 창업을 위한 인허가 신고, 폐업 추이 그리고 생존 기간 등을 DAX를 활용해 산출하는 한편 도형 맵, 맵 박스 등을 이용해 카페의 지역별 분포를 시각화한다.

 

 

공저자 마경근 씨는 사회과학과 컴퓨터공학을 전공하고 현재 서울시 데이터분석팀에서 일하고 있다. 또한 브런치에 PB를 활용한 노하우와 실제 분석 사례를 게재해 호응을 얻고 있다. 바로가기: 저자 마경근 씨 브런치

공저자 서주란 씨는 DNT컨설팅 대표로 있으며 여러 공공기관과 기업, 대학 등에서 데이터 분석 강의를 진행하고 있다. 저서로 데이터가 돋보이는 Microsoft Power BI(공저, 2017)가 있다.

이렇듯 이 책의 강점은 PB에 관한 이론과 실무에 능통한 두 저자가 함께 집필해 PB에 관한 거의 모든 것을 담고 있다는 것이다.

 

 

치열한 경쟁의 시대는 같은 데이터라도 누구보다 앞서 콕콕 분석하고 눈에 확 띄는 시각적인 이미지를 보여줄 수 있어야 한다. 이제 PB로 사용법을 익혀 데이터를 전처리하고 모델링하거나 시각화해보자. PB를 사용하는 것만으로 현재의 보고서보다 한층 진일보할 것이다.

이 책은 데이터 분석 및 시각화를 위해 PB를 제대로 배워보고 싶은 사람, 데이터 분석에 관련된 업무를 하는 전문가, 데이터를 통해 인사이트를 발견하고 싶은 크리에이터, 그리고 보고서와 프레젠테이션에서 비주얼 효과를 주고 싶은 직장인 등 모두에게 유용할 것으로 믿는다.


댓글(0) 먼댓글(0) 좋아요(1)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
예술가들이 사랑한 컬러의 역사 CHROMATOPIA
데이비드 콜즈 지음, 김재경 옮김 / 영진.com(영진닷컴) / 2020년 8월
평점 :
장바구니담기


 

이 책은 고대부터 현재까지 널리 사용되고 있는 컬러 안료 59가지에 대한 이야기를 담았다. 컬러는 어떻게 탄생하여 각광받고 또 어째서 쇠퇴하게 됐는지를 상세히 알려준다.

저자 데이비드 콜즈는 호주의 유명한 물감회사 랭그릿지 아티스트 컬러를 창립한 사업가다. 그가 지닌 컬러에 가진 남다른 열정과 색감은 오늘날 화가들 사이에서 최고로 통하는 물감을 만들어냈다.

 

 

책을 펼치면 우선 이렇게 특색있는 컬러가 많았었나 하고 놀라게 된다. 저자는 안료에 특정 이름이 붙게 된 내막을 들려주고, 사람들은 안료를 실제로 어떻게 제조했지 그리고 수많은 아티스트들은 안료를 사용하면서 컬러에 대해 어떻게 생각했는지에 관한 인문학적 배경지식을 풍성하게 알려준다.

가령 용의 피(Dragon’s blood)’라는 안료는 용혈수에서 나오는 석류처럼 진한 수액을 말한다. 고대 로마 작가 플리니우스가 명명했다. 이 안료는 설사, 피부병 등을 치료하기 위한 약제로도 쓰였고, 바니시에 색을 입힐 때 주로 사용됐다. 스트라디바리우스는 바이올린을 착색할 때 사용했다.

 

 

오피먼트(웅황)는 황금 물감이라는 뜻이다. 사람들은 오피먼트와 황금의 유사성이 연금술적으로 심오한 관련이 있다고 믿었으며, 심지어 로마 황제 칼리굴라는 오피먼트에서 금을 추출했다고 전해진다.

흑연은 엘리자베스 시대에 영국 해군의 힘을 강화시켜준 비밀병기였다. 16세기 중반 영국 보로데일에서 순수한 흑연이 대량으로 묻혀 있는 매장지가 발견되었다. 당시 필기도구는 납이나 은필을 주로 썼는데, 흑연이 나오면서 일대 혁명이 일어났다. 가령 당시 영국 해군은 포탄의 틀을 제도하는데 사용해 둥글고 부드러운 공을 제작할 수 있었다. 그 중요성 때문에 영국 왕실에서는 흑연 광산과 흑연의 생산을 엄격히 관리했다고 한다.

 

 

갬부지는 동남아시아에 서식하는 가르시니아나무의 수액으로 만든다. 갬부지의 이름은 캄보디아의 옛 이름 '캄보자'에서 따왔다. 8세기부터 일본, 중국, 태국에서 수성 잉크로 쓰였으며,  17세기 초 유럽에 수입돼 불투명의 따뜻한 노란 물감으로 사용됐다.

한편 강렬한 노란 색 아르지카는 유럽산 식물 웰드의 꽃, 줄기 등 전체를 말려 명반을 약간 넣은 물에 뭉근히 끓여 만든다. 아르지카는 특히 실크에 선명한 노랑을 물들이는 것으로 유명하다. 하지만 태양의 직사광선에 색이 바래지는 단점이 있어 내광성 있는 안료가 나오면서 더는 쓰이지 않게 되었다.

 

 

루색의 대명사 코발트(cobalt)의 이름은 독일 민속에 광부를 겁주고 괴롭히는 땅속 요정 코볼트(kobold)’에서 따왔다. 중세부터 호두 열매에서 진한 갈색 잉크를 추출해 사용했다고 하니 흥미롭기 그지없다. 에머랄드 그린 파트에서 보여주는 컬러 사진은 그 자체로 예술이다.

지금은 흔히 사용되고 있지만, 과거엔 화가들을 파산하게 만들 만큼 금보다 비싼 칼러도 있었고, 미라로 만든 컬러도 있었다. 
 

 

이처럼 책은 컬러에 대한 다양한 스토리텔링을 들려준다. 구성은 왼쪽에 지면을 꽉 채우는 큰 사진을 싣, 오른쪽에 한 쪽 분량의 설명을 달았다. 컬러에 대한 책은 도판 작업이 결코 녹록지 않을 터이다.

종이에 제대로 된 색을 내기 위해 여러 번 시행착오를 거치는 수고를 마다하지 않았을 영진닷컴에 감사를 드린다
. 그래서 이 책은 더 소중하고 가치 있다. 컬러를 이용해 예술을 창작하거나 제품을 만들어내는 사람은 말할 것도 없거니와 컬러에 대해 더 알고 싶은 독자들에게 권하고 싶다.


댓글(0) 먼댓글(0) 좋아요(1)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
NASA 밤하늘을 기록하다 NASA, 기록하다
NASA 외 지음, 박성래 옮김 / 영진.com(영진닷컴) / 2020년 5월
평점 :
장바구니담기


 

이 책은 미 NASA가 자료실에 보관된 사진과 설명을 중심으로 지구, 혜성, 은하계 등 밤하늘에서 볼 수 있는 신비한 모습을 담은 NASA 공식 인증 도서다. 책에는 소장가치 200퍼센트의 오로라, 별자리, 유성우 등 밤하늘의 신비한 사진이 가득 수록됐다. 우리가 사는 곳에서는 여간해선 보기 어려운 것들이다.

 

밤하늘은 우리에게 놀라움과 경외심을 느끼게 해주지만 인공 광원(광해)은 우리에게 별빛을 빼앗아 버렸다. 북아메리카 인구의 80퍼센트, 유럽 인구의 60퍼센트는 광해로 인해 은하수를 자세히 볼 수 없다. 광해는 광원으로부터 수백 킬로미터나 뻗어 나가기 때문에 밤하늘 관측이 점점 어려워진다. 광해가 가장 적은 지역은 아프리카의 차드, 중앙아프리카공화국 그리고 마다가스카르다.

 

 

 

책에 실린 밤하늘 모습은 주로 우주정거장(ISS)에서 본 것들이다. 보통 ISS는 지구 400킬로미터의 높이에서 24시간에 지구 16바퀴를 돈다. 여기는 광해의 영향이 없어 은하수와 별 그리고 지구의 모습을 오롯이 관찰할 수 있다.

 

공저자 빌 나이는 넷플릭스의 과학쇼 세상을 구하는 사나이 빌 나이(Bill Nye Saves the World”의 진행자로 유명한 배우 겸 작가다. 그는 칼 세이건이 설립한 조직인 행성학회의 회장을 역임하였다.

다른 공저자 니르말라 나타라쥐는 우주론, 생태학, 분자생물학 등에 관한 과학 책을 쓰고 있으며, 사진, 건축 및 예술에도 조예가 깊다.

 

 


칼 세이건은 인류의 역사상 가장 오래된 취미, ‘밤하늘 별 보기에 주목했다.

 

문명을 발명하기 전, 우리 조상들은 주로 하늘 아래 열린 곳에서 살았다. 인공조명과 대기오염, 현대적인 밤의 오락물을 고안하기 전에 우리는 별을 관찰했다. 물론 현실적으로 달력과 관련된 이유가 있었지만, 그것보다 더 많은 것들이 있었다. 오늘날 가장 낙후된 도시 거주자들이 수천 개의 반짝이는 별들이 가득한 맑은 밤하늘을 마주하면서 감동을 느낄 수 있다. 세월이 흘러 내게 그런 일이 일어나도 여전히 숨 막힐 정도로 멋지게 느껴질 것이다.”

 

 

 

특히 태양이 담겨 있는 지구 상층 대기의 모습은 ISS에서만 볼 수 있는 진풍경 중 하나다. 상층 대기의 전리층은 높은 전하를 지닌 대기권의 한 부분이며 지구와 우주의 경계선이다. 전리층을 관측하기는 어렵지만 이보다 아래 대기층의 날씨 패턴과 태영 폭풍이나 다양한 천체에서 나오는 에너지 입장의 분열과 같은 우주 날씨에 전리층이 반응하는 것으로 알려줘 있다. 대기 상층부는 단 한 시간 안에도 극적인 변화가 생기곤 한다.

 

 

옮긴이 박성래 번역 작가는 대학에서 기계공학을 공부하고 대학원에서 디지털·과학 사진을 전공했다. 캐논과 삼성전자에서 디지털 전문가로 일했으며 현재 전문 번역일을 하면서 과학 책을 저술하거나 천문학 강연을 하고 있다.

 


밤하늘 보기와 천문학에 관심 있는 독자라면 누구나 반가워할 만큼 귀한 사진들이 가득하다. 우리는 박성래 작가의 능준한 번역 솜씨 덕분에 어려운 내용을 알기 쉽게 읽을 수 있다. 일독을 적극 추천 드린다!

 


댓글(0) 먼댓글(0) 좋아요(1)
좋아요
북마크하기찜하기 thankstoThanksTo