[리뷰★] 머신 러닝 마스터 클래스

머신 러닝 마스터 클래스 - 기본기를 바로잡는 9가지 레슨, 2025년도 대한민국학술원 선정 교육부 우수학술도서 ㅣ 프로그래밍 인사이트 Programming Insight
민재식 지음 / 인사이트 / 2025년 1월

AI 시대에 필요한 인간의 역량인 본질. 그 본질에 집중할 수 있게 도와주는 이 시대의 필독서

먼저 AI라는 어려운 주제를 다루고 있음에도 우리나라에도 이렇게 AI의 본질을 관통하는 책이 등장한 것에 경의를 표한다. 그간 수많은 AI 관련 기술 서적을 탐독했지만 이 책만큼 본질을 관통하는 책은 적어도 우리나라에선 보지 못한 것 같다.

AI 시대에 기술자들은 공부량이 어마무시하다. 나 역시 물리적 시간의 부족에 쫓겨 LLM 등장 이후에는 AI의 핵심 논문을 찾아볼 겨를도 없다. 생성형 AI 이전 시절에는 논문을 중심으로 학습했었음에도 이젠 가까스로 시간이 남으면 긱스 뉴스나 Daily Arxiv 혹은 페이스북 커뮤니티 등을 통해 동향만 어느 수준 파악하고 있을 뿐이다.

그도 그럴것이 불과 보름전에 MCP, A2A와 같은 또 다른 LLM 활용 기술이 등장했고 이들의 시너지에 호기심이 생겨 Cline, Cursor, WindSurf와 같은 AI를 탑재한 IDE의 사용법에 집중하는 것조차 시간이 빠듯하기 때문이다.

아마 대부분의 AI 진영 개발자들은 나와 같은 현실에 벗어나기 힘든 것 같아 보인다. 그런데 언제까지 이런 행태를 반복해야 하는 것일까? 이 책의 서두를 읽으며 적잖이 따끔했다. 한 두번은 이럴 수 있겠지만 매번 최신 기술이 나올떄마다 방향을 잃고 쫒는데에만 급급해야 하는 것인지에 대한 불안감이 엄습했다.

대한민국의 AI분야 자타공인 최고 고수인 하정우 의장도 그의 저서 2025 AI 대전환: 주도권을 선점하라에서 밝힌 바와 같이 기술의 본질에 집중할 시점임을 강조하고 있고, 기술의 편식에서 벗어나고자 AI 시대, 우리의 질문와 같은 인문 서적을 보며 노력보다는 방향성이 중요한 시대라는 것을 절실히 깨닫곤 한다.

바로 그런 점에서 그동안 정신없이 달리기만 했던 기술적 활용 능력 업그레이드의 과제를 잠시 중단하고 더 넓은 시야로 본질에 집중하며 AI의 발전속도보다 빠른 지름길을 찾아야 한다고 살 길이 열린다는 생각이 든다.

이렇듯 이 책은 내 기본적인 AI에 대한 접근법을 비판 및 검증하여 올바른 방향으로 이끌어 준 고마운 책이다.

그간 수많은 AI프로젝트를 진행해왔다. 온프레미스 중심의 머신러닝 시스템을 설계하는가하면 딥러닝 핵심 모델에 대한 이해의 깊이를 늘리고자 Numpy와 같은 원시적 수준의 라이브러리만을 활용해 딥러닝 모델을 구현해 본 적도 있고 지금은 앞서 말한 바와 같이 LLM을 누구보다 잘 활용하고자 노력하며 창의성을 불어넣고자 노력하는 중이다.

그런데 이런 빛의 속도에 가까운 기술의 발전속에 정작 본질을 제대로 이해해 온 것일까? 막연한 불안감은 이 책을 읽는 과정 내내 확신으로 바뀌었다. 그동안 의문이 떠올라도 깊이 고민할 시간이 없었던 주제들, 때로는 반드시 개념을 다지고 넘어가야 한다고 확신했으면서도 시간을 핑계로 넘겨왔던 주제들이 이 책에 거의 다 수록되어있다.

어쩌면 이렇게 대부분의 전문가들이 잘 설명하지 못하는 애매한 질문들과 어느 책에도 깊이있게 소개되지 않았던 핵심 개념들을 일반인 언어의 수준으로 이렇게 잘 전달할 수가 있을까?

이는 저자의 본질을 꿰뚫는 통찰, 수십년간의 경험, 그리고 본질을 있는 그대로 잘 표현해내는 전달력의 역량 덕분이 아닐까 싶다.

당장 1장만 펼쳐도 베이즈 추론과 조건부 확률이 AI에 활용되는 방식을 풀어쓴 것 부터 예술이다. 알파고 등장 이후 비전공 영역이었던 통계를 새롭게 공부하면서 베이즈 추론과 추천시스템의 본질이 이해되지 않아서 애썼던 경험이 있다.

개인적으로는 동적 기억력이 필요한 부분이라고 표현하곤 하는데 법학 분야의 법리도 비슷하다. 당장 내재된 기억으로 1차원적으로 활용할 수 없는 개념들이 있는데 IF문과 같은 요소들이 굉장히 복잡하게 얽혀 있다던가 극도로 축약이 되어있다던가 그런 류의 지식들은 인간의 두뇌에서 끄집어 내는데 제법 시간이 걸리고 완벽하게 기억하지 못하는 이상 실수가 나오는 영역이다.

이런 컨텍스트 로딩 지연 문제를 대응하는 방법은 반복, 숙달, 확실한 이해, 좋은 예제를 완벽히 이해하는 것 정도의 해법 밖에는 없어 보인다. 그래서 베이즈 추론 진영의 개념들을 직관적으로 빠르게 해석하는 능력은 결국 몰입했던 특정 머신러닝 시스템을 설계하면서 쌓인 경험으로 해결할 수 있었다.

그런데 1장에 등장한 “십회구마” 예제를 보고 과거에 이런 책을 만났다면 얼마나 좋았을까 아쉬움이 들 지경이다. 나의 설명보다는 내공이 고강한 저자의 설명을 직접 살펴보자.

베이즈추론, Likelihood 개념때문에 골머리를 썩어본 사람이라면 저자의 통찰력과 전달력을 한 눈에 알아볼 수 있을 것이다. 기계적인 계산으로 베이즈 추론의 공식상 완전한 피연산자의 구성이 불가능한 상황에서 AI가 어떤 단서를 얻어낼 수 있는지 그 개념이 AI에 어떻게 활용되는지는 물론 일련의 과정에서 있어 베이즈 추론의 개념을 완벽하게 이해할 수 있게 돕는다.

2장 역시 마찬가지이다. 엔트로피를 중심으로 KLD, 크로스 엔트로피로 이어지는 개념의 향연이 즐겁다. 클래스 간 순서가 존재하는 경우이거나 변수 범위를 벗어나는 경우 엔트로피의 무능함을 살펴봄으로써 통상적인 상식 수준으로 오용할 일을 줄일 수 있다.

3장 역시 AI에서 어쩌면 가장 중요한 근간인 확률 분포를 다루며 softmax에 숨은 본질을 살펴본다. 1등을 압도적 1등으로 만드는 지수적 원리의 부작용을 얼마나 훌륭히 제어할 수 있는지 아니, 정확히 애초에 문제가 있었던 것인지 조차 식별할 능력이 있었는지에 대해 독자들에게 날카로운 본질의 문제를 묻는다.

뒤에도 목표함수, 정규화, VAE, 평가 등의 본질을 살펴볼 수 있는 향연은 계속된다. 어려운 개념들을 이리 쉽게 설명할 수 있다는 것이 놀랍다.

요즘 잠들기 전 생각을 정리하기 위해 즐겨읽는데 읽을 때마다 새롭게 보이기도 하고 무엇보다 읽는 것이 즐겁다. 여기서 그치지 말고 저자가 남은 경험과 지식들을 더 공유하는 책을 출간하여 AI 민주화에 공헌해주시길 기대하는 마음이다.

LLM을 활용해보며 90% 이상은 참 쉽게 만들 수 있다는 생각이 든다. 문제는 10%의 정확도와 원하는 방향으로 이끌기 위한 스킬이 중요한 시대가 된 것 같다.

다만 블랙박스 내부 해석을 위한 XAI 기술을 비롯하여 원치 않는 결과가 나왔을 때 원하는 성능으로 유도하는 기술과 역량이 중요한 시대가 올 것 같다.

그리고 그 중심에 본질이 있다. 그래야 제대로 활용할 줄도 알고 AI의 사각지대가 무엇인지 파악할 수 있어 AI를 제대로 이끌 수 있을 것 같다. 끊임없이 존재 의미를 찾아야하는 미래의 여정에서 이 책은 훌륭한 나침반이 되어 줄 것이다.

AI 시대, 우리의 질문

AI 시대, 우리의 질문 - AI와 우리를 위해 반드시 짚고 넘어가야 할 질문 13
미리엄 메켈.레아 슈타이나커 지음, 강민경 옮김 / 한빛비즈 / 2025년 3월

“AI-인간”의 본 모습을 이해하기 위해 시대를 관통한 거인들의 어깨를 빌려 장미빛 미래의 멀티버스 선택을 위해 반드시 생각해봐야 할 질문을 도출한다.

AI가 세상을 뒤흔들고 있지만, 결국 기계와 인간 사이의 문제이다. 나는 이럴때마다 손자병법의 지피지기 백전백승의 잣대를 활용한다. 너무 단순한 개념인지라 대부분의 사람들이 중요성을 간과하는 경향이 있는데 이런 심도있는 문제를 다룰때마다 나는 반드시 이 프레임을 먼저 꺼내든다. 예를들면 논할 가치도 없는 성 혐오 현상도 범죄자 여부를 가리기 이전에 남녀를 먼저 분류해서 생기는 우매한 현상이다.

다시 책의 화두로 넘어와서 적용해보자면, 내가 인간이라면 상대는 AI다. 즉, 인간과 AI를 다 잘 알고 있어야 전쟁에서 이길 수 있다는 말이 된다.

이 책을 읽는 나는 또 하나의 전쟁을 했다. 저자들은 주로 인간의 진영에 서 있었기에, 기술자이자 독자인 나는 AI 진영에 서 보았다. 둘의 치열한 사고 논증, 비판의 과정을 거치면 언제가 그렇듯 변증법의 선물을 얻을 수 있다.

세상의 본질을 이해하고 그 이해를 바탕으로 세상에 창의성을 부여하는 독일 학자들 답게 존재론적 그리고 인식론적 문제에서 인간과 현 사회의 본질을 해석하고, 역사적 그리고 철학적인 저변의 탄탄함을 바탕으로 인간과 세상을 재해석해내는 통찰의 과정이 놀라웠다.

먼저 이 책은 기계(AI)의 태생의 근간인 인간의 사고에 대한 모방에 있어 인류가 쌓아온 역사와 굵직한 사건들 그리고 그 과정에 인간의 사유 과정을 잘 정리하고 있다.

미국의 철학자 길버트 하만이 고안한 “통속의 뇌 사고실험”, 세계 최초의 컴퓨터 프로그래머 에이다 어거스타 러브레이스의 기계에 대한 생각, 상대가 사람인지 컴퓨터인지 구분할 수 없는 “튜링테스트”, “인류는 지능 발달의 일시적 단계일 뿐”이라며 구글을 퇴사한 제프리 힌턴의 경고에 이르기까지 심도있는 철학의 저변에 기대어 시대를 관통한 인물 혹은 사건에 대해 사고하다보면 AI와 기계를 이해하기 위한 밥솥이 끓기 시작한다.

이어서 인류 역사와 철학의 동력인 “사람의 생각을 이해하기 위한 노력”의 향연이 펼쳐진다. 아리스토텔레스의 삼단논법과 연역논증,라이프니츠의 확률 모델, 불의 대수, 로젠블렛의 신경망, 민스키와의 정반합의 논리와 기술에 가까운 사고과정을 들여다 보면 AI를 이해하기 위한 기본적인 상식을 얻을 수 있다. 세상을 석권하는 AI 솔루션들을 한눈에 관찰할 수 있는 것은 또 다른 별미이다.

3장에서는 AI의 역사적 발전 과정을 엿볼 수 있다. 인공지능의 겨울 시기의 힌튼의 활약, GPU의 등장과 발전으로 인한 컴퓨팅 파워의 향상, 얀르쿤과 이미지 넷, 알파고의 등장, GPT의 등장, 할루시네이션 현상, GAN의 개념은 사실 기술적으로 꽤 어려운 개념이지만 일반인이 이해할 수 있을 정도의 일상 수준 언어로 잘 정리하고 있다.

여기까지 기계에 대한 이해를 도왔다면 4장부터는 현 시점 인간과 세상에 대한 이해를 위한 통찰로 넘어간다. 본격적인 변증법 싸움의 시작인데 AI 시대 반드시 우리가 해결해야 할 질문들을 체계적으로 파악할 수 있게 도와준다.

우선 경제 부문의 경우, 맥킨지애 따르면 생성형 AI는 4조 6천억 달러의 잠재력을 가진 시장으로 파악된다.

그러나 현실은 AI가 가져올 변화에 대응할 여력은 커녕 우리가 가진 큰 문제도 해결하기 어려운 상황인 것 같다. 노벨상을 수상한 로버트 솔로의 “생산성의 모순” 문제가 그 예이다. 이는 현재 경제학자들도 쉬이 결론을 내지 못하는 생산성의 문제로, 사람이 동영상을 녹화하여 인터넷강의 등으로 수익을 얻게 되면 분명 통계에 없는 컴퓨터가 등장하기 시작하는데 경제 측면에서 쏟아져 나오는 수많은 데이터들이 짜임새 있게 연결되거나, 전체를 파악하기 어려운 상황이다.

노동 측면의 경우도 상황은 마찬가지이다. 핀란들에서 실험한 조건없는 기본 소득 가능성의 문제가 그 예이다. 이런 실험을 진행하면 결국 인간의 본질적인 욕구가 주변환경의 변화에 어떤 움직임을 보일지 심도있는 연구가 선행되어야 할 것 같다.

존 메이너드 케인스의 “손자세대를 위한 경제적 가능성” 논문에 의하면 일 3시간의 노동만이 가능한 시대를 점치는데 이와 비슷하게 우리나라에도 일찍이 주5일제, 대체휴일제, 주52시간제 육아휴직 등의 제도가 시행되었다.

일개 노동자인 나의 개인적인 느낌으로는 다행히 사회에 큰 변화가 없이 삶의 질이 좋아졌다는 것을 느꼈다. 그런데 AI가 가져오게될 빈곤 혹은 편리의 문제 또한 그렇게 무사히 지나갈 수 있을까?

저자들은 다양한 역사적 사례를 제시하며 독자들의 다양한 경우의 수 - 멀티버스 -를 내다볼 수 있게 돕는다.

산업혁명기 영국 섬유 공장의 방직기를 부순 러다이트 운동, 인정받고자 하는 욕구를 비롯 자본주의 사회에 내재된 인간의 욕구, 자연을 지탱해 온 정규분포 곡선의 붕괴 우려, ATM이 2000년까지 15년간 6배가 늘었으나 은행 창구직원은 약 5만명이 증가한 리플의 법칙을 현대적 관점에서 해석한 사례나 2030년 예측되는 직업군의 85%가 아직 등장하지 못한 현상 등 다양한 역사적 사실은 보다 정확한 미래 예측을 돕는데 일조할만한 사례들이다.

책에서 언급한 대로 생성형 AI 분야만 보더라도 프롬프트 엔지니어, GPT 트레이너, AI 심사원, 인간-기계 통합 관리직 같은 새로운 일자리가 출현하고 있다. 과연 AI가 일자리를 줄이기만 할 것인지, 새로운 일자리를 창출할지는 늘 화두가 되는 문제이지만 적어도 기술자적인 관점에서 경험하기로는 새로운 일자리의 수요도 상당 부분 증가하고 있다.

이 문제는 창작에 관련된 파트까지 이어진다. “원본이란 무엇인가?“의 문제에서 출발하여 AI는 저작권의 판도도 뒤 흔들기 시작한다. 하늘 아래 새로운 것은 없고 바퀴를 새로 만들지 말라는 격언은 원본에 관한 근본적인 정의를 애매모호하게 만든다. 이 부분에 대한 답 없이는 AI가 생성해내는 산출물 역시 올바른 잣대를 적용할 수 없을 것이다.

책과 별개로 개인적인 경험을 빗대어 소개하자면 최근 A2A, MCP, Agent 등의 기술이 등장했다. 주변 개발자들은 cursor, cline, windsurf 등 AI의 능력을 활용하여 프로그램을 개발하기 시작했다.

재미있는 것은 개발자들이 많은 호기심을 갖기 시작했다는 것이다. agent 상호간의 소통으로 어떤 시너지가 나올지 실험하는 개발자가 늘고 있다는 것인데 그 결과로 속속들이 생각지도 못한 혹은 이 세상에 없었던 아이디어, 결과들이 쏟아지고 있다.

근친 교배의 위험성은 이미 자연현상에 존재하는 개념이다. agent간의 상호작용 - 즉, AI끼리의 대화로 사람과 AI의 대화를 넘어선 세계 - 이 지속되며 근친 교배 위험성 방지를 위한 새로운 지식은 어떤 식으로 공급되어야 할까?

정치 역시 우려되는 주요 분야이다. SNS에 영향을 끼쳐 사상으로 이어지게 만드는 AI의 생산물들, 딥페이크로 인한 성범죄와 사상에 끼치는 영향력에서 AI에게 사상의 정당성을 판단할 영역까지 맡겨야 할까?

최근 정치, 경제가 어느때보다 크게 뒤흔들리고 있다. 트럼프 관세발 주식 하락장을 골드만삭스의 허위정보로 반등하는 재미있는 현상을 보기도 했는데 정보의 조작과 왜곡에 맞설 방법이 과연 존재할까? 또, 조작의 주체는 누구인가?

"경계"

최근 내 최고의 관심사는 경계에 있다. 인류가 아직 풀지못한 애매모호한 경계선들이 참 많다. 미적분 등장 이래 0과 무한이 0에 가까운 것의 경계선이 불분명하다.

또, 아인슈타인 이후 미시세계와 거시세계의 경계가 모호하다. 이는 양자역학으로 이어진다. AI 덕분에 정성과 정량의 경계는 그나마 뚜렷해졌다. 너무나도 정성적이었던 것이 상당부분 정량화 되었다.

그대신 이제는 정답이 존재하는 개념과 존재하지 않는 개념의 경계? 혹은 가치관, 신념, 취향의 경계에 대해 심도 있는 연구가 필요한 시점인 것 같다.

윤리, 편견 등의 옮고 그름을 어떻게 판단할 수 있을까? 이 책에서는 코드자본을 소개하며, 공정한지 물을게 아니라 어떻게 권력을 움직이는지의 질문으로 우문을 현문화하는 아이디어를 제시하기도 한다.

10장에서 12장은 앞서 언급한 내용들을 종합적으로 결론 내리며 인류가 가야할 방향을 제시한다. 당연히 저자들도 쉽게 내릴 수 없는 결론이거니와 나도 많은 세월을 기울여 판단해야 할 문제이기에 비판적 검증조차 접근하기 어려운 영역이기에 이 책을 읽는 독자분의 판단에 맡기고 싶은 부분이다.

다만, 이 장을 읽으면서 MNIST 데이터셋의 판단 정확도 측면에서 AI가 인간을 넘어선 요즘 캡차가 무슨 의미가 있는 것인지? 나아가 지능이란 무엇인가에 대한 심도있는 질문과 답을 수도 없이 되뇌었다.

마지막 13장과 에필로그는 서양권에서 가지는 13이라는 숫자의 근엄함이 느껴진다. 아카데미에서 7개 부문의 상을 석권한 “에브리씽 에브리웨어 올 앳 원스” 영화를 소개하며 AI가 가져올 멀티버스의 수미쌍관 장식이 수려하다.

결론은 AI로 인해 인간이 행복해질지 혹은 인간의 종말이 다가올지의 문제로 귀결된다.

개인적으로 인간의 역할은 점점 세상의 진리, AI에의 지피지기에 있어 역설적으로 본질에 집중해야할 시점이라 생각한다. 이 책의 저자들도 비슷한 관점을 내비치고 있어 틀린 판단은 아닌 것 같아 위안이 되기도 했다.

중요한 것은 기술에 종속되어 쫓아다닐 것이 아니라 이 책에 소개된 시대를 관통하는 통찰처럼 잠시 멈추고 본질적 현상의 변화가 무엇일지 예측이 필요한 시점이라는 점이다.

본질을 잃거나 비판적 사고 방식의 둔화를 최대로 경계하며 위 질문들에 대한 사회적인 합의가 이뤄진다면 조금은 더 장미빛 미래의 멀티버스를 선택할 수 있지 않을까?

---

• 책소개 - AI 시대, 우리의 질문

[리뷰] NLP와 LLM 실전 가이드

NLP와 LLM 실전 가이드 - 기초 수학부터 실전 AI 문제 해결까지
리오르 가지트 외 지음, 박조은 옮김 / 한빛미디어 / 2025년 3월

LLM의 등장에 이르는 거의 모든 기술을 담고 있어 놀라웠다. 한 눈에 NLP의 기술들을 파악하기에 용이한 책.

기초 수학에서 최근의 멀티 에이전트에 이르는 방대한 NLP의 기술을 총망라한 책이다. 책 제목이 실전 가이드라는 표현을 담고 있지만 원서 제목인 “Mastering NLP from Foundations to LLMs”이 내용에 더 부합한 것 같다. 논문으로 따지면 리뷰 논문 같은 책이다.

유사 주제를 담고 있는 다른 책들과 비교하여 이 책만이 가지는 도드라진 특징이 두가지 있다.

하나는, NLP의 방대한 역사와 기술을 한 눈에 파악할 수 있게 일목요연하게 정리되어 있다는 점, 다른 하나는 광기의 속도로 진화하는 AI의 변화속에서 인간의 역할인 본질의 이해를 돕는다는 점이다.

책의 굵기 대비 NLP에 활용되는 기술을 핵심만 컴팩트하게 담아낸 점에 대해서는 저자께 경의를 표한다. 비록 분량상 매우 핵심 개념만 담고 있다는 한계가 있지만 정말 중요한 개념은 모두 소개되고 있다.

따라서 이 책의 독자로 적합한 사람은 NLP의 거대한 산을 조망할 필요가 있는 전략 기획 파트 종사자, 경영진, 특정 시점에서 배움의 흐름이 끊긴 NLP 분야 도전자 정도가 가장 어울릴듯 싶다. 하지만 AI의 본질을 이해하는 데 도움을 주기 때문에 어느 독자가 읽어도 많은 도움을 얻을 수 있을듯 하다.

실력 좋은 박조은님이 번역한 점도 마음에 든다. 예전 공공 데이터 분석 인프런 라이브 코딩 기반 강의를 수강하며 참 Python을 잘 다루는 분이라 감탄한 기억이 있다. AI와 관련된 지식도 해박한 분이기에 번역도 매끄럽고 가독성이 좋다.

책은 크게 두 파트의 내용으로 나뉜다. 1~7장은 현시점 LLM의 등장에 기여한 기초지식 또는 다소 시간이 지난 기술 등이 소개되고 있고, 8~11장은 SOTA 기술 및 미래에 대한 전망 등이 담겨있다. 실전적인 측면에서도 후반부는 실전적인 기술들이 담긴 반면, 전반부는 핵심 기초 개념을 담고 있다.

현시점 AI는 세상에서 가장 관심받는 화두인 것 같다. 그 거창함과 따를 수 없는 변화의 속도에 지레 겁먹곤 하지만 내가 파악한 AI의 본질은 정량화 범위의 확대, 비정형 데이터 해석 능력의 확대, 멀티모달의 등장 정도로 요약할 수 있을것 같다.

정량화 범위의 확대라는 개념은 그동안 정성적인 분야로 수치 측정이 불가능한 그래서 컴퓨터가 해석할 수 없는 영역의 데이터가 상당 부분 정량화 되었다는 뜻인데 본 도서에서 다루는 NLP 분야의 눈부신 발전이 대표적인 사례이다.

바둑을 좋아하는 나로써는 대국의 해설을 종종 즐겨듣곤 하는데 해설가들이 쓰는 표현이 묘할 때가 많다.

“지금과 같은 상황에서는 A, B, C 정도에 착점을 할 수 있겠는데, 제 경험으로는 A자리가 일감이 있는 것 같습니다. 이리저리해서 충분한 한판의 그림이 그려집니다.”

여기서 “일감“이라는 단어가 재미있는 표현인데 이게 그냥 단순히 감각이라고 말하기도 뭣하다. 나름 해설가의 수많은 대국 경험 속에 뇌에서 판단한 최적화된 최선의 수가 도출된 것인데 그렇게 따지면 또 데이터 드리븐의 정량적인 판단이기도 하다.

알파고의 성공 요인은 이 애매한 감각 혹은 정성적인 영역을 철저하게 정량화 시켰다는 데 있다고 본다. 또 다른 관측 단서가 제공되었을 때 변화 무쌍하게 변화하는 인간의 사고 과정을 베이즈 추론이나 조건부 확률로 정량화 한 그런 느낌과 유사한 과정이다.

NLP의 핵심 또한 인간과 기계 사이의 경계선에 얼마나 서로 다가갈 수 있느냐의 싸움인데 - 더 정확히는 기계가 홀로 삼팔선에 다가오는 형국이지만 - 트랜스포머와 같음 모델이 그 경계선을 상당히 좁혔다고 평하고 싶다.

이 책의 전반부를 읽으면 그 경계선에 도달하기 위해 NLP 분야 종사자가 얼마나 치열하게 고찰하고 노력해 왔는지 알 수 있다.

코사인 유사도와 유클리드 거리와 같은 수학의 기초 개념은 두 개념간의 유사성을 판단하는 데 활용되고, 컴퓨터 공학 분야를 필두로 자연어를 숫자로 표현해내는 방법이 다양해졌다.

선형대수는 두 벡터의 연산을 가능하게 해준다. 벡터의 덧셈은 벡터의 각도와 길이를 변화시키고, 내적은 벡터사이의 각도를 스칼라값으로 변환시켜주며, 노름은 길이를 구해준다. 다양한 데이터를 가진 행렬은 고유 벡터로 단순화 가능하며 PCA나 SVD 등을 활용해 분해도 가능하다.

이런 방대한 데이터들은 GPU 중심의 컴퓨팅 파워를 통해 병렬로 빠른 연산이 가능해졌다. 다양한 학제 분야가 만나 거대한 가능성을 열어준 셈이다.

또한, 딥러닝을 활용한 대부분의 모델은 확률 모델이다. 이를 위해 확률 및 통계 분야의 그간의 업적이 큰 빛을 발한다. MLE와 같은 개념은 베이지안 추정이나 조건부 확률을 활용하여 LLM의 질의에서 또 다른 단서가 주어졌을 때 유저가 원하는 최선의 확률을 판단하는데 쓰이는 개념이다.

이러한 기초 개념들에 날개를 달아주는 것은 역시 AI이다. 머신러닝과 딥러닝의 등장으로 NLP는 더 이상 꿈의 기술이 아니게 되었다. 이 책에서는 특성공학부터 시대의 주류를 담은 SVM 등 다양한 모델의 핵심 개념이 소개된다. 하이퍼 파라미터 미세조정에서 전통 통계학에서 다루는 불균형 데이터 다루는 스킬이나 스태킹 같은 여러 모델을 비교 검증하는 개념도 담고 있다.

4장에서는 전처리 과정도 상당 부분 할애하여 정리하고 있는데 오늘날에는 딥러닝과 LLM의 등장으로 전처리 자체에 큰 의미는 없다고 본다. 불용어 또한 나름의 맥락과 정황을 담고 있는 소중한 정보이기에 전통 방식의 전처리를 거치면 오히려 성능이 저하된다.

그럼에도 이 파트는 BERT같은 모델의 핵심을 파악하는데 도움이 된다. 오늘날에는 GPT 중심의 Decoder-Only가 대세가 되었지만, 이러한 발전이 근간에는 BERT같은 Encoder-Only의 발전이 한 몫하기 때문이다.

임베딩은 자연어를 수치 계산을 가능하게 하는 Vectorization을 가능하게 한다. Word2Vec과 같은 기초 모델의 발생 배경 등을 보며 Vector DB의 등장 배경을 이해할 수 있고, 토픽 모델링 등 그동안 NLP의 주류 발전 현황을 쉽게 파악할 수 있다.

이는 딥러닝을 만나 날개를 다는 데 이 중심에는 트랜스포머가 있다. 특히 셀프 어텐선 계층의 고안은 혁신적이다. 단어마다 병렬로 상대적 중요도를 파악할 수 있게 되면서 문맥의 맥락을 정량화 할 수 있게 되었다.

알파고 이후 딥러닝 진영의 논문을 읽으며 즐겼던 10년 전 즈음의 연구자들은 대부분 느낄 것이다. GRU 모델을 보며 장기기억의 가능성과 한국인 교수의 업적에 나름 짜릿한 희열들이 책을 읽으며 추억으로 지나갔다.

7장에서는 이에 대한 진화로 RLHF와 같은 비교적 최신 기술을 엿볼 수 있다. PPO의 개념이나 보상 모델을 읽다보면 늘 흥미롭다.

이론이나 개념에 지루함을 느끼는 독자라면 8장 이후의 후반부는 꽤 신선하게 다가올 것 같다. 의학이나 법률 등 특정 영역의 지식마저 외부 검색을 통해 할루시네이션을 최소화하는 RAG 기술이나, 자체 데이터를 추가적으로 학습 가능하게하는 LangChain 등의 기술이 등장한다.

소개하는 코드는 베이스 라인 수준의 코드인데 제일 중요한 핵심을 담고 있어 구현체를 작성하는 데 큰 도움이 될 것이다. 하지만 실무에 직접적인 도움을 받고 싶다면 책 서두에 표기된 깃허브에 올라온 저자의 코드를 전부 분석할 것을 권하고 싶다.

9장은 애플리케이션 측면에서 더 재미있고 최신의 기술을 담고 있다. 유튜브 URL을 쉽게 요약하는 방법이나 체인 활용 예제가 등장하는데 이중에서도 멀티 에이전트 AutoGen이 눈여겨 볼 부분이다. 모델끼리 협력하는 아이디어 자체는 늘 인류 역사상 존재하는 뻔한 아이디어지만 그럼에도 GPT-4o같은 놈들이 여럿 협업해서 일하고 중간에 사람도 개입하는 일은 충분히 두근거리게 만드는 일이다.

이어지는 트렌드 분석 파트나 전문가들의 인터뷰 답변은 AI의 발전 방향을 파악하는 데 도움이 된다. 독자의 상상력을 극대화해주는 파트인데 개인적으로는 아무리 기술이 발전해도 인간 역할의 핵심은 여전히 본질을 파악하는 데 있다고 본다.

AI가 제 아무리 발전한들 이를 오케스트레이션하는 과정에서 본질을 파악하는 인간이 AI의 한계나 가능성 또한 제대로 보고 활용할 줄 안다고 생각하기 때문이다.

광기에 가까운 AI 발전 속도에 정신을 잃지 않고 본질을 파악하기 위해 이 책의 일독을 권하는 바이다.

---

• 책소개 - NLP와 LLM 실전 가이드

전문가를 위한 리액트

전문가를 위한 리액트 - 빠르고 성능이 뛰어난 직관적인 애플리케이션 구축하기 ㅣ O'reilly 오라일리 (한빛미디어)
테자스 쿠마르 지음, 김태곤 옮김 / 한빛미디어 / 2024년 12월

IT 전문 기술 습득을 위한 필독서 시리즈인 오라일리, 그 중에서도 꼭 챙겨봐야 할 Fluent 시리즈 중 하나로 React 고급 기술을 담은 책이다.

전문가 레벨의 내용을 담고 있기 때문에 이 책은 React로 단순하고 쉬운 애플리케이션 기능을 구현하는 예제는 별로 등장하지 않는다. 대신, 그간의 React 개발 경험을 갖고 있는 독자들이 그동안 고민하거나 궁금해했던 고급 스킬들을 담고 있다.

하나하나 구체적인 예들을 소개해 보자면 먼저 DOM의 성능을 개선하는 방법을 들 수 있겠다. 실제 DOM의 offsetWidth와 같은 속성은 상위 엘리먼트나 레이아웃에 의존적인 속성이므로 최신 상태의 정보를 담고 있는지 확인해야 하기에 리플로가 발생한다.

이에 대한 대안으로 getBoundingClientRect()와 같은 메소드를 사용해 레이아웃 I/O를 일괄처리 하는 방법이 가능하다. 즉, 레이아웃 스레싱 현상을 최소화 할 수 있다.

이를 조금 더 확장하여 재조정(reconciliation) 기법을 활용할 수 있다. 이는 가상 DOM을 구성한 후 실제 DOM을 업데이트하는 과정인데 이 중 파이버 재조정자를 예로 들어볼까 한다.

파이버 트리는 리액트 엘리먼트 대비 수명이 길어 상태를 오래 보전할 수 있다는 장점이 있다. 커밋 단계에 대한 설명을 보면 가상 DOM의 변경사항을 각각 변형 및 레이아웃 단계를 거쳐 어떻게 실제 DOM에 반영하는지 개념적으로 쉽게 이해할 수 있다.

한편 또 다른 고성능을 보장하는 이슈로 메모화, 지연 로딩, 상태 관리, 리듀서 등의 다양한 이슈를 살펴볼 수 있는데 그 중에서 비교적 쉬운 메모화를 소개해 본다.

메모화를 활용하면 컴포넌트 렌더링 최적화가 가능하므로 불필요한 컴포넌트 리렌터링을 방지할 수 있다. 대표적으로 userMemo를 사용한 방식이 있는데 이를 활용시 정렬 작업에 있어 발생하는 상당한 과부하를 해결하는데 도움이 된다.

다만, 언제나 만능 치트키가 될 수는 없는 법. 이에 대한 나쁜 사례를 다루는 데 저자가 꼼꼼하게 본인의 경험을 녹인 부분이 인상적이었다.

마지막 예시로 서버 사이드에 대한 기술로 이 책이 다루는 기술 소개를 마칠까 한다. 검색 엔진 최적화(SEO)는 이제는 웹 애플리케이션이 다뤄야 할 보편적인 기능이 된 것 같다.

문제는 검색엔진의 크롤러가 자바 스크립트의 기능을 온전히 수행하지 않는 경우가 발생하기에 이런 경우 서버 사이트 렌더링 혹은 하이드레이션과 같은 기술이 필요하다.

그 외에도 서버 사이트 기법은 사용자 경험, 보안, 성능 측면에서 더욱 필요한 데 이 책에서는 renderToString이나 renderToPipeableStream과 같은 기술들을 소개하고 있다.

리뷰에서 다 언급하지는 못했지만 Next.js와 같은 프레임워크나 userTransition 등의 동시성 문제, 서버 컴포넌트 등을 다루고 있어 리액트 기술을 한 단계 업그레이하고자하는 독자라면 반드시 읽어야 할 필독서라 생각한다.

전문가를 겨냥한 책답게 리액트를 넘어선 프런트엔드 세계의 기술도 소개한다. 수미쌍관식 구성이 인상적인데 1장에서 과거의 유물들인 jQuery, Backbone, knockout 등 과거 프레임워크와의 비교를 통해 리액트가 추구하고자 하는 방향과 장점을 파악하기 용이했다면, 10장에서는 뷰, 앵귤러, 스벨트, 솔리드, 퀵 등의 경쟁자들의 특징을 리액트와 비교해 봄으로써 관련 기술 전체를 조망하도록 구성된 점이 뛰어난 부분이다.

마지막으로 전문가를 타켓으로 하는 수준을 담은 만큼 내용이 다소 어려울 수 있다. React 중급자 수준 이상의 스킬을 가진 독자가 읽을 것을 권하고 싶으며, 리액트 스킬을 성장시키고 싶은 독자에게는 반드시 일독을 권하고 싶다.

---

• 책소개 - 전문가를 위한 리액트

[리뷰] 챗GPT API를 활용한 챗봇 만들기

챗GPT API를 활용한 챗봇 만들기 - 개정판, 5일 만에 배우는 AI 챗봇 개발의 모든것(LLM,프롬프트 엔지니어링, 오픈AI API, 에이전트, 벡터DB)
이승우 지음 / 한빛미디어 / 2024년 8월

장인정신으로 저자가 경험한 지식을 체계화하여 독자로 하여금 시행착오와 시간 낭비를 줄여주는 명작.

간만에 장인정신이 깃든 책을 만났다. 한페이지 한페이지 전달력은 물론이고 실용적 측면에서 정점에 다다른 책.

개인적으로 한빛미디어에서 다양한 활동을 하고 있다. 원서를 발굴하고 평가하며 베타리딩에 종종 참여하는 프리뷰어스 활동을 비롯하여, 5년 넘게 나는 리뷰어다 활동을 하며 신간에 대한 서평을 남기고 있다. 언젠가는 나도 이 책처럼 장인정신이 깃든 책을 남기고 싶다는 소망과 함께.

활동중에 2024년 최고의 한빛미디어 책을 선정해달라는 설문을 받았는데 다른 우수한 책들도 너무 많았지만 난 주저없이 이 책을 꼽았다. 그만큼 한페이지 한페이지의 농도가 참 진했다.

이 책은 매우 빠른 시간내에 쉽게 GPT API를 활용하여 서비스를 구축하는 기술을 익힐 수 있는 책이다. 책에 담긴 내용들이 너무 유익하고 다양하며 전달력이 뛰어나 제목만으로 이 책을 표현하기가 어렵다.

대부분의 책들이 제목 하나만큼도 제대로 담아내지 못하는 경우가 흔한 점에 비추어 볼 때 이 책은 되려 제목이 책의 내용을 전부 담아내지 못해 저평가 될 수밖에 없는 셈이다. 독자 입장에서는 반드시 잡아야 하는 책이다.

본론으로 들어가 본격적으로 이 책을 소개하자면 GPT를 활용하여 쉽게 성능좋은 챗봇 서비스를 만드는 기술서라 할 수 있겠다. 완성된 챗봇의 모양은 다음과 같다.

책에서 배울 내용을 일목 요연하게 정리한 도식도는 다음과 같다. 챕터 하나하나가 한권의 책으로 낼 수 있을만큼의 거대한 주제들이다.

예를 들어 12장~13장에서 소개하는 벡터DB는 기본적인 DB 인프라는 물론 NLP, LLM, 임베딩, 트랜스포머, 인코딩 들의 기본지식을 알아야 완벽하게 소화할 수 있는 부분이다. 묘하게도 저자는 실용적인 관점에서 이에 필요한 지식을 꽤 압축하여 전달하는데 그럼에도 내용을 이해하고 따라 실습하기에 무리가 없다는 점이 신기했다.

또한 극도의 실용을 추구한다는 점도 개인적으로 마음에 드는 부분이다. 챗봇 자체를 구현하는 것도 좋지만 이를 카톡으로 연결하는 기능도 소개하고 있어 다방면으로 손쉽게 이용할 수 있는 서비스의 기능을 극대화하는데 도움을 준다.

2장에 필요한 만큼만 배우는 파이썬 챕터 하나만 봐도 주옥같다. 파이썬을 쓸만큼만 배운다는 것은 말이 쉽지 실상은 그렇지 않다. 어느정도 파이썬의 완숙한 경지에 이르러야 이런 경지가 가능할 듯 싶다. 놀랍게도 이 책의 2장만 배워도 왠만한 파이썬 코딩에 큰 문제는 없을 것 같다. 시중에 나온 꽤 괜찮은 파이썬 도서보다 이 책의 챕터 하나가 훌륭해 보인다.

주요 개념에 대한 압축 전달은 아래 그림만 봐도 얼추 이해될 것이다. 탐색 기법에서 주요 개념과 논문을 한페이지에 깔끔하게 전달한다. 저자의 전달력에 경의를 표하고 싶은 부분이다.

전달력을 높이는 다양한 방법 중에 숨어있는 하나의 장치는 바로 직관적으로 이해하기 쉬운 도식도이다. 예시를 통해 구체적으로 기술을 체감할 수 있도록 구성되어있으며 화살표에는 순번이 매겨져 있어 그림 하나만 제대로 이해해도 GPT를 활용한 서비스의 대부분을 쉽고 빠르게 이해할 수 있어 좋다.

그런 부분들을 따로 뽑아 그림으로 발췌해본다. 책 내용을 몰라도, GPT를 활용한 서비스를 구축하지 않았어도 이 그림만 봐도 상당히 많은 부분이 사전지식없이도 이해될 것이다.

쭉 훑어보면 알겠지만 이 책에서 전달하고자 하는 핵심 내용 부분만 발췌한 것이다. 각 챕터별 중요한 정보들을 이 그림만 봐도 일목요연하게 이해할 수 있다. 잘 만들어진 책은 이처럼 시각적 요소만 봐도 책 내용 대부분을 이해할 수 있다.

책의 부제에는 “5일 만에 파이썬, 프롬프트 엔지니어링, 오픈AI API, 에이전트, 벡터DB 마스터하기”라고 적혀있는데 실제 실습해보면 5일도 오히려 넉넉하게 시간을 준거라는 사실에 다시 한 번 놀라게 된다.

책을 좋아하여 참 많은 책을 읽고 리뷰를 작성하지만 이 책은 10년동안 만난 책 중 최고로 꼽을수 있는 책이다. 모든 책들이 이 책 같았으면 얼마나 세상이 편해질까?

이런 좋은 책은 사실 나만 알고 싶지만, 저자의 세상에 대한 기여를 생각할 때 그럴 수 없는 책이다. 이렇게 좋은 책은 세상에 널리 알려져야 한다. 이런 좋은 책이 점점 늘어나는 사회를 위해 기여하기 위해 조촐한 내 리뷰도 뭔가 기여를 했으면 좋겠다.

GPT를 이용하여 실용적인 서비스 만들고 싶거나, AI 시대에 현 시점 최신 개발 트렌드를 알고 싶은 독자, 그리고 챗봇에 관심이 많은 독자, GPT를 보다 심도있게 알고 싶은 독자라면 이 책을 꼭 추천하고 싶다. 설사 아무 관련과 목적이 없을지라도 이 책을 읽고 실습 과정을 따라하다보면 많은 것을 얻어갈 수 있을것이다.

뛰어난 양서를 출간해주신 저자, 편집자, 출판사 및 관련자 모든 분들께 감사를 표한다.

---

• 책소개 - 챗GPT API를 활용한 챗봇 만들기