Do it! BERT와 GPT로 배우는 자연어 처리

Do it! BERT와 GPT로 배우는 자연어 처리 - 트랜스포머 핵심 원리와 허깅페이스 패키지 활용법 ㅣ Do it! 시리즈
이기창 지음 / 이지스퍼블리싱 / 2021년 12월

저자의 전작 <한국어 임베딩>의 연장판이라 볼 수 있습니다. 전작과 마찬가지로, 적당한 설명과 적당한 생략으로 각 모델들의 가장 중요한 부분을 설명하는데 집중했습니다. 토크나이저와 셀프어텐션 설명이 충분히 있어 논문을 읽기 전에 읽는다면 논문을 이해하기 쉬울 것 같습니다. 다만, 논문을 안 읽어도 될 정도로 자세하고 상세한 설명은 있지 않으니, 이 책 만으로 BERT와 GPT를 완전히 이해하는 것은 무리입니다.

실습은 저자가 250페이지 안에 여러 과제를 다루기 위해 따로 만든 라이브러리를 씁니다. 실제 task를 할 때에 비해 추상화되거나 생략된 부분이 많기 때문에 책에 나온 코드를 그대로 내 문제를 해결하는데 쓸 수는 없습니다. 다만 책의 내용을 보면서 어떤 문제일 때 어떤 방식으로 모델을 구성하고 사용해야 할 지는 이해하기 쉬우니, 이 또한 모델을 구축하기 전에 읽어두면 구현의 방향성을 잡기 쉬울 것 같습니다.

이것은 정말 글쓰기가 아니다

이것은 글쓰기가 아니다 - 글쓰기를 처음 시작하는 이들에게
조영복 지음 / 서울대학교출판문화원 / 2016년 2월

 우리는 글을 쓴다. 보고서를 쓰고, 논문을 쓰고, 연애편지를 쓴다.  우리가 쓴 글은 그것이 담고 있는 무언가를 보여주는 역할을 한다.  그래서 잘 쓰지 못한 글은 그것이 담고 있는 것을 퇴색시킨다. 업무 성과가 작아 보이고, 연구 결과가 빛나지 못하며, 사랑하는 마음을 전하지 못한다. 이런 아쉬운 경험을 하지 않기 위해서라도 우리는 글을 잘 써야 한다.

 글쓰기에 대한 책은 수없이 많다. 글쓰기에 관심 있다면 한 번쯤 들어봤을 법한 이태준의 <문장강화>도 있고, '글쓰기 책이 이렇게까지 재밌어도 되나?' 싶은 것으로 유명한 스티븐 킹의 <유혹하는 글쓰기>도 있다.  최근에는 유시민의 <유시민의 글쓰기 특강>이 유행하기도 했으며, '유시민 작가는 천재류라 우리 같은 범재들을 위한 글쓰기 책이 필요하다'라고 농담삼아 말하는 강원국의 글쓰기 시리즈도 있다.

 이런 글쓰기 책을 찾는 사람은 크게 두 부류다. 하나는 이미 글을 쓰고 있지만, 더 좋은 문장을 쓰고 싶어 하는 사람이고, 다른 하나는 글을 써보고 싶은데 어떻게 시작해야 할지조차 모르는 사람이다. <이것은 글쓰기가 아니다> 는 '글쓰기를 처음 시작하는 이들에게'라는 부제에 걸맞게, 그중 후자를 위한 책이다.

 저자 조영복은 이 책에서, 다년간의 대학 강의와 기업 특강을 통해 축적된 자료를 바탕으로, 글쓰기 초보들이 마주하는 문제들을 다룬다. 이 문제들은 우리가 글을 쓰는 하얀 백지 위에 실재한다. 치열하게 고뇌하는 머릿속에 존재하는 문제가 아니라, 내가 쓴 문장, 남이 쓴 글에서 볼 수 있는 실재하는 문제들이다. 글쓰기 초보들은 이런 어색한 문장들, 어딘가 이상한 문장들을 나도 모르게 쓰면서도, 무엇이 잘못되었는지, 어떻게 고쳐야 하는지 모르는 답답함에 이 책을 꺼내들게 될 것이다. 배움에 있어서 '무엇을 모르는지 모르는 단계'를 빠르게 벗어나는 것은 배움의 속도에 가속도를 더해준다. <이것은 글쓰기가 아니다>는 풍부하면서도 적확한 예시와 모범 답안들로 그 단계를 빠르게 벗어나게 도와준다.

  - ... 그런데도 그들이 아쉬워하는 점은 실제 글을 쓸 때 부딪히는 문제에 대한 답을 구하기 쉽지 않다는 것이다. 그래서 이들은 글을 쓰는 입장에서 '실재의 문제'를 해결하는 데 도움이 되는 책을 갈구하기 마련이다. 특히 처음 글쓰기를 시작하는 사람들이거나 비문과 오문의 문제를 해결하지 못하는 경우에 이 '갈구'가 더 깊다. -5p

  - 2부는 '그렇게 하면 안 된다'의 주제를 다루었다. 우리가 쉽게 부딪히는 문법 오류, 문장 오류, 문장의 비논리성 등을 각 테마별로 나누어 세심하게 다루고자 했다. 대부분 초보자가 처음 글을 쓸 때 부딪히는 '실재하는 문장 오류'들이다. - 6p

 틀리지 않은 문장을 쓰면 잘 쓴 글이 될까? 아니다. '검지 않은 색'이 '흰색' 뿐이 아니듯, 틀리지 않은 문장이라고 모두 잘 쓴 글이 되는 것은 아니다. 어색하지 않은 문장을 쓰기 시작했다면 이제 글의 구조와 조직, 리듬과 가독성을 신경 써야 한다. <이것은 글쓰기가 아니다>는 그런 어려움도 이해하고 3장에 담았다.

 - ... 그러니 우리말의 문법 규칙을 가르치는 것도 중요하지만 몸으로 우리말의 소리를 감각하는 그 리듬감을 깨우치도록 시 교육을 혁신하는 것은 더 중요하다. 너절한 문장을 '독서'하기보다는 우리말 문장으로 쓰인 짤막한 소월시를 읽는 것이 정확한 문장을 쓰는 데 훨씬 도움이 된다. 말의 리듬을 정확하게 파악하는 것, 그것이 좋은 글을 쓰는 한 방법인 것이다. - 206p

 글쓰기에 대한 책이라고 지루하고 고리타분한 책일 것이라 생각하면 오산이다. 이 책은 글쓰기 방법론에 대한 책이면서도, 글쓰기를 주제로 한 저자의 에세이이기도 하다. 어떻게 보면 라틴어 공부를 주제로 한 인문학 서적인 한동일의 <라틴어 수업>이나, 문학 쓰기 방법론을 주제로 자신의 작가 생활 에세이를 쓴 스티븐 킹의 <유혹하는 글쓰기>와도 비슷하다. 그러나 이 책은 그들과는 달리 바른 글쓰기 방법을 제시한다는 책의 목적을 충실히 지키고 있다. 재치 있는 입담으로 지루할 틈 없이 수업을 하지만, 그러면서도 진도는 놓치지 않고 나가는 훌륭한 교수와도 같다. 그것도 농담과 수업 내용을 절묘하게 결합시키는 교수 말이다. 이 책에서도 저자는 자신의 경험이나 다른 매체 - 예를 들어, 영화 레 미제라블을 패러디 한 공군의 레 밀리터리블 등 - 를 끌어와 해당 부분에서 다루는 문장 오류와 연결시킨다. 너무 자연스럽게 연결 지어진 나머지, 어느 한 쪽이 없이는 다른 한 쪽이 불완전해 보이기 까지 한다. 이런 글의 스타일은 쉬운 문장, 짧은 호흡, 다양하고 자세한 예시들과 함께, 이 책을 읽기 쉽고, 읽고 싶게 만든다.

 다시 처음으로 돌아가 보자. 우리는 글을 쓴다. 그리고 그 글은 무언가를 전달하기 위한 수단이 된다. 그것은 업무의 결과일 수도, 새로이 밝혀진 원리일 수도, 전하고 싶은 마음일 수도 있다. 글이 무언가를 전달하는 수단이라면, 글쓰기는 그 수단을 만드는 과정에 불과할 따름이다. 과연 그럴까? 음식을 담기 위해 만든 도기가 그 자체로 예술이 되듯, 내용을 전달하기 위한 글은 그 자체로도 감탄스러울 수 있다. 그렇다면 그런 글을 쓰는 글쓰기라는 행위 또한 무엇이라 이름 붙일 수 있을 것이다. 그래서 "이것은 글쓰기가 아니다".

 나 또한 글을 여러 해 써왔지만, 아직도 글쓰기를 무어라 해야 할지 모르겠다. 시를 전공하고 평생 글을 써온 저자도 단언하지 못하는데 어찌 나라고 자신 있게 단언할 수 있을까. 다만, 사유와 고행이 생산적으로 만나는, 이 글쓰기라는 행위를 하면서 내가 느끼는 감정이 조금 더 선명해지기를 바란다. 그리고 매번 글을 마무리 지을 때마다 느껴지는 부끄러움이 다음 글을 쓸 때에는 조금 덜 하기를 바라며 글을 마친다.

  - 좋은 문장에 대한 기억은 존재의 미천함과 현실의 비루함을 넘어 삶의 숭고함으로 우리를 이끈다 - 8p

돈과 시간에서 자유로운 인생 1인 기업 실전편

돈과 시간에서 자유로운 인생 1인 기업 : 실전편 ㅣ 돈과 시간에서 자유로운 인생 1인 기업
이승준 지음 / 나비의활주로 / 2018년 2월

최근 '적게 일하고 경제적 자유를 누리기'에 대한 책들이 많이 나오고 있다. 유명하게는 <부의 추월차선>이나 <언스크립티드>가 있고, <부의 감각>, <가장 빨리 부자 되는 법>,<머니>, <나는 4시간만 일한다>, <레버리지>, <나는 직장에 다니면서 12개의 사업을 시작했다> 등 일과 돈에 매여있는 평범한 사람들에게 시간과 경제적 자유를 주려는 책들이 많이 나왔다. 그러나 이런 책들은 대체로 저자가 미국인이라 미국의 시스템에 잘 맞아 우리나라에는 바로 적용하기 어려웠다. 특히 저자들이 엘리트 출신이거나 이미 노동으로 연 수입이 억대인 경우도 있어 현실과 잘 맞지 않는 경우도 있었다. 

그에 비하면 <돈과 시간에서 자유로운 인생 1인 기업 실전편>은 실제로 우리나라에서 일하고 있고, 시스템을 만들어 경제적 자유를 누리는 저자의 책이다. 본인 스스로 시행착오를 겪었을 뿐만 아니라, 네이버 카페에서 수많은 사람들에게 컨설팅을 하며 한국 실정에 맞는 경제 시스템을 만들고 있다. 결국 하고자 하는 이야기는 이거다. 

"월급만으로는 돈과 시간의 제약에서 벗어날 수 없다. 그렇다면 이를 누리기 위해선 1인 기업으로 어떤 것을 해야하는가?"

이 책은 기본편에 이어 실제로 어떻게 해야 1인 기업으로 성공할 수 있는지 보다 구체적인 이야기를 다룬다. 위에 언급한 책들 중에서는 <나는 직장에 다니면서 12개의 사업을 시작했다>와 비슷하다. '세일즈 커넥팅형 1인 기업', '마이크로 플랫폼 형 1인 기업', '미디어형 1인 기업', '트리니티형 1인 기업' 등 1인 기업으로 성공할 수 있는 사례들을 소개하며 각 분야로 나가고 싶은 이들에게 구체적인 조언을 주는 책이다. 기본편으로 1인 기업이란 무엇인지, 왜 1인 기업을 해야하는지에 대해 읽고 좋은 느낌을 받았다면, 이 실전편으로 구체적인 계획을 세워보는 것도 나쁘지 않을 것이다.

내가 대학에 갈때쯤, 이제 '평생 직장'은 없다는 말을 많이 들었다. 예전에는 한 기업에 입사해, 그곳에서 은퇴할 때까지 평생을 다니며 월급을 받았다고 한다면, 이제는 자의적, 타의적으로 정년을 채우지 못하고 직장을 나오게 될 것이란 전망이었다. 이제는 4차 산업 이야기가 나오면서 그마저도 옛 이야기가 되고 있다. 이제는 모두가 월급쟁이가 아니라, 모두가 1인 기업이 되어야 한다. 각자 자신이 가진 것으로 승부하고 그것을 돈으로 만들어 경제적 자유를 누려야 한다. 월급은 생활비를 충당하고 재태크나 사업의 자본금을 대기 위한 것일 뿐, 월급을 모아 부자가 되기에는 힘든 세상이다. 누구나 이루고 싶은 경제적 자유를 이루는 방법은 가정에서도, 학교에서도 가르쳐주지 않는다. 자본주의 사회에서 가장 중요한 이 부분을 어쩔 수 없이 독학해야 하는 것이다. 이 책은 그런 공부를 하는데 쉽게 입문할 수 있으면서도 수많은 사례들을 종합해 만들어진 좋은 입문서라고 할 수 있겠다.

플랫폼이 콘텐츠다

플랫폼이 콘텐츠다 - 음악 영화 출판 등 콘텐츠 사업의 미래
마이클 스미스 외 지음, 임재완 외 옮김, 조대곤 감수 / 이콘 / 2018년 7월

한동안 사업 구상을 해본 적이 있다. 아이템은 못 정했다. 다만 내가 잘 아는, 전문성 있는 분야로 해야겠다는 생각은 들었다. 잘 알지도 못한다면, 잘 하지 못할 것은 뻔하니까. 아이템은 못 정했지만 구조는 생각해두었다. 바로 플랫폼을 만드는거다. 특히 초반에는 무료로 정보를 제공하는 서비스를 만들고, 유저가 참여하는 구조로 만든다. 그렇다면 초반에는 분명 손이 많이 가는 작업이겠지만, 어느정도 기반이 잡히고 유저층이 탄탄해지면, 알아서 유저들이 정보를 올리게 된다. 웹서비스라면 초기 자본이 크게 필요하지도 않을거다. 그렇게 사용자를 크게 늘리고 정보를 점점 모아서, 해당 분야에서 정보를 찾고 싶을 때 사람들이 가장 먼저 찾는 서비스가 된다. 그렇게 많아진 사용자를 기반으로, 작게는 서비스에 광고들 달거나, 기업의 프로모션을 받아 이벤트를 진행한다. 크게는 파이를 키워 자체제작 서비스나 물건을 만들거나 대기업에 서비스를 판매한다. 사업을 하겠다는 마음으로 주변을 둘러보면, 이 구조는 꽤나 식상하리만큼 많이 성공해온 구조다. 검색의 대명사 구글, 온라인 쇼핑의 대명사 아마존, SNS의 대명사 페이스북. 모두 웹서비스로, 사용자에게 사용료를 받지 않았고, 극단적으로 많은 사용자층을 바탕으로 이익을 발생시켰다. 네이버, 카카오 또한 같은 구조로 성장했고, 최근에는 '화해'라는 화장품 관련 어플이 이 방법으로 성장하고 있다. 플랫폼을 만들어서 성장하는 것은 이른바 21세기 시대에 성공 공식과도 같다.

<플랫폼이 콘텐츠다>에서는 콘텐츠 산업이 플랫폼의 발달에 의해 어떻게 변했는지를 다룬다. 내가 어린시절만 하더라도 음악은 카세트 테잎이나 CD, 영상은 비디오테잎, CD, DVD로 보았다. 그러나 이제는 멜론, 벅스, 유튜브, 넷플릭스 등 대부분의 음악/영상 콘텐츠는 온라인 스트리밍으로 소비된다. 기존 콘텐츠 산업에서는 단순히 판매처이자 유통업체였을 뿐인 곳이 '플랫폼'이란 이름으로 변한 뒤에는 오히려 콘텐츠 산업에서 주도적인 역할을 하게 되었다. 이전 시대와는 달리 그들은 손님들이 많이 올 곳에 점포를 차릴 필요도 없고, 재고를 쌓아둘 넓은 공간도 필요하지 않다. 한 번에 전국, 전세계 단위로 콘텐츠를 유통시킬 수 있고, 그 과정에서 얻은 소비자들의 막대한 데이터는 그들이 콘텐츠 생산자보다 우위에 설 수 있는 결정적인 역할을 하게 되었다. 이 책은 그 전 과정을 아주 면밀하고 엄밀하게 분석해 보여준다.

이젠 바햐으로 플랫폼의 시대다. 기존 콘텐츠 산업 구조에서 거대 기업, 큰 유통 업체가 힘을 가졌듯, 이젠 플랫폼 기업들이 힘을 가지게 되었다. 그러면서 생산의 구조도 변하게 되었다. 이전까지는 '최대 다수에게 가장 잘 팔릴만한 안전한 것'위주로 생산이 되었다면, 콘텐츠 플랫폼이 시장을 지배하게 되면서 '적더라도 열정적인 고객을 만들 수 있는 콘텐츠'가 빛을 보게 되었다. 산업 혁명이 소품종 대량생산을 일궈냈듯, 콘텐츠 플랫폼은 다품종 소량 생산을 유도해냈다. 물론 거대해진 플랫폼 기업들이 생산자들에게 압력을 가하는 새로운 문제도 발생했다. 그렇지만 디지털 콘텐츠는 한 번 생산하면 유통이 무한하다. 잘 만든 콘텐츠는 재고부담도, 배송비용도 없이 영원히 팔릴 수 있다는 말이다. 이런 거대 플랫폼을 운영할 수 없다면, 반대로 이를 기회 삼아 콘텐츠 제작자가 되어보는 것은 어떨까? 콘텐츠를 정교하게 분석하여 원하는 고객의 취향을 저격하는 플랫폼이라면, 가치있는 콘텐츠가 빛을 못 보는 일은 없게 해줄 것이다.

자기 통찰

자기통찰 - 어떻게 원하는 내가 될 것인가
타샤 유리크 지음, 김미정 옮김 / 저스트북스(JUST BOOK) / 2018년 3월

많은 자기 계발서들의 주된 골자는 바로 이거다.

"내가 이렇게 해봤더니 성공했다. 그러니 너도 이렇게 해라."

개인적인 경험, 혹은 아주 작은 집단에서의 경험을 근거로 그렇게 써온 책들이 많았다. 이런 책들은 마음 속 자기계발 의욕에 불씨를 지피기엔 괜찮을지 몰라도 그 불씨는 오래가지 않는다. 그래서 매 번 자기계발서를 읽어도 변하지 않을 뿐이다. 사람은 모두 다르니까, 어느 한 사람의 성공 사례가 다른 사람에게도 통하리라는 법은 없다. 

자기계발, 넓게 봐서 인간의 성장을 학술적으로 연구하는 분야는 생각보다 많다. 철학, 교육학, 심리학, 경영학 등 '인간'을 주제로 하는 연구들은 생각보다 많다. 그리고 그 학문들의 일부분은 인간의 질적 성장의 요인을 밝혀내는 것을 사명으로 하고 있다.

이런 연구들을 써낸 책들이 최근 속속들이 나오고 있다. 최근 출간된 <습관의 힘>이나 <무조건 달라진다>도 여러 연구 결과를 바탕으로 쓰여진 책이다. 이런 책이라면 읽으면서도 믿음이 가고, 실제로 적용하는데에도 효과를 볼 수 있다. <자기통찰> 또한 그런 책이다.

'메타인지'라는 용어가 있다. 나 자신을 내려다보는 또 다른 인지라는 뜻인데, 최근 이 메타인지의 차이가 학습 능력이나 창의성의 차이를 낳는다는 연구 결과가 있다. <자기통찰>은 나를 인식하는 방향을 이 메타인지로 해야 한다고 말한다. 자신을 내적/외적으로 정확히 인식해야 통찰에 이를 수 있고, 현재의 나를 명확히 알아야만 내가 원하는 방향으로 나아갈 수 있다고 말이다.

"자기인식의 정확한 정의는 언뜻 보기보다 복잡하지만, 자신을 명확하게 보는 능력이 그 핵심이다. 즉 자신이 어떤 사람이고, 다른 사람들은 자신을 어떻게 생각하는지, 자신이 주변 세상과 어떻게 어울리는지 아는 것이다."

 - 14p

결국은 나 자신을 명확히 아는 것에서 자기 발전이 시작된다는 것이다. 그렇게 자기인식에 대한 개념 소개와 함께, 내적 자기 인식, 외적 자기 인식, 그리고 집단 자기 인식의 정의와 방법, 그리고 이를 통한 성장 방법까지 소개한다. 물론 이 내용 중 상당수가 위에서 말했듯 과학적 근거에 의한 이야기이다. 저자가 조직심리학자인만큼, <그릿>만큼이나 많은 연구 결과들이 적용되어 있다(덕분에 참고문헌만 40페이지에 달한다).

시대의 변화에 맞춰 과학적이고 검증된 방식의 자기계발서들이 나오기 시작한다. 그 중에서는 습관을 바꾸는 책도 있고, 관점을 바꾸는 책도 있다. <자기통찰>은 '나에 대한 생각'을 바꾸고자 하는 책이다. 모든 것은 나로부터 시작하기 때문에 어쩌면 다른 책들보다 먼저 읽어야 하는 것은 아닐까 싶다. "너 자신을 알라" 라고 하지 않았는가.