한눈에 보이는 생성형 AI와 자연어 처리 그림책

한눈에 보이는 생성형 AI와 자연어 처리 그림책 ㅣ 한눈에 보이는 그림책
한선관.임새이 지음 / 성안당 / 2024년 3월

'생성형 AI'는 인간 수준의 텍스트, 이미지, 음악 등을 만들어 낼 수 있는(생성할 수 있는) 인공지능 기술입니다. 이에 반해 '자연어 처리(NLP)'는 컴퓨터가 우리들이 쓰는 자연스런 언어(자연어)를 이해하고 처리하도록 하는 기술입니다.

이러한 NLP 기술을 사용하여 방대한 양의 텍스트 데이터를 기반으로 학습된 인공 신경망 모델을 의미하는 '초거대 언어 모델(LLM (Large Language Model))'은 인간 수준의 텍스트를 생성하고, 언어를 번역하며, 질문에 답변할 수 있는 뛰어난 능력을 가지고 있습니다.

앞서 말씀드린 NLP와 LLM 기술을 기반으로 탄생한 챗GPT와 같은 '생성형 AI'는 챗봇, 자동요약, 창의적인 콘텐츠 제작, 기존 데이터 기반으로 새로운 데이터 생성, 개인 맞춤형 콘텐츠 제작 등에 본격적으로 활용되고 있습니다.

결과적으로, LLM은 NLP 기술을 기반으로 학습되고, 생성형 AI는 LLM 기술을 활용하여 작동합니다. NLP는 컴퓨터가 인간 언어를 이해하는 기반을 마련하고, LLM은 인간 수준의 언어 처리 능력을 제공하며, 생성형 AI는 인간 수준의 창작물을 만들 수 있도록 한다는 사실을 기억할 필요가 있습니다.

그렇다면 가장 기본이 되는 '자연어처리(NLP) 기술'의 이해야말로 LLM과 생성형AI 기술을 이해하고 활용하기 위한 초석이 될 것입니다.

오늘 소개해드리는 <한눈에 보이는 생성형 AI와 자연어 처리 그림책>은 제목 그대로 쉬운 설명에 그림을 곁들여 자연어 처리의 기본 개념과 원리 그리고 다양한 활용 분야와 관련 인사이트를 제공하여, 자연어 처리 기술의 실제 활용에 대한 이해를 높일 수 있도록 구성되어 있습니다.

책의 전반부에서 자연어 처리가 어려운 이유를 중의성, 불규칙성, 무한한 유연성과 확장성, 띄어쓰기 그리고 생략이라는 자연어의 특성에서 비롯됨을 설명하면서 규칙기반, 통계 기반 그리고 심층학습(딥러닝) 기반의 자연어 처리 이론을 본격적으로 들여다 보고 있습니다.

우선 자연어 처리의 핵심 개념 파악을 위해 언어학적 관점에서 어휘 분석, 구분 분석, 의미 분석, 화용 분석에 대해 자세히 다루고 있습니다.

이는 자연어 처리의 기반이 되는 기본 언어학으로서 음절, 형태소, 어절, 품사, 구 구조와 의존 구조, 의미론과 화용론 전반에 대한 자세한 설명이 그림과 함께 소개 되고 있어 초심자들에게 큰 도움이 되리라 생각합니다.

특히 자연어 처리에 분석해야할 데이터가 매우 복잡하기 때문이며, 딥러닝이라는 심층 학습 기술을 활용하게 되는데, 이때 수많은 신경망 층에서 데이터 간에 복합적인 연결을 통해 더욱 정확하고 정교한 자연어 처리가 가능해진다는 사실을 기억할 필요가 있습니다.

관련하여 책에서는 '심층학습(딥러닝)' 개념, 문자를 벡터로 표현하는 '임베딩', 문장분류에 활용되는 합성곱 신경망(CNN) 그리고 순환 신경망(RNN)의 개념과 관련 알고리즘을 자세히 서술하며, AI 기반의 현대적인 자연어 처리 기술에 대한 깊이있는 인사이트를 제공하고 있습니다.

책의 전반부에서 이와같이 자연어처리에 대한 기본 개념과 심층학습(딥러닝)을 통한 자연어 처리의 이론에 대한 체계적인 학습이 이뤄졌다면 후반부에서는 자연어 처리의 실제와 활용을 다루며, 텍스트 분류, 키워드와 정보추출, 기계 번역 등의 좀 더 현실적인 활용 측면에서 접근하고 있습니다.

마지막 장에서는 이러한 활용 측면을 넘어 최근 폭발적인 이슈를 몰고 온 '초거대언어모델(LLM)'과 빅테크 기업에서 마련한 다양한 생성형 AI의 소개와 활용법을 자세히 제시하고 있어 현 시대의 인공지능 트렌드를 놓치지 않고 있음을 확인할 수 있습니다.

책을 통한 저자들의 집필 의도는 "어떻게 기계가 텍스트를 생성하고, 이해하는 지에 대한 통찰을 쉽게 전달할 것인가"에 집중되어 있다고 봅니다. 텍스트를 기반으로 하는 생성형 AI의 다양한 개념과 알고리즘을 자세한 해설과 그림을 통해 최대한 쉽게 소개하고자 하는 저자들의 의지를 페이지 곳곳에서 느낄 수 있었습니다.

최신 기술 관련 소개서에서는 좀처럼 볼 수 없던 윤리적인 문제 즉, AI의 편향 문제, 가짜 뉴스, 개인정보 보호, 직업 소멸 문제와 AI의 사회적 책임과 같은 민감한 사안들 또한 자연어 처리의 관점에서 다루고 있어 매우 흥미로웠습니다.

이러한 윤리문제와 사회적 책임에 대한 논의에 대해 저자들은 "기술의 발전과 함께 발생하는 사회적인 문제에 대한 인식을 높이고, 독자들이 이를 평가하고 이해하는데 도움을 줄 것이다"라며 열린 결말을 제시하고 있는 것도 의미가 있다고 생각합니다.

글보다 직관적인 그림을 통해 생성형 AI의 작동 원리와 그 기본기술이 되는 자연어 처리에 대해 초심자라도 쉽게 접근할 수 있는 기본서로 평가하고 싶습니다.

관심있는 분들의 일독을 권합니다.