OpenAI가 개발한 대화형 인공지능 모델인 챗GPT에 대한 관심이 뜨겁습니다. 그 이유 중 하나는 현실적으로 업무 협업이 가능할 정도로 정교한 결과물을 낼 수 있기 때문이라 생각합니다.
GPT라는 딥러닝 아키텍처를 사용하여 자연스러운 언어를 생성할 수 있으며, 상대방의 질문을 이해하고, 답변할 수 있는 탁월한 능력을 가지고 있습니다. 특히 이전 대화에서 사용된 맥락을 기억하고, 그 맥락에 기반하여 다음에 할 말을 생성하게 됩니다.
현업에서는 챗GPT를 활용하여 고객의 의견을 수집, 분석하여 제품 개발에 반영할 수도 있고, 이를 토대로 새로운 아이디어를 통해 마케팅 전략 수립, 제품 기획 등에 활용될 수 있을 겁니다.
오늘 소개해 드리는 <챗GPT 거부할 수 없는 미래>에서는 기존 챗GPT 서적들에서 다루는 동작 원리에서 조금 더 들어가 '자연어 처리'의 원리를 이해하기 위한 '임베딩', '인코딩과 디코딩' 그리고 자연어를 효율적으로 처리하기 위한 알고리즘인 '순환신경망(RNN)', '순환신경망 장단기 기억(LSTM)', '어텐션', '트랜스포머' 등과 같은 기술적인 내용을 우선 다루고 있습니다.
초거대 언어모델인 챗GPT를 이해하기 위한 기초 지식으로서 '자연어처리'가 무엇인지 그리고 어떻게 동작하는지에 대해 알기 쉽게 설명해 주고 있으며, 챗GPT가 나오기까지의 자연어 처리 알고리즘 전반에 대해 정리하고 있답니다.
책에서 제시하고 있는 챗GPT의 특징은 아래와 같이 간략히 정리할 수 있습니다.
- 단방향 처리 : 문맥 이전의 단어만을 이용하여 다음 단어를 생성
- 대규모 데이터로 사전 학습
- 다양한 작업에 적용 : 문장 생성, 기계 번역, 감성 분석 등의 업무에 효율적으로 적용가능
- 생성형 모델 : 입력 텍스트의 문맥을 파악하여, 해당 문맥에서 자연스러운 다음 단어를 생성
즉, 대량의 텍스트 데이터를 통해 통계적 패턴을 학습하고, 이를 사용하여 문맥에 맞는 응답을 생성한다는 것이 핵심입니다. "조건부 언어 모델링 기술"을 사용하여 가능한 단어에 대한 확률 분포를 생성하고, 그 중에서 가장 가능성이 높은 단어를 선택하여 응답을 구성하게 됩니다.
또한 어텐션, 마스킹 언어 모델링 및 파인 튜닝 등 다양한 기술을 결합하여 결과물(응답)의 품질을 향상시키고 있습니다.
'어텐션'은 문맥에서 가장 관련성이 높은 부분에 집중할 수 있도록 하며, '마스킹 언어 모델링'은 문장에서 누락된 단어를 채우는 방법을 학습하도록 도움을 줍니다. '파인 튜닝'은 작은 데이터 집합에서 학습시켜 특정 작업에 적합하도록 조정하는 것을 말합니다.
한 가지 주목할 사실은 ...
온라인 상의 불특정 다수의 데이터로 학습을 한 챗GPT이다 보니 질문에 대한 답변은 일반적인 답변일 수 밖에 없습니다. 이런 일반적인 답변 뿐 아니라 실제 우리 기업이나 우리 조직에 전문화된 특정 질문에 대해 자세히 답변할 수 있도록 챗GPT를 학습시키는 방법인 '파인 튜닝 기법'에 대해 소개하고 있습니다.
챗GPT가 학습하지 않았던 데이터에 대해서도 우리가 학습 데이터를 넣어주고 학습을 시켜주면 답변을 줄 수 있다는 이야기입니다.
퓨샷, 원샷, 그리고 제로샷 러닝으로 불리는 이 기법은 챗GPT에 우리 데이터를 얼마나 넣어 학습을 시켜줄 것인가에 따라 나눠집니다. 간단히 퓨샷은 샘플데이터가 2개, 원샷은 샘플 데이터가 1개 그리고 제로샷은 샘플데이터가 0개라고 이해하면 됩니다.
- 제로샷 러닝 : 다운스트림을 위한 데이터를 사용하지 않지만 , 모델이 학습하지 않은 작업을 수행
- 퓨샷 러닝 : 다운스트림을 위한 데이터를 몇 건만 사용하지만, 모델이 학습하지 않은 작업을 수행
- 원샷 러닝 : 다운스트림을 위한 데이터를 1건만 사용하지만, 모델이 학습하지 않은 작업을 수행
요약하자면, 이 3가지 파인 튜닝 기법을 통해 챗GPT는 관련 데이터에서 모델을 미세조정하여 특정 작업에 적응할 수 있습니다. 퓨샷 러닝은 가장 정확하지만 가장 많은 리소스가 필요한 반명, 원샷 러닝은 덜 정확하지만 더 적은 리소스가 필요합니다. 물론 제로샷 러닝은 가장 빠르고 최소한의 리소스가 필요하지만 다른 두 기법만큼 정확하지 않을 수 있기에 상황과 조건에 맞는 기법을 활용하는 것이 바람직하다 하겠습니다.
책에서는 이러한 챗GPT의 개념과 동작원리에 대한 상세설명과 더불어 직접 코랩에서 라이브러리를 설치하고 OpenAI API 키를 발급받고, 이와 더불어 다빈치 모델을 통해 한국어를 영어로 번역하는 사례를 따라하고, 파인 튜닝도 간략히 진행해 봅니다.
한 걸음 더나아가 실제 기업 유저를 위해 마이크로소프트의 클라우드 서비스인 '애저(Azure)'에서 챗GPT를 사용하는 실습을 통해 '퓨샷 러닝'을 간략히 익힐 수 있으며, 파라미터 조절을 통해 다양한 응답 결과물도 확인할 수 있습니다.
마지막으로 챗GPT 활용 시나리오편에서는 코딩하고 이미지를 생성하는 기초적인 수준에서 업무 특히 엑셀에서 챗GPT를 연동하는 방법 그리고 다양한 과제를 챗GPT로 수행하는 방법에 대한 유스 케이스를 간략히 보여주고 있습니다.
조금 아쉬운 부분은 챗GPT의 개념과 동작원리 그리고 파인 튜닝과 API에 대한 소개와 설명까지는 상세하고 구체적이었으나 활용법과 유스 케이스에서는 다소 미진하거나 너무 간략하게 소개하고 있는 것이 아닌가 하는 점입니다.
최근 챗GPT와 같은 대화형 인공지능 기술은 빠르게 발전하고 있으며, 챗GPT는 거의 모든 산업 영역에서 매우 유용한 도구로 자리잡고 있습니다. 또한 인간과 기계간의 상호작용을 개선하고, 새로운 비즈니스 모델을 창출하는데 큰 기여를 할 것으로 예상됩니다.
본서는 대화형 인공지능의 동작원리와 개념을 이해하고, 비즈니스 모델에 적용가능성과 활용 시나리오 등을 설명하는 책으로 챗GPT 구현방법이나 활용시나리오 그리고 자연어 처리에 대해 알고자 하는 분들과 챗GPT를 포함해 최근 OpenAI 및 마이크로소프트에서 발표하는 AI서비스를 알고자 하는 분들에게 도움이 되리라 생각합니다.
관심있는 분들의 일독을 권합니다.