sLLM으로 서비스하는 것의 모든 것

원하는 대로 튜닝하는 나만의 sLLM - 비용은 낮게, 보안은 높게, 성능은 내 업무에 딱 맞게!
오지영 지음 / 길벗 / 2026년 7월

"길벗 36차 개발자 리뷰어 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

최근 1년을 되돌아보면서 소프트웨어 개발하는 방식과 개발된 제품을 보면서 엄청난 격세지감을 느낀다. 개발 활동의 모든 과정에서 AI의 활용도는 거의 전부라고 말할 수 있다. 자료조사, 분석, 설계, 구현, 테스트, 배포, 문서 작업까지 AI가 영향을 미치지 않는 곳이 없다. 개발되는 제품도 AI 기능이 없으면 시장에 내놓을 수 없을 지경이다.

다른 한편으로 AI 빈부격차도 뚜렷하다. AI 활용 지식과 토큰 비용은 차치하더라도 비용과 보안 때문에 상용 플래그십 모델(오픈AI, 앤트로픽, 구글)을 사용할 수 없는 곳이 대부분이다. 개발 과정은 상용 모델을 사용하더라도 서비스하는 제품은 sLLM으로 해야 되는 것이다.

sLLM은 최근 구글(Gemma4)을 비롯하여 알리바바(Qwen3.8), 메타(llama3.2), 마이크로소프트(Phi4), 미스트랄(mistral)에서 오픈소스 모델을 내놓으면서 꾸준히 연구되고 있다. 국내에서도 카카오(kanana), LG(exaone), 업스테이지(solar), 허깅페이스에 모델이 계속해서 업로드된다.

문제는 성능이다. 벤치마크에서 우수한 성능을 받았더라도 우리가 모델의 활용법(이해)을 모르거나, 모델의 수정 없이는 고객의 요구사항을 제대로 만족시킬 수 없다.

이 책은 바로 이 지점, 즉 sLLM을 "어떻게 이해하고 다듬어서 실제 서비스에 붙일 것인가"에 대한 답을 조사 근거와 실습으로 제시한다.

sLLM을 파인튜닝하는 다양한 방법뿐만 아니라 sLLM과 관련된 매우 상세한 트렌드와 동향, 산업별 사례 분석을 시작으로 파인튜닝 방법, 최적화 기법, sLLM 모델을 활용한 서비스 배포, 챗봇, 문서 요약, RAG, 랭체인, 라마 인덱스 사용법, 실무에서 발생하는 문제 해결까지 sLLM으로 서비스하는 모든 것을 다룬다.

<1장 LLM과 sLLM - sLLM이 해결할 수 있는 문제, p042~p043>

<4장 sLLM모델 학습 환경 구축 - 표 4-6 RAG 성능 향상 포인트, p100~p101>

<6장 sLLM의 효율적인 파인튜닝 - 표 6-3 모델 학습 시 필요한 VRAM 비교, p176~p177>

<10장 실무에서 발생하는 문제 해결 - 출력 품질 평가 지표 분류, p346~p347>

책 내용 중간에 sLLM 모델의 튜닝/서빙 환경에서 메모리 양을 비교하는 것과 파인튜닝 방법을 서로 비교하는 내용이 인상 깊었다.

예제에서는 허깅페이스의 다양한 모델을 다운로드하여 활용하는 방법이 도움이 되었다. 아이러니하게도 생각보다 모델의 성능이 좋지 않다는 점이 오히려 더 흥미로웠다. 예제에 사용된 허깅페이스 모델 대부분이 파라미터 3B 미만이라 성능에 한계가 있었는데, 오히려 그만큼 개선의 여지가 많다는 뜻이기도 하다.

예제의 서비스 주제도 센스 있게 느껴졌다. 현업에서 가장 많이 사용되는 챗봇, 문서 요약, RAG이기 때문이다.

Streamlit이 아니라 Gradio를 사용한 점도 신선했다. 대부분의 책들이 Streamlit으로 예제를 소개하는 경우가 많은데, 이 책 덕분에 Gradio도 경험해볼 수 있었다.

마지막으로, 10장에서 소개하는 실무에서 발생하는 문제 해결법은 앞으로도 계속해서 찾아볼 만큼 실용적이었다.

<노트북 예제 실습 장면>

책의 아쉬운 부분은 소스 코드를 실행하기 위한 방법을 좀 더 친절하게 설명해주었으면 좋을 것 같았다. Colab뿐만 아니라 MacOS(Linux), Windows에서도 실습할 수 있도록 Github의 README.md를 활용해서 개선해 주었으면 좋겠다. 실습에 사용한 데이터 파일도 함께 올려주면 책을 읽는 독자에게 더욱 도움이 될 것 같다.

sLLM을 활용하여 고객의 요구사항을 충족하기에는 아직 할 일이 많다. 그렇기 때문에 이 분야는 경쟁력을 키울 잠재력이 크다고 생각한다. sLLM을 서비스에 활용하고자 계획하시는 모든 기획자, 개발자에게 이 책이 좋은 출발점이 될 것이다. 진심으로 추천드린다.