데이터에듀 빅데이터 분석기사 실기 with Python
윤종식 지음 / 데이터에듀 / 2024년 5월
평점 :
장바구니담기


[북리뷰-IT] 빅데이터 분석기사 실기 with Python (데이터에듀, 2024)

2년전쯤 데이터사이언스에 대한 관심이 많아지면서 시작했던 자격증인 ADSP(데이터 분석 준전문가)

전 새로운 자격증 공부할 때 시험후기 부터 찾아봅니다. 구글링, 네이버 폭풍검색~ ㅋ

근데 시험후기마다 딱 하나로 귀결되더군요.. 데이터에듀의 "민트책"으로 붙었다고..

시험에 합격하신 선배님들을 조언에 따라 저도 민트책으로 공부했고, 한번에 딱 붙습니다. ㅋㅋ

(민트책 : https://product.kyobobook.co.kr/detail/S000211753710 )


ADSP 셤 붙고나서, 탄력받았을때 뭐 하나 더 해야할 것 같아서 찾아보니,

빅데이터 분석기사 필기 시험범위가 ADSP랑 거의 비슷하더군요.. 

그래서 별다른 준비없이 빅분기 필기 또한 한번에 붙습니다. ㅎ




데이터 분석의 세계로 향하는 열쇠, 2년만에 업그레이드된 핑크색 꿈!

데이터에듀의 민트책으로 ADSP와 빅데이터 분석기사 필기 시험을 통과한 저는

이번 핑크색 꿈, "데이터에듀 빅데이터 분석기사 실기 with Python" 개정판을 만나 다시 한번 설렘을 느꼈습니다. ㅎ


사실 작년 6회 실기시험부터 문제유형이 필답형에서 작업형으로 바뀌면서 시험접수를 안했습니다.

시중에 나와있는 실기 수험서들은 문제유형이 필답형으로 맞춰져있었거든요.

그래서 개정판 나올때까지 기다리고 있었는데,


이번에 딱 나온거에요! 그것도 민트책으로 좋은 경험이 있는 데이터에듀에서 핑크책으로!! ㅎㅎㅎ



핑크색 꿈을 향한 도전, 성공적인 분석가의 첫걸음!!

빅데이터 분석기사 출제문항과 배점부터 확인해볼까요?

  • 작업형 제1유형 : 3문제 (30점, 문항당 10점)
  • 작업형 제2유형 : 1문제 (40점)  ←  답안 CSV 파일을 생성하여 제출 
  • 작업형 제3유형 : 2문제 (30점, 문항당 15점) ← 기존 필답형이 바뀐유형




핑크책의 구성을 살펴보면,

  • PART 01. 파이썬 기초 
  • PART 02. 데이터 핸들링 ← 작업형 제1유형
  • PART 03. 통계분석         ← 작업형 제3유형
  • PART 04. 머신러닝         ← 작업형 제2유형
  • 모의고사 1~3회
  • 기출문제 2~7회




● PART 01. 파이썬 기초

   파이썬을 처음 접하는 초보자라도 걱정하지 마세요.

   파이썬 기초부터 단계별로 학습할 수 있도록 구성되어 있어,

   데이터 분석과 프로그래밍 경험이 부족하더라도 충분히 이해하고 따라갈 수 있습니다.

   또한 복잡한 내용도 명확하고 이해하기 쉽도록 표와 그림을 활용했고,

   이런 시각 자료는 몰입도를 높여 학습 효과를 극대화하고, 핵심 내용을 빠르게 파악하는 데 도움을 주네요.


● PART 02. 데이터 핸들링

   작업형 제1유형 대비 파트입니다. ^^

   NumPy 와 Pandas 두 라이브러리는 파이썬에서 데이터 분석을 위해 가장 널리 사용되는 도구들로,

   데이터 핸들링에 대한 기본적인 모든것을 여기서 다룹니다.

   또한 파생변수 생성, 데이터 인코딩, 스케일링, 데이터 축소, 결측치와 이상치 등

   시험에서 데이터를 처리하고 분석하는데 필요한 모든 기법을 제공하며,

   실제 데이터 분석에서 자주 다루는 텍스트와 날짜 시간 데이터도 집중적 다루고 있습니다.


● PART 03. 통계분석

   6회 실기시험부터 새롭게 추가된 작업형 제3유형 시험준비에 매우 중요한 파트입니다.

   상관분석, 정규성 검정, 모평균과 모분산 검정, 카이제곱 검정, 비모수 검정분석 등 데이터를 분석하고 가설을 검증하는데 필요한 기술을 배우고,

   SciPy와 Statsmodels를 활용한 선형 회귀분석 과 로지스틱 회귀분석 통계 분석 패키지 등을 배웁니다.


● PART 04. 머신러닝

   시험에서 배점이 가장 큰 제2유형 파트입니다.

   사이킷런 패키지에서 사용할 수 있는 지도학습모형과 군집모형을 다룹니다.

   파이썬으로 데이터를 분할하고 훈련 데이터를 통해 모형 객체를 생성하고 학습한 후 학습된 모형에 평가 데이터를 활용해 예측하는 방법 등을 배웁니다.

   지도학습모형에서는 데이터 분할/성과분석/선형 모델/서포트벡터머신/나이브베이즈/K-최근접이웃/인공신경망/의사결정나무/앙상블 등의 주제를, 군집모형에서는 군집 평가/계층적 군집분석/k-means 군집분석에 대해 다룹니다.



핑크책의 장점

  • 실기 시험 개정 내용 완벽 반영 : 새롭게 추가된 제3유형을 걱정없이 준비할 수 있을것 같아요. ^^
  • 표와 그림으로 시각 자료 풍부 : 복잡한 내용도 명확하고 이해하기 쉽도록 표와 그림을 활용하였고, 시각 자료는 몰입도를 높여 학습 효과를 극대화하고, 핵심 내용을 빠르게 파악하는 데 도움이 되었습니다.
  • 연습문제와 최신 기출 문제 수록 : 각 파트 마지막에는 해당 작업유형에 집중된 다양한 연습문제를 제공하고 있어 해당 파트를 완벽히 대비할 수 있었고, 최신 기출 문제(2~7회)를 통해 실제 시험 환경에 적응하고 문제 유형을 파악할 수 있었습니다. 
  • 모의고사 3회로 완벽한 시뮬레이션 : 3회의 모의고사는 실제 시험 환경을 체험하고 시간 관리 능력을 향상시킬 수 있는 최고의 기회인 듯 합니다.
  • 실습용 Python 코드 제공 : 도서구매인증 받으시면 각 코드를 다운받아 타이핑 수고를 덜 수 있습니다. 다만, 실제 시험준비를 위해선 직접 코딩해보시는 걸 추천드립니다. ^^



코드러닝 오픈 

  • 덧) 2024.05.28 데이터에듀에서 실기시험 환경과 똑같은 코드러닝을 오픈해서 추가 리뷰합니다.
  • 코드러닝이란 아나콘다 등 별다른 환경설정 없이 시험환경과 동일하게 바로 코드만 돌려볼 수 있습니다. ^^
  • 책이 없어도 언제 어디에서 코드를 실행해 볼 수 있는 데이터분석 실습환경을 제공합니다.
    • 강의 리스트에는 핑크책에 나와있는 모든 예제를 실행해 볼 수 있습니다.
    • 강의에는 책에 나와있는 설명이 그대로 나와있어서 강의만 봐도 될 것 같아요. ㅋ
    • 과제 리스트에는 예상문제, 모의고사 3회, 기출문제 2~7회 를 시험환경과 비슷하게 실행해 볼 수 있습니다.




금융업에 종사하다보니 많은 정책사업으로 회사업무가 바쁜 시기라 이번에 실기 시험을 볼 수 있을지 걱정입니다.

하지만 핑크책을 통해 많은 도움을 받을수 있을 것 같고, 틈틈이 준비한다면 좋은 결과가 있을꺼라 봅니다. 

준비하시는 모든 분들에게 좋은 결과가 있기를 바랍니다. ^^


한 줄 총평 : 빅데이터 분석기사 실기시험은 핑크책 하나로 완벽준비 끝!



#빅데이터분석기사  #빅데이터실기시험  #빅분기실기  #데이터전처리  #파이썬분석  #시험대비  #데이터모형  #시험팁  #데이터분석  #데이터평가  #실기합격  #빅데이터분석기사 기출문제  #데이터에듀  #윤종식




포스팅 : https://nunbu.tistory.com/355






댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
랭체인으로 LLM 기반의 AI 서비스 개발하기 - 현직 AI Specialist에게 배우는 RAG! 랭체인, 오픈AI API, 스트림릿으로 8가지 서비스 구현까지
서지영 지음 / 길벗 / 2024년 2월
평점 :
장바구니담기


[북리뷰-IT] 랭체인으로 LLM 기반의 AI 서비스 개발하기 (길벗, 2024)

인공지능 시대, 이제 누구나 손쉽게 AI 서비스를 만들 수 있습니다! 

누구나? 난 개발자가 아닌데?!

손쉽게? 이게 정말 가능해?!


이번에 길벗에서 출간한 "랭체인으로 LLM 기반 AI 서비스 개발하기"는

초보자부터 전문가까지 누구나 쉽게 이해하고 활용할 수 있는 실용 가이드로,

랭체인 플랫폼을 활용한 LLM(거대 언어 모델) 기반 AI 서비스 개발 과정을 단계별로 안내하고 있습니다. ^^



개인적으로 도서가 출간되었을 때, 저자가 서지영님이어서 꼭 읽어보고 싶었습니다.

작년 이맘때 쯤, 머신러닝 딥러닝에 관심이 많아 여러 도서를 접했었는데,

길벗 출판사에서 나온 "딥러닝 텐서플로 교과서"는 책 제목처럼 딥러닝 입문서로써 기본기에 충실하게 잘 쓰여진 책으로, 서지영님이 저술한 책이었습니다. ( https://nunbu.tistory.com/65 참고 )



LLM과 랭체인, 혁신적인 AI 서비스 개발을 위한 만남

이 책은 총 6장으로 구성되어 있으며, 

각 장은 서로 밀접하게 연관되어 있어 체계적으로 학습할 수 있도록 구성되었습니다.

● 1장 LLM 훑어보기

   - LLM의 개념, 특징, 종류, 생성 과정, 생성 후 추가 고려 사항 등을 다룹니다.


LLM(Large Language Model, 거대 언어 모델)은 대규모 데이터로 훈련된, 매우 큰 규모의 AI 기반 언어 모델입니다.

많은 양의 데이터를 가지고 학습했다고 해서 모두 거대 언어 모델이라고 이름을 붙일 수 는 없고, 모델이 가지고 있는 파라미터의 수로 측정합니다.


LLM의 종류와 변천 모델들을 소개한 페이지인데, 최근에 공개된 GPT-4까지 정말 많네요.




● 2장 LLM 활용하기

   - LLM 활용 방법 (파인튜닝, RAG, 퓨샷 러닝) 및 LLM 활용 시 주의 사항, LLM의 한계를 다룹니다.


기업에서 원하는 LLM은 범용 모델이 아닙니다.

챗GPT, Bard와 같이 우리가 흔히 사용하고 있는 LLM 챗봇은 특정한 목적과 분야(도메인)에 집중한 맞춤형 모델이 아닌 범용 모델에 기반하고 있습니다. 

그러나 기업에서 고객 대응, 업무용(B2B, B2C)으로 LLM 챗봇을 제공하려고 한다면, 그것은 범용 챗봇이 아닐 가능성이 높습니다. 어떠한 주제이든 만능으로 동작하기 보다는 기업의 워크플로우 중 일부를 대신할 수 있을 만큼 해당 분야에 특출난 지식/능력을 갖추는 것이 요구되기 때문입니다. 


파인튜닝(Fine-Tuning)은 기존의 LLM을 특정한 작업이나 상황에 맞게 조금 더 훈련시키는 과정이고,

RAG(Retrieval-Augmented Generation)는 자연어 처리 분야에서 사용되는 기술로, 정보검색과 생성을 결합한 AI 모델입니다.



● 3장 RAG 훑어보기

   - RAG 개념과 구현 과정 (정보 검색, 텍스트 생성)

   - RAG 구현 시 필요한 것 (데이터, 벡터 데이터베이스, 랭체인 프레임워크)을 다룹니다.


파인튜닝된 모델은 특정 시점까지의 데이터만 학습이 되기 때문에, 모델 외부 데이터에 대한 상시적 접근이 필요하다면 RAG가 더 효율적인 방법입니다. 

또한 할루시네이션의 억제가 더 중요하고,

충분한 양의 양질의 라벨링된 데이터를 확보할 수 없다면 파인튜닝은 적절한 선택이 아닙니다.

RAG(Retrieval-Augmented Generation)는 LLM이 텍스트를 생성할 때 관련 정보를 찾아보고(retrieval), 그 정보를 활용하여 새로운 텍스트를 만드는(generation) 기술입니다.



● 4장 랭체인 익숙해지기

   - 랭체인 개요 및 랭체인을 사용하기 위한 환경 구성 (아나콘다 환경 구성, 필요한 라이브러리 설치, 키 발급)

   - 랭체인 주요 모듈 (모델 I/O, 데이터 연결, 체인, 메모리, 에이전트/툴)을 다룹니다.


RAG를 구현하려면 정보검색과 텍스트 생성이 필요한데,

텍스트 생성은 LLM의 몫이기 때문에 우리는 정보검색에만 신경쓰면 됩니다.

정보검색을 위해선 벡터 데이터베이스가 사용되기 때문에, 임베딩 과정이 필요하고, 이후 유사도 검색과 랭킹 처리를 해야하지만, 이 모든 것을 랭체인으로 가능합니다. 

랭체인을 사용하기 위한 모든 개발 환경구성 방법을

초보자도 따라할 수 있게 아주 상세히 소개하고 있으니 도전해보세요!



● 5장 랭체인으로 RAG 구현하기

   - 간단한 챗봇 만들기, RAG 기반 챗봇 만들기, PDF 요약 웹사이트 만들기, 독립형 질문 챗봇 만들기

   - 대화형 챗봇 만들기, 번역 서비스 만들기, 메일 작성기 만들기, CSV 파일 분석하기


개인적으로 가장 흥미로웠던 부분입니다. ㅋ

랭체인을 이용하면 단지 몇개의 라이브러리 설치와 코딩만으로 이렇게 쉽게 RAG를 구현할 수 있다니!!

제가 처음에 언급한 "누구나 손쉽게 AI 서비스를 만들 수 있다!

이 말이 증명되는 부분이네요~ ^^


● 6장 LLM을 이용한 서비스 알아보기

   - 콜센터, 상품 추천, 보험 언더라이팅, 코드 생성 및 리뷰, 문장 생성, M365 코파일럿


저자는 LLM이 실제로 어떤 서비스에 활용되고 있는지 소개하고 있습니다.

은행 IT부서에서 근무하는 저로써 가장 고민해야할 부분입니다.

과연 우리 회사에 어떤식으로 적용할 수 있을까?

금융업에 가장 중요시되는 고객 정보 보안은 어떻게 관리할까? 

텍스트 입력을 제한한다던지, 비식별화 기술로 커버될까? 등등..

잠깐이지만 이런저런 생각을 해봤습니다. 




이 책의 장점

부담되지 않는 두께의 책이고 그렇다고 결코 부실하지 않은 짧고 명확한 설명으로 다가왔습니다.


● 초보자도 쉽게 이해할 수 있는 명확하고 간결한 설명

    : 복잡한 기술 용어를 최소화하고, 실제 코드와 함께 단계별로 설명하여 초보자도 쉽게 LLM 및 랭체인을 이해하고 활용할 수 있도록 돕습니다.


● 다양한 실습 시나리오를 통한 실질적인 경험 제공

    : 간단한 챗봇부터 PDF 요약 웹사이트, 번역 서비스, CSV 파일 분석까지 실제 사용 가능한 수준의 8가지 LLM 서비스 구현 실습을 통해 독자들이 직접 AI 서비스를 개발하며 실질적인 경험을 쌓을 수 있도록 합니다.


● RAG 기법을 활용한 고도화된 LLM 서비스 개발 방법 소개

    : 최근 주목받는 RAG 기법을 활용하여 보다 정교하고 효과적인 LLM 서비스를 개발하는 방법을 심층적으로 다루고 있어, 독자들의 AI 서비스 개발 역량을 한 단계 더 업그레이드 시켜줍니다.


● 랭체인 플랫폼 활용에 대한 전문적인 안내

   : 랭체인 플랫폼의 설치 및 사용법부터 주요 모듈 활용 방법까지를 자세하게 설명하여 독자들이 랭체인 플랫폼을 활용하여 다양한 LLM 서비스를 개발할 수 있도록 돕습니다.


● 실습예제 및 완벽 정오표 제공

    https://www.gilbut.co.kr/book/view?bookcode=BN004014#bookData

  : 도서의 전체 코드 재검증 후 정오표가 24.04.03일자로 업로드 되어 있으니, 실습하실때 꼭 참고하시기 바랍니다.




#북리뷰  #책  #IT  #LLM  #RAG  #랭체인  #AI 서비스  #PDF요약  #챗봇만들기  #번역서비스  #콜센터  #상품추천  #언더라이팅  #문장생성  #코렙   #개발  #길벗  #서지영





댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
맛있는 디자인 포토샵 CC 2024 - 핵심 기능을 담은 기본편+실무 예제가 풍부한 활용편 맛있는 디자인 시리즈
윤이사라.김신애 지음 / 한빛미디어 / 2024년 3월
평점 :
장바구니담기


[북리뷰-IT] 맛있는 디자인 포토샵 CC 2024 (한빛미디어, 2024)

포토샵은 역사를 통틀어 디지털 이미지 편집 및 조작의 업계 표준으로 남아 있으며, 

그래픽 디자인, 디지털 아트, 웹 디자인 등 다양한 분야에서 중추적인 역할을 해왔습니다.

저도 포토샵을 처음 접한건 대딩때인 90년대 중후분 이었는데, 

포토샵 6.0때 추가된 기능인 힐링 브러시는 리터칭에 혁명을 일으켰다해도 과언이 아니었습니다. ㅋ


포토샵은

1990년대 매킨토시에서 시작한 Photoshop 1.0을 시작으로,

2000년대 초반  크리에이티브 스위트(CS) 버전인 Photoshop 8.0 ~ 13.0(CS6)까지..

2013년부터는 기존 영구 라이센스에서 지금의 구독 기반 모델인 CC(Creative Cloud)로 전환되었습니다.


포토샵을 자주 사용하지는 않고, 간혹 필요할 때마다만 사용하는 저로써는 매월 지불해야하는 구독료가 부담이 되어서 CC버전부터는 사용을 안했었던 것 같아요.

제가 사용하는 기능은 제한적이어서 기존 CS 버전만으로도 충분하기도 했구요. ㅋ

하지만 이번에 CC 2024부터 생성형 AI 기능이 포함되었다고 해서, 궁금증이 폭발하여 관련 책들을 찾아보던 중에..


한빛미디어에서 출판된 "맛있는 디자인 포토샵 CC 2024"가 제일 눈에 들어오던군요.

맛있는 디자인 시리즈가 그래픽분야 베스트셀러이기도 해서 그런거 일수도 있습니다. ㅋ



이 책의 저자가 포완카 카페(https://cafe.naver.com/pstutorial)운영자님이셨네요.

20년 넘게 활발하게 운영되어온 디자인 커뮤니티로 알고 있는데, 

이것만 봐도 책의 퀄리티가 상상이 가시죠? ㅋ



포토샵의 모든 기능을 제대로 배우는 가장 완벽한 레시피

포토샵 초보자부터 전문가까지 모두 만족시키는 포토샵 학습서를 찾고 계신가요?

"맛있는 디자인 포토샵 CC 2024"는 포토샵의 기초부터 활용까지 완벽하게 익힐 수 있도록,

핵심 기능을 담은 기본편과 실무 예제가 풍부한 활용편으로 나뉘어 있어

포토샵을 처음 배우는 분도 쉽게 따라 할 수 있고, 쉽고 빠르게 익혀 바로 써먹을 수 있습니다!


이것만 따라할 줄 알아도, 포토샵의 기본기능은 다 익힌것 같아요.



이미지와 캔버스 사이즈 조절하고, 필요한 부분만 오려내고, 이미지 합성하고 불필요한 부분은 제거하고, 색상을 추출하고 여백은 자동으로 채워주고, 레이어를 합성하고 스트로크로 테두리선을 그어주고 문자 입히고 등..

이제 시작이지만, 나름 전문가의 손길이 느껴지지 않나요? ㅎ



CC 2024부터 포함되어, 제가 제일 궁금해 했던 AI 기능부터 살펴보면,


프롬프트 입력(튀어오르는 투명한 물, 얼음, 물방울)만으로 아래 왼쪽 이미지의 배경을 오른쪽 처럼 만들 수 있습니다.

정말 대단하지 않나요? 



아래는 숲(왼쪽) 이미지에 프롬프트 입력(군인과 탱크)으로 생성하고, 조정 레이어를 선택하고 흑백으로 보정하였습니다.

이처럼 AI 신기능을 활용하여 포토샵을 좀 더 효율적으로 다룰 수 있습니다.



이미지 활용 예제로, 인물에 브러시 도구로 일러스트 라인을 그리고 채색해보면 이런 효과도 낼 수 있어요 ^^



이미지와 타이포가 어우러진 카드를 디자인하기 위해 클리핑 마스크를 적용해보면, 이런 효과도 낼 수 있어요.



요즘 유튜브 개인 채널들 많이 운영하시죠? 유튜브 채널 상단의 채널아트도 만들어 볼 수 있어요 ^^



이 외에도 정말 많은 예제와 기능들을 소개하고 있는데요,

포토샵을 처음 시작하는 왕초보라면 [기본편]에 구성된 핵심 기능부터 꼼꼼히 익히시고,

어느 정도 익숙해졌다면 [활용편]에서 소개하는 다양한 활용 예제를 실습하며 포토샵을 다양하게 활용해 볼 수 있습니다. 
지금 당장 써먹을 수 있을 만큼 멋진 예제로 구성되어 실무는 물론 취미생활에서도 제대로 써먹을 수 있을 것 같아요 ^^


이 책의 장점

포토샵의 기초부터 활용까지 완벽하게 다루고 있어,

포토샵을 처음 배우는 초보자부터 실무자까지 누구나 쉽게 학습할 수 있습니다.

특히, 핵심 기능을 담은 기본편과 실무 예제가 풍부한 활용편으로 구성되어 있어

단계적으로 학습할 수 있다는 점이 장점이에요~


최신 버전인 CC 2024에 완벽히 대응하여 포토샵의 최신 기능을 배우고 활용할 수 있을뿐만 아니라,

하위 버전 사용자를 위한 버전별 사용 팁도 제공되어 있어 모든 사용자가 포토샵을 쉽게 학습할 수 있도록 합니다.


[기능 실습] 에서는 기초 지식과 도구 사용법을,

[한눈에 실습] 에서는 핵심 기능을,

[실무 실습] 에서는 여러 기능을 조합하여 실무에 활용하는 방법을 단계적으로 학습할 수 있습니다. ^^


맛있는 디자인 공식 카페와 6주 온라인 스터디를 통해 학습을 더욱 효과적으로 진행할 수도 있습니다. 

맛있는 디자인 스터디 그룹에서는 포토샵 학습 팁과 노하우를 공유하고, 서로 질문하며 답변하는 등 학습에 도움을 받을 수도 있어요 ^^




"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."



댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
실무로 통하는 인과추론 with 파이썬 - 데이터 분석에서 정책 수립까지, 이론과 사례 연구를 통한 실용적인 학습법
마테우스 파쿠레 지음, 신진수.가짜연구소 인과추론팀 옮김, 박지용 감수 / 한빛미디어 / 2024년 3월
평점 :
장바구니담기


[북리뷰-IT] 실무로 통하는 인과추론 with 파이썬 (한빛미디어, 2024)

"실무로 통하는 인과추론 with 파이썬"은 인과추론에 대한 실용적인 접근법을 제공하는 독특한 책입니다. 
이 책은 인과추론의 기본 개념부터 시작하여, 편향 보정, 이질적 효과와 개인화, 패널 데이터, 그리고 대안적 실험 설계에 이르기까지 다양한 주제를 다룹니다. 
이 책은 파이썬을 사용하여 인과추론의 핵심 개념을 이해하고 실제 문제에 적용하는 방법을 배울 수 있게 해줍니다.


책의 주요 내용

이 책의 목차를 보면, 인과추론의 기본 개념을 소개하는 첫 부분에서 시작하여, 편향 보정, 이질적 효과와 개인화, 패널 데이터, 그리고 대안적 실험 설계에 이르기까지 다양한 주제를 체계적으로 다루고 있습니다. 
각 장은 주제에 대한 깊이 있는 이해를 돕기 위해 실제 사례와 실습을 통해 구체적인 내용을 설명하고 있습니다.

PART 1 인과추론 기초

  • 1장 : 인과추론 소개
    • 연관성이 인과관계와 왜 다른지와 연관성을 인과관계로 만드는 방법을 배울 수 있습니다. 또한 인과적 추론을 이해하는 방법으로 잠재적 결과 표기법을 소개하고 있습니다. 잠재적 결과 프레임워크를 통해 우리는 통계 자료를 두 가지 가능한 현실로 간주합니다. 하나는 처치를 받은 것이고 다른 하나는 처치를 받지 않은 것입니다. 불행하게도 인과 추론의 근본적인 문제로 인해, 동시에 관측할 수 없고 그 중 하나만 관찰할 수 있습니다.
  • 2장 : 무작위 실험 및 기초 통계 리뷰
    • 인과추론에 있어서 가장 근본이되는 방법이라고 할 수 있는 무작위 실험으로 부터 시작해서 인과관계를 추정하는 몇 가지 기본 방법을 안내합니다. 무작위 실험이 왜 인과적 영향을 추론하는 가장 간단하고 가장 효과적인 방법인지를요. 바로 실험군(T-group)과 대조군(C-group)을 비교 가능하게끔 만들어 주는 것이죠. 무작위 실험을 항상 할 순 없지만, 우리가 할 수 있는 이상적인 실험이 무엇인지를 생각하도록 합니다.
    • 온라인 수업이 대면 수업에 비해 학업성취도 저하를 유발하는 것을 알아냈습니다. 또한 통계학적으로 유의한 결과임을 확인했고, 두 집단의 평균 신뢰구간을 비교하고, 차이에 대한 신뢰구간을 살펴보고, 가설검정을 수행해서 p값을 확인했습니다.
  • 3장 : 그래프 인과모델
    • 인과추론의 식별 부분에 중점을 두어, 더 잘 이해하고 표현하기 위한 언어로서 그래프 모델들을 안내합니다. 그래프에서의 조건부 확률의 규칙에 대해서, 또한 편향으로 이어질 수 있는 몇 가지 구조에 대해 탐색합니다.
    • 첫 번째는 교란(confounding)인데, 처치와 결과가 우리가 계산하거나 통제할 수 없는 공통의 원인을 가지고 있을 때 발생합니다. 두 번쨰는 선택 편향(selection bias)인데, 동일한 효과에 대한 조건화로 인해 발생합니다. 세 번째 구조는 선택 편향의 한 형태인데, 이번에는 매개 변수에 대한 과도한 통제로 발생합니다. 이런 과도한 통제로 발생한 편향은 처치가 무작위로 할당된다고 하더라도 발생할 수 있습니다. 선택 편향은 종종 그저 아무것도 하지 않음으로써 고칠 수도 있지만, 우리는 행동에 편향되어 있기 때문에 사물을 통제하는 아이디어가 득보다 실이 많을 때도 그것을 영리하다고 보는 경향이 있습니다.

PART 2 편향 보정

  • 4장 : 유용한 선형회귀
    • 회귀분석에 대해 배우지만, 머신러닝 책에서 보는 관점과는 다른 방향으로 배웁니다. 회귀분석을 주로 교란 요인을 보정하거나 분산 감소에 사용합니다.
    • 조건부 독립성이 유지될 때 직교화를 이용해 처치가 무작위로 배정된 것처럼 보이게 할 수 있습니다.
  • 5장 : 성향점수
    • 편향을 보정하는 두번째 방법인 역확률 가중치를 알아봅니다. 이것 또한 처치를 모델링해야하는데, 이는 인과추론 문제에서 처치 배정 메커니즘을 생각하는 것이 얼마나 중요한지를 알려줍니다.
    • doubly robust estimator 를 만드는 선형회귀와 경향 점수를 결합하는 방식을 알아봅니다. 이 추정량은 하나의 모델만 정확한 것을 요구하기 때문에 그런 이름이 붙었습니다. 만약 경향 점수 모델이 맞다면 종속변수 모델이 틀렸더라도 우리는 인과 효과를 추정할 수 있습니다. 반대로 종속변수 모델이 맞다면 경향 점수 모델이 틀리더라도 인과 효과를 추정할 수 있습니다.

PART 3 이질적 효과와 개인화

  • 6장 : 이질적 처치효과
    • 이질적 처치효과의 개념을 소개합니다. 핵심 아이디어는 실험 대상마다 처치효과가 다를 수 있다는 것입니다. 이 효과를 안다면 효과적으로 실험 대상에 처치를 배정할 수 있지만, 인과추론의 근본적인 문제로 인해 이 효과는 관측할 수 없습니다. 하지만 처치와 공변량 간의 상호작용 항을 포함하는 선형회귀 분석을 사용하여, 처치효과가 개별 대상 수준에서 관측되지 않더라도 그룹 효과를 추정할 수 있습니다.
  • 7장 : 메타러너
    • 처치변수를 feature로 사용해 S러너를 활용하는 것이 가장 쉬운 접근이라고 할 수 있습니다. 이것은 처치가 결과의 약한 예측 변수가 아닐 때 잘 작동하는 경향이 있습니다. 그렇지 않은 경우엔, S러너는 종종 제로로 편향되거나 처치를 완전히 무시하기도 합니다. 
    • 조금 더 복잡한 T러너를 사용하여 러너에게 처치를 강제적으로 인식하도록 할 수 있습니다. 여기서는 각 처치 수준마다 각각의 머신 러닝 모델을 맞추는 것입니다. 이것은 모든 처치 수준에 충분한 샘플이 있는 경우에는 잘 작동하지만, 하나의 처치 수준의 샘플 크기가 작으면 모델을 크게 정규화해야 할 수 있으므로 실패할 수 있습니다. 
    • 이를 보완하기 위해 데이터 수가 매우 적게 추정된 모델에서 발생할 수 있는 잠재적인 오류를 수정하기 위해 두 번째 단계 모델과 경향성 점수 모델을 사용하는 X러너를 사용하여 한층 더 복잡하게 할 수 있습니다.

PART 4 패널데이터

  • 8장 : 이중차분법
    • 여러 기간에 걸쳐 동일한 대상에 대해 여러 측정값이 있는 데이터인 패널 데이터를 사용하는 방법을 살펴봅니다. 이 경우 개체(entity)를 제어하는 고정 효과 모델을 사용해, 모든 대상과 시간이 변하지 않는 변수를 고정할 수 있습니다. 고정 효과 모델은 교란변수를 통제하는 강력하고 매우 설득력 있는 방법이며 랜덤이 아닌 데이터를 사용하는 것만큼이나 효과가 좋습니다.
  • 9장 : 통제집단합성법
    • 여러 제어 집단을 결합하여 처치된 집단과 유사하게 만드는 Synthetic Control을 만들 수 있다는 것을 배웁니다. 이 Synthetic Control을 통해 우리는 처치가 없었다면 처치된 집단에 어떤 일이 일어났을지 알 수 있습니다.
    • 처치되지 않은 집단이 실제로 처치된 척하고 효과도 계산해봅니다. 이것들은 플라시보 효과였습니다. 처치 없이도 관찰할 수 있는 효과였습니다. 우리는 그것들을 사용하여 우리가 추정한 처치 효과가 통계적으로 유의한지 확인합니다.

PART 5 대안적 실험 설계

  • 10장 : 지역 실험과 스위치백 실험
    • 사용 가능한 실험 대상의 수가 다소 부족한 경우를 대비한 두 가지 대안적 실험 설계를 살펴봅니다.
  • 11장 : 불응과 도구변수
    • 사람들이 처치 받지 않기로 선택할 수 있을 때 불응 문제가 발생합니다. 많은 회사들은 고객이 선택할 수 있는 제품이나 서비스를 제공하므로, 불응은 흔한 일입니다. 
    • 불응을 다룰 때 도구변수를 활용하는 방법을 배웁니다. 도구변수는 교란 없이 처치에 영향을 주고, 처치를 거치지 않으면 결과에 영향을 미치지 않는 변수입니다.
  • 12장 : 더 배울 내용

 

책의 장점 및 특징

이 책은 통계와 머신러닝에 관한 수학과 이론에 치우치지 않으면서 인과추론의 핵심 개념을 이해하기 쉽게 설명하고 있습니다. 또한 최신 연구 결과들을 충실히 담고 있어, 이론과 실제 사이의 균형을 잘 맞추고 있습니다. 

파이썬 실습을 통해 실무적이고 실전적인 학습을 균형 있게 다루고 있어, 곁에 두고 필요할 때 찾아볼 수 있는 지침서이자 참고서로서도 손색이 없습니다.


● 실무 중심적인 접근 : 이론과 수학적 설명에 치우치지 않고 실제 비즈니스 문제 해결에 초점을 맞춰 다룹니다.
● 파이썬 실습 : 각 장의 내용을 파이썬 코드로 실습하며 직접 적용해 볼 수 있습니다.
● 최신 연구 결과 : 최근 인과추론 분야의 발전을 반영하여 최신 연구 결과들을 다룹니다.
● 체계적인 구성 : 기초부터 응용까지 단계별로 학습할 수 있도록 체계적으로 구성되어 있습니다.
● 명확하고 간결한 설명 : 전문 용어를 최소화하고 쉬운 용어로 설명하여 이해하기 쉽습니다.

  

인과추론에 대한 실질적인 이해를 돕는데 필수적인 책

이 책은 인과추론의 중요성을 강조하며, 데이터 분석이 우리의 추론과 의사결정을 대신하기 시작하면서 현상에 대한 인과관계가 빅데이터의 홍수 속에 파묻혀 점점 더 모호해지고 있다는 점을 지적합니다. 

이러한 문제를 해결하기 위한 방법을 제시하며, 데이터에서 원인과 결과를 추론하는 것이 어렵지만 불가능하지 않다는 메시지를 전달합니다.


은행 종사자로써, 책을 읽어보고 업무에 적용할 수 있는 몇 가지를 생각해 봤습니다.


1. 마케팅 효과 분석 및 최적화

  • 캠페인 효과 분석
    • A/B 테스트를 통해 다양한 마케팅 캠페인의 효과를 정확하게 비교하고 최적의 캠페인을 선정할 수 있습니다.
    • 고객의 인구 통계, 행동 및 기타 특성을 고려하여 이질적 효과 분석을 수행하여 각 고객에게 가장 효과적인 캠페인을 제공할 수 있습니다.
  • 고객 세분화 및 타겟팅
    • 성향점수 분석을 통해 고객을 세분화하고, 각 세분화 그룹에 맞춤형 마케팅 메시지를 제공하여 마케팅 효율성을 높일 수 있습니다.
    • 고객의 과거 거래 내역, 상품 이용 패턴 등을 기반으로 개인화된 상품 추천 시스템을 구축하여 고객 만족도를 높일 수 있습니다.

2. 신용 위험 관리 및 평가

  • 신용 불량 예측
    • 과거 데이터를 기반으로 머신러닝 모델을 구축하여 신용 불량 위험이 높은 고객을 사전에 예측하고 대비할 수 있습니다.
    • 인과추론 모델을 통해 다양한 변수가 신용 불량 위험에 미치는 영향을 정확하게 분석하고, 위험 관리 전략을 개선할 수 있습니다.
  • 사기 예방
    • 고객 거래 데이터를 분석하여 사기 행위를 사전에 예측하고 차단할 수 있습니다.
    • 인과추론 모델을 통해 사기 행위의 원인을 파악하고, 보다 효과적인 사기 예방 시스템을 구축할 수 있습니다.

3. 상품 개발 및 가격 책정

  • 고객 니즈 분석
    • 고객 설문 조사 데이터를 분석하여 고객의 니즈를 정확하게 파악하고, 이에 맞는 새로운 상품을 개발할 수 있습니다.
    • 인과추론 모델을 통해 다양한 변수가 고객 니즈에 미치는 영향을 분석하고, 고객 만족도를 높일 수 있는 상품 개발 전략을 수립할 수 있습니다.
  • 가격 민감도 분석
    • 고객의 가격 인식 및 구매 패턴을 분석하여 최적의 상품 가격을 책정할 수 있습니다.
    • 인과추론 모델을 통해 가격 변화가 고객 구매에 미치는 영향을 분석하고, 수익성을 극대화할 수 있는 가격 정책을 수립할 수 있습니다.

4. 리스크 관리 및 규제 준수

  • 운영 리스크 분석
    • 은행 내부 데이터를 분석하여 다양한 운영 리스크 요인을 식별하고 평가할 수 있습니다.
    • 인과추론 모델을 통해 리스크 요인의 상호 연관성을 분석하고, 효과적인 리스크 관리 전략을 수립할 수 있습니다.
  • 규제 준수 검증
    • 규제 관련 데이터를 분석하여 은행의 규제 준수 여부를 검증할 수 있습니다.
    • 인과추론 모델을 통해 규제 위반 가능성을 사전에 예측하고, 규제 준수를 위한 시스템을 구축할 수 있습니다.

5. 고객 서비스 개선 및 운영 효율성 향상

  • 고객 만족도 분석
    • 고객 만족도 조사 데이터를 분석하여 고객 불만족 요인을 파악하고 개선할 수 있습니다.
    • 인과추론 모델을 통해 고객 만족도에 영향을 미치는 변수를 분석하고, 고객 만족도를 높일 수 있는 전략을 수립할 수 있습니다.
  • 운영 효율성 분석
    • 은행 운영 데이터를 분석하여 비효율적인 프로세스를 개선하고 운영 효율성을 높일 수 있습니다.

 


"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 제공 받아 작성된 서평입니다."


 

#북리뷰  #책  #IT  #인과추론  #데이터분석  #머신러닝  #파이썬  #마케팅  #신용위험  #상품개발  #가격책정  #리스크관리  #규제준수  #고객서비스  #운영효율성  #고객만족도  #A/B테스트  #성향점수  #이질적효과  #개인화  #사기예방  #고객니즈  #가격민감도  #운영리스크  #규제위반





댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
프로덕트 매니지먼트의 기술 - 제품과 서비스, 그리고 현장 중심 실무 가이드, SAP, 카카오, 아마존 등 국내 PM 8인의 인터뷰 특별 수록
맷 르메이 지음, 권원상 옮김 / 한빛미디어 / 2024년 1월
평점 :
장바구니담기


[북리뷰-IT] 프로덕트 매니지먼트의 기술 (한빛미디어, 2024)

"프로덕트 매니지먼트의 기술"은 훌륭한 프로덕트를 만드는 단계적 가이드나 성공을 보장하는 프레임워크를 제시하는 책이 아닌, 프로덕트 매니지먼트의 실질적인 역할과 그에 필요한 기술을 소개하는 책입니다. 


저자 맷 르메이는 이 책에서 프로덕트 매니저의 일상적인 업무와 어려움을 솔직하고 현실적으로 다루며, 프로덕트 매니저가 매일 맞이하는 모호함과 모순, 수많은 타협점, 프레임워크나 기술 개념으로도 해결할 수 없는 문제에 대한 실질적인 도움을 제공하는 일상 가이드라고 보시는게 맞습니다.




책의 주요 내용

이 책은 프로덕트 매니지먼트의 실제를 소개하는 첫 장에서 시작하여, 프로덕트 매니지먼트의 CORE 기술, 호기심을 보이는 방법, ‘TMI’ 커뮤니케이션의 기술, 임원과의 협력 방법, 사용자와의 대화 방법, ‘모범 사례’에 관한 불편한 진실, 애자일에 대한 놀랍고도 끔찍한 진실, 문서화라는 무한 시간 흡입기, 비전, 미션, 목표, 전략 및 기타 멋진 단어들, 데이터, 주도권을 잡는 방법, 우선순위 결정하기, 집에서 시도하기: 원격 근무의 시도와 고난, 프로덕트 매니저들의 매니저(프로덕트 리더십) 등 다양한 주제를 다룹니다.


● 프로덕트 매니저의 실제 모습

이 책은 프로덕트 매니저를 단순히 멋진 아이디어를 구현하는 존재로 미화하지 않습니다. 

오히려, 모호하고 불확실한 상황 속에서 끊임없이 선택과 결정을 내려야 하는 역할임을 강조합니다. 

또한, 프로덕트 개발 과정에서 발생하는 다양한 문제 상황과 이에 대한 현실적인 해결 방안을 제시합니다.


●  프로덕트 매니저에게 필요한 핵심 기술
이 책은 프로덕트 매니저에게 필요한 핵심 기술을 다음과 같이 제시합니다.
  - 호기심 : 사용자와 시장에 대한 끊임없는 호기심을 통해 문제점을 파악하고 새로운 기회를 발굴하는 능력
  -  TMI 커뮤니케이션 : 명확하고 투명한 의사소통을 통해 이해관계자들의 신뢰를 얻고 협력을 이끌어내는 능력
  -  임원과의 협력 : 임원의 입장을 이해하고, 설득력 있는 논거를 제시하여 프로덕트 비전을 공유하고 지원을 얻는 능력
  -  사용자와의 대화 : 사용자의 요구와 피드백을 적극적으로 수렴하여 사용자 중심의 프로덕트 개발을 추진하는 능력
  -  데이터 기반 의사결정 : 정량적인 데이터를 분석하여 객관적이고 합리적인 판단을 내리는 능력
  -  우선순위 결정 : 제한된 시간과 자원 속에서 가장 중요한 일에 집중할 수 있는 능력
  -  원격 근무 : 효과적인 커뮤니케이션과 시간 관리를 통해 원격 환경에서도 성공적으로 업무를 수행하는 능력
  -  리더십 : 팀을 이끌고 동기 부여하며, 긍정적인 조직 문화를 조성하는 능력


●   실무에 바로 적용 가능한 팁과 노하우
각 장은 특정 주제에 대한 이론적인 설명과 실제 사례를 통해 그 주제를 이해하는 데 도움을 주고,  각 장의 끝에는 셀프 체크리스트가 있어 독자가 해당 장에서 배운 내용을 복습하고 자신의 이해도를 확인할 수 있습니다.

또한, 실제 프로덕트 매니저들의 인터뷰를 통해 현장 경험과 노하우를 공유합니다.



책의 장점 및 특징

이 책의 가장 큰 특징은 프로덕트 매니지먼트에 대한 실질적인 가이드를 제공한다는 점입니다. 

많은 책들이 이론적인 내용이나 성공적인 사례를 중심으로 설명하는 반면, 이 책은 프로덕트 매니저의 일상적인 업무와 그에 대처하는 방법을 중심으로 설명합니다. 이로 인해 독자는 프로덕트 매니저의 역할을 더욱 명확하게 이해할 수 있으며, 실제 업무에서 직면하는 문제를 해결하는 데 도움이 될 수 있습니다.

또한 이 책은 프로덕트 매니저가 자신의 역할을 더욱 효과적으로 수행하기 위해 필요한 다양한 기술과 전략을 소개합니다. 이러한 기술과 전략은 프로덕트 매니저뿐만 아니라, 프로덕트 팀의 다른 구성원들에게도 유용할 수 있습니다.


● 현장 경험 기반의 실질적인 조언 : 저자는 20년 이상의 프로덕트 매니저 경험을 바탕으로 현장에서 실제로 효과적인 조언을 제공합니다.


● 솔직하고 현실적인 시각 : 프로덕트 매니저의 업무를 긍정적인 측면만 강조하기보다는 현실적인 어려움과 문제점까지 솔직하게 다룹니다.


● 다양한 사례와 체크리스트 : 독자들이 내용을 이해하고 실무에 적용할 수 있도록 다양한 사례와 체크리스트를 제공합니다.


●  다양한 시각 : 임원, 사용자, 개발자 등 다양한 이해관계자들의 입장을 고려하여 균형 잡힌 시각을 제공합니다.


● 명확하고 간결한 문장 : 전문 용어 남발을 피하고, 명확하고 간결한 문장으로 내용을 전달합니다.


● 흥미 유발 : 독자의 흥미를 유발할 수 있는 구체적인 예시와 인용문을 활용합니다.



이 책을 통해 한 단계 더 성장하고, 나의 꿈을 향한 여정

저는 은행의 IT업무 부서에서 종사한지 20년 정도 되는 개발자입니다.

지난 20년간 은행의 핵심업무인 여/수신의 코어뱅킹 개발자로, 디지털금융 부서에서는 기업고객을 대상으로 하는 현업 담당자로 다양한 업무와 프로젝트를 수행하였습니다.

은행 코어뱅킹 시스템은 금융기관의 심장과 같은 존재로, 저는 IT 개발 책임자로 이 시스템의 안정적인 운영과 발전을 위해 끊임없이 노력해왔습니다. 최근에는 핀테크 기술의 등장과 고객 니즈의 변화에 발맞춰 프로덕트 경쟁력 강화의 중요성을 더욱 절실하게 느끼고 있습니다.

“프로덕트 매니지먼트의 기술”은 단순한 기술서가 아닌 현장 경험을 바탕으로 작성된 프로덕트 매니지먼트의 실용 가이드입니다. 저는 이 책을 통해 은행 코어뱅킹 IT 개발 책임자로서 다음과 같은 효용성을 얻을 수 있었습니다.

1. 고객 중심 사고의 중요성 재확인
저는 오랜 경험을 통해 고객 만족의 중요성을 잘 알고 있었습니다. 하지만 이 책은 고객 중심 사고를 단순한 개념이 아닌, 구체적인 프로세스와 방법론으로 제시했습니다. 이를 통해 고객 니즈를 정확하게 파악하고 이를 반영한 프로덕트 개발 전략을 수립하는 데 도움을 얻을 수 있을 것 같습니다.

2. 프로덕트 개발 프로세스의 체계적인 이해
저는 개발 책임자로서 프로덕트 개발 프로세스의 전반적인 흐름을 이해하고 있었습니다. 하지만 이 책은 각 단계별 주요 활동과 고려해야 할 사항을 구체적으로 설명하여 프로세스에 대한 이해를 더욱 심화시켜주었습니다. 

특히, 프로덕트 로드맵 작성, 데이터 분석 활용, 애자일 개발 방법론 등의 내용은 실제 프로젝트 진행에 유용하게 적용할 수 있습니다.

3. 다양한 이해관계자와의 효과적인 협력
코어뱅킹 시스템 개발에는 다양한 부서와 외부 업체가 참여합니다. 이 책은 효과적인 커뮤니케이션, 이해관계자 관리, 리더십 등의 기술을 제시하여 프로젝트를 성공적으로 이끌기 위한 전략을 제시했습니다. 특히, 임원과의 협력, 개발팀과의 소통, 외부 협력업체 관리 등 은행 환경에 맞는 실용적인 팁을 얻을 수 있었습니다.

4. 변화하는 환경에 대한 적응력 강화
핀테크 기술의 발전과 고객 니즈의 변화는 코어뱅킹 시스템에도 영향을 미칩니다. 이 책은 변화에 대한 능동적인 태도, 지속적인 학습, 새로운 기술 도입 등의 중요성을 강조했습니다. 또한, 애자일 개발 방법론, 데이터 분석 활용 등 변화에 적응하기 위한 실질적인 방법을 제시했습니다.

5. 프로덕트 매니저 역량 강화
저는 개발 책임자로서 기술적인 역량에 집중했습니다. 하지만 이 책은 프로덕트 매니저로서 필요한 다양한 역량, 특히 비즈니스 이해, 마케팅 전략, 리더십 등을 키울 수 있도록 도와주었습니다. 이를 통해 프로덕트 개발 전반에 대한 책임감을 더욱 강하게 느끼게 되었고, 보다 전략적인 시각으로 프로젝트를 진행할 수 있을 것 같습니다.


책의 평가

프로덕트 매니저를 준비하는 사람들에게 이 책은 현실적인 기대치를 제시하고, 실무 전문가들에게는 새로운 시각을 제공합니다. 또한, 프로덕트 개발 과정에 참여하는 모든 사람들에게 유용한 정보와 지식을 제공합니다.

프로덕트 매니저로서 성공적인 커리어를 쌓고 싶거나, 프로덕트 개발 과정에 대한 이해를 높이고 싶거나, 실무에 바로 적용 가능한 프로덕트 매니지먼트 기술을 배우고 싶은 사람들에게 이 책을 적극 추천합니다.



"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 제공 받아 작성된 서평입니다."



#프로덕트매니지먼트  #PM  #프로덕트매니저  #프로덕트개발  #스타트업  #기술  #소프트스킬  #커뮤니케이션  #팀워크  #리더십  #문제해결  #의사결정  #애자일  #책  #서평  #추천  #리뷰  #한빛미디어  #맷르메이


댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo