AI 교육기관에서 AX와 에이전트 설계 방법론 교육자료로 활용하기 위해 만든 교재인데, 개인적으로 AX 관련 업무를 수행하고 있는 현직 컨설턴트의 입장에서 이해하기 쉽고 적용하기에도 쉬운 프레임워크를 제시해주고 있는 점이 인상적이었다. 이 책은 자신의 직무를 잘게 분해하여 병목과 페인포인트를 찾고, 흩어진 업무를 데이터로 바꾸고, 우선순위를 가려 Task 단위로 쪼갠 뒤 실무에 바로 붙일 AI 에이전트를 직접 만들기까지 필요한 절차와 템플릿들을 제시하고 있다. AX는 AI를 도입하는 것이 아니라, AI를 중심으로 일하는 방식을 다시 설계하는 전략적 전환이라면서 워크플로우 재설계가 중심이 되어야 한다고 말한다. AX는 어떤 일을 사람이 하고, 어떤 일을 AI가 하는가를 새롭게 설계하는 것이라면서 말이다. 반복적이고 규칙이 명확한 업무, 데이터에 기반한 처리, 패턴이 일정한 판단의 경우 AI에게 맡겨야 하며, 맥락에 따른 유연한 판단, 감성이 개입되는 소통, 책임이 따르는 의사결정은 사람의 영역이라는 것이다. 이를테면 데이터 수집과 초안 생성은 AI가 먼저 하고, 사람은 그 결과를 검토하고 결정하는 흐름이 효율적이라면서, AI가 가장 잘하는 것을 업무의 앞단에서 작동하도록 순서를 재배치해야 한다고 말한다. 특히 오류의 파급력이 큰 단계, 외부로 내보내기 전 최종 확인이 필요한 단계, 예외 상황 처리가 필요한 단계에는 사람이 반드시 개입해야 한다고 언급한다. 우선적으로 AI에게 완전히 넘길 수 있는 단순 반복 업무, 내 판단력에 AI의 속도를 더해 더 큰 성과를 낼 일, 확보된 시간에 새롭게 도전할 핵심 고부가가치 과업을 구분한 다음, "나는 AI를 통해 [현재의 비효율, 반복 업무]를 해결하고, 남은 시간에 [내가 창출하고 싶은 가치]에 집중함으로써, 나만의 AX를 완성하겠다"고 나만의 AX를 정의하는 일을 해야 한다고 말한다. 그 다음에 자신의 업무를 상세히 들여다보기 위해 여정지도를 그린 후 고통의 강도(I), 발생 빈도(F), 전략적 중요도(V)를 가지고 상세 평가를 해야 한다고 말한다.
고통의 강도, 발생 빈도, 전략적 중요도 측면에서 세 항목의 점수를 합산했을 때 총점이 가장 높은 페인포인트가 1순위 AX 과제로 선정될 수 있다면서, 총점이 높더라도 현재 시점에서 기술적으로 해결하기 어렵거나, 필요한 데이터가 없거나, 보안 이슈가 큰 과제는 1순위서 제외해야 한다고 말한다. 총점이 비슷한 과제들이 여러 개일 경우, 지금 당장 파일럿을 시작할 수 있는가, 성과를 4~8주 안에 확인할 수 있는가, 팀 안에 이 과제를 실행할 역량이 있는가를 추가로 평가해야 한다면서 말이다. 특히 데이터 준비 수준을 진단할 때, 이 과제에 필요한 데이터가 디지털 형태로 존재하는가, 그 데이터가 어디에 저장되어 있는지 알 수 있는가, 팀이 그 데이터에 접근할 수 있는 권한이 있는가, 데이터의 형식이 일관되어 있는가, 데이터의 업데이트 주기가 적절한가(최신성)를 따져야 한다고 조언한다. 이를 바탕으로 데이터 확보(데이터 수집 경로 확보, 아날로그 자료의 디지털 전환 등), 품질 및 정제(데이터 노이즈 제거, 표준화, 비정형 데이터 구조화 등), 보안 및 권한(개인정보 보안 처리, 내부 보안 승인 및 권한 획득 등) 관점의 결함 요소와 대응 전략을 수립해야 한다면서 말이다. 본격적으로 업무를 재설계 하기 위해 우선 본인의 업무를 Work, Activity, Task로 분해해야 한다고 말한다. 이 때 Task를 구체적으로 기술하고, 각 Task에 소요되는 시간을 함께 기입해야 한다고 언급한다. 시간이 가장 많이 소요되는 Task가 AI 전환 1순위가 될 수 있으며, 수동 작업이 많은 Task, 여러 시스템을 오가는 Task, 동일한 내용을 여러 곳에 중복 입력하는 Task에서는 오류가 집중되기 때문에, 이 지점들을 AI로 자동화하면 품질 향상과 시간 절약을 동시에 달성할 수 있다고 말한다. 해당 Task가 규칙/패턴이 명확하고, 필요한 데이터가 있으며, 사람의 직관 및 감성 판단이 핵심이 아니면 우선적으로 AI 전환이 가능하다고 말한다.
규칙/패턴이 명확하고, 필요한 데이터가 있지만, 사람의 검토 및 판단이 함께 필요한 Task는 AI와 인간이 협업해야 하며, 규칙/패턴이 명확하지 않거나 필요한 데이터가 존재하지 않고 사람의 직관, 감성, 맥락 판단이 결정적인 곳은 인간이 담당해야 한다고 언급한다. 업무 재설계는 AI의 강점이 가장 앞단에서 작동하게 만드는 것이 중요하며, 순서 변경이 가져오는 다른 영향을 확인하면서 사람이 검토하는 지점을 함께 재설계해야 한다고 말한다. 가장 효과가 크고 리스크가 낮은 단계부터 먼저 재배치하고 검증한 뒤에 다음 단계로 확장하는 것이 좋다면서 말이다. 한편 매번 같은 방식, 패턴으로 수행되는가, 시간이 많이 걸리거나 다음 단계를 지연시키는가, 입력 데이터가 바뀌면 출력도 예측 가능하게 바뀌는가의 세 항목을 평가하여 평균 점수를 매겨 AI 전환효과(Impact)를 진단할 수 있고, 오랜 경험에서 나오는 직관이 있어야 하는가, 케이스마다 다른 대응이 자주 필요한가, 보안 등급, 개인정보보호법, 산업 규제가 적용되는가의 세 항목을 평가하여 평균 점수를 매겨 AI 전환 난이도(Effort)를 진단할 수 있다고 말한다. 이 두 평균 점수를 2x2 매트릭스에 배치하여, 둘 다 높은 쪽이라면 전략적으로 추진하고, 둘 다 낮은 쪽이라면 여유가 있을 때 추진하며, 전환효과가 높고 난이도가 낮은 쪽이라면 즉시 도입하고, 전환효과가 낮고 난이도가 높다면 보류하거나 제외하면 된다고 말한다. 이를 바탕으로 AI 협업 워크플로우를 설계하게 되는데, 즉시 도입으로 분류된 Task를 워크플로우 앞부분에 두고, 효과는 크지만 난이도가 높은 Task는 AI가 초안, 분석 결과를 먼저 제시하고 인간이 검토, 결정하는 협업 구조를 만들며, 사람의 판단이 결정적인 Task는 AI 처리 단계 직후, 다음 단계로 넘어가기 직전에 배치하는 것이 좋다고 말한다. 그 다음으로 AX ROI를 계산하는 방법에 대해 알려주고 있다.
일단 현재 낭비 비용의 경우, "투입 인원(명) x 업무 빈도(월 횟수) x 1회 소요 시간(시간)"으로 연간 총 투입 시간을 구한 뒤, "연간 총 투입 시간 x 시간당 인건비"로 연간 낭비 비용을 구할 수 있다고 말한다. 여기서 시간당 인건비의 경우 "연봉/연간 근무 시간(약 2000시간)"으로 추정하고, 복리후생비, 간접비를 감안해 그 값의 1.3~1.5배를 실질 비용으로 추산할 수 있다고 언급한다. 오류 비용 산출의 경우, 이 업무에서 현재 발생하는 오류 및 리스크를 적고, 한 달에 몇 번이나 수습이 필요한 상황이 생기는지 적어보라고 말한다. 오류 1건을 수습하는 데 추가로 걸리는 시간과 담당자의 시간당 인건비도 같이 계산하고, "월 오류 발생 빈도 x 재작업 시간 x 시간당 인건비 x 12개월"로 한 해 동안 오류 수습 비용을 추산할 수 있다고 말한다. 결국 AX 적용 후 도달하려는 목표 값과 시점을 산정한 뒤, "[AX 과제명]의 [개선 지표]를 [현재 기준 값]에서 [목표 값]으로 [목표 시점]까지 개선한다"고 선언한 후에 목표 값을 비용으로 환산해 절감 효과를 확정할 수 있다고 말한다. 이어서 에이전트를 만드는 프롬프트에 대해 자세히 설명하고 있는데, 우선 프롬프트의 4가지 핵심 요소로 역할, 맥락, 제약, 출력을 언급하고 있다. 역할은 전문 분야(어떤 도메인의 전문가인가), 경험 수준(얼마나 숙련된 전문가인가), 핵심 역량(이 역할에서 가장 중요한 능력은 무엇인가)에 대한 것이고, 맥락은 조직 맥락(어떤 회사, 어떤 팀, 어떤 업종인가), 업무 맥락(이 에이전트가 처리하는 업무가 전체 워크플로우에서 어떤 위치인가), 사용자 맥락(이 에이전트를 사용하는 담당자의 역할과 수준은 어떤가), 데이터 맥락(에이전트가 처리하는 데이터의 특성과 한계는 무엇인가)이며, 제약은 데이터 제약(고객 개인정보를 출력에 포함하지 마라, 확인되지 않은 외부 데이터를 사실처럼 제시하지 마라), 형식 제약(지정된 템플릿 형식을 벗어나지 마라, 500자를 초과하지 마라), 판단 제약(법적 판단이나 의료적 판단을 직접 내리지 말고 전문가 확인을 권고하라), 투명성 제약(확실하지 않은 정보는 [확인 필요]로 표시하라, 추정에 기반한 내용은 추정임을 명시하라) 이라고 말한다.
출력의 경우 형식(표, 불릿 포인트, 번호 목록, 이메일 형식, 보고서 형식), 길이(최대 500자, A4 1페이지 분량, 3줄 요약 등), 필수 포함 항목(항상 포함해야 하는 섹션이나 정보), 언어 톤(공식적/비공식적, 한국어/영어), HITL 지점 표시(사람의 검토가 필요한 부분을 [검토 필요] 태그로 표시 등) 등이라고 말한다. 이러한 프롬프트를 염두에 두고 에이전트 명세서를 작성해야 하는데, 이름과 역할, KPI와 연결되는 구체적 목표, 입력/처리/출력의 3~5단계 핵심 작동 흐름, 담당자가 제공해야 하는 최소 정보인 주요 입력 값, 결과물의 형식과 포함 내용인 기대 결과물, 사람이 검토 및 승인해야 하는 HITL 지점 등을 명기해야 한다고 말한다. 이러한 에이전트 명세서를 프롬프트로 전환하기 위해서는, AI가 어떤 전문가의 관점에서 일해야 하는가(직함, 경험, 특기, 사고방식, 접근원칙), 어떤 상황에서, 어떤 자료를 바탕으로, 무엇을 위해 수행하는 업무인가(에이전트가 모르면 안 되는 우리 조직의 정보, 산업/규모/주요 고객 특성/핵심 비즈니스 모델, 에이전트가 처리하는 데이터 특성, 데이터의 출처, 신뢰도, 형식적 특성, 업데이트 주기), 이 에이전트를 사용하는 담당자는 누구인가(담당자의 역할, 경험 수준, AI 활용 능숙도), 이 에이전트의 결과물이 어디에 쓰이는가(내부 보고용, 고객에게 발송되는 것, 의사 결정의 근거로 사용되는 것), 제약 조건(반드시 지켜야 할 판단 기준, 금지 사항, 보안 및 품질 기준은 무엇인가), 출력형식(결과물을 어떤 형식, 항목, 분량, 톤으로 작성해야 하는가), HITL(사람이 최종 확인해야 할 항목은 무엇인가) 형식으로 만들어야 한다고 말한다. 이렇게 한 후 에이전트를 만들게 되면 에이전트 매뉴얼을 작성해야 하는데, 무엇을 하는지 에이전트를 소개하고, 단계별 사용 방법, 어떤 형태로 정보를 넣는지 입력 예시, 결과물 사용 시 반드시 확인해야 할 주의 사항을 적어 넣어야 한다고 언급한다.
이렇게 파일럿을 잘 구축하게 되면 경영진에게 보고하는 리포트를 작성해야 하는데, "과제명+핵심개선효과+대표수치"로 한 줄 요약 정리하고, "IFV 총점+선정 이유+페인포인트"로 문제 배경을 설명하고, "시간/오류율/처리 건수" 변화의 비교를 통해 기존 워크플로우 대비 인간+AI 협업 워크플로우의 개선점을 언급하며, 낭비나 오류 비용과 예상 절감 비용을 제시하며 ROI 수치를 적고, "확산대상 부서+적용 업무+목표시점"을 통해 다음 단계를 제안해야 한다고 말한다. 다음 단계의 경우 파일럿 성공 과제와 유사한 성과를 낼 수 있는 부서부터 전개하기 시작해야 하는데, 업무 유형의 유사성(같은 종류의 반복 업무가 있는가), 데이터 환경의 유사성(유사한 종류의 데이터를 다루는가), 페인포인트의 유사성(비슷한 고통을 겪고 있는가)으로 판단할 수 있다고 말한다. 또한 팀별 파일럿이 안정화된 이후에는 전방, 후방 작업자 간 업무 흐름을 검색, 검증하여 통합하거나 전환하는 작업이 필요하다고 말한다. 즉, 중복 입력 구간을 식별하고, 한쪽의 산출물이 다른 쪽의 입력으로 자동 연계되도록 에이전트를 재설계해야 한다면서 말이다. 그 밖에도 이 책에서는 토큰 효율화 전략으로 불필요한 맥락 제거(배경 설명, 중복된 지시문, 이미 학습된 일반 상식 수준 정보 제거), 출력 범위 제한(출력 길이와 형식을 명확히 지정), 시스템 프롬프트 분리(매번 반복되는 역할 정의와 규칙 분리) 등을 언급하고 있으며, 소수 예시 기반 프롬프트의 경우 실제 업무에서 나온 예시를 2~3개 정도 제공하는데, 예시와 입력 데이터 패턴이 달라도 괜찮다고 말한다. 마지막으로 답을 바로 내지 말고 먼저 고려해야 할 요소들을 단계별로 분석한 뒤 결론을 내리라는 연쇄적 사고 형식의 프롬프트 예시도 보여주고 있다.
