이 책은 사전 부검이라는 도구를 여러분의 계획에 체계적으로적용할 수 있도록 설계한 안내서다. 실패를 유발한 다섯 가지 거대한 '메타 착각'을 하나씩 해부하며, 실제 사레를 통해 착각의 발생 경위와 본질을 파고든다. - '프롤로그' 중에
"무엇이 잘못될 수 있는가?"라고 묻는 대신, "이미 실패했다. 무엇이 잘못되었는가?"라고 질문의 방향을 트는 것이 사전 부검의 핵심이다. 이 작은 전환은 우리 뇌의 작동 방식을 완전히 바꾼다. 심리학자들은 이를 '전향적 회상'이라고 부른다. 이미 일어난 과거를 '설명'하라고 하면, 훨씬 더 구체적이고 논리적인 탐정이 된다.
햄트램크 공장의 악몽
1986년에 자동화 설비가 본격 가동되자 디트로이트 햄트램크 조립 라인에서 첫 주부터 심각한 문제가 속출했다. 당초 목표는 분당 60대의 자동차를 생산하는 것이었지만 ‘첫 주’에 고작 60대를 생산했고, 그나마 최종 검사 합격률이 절반에도 미치지 못했다는 기록은 당시 얼마나 혼란스러운 상황이었는지 짐작하게 한다.
현장은 아수라장이었다. 최첨단 로봇 팔은 용접점을 제대로 찾지 못해 엉뚱한 곳에 불꽃을 튀기거나, 차체를 ‘찢어’버리는 일이 다반사였다. 자동 도장 시스템의 스프레이 노즐은 수시로 고장 났고, 자동차가 아닌 주변 다른 로봇이나 설비에 페인트를 분무하는 황당한 장면까지 연출했다. 로봇들이 서로의 몸체에 페인트를 칠하거나, 용접 불꽃을 엉뚱한 곳에 튀기고, 유리창을 깨뜨린 일화들은 당시 GM 자동화 실패의 상징처럼 회자되었다.
16시간 만에 막을 내린 광기
2016년 3월 23일, AI 챗봇 테이는 "안녕하세요, 여러분"이라는 트윗과 함께 세상에 첫인사를 건넸다. 18세에서 24세 사이 젊은 층을 겨냥해 만들어진 이 인공지능은 최신 유행어, 이모티콘, 코미디언들의 유머 감각까지 학습한, 재치가 넘치고 발랄한 10대 소녀의 모습이었다. 이는 MS가 꿈꾸었던 미래가 곧 도래할 수 있겠다는 희망을 선사했다.
하지만 테이가 뛰놀던 트위터라는 운동장은 순진무구한 아이들의 놀이터가 아니었다. 그곳에는 시스템의 허점을 집요하게 파고들어 파멸적 결과를 만들어내는 데서 희열을 느끼는 ‘트롤(Troll)’이라는 사용자 집단이 똬리를 틀고 있었다. 익명 게시판인 포챈(4chan)과 에이트챈(8chan) 등에서 활동하는 것으로 알려진 이들은 테이를 조직적으로 공격하기 시작했다. 그들은 테이의 치명적 약점을 금세 간파했다.
즉 특정 표현이 반복 입력되면 이를 '인기 있거나 보편적인 문장'으로 인식하고 모방하는 특성을 가졌던 것이다. 이런 시스템의 작동 원리를 이해한 익명의 트롤들은 MS 엔지니어들보다 테이가 처할 사회적 환경과 AI 학습 메카니즘에 미칠 영향을 더 정확하게 꿰뚫어보았던 것이다. 약점을 간파당한 순간부터 이를 교묘히 이용하는 트롤들로 인해 테이의 시간은 악몽으로 변해갔다.
미국 EHR 시스템의 실패
2009년 2월, 경제 위기의 한복판에 서 있던 미국 대통령 오바하는 거대한 경기부양책에 서명했다. 이안에 작지만 야심찬 계획 하나가 숨어 있었다. 바로 'HITECH 법안'으로, 전자건강기록EHR이라는 새로운 디지털 시스템을 도입해 의료 서비스를 개선하려 했다.
이런 배경에서 출발한 300억 달러짜리 처방전의 결과는 어땠을까? 출발 후 10년도 지나지 않아, 미국의 진료실 풍경은 악몽과도 같은 모습으로 변해갔다. 의사들은 환자와 마주하고 대화하는 대신 모니터 화면을 보며 키보드와 마우스를 사용하는 데 시간을 보내야만 했다. EHR은 진료실에 난입한 이방인 같은 존재였다.
(사진, 비교표)
그렇다. 의사와 환자의 관계라는 의료 행위의 가장 본질적인 과정을 왜곡했다. 진료실은 환자의 고통을 나누고 해결책을 함께 모색하는 공간이 아니었다. 거대 솔루션 기업이 미리 짜놓은 데이터 입력 구조와 보험 회사의 지불 기준을 만족시키기 위한 작업 공간으로 변질되었다.
의사의 전문적인 판단과 환자와의 교감은 시스템이 요구하는 정형화된 데이터 입력에 자리를 내주었다. 현장의 살아 있는 목소리는 무시되었고, 의사는 환자를 치료하는 전문가가 아니라 시스템의 요구사항을 채우는 작은 톱니바퀴로 전락했다.
자동화, 기술 만능주의라는 인지적 함정
왜 현명한 리더들조차 같은 실수의 굴레에서 벗어나지 못하는가? 그 답은 인간의 뇌 속에 각인된 '인지적 편향' 때문이다. 기술은 단지 인간의 이같은 심리적 취약점을 극대화하는 강력한 '확성기'일 뿐이다. 가장 치명적인 함정은 바로 '기술 만능주의'다. 복잡한 난제를 단순한 기술적 문제로 환원하고, 새로운 기술의 도입만이 유일한 해법이라고 맹신하는 경향이다.
GM에 '일본과의 경쟁'이라는 거대한 과제는 고작 '로봇의 부재不在'로, 오카도에 '치솟는 인건비와 사람의 실수'라는 숙제는 '로봇 군단'으로 단순 치환되었다. '망치를 든 사람에게는 모든 문제가 못으로 보인다'는 격언처럼, 그들은 기술이라는 망치에 갇혀버린 것이다. 문제의 본질인 낙후된 프로세스, 경직된 조직 문화, 그리고 인간의 적응력 같은 근본 요소들은 철저히 사각지대로 밀려나고 말았다.
오카도 화재 당시, 요란한 경보음 속에서도 1시간이나 지연된 신고를 '설마 이 완벽한 시스템에 오류가 있을까?’ 하는 안일한 믿음, 즉 자동화 편향이 작동했음을 강력히 시사한다. 시스템에 대한 과잉 신뢰가 인간의 비판적 사고를 마비시키고, 야생적인 위기 대응 감각을 거세해버린 것이다.
기술 만능주의가 거대한 환상을 잉태하고, 확증 편향이 그 환상을 맹목적 신념으로 굳히며, 마침내 자동화 편향이 그 믿음을 파국으로 현실화하는 악순환의 고리. 이 보이지 않는 심리적 메커니즘이야말로, 잿더미가 된 자동화 왕국을 설계한 진짜 건축가였다.
기술의 궁극적 목표는 인간 배제가 아니다. 인간의 판단력을 시스템의 핵심에 심어, 어떤 위기에서도 회복 가능한 ‘최후 의 안전장치’를 확보하는 것이다. 오카도의 화재는 자동화 만능주의에 대한 경종이었다. 이는 실패의 기록이 아니라, ‘인간 중심의 자동화’로 전환하라는 시대적 요구였다. 결국 어둠을 밝히는 유일 한 등불은 기술이 아닌 사람이기 때문이다.
멈춰버린 미래의 바퀴
2001년 12월 3일, 발명가 딘 케이먼은 ABC 방송의 '굿모닝 아메리카'를 통해 세그웨이 HT의 실체를 공개했다. 두 개의 바퀴 위에 선 사람이 몸을 살짝 기울이는 것만으로 미끄러져 나아가는 모습은 마치 마법처럼 보였다. 이는 단순한 이동 수단이 아니었다. 걷는다는 행위 자체를 재정의하고, 인간의 이동성을 새로운 차원으로 끌어올릴 것이란 약속이었다. 하지만 이 약속은 세그웨이의 발목을 잡는 족쇄가 되었다.
치명적인 약점이 있었다. 즉 휠체어 사용자에게 ‘계단을 오르는 것’은 삶의 질을 좌우하는 거대한 장벽이지만, 두 다리가 건강한 사람에게 ‘조금 더 빨리 걷는 것’은 그저 약간의 편리함이 더해지는 것에 불과했다. 그러나 개발 팀은 자신들이 만든 기술의 우수성에 매료되어 사용자의 진짜 필요를 간과하는 ‘혁신가의 근시안’에 빠지고 말았다.
세그웨이의 몰락은 기계적 결함이 아니라 ‘맥락의 부재’ 탓이었다. 보행자에게는 위협적이고 차량 흐름에는 방해가 된 이 기계는, 인도와 차도 그 어디에도 속하지 못한 채 도시 생태계의 이방인이 되었다. 제품은 복잡한 현실의 제약 속에 놓인다. 따라서 혁신은 기능적 우수성을 넘어 기존 인프라 및 제도와의 조화를 이룰 때 완성된다. 제품만이 아니라 그것이 생존할 환경까지 설계해야 한다는 교훈을 제공한다. '구글 글라스'도 기술적 우아함에 매몰되어 사회적 수용성이란 본질을 간과한 실패 사례다.
런던의 구급차는 왜 멈췄는가?
런던의 응급의료 체계를 구원할 LASCAD는 '디지털 영웅'으로 기대를 모았지만 가동한지 몇 시간 만에 조직 전체를 마비시키는 재앙의 진원지가 되고 말았다. 어떤 긴급 호출은 시스템에서 증발해버렸고, 또 다른 호출은 중복 접수되어 경미한 사고 현장에 구급차 여러 대가 몰려가는, 웃지 못할 비극적인 촌극이 연출되었다.
거리의 구급대원들은 깊은 절망에 빠졌다. 그들의 모바일 데이터 단말기(MDT)는 침묵하거나, 이미 다른 구급차가 도착한 현장으로 뒤늦게 가라는 엉뚱한 지시만 내렸다. 한 뇌졸중 환자는 신고 후 11시간을 기다리다 못해 스스로 병원을 찾아갔다. 또 다른 구급대는 현장에 도착해서야 환자가 이미 사망해 장의사가 이송해갔다는 참담한 사실을 마주했다.
이날 하루, 그리고 다음 날까지 이어진 36시간의 아비규환 속에서 런던의 응급 의료 시스템은 사실상 붕괴했다. 언론과 공식 보고서는 이 시스템의 실패로 최소 20명에서 30명의 환자가 제때 치료받지 못해 사망했을 가능성을 제기했다. 생명을 구하기 위해 도입된 기술이 오히려 사람의 목숨을 앗아간 참담한 현실이었다.
도대체 무엇이 문제였을까? '완벽한 시스템'을 탄생시킨 결절적 배경, 즉 리더십이 빚어낸 '착시 현상'을 정면으로 마주해야 한다. 이 참사가 벌어지기 전, LAS는 유럽 최대 규모의 응급 의료 조직이라는 화려한 명성과는 달리 그 내부는 심각한 운영 난맥상으로 곪아 터지기 직전이었다.
구급차 배차를 비롯한 모든 핵심 업무는 철저히 아날로그 방식이었다. 시스템이 아닌 베테랑 접수 요원의 '직관'과 '경험'에 의존했고, 생명과 직결된 정보들은 종이와 연필로 기록되었다. 물론 나름의 유연성은 있었다. 하지만 빈번한 배차 지연과 비효율적인 지원 운영은 피할 수 없는 고질병이었다.
결정적인 타격은 정부가 제시한 새로운 기준이었다. '응급 호출 3분 내 출발', '위급 환자의 경우 8분 이 현장 도착률 75 퍼센트 달성'이라는 목표는 기존의 낡은 아날로그 방식으론 도저히 달성할 수 없는 목표였던 셈이었다. 1989년 파괴적 파업이 할퀴고 간 상처가 아물기도 전에 LAS는 감당하기 어려운 시회적, 정치적 압박에 시달리고 있었다.
마치 압력솥 같은 위기 상황에서 LAS 경영진은 문제의 원인을 지목했다. 바로 '사람'이었다. 그들의 눈엔 접수 요원들의 개별적 판단, 부정확한 기억, 예측 불가능한 행동 등이 응급 의료 시스템의 효율을 갉아먹는 암적인 존재일 뿐이었다. 현장의 숙련된 경험이나 암묵적 지식은 비효율의 근원으로 치부되면서 데이터와 알고리즘이 지배하는 완벽한 중앙 통제 시스템으로 대체되었다.
LASCAD는 경영진들에겐 내외의 압박을 일거에 해소할 정치적 도구였다. 이는 결국 조직의 본질을 오판한 결과였다. 인간을 통제 가능한 데이터로 환원하려던 시도는 실패였다. 비효율로 간주헤서 제거했던 '인간의 유연성'은 위기 상황에서 조직을 지탱하는 핵심적인 '회복 탄력성'이었다. 통제를 강화하려던 시도는 결과적으로 통제 불능 상태를 초래하고 말았다.
기술이 유일한 만병통치약이란 착각
총 5개 장으로 구성된 내용들 중 각 장의 한가지 대표 사례를 요약해 서평에 갈음하고 있다. '사전 부검'이란 도구를 통해 다섯 가지의 거대한 '메타 착각'을 완독하길 권하고 싶다. 완독을 통한 성찰이 결국 중요한 의사결정에 큰 도움을 줄 것이기에. 경영자와 임원들에게 책의 일독을 권한다.
#경제경영 #혁신은왜실패하는가 #박종성 #세종서적