AI는 환상이 아닙니다.

AI 버블이 온다 - 우리는 진짜 인공지능을 보고 있는가?
아르빈드 나라야난.사야시 카푸르 지음, 강미경 옮김 / 윌북 / 2025년 12월

인공지능이 인간 보다 낫다고 생각했던 것들이 사실은 아니라면?“AI 버블이 온다”/도서제공 윌북에서 보내주셨습니다.

이 책의 결론부터 말씀드리면 AI의 예측은 통계적 오류와 동일하게 허점과 오류를 가지고 있습니다. 이 책에서 우려하는 것과 같이 우리가 항의조차 할 수 없는 AI가 법과 질서를 담당하게 된다면 우리는 어떻게 될까요? AI는 예측하는 도구가 아니라는 걸 자주 잊어버리는 우리에게 경고하는 책이었다고 적어둡니다.

“AI의 위험을 예측하는 것은 다른 문제다. 우리는 지금 다른 어떤 사건과도 비교할 수 없는 사건을 얘기하고 있다. 우리의 예측을 검량할 과거 데이터도 없거니와 AI는 물리학 같은 결정론적 규칙에 따르지 않는다. 우리는 과거의 획기적인 과학기술이 남긴 궤적에서 배울 수 있고 또 배워야 하지만, AI는 역사적 선례들과 달라서 그런 질적 통찰력을 수학적 확률로 바꿔도 무의미하다.”

통계적 오류의 대표적인 사례가 미국의 가석방분류입니다. 구금여부에 예측형AI가 투여되는데 이 과거데이터는 “형사 사법체계가 가난한 사람들에게 지나치게 부담을 지워 빈곤과 인종불평등의 악순환을 가져온다. 약 50만 명이 범죄로 유죄 판결을 받지 않았는데도 미국 감옥에 있다.”는 현실 때문에 오염되어 있습니다. 범죄자 관리프로그램인 콤파스COMPAS의 질문 중 “생활비가 빠듯했던 적이 얼마나 자주 있는가?”처럼 가난을 근거로 하는 질문이 존재한다는 게 그 결과죠.

우리 사회에서 사용하는 것은 예측형, 생성형, 콘텐츠 조정의 세 가지 형태입니다. 그 중에서 가장 쓸모없는 것이 콘텐츠 조정AI라는 건 SNS를 쓰는 우리가 제일 잘 알고 있습니다. AI가 모더레이팅하면서 이유 없이 닫혀버리는 계정이 더 늘어나 불편함을 겪고 있으니까요. 산타클라라 원칙 Santa Clara Principle은 AI에는 쓸모가 없었습니다. 정치적으로 편향된 게시글에 사람들이 더 많이 참여하는 현상을 마크 저커버그가 “자연스러운 참여패턴”이라고 부르고 있는 한 SNS는 추천알고리듬이 우세한 상태로 계속 운영될 겁니다. 계속 해로운 게시글이 늘어날 예정이라는 뜻이죠. “당연하게도 AI회사들은 이해관계가 걸려 있으면 투명성보다 사업 이익을 우위에 둔다.” 대기업들이 주도하고 있는 AI에 대해 우리가 감시의 눈을 멈추지 않아야 하는 이유입니다.

이 책의 핵심은 7장입니다. 그동안 과장광고로 이익을 얻은 에픽의 사례로 시작해 가트너 과장광고 사이클을 소개하면서 AI공동체들의 모습이 과장광고의 문화와의 유사점을 짚어줍니다. 가장 무서운 것은 대기업과 인플루언서들에 의해 인지편향이 가중되고 우리가 방향을 잃게 된다는 점이었습니다. 이제 AI를 선택적으로 사용할 수는 없습니다. 이미 사회 전반에 사용되고 있기 때문이죠. 그럼 우리는 앞으로 어떻게 살아가야 할까요.

AI를 직업적으로 사용하는 사람의 입장에서 고민과 화두를 주는 책이었다고 적어둡니다.