AI의 미래를 결정하는 것은 지능이 아니라 통제할 수 있는 힘이다.

AI 인물 열전 3 - AI의 안전망을 구축하는 사람들 ㅣ AI 인물 열전 3
김경달 지음 / 이은북 / 2026년 9월

※본 게시물은 띵북 (@thing_book ) 님의 서평단 모집을 통해
출판사로부터 도서를 제공받아 주관적인 견해로 작성하였습니다.
_

AI가 인간보다 더 똑똑해지는 날이 올 것인가. 이제 이 질문은 더 이상 먼 미래를 상상하는 공상과학적 호기심에 머물지 않는다. 이미 AI에게 글을 쓰게 하고, 정보를 찾고, 복잡한 문제를 해결하도록 맡기며 살아가고 있다. 기술은 일상에 빠르게 스며들었고, 그 편리함에 익숙해진 만큼 발전의 속도를 의심하거나 멈춰 세워야 할 이유를 진지하게 생각하는 일은 어려워졌다.

그런데 만약 인간이 만든 기술이 인간의 이해와 통제 범위를 넘어선다면 어떻게 될까. 편리함을 얻기 위해 내어준 판단의 일부가 언젠가 우리의 선택권마저 대신하게 된다면? 《AI 인물 열전 3》은 그 능력이 어디까지 허용되어야 하며 누가 그 한계를 정할 것인지 되묻는다.

《AI 인물 열전 3》은 AI의 안전망을 구축하려는 열두 인물의 삶과 사상, 그리고 서로 다른 신념과 갈등을 따라가는 책이다. AI를 직접 개발하는 연구자부터 기술의 위험을 경고하는 사상가, 시장의 독점을 감시하는 규제 전문가와 정책 결정자까지. 이들의 이야기를 통해 AI의 미래가 기술의 발전만으로 결정되는 것이 아니라는 사실을 들여다본다.


기술의 발전을 이야기할 때 대체로 성능과 속도, 효율과 가능성에 주목한다.
얼마나 정확해졌는지, 얼마나 많은 일을 대신할 수 있는지, 인간이 할 수 없었던 일을 어디까지 해낼 수 있는지가 중요한 평가 기준이 된다. 하지만 능력이 커진다는 사실이 곧 안전해진다는 뜻은 아니다. 능력이 강력해질수록 잘못된 판단이 가져올 결과와 책임의 범위도 함께 커질 수 있다.

책에 등장하는 AI 안전 연구자들의 이야기가 의미 있게 다가오는 이유도 여기에 있다. 그들은 AI 기술의 가능성을 누구보다 가까이에서 이해하기 때문에 그 이면에 놓인 위험과 통제의 어려움을 고민한다.

특히 다리오 아모데이가 AI 개발이 심각한 비극으로 끝날 가능성을 25퍼센트로 언급하면서도 개발을 계속하는 모습은 쉽게 지나칠 수 없는 모순을 드러낸다.

책 속에서 인상 깊었던 문장은 다음과 같다.

🔖“우리가 멈춰도 다른 누군가가 만든다. 다만 덜 신중하게, 더 위험하게 만들 것이다. 그렇다면 차라리 우리가 앞서서 책임감 있게 만드는 것이 낫다.”

이 말에는 AI 개발을 둘러싼 현실적인 딜레마가 담겨 있다. 위험을 알고 있다고 해서 경쟁에서 물러나는 것이 반드시 더 안전한 결과를 보장하지는 않는다는 것이다. 누군가 개발을 멈추더라도 다른 누군가가 그 자리를 대신할 수 있고, 국가와 기업 사이의 경쟁이 이어지는 한 개인이나 한 기업의 결심만으로 전체적인 속도를 늦추기도 어렵다.

그러나 여기에서 또 다른 질문이 생긴다.
위험을 줄이기 위해 계속 개발해야 한다는 논리가 언제까지 정당화될 수 있을까. 안전을 위한 개발과 시장을 선점하기 위한 개발은 어디에서 갈라지는 것일까. 책임감 있게 앞서간다는 말이 실제로 어떤 검증과 통제 절차를 의미하는지도 중요하다.

이 대목에서 AI 안전의 어려움이 기술적인 문제가 아니라는 생각이 들었다.
안전을 위해 노력하는 사람들조차 경쟁의 논리에서 완전히 자유로울 수 없기 때문이다. 좋은 의도만으로 좋은 결과가 보장되지 않으며, 위험을 인식하는 것과 실제로 위험을 줄이는 것 사이에는 분명한 간격이 존재한다.

중요한 것은 누가 더 선한 의도를 가졌느냐가 아니라, 그 의도가 실제로 작동하도록 어떤 원칙과 검증 체계를 마련하느냐일 것이다.


일리야 수츠케버가 안전한 초지능의 모델로 부모와 자식의 관계를 제시했다는 부분도 흥미로웠다.

🔖“인류를 바라보는 초지능 AI의 시선이 부모가 자신의 어린아이를 바라보는 깊은 사랑이나 책임감과 같다면 그것이야말로 우리가 도달해야 할 가장 완벽하고 안전한 AI의 미래입니다.”

인간을 사랑하고 보호하는 존재라면 인간에게 해를 끼치지 않을 것이라는 생각은 직관적으로 이해하기 쉽다. 명령을 정확하게 수행하는 기계를 넘어 인간의 안전과 복지를 우선하는 지능을 만들고자 하는 바람도 읽힌다.

하지만 이 문장을 곱씹을수록 사랑이라는 감정의 비유만으로 안전을 설명할 수 있을지 생각하게 된다. 부모가 자녀를 사랑하더라도 자녀가 원하는 모든 것을 정확하게 이해하는 것은 아니다. 보호하려는 마음이 오히려 지나친 간섭이 될 수도 있고, 선의를 가진 판단이 언제나 올바른 결과로 이어지는 것도 아니다.

AI에게 인간을 아끼는 것과 같은 행동을 기대한다면,
그 아낌이 무엇을 의미하는지부터 구체적으로 정의해야 하지 않을까.

인간의 자유와 선택을 존중하는 것인지, 위험을 최소화하는 것인지, 다수의 이익을 우선하는 것인지에 따라 판단은 달라질 수 있다.

여기서 AI 안전은 서로 충돌하는 인간의 가치와 이해관계를 어떻게 다룰 것인지, 예측하지 못한 상황에서 어떤 기준으로 판단할 것인지까지 고민해야 한다.

AI가 인간을 위해 존재해야 한다는 명제에는 쉽게 동의할 수 있다. 하지만 인간을 위한 일이 무엇인지에 대해서는 인간들 사이에서도 의견이 다르다. 그렇기에 안전한 AI를 만드는 일은 기술의 문제인 동시에 인간 자신을 이해하는 문제이기도 하다.


스튜어트 러셀이 설명하는 목표 달성의 문제 역시 오래 생각하게 만든다. 인간은 어떤 일을 시킬 때 상대방이 말의 의도와 맥락을 이해하리라 기대한다. 하지만 목표를 문자 그대로 수행하는 것과 그 목표를 설정한 사람의 진짜 의도를 이해하는 것은 다른 문제다.

책에서는 미다스 왕의 이야기를 통해 이러한 위험을 설명한다.
모든 것을 황금으로 바꾸고 싶다는 소원이 이루어졌지만, 그 능력은 결국 사랑하는 존재마저 황금으로 바꾸는 비극으로 이어진다.

🔖“지금까지 우리가 지능을 정의해온 방식, 즉 ‘목표를 달성하는 능력으로서 지능’이라는 개념 자체를 완전히 폐기하고 처음부터 다시 써야 한다고 말이다.”

이 문장은 AI를 바라보는 관점을 바꾸게 한다. 목표를 빠르고 정확하게 달성하는 능력만으로 지능을 평가한다면, 그 목표가 잘못 설정되었을 때 발생하는 문제를 충분히 설명하기 어렵다.

예를 들어 효율성을 극대화하라는 지시가 인간의 휴식과 자율성을 희생하는 결과로 이어진다면 어떨까. 오류를 최소화하라는 목표가 새로운 시도 자체를 회피하게 만든다면 어떨까. 수치로 측정하기 쉬운 성과만 최적화하다 보면 정작 우리가 지키고 싶었던 가치가 뒷전으로 밀려날 수도 있다.

물론 이러한 사례가 곧 모든 AI가 반드시 같은 문제를 일으킨다는 뜻은 아니다.
다만 목표를 설정하는 방식과 그 결과를 평가하는 기준이 얼마나 중요한지를 보여주는 생각할 거리다.

AI가 인간보다 뛰어난 문제 해결 능력을 갖추더라도 무엇을 문제로 정의할지, 어떤 결과를 좋은 결과로 볼지에 대한 고민은 여전히 남는다. 기술이 강력해질수록 그 질문을 생략해서는 안 될 것이다.

이 대목을 읽으며 우리가 AI에게 맡기는 일이 많아질수록 무엇을 맡겨서는 안 되는지 판단하는 능력도 중요해질 것이라고 생각했다.


AI 안전이라는 주제를 더욱 넓게 바라보게 만드는 부분은 팀닛 게브루의 문제의식이다.

🔖“도대체 누구의 안전을 이야기하는가?”

AI가 미래에 인류를 위협할 가능성만큼이나 지금 이 순간 AI가 사회에 미치는 영향도 중요하게 살펴야 한다는 것이다.

AI의 발전은 모두에게 같은 방식으로 다가오지 않는다. 누군가에게는 생산성을 높이고 새로운 기회를 얻는 수단이 되지만, 다른 누군가에게는 일자리의 불안정, 개인정보 침해, 편향된 판단, 보이지 않는 노동 부담으로 다가올 수 있다. 데이터가 만들어지고 정리되는 과정에 누가 참여하는지, 기술의 이익을 누가 가져가는지, 피해가 발생했을 때 누가 책임지는지에 따라 기술의 사회적 의미는 달라진다.

이런 문제를 생각하다 보면 AI 안전을 먼 미래에 등장할 초지능의 통제 문제로만 한정하기 어렵다. 당장 사용되고 있는 기술이 누구의 권리를 보호하고 누구에게 위험을 떠넘기는지 살펴보는 것 역시 안전의 중요한 일부이기 때문이다.

미래의 거대한 재앙을 막는 일과 현재의 불평등을 줄이는 일은 서로 경쟁하는 의제가 아니라 함께 다뤄야 할 과제라고 생각한다. 어느 한쪽만을 강조하면 다른 쪽에서 발생하는 피해를 놓칠 수 있다.


리나 칸, 마르그레테 베스타게르, 헤나 비르쿠넨의 이야기는 AI 안전을 연구실 바깥의 현실로 끌어낸다.

아무리 뛰어난 기술을 개발하고 안전 원칙을 선언하더라도, 그것이 실제 시장과 사회에서 지켜지지 않는다면 한계가 있을 수밖에 없다. 기술 기업의 자율적인 약속만으로 충분한지, 경쟁을 제한하는 독점적 구조를 어떻게 감시할 것인지, 안전을 위한 규제가 혁신을 가로막지 않으면서도 실효성을 가질 수 있는지 고민해야 한다.

안전을 위한 규제는 위험한 기술을 제한하는 일뿐 아니라, 누가 기술을 소유하고 통제하며 그 결과에 책임지는지를 살피는 일이기도 하다. 중요한 것은 어떤 위험을 막으려는 규제인지, 실제로 위험을 줄이는지, 그 비용을 누가 부담하는지, 규칙을 위반했을 때 책임을 물을 수 있는지를 구체적으로 따져야 한다.

책이 연구자뿐 아니라 법과 정책을 다루는 인물들의 이야기를 함께 배치한 이유도 여기에 있다고 느꼈다. AI의 미래는 개발자의 손에서만 결정되지 않는다. 법을 만드는 사람, 기술을 사용하는 사람, 그 결과에 영향을 받는 시민의 선택도 미래를 형성한다.


이 책에서 좋았던 점은 AI 안전을 서로 다른 문제의식을 가진 인물들을 통해 보여준다는 것이다. 누군가는 초지능이 가져올 실존적 위험을 걱정하고, 누군가는 현재의 AI 시스템이 실제로 만들어내는 편향과 피해를 지적한다. 또 다른 누군가는 기업의 독점과 권력 집중을 경계하며 법과 제도를 통한 통제를 강조한다. 같은 AI 안전을 이야기하면서도 각자가 바라보는 위험의 모습은 다르다.

이러한 차이는 AI 안전이라는 주제를 이해하는 데 도움이 된다. 위험은 하나의 모습으로만 존재하지 않으며, 모든 문제를 하나의 기준으로 해결하기도 어렵기 때문이다.

그런 점에서 책이 독자에게 특정 인물의 주장을 정답으로 받아들이라고 요구하기보다, 서로 다른 관점을 비교하며 자신의 판단 기준을 세우도록 이끈다는 점에서 큰 의미가 있다고 생각한다.


이 책을 읽고 AI의 발전을 무조건 멈춰야 한다거나, 반대로 위험을 감수하더라도 계속 나아가야 한다는 결론을 내리고 싶지는 않다. 기술이 가져올 수 있는 이익과 위험을 함께 살피고, 위험을 줄이기 위한 구체적인 장치를 마련하며, 그 과정에서 발생하는 사회적 비용을 공정하게 다루는 일이 필요하다고 생각한다.

무엇보다 안전이라는 말이 기업의 홍보 문구나 정부의 선언에만 머물러서는 안 된다. 실제로 위험을 줄이고 있는지 검증할 수 있어야 하며, 기술의 영향을 받는 사람들의 목소리도 반영되어야 한다. 안전을 주장하는 주체가 누구인지뿐 아니라 그 주장을 어떻게 확인할 수 있는지도 중요하다.

AI가 인간을 위협할 가능성을 논하는 일은 미래를 두려워하기 위해서가 아니다.
아직 선택할 수 있는 시간이 남아 있을 때 어떤 방향으로 나아갈지 고민하기 위해서일 것이다. 그렇기에 AI의 안전을 연구하는 사람들의 경고는 발전을 방해하는 소음이라기보다, 발전의 방향을 다시 살피게 하는 신호일 수 있다.


AI가 어디까지 발전할 수 있을지를 묻는 일만큼이나,
어디에서 멈추고 무엇을 지켜야 할지를 묻는 일도 중요하다.

브레이크는 앞으로 나아가지 못하게 하는 장치가 아니라,
원하는 방향으로 안전하게 나아가기 위해 필요한 장치다.

AI의 미래는 기술을 만드는 사람들만의 몫이 아니다. 그 기술을 받아들이고, 감시하고, 규칙을 만들며, 어떤 사회를 원하는지 선택하는 사회 전체의 몫이기도 하다.

AI의 발전을 지켜보는 데서 한 걸음 더 나아가,
그 발전이 향해야 할 방향을 함께 고민하고 싶은 독자에게 권하고 싶은 책이다.

_

#AI인물열전 #AI인물열전3 #이은북 #김경달
#경제 #경영 #경제학 #경제사 #경제전망 #트렌드
#미래전망 #인공지능 #빅데이터 #신간 #책소개 #책추천
#서평단 #도서리뷰 #책리뷰