단 하나의 압도적인 AI를 차지하기 위한 경쟁이 불을...

단 하나의 압도적인 AI를 차지하기 위한 경쟁이 불을 뿜고 있다. 2026년 3월 AI가 바꿔놓은 전쟁을 보고 있다. 보이는 것은 빙산의 일각이리라. 트럼프가 먼저 카드를 내밀었을 뿐. 테이블 맞은 편의 그는 어떤 생각을 하고 있을까. 떨고 있나, 웃고 있나.

저자는 경쟁의 격차가 줄어드는 상황이 되레 오판의 위험을 키울 것이라고 경고한다.

미래에 단 하나의 완벽하고 지배적인 지능에 도달하기 위한 경쟁이 벌어진다면, 인류는 복수의 주체들이 통제할 수 없는 존재론적 경쟁을 벌이거나, 전통적인 견제와 균형이 통하지 않는 승자의 절대적인 패권 행사로 고통받게 될 것이다. 경쟁에서 격차가 좁혀질수록 인간이 오판할 가능성은 커진다.
한 국가가 영향력을 독점하는 단극 체제는 인류가 멸종할 위기를 최소화하는 한 가지 경로다. 만일 선두에 선 주체가 다른 어떤 주체도 따라잡을 수 없다고 믿을 정도로 확실하게 격차를 벌린다면, 어느 정도의 안정성을 확실하게 보장할 수 있기 때문이다. - P149

이 부분을 읽고 있을 즈음, 미국의 하메네이 참수작전...

이 부분을 읽고 있을 즈음, 미국의 하메네이 참수작전이 이뤄졌다. 트럼프는 협력 않는 앤트로픽에 대해 불만을 토하고 있다. AI는 이미 통제불능의 리더를 만나 통제불능의 戰士가 되지 않았나.

하지만 만일 AI가 사실상 독립적인 정치적-외교적-군사적 주체로 출현한다면, 아주 오래된 힘의 균형은 사라지고 새로운 미지의 불균형이 나타날 것이다. 민족국가들의 국제적인 협력은 지난 한두 세기 동안 균형을 달성했으나 내부에서 는 불안정하게 흔들렸다. 그런데도 협력이 유지된 부분적인 이유는 협력의 주체들 사이에 내재된 평등성이었다. 몇몇 국가가 다른 국가들보다 AI를 더 기꺼이 정치적 리더십에 도입한다면, 세계의 대칭은 예측할 수 없을 정도로 심각하게 무너질 것 이다. AI가 대단히 많이 응용되는 국가나 AI 자체에 군사적으로나 외교적으로 대적해야 하는 상황에서 인간은 경쟁은 물론이고 생존조차 할 수 없을 정도로 무력해 보인다. 그러한 중간 질서가 도래하면 인간 사회는 내부에서 무너지고 외적 갈등 역시 통제가 안 될 만큼 폭발적으로 증가할 수 있다. - P141

조물주도 사람도 우리의 실수를 인정하고 포용한다. A...

조물주도 사람도 우리의 실수를 인정하고 포용한다. AI도 그럴 것이다, 방해물로 판단하기 전까지는. 아니면 우리의 무지함조차 품을 만큼 너그러워진다면.

AI를 만드는 기술적인 과정에서 기계는
오류가 잘못이라고 배운다. 이것은 AI가 인간의 잘못된 추정과 최적 이하의 실행을 교정할 때만 전적으로 유용하다. 그러나 인간 시스템에서 오류의 또 다른 원인은 개인의 자유의지다. 즉 우리는 ‘잘못된‘ 선택을 내릴 자유가 있다. 그러한 오류를 제거하기로 결정한 AI 시스템에게는 두 가지 선택지가 있다. 우리를 제거하거나 우리의 자유의지를 제거하는 것이다. 만일 자유의지가 기본적으로 지능의 한 가지 특징이 아니라 버그로 간주되면, AI는 인간의 자유의지를 제 목표의 달성을 막는 장애물로 점차 인식할 수 있다. - P133

지금 한국 정치의 상황을 보면, AI의 자리에 강성 ...

지금 한국 정치의 상황을 보면, AI의 자리에 강성 커뮤니티를 넣어봐도 문맥은 다르지 않을듯. 이미 우리는 정치인을 넘어선 무엇에 의해 끌려가고 있지 않은가

인간이 해석할 수 없는 AI가 인간이 수용할 수 없고 종래에 상상하지 못한 결정을 내린다면, 그것을 정 정하거나 무시할 근거가 인간에게는 없다. AI를 방해하지 않으려는 충동만 커지고, 과거의 인간 통치에 비해 자명해 보이는 AI 통치의 우수성 때문에 이러한 충동은 악화될 것이다. AI 통치자는 실로 더는 좋을 수 없는 최상의 결과를 가져올 수 있다. 만일 그렇게 된다면 AI를 그만 사용하거나 사용 범위를 한정하는 것은 비논리적으로 보인다. 특히 지정학적 경쟁에서 AI의 사용 제한이 반드시 불이익으로 이어지는 맥락에서는 더 더욱 그렇다.

마찬가지로 AI가 제공하는 우수한 결과에 익숙해진 인간 지도자들은 자신의 정통성을 확보하기 위해 습관적으로 AI에 의존할 것이다. 또한 AI가 스스로 편향을 키울 수도 있다. AI 파트너에게 충성스러운 인간 지도자가 임명 기간보다 오래 권력을 유지하길 원하여 규약을 위반하려 한다면, 과연 AI가 이를 저지하기 위해 개입할까? - P131

알고리즘에 쉽게 이용당하며 당파성만 강경해지는 각국의...

알고리즘에 쉽게 이용당하며 당파성만 강경해지는 각국의 정치상황을 볼 때 정치야말로 가장 AI의 강제가 필요해 보인다. 하지만 그들은 가장 마지막까지 밥그릇을 지키려하겠지. 가장 필요한 곳이 가장 늦는 이 모순을 어찌하랴

결국 AI는 과학과 사회과학(특히 정치과학) 사이의 간극을 메워준다. 현재 우리가 물리학의 법칙을 예측하듯 인간 본성의 법칙을 예측할 수 있게 되며, 그만큼 정책을 신뢰할 수 있게 될 것이다.
아울러 AI의 유례없는 정보처리 역량 덕분에 매우 효율적으로 정책을 집중화하게 될 것이다. 그러면 소수의 엘리트가 AI를 통제한다는 인식이 강화될 수 있다. 그러나 AI 시스템의 불투명성(그 작동 과정을 인간이 완벽하게 이해할 수 없다는 점)과 인간의 개입이 없을 때 가장 잘 작동한다는 사실 때문에 인간은 AI에 관한 통제의 고삐를 늦출 것이다. 시간이 흐르고 겪어보면 인간의 통제는 필수요건이라기보다 짐으로 보이기 시작할지 모른다. 심지어 18세기 유럽 지도자들이 인간의 자기이익 self-interests이라는 보이지 않는 힘에 통제권을 넘겨주는일을 처음에 두려워했듯이, 21세기 정치 지도자들은 대중의 지혜를 완전히 새로운 형태로 통합하는 시스템 앞에 다시금 몸을 낮춰야 할수도 있다. - P128