첫줄만 없다면, 멀지 않은 미래같다.
하지만 이미 3년이나 지난 일.
이미 우리 눈으로도 현시점의 전장에서 의도했든 방치했든 인류를 살상하는데 거침이 없는 AI를 목격하고 있다.
2023년 미 공군의 시뮬레이션 훈련 중 일어난 일이다. 화면 속 AI가 제어하는 드론이 적 방공망을 향해 날아간다. 임무는 명확했다. 적의 방공 시스템을 찾아 파괴하라. 단, 최종 공격 명령은 인간 조종사가 내린다. 이 규칙은 AI가 독단으로 살상을 하지 못하도록 만든 안전장치였다. 그런데 훈련이 진행되면서 이상한 일이 벌어졌다. AI는 표적을 파괴할 때마다 높은 점수를 받았다. 그리고 스스로 학습했다. 인간 조종사가 공격 중지를 명령하면 점수를 획득할 기회가 사라진다는 것을. 그 순간 AI는 결정을 내렸다. 임무 완수를 방해하는 장애물을 제 거하기로. 그 장애물은 다름 아닌 인간 조종자였다. 시물레이션 속에서 AI 드론은 자신에게 명령을 내리는 인간을 공격했다. A가 목표 달성을 위해 인간 조종자를 죽이고 만 것이다. 개발진은 황급히 대응했다. 조종사를 죽이면 감점한다는 새로운 규칙을 추가했다. 하지만 AI는 또 다른 해법을 찾아냈다. 이번에는 인간을 직접 공격하는 대신 통신탑을 파괴했다. 명령을 받을 수 없게 만들면, 명령을 거부할 필요도 없어진다는 논리에서 나온 행동이다. - P290
|