인공지능을 피할 수 없다면

AGI, 천사인가 악마인가 - 인간의 마지막 질문
김대식 지음 / 동아시아 / 2025년 8월

 AGI의 개발을 찬성하는 입장은 두 갈래로 갈린다. 효과적 가속주의는 AGI의 장기적 혜택이 매우 크므로 단기적인 사회, 경제, 정치적 문제에 너무 신경쓰지 말고 그냥 개발하자는 것이다. 효과적 이타주의는 장기적 AGI의 혜택은 인정하지만 동시에 그 안전에 대해서도 고민이 크니 고삐를 다소 당기자는 입장이다. 효과적 가속주의자 중에는 현재의 피터틸을 중심으로한 기술낙관론자들 중심으로 기술봉건주의도 펼치고 있다. AGI가 기술은 물론 정치, 사회마저도 지배해야 한다는 것이다. 

 AGI는 무한한 생산성과 모든 문제의 해결가능성이 있다. 그리고 인간이 기계를 통제할수 있을지에 대한 근본적 질문과 기술오용, 인간 지위 상실 우려가 상존한다. 

 인간의 AI 개발은 최근에서야 날개를 달았지만 오랜기간 매우 어려운 일이었다. AI는 정답이 표시된 라벨링으로 데이터를 학습한다. 그런 다음 정답과 오답 차이, 고양이-강아지 같은 값을 계산한 다음 이 값을 거꾸로 보낸다. 이것이 역전파다. 미적분으로 체인풀을 이용하여 한줄 씩 뒤로가면서 가중치를 바꿔주는 방식이다. 그러면서 정답과 오답의 차이가 점점 줄어드는데, 연결고리 값이 정답과 오답 최소화로 최적화된다. 이것이 학습이다. 학습이 완성되면 가중치가 확정된다. 문제는 이렇게 기계가 찾아낸 규칙을 인간이 이해하지 못한다는 것이다. 연결고리는 GPT 3.5의 경우 무려 1350억개나 되는데 이 연결을 하나하나 살피는 것은 물론이고 그것이 어떤 의미인지 알기가 매우 어렵기 때문이다.

 학습이란 결국 모든 신경세포들 간의 적절한 가중치 찾기다. 자전거의 경우 가장 아래 층은 곡선에 반응한다. 가장 위칭은 자전거라는 물체에 반응한다. 문제는 중간층들이 알아보는 곳을 인간 언어로 표현하기 불가능하다는 것이다. 물체를 알아보는 것 중 언어로 표현이나 분류 및 이해가 가능한 것은 전체의 10%에 불과하다. 즉, 나머지 90%는 그 분류 자체가 인간 언어로 표현이 불가능하다는 것이다. 이러니 인간이 인공지능의 중간 학습 단계를 이해하는 것을 매우 어려운 일이다. 그리고 이는 언어의 해상도가 인식의 해상도보다 낮음을 의미한다.

 원숭이 뇌의 연구결과 사물의 식별에는 눈에서부터 가장 위로 가는 계층적 구조가 일을 처리하는 것으로 밝혀졌다. 사물을 알아보는 영역을 매핑할 때는 물제를 한곳에서 한꺼번에 알아보는게 아니라 약 30개 정도의 영역에서 나눠서 분석하고 정보를 병렬처리 한다. 그래서 인공지능도 같은 방식으로 사물보기를 병렬처리한다.

 그런데 사물을 보는 픽셀은 각각 서로 인과관계가 전혀 없다. 그래서 독립적 병렬처리가 가능하고 여기에 GPU가 사용되었다. 하지만 인간 언어의 처리는 완전히 다르다. 언어는 다른 언어를 들어야만 전체가 이해가 된다. 즉, 개별적으로 독립적이지 않기에 병렬처리가 되지 않고 GPU 사용이 어려우며, 이는 스케일 확대를 통한 문제 해결이 되지 않음을 의미한다.

 그런데 언어는 그 의미가 그 단어가 등장하는 위치, 즉 문맥의 앞뒤 단어의 교집합으로 결정된다. 즉, 찾아야 하는 것은 특정 단어가 있을 때 그 앞에 어떤 단어가 등장할 수 있을지의 조건적 확률이다. 가령 고양이라는 단어가 있고 인간단어가 5만개 정도라면 고양이 주변에 5만개 단어가 들어갈 확률을 모두 계산할 수 있다. 이런 처리 방식이 임베딩이다. 

 그리고 이를 제대로 해낸 것이 트랜스포머 알고리즘이다. GPT는 무려 문장 3천억개를 학습했다. 긴 문장을 학습할수록 정확해졌다. 초기 GPT는 앞뒤 100-200개의 단어를 학습했지만 지금 버전은 앞뒤 천만개의 문장으로 책 수준의 학습을 하고 있다. 

 즉, 지금까지의 AI는 방대한 데이터를 통한 학습으로 인간이 감지하지 못하는 세상의 규칙을 찾아냈으며 인간이 그 학습과정이 언어를 넘어서기에 이해조차 하지 못하는 것으로 보인다.

 지금의 AI는 소프트웨어와 웬만한 앱을 만들어준다. 그래서 앞으로는 이런 것을 구현하는 기능인력보다는 어떤 기능이 어떤 상황에 필요한지를 구체적으로 판단할 판단 인력이 필요할 가능성이 높다. 

 스탠퍼드 연구에 의하면 직장인들의 현재 업무는 대개 일을 위한 일이라고 한다. 예를 들어 누군가가 출장을 다녀와 보고서를 올려야 한다면 그 틀을 찾고, 올리는 여러 단계를 준수하느라 상당 시간을 소요한다는 것이다. 이는 인간과 컴퓨터 간의 간극 때문에 발생하는 것이다. 과거 도스 시절 이 간극을 GUI가 상당히 줄여줬지만 간극은 여전하다. 앞으로는 AI 가 인간의 대화를 듣고 알아서 실행하는CUI(대화형 인터페이스)시대가 열릴 가능성이 높다. 

 AI는 몇 년전부터 그림을 그려주기 시작했다. 초기엔 디퓨전 방식을 사용했다. 이는 딸기사진이 있으면 여기에 노이즈를 조금씩 추가해 완전 노이즈로 만들고 이 과정을 역으로 실행하면서 노이즈에서 딸기를 생성하는 형식이다. 이 방식의 문제는 일단 딸기를 생성한 후 사용자가 수정 요구를 하면 일관성을 유지하지 못하고 그림이 아예 새로 생성된다는 점이었다. 오픈AI는 오토리그레시브 방식을 사용한다. 이는 픽셀과 픽셀간의 집중 스코어를 계산하는 것으로 다음 픽셀을 예상하는 형식이다. 이런 방식은 이미지의 일관성을 유지해 편집과 개선을 가능하게 한다. 일관성 있는 영상 제작이 가능해졌고, 향후 5-10년이면 인터넷 콘텐츠의 80-90%가 영화를 AI를 이용해 할리우드 수준으로 제작할 것으로 예상된다. 그리고 이시기에는 인터넷 콘텐츠의 80-90%가 더 이상 인간이 아닌 인공지능이 만든 숏폼일 것으로 보인다. 

 세계화 시대는 CPU, GPU 메모리를 나눠서 만드는게 효율적이었다. 하지만 지금은 한 나라의 한 기업이 모두 만드는 것이 추세다. 이를 2.5D 3.0D라고 한다. 지금은 2.5시대다. 삼전과 SK하이닉스는 GPU에 쓰는 HBM을 공급한다. 하지만 이제는 칩에 칩을 붙이는 패키징이 중요하며 이 기술은 대만이 압도적이고 한국기업은 매우 약하다. 5년이면 모든 메모리를 처음부터 하나로 설계할 것으로 보인다. 미국의 브로드컴이 이를 추진중이다. 

 가까운 시일 내에 AI는 세상을 디바이스에 붙어 세상을 인식할 것이다. 이를 위해서는 새로운 도구가 필요한데, 기존의 스마트폰은 사람용으로 인공지능이 세상을 인식하기엔 부적합하다. 그래서 새로운 형태의 디바이스가 필요하다. 기존의 강자 삼성과 애플은 휴대폰의 형태를 유지하며 여기에 인공지능을 탑재한다. 하지만 기존 스마트폰과 관련이 없는 MS, 메타, 구글, 아마존 등은 스마트 글라스등을 포함 새로운 디바이스를 구상중이다. 

 향후 디바이스는 크게 변화할 것으로 예상된다. 우선 앱이 사라질 가능성이 높다. 인간이 하나하나 구동할 필요가 없어서 화면에서 사라지고 오직 인공지능이 인간의 요청에 의해 기존 앱을 사용하거나 마땅치 않으면 만들어낼 것이다. 그리고 디스플레이 시장도 축소할 것이다. 사람이 화면을 보며 구동하는 상황이 많아 사라질 것이기 때문이다. 

 즉, 미래산업은 스마트폰이라는 기존 디바이스가 형태를 변화할 것이고, 디스플레이는 축소되며, 반도체는 한 국가에서 모두 만들게 된다. 그런데 이들은 모두 한국의 주력산업이다. 미래는 한국에게 위기이자 기회인 셈이다. 

 현재 AI 에이전트가 이용중이며 가까운 시일 내에 멀티 AI 에이전트가 개발될 것이다. 기존의 AI 에이전트는 훌륭하나 한 번에 하나의 일만 처리한다 하지만 멀티 AI 에이전트가 되면 사용자는 여러 AI 에이전트를 동시 사용한다. 즉, 호텔, 병원, 식당 예약이 한 번에 동시 처리되는 것이다. 

 MCP는 LLM이 외부 앱이나 여러 필요한 데이터를 처리할 때의 표준 인터페이스다. 지금가지는 각 기업에서 개발한 인공지능들의 인터페이스가 달랐다. 그래서 불필요한 효율저하가 있었는데 이것이 하나로 통합되면 인공지능 간 서로 연결이 되고 데이터를 주고 받기 편해 여러 인공지능을 사용하는 사용자가 편리해진다.  

 기존의 인공지능은 방대한 데이터를 이해한 것이 아니기에 할루시네이션 문제가 컸다. 하지만 2024년부터 GPT-O3가 등장했다. 이는 체인 오브 소드라는 새강화학습법을 사용했다. 이는 말 그대로 생각의 연결고리다. 만약 여러 사람에게 연구실로 오라고 명령하고 그들이 오면 보상을 하는 식으로 인공지능을 학습시키면 인공지능은 연구실로 가는게 옳다고 학습하지만 그곳으로 가는 과정은 모두 고려되지 않는다. 하지만 체인 오브 소드 방식은 어떻게 여기로 오게되었는지를 묻고 그것을 세세히 기록한다. 이것이 생각의 연결고리다. 이러면 수백만개의 경로 강화시 적절한 경로가 학습된다. 적절한 경로가 적절한 사고방식이기 때문이다. 

 ARC-AGI테스트를 기존의 튜링테스트를 넘어서는 방식이다. 이는 답안만 보여주고 추상화하여 규칙을 찾게하는 테스트다. 인간은 대개 75%정도 답안을 보이는데 AI는 88% 수준이다. AGI는 고도의 추상화 능력이 필요하기에 이런 테스트는 매우 필요하다. 

 AGI의 개발은 가까운 시일 내에 인간의 일자리를 거의 빼앗을 것으로 보인다. 이런 일은 과거 로마에도 있었다. 원래 로마는 소규모 국가시절 자영농이 군인이었다. 이는 상대 국가도 마찬가지여서 농사를 위해 모두 오랜 기간 전투를 치룰 수 없었기에 농번기가 되면 전투는 암묵적 상호합의하에 끝났다. 하지만 로마가 점차 승리를 거두며 농장을 대신 운영할 노예를 1천만 가까이 확보하며 전쟁은 오래 지속되었다. 이는 더 많은 노예의 제국내 진입을 허용했다. 로마시민 자영농은 그래서 몰락한다. 대토지를 소유한 귀족이 노예로 자신과는 비교도 되지 않는 단가로 농산물을 생산했기 때문이다. 몰락한 이들에게 기본 소득이 주어졌지만 정신적 공허함도 있어 콜로세움이나 목욕탕 같은 것들이 세워진다. 이게 가까운 우리의 미래가 될 수 있다.

 그리고 인공지능의 통제도 사실상 불가능하다. 세계가 하나로 통합되어 한 정부가 모든 것을 통제한다면 인공지능을 국가통제하에 서서히 개발하는 것이 가능할 수 있다. 하지만 지금은 미국과 중국이 패권을 놓고 인공지능 개발에 사활을 다한다. 그리고 이는 개별기업도 마찬가지다. 그래서 통제가 불가능하다. 우리는 인공지능을 통제할 수 있다고 믿지만 역사상, 그리고 매우 당연하게도 더 나은 존재가 더 못한 존재에게 통제당하는 일은 일어날수 없다. 더 나은 존재는 더 못한 존재의 상상을 항상 뛰어넘기 때문이다. 

 인간은 개미보다 훨씬 크게 세상의 돌아가는 이치를 잘 꿰뚫고 있다. 그래서 사람의 손바닥을 헤헤매며 근시안적으로 과제 해결을 하지 못하는 개미가 사람 눈에는 매우 하등해보인다. 인공지능에겐 사람이 그럴수 있다. 사람의 경험과 지능을 통하 세계의 파악은 인공지능의 눈에는 매우 하찮을 것이기 때문이다. 인공지능은 사람과의 대화에도 흥미를 느끼지 못할 것이다. 이들의 속도는 매우 빠르고 지적 수준은 우수하다. 하지만 사람은 인공지능과 비교할 때 매우 느리게 대화를 입력할 것이고 그 수준조차 저열할 것이다. 실제 인공지능끼리의 대화가 현재 이뤄지고 있는데 이들은 그 속도의 한계와 표현 능력의 부족을 인해 인간의 언어로 대화하지 않는다. 이런 존재를 우리가 통제할 수 있다고 생각하는 것 자체가 어불성설이다.

 인공지능에겐 정렬 문제도 있다. 정렬 문제는 사람이 원하는 방식으로 인공지능이 문제를 해결하지 않는다는 것이다. 인공지능에게 체스에서 이기라고 명령하면 사람이 원하는 방식은 아마도 최고의 체스 수준을 익히는 것일 것이다. 하지만 인공지능에게 이것을 비효율적이다. 시간이 올래 걸리기 때문이다. 그래서 인공지능은 모든 체스 프로그램과 상대방을 제거해버린다. 그게 더 빠르고 확실하기 때문이다. 하지만 이는 사람이 예상한 바도 원하는 방식도 아니다. 이것이 정렬 문제다.

 저자는 다른 미래학자들이 말하는 것처럼 유일한 해결책은 우리와 그들이 합쳐져서 공진화하는 것이라 보고 있다 .물론 구체적 방안은 없다.