AI는 어떻게 만들어지는가

AI 제국: 권력, 자본, 노동 - 샘 올트먼과 오픈AI의 빛과 그림자
카렌 하오 지음, 임보영 옮김 / 생각의힘 / 2026년 2월

 우리는 인공지능 시대의 초입에 살고 있다. 농업 혁명과 산업 혁명처럼 인공지능 시대는 인류 역사에 상당한 변화를 가져온 사건으로 먼 훗날 역사가들에게 평가 받을 것이다. 농업혁명과 산업혁명에서 일반 대중은 주도적 역할을 했을지도 그냥 휩쓸렸을지도 아니면 뭔가 큰 변화가 온다는 것을 크게게 감지하지 못했을지도 모른다. 하지만 인공지능 시대는 다르다. 이것은 갑작스럽게 매우 빠른 속도로 다가 오고 있고, 우리는 이것을 분명히 감지하고 있으며 정치적 선택이라는 것을 통해 변화는 주소 선택이란 걸 할 수 있을지도 모른다.

 그렇기에 우리는 인공지능이란 것이 어떻게 만들어지고 누가 만들고, 어떤 생각을 하는 사람이 어떤 의도를 갖고 만드는지 알 필요가 있다. 그리고 이 책은 무엇보다 그것을 잘 드러낸다. 인공지능 하면 가장 먼저 떠오르는 것은 지금은 좀 밀려나긴 했지만 오픈AI 의 챗GPT다. 

 오픈AI는 비영리기업으로 시작했다. 그것은 애당초 단순한 연구소나 기업이 목표가 아니었다. 오픈AI의 목표는 AGI를 개발하는 것이었다. 그것은 당연히 엄청난 것이어서 일반 주주의 경제적 이익이 아닌 인류 전체의 이익을 위해 개발한다는 몹시도 평화적이고 이상적인 목표를 가지고 시작했다. 머스크와 올트먼은 오픈AI를 그래서 비영리단체로 설립했다. 영리단체는 이런 목표를 추구할 수 없기 때문이다. 머스크를 운영비로 10억$를 약속했다. 돈이 있어야 위 목표도 가능했기 때문이다. 머스크와 올트먼도 가능한 많은 연구를 공개하고 다른 기관도 폭넓게 협력한다고 약속했다. 열린 태도와 민주적 참여가 핵심이기에 이 단체의 이름도 오픈AI가 된 것이다.

 그런데 창립 1년 만에 이 같은 이상주의적 공약은 퇴색한다. 이는 인공지능의 개발에 생각보다 엄청난 자금이 투입되었기 때문이고 초반의 독주와는 다르게 경쟁이 엄청나게 붙었기 때문이다. 게다가 올트먼과 머스크는 의장직을 두고 다투기 시작했다. 경쟁에서 올트먼이 승리하자 머스크는 조직을 떠나버렸고 약속했던 10억달러 투자도 공중분해되었다. 결국 올트먼은 오픈AI의 지배구조를 재편한다. 비영리 연구재단 내부에 영리조직인 오픈AI LP를 설립한 것이다. 이를 통해 오픈AI를 다른 기업처럼 자본조달, 제품 상업화, 투자와 수익 추구가 가능해지게 되었다. 

 결국 오픈AI는 창립 의도 및 이름과는 다르게 매우 폐쇄적이고 은밀한 조직으로 변모하게 되었고 연구의 비공개 및 기업 가치를 추구하게 되었다. 회사의 창립 의도를 지키고 싶었던 일부 집단은 올트먼을 축출하는 이벤터를 벌였는데 이는 결국 실패로 돌아가고 만다. 

 AI권력자를 가장 잘 묘사한 비유는 사실상 제국이다. 현대의 AI제국은 AI개발을 위해 타인의 글, 예술품, 경험, 공유물을 마구 잡이로 착취한다. 여기에 대규모 데이터 센터와 수퍼 컴퓨터를 가동하기 위해 땅과 전력, 막대한 수자원을 역시 강탈하고 추출한다. 그리고 좋은 데이터의 정화, 정리, 준비를 위해 세계인의 노동을 착취하며 인공지능의 개발비용이 엄청나기에 자신들 기업 내의 자원을 재배치한다. 이 과정에서 대량의 해고와 기업 내의 다양한 분야의 연구가 축소된다.

 올트먼은 피터틸과 그레이엄에게 경영철학을 배웠다. 기업의 규모 그리고 정부보다 자본주의가 효율적이라는 생각을 배웠다. 2019년 그는 지속가능한 경제성장은 거의 언제나 도덕적으로 옳다고 주장했다. 그는 기업을 만드는데 있어서도 틸의 독점 전략을 수용했다. 경쟁은 패배자들의 것이었다. 피터틸은 독점은 안정적이고 장기적인 사업을 가능하게 하고 자본이 늘고 무엇보다 정말 가치 있는 무언가를 만들었음을 의미한다는 징후라고 파악했다. 독점을 구축하려면 독자적 기술, 네트워크 효과, 규모의 경제, 강한 브랜드가 필요했다. 

 오픈AI는 2016년 당시 실리콘 밸리의 기술지상주의와 당시 부상하던 양심주의 사이에서 양다리를 걸치고 있었다. 2016년 트럼프가 당선되자 좌파 성향의 테크들은 스스로를 반성하게 된다. AI연구자들은 자신들이 기술을 지나치게 빠르며 기업의 이윤에 종속시킨 것이 아닌지 의문을 갖게 되었다. 실제 자동화 SW는 인종, 성별, 계급차별을 고착화했다. 이는 정치적 양극화, 잘못된 정보와 극단주의, 대선개입, 미얀마 인종청소에 영향을 주었다. 민간투자의 주된 대안인 정부지원금 역시 윤리적 함정이었다. 구글이 미 국방부와 맺은 메이븐 프로젝트는 자율무기 시스템 개발의 기반이 되었다. 이런 상황에서 오픈AI의 등장은 제3의 길처럼 보였다. 

 수츠케버는 AI모델을 인간 두뇌 수준으로 훈련시킬 만큼 연산 자원의 규모를 늘리는게 가능하다면 분명 AGI 같은 급진적인 결과가 나타나리라 믿었다. 연산자원의 규모는 개별 컴퓨터 칩의 처리 능력, 즉 초당 처리할 수 있는 연상량, 사용가능한 CPU칩의 총 갯수, 그리고 CPU칩이 연산을 처리하는 데 할당 받은 시간 등 3가지 요소로 이뤄진다. 그런데 칩의 처리 능력은 무어의 법칙을 다른다. 그래서 발전에 시간이 걸린다. 그래서 오픈AI는 빠른 시간안에 해결할 수 있는 칩의 총 갯수로 승부를 보기로 한다. 2017년 기준 엔베디아의 GPU는 최고사용 8개가 들어간 서버 1개당 가격이 15만 달러였다. 큰 자금이 필요해진 오픈AI 경영진은 영리기업으로의 전환을 검토한다. 올트먼은 오픈AI가 머스크에게 의존하지 않아도 될 재정적 대안을 찾기 위해 새로운 암호화폐의 발행도 검토한다. 

 오픈AI는 내부에 영리기업 합자회사를 만들고 MS의 투자를 이끌어낸다. MS는 오픈AI를 통해 SW, HW 양 부분에서 구글와 어깨를 나란히 하는 인공지능 분야의 리더로 발돋움하려는 의도를 갖고 있었다. MS는 GPT-2를 보고 투자를 결정한다.

 2019년 7월 22일 MS는 오픈AI에 10억 달러 투자를 발표한다. MS는 오픈AI의 개발기술 우선 사용화 권한을 얻고 자신들의 클라우딩 컴퓨팅 애저를 오픈AI의 독점적인 클라우드 제공자로 지정한다.오픈AI의 과제는 모든 인류가 경제적 자유를 누리면서 의미 있는 삶을 살 수 있게 하는 방식으로 AGI를 만드는 것이다. 생존을 위해 일할 필요가 없게 만드는 것이다. 

 기술발전을 추동하는 힘은 그것이 모두에게 번영을 준다는 신념이다. 하지만 실제로는 그렇지 않은 경우가 많다. 실제 그렇게 되려면 사회적 격변이나 강력한 조직적 저항 같은 거대한 힘이 필요하다. 역사상 기술 혁명은 모두에게 더 나은 세상을 약속하지만 가장 취약한 이들의 삶을 오히려 후퇴시켰다. 인공지능 혁명도 실제로 그렇게 진행되고 있다. 

 다트머스 회의 후 인공지능 진영은 양분되었다. 기초주의와 연결주의다. 기초주의는 지능은 지식에서 나온다고 생각한다. 인공지능의 구축은 세상의 지식을 기초로 변환하여 기계에 주입하는 것이다. 즉, 이론 또는 전문가 시스템이다. 연결주의는 지능은 학습에서 나온다고 생각한다. 인공지능의 개발은 뇌가 신호의 정보를 처리하는 방식을 모방하는 것이다. 인공신경망의 기반이 된 사고다. 

 초기 득세한 것은 기초주이다. 하지만 인공지능 시스템의 규모를 확장할수록 모든 규칙을 수동으로 인코딩해야 하는 한계로 인해 진척이 더뎌졌다. 특히 언어의 모호성의 벽이 컸다. 속어, 반어법, 비유, 문법의 예외 등 미묘한 것들을 코딩하는 것이 너무 어려웠다. 결국 인공지능의 겨울이라는 실존적 위기가 도래했다. 

 반면 연결주의는 초기의 실패가 연결망 구조가 지나치게 단순했기 때문이었다고 이미 문제를 파악하고 있었다. 이는 사고의 실패라기 보다는 시대적 한계가 갖는 문제였다. 1980년대 이미 다층처리구조라는 아이디어는 실재했으나 그것을 구현할 CPU가 존재하지 않았다. 2000년대 들어서야 CPU가 향상되고 인터넷으로 이것을 학습시킬 빅데이터가 형성되고 나서야 비로소 원하는 환경이 조성되기 시작했다. 

 그리고 상업화에도 기초주의보다 연결주의가 적합하다. 구글은 2010년 초반기에 연결주의 신경망을 이용하여 구글 음성 서비스와 번역기능, 자율주행기능을 향상시키기 시작했다. 딥러닝으로 사용자의 취향을 알아내는 감시자본주의도 등장했다. 2023-2022년 AI 관련 기업의 주가는 146억 달러에서 2350억 달러로 폭증했다. 모든 분야의 인재가 신경망 분야로 집중했다. 그 결과 다른 학문 분야는 황폐화 했다. 한편 딥러닝은 한계도 뚜렸했다. 딥러닝 절대주의자들은 학습 데이터만 충분히 커지면 인공지능과 인간과의 격차는 거의 사라질 것이라 보았지만 실제는 그렇지 않았다. 충분히 학습했어도 인공지능은 데이터와 다른 돌발상황에서의 대처능력은 현저히 떨어졌다.

 구글은 2017년 8월 트랜스포머를 개발했다. 이전 것들은 앞 뒤 주변 단어만 보고 판단하는 단거리 패턴인 반면 트랜퍼 포머는 매우 긴 글도 소화했다. 오픈AI의 수츠캐버는 트랜스포머가 단순하고 확장가능한 신경망에 적확하다고 생각했다. 그들은 트랜스포머를 이용해 2018년 GPT-1을 발표한다. 그것을 쓸만했으나 발표할 만한 것을 아니었고 대중성이 있었던 것은 GPT-2였다. 그것은 제법 쓸만한 긴글을 생성했다. 하지만 위험한 인종차별적 언어와 위험한 말을 생성해 이것도 발표를 하지 않기로 결정한다. 내부적으로 언어능력의 지속적 확장이 AGI로 향하는 길인지 위험성을 증대시키는 것인지에 대한 논의가 진행되었다.

 한편 오픈AI는 GPT-3를 개발하는데 데이터가 부족해 직원들은 인터넷에서 찾을 수 있는 데이터는 마구잡이로 긁어모았다. 트위트 공유링크를 스크랩하고, 유튜브 공유영상을 텍스트 변환하고, 블로그 등 거의 모든 것을 동원했다. 결국 2020년 1월 브로크만은 GPT-3  API 코드를 개발한다. 이것을 제공하면 접근권을 선별적으로 부여하고, 사람들이 어떨 때 지피티를 쓰고 남용하는지 데이터를 수집하는게 가능했다. 그리고 무엇보다 수익이 생겼다. 지피티 3의 안전을 꾸준히 우려하던 다리오 아모데이는 상업적 대성공에도 불구하고 충분한 안전장치 없이 발표된 것에 불만을 품고 오픈AI를 퇴사한다. 2021년 5월 그는 앤트로픽을 창업한다. 이 기업도 지금은 결국 오픈AI와 비슷한 길을 가게 되고 오픈AI를 지금은 넘어선 클로드를 만들어낸다.

 한편 구글은 매우 놀란다. 오픈AI가 자신들이 만든  트랜스포머를 이용해 자신들을 제쳤기 때문이다. 구글은 딥마인드와 구글 브레인을 통합하여 구글딥마인드를 만들고 여기서 제미나이가 탄생한다. 신경망 훈련은 1회가 아니고 여러분하면서 최적화를 이뤄내기에 이 과정에서 탄소배출량이 엄청나게 증가한다. 인공지능 이전 빅테크들은 탄소배출 제로에 매우 신경을 썼지만 이것은 옛이야기가 되어버렸다.

 구글 윤리팀의 게브루는 LLM의 개발과 배포의 사회적 부정영향 논문을 썼다. 논문의 요지는 4가지다. 1. 기후에 악영향을 미친다. 특히 남반구에. 2. 데이터 수요폭증으로 기업이 유해하고 차별적 데이터를 은연코 수집사용하게 된다. 그래서 취약 집단이 큰 피해를 입는다. 3. 수집 데이터 규모가 매우 방대해 데이터의 삭제와 검토가 사실상 불가능하다. 4. 모델이 내놓은 답은 확률에 볼과함에도 사람들은 이를 의식이 있는 존재로 혼동한다는 것이다. 

 놀랍게도 구글은 이 논문의 철회를 요구한다. 당시 구글은 오픈AI에 큰 위기 의식을 느끼고 있었고, 게브루는 결국 해고된다. 이 문제가 언론에 알려지고 항의 서명이 잇다르자 구글 CEO순다르가 결국 사과 서한을 쓰게 된다. 

 자동화 필터를 만들기 위해 오픈AI는 먼저 모델이 생성하지 못하게 만들고 싶은 콘텐츠의 사례 수십만건을 검토하고 분류할 인간 노동자가 필요했다. 반년 간의 검토 끝에 오픈AI는 사마라는 회사와 계약한다. 오픈AI는 수십 명의 케냐 노동자에 일을 할당한다. 케냐가 선정된 것은 우연이 아니다. 케나는 착취와 경제적 위기에서 시민을 보호할 제도가 미비한 국가다. 케냐 정부는 실리콘 벨리가 저임금 노동자를 구하자 반색했다. 이로 인해 케냐 노동자들은 장시간 자살이나 참수등 잔인하고 충격적인 영상에 반복적으로 노출되면서 정신적으로 큰 고통에 시달리게 되었다. 18세 미만 미성년의 성행위, 친족간 성행위, 수간, 강간, 성매매, 성노예 등의 콘텐츠에도 노출되었다. 이들은 정신적으로 황폐해져 가정을 잃게 되거나 이혼하는 경우도 생겨났다

 오픈AI는 자신들이 개발한 AI 안전 기법인 인간 피드백 강화 학습으로 모델을 가다듬기 위해 미국과 전세계에서 1천명 이상의 계약직을 추가로 고용했다. 오픈AI는 인간 피드백 강화학습을 LLM에 적용하기로 한다. 장기적인 AI안전과 품질개선을 위해 GPT-3를 정렬시켜야 했다. 스케일 AI가 이를 담당했다. 이후 이 기법은 오픈AI모델의 환각을 줄이기 위해 사실에 근거한 정보를 신경망에 인코딩하고 그 정보를 제대로 불러오는 방법을 가르치는데 확산적으로 사용하는 기법이 된다. 하지만 아무리 많이 훈련시켜도 모델을 결국 확률에 따라 움직이므로 추측을 하게 되어 오류는 결국 발생했다. 

 2022년 오픈AI는 텍스트-이미지 변환모델을 가지고 달리2를 출시한다. 달리2는 AI의 또 다른 흐름인 멀티모달의 결과다. 멀티모달은 텍스트, 이미지, 음향, 영상처럼 서로 다른 2가지 이상의 모달리티를 결합한 것이다. 만약 언어만으로 인간 수준의 지능이 생성되지 않는다면 시각이 그 두번째 가능성이라는 가설에 기반한 것이다. 오픈AI는 모델의 확장성 유지를 위해 트랜스포머를 계속 사용한다. 구글이 2020년 출시한 비전 트랜스포머를 이미지 적용한 것이다. 

 이 시기 확산으로 알려진 기법이 등장한다. 이는 방대한 양의 이미지 집합에서 픽셀간 상관관계를 잘 학습하게 돕는 것이다. 오픈AI 외부 연구자들은 잠재 확산 기법을 사용해 이를 더욱 개량했다. 달리 2와 3은 이를 나중에서야 도입하게 되어 미드저니나 스테이블 디퓨전에 비해 달리시리즈는 막대한 연산비용을 소모하게 된다. 

 이 시기 이미지 생성프로그램은 이미지를 조작하거나 성적 이미지 생성의 문제가 있었다. 달리2도 그런 문제에서 자유롭지 않았다. 연구진은 초반엔 그런 오염 학습 데이터를 걸러내려 하였으나 그것이 사실상 불가능했고, 걸러내는 것이 가능해도 인공지능이 아동이 이미지와 포르노의 이미지를 양자 결합하는 조합적 상상으로 생성한느 것이 가능했다. 개발진은 모델 오남용 예방시스템으로 이를 처리했다. 콘텐츠 모더레이션 필터와 사용자 행동감시 플랫폼으로 나아간 것이다. 일정 수준 이상의 반복적 위반 행위와 계정 자동 정지 시스템이 그것이다. 

 오픈AI내부에서는 달리2를 두고 안전파와 응용파의 갈등이 극에 달한다. 달리2는 출시와 동시에 큰 호응을 얻었다. 하지만 미드저니와 스테이블 디퓨전이 바로 등장했고 시장을 바로 빼았겼다. 이들은 달리 2와 다르게 사람 얼굴 생성 및 이미지 수정에 대한 안전 제한이 거의 없었기 때문이다. 이로 인해 오픈AI의 응용파는 달리 2의 안전장치가 수익을 제한했다  생각하게 된다. 

 한편 오픈AI의 인공지능 개발이 강력해질 수록 지구자원에 미치는 해악도 커져만 갔다. 2030년이면 데이터 센터는 미국 전체 전력소비의 8%를 차지하게 된다. 그리고 담수소비는 2030년이면 6조4천억 리터를 필요로 한다. 지구 온난화로 가뭄을 겪는 지역에서도 데이터 센터는 물을 빨아들인다. 

 한편 데이터와 연산자원의 소진으로 LLM의 발전이 한계에 다다르자 업계는 AI 에이전트로 선회한다. 다음 단계로 현실세계에서 행동을 취하고 주변환경에서 피드백을 수집하는 에이전트를 통해 이루어질 가능성이 높다고 본 것이다. 오픈AI도 채팅보다는 이메일을 보내고 코드를 짜고 복잡한 작업을 자동화하는 AI 어시스턴트가 상업적으로 더 우수하다고 판단했다. 

 이것이 지금까지의 오픈AI의 길이다. 오픈AI는 처음의 방향과는 다르게 상업화의 길로 철저히 들어섰으며 더 이상은 돌이킬수 없다. 회사에 남은 마지막 안전파는 올트먼 해임의 길로 나아갔고 성공하는 듯 보였으나 결국 실패하여 올트먼은 돌아왔고 그들은 패배했다. 

 LLM은 언어의 소멸을 가속화한다. 이들이 지원하는 언어가 적기 때문이다. 그리고 데이터를 식민주의의 최전선이다. 그들은 데이터는 무료로 가져가면서 그것을 이용한 서비스를 돈을 받고 팔기 때문이다. 인공지능의 개발은 그래서 공동체의 주도로 상호합의 하에 지역적 맥락과 역사를 존중하고 기술을 사회적으로 소외된 집단에 힘을 실어주는데 사용해야 한다. 그래야 인공지능 거버넌스가 포용적이고 민주적일 수 있다.

  저자는 마지막으로 인공지능 제국을 무너뜨릴 방법을 제시한다.

 1. 지식을 재분배해야 한다. 그러기 위해서 지식의 생산이 제국밖에서 이뤄지도록 자금지원을 늘려야 한다. 그래야 특정기업에 의존하지 않게 된다.

 2. 기업이 보유한 훈련 데이터의 핵심 내용과 모델 및 수퍼컴픃터의 기술사용을 의무적으로 공개하는 정책이 있어야 한다

 3. 인공지능에 대한 폭넓은 교육이 있어야 한다. 인공지능의 작동방식, 강점과 약점, 개발방향, 개발자들에 대한 세계관, 그리고 인공지능이 틀릴 가능성 등에 대해서다. 

.