실리콘밸리 길들이기

실리콘밸리 길들이기 - 폭주하는 빅테크 기업에 브레이크를 걸다 ㅣ AcornLoft
게리 마커스 지음, 김동환.최영호 옮김 / 에이콘온 / 2022년 4월

*본 포스팅은 출판사로부터 도서를 제공받아 주관적으로 작성한 리뷰입니다.

현재 인공지능 기술, 특히 생성형 AI는 놀라운 속도로 발전하고 있다. GPT-4, Claude, Gemini와 같은 거대언어모델들은 인간처럼 대화하고, 복잡한 질문에 답하며, 콘텐츠를 생성하는 능력을 보여주고 있다. 그러나 이러한 기술의 급속한 발전 이면에는 우리가 심각하게 고려해야 할 문제점과 위협이 존재한다. 생성형 AI는 기본적으로 입력된 단어를 바탕으로 다음에 올 단어를 예측하는 시스템이다. 인간과 대화하는 것처럼 보이지만, 실제로는 통계적 패턴 매칭을 통해 그럴듯한 대답을 생성할 뿐이다. 이러한 방식은 '통계적 맹글링(statistical mangling)'이라는 현상으로 이어진다. 거대언어모델(LLM)은 사실과 허구를 구분하는 능력이 부족하다. 일론 머스크가 자동차 사고로 사망했다고 언급하거나, 실제로 진행된 적 없는 인터뷰를 언급하는 등의 사례가 이미 발생했다. 이는 이 시스템이 단순히 다음 단어를 예측할 뿐, 자신이 만든 이야기가 사실인지 확인할 능력이 없기 때문이다.

그래서 저자는 생성형 AI가 가져오는 12가지 주요 위협을 고민하고 상기시켜 준다.

1. 정치적 허위정보의 대량생산으로 AI는 거짓 정보를 만드는 '기관총'이나 '핵무기'와 같다. 2023년 슬로바키아 선거에서 AI로 만든 가짜 녹취록이 선거 결과에 영향을 미친 사례가 있었다. 이는 해프닝만이 아니라 민주주의 자체를 위협하는 현상이었다.

2. 시장 조작으로 펜타곤이 폭발했다는 가짜 이미지가 인터넷을 통해 급속도로 퍼지면서 주식 시장이 일시적으로 휘청거렸다. 이는 악의적인 목적으로 시장을 조작하는 데 AI가 얼마나 효과적으로 활용될 수 있는지 보여주는 사례다.

3. 우발적인 허위정보로 의도치 않게도 AI는 허위정보를 자발적으로 생성할 수 있다. 특히 의료 분야에서 이는 치명적일 수 있다. 스탠퍼드대학 연구에 따르면 의료 관련 질문에 대한 거대언어모델의 답변은 일관성이 부족하고 종종 부정확했으며, 약 7%는 잠재적으로 해를 끼칠 수 있는 것으로 나타났다.

4. 명예훼손으로 AI 시스템은 실제 인물에 대한 거짓 정보를 쉽게 생성할 수 있다. 알래스카의 한 법학 교수가 성희롱 사건에 연루됐다는 가짜 기사를 AI가 생성한 사례가 있었다. 이러한 명예훼손은 개인의 평판과 삶에 심각한 피해를 줄 수 있다.

5. 합의되지 않은 딥페이크로 AI를 이용해 합의 없이 만들어진 가짜 누드 이미지나 딥페이크 포르노가 인터넷에서 급속도로 퍼지고 있다. 특히 테일러 스위프트의 딥페이크 이미지가 소셜 미디어에서 수천만 건의 조회수를 기록했다. 이는 개인의 권리와 존엄성을 심각하게 침해한다.

6. 범죄 가속화오 AI는 사칭 사기와 스피어 피싱과 같은 범죄를 더욱 정교하게 만들고 있다. 음성 복제 기술을 이용해 아이가 납치됐다고 주장하면서 부모에게 송금을 요구하는 사례가 증가하고 있다. 2024년 홍콩에서는 AI를 이용한 사기로 인해 한 은행이 2,500만 달러의 손실을 입었다.

7. 사이버 보안과 생물 무기 위협으로 AI는 웹사이트를 해킹하고 소프트웨어의 취약점을 발견하는 데 사용될 수 있다. 또한 악의적인 행위자들은 존재하지 않는 소프트웨어 패키지를 환각으로 만들어 낸 뒤, 같은 이름으로 멀웨어가 포함된 패키지를 배포할 수 있다.

8. 편향성과 차별로 AI 시스템은 학습 데이터에 내재된 편향성을 그대로 반영한다. 구글이 아프리카계 미국인의 이름을 검색할 때 범죄 경력 조회 관련 광고를 더 많이 노출하거나, 일부 아프리카계 미국인을 고릴라로 잘못 식별한 사례가 있었다. 이러한 편향성은 사회적 불평등을 강화할 수 있다.

9. 프라이버시 및 데이터 유출로 생성형 AI는 사용자가 입력하는 모든 내용을 학습한다. 이 과정에서 개인 정보가 포함된 자료들이 모델 학습에 사용되고, 이후 예측 서비스에 활용될 수 있다. 이는 사용자의 프라이버시를 심각하게 침해할 수 있다.

10. 동의 없이 도용되는 지적 재산으로 거대언어모델은 아티스트, 작가, 배우와 같은 창작자의 동의 없이 그들의 저작물을 학습하고 활용한다. 이는 지적 재산권을 침해하고 창작자들의 생계를 위협한다.

11. 신뢰할 수 없는 시스템에 대한 과도한 의존로 생성형 AI에 대한 과대광고로 인해 많은 사람들이 이 기술에 과도한 기대를 갖고 있하 그러나 환각, 일관성 없는 추론, 낮은 신뢰성을 가진 시스템에 중요한 결정을 맡기는 것은 위험하다. 기존의 잘못된 알고리듬으로 인해 대출과 일자리에서 차별이 발생하거나, 생존자를 사망자로 잘못 분류해 연금 지급이 중단된 사례가 있었다.

12. 환경 비용으로 AI 모델 학습에는 막대한 에너지가 소비된다. GPT-3의 훈련에는 약 19만 kWh의 에너지가 소요되었으며, GPT-4는 이보다 약 300배 높은 6,000만 kWh로 추정된다. 이러한 에너지 소비는 환경에 심각한 부담을 준다.

실리콘밸리 기업들이 생성형 AI를 무책임하게 개발하고 배포하는 이유는 무엇일까? 처음에는 구글이 전 세계 정보를 목록화하고, 페이스북이 사람들을 연결시키고, OpenAI가 위험한 AI를 통제하려는 좋은 의도로 시작했을지 모른다. 그러나 권력과 돈의 유혹은 기업의 사명을 망각하게 만들었다. 기업 부패의 핵심 요인 중 하나는 끊임없는 성장 압박이다. 페이스북의 내부 고발자 프랜시스 하우겐은 페이스북이 주주들에게 지속적으로 수익을 올려 줘야 하는 의무가 있으며, 이를 위해 사용자의 습관을 조작하고 있다고 밝혔다. 또한 AI 기업들은 기술의 잠재력을 과장하고 위험성은 축소하는 방식으로 여론을 조종한다. 1950년대부터 이어져 온 AI에 대한 과대광고는 현실과 동떨어진 기대를 만들어냈다. 이는 단기적인 열광을 불러일으키지만, 장기적으로는 실망으로 이어진다. 실리콘밸리 기업들은 선거 자금 기부, 회전문 인사 등을 통해 정부 정책에도 영향을 미친다. 영국 부총리를 지낸 닉 클레그가 현재 메타에서 정책을 담당하고 있는 것이 대표적인 사례다.

우리는 AI 기술의 발전을 환영하되, 그것이 우리 사회와 민주주의의 근간을 흔들지 않도록 끊임없이 경계하고 요구해야 할 것이다.