[알라딘서재]수학하는 AI

수학하는 AIｌ과학

cyrus l 2025-03-03 18:03

https://blog.aladin.co.kr/haesung/16274492

기계는 왜 학습하는가 - AI를 움직이는 우아한 수학 아닐 아난타스와미 지음, 노승영 옮김 / 까치 / 2025년 2월 평점 :

4점 ★★★★ A-

며칠 전부터 인스타그램이 이상하다. 한 번 마주치면 우리 마음에 끔찍한 잔상을 남기는 잔인한 동영상들이 불쑥 튀어나온다. 짧은 영상들(short-form)을 보여주는 플랫폼(Reels)에 들어가서 영상을 연달아 보고 나면 해로운 동영상이 갑자기 나타나기 시작한다. 사람을 잔인하게 죽이는 사람들, 고어(gore) 영화에 나온 장면, AI로 만들어진 기괴한 이미지들. 2월 마지막 날, 인스타그램은 불쾌한 영상들의 폭주를 멈추지 못했다. 인스타그램을 운영하는 주식회사 메타(Meta)는 해로운 영상들을 걸러내지 못한 알고리즘의 오류 문제를 ‘수정’했다고 밝혔다. 그런데 오늘 해로운 영상들이 또다시 나오기 시작했다.

알고리즘은 우리의 관심사를 관찰하고, 수집한다. 그런 다음에 우리가 좋아할 만한 것들을 모아서 분류한다. 알고리즘이 모은 자료들은 모든 사람을 끌어당긴다. 알고리즘 덕분에 우리는 자신의 관심사와 비슷한 사람들을 금방 찾을 수 있다. 그런데 최근 인스타그램의 알고리즘은 뜻밖의 행동을 하고 있다. 우리가 평소에 본 적 없는 해로운 영상들을 제대로 검열하지 못한 채 보여주고 있다. 알고리즘은 왜 우리가 원하지 않은 정보를 아무렇게나 보여주는 오류를 일으킬까?

나는 알고리즘 전문가가 아니다. 최근에 일어난 인스타그램 알고리즘 오류의 구체적인 원인을 모른다. 하지만 나는 알고리즘 오류와 관련된 한 가지 진실을 확실히 말할 수 있다. 이 진실은 우리의 상식을 뒤집는다. 그것은 바로 알고리즘은 생각보다 똑똑하지 않다는 진실이다. 완벽해 보이는 알고리즘도 때때로 틀릴 때가 있다. 모든 알고리즘 전문가도 인정하는 진실이다.

《기계는 왜 학습하는가》는 ‘실수하고 틀리는 알고리즘’에 왜 수학이 필요한지를 알려준다. 우리에게 친숙한 알고리즘은 전산공학(컴퓨터 공학) 용어로 알려졌지만, 이 용어는 수학에서 시작되었다. 알고리즘은 어떤 문제를 해결하기 위한 과정 또는 절차를 뜻한다. 수학이 문제를 해결하는 방식 중 하나가 ‘패턴(pattern)’을 찾는 일이다. 패턴은 규칙적으로 반복된다. 방대한 데이터에서 패턴을 찾는 알고리즘을 최근린(最近隣) 법 또는 NN(nearest neighbor) 알고리즘이라고 한다. AI가 일하는 방식은 마치 수학자들이 자연 현상에서 패턴을 찾는 일과 같다.

수학을 모르는 AI는 패턴을 식별할 수 없다. AI는 수학을 공부한다. 컴퓨터 시스템이나 기계가 패턴을 감지하고, 분류하기 위해 수학을 학습하는 과정을 ‘기계 학습(machine Learning)’이라고 한다. 우리에게 친숙한 컴퓨터를 포함한 대부분 기계는 수학을 학습하면서 발전했다.

매년 꾸준히 공부한 사람도 가끔 문제를 풀다가 오답을 낼 때가 있다. 틀렸으면 다시 문제를 풀어서 정답을 찾아내야 한다. AI도 마찬가지다. 한 번 오류를 일으킨 AI는 오류를 수정하기 위해 수학을 공부한다. 이때 AI는 이전에 배웠던 수학을 반복하는 학습을 하지 않는다. 배운 적이 없는 새로운 수학을 공부한다. 따라서 AI가 학습하는 수학의 종류는 다양하다. 《기계는 왜 학습하는가》는 AI가 지금까지 공부한 수학 분야들을 소개한다. 기계 학습의 필수 수학 과목은 미적분, 확률 통계, 행렬 등이다.

AI는 똑똑해지려고 수학을 공부하지 않는다. ‘오류와 실수를 줄이려고’ 공부한다. 대부분 사람은 점점 인간보다 똑똑해지는 AI의 등장을 두려워한다. 영화 속 AI는 인간을 조종하는, 냉철한 악당으로 묘사된다. 그러나 우리 삶에 가까이 있는 알고리즘은 완벽하지 않다. 완벽한 수준에 도달해도 또다시 실수한다. 기계가 왜 수학을 공부하는지 이해한다면 AI에 대한 막연한 두려움을 덜어낼 수 있다. 한 번 실수하면 수학(數學)을 수학(修學, 受學)[주1]하는 AI. 수학으로 단련하는 AI는 차갑지도 않고, 기계적이지 않다.

AI는 자신이 수집한 자료 속에 있는 편견을 알지 못한다. AI 기술자는 AI가 기계 학습을 할 때 자료의 편견을 찾아내야 한다. 우리가 경계해야 할 것은 꾸준히 학습하고, 알고리즘을 교정하는 AI가 아니다. 스스로 학습하지 못하는 사람들이 제일 무섭다. 편견을 제대로 알아보지 못하고, 편견을 의심하지 않고, 편견을 진실이라고 믿는 사람들. 이런 사람들은 절대로 공부하지 않으며 자신이 주장하는 오류를 고치지 않는다.

정확한 답을 찾기 위해 학습하는 AI,

정확하지 않은 가짜 정보에 갇힌 답 없는 인간.

자, 이제 누가 악당이지?

<cyrus가 만든 주석과 정오표>

[주1] 수학(修學): 학문을 닦음
수학(受學): 학문을 배우거나 수업을 받음.

* 12쪽

수학자 유지니아 쳉은 『수학은 실재일까?』(Is Math Real?)라는 책[주2]에서 수학을 배우는 과정이 점진적이라고 이야기한다. “우리는 꼬물꼬물 발을 내디디면서 좀처럼 앞으로 나아가지 못하는 듯하다가 느닷없이 뒤를 돌아보고서 어느덧 높은 산에 올랐음을 알게 된다. 이 모든 과정이 막막하게 느껴질 수 있지만, 약간의(때로는 다량의) 지적 막막함을 받아들이는 것은 수학에서 진전을 거두기 위한 중요한 조건이다.”

[주2] 번역본: 유지니아 쳉, 성수지 옮김, 《수학, 진짜의 증명: 우리 삶의 방정식을 구하는 수학의 즐거움》 (드루, 2024년).

* 75쪽

오차를 제곱하여 평균하는 방법은 통계 및 미적분과 관계된 또 다른 이점이 있지만, 아직은 들여다볼 때가 아니다. 목표는 이 ‘제곱 평균 오차(Mean squared error)’[주3]를 필터의 매개변수에 대해 최소화하는 것이다.

[주3] 정확한 명칭은 ‘평균 제곱 오차’다. ‘제곱 평균 속도(mean square velocity)’라는 과학 용어가 있지만, 평균 제곱 오차와 관련이 없다. ‘제곱 평균 오차’라고 단 한 번이라도 적힌 교재나 문헌이 있으면 이 주석은 틀린 것이다.

* 107쪽

토머스 베이스의 탄생 연도가 불확실하다는 사실에는 유쾌한 아이러니가 있다. 그는 “0.8의 확률로 1701년에 태어났다”라고 전해진다. 하지만 사망일은 확실하다. 1761년 4월 17일[주4] 영국 로열 턴브리지 웰스에서 사망했다.

[원문]

There’s delicious irony in the uncertainty over Thomas Bayes’s year of birth. It’s been said that he was “born in 1701 with probability 0.8.” The date of his death, however, is firmly established: April 17, 1761, at Royal Tunbridge Wells in England.