수학적 음악의 역사로 만나는 AI 음악 세계

수학이 사랑한 음악 - 고대부터 AI 음악까지 음악사와 기술사의 교양서, 2023년 세종도서 교양부문 선정도서
니키타 브라긴스키 지음, 박은지 옮김 / 생각지도 / 2023년 2월

최근 챗GPT 대화형 AI가 워낙 화제여서 입에 덜 오르내리긴하지만 2016년 국내 기술로 개발된 AI 작곡가 '이봄 EvoM'의 활약도 만만치 않습니다. AI 음악은 최근 생긴 혁명이라고 생각하기 쉽습니다. 하지만 사실 아주 오래전부터 시작된 음악의 자동 작곡과 긴 역사를 함께하고 있다고 합니다.

음악학자이자 기술사학자 니키타 브라긴스키 저자는 <수학이 사랑한 음악>에서 AI 음악의 등장과 역사적 배경 그리고 AI음악의 미래를 조망해봅니다. 기존 음악사 책처럼 음악가의 작품 중심이 아니라 제목으로 짐작할 수 있듯 음악을 수학과 기술의 융합적 관점에서 통합적으로 바라보고 있습니다.

번역자 박은지 박사 역시 음악과 공학 모두를 전공한 융합연구자이기에 더욱 충실한 번역을 기대할 수 있습니다. 보충 설명과 풍부한 이미지 덕분에 음악이론과 인공지능에 관한 지식이 없는 일반 대중도 충분히 이해할 수 있습니다.

이 책에서는 수학적 음악이라는 용어가 자주 등장합니다. 인간이 아름다운 선율을 분석하고 모방하고 싶다는 바람이 불러온 수학적 음악. 음악에 수학적 방법론을 적용해 음악을 분석해온 겁니다. 이는 오늘날 AI 음악으로 이어집니다.

창조의 영역인 음악이 수학과 연관되어 있다니 처음에는 언뜻 이해되지 않았습니다. 게다가 컴퓨터 기술이 발달한 최근도 아니고 무려 선사시대부터 자동화 시도가 이뤄졌다는 부분은 믿기 힘들었습니다. 리코더랑 무척이나 닮은 선사시대 뼈 피리가 주인공입니다. 노래를 부를 때는 음을 기억하고 모방하는 정신적 과정이 필요한데 피리를 연주할 때는 그 과정이 생략됩니다. 구멍의 정확한 위치에 손가락을 대고 바람을 불기만 하면 됩니다. 인간 활동에서 기억과 모방하는 측면을 자동화하여 사라지게 한 겁니다. 이런 이야기를 듣고 나니 악기 탄생의 의미를 새롭게 바라보게 됩니다.

음악의 기초를 수학적으로 공식화한 최초의 시도는 고대 피타고라스 파에 의해 이뤄집니다. '비율'은 음악수학적 개념에서도 중요한 위치를 차지하고 있더라고요. 그들은 음악에도 수학적 지식의 유용성을 증명하기 위해 노력했습니다. 단순한 정수비로 구성된 소리는 청자에게 조화로운 음향적 인상을 준다고 가정했다고 합니다.

중세에는 조합론을 바탕으로 수학적 측면에서 초기 형태의 기계적 계산 장치가 최초로 등장한 키르허의 장치가 인상 깊습니다. 음악 조각 배열을 통해 이 장치를 사용하면 이론 규칙을 반영한 곡을 만들 수 있게 됩니다. 이 장치는 정신적 작업에 대한 기술의 확장으로 평가받습니다. 모차르트의 <음악의 주사위 놀이>는 모든 사람에게 모차르트가 될 가능성을 열어 주기도 했습니다. 이후 소리에 대한 정신적이고 수학적인 해석은 점차 발전합니다.

프로그래밍 작업의 기초가 되는 수학적 음악에 대한 접근이 생각보다 더 오래전부터 점진적으로 성장해왔다는 걸 보여주는 <수학이 사랑한 음악>. 20세기에 이르면 중세의 음악 게임처럼 단순한 놀이가 아닌 진지한 예술 작품에 적용될 수 있음을 보여줍니다. 음악 기관과 학교의 등장, 새로운 문화 정책은 음악에서 진정한 수학적 방법론을 찾는 작업을 유행하게 만들었고 수학의 통계학까지 적용하게 만듭니다. 이때의 방법론이 컴퓨터 기반의 음악과 예술 실험의 주류가 되고, 이후 100년 이상 이어지게 되었다고 합니다.

소련에서 미국으로 건너가 이후 미국 대중음악의 지배층이 될 학생들을 가르치며 음악 산업계에 큰 영향을 끼친 작곡가이자 이론가 조지프 실링거. (마이클 잭슨의 히트 앨범 <스릴러>를 제작한 음악 프로듀서 역시 실링거의 방법론을 공부했다고) 무한한 창조적 에너지로 선율, 화음, 리듬을 생각해 내기 위한 수많은 수학적 속임수를 만들었습니다. 물론 이때만 해도 수동으로 계산하는 과정을 거쳐야 했지만, 그의 영향력은 20세기 후반 수학적 음악의 대유행을 일으킬 정도로 막강했습니다.

1950년대를 기점으로 디지털 컴퓨터가 음악 생산에도 사용되면서 미리 정의된 규칙들로 새로운 선율을 찾아낼 수 있게 됩니다. 꽤 정교한 음악 알고리즘을 수행할 수 있는 컴퓨터 기술의 등장으로 비디오 게임의 배경음악을 만드는 등 컴퓨터 음악은 점점 영역을 확장합니다.

오늘날 AI는 딥러닝이라 불리는 기술입니다. <수학이 사랑한 음악>에서는 자동 작곡과 보조적 작곡에 대한 현 상황을 조목조목 짚어줍니다. 음악을 예로 들어 보면 딥러닝으로 모차르트 스타일 음악을 작곡할 수 있습니다. 모차르트 음악에 대한 많은 정보를 컴퓨터 시스템에 입력하면 다층구조 형태의 신경망을 통해 스스로 학습하고 출력합니다. 인간의 뇌에서 일어나는 직관의 작업을 모방하는 셈입니다. 오픈 AI에서 개발한 딥러닝 챗GPT로 간단한 음악 작업도 실행할 수 있음을 보여줍니다.

기본적으로 저자는 AI 음악과 수학적 음악을 별개로 보는 견해에 반대하는 입장입니다. 비율, 조합, 통계 이후에 나타날 음악의 논리적인 다음 단계로 이어지게 한 머신러닝. 음악에 수학적 처리가 가능함을 과거에서부터 보여주면서 수학적 음악의 토대가 마련되었기에 가능한 일입니다.

2020년 오픈 AI의 주크박스 프로젝트는 머신러닝 기술로 오디오를 생성해 다양한 스타일의 대중음악을 만들어 낸 성공적인 시도를 합니다. 다양한 인기 장르의 노래로 학습 과정을 거쳤다고 합니다. 머신러닝, 딥러닝 혹은 인공지능은 기업의 음악 기술에서 최신 무기가 되는 기술이 되었고 자동화된 머신러닝 마스터링이 등장하며 스튜디오 레코딩 커뮤니티가 충격에 빠지기도 했습니다.

이제는 AI 음악이 월드뮤직이 되는 시대입니다. 오늘날 대중음악은 과거와는 달라질 수 있다고 합니다. 지금은 단 한 명의 청자에게 최적화된 각각의 다른 문화 상품이 대량으로 생산될 수 있기 때문입니다. 대량 생산과 개인 최적화는 공존할 수 없었지만, 이제 디지털 제품에 한해서는 공존할 수 있습니다. 이는 음악 비즈니스의 미래에도 영향을 줍니다.

음악이 수학적으로 구조화된 소리라는 아이디어에 기초해 규칙 기반의 작곡과 음악 게임들을 둘러싼 수세기 동안의 담론을 정리하고, AI 음악 발전에 관한 논의를 제기한 <수학이 사랑한 음악>. 음악 창작의 수학적 방법론에 대한 큰 그림을 보여주면서 미래 음악 기술의 변화에 대한 방향을 알려주는 책입니다.

- 출판사로부터 도서를 제공받았습니다