음악은 각 시대의 문화와 기술을 반영한다. 인공지능 음악은 21세기 인공지능 시대에 등장하며 과거에는 없던 새로운 장르로 자리 잡을 것이다. 또한 사람들은 인공지능의 연주를 들으며 예전의 콘서트에서 받은 감명과는 또 다른 감동을 받고 찬사를 보낼 것이다. 다만 콘서트의 구현 방법이 중요하다. 이 구현 방법은 인공지능 음악이 사람들에게 감동을 주며 다가간다는 성공적인 결과를 얻는 데 큰 비중을 차지할 것이다. - P120
사람들 앞에서 연주를할 때는 누구나 긴장을 하기 때문에 연습 때는 하지 않던 실수를 하게 된다. 그래서 많은 연주가가 큰 연주를 앞두고 친지들을 모아 놓고 연습삼아 연주를 해보곤 한다. - P121
피아노 연주의 경우 울림이 많은 홀에서는 페달 사용을 줄이고 쉼표 사이에 소리가 깨끗이 사라질때까지 조금 더 기다려야 한다. 반면 울림이 없는 홀에서는 템포를 조금 당기고 페달을 평소보다 많이 쓰는 것이 효과적이다. 이러한 차이를 연주 전에 미리 알아보기 위해 하는 것이 리허설이다. - P122
실제 콘서트홀의 음향을 그대로 반영한 가상현실의 콘서트 홀을 경험할 수 있다면, 가상현실에서의 리허설 또한 가능해질 것이다. 가상현실 속에서 다른 사람들을 앞에 두고 연주해봄으로써 연주할 때 발생할 수 있는 여러 상황을 미리 경험해 볼 수 있다면 스튜디오 클래스 수업처럼 연주 준비에 큰 도움이 될 것이다. - P122
보통 음악가들은 연주 준비를 할 때 자신만의 노하우가 있기 마련이다. 예를 들어 나는 연주 전 리허설을 할 때 절대로 최대한으로 실력을 발휘하지 않는다. 한 번 최대한으로 열정을 쏟아 놓고 나면 그 다음부터는 그 정도의 연주 퀄리티가 나오기 힘들기 때문이다. 또한 연주 당일에는 손을 푸는 정도의 연습만 한두 시간 하고 너무 많은 연습은 피하는 편이다. 연주할 때의 체력을 최상으로 유지하기 위함이다. - P125
눔에서는 네 가지 단계의 과정을 소개한다. 첫 번째로 자신의 평소 습관을 알아보며 현재 상태를 정확히 파악하고 두 번째로 목표를 만들어 좋은 새로운 습관을 만들어 나간다. 세 번째로는 이러한 습관을 평생 자신의 것으로 만들 수 있도록 심화 학습 과정을 거친다. 마지막으로 오랜 시간에 걸쳐 연습하고 익힌 과정을 완벽하게 마스터함으로써 건강한 삶을 선사한다. - P125
사커봇의 기사 작성 방식은 인간과 비슷하다. ①취재 과정인 데이터수집 ②기사 작성 과정인 문장 생성 ③ 탈고 과정인 어휘 수정 등 세 단계다. - P129
(사커봇)프로그램 내 스케줄러가 당일 경기 일정을 확인해 데이터 수집 일정을 수립하고, 크롤러 crawler (웹상의 정보를 자동으로 검색하고 수집하는 소프트웨어)가 기사 작성에 필요한 각종 정보를 경기 시작 전에 정리한다. 선수명, 구단명, 경기 장소, 한국선수 출전 여부 등이 주요 데이터로 추려진다. 수집된 데이터는 경기 상황 중계가 문장이 되는 과정에 투입된다. 데이터는 기사 알고리즘을 통해 적당한 문장으로 자동 가공되는데, 기사 작성 알고리즘은 그동안 실제 기자들이 쓴 기사를 데이터베이스로 한다. - P129
사커봇의 기사 작성 방식을 활용하면 인공지능은 음악가들이 필요한 프로필과 프로그램 노트도 작성할 수 있다. 프로필은 ①음악가들의 프로필 데이터 수집 ②학력, 대회 우승 경력, 연주 경력, 세계적인 음악 페스티벌 및 마스터 클래스 참가 경력과 매거진에 실린 연주리뷰에 관한 문장 생성 ③어휘 수정 단계를 거칠 것이다. 프로그램 노트는 ①연주 프로그램 노트 데이터 수집 ②작곡가와 곡에 관한 문장생성 ③어휘 수정 단계를 거칠 것이다. - P129
기업이나 개인이 사업을 시작할 때 꼭 필요한 것이 로고인데, 이 로고를 디자인해주는 인공지능 서비스도 활성화되고 있다. 이 인공지능 프로그램은 약 100만 개 이상의 로고 디자인을 학습해 스스로 독창성, 가독성, 색상·대조 등을 점수화해 공부한다고 한다. - P129
음악회 포스터에 들어가는 요소로는 연주가의 프로필 사진, 연주프로그램, 날짜, 시간, 장소와 주최, 후원, 티켓 가격 등이 있다. 인공지능이 다양한 음악회 포스터의 디자인을 학습해 제작에 필요한 새로운 내용을 적용한다면 포스터를 빠른 시간에 만들어낼 수 있다. 디자인 시안도 여러가지로 만들어 연주가가 마음에 드는 것으로 선택할 수 있게 해주면 더 좋을 것이다. 티켓과 초대권 제작도 같은 과정을 거칠 것이다. 이렇게 기획사가 하는 일 중 많은 부분을 인공지능으로 대체할 수 있다. - P130
사람들은 직업 또는 취미 활동에 따라 생활의 필요가 달라진다. - P130
피아노는 대표적인 독주 악기이지만 다른 사람들과 함께 연주하는 반주나 실내악을 하는 경우도 많이 있다. 피아노 이외의 다른 악기들은 대부분 피아노 반주를 필요로 한다. 독주를 할 때는 나의 소리를 내고 내가 원하는 대로 연주할 수 있지만 다른 사람과 함께 연주할 때는 다른 사람의 음악과 내 스타일, 소리의 밸런스, 음색, 템포 및 호흡 등을 맞춰 나가야 한다. 그러려면 다른 사람의 연주를 듣는 연습을 많이 해야 한다. 말로써 음악을 해석하고 전달하는 소통 능력도 필요하다. - P132
성악을 반주하려면 언어도 알아야 했다. 가사에 따라 감정이 다르게 들어가기 때문에 가사 내용도 이해해야 하고 발음과 숨쉬는 곳을 고려해 맞춰주어야 한다. - P133
기악반주의 피아노 파트는 성악 반주에 비해 길이도 길고 난이도도 높다. 특히 소나타의 경우 솔로 파트와 피아노 파트가 같은 비중을 차지하는데, 피아노 파트가 더 어려운 경우도 많다. - P133
합주를 할 때는 피아노와 솔로 악기 소리의 음색을 조화롭게 어우러지도록 터치를 잘 조절해야 한다. 예를 들어 바이올리니스트가 느린 악장에서 활을 천천히 사용해 프레이즈를 마무리하고 있다면 피아노도 마찬가지로 건반을 천천히 눌러 바이올린 소리와 블렌딩해야한다. 반면 바이올리니스트가 빠른 악절을 빠른 터치로 연주할 때 피아니스트가 터치의 속도를 같게 맞추지 않으면 템포가 같아도 뒤처지는 느낌이 난다. - P134
반주는 전공자 위주의 피아노 반주 이외에도 오케스트라 반주, 재즈나 팝의 세션 반주 등 다양하다. 결혼식에는 피아노 또는 현악 4중주가 많이 사용되어 왔지만 근래에는 MR도 많이 활용하고 있다. - P135
교회에서도 음악을 빼놓을 수 없다. 규모에 따라 성가대 찬양에 피아노 반주가 사용되기도 하고 오케스트라 또는 세션 반주도 많이 사용한다. 뮤지컬이나 연극 또는 발레 공연에도 다양한 형태의 반주가 들어간다. 여러 행사에도 음악은 꼭 필요하다. 이처럼 반주는 우리의 일상생활에서도 필요한 곳이 정말 많다. - P135
자동 악보 추적 기술 Score following은 라이브 연주를 들으며 악보의 위치를 추적하는 기술로 인공 지능, 패턴 인식, 신호 처리 및 음악학을 포함한 연구 분야이다. 단성부 또는 다성부의 복잡한 오디오 신호를 실시간으로 감지한다. 반주를 하다 보면 간혹 어디를 연주하고 있는지 헷갈리는 경우가 있는데 이 기술은 연주자가 연주하는 동안 템포를 감지해 연주되고 있는 위치를 실시간으로 표시해준다. 빨라지거나 느려지는 템포를 따라가는 정도의 기능이 가능하기에 음악적인 표현은 미숙하지만 사람의 연주에 맞춰 실시간으로 자동 반주를 하는 역할도 할 수 있다. - P135
영화 <킹스맨: 골든서클>에서는 융합현실을 통해 세계 곳곳에서 일하는 비밀 요원들이 특수 안경을 끼고 가상으로 런던에 있는 사무실에 모여 앉아 회의하는 장면이 나온다. 이러한 융합현실 기술은 세계 곳곳의 연주가가 한 장소에서 가상으로 만나 함께 리허설도 하고 연주할 수 있는 가능성을 보여준다. - P136
반주자의 음악성과 해석은 상대방의 연주에 많은 영향을 줄 수 있다. 반주자가 일방적으로 솔리스트에 맞춰주는 것이 아니라 서로의 아이디어를 교환하며 함께 동등한 위치에서 음악을 만들어 나갈 때 더 훌륭한 결과를 얻을 수 있다. - P136
우리는 연주할 때, 함께 연주하는 연주가들의 소리도 듣지만 동작을 보며 호흡을 맞춰 나간다. 이와 같은 방법으로 AI 피아노는 마이크로 소리를 듣고 연주자 앞에 설치된 카메라를 통해 연주자의 팔의 미묘한 움직임 등을 파악해 다른 4명의 사람 연주가들과 호흡을 맞춰서 훌륭한 연주를 선보였다. - P137
동작을 인식하는 센서는 인공지능과 사람이 함께 실내악을 연주할 때 유용하게 사용할 수 있다. 연주할 때 서로 호흡을 맞추는 과정에서 꼭 필요한 것이 서로의 움직임을 파악하는 것이기 때문이다. - P137
과거 또는 현존하는 유명한 연주자의 반주를 추출해 낸 이후에 자동 악보 추적 기술과 결합한다. 독주 악기의 음색과 반주의 음색을 조화시킬 수 있는 기술도 적용하고 연주가의 움직임을 인지는 센서와 카메라를 사용해 호흡을 맞추도록 한다. - P138
연주가들은 누구나 자신이 좋아하는 연주가의 반주 또는 합주를 선택해 함께 연주할 수 있게 된다. 다양한 인공지능 연주가들과 함께 연주하며 많은 아이디어도 얻을 수 있다. 여러 악기의 조합으로 이루어진 세션이나 합주에도 같은 기술이 적용될 것이다. - P138
OTT Over The Top(스트리밍 미디어 서비스를 지칭하는 말) - P139
로쿠Roku는 컨텐츠를 업로드하게 해줄 뿐만 아니라 서비스 로고, 포스터, 이미지 등을 등록하면 콘텐츠 사업자만의 OTT 서비스를 만들어주며 광고 인벤토리 세일즈 역할도 해준다. - P139
음악 및 콘서트 업계에 있어 이러한 콘서트 가상현실 생중계는 새로운 수익 모델의 기회가 될 수 있다. 세계 각국의 사람들이 집에서 편하게 컴퓨터 및 스마트폰으로 관람할 수 있어서 실제 콘서트장보다 훨씬 더 많은 인원을 수용할 수 있다. 관객들에게는 실제 콘서트 티켓보다 저렴하게 가상현실 콘서트 입장료를 판매함으로써 더 많은 입장료 수익 창출이 가능해진다. 또한 콘서트 중간에 가상현실 기술을 활용한 광고를 삽입함으로써 관객의 수가 증가함에 따라 광고 단가가 향상되면서 이전보다 더 많은 광고 수익도 낼 수 있다는 분석이다. - P141
공연예술에 가상현실 기술이 빠르게 파고 들어 가상현실과 공연을 접목하는 ‘VR 공연‘이 늘어나고 있다. 기술의 발전에 발 맞추어 음악 및 콘서트 업계에서도 가상현실을 지속적인 매출 향상의 도구로 활용하려는 노력이 활발히 진행되고 있기 때문이다. 뮤직비디오나 대형 뮤직 페스티벌, 콘서트 현장이 가상현실 컨텐츠로 제작되고 있다. - P141
VR 공연은 실연 실황을 카메라에 담는 것으로 한정되지 않고 VR의 배경이 컴퓨터 그래픽으로 만들어질 수도 있다. 염동균 작가의 VR드로잉 퍼포먼스가 대표적인 예이다. - P142
일을 할 때 사람과 사람이 만나면 수많은 장점들도 있지만 감정이란 요소는 일을 방해하기도 한다. 함께 일하는 상대방에게 안 좋은 감정이 있으면 일의 성과가 떨어지기 마련이다. 회사에서는 많은 경우 실질적인 일에 몰두하기 보다는 상사의 기분을 맞추는데 에너지를 더 소비하기도 한다. 직업에 따라 다를 수 있지만 대부분의 경우 일과 감정을 분리한다면 일의 성과는 높아질 것이다. - P144
사람들과의 관계에서 우리는 마땅히 상대방의 감정을 존중하고 배려해야 한다. 의도적일 때도 있지만 많은 경우, 자신도 모르게 상대방의 감정을 상하게 하곤 한다. 이러한 수많은 관계 속에서 사람들은 상처 받고 지쳐간다. 그래서 사람들과의 마찰에서 벗어나 혼자 쉴 시간이 필요할 때도 있다. 언택트 마케팅이 가져올 부작용도 우려가 되지만 현대의 사람들은 ‘언택트‘를 선호하고 있다. - P145
다른 사람들과 연주할 때 생기는 많은 어려움은 대부분 사람과의 관계에서 나온다. 음악이 서로 너무 달라서 고생하는 경우도 있지만 일반적으로 실력은 웬만큼 맞춰서 상대를 선택하기에 연주에 대한 불만보다는 상대방의 배려 없는 말과 행동 때문에 어려움을 겪는 경우가 많다. 다른 사람과 타협할 줄 모르거나 소통에 어려움이 있는 사람, 리허설 시간을 안 지키는 사람, 자기만 드러내려고 밸런스를 깨고 크게 연주하는 사람 등이 그렇다. 이처럼 다른 사람과 연주를 함께할 때는 상대방의 기분과 상태, 연습 시간과 장소 등 많은 요소를 고려해야 한다. - P145
인공지능 연주 도우미 AIMA는 합주할 때의 이러한 많은 어려움을 해결해준다. 연습이 완전히 되지 않은 상태에서도 원하면 언제든지 필요한 만큼 반주를 맞춰볼 수 있으며, 리허설 시간과 장소를 자유롭게 정할 수 있다. 게다가 AIMA는 리허설을 하는 중 사람의 기분을 나쁘게 하는 말이나 행동을 하지 않는다. 그래서 잘 풀리지 않는 부분이 있어도 눈치 보지 않고 함께 연습을 할 수 있다. 또한 AIMA는 머신러닝을 통해 지속적으로 발전하며 한 사람의 연주에 맞춰주므로 반주자가 바뀔 때마다 서로의 음악 스타일을 알아가는 과정의 어려움을 해결해준다. 평생 함께할 반주자가 되어주는 것이다. - P146
음악을 연주할 때 꼭 필요한 요소 중 하나가 작곡이다. 아무리 뛰어난 연주가도 좋은 작곡가 없이는 탄생하기 힘들다. 모차르트, 리스트, 파가니니, 라흐마니노프 같은 작곡가들은 뛰어난 연주자이자 작곡가였다. 하지만 연주를 잘하는 사람이 반드시 작곡을 잘하지는 않고 반대로 유명한 작곡가가 연주도 잘 하는 것은 아니다. 그래서 이들은 서로를 필요로 한다. - P148
작곡은 음악가에게만 아니라 여러 분야에서 꼭 필요한 요소가 되었다. - P148
여기(프리미엄 브랜드 LG 시그니처 광고)에 사용된 광고음악, 루도비코 에이나우디Ludovico Einaudi의 ‘프리마베라, 봄‘은 소비자들이 가전을 고급스러운 작품의 이미지로 느끼는 데 큰 역할을 했다. 루도비코 에이나우디는 이탈리아의 저명한 작곡가이자 피아니스트로 자신의 음악으로 환경과 삶에 대한 메시지를 전한다. - P149
광고뿐 아니라 영화에서도 음악은 핵심적인 요소이다. 단순한 배경음악이 아닌 스토리와 감성을 효과적으로 전달하는 중요한 역할을 하기 때문이다. 영상 그 자체와 텍스트만으로는 이면에 있는 것들을 묘사하지 못한다는 한계가 있는데, 이때 영화음악이 이런 이면의 요소들을 전달하는 역할을 한다. - P150
표제음악은 영화 전체의 주제를 전달하고 일관성 있는 이미지를 형성한다. 소스음악은 관객이 영화의 흐름을 따라 감정을 이입하도록 해 감동을 선사하는 등의 역할을 하며 영화를 더욱 더 풍부하게 만든다. <스타워즈>, <쉰들러 리스트>, <죠스> 같은 대작들은 영화음악을 완벽하게 사용한 영화로도 기억된다. 실제로 우리는 일상 생활에서 영화음악을 듣는 것만으로도 그 영화를 떠올리곤 한다. - P150
다양한 상황에 맞게 필요한 음악을 제공해 주는 것이 작곡가의 역할이다. 분야에 따라 클래식 음악 작곡가, 뮤지컬 음악 작곡가, 영화 음악 감독, CM송 작곡가 등으로 나눠지는데, 각 분야별로 인공지능 작곡가가 등장하고 있다. 인공지능이 장르별로 학습해 처음부터 끝까지 작곡을 하는 경우도 있고 사람과 협업해 함께 작곡하는 시스템도 있다. - P150
현재 인공지능은 이미지를 인식하고 이미지에 맞는 음악을 만들어내고 있기 때문에 이론상 인공지능이 동영상의 내용을 이해하고 알맞은 음악을 작곡하는 것도 불가능한 일은 아니다. 하지만 수많은 학습 데이터가 필요하고 프로그램을 개발하는 데 시간이 걸려 아직 일반인이 활용할 만한 프로그램은 시중에 등장하지 않았다. - P151
인공지능이 작곡을 하려면 작곡 엔진과 프로덕션 엔진이 필요하다. 작곡 엔진으로는 딥러닝과 신경망Neural Network을 이용해 인공지능에게 수많은 데이터를 학습시켜 악보까지 완성한다. 이 과정을 거친 후 프로덕션 엔진에서는 피아노, 바이올린, 트럼펫 등 연주할 악기를 선택하고 다이내믹, 컴프레서, 이퀄라이저EQ, 리버브 등 효과도 선택한다. 작곡 엔진의 소요 시간은 2초, 프로덕션 엔진은 38초가 걸려 40초면 하나의 곡이 완성된다. - P152
아이바의 개발자는 다양한 아티스트의 수백 가지 록 음악 트랙을 아이바의 심층 신경망 deep neural network에 훈련시켰다. 합성곱 신경망convolutional neural networks과 순환 신경망의 조합을 사용해 훈련하는 동안 신경망은 멜로디, 기타코드, 베이스 라인, 악기, 템포 및 기타 트랙 요소와 같은 노래 작곡에 필요한 요소를 모방하는 것을 학습했다. - P153
작곡 분야에서는 일찍이 인공지능을 사용하기 시작했다. 인공지능이 상업적으로 가장 많이 활용되고 있는 음악 분야라고 할 수 있겠다. 원래 음악 작곡 및 제작에는 재능, 시간, 그리고 기술 전문성이 요구되는데, 이러한 작곡 가능한 인공지능의 발전으로 아마추어 음악가들의 작업이 쉬워졌다. 또한 음악에 대한 전문 지식 없이도 누구나 자신만의 곡을 만들 수 있게 되었고 완성된 음악을 무료로 스트리밍하거나 다운받아서 자유롭게 사용할 수 있게 되었다. - P154
인공지능이 작곡에 활용되면서 인공지능 작곡의 저작권이새로운 이슈로 떠오르고 있다. 우리나라 저작권법에 저작물은 ‘인간의 사상 또는 감정을 표현한 창작물‘이라고 정의되어 있다. 저작자는 저작물을 만든 사람으로 규정되므로 현행법상 인간이 만든 것만 창작물로 인정된다는 의미이다. 현재의 저작권법은 ‘인간‘만이 그 대상이지만 인공지능이 사회에 등장했으므로 앞으로는 인공지능에 관한 새로운 논의와 관련 법안이 필요할 것이다. - P156
인공지능 작곡 저작권 논란의 주요 쟁점은 누가 저작권을 소유하는가이다. 인공지능이 한 곡을 완성시키기까지 인공지능 알고리즘을 개발하는 프로그래머, 빅데이터를 바탕으로 인공지능을 학습시키는 사람, 인공지능 작곡 서비스에게 창작의 요소를 부여한 이용자 등 많은 사람이 참여하기 때문이다. - P156
현재 발생하고 있는 또 다른 쟁점은 인공지능은 작곡을 할 때 수많은 데이터를 필요로 하는데, 이때 타인의 저작물을 활용하는 행위를 허용할지에 대한 의견 차이다. - P156
영국이나 독일은 비영리적인 목적일 경우에만 저작물 활용을 허용하고 있는데, 이런 식으로 제한을 두면 인공지능을 자유롭게 학습시키거나 관련 산업이 발전하기가 힘들 것이다. - P156
적대적 생성 신경망 Generative Adversarial Network. GAN이라는 기술이 차세대 딥러닝 알고리즘으로 주목받고 있다. 대부분의 인공지능 연구는 사람이 정답을 알려주는 지도 학습 방식으로 이뤄진다. 해당 이미지가 무엇인지 태그를 달아주는 등 인공지능이 학습할 수 있도록 데이터를 가공하는 과정을 수작업으로 진행한다는 말이다. 반면 적대적 생성 신경망은 비지도 학습 방식을 이용해 사람이 정답을 알려주지 않아도 경쟁 과정 속에서 대량의 데이터를 인공지능이 스스로 학습한다. - P157
이 기술(적대적 생성 신경망Generative Adversarial Network, GAN)은 주로 이미지 생성에 활용되는데, 실제 이미지를 학습해 실제와 유사한 이미지를 만들어낸다. - P157
|