최근, 인공지능이 음악 세계에까지 깊게 들어왔다. 그런데 알고 보면 인공지능이 아닌 전통적 컴퓨터도 이미 음악 세계에서 역할을 하고 있었다. 음악 세계에 적용된 인공지능은 비(非)인공지능 컴퓨터의 음악적 적용과 개념적으로 다르다.

▎일리야크 컴퓨터(The ILLIAC I: Illinois Automatic Computer)의 드럼 기억 장치(Memory drum): 일리야크 컴퓨터는 미국 일리노이 대학교에서 연구자들이 1952년에 만든 컴퓨터다. 이 대학교의 교수이자 현대음악 작곡가였던 레자렌 힐러(Lejaren Arthur Hiller Jr., 1924~1994)는 일리야크 시리즈의 첫 번째 기종인 이 컴퓨터가 스스로 작곡하도록 프로그래밍했다. 그 결과는 [일리야크 모음곡](Illiac Suite, 1957)의 악보다. / 사진:홈페이지

컴퓨터가 음악의 영역에 들어온 지 어언 65년이 지났다. 그런데 인공지능(AI)이 음악의 영역에 들어온 것도 그 무렵이다. 정확히 말하면, 후자의 역사가 전자의 그것보다 1년 정도 앞선다. 음악에 적용될 컴퓨터나 인공지능을 개발하려고 할 때 개발자는 음악의 세계를 고려해야 한다. 컴퓨터나 인공지능이 작동할 땅을 살피는 건 당연하다. 물론 고려하지 않을 수도 있다. 이 경우, 상당히 파격적인 무언가가 만들어질 것이다. 실제로 최근의 몇몇 음악적 AI는 음악의 전통적 세계를 고려하지 않은 것으로 보인다.

음악의 전통적 세계는 어떤가. 그것은 작곡가로부터 시작된다. 작곡가는 음악을 만드는 사람인데, 과거의 작곡가는 대체로 악보에 기재된 작품을 만들었다. 작곡가가 만든 오선악보를 연주자들이 자신의 악기로 연주한다. 무대 위 그들의 연주를 사람들이 듣고 보고 반응하고 평한다. 음악의 분업적 세계를 개략적으로 묘사한 이 이야기를 다음과 같이 시각적으로 정리할 수 있다. 여기서 쌍방향 화살표(↔)는 두 항 간 상호작용을 의미한다.

모차르트나 베토벤 같은 작곡가들의 세계가 위 도표 속 왼쪽 상자 안에 놓여 있다. 베토벤 같은 작곡가가 언제 어느 나라에서 태어났고 무슨 일을 하다가 어떤 영감을 받아 어떤 작품을 만들게 되었다는 식의 이야기가 왼쪽 상자 안이라는 맥락에서 연구되고 정보와 지식으로 회자되거나 저장된다. 작곡가의 전기, 음악 역사에 기록된 작곡가의 생각이나 스타일, 이론 등에 관한 이야기다. 음악을 창조해내는 작곡가의 구체적/추상적 생각 등에 관한 체계적 연구는 여러 이름으로 불릴 수 있는데, 필자는 시학(詩學, poetics)이라는 이름을 제안한다.

시학은 아리스토텔레스가 동명의 저작을 탈고한 이후 주로 문학 창조의 방법론이나 기술 등을 형용하는 단어였는데, 현대에 와서는 문학뿐 아니라 음악이나 미술, 무용, 영화 등 모든 예술의 창조에 관한 방법론을 일컫는 단어가 되었다.

음악을 작곡하는 과제를 인공지능에 맡길 생각을 하는 개발자들은 이 시학을 어떤 식으로든 고려해야 할 것이다. 만약, 전통적 시학을 전혀 고려하지 않는 개발자들이 있다면, 그들은 파격적 시학을 실현하는 인공지능을 개발하려는 이들일 것이다. 실제로, 최근의 몇몇 실험적 음악 AI가 이러한 개발자들에 의해 개발되었다.

이제, 인공지능도 작곡한다면 위의 그림 속 왼쪽 상자는 다음과 같이 수정, 보완되어야 한다. 더불어 음악에 대한 우리의 개념도 바뀌어야 할 것이다.

우리는 생물학을 통해 일부 동물도 음악을 만들어낸다는 사실을 알게 되었다. 이 내용도 위 상자에 반영한다면, 상자에 들어가야 할 단어들은 이제 ‘작곡가: 1. 인간 작곡가 2. 인공지능 3. 음악적 동물’이 될 수 있다.

인간 작곡가가 만들어내는 음악이 악보라고 했지만, 이것이 과학적이고 불변하는 이야기가 될 수는 없다. 인간 작곡가는 음악을 악보 형태로도 만들 수 있고, 음향 형태로도 만들 수 있다. 악보라는 상징적 정보체계를 인간이 발명하기 전까지, 인간 작곡가는 음악을 어딘가에 기록하지 않고 스스로 노래하거나 악기로 연주하는 방법으로 음향을 만들어왔다.

악보가 아닌 음향을 만들어냈던 과거의 작곡가는 연주가를 필요로 하지 않았을 것이다. 이 경우 작곡가가 연주가이기도 했다. 인간은 아주 오래전, 그러니까 선사시대부터 근대 이전까지 작곡가 겸 연주가로서 활동해왔을 수 있다. 작곡가 겸 연주가는 사냥꾼이기도 했고 정치인이기도 했을 것이다. 농부일 수도 있었고 무엇보다 시인이었을 것이다. 악보의 등장 등 몇몇 사회적 변화에 따라 한 사람 속 작곡가와 연주자, 시인, 농부 등이 여러 사람으로 분리되었고, 연주와 작곡이라는 두 역할은 전문화 되어야 했다. 이러한 분업은 인류의 긴 역사에서 최근에 일어났다.

이러한 분업에도 불구하고, 작곡가와 연주자가 종종 한 인간 속에서 구현된다. 베토벤은 작곡가였지만 당대 최고의 피아니스트 였다. 쇼팽, 파가니니, 리스트, 라흐마니노프 등도 ‘작곡가-연주자’였다. 이들은 자신이 작곡한 작품들을 스스로 연주했다.

컴퓨터와 함께 작업하는 작곡가는 쇼팽 같은 피아니스트가 아니더라도 피아니스트를 필요로 하지 않는다. 컴퓨터 음악 작곡가는 작곡가 베토벤이 그랬듯이 자기 머리를 이용해 작품을 창작하고, 그 창작을 위한 고민의 결실은 컴퓨터를 통해 음향으로 만들어낸다. 이러한 범주, 즉 컴퓨터에 의해 실현된 음악(computerrealized music)의 경우, 컴퓨터는 기존의 음악계에 존재해왔던 악보와 연주자, 그들의 악기를 모두 대체하는 강력한 수단이 된다. 하지만 이런 컴퓨터도 작곡가의 뇌와 마음만큼은 대체하지 않는다. 컴퓨터는 스스로 작곡하는 인공지능이 아니다. 이상의 이야기를 반영한다면, 처음에 제시한 그림은 이제 다음과 같이 수정, 보완될 수 있다.

처음 제시한 그림의 기본 구도는 여전히 지켜지고 있지만, 그 안에 새로운 내용이 반영됨으로써 음악 활동의 다양성과 모든 가능성을 좀 더 적절히 표현하는 그림이 되었다.

이제 음악을 작곡하는 과제를 AI에 맡길 수 있다. 버튼 하나 누르면 음악이 작곡·생성·창작되는 경우, 자동 작곡(automatic composition)이라고 할 수 있다. 자동 작곡은 단순한 컴퓨터가 아니라 인공지능이 수행한다. 자동 작곡 AI는 두 부류로 나뉜다. 악보를 자동 출력하는 AI와 음향을 자동 출력하는 AI. 초기 음악적 인공지능의 시대에 AI는 악보 출력기였다. 20세기 중 후반 수많은 학자가 악보 출력기로서의 AI에 관해 연구했다. AI가 출력한 음악을 컴퓨터에 의해 작곡된 음악(computer-composed music)이라고 부른다. 이런 음악은 연주자들이 연주해야 실현될 수 있다. 인터넷에서 이런 식의 작업을 검색할 수 있다. 즉, AI가 작곡한 악보를 인간 연주자가 연주해 녹음한 영상을 조회해 들을 수 있다(예: 레자렌 힐러의 [일리아크 모음곡]).

자동 작곡 AI의 두 번째 범주는 AI가 음악을 음향으로 출력하는 경우다. 최근 미국과 한국 등에서 이런 AI가 개발되어 상업화되었다. 한국의 Viodio는 자사 홈페이지에 로그인한 고객이 원하는 음악을 구매할 수 있는 서비스를 제공한다. 고객은 이 회사의 홈페이지에서 저렴한 가격으로 2분 내외의 음악 혹은 음원을 사서 자신의 홈페이지 배경음악이나 동영상 배경음악으로 쓸 수 있다.

이처럼 AI는 버튼 하나가 눌러짐으로써 완제품을 출력할 수 있지만, 고객과 대화하거나 상호작용을 통해 제품을 만들어나갈 수도 있다. 이 경우 작곡하는 AI는 고객의 요구사항을 수용할 수 있다. 현재 미국의 몇몇 회사가 이런 서비스를 상업적으로 제공하며, 미국과 유럽의 학자들이 만든 학술적 소프트웨어도 유사한 서비스를 지원한다. 이런 식의 작곡을 ‘인간-AI/컴퓨터 상호작용에 따른 작곡’이라고 범주화할 수 있다. 상호작용은 AI 혹은 컴퓨터가 제공하는 정해진 틀을 따라 진행되는 경우가 많다. 프롬프트 처럼 언어를 입력할 수 있게 된다면 고객은 좀 더 많은 걸 요구할 수 있게 될 것이다.

▎Viodio 사이트: 인공지능(AI) 음악 스타트업 포자랩스가 출시한 AI 배경음악 구독 서비스. 분위기, 테마, 장르 등으로 원하는 음원을 검색해 구매할 수 있다. / 사진:위키피디아

이상의 설명적 틀에서 벗어난, 그리하여 상술한 전통적 음악의 세계를 고려하지 않는 AI의 세계도 있다. 이런 세계에서는 상당히 파격적인 무언가가 만들어진다. 이런 세계는 파격적인 만큼 평범한 고객을 당황하게 만들며, 그 세계에서 산출된 출력 역시 평범치 않다. 물론 이 세계에 대면해 흥미와 신기함을 느낄 수도 있고, 이런 출력을 만들어내는 세계가 학자들의 관심 대상이 될 수 있다. 이런 연구를 통해 음악에 관한 사람들의 사고를 전복할 수 있다.

이런 세계는 상술한 삼분법적 틀을 깼다는 점에서 창의적이겠지만, 기존 음악 세계의 분절·분업적 구조를 존중하지 않음으로써 성과를 낳지 못할 수 있다. ‘창작자 → (악보 혹은 연주/음향으로서의) 작품 ↔ 감상자’라는 사회적 틀은 합리적 이유와 함께 오랫동안 운용되어왔다. 기존의 전통적 컴퓨터 음악 연구자들과 개발자들은 이 틀을 최소한 암묵적으로라도 존중해왔다. 그 덕분에 기존의 컴퓨터 음악가들은 대단한 성과를 냈다. 그들은 창작자가 가져야 할 온갖 정신적 고민은 인간 작곡가에게 맡겼고, 상대적으로 덜 정신적일 수 있는 과정만 컴퓨터가 대체하는 전략을 취해왔다.

성과라고? 컴퓨터가 출력한 피아노나 첼로, 드럼 등의 소리를 진짜 피아노나 첼로, 드럼 등이 내는 소리와 구분하지 못하는 사람이 많다는 이야기다. 오늘날 평범한 이들이 듣는 영화나 드라마의 배경음악이나 K-팝 반주 음향 등은 대부분 컴퓨터로 만들어 낸 음향이다. 컴퓨터가 작곡한 음악을 인간이 작곡한 음악과 구분하지 못하게 된다면 그것도 성과일 것이다. 인류가 그런 성과를 접하게 될까?

※ 김진호 - 서울대학교 음악대학 작곡과와 동 대학교의 사회학과를 졸업한 후 프랑스 파리 4대학에서 음악학으로 박사학위를 취득했다. 국립안동대학교 음악과 교수로 재직 중이며, 『매혹의 음색』(갈무리, 2014)과『모차르트 호모 사피엔스』(갈무리, 2017) 등의 저서가 있다.