[사이언스타임즈] “인공지능 음악, 타이밍·폭발력 지녀”

[Dr. Park]

구글은 지난해 ‘마젠타 프로젝트(magenta.tensorflow.org)’를 시작했다. 인공지능을 통해 예술 창작 학습 알고리듬을 설계하는 프로그램이다. 그리고 지금 클래식 음악을 작곡하고, 새로운 이미지를 창조하고 있는 중이다.

마젠타 프로젝트를 이끌고 있는 더글러스 에크(Douglas Eck)는 9일 ‘사이언스’ 지와의 인터뷰를 통해 이 예술작품 창작이 가능한 인공지능의 과거·현재·미래에 대해 언급했다. ‘사이언스’ 지는 이 인터뷰가 간결·명료하게 진행됐다고 밝혔다.

구글의 예술 창작 인공지능인 ‘마젠타’가 클래식 음악을 작곡하고 있는 모습. 최근 선보이고 있는 피아노곡들이 IT 전문가, 음악 평론가 등 관계자들로부터 호평을 듣고 있다. ⓒmagenta.tensorflow.org

머신러닝 통해 ‘선배’ 예술가 기법 습득

- (마젠타가) 어떤 방법으로 음악을 작곡하고 있는가?

▲ (컴퓨터가 스스로 학습을 하면서 문제를 해결해나가는) 머신러닝(machine learning) 기능이다. 이 기능을 통해 인공지능이 작곡을 하는 동안 사람은 전혀 관여하지 않는다. 우리들이 관여하는 것은 머신러닝 기능이다.

‘RNN(Recurrent Neural Networks)’, ‘CNN(convolutional neural networks)’, ‘변분법(variational methods)’, ‘ATM(adversarial training methods)’, ‘강화학습(reinforcement learning)’ 등 다양한 종류의 기능을 적용하고 있다.

이들 알고리듬은 그동안 예술가들이 사용해온 복잡한 표현방식들을 손쉽게 이해하고 또한 표현할 수 있는 능력을 지니고 있다. 또한 각각 다른 기계학습 과정을 통해 서로 다른 예술 작품을 만들어내고 있다.

- 무엇을 배우고 있는지 구체적으로 설명해 달라.

▲ 신경오디오 합성기술인 ‘NSynth(Neural Audio Synthesis)’가 있다. 이 알고리듬은 사람의 뇌와 같은 신경망을 통해 새로운 음악을 합성하고, 또한 다양한 악기를 통해 그 소리를 표현할 수 있는 능력을 확대하기 위해 트레이닝을 하고 있는 중이다.

‘SketchRNN’이란 알고리듬도 있다. ‘퀵 드로우(Quick, Draw!)’란 게임을 통해 수백만 개의 그림을 습득하고 있다. 가장 최근 개발한 음악 알고리듬은 ‘Performance RNN’이다. 현대 클래식 피아노 연주자들로부터 음악을 배우고 있다.

- 어떤 식으로 ‘마젠타’의 능력을 향상시키고 있는가?

▲ 소니의 음악제작 인공지능인 ‘Daddy’s Car’처럼 인간을 대체하기 위한 기술을 습득하기보다는 인간의 창작 능력을 돕는 쪽에 치중하고 있다. 때문에 새로운 데이터를 컴퓨터에 직접 입력하는 것이 아니라 기존 작품을 모방하는데 초점을 맞추고 있다.

- 인공지능이 작곡한 음악이 당신을 놀라게 했는가?

▲ 매번 나를 놀라게 한다. 특히 RNN 알고리듬을 통해 작곡한 짧은 클래식 음악은 관계자들에게 강한 인상을 남겼다. 디스클라비어 피아노(Disklavier piano)로 연주된 이 음악은 적절한 타이밍과 함께 폭발력을 지니고 있었다.

인공지능 ‘마젠타’가 그린 동물이 있는 그림. 수 많은 저명 화가들의 기법을 머신러닝 알고리듬을 통해 학습한 후 스스로의 판단에 따라 그림을 완성했다. ⓒmagenta.tensorflow.org

“예술가와 인공지능 간에 협력 가능해”

- ‘마젠타’가 또 다른 예술 활동을 하고 있는가?

▲ 이번 여름에 조크를 주고받을 수 있는 능력을 향상시키고 있다. 새로운 이미지를 창출해 그리는 훈련도 진행하고 있다. 디자인과 관련된 영역에서 새로운 작품들을 볼 수 있을 것이다. 이밖에 건축과 웹 편집 기술도 습득하고 있는 중이다.

- 이 일에 관심을 갖게 된 계기는?

▲ 캐나다 몬트리올 대학 컴퓨터 학부에 재직하고 있을 당시 동료 존 피치(Jean Piché)로부터 컴퓨터 음악에 대해 들었다. 그는 컴퓨터를 이용해 재즈 피아니스트 키스 자렛(Keith Jarrett) 풍의 음악을 작곡하고 있었다.

그리고 지금 내가 그것을 즐기고 있다. 알고리듬을 통해 음악을 작곡하는 일이 매우 창조적이기 때문이다. 지금도 존 피치와 연락하고 있다. 지금 내가 하고 있는 일이 그에게 도움을 줄 수 있을 것으로 기대하고 있다.

- 지금처럼 인간의 독창적인 능력이 알고리듬에 의해 모방된다면 사람과 인공지능 간에 서로 차이가 없지 않은가?

▲ 그렇게 생각하지 않는다. 인공지능이 사람보다 더 체스를 잘 둘 수는 있다. 그러나 체스를 둘 수 있는 컴퓨터가 자신이 둔 게임을 사람처럼 평가할 수 없을 것이다. 사람은 게임을 즐기지만 컴퓨터는 끝없이 체스를 배우기만 한다.

체스 게임에 임할 때 사람의 방식과 컴퓨터의 방식이 매우 다르다. 사람은 경험을 통해 체스 기술을 축적해나가지만 컴퓨터의 방식은 매우 폭력적이다. 관심을 갖고 사람과 컴퓨터 간의 차이를 지켜보고 있다.

- 사람과 인공지능이 공동작업을 하면서 협력해나갈 수 있는 방안은?

▲ 반복 과정(iterative process)이 필요하다. 반복 처리 프로그램 제어 구조의 일종으로, 같은 일을 되풀이해서 처리하는 과정을 말한다. 예술 분야에서 어떤 새로운 기술이 탄생하기 위해서는 결과를 산출할 수 있는 시간이 필요하다.

이 반복 과정을 통해 ‘마젠타’가 무대 위에서 공연 중인 강력한 사운드의 전기 기타 음악을 좋아하기를 기대하고 있다. 지미 핸드릭스, 조니 미첼, 마크 리봇 등 다양한 스타일의 기타리스트들의 음악을 습득하기를 바란다.

그리고 이들의 음악을 분석해 새로운 음악을 창출해내기를 고대하고 있다. 그렇다 하더라도 새로운 음악을 작곡하는데 있어서는 사람을 따라가지 못할 것이다. 음악가들은 새로운 영역을 넘나들 수 있지만 컴퓨터는 그런 일을 하지 못한다.