사계 2050 프로젝트 오케스트라-대전-사계 소네트: 비발디와 AI-임지영 사계2050 프로젝트 예술감독

[관우]

KAIST(총장 이광형) 제693회 문화행사

2023. 9. 22. 한국과학기술원 대강당(본공연, 프리뷰)

                    대강당 내 세미나실(워크숍)

음악감독/바이올린   임지영

​사계 2050 프로젝트 오케스트라(악장: 웨인 린)

​기술/편곡   한국과학기술원 문화기술대학원

• 카이스트 대강당 (E15)
• 공연일시2023-09-22
• 공연시간19:30

보기 > 문화행사 > 축제&문화 < 대학생활 < KAIST

'사계2050-대전' 연주...기후 데이터를 인공지능과 챗GPT-4가 재해석

문화기술대학원 석사과정 방하연·김용현(지도교수 남주한)이 각각 데이터 기반 음악 작·편곡, 알고리즘 개발 및 인공지능 기술 활용을 맡았다. 박사과정 남궁민상(지도교수 박주용)은 미래 기후변화 데이터를 수집 및 분석하고 외부에서 초빙한 작곡가 장지현도 프로젝트를 도왔다.

이들은 IPCC*가 제공하는 시나리오 중에서 현재 추세대로 온실가스를 배출하는 상황을 가정한 시나리오에 대전의 위도와 경도를 입력해 데이터를 구성했다.

*IPCC(Intergovernmental Panel on Climate Change): 기후변화에 대응하기 위해 설립된 유엔 산하의 협의체.

그 결과, 2050년의 대전은 1년 중 44.2%에 해당하는 161.5일 동안 여름이 이어지는 것으로 예측됐다. 일 최고기온은 현재 37.1℃에서 39.5℃로 높아지고 폭염일수도 28.9일에서 47.5일로 증가하는 특징들이 나타났다.

연구팀은 비발디의 '사계'에는 계절마다 소네트(짧은 정형시)가 있다는 점에 착안해 인공지능에 기후변화 예측값을 입력했다. 이를 학습한 챗GPT-4는 강렬한 더위와 맹렬한 폭풍을 묘사했던 비발디의 ‘여름’ 소네트를 ‘무자비한 여름 태양 아래, 대전의 시민과 나무들 모두 시든다; 나무들은 갈라지고 있다’, ‘그의 지친 몸은 생물다양성의 붕괴로 강화된 벌레와 말벌 떼로 고통받고, 번개와 요란한 천둥으로 두려워 휴식을 찾지 못한다’라고 바꿔놓았다.

연구팀은 숫자로 이루어진 기후변화 데이터를 입력하면 이를 새로운 악보로 변환해 주는 알고리즘을 직접 개발해 편곡에 적용했으며, 챗GPT-4가 재해석한 소네트의 정서도 음악적 효과를 가중하는 데 활용했다.

이런 과정을 통해 재창작된 <사계 2050-대전>은 전반적으로 어둡고 불규칙하며 혼란스러운 분위기의 곡으로 완성됐다. 생물다양성이 감소해 ‘봄’의 새소리로 표현된 부분이 대폭 줄어들었다. 기후변화로 길어진 ‘여름’은 원곡보다 길이를 늘여 훨씬 느린 호흡으로 진행된다. 동시에 극심해진 이상기후로 변덕스러워지는 날씨를 강조하기 위해 몰아치는 폭풍우를 그려낸 악장을 훨씬 강렬하게 표현했다.

‘가을’에는 텍스트를 음악으로 바꿔주는 메타社의 인공지능 모델 ‘뮤직젠’의 해석을 적용했다. ‘뮤직젠’은 화음과 조성이 없어 불안하고 소음처럼 들리는 무조성 기법으로 2050년 가을의 음악을 생성해, 이를 오케스트라가 연주하는 음원에 덧입혔다.

‘겨울’은 2023년에 비해 11일 짧아지는 결과를 반영해 기존 곡에서 쉬어가는 부분들을 생략해 길이를 줄였고, 옥타브를 빠르고 급격하게 넘나드는 편곡으로 삼한사온보다 잦은 빈도로 반복되는 극심한 추위를 묘사했다.

프로젝트를 총괄한 방하연 학생은 “인간과 인공지능 간의 상호 작용을 통해 창조된 음악 작품은 예술가와 첨단 기술의 공존 가능성을 제시한다는 점에서 더욱 중요하다”라고 말했다.

기술 개발을 맡은 김용현 학생은 “연구를 이어간다면, 인간의 개입을 최소한 상태에서도 높은 수준의 음악 작곡이 가능한 과학기술과 예술의 혁신적인 융합을 완성할 수 있을 것”이라고 밝혔다.

KAIST 문화기술대학원(원장 이성희)이 그동안 쌓아온 예술적 경험과 기술적 성취를 융복합해 과학·예술계와 협업하며 우리나라 문화예술 발전에 기여하기 위해 만든 QlE(Quite Interesting Experience, 책임교수 이원재) 프로그램과 KAIST 문화행사, 뮤직앤아트컴퍼니의 협업으로 추진

출처: 미디어대전 모바일 사이트, “비발디의 ‘사계’를 2050년 대전의 기후변화를 바탕으로 재해석(?)” (mediadj.kr)

=====================================

사계 소네트: 비발디와 AI

소네트는 '작은 노래'를 의미하는 단어로, 유럽의 정형시 중 하나입니다. 비발디는 [사계]의 악보를 출판할 당시 각 계절마다 14행시로 이루어진 소네트를 붙였는데, 이 소네트의 작가가 누구인지는 밝혀지지 않았지만 시구에 베니스의 방언이 사용된 점이나 비발디의 편지에 자주 나타나는 베니스식 철자법이 사용된 것을 보면 비발디 자신이 이 시를 직접 지었을 가능성이 높습니다.* 이 소네트는 [사계]의 각 악장(4계절 각 3악장)을 설명하고 있어 음악감상과 함께 하면 즐거움을 더해주기도 합니다.

* 비발디 ‘사계’ 오케스트라 효과분석 (네이버 지식백과 '오케스트라 교실', 최은규)

KAIST 사계 2050 프로젝트팀은 이 소네트를 AI를 이용해 재창작 하였고, 이 새로운 소네트를 사계 2050 대전 버전에 활용하였습니다. 먼저 대전의 2050년을 예측한 기후 데이터를 ChatGPT-4 모델에 알려주고 얻은 2050년의 사계절의 모습을 담은 소네트를, 다시 텍스트 기반 음악생성모델 중 하나인 MusicGen에 입력하여 음악적 모티브를 얻어냅니다. 이렇게 만들어진 모티브를 발췌하고 분석하여 '사계 2050 - 대전'에 활용한 것입니다. 즉, 두 소네트는 각 음악의 프로그램 노트라고 할 수 있습니다.

아래에 두 소네트를 소개합니다. AI버전은 그 특성상 굉장히 투박하지만, 그만큼 명확하게 사계 2050이 이야기하고자 하는 바를 글로써 제시하고 있습니다. '사계 2050 - 대전'의 공연 실황 음원과 함께 읽어보시면서 다가올 기후변화를 상상해보시면 좋겠습니다.

▼ ChatGPT-4 모델로 새롭게 창작된 소네트

       비교하여 보기

소네트 | 사계 2050 - 대전 (fourseasons2050.info)

사계 2050 (fourseasons2050.info)

=====================

Facebook( MUSIC&ARTCOMPANY )

[사계 2050 - 대전] 비발디 "사계" 1부 full ver ㅣ 20230922 KAIST

2023.9.22 대전 KAIST 연주 실황 中 1부
예술감독｜임지영
악장｜웨인 린
사계2050 프로젝트 오케스트라
KAIST 사계 2050 프로젝트팀: 
KAIST 문화기술대학원 김용현, 방하연, 남궁민상 / 작곡가 장지현 / 이원재 교수 / 손성은

[사계 2050 - 대전] 비발디 "사계" 1부 full ver ㅣ 20230922 KAIST (youtube.com)

Chorus Culture Korea
코러스 컬처코리아