경계의 붕괴: 장르를 넘나드는 하이브리드 아트 / 오인택

[임영숙]

경계의 붕괴: 장르를 넘나드는 하이브리드 아트

오인택

예술적 칸막이의 소멸: '벡터'로 통일된 언어

전통적인 예술의 세계는 매체(Medium)에 따라 엄격히 구분되어 왔다. 미술관에는 회화와 조각이, 콘서트홀에는 음악이, 서점에는 문학이 각자의 영역을 지켰다. 르네상스 시대 이후 예술 아카데미는 회화, 조각, 건축, 음악, 시를 서로 다른 학과로 분리하여 가르쳤다. 19세기 들어서는 더욱 세분화되어 유화와 수채화, 성악과 기악, 소설과 시가 각기 다른 전문 분야로 나뉘었다.

화가는 캔버스와 물감으로, 음악가는 오선지와 소리로, 작가는 언어로 자신의 세계를 구축했다. 각 분야는 독자적인 기술 체계, 미학적 전통, 비평 언어를 발전시켰다. 미술 비평가는 선, 색채, 구도를 논했고, 음악 비평가는 화성, 대위법, 형식을 분석했으며, 문학 비평가는 서사, 은유, 문체를 탐구했다. 이러한 전문화는 각 분야의 깊이를 더했지만, 동시에 장르 사이에 넘기 힘든 벽을 만들었다.

각 장르 사이에는 물리적, 기술적, 제도적 장벽이 존재했다. 화가가 교향곡을 작곡하려면 완전히 새로운 기술을 처음부터 배워야 했다. 음악가가 소설을 쓰려면 문학적 훈련을 받아야 했다. 이를 넘나드는'종합 예술(Gesamtkunstwerk)'은 리하르트 바그너의 오페라나 세르게이 디아길레프의 발레 뤼스처럼 막대한 자본과 인력이 투입되는 대규모 프로젝트에서만 제한적으로 가능했다. 한 명의 예술가가 모든 요소를 통제하기는 거의 불가능했고, 결국 여러 전문가의 협업이 필요했다.

20세기 중반 플럭서스(Fluxus) 운동이나 존 케이지의 실험적 작업이 장르 경계에 도전했지만, 이는 여전히 전위 예술의 영역이었고 주류가 되지는 못했다. 기술적 한계가 근본적인 제약이었다. 한 사람이 음악도 만들고, 영상도 편집하고, 시각 디자인도 하려면 각기 다른 스튜디오와 장비, 전문 지식이 필요했다.

그러나AI 시대에 들어서면서 이러한 장르적 칸막이는 근본적으로 붕괴하고 있다. 그 이유는 무엇인가? AI에게 있어 이미지는 픽셀 데이터의2차원 배열이며, 음악은 주파수의 시간적 수열이고, 글은 단어 토큰의 확률적 배치다. 겉으로는 완전히 다른 것처럼 보이는 이 모든 예술 형태가 컴퓨터에게는 동일한 것 숫자의 나열 으로 환원된다.

더 정확히 말하면, 컴퓨터 알고리즘 안에서 모든 예술적 표현은'벡터(Vector)'라는 공통된 수학적 언어로 환원된다. 벡터는 다차원 공간의 한 점을 나타내는 숫자들의 배열이다. AI 모델, 특히Transformer 기반 모델들은 단어, 이미지 조각, 음표를 모두 벡터로 변환한다. 예를 들어, '강아지'라는 단어는[0.23, -0.45, 0.78, ...] 같은 수백 개의 숫자로 이루어진 벡터가 된다. 놀랍게도 강아지 사진도 비슷한 벡터 공간의 인접한 위치에 매핑된다.

이것이 왜 중요한가? 같은 수학적 공간에 표현된 것들은 서로 변환이 가능하기 때문이다. '강아지'라는 단어 벡터와'귀엽다'라는 형용사 벡터를 결합하면, 그 결과 벡터에 가까운 이미지를 검색하거나 생성할 수 있다. 슬픈 피아노 음악의 벡터 표현은 비 오는 풍경 이미지의 벡터와 유사한 영역에 위치할 수 있다.

이러한 데이터의 수렴은 서로 다른 감각의 영역을 자유롭게 교차시키는'하이브리드 아트(Hybrid Art)'의 전성기를 불러왔다. 과거에는 시인, 화가, 작곡가가 각자 작업한 후 나중에 결합했다면, 이제는AI가 시를 즉시 그림으로, 그림을 음악으로, 음악을 춤 동작으로 변환한다. 이 과정은 거의 실시간으로 일어날 수 있다.

OpenAI의CLIP(Contrastive Language-Image Pre-training) 모델은 이미지와 텍스트를 같은 벡터 공간에 배치한다. 구글의ImageBind는 텍스트, 이미지, 오디오, 깊이, 열, 움직임 데이터를 모두 하나의 통합된 벡터 공간으로 묶는다. 이는"비 오는 소리"를 입력하면 그에 해당하는 이미지를 찾거나, 춤추는 동작을 보고 어울리는 음악을 생성할 수 있음을 의미한다.

이제 예술가는 더 이상 한 가지 매체의 전문가일 필요가 없다. 시인이 자신의 시를 즉석에서 시각화하고, 음악가가 자신의 곡을 영상으로 변환하며, 무용가가 자신의 움직임을 소리로 번역한다. AI는 서로 다른 예술 언어 사이의'번역기'이자'접착제' 역할을 한다.

이러한 변화는 예술의 정의 자체를 바꾸고 있다. 예술은 더 이상 특정 매체에 종속되지 않는다. 중요한 것은'무엇으로 만드느냐(회화, 음악, 문학)'가 아니라'무엇을 전달하느냐(아이디어, 감정, 경험)'가 된다. 예술가는 메시지에 가장 적합한 매체, 혹은 여러 매체의 조합을 자유롭게 선택할 수 있다.

벡터로 통일된 언어는 예술의 민주화뿐 아니라'탈영토화'를 가져온다. 장르라는 영토, 매체라는 국경이 사라지고, 예술은 유동적인 에너지의 흐름이 된다. 이는 혼란이 아니라 해방이다. 수천 년간 인류가 만든 예술적 칸막이가 마침내 무너지고, 본래의 자유로운 창조성이 회복되는 과정이다.

멀티모달(Multi-modal) : 감각의 전이와 융합

AI 기술 중 가장 주목받는'멀티모달(Multi-modal)' 기능은 한 장르의 데이터를 다른 장르로 즉각 변환시킨다. 이는 단순한 형식 변환이 아니라, 하나의 감각 양식을 다른 감각 양식으로'번역'하는 것이다. 시(詩)를 입력하면 그 시의 분위기에 맞는 회화가 생성되고, 그 회화의 색감과 구도를 분석해 다시 앰비언트 음악으로 치환하는 식이다.

이는 인간의 뇌가 겪는'공감각(Synesthesia)'을 기술적으로 구현한 것과 같다. 공감각은 하나의 감각 자극이 다른 감각 영역을 동시에 활성화하는 신경학적 현상이다. 어떤 사람들은 숫자를 볼 때 색을 느끼고(색-문자 공감각), 음악을 들을 때 색과 형태를 보며(색-청각 공감각), 단어를 읽을 때 맛을 경험한다(어휘-미각 공감각). 바실리 칸딘스키, 블라디미르 나보코프, 빌리 조엘 같은 예술가들이 공감각자로 알려져 있으며, 이는 그들의 창작에 큰 영향을 미쳤다.

AI의 멀티모달 시스템은 모든 사람에게 인공적 공감각 능력을 부여한다. 구체적으로 어떻게 작동하는가?

텍스트에서 이미지로: DALL-E, Midjourney, Stable Diffusion은 언어적 설명을 시각적 이미지로 변환한다. "황혼의 외로운 등대, 인상주의 화풍"이라는 문장이 구체적인 그림이 된다. 이는 언어가 가진 서사성과 추상성을 시각의 직접성과 구체성으로 번역하는 과정이다.

이미지에서 음악으로: 일부 실험적AI 시스템은 이미지의 색채, 구도, 분위기를 분석하여 음악을 생성한다. 빨간색이 많고 역동적인 구도는 빠른 템포와 날카로운 음색의 음악으로, 파란색 계열의 평온한 풍경은 느린 템포와 부드러운 선율로 변환된다. Google의Magenta 프로젝트는 이러한 크로스모달 생성을 연구한다.

음악에서 움직임으로: AI 안무 시스템은 음악의 리듬, 멜로디, 강약을 분석하여 춤 동작을 생성한다. 박자의 강세는 강한 동작으로, 멜로디의 상승은 도약 동작으로 매핑된다.

데이터에서 예술로: 이것이 가장 흥미로운 영역이다. 예를 들어, 미디어 아티스트들은 특정 지역의 실시간 기상 데이터나 주식 시장의 변동 지수 같은 비예술적 데이터를AI에 입력하여 이를 역동적인 시각 예술과 사운드로 변환하는'데이터 시각화(Data Visualization) 아트'를 선보인다.

레픽 아나돌의<Melting Memories> 프로젝트는 뇌파(EEG) 데이터를 시각화한다. 알츠하이머 환자들의 기억과 관련된 뇌 활동을 측정하고, AI가 이 전기 신호 패턴을 추상적인 움직이는 이미지로 변환한다. 보이지 않는 내면의 신경 활동이 가시적인 예술 작품이 되는 것이다.

나오미 화이트(Naomi White)의<Soundsuit> 시리즈는 착용자의 움직임을 센서로 감지하여 소리를 생성하는 조각 작품이다. 시각 예술(조각), 퍼포먼스(움직임), 청각 예술(소리)이 하나로 융합된다.

리안 로우(Ryoichi Kurokawa)의<unfold> 시리즈는 지진파, 우주 전파, 소립자 충돌 데이터를 오디오비주얼 작품으로 변환한다. 과학 데이터의 숫자와 그래프가 압도적인 시청각 경험이 된다.

여기서 예술가는 형태를 직접 그리는 사람이 아니라, 서로 다른 데이터를 연결하는'시스템 설계자'가 된다. 전통적 예술가가"이것을 만들겠다"고 결과물을 직접 제작했다면, 멀티모달 예술가는"이러한 조건에서 이런 변환이 일어나도록 하겠다"는 규칙을 설계한다. 최종 결과물은 실시간 데이터와AI 알고리즘의 상호작용으로 계속 변화한다.

이 과정에서 시각과 청각, 논리와 감성, 과학과 예술이 뒤섞인 하이브리드 결과물이 탄생한다. 이는 근대 이후 분리되었던 두 문화(C.P. Snow의'과학과 인문학')를 다시 통합하는 시도이기도 하다.

교육 분야에서도 멀티모달의 가능성은 크다. 시각장애 학생을 위해 그림을 음악으로 변환하거나, 청각장애 학생을 위해 음악을 시각 패턴으로 변환하는 접근성 도구가 개발되고 있다. 베토벤의 교향곡을 색과 움직임의 패턴으로'보고', 모네의 그림을 음악으로'듣는' 것이 가능해진다.

하지만 멀티모달 변환에는 한계도 있다. 가장 큰 문제는'의미의 손실'이다. 시를 그림으로 바꿀 때, 언어의 뉘앙스, 단어의 이중 의미, 운율의 미묘함은 대부분 사라진다. 번역에서 항상 무언가를 잃는 것처럼, 감각 간 번역도 불완전하다.

둘째, 피상성의 위험이다. AI는 시의'분위기'를 파악하여 이미지를 만들지만, 시인이 왜 그 단어를 선택했는지, 어떤 문화적 맥락이 있는지는 이해하지 못한다. 결과적으로 아름답지만 얕은 작품이 나올 수 있다.

그럼에도 불구하고 멀티모달AI는 감각의 위계를 해체한다. 서양 철학은 오랫동안 시각을 가장 고등한 감각으로, 청각을 그 다음으로, 촉각과 미각을 하등한 감각으로 여겼다. 하지만 멀티모달 시스템에서는 모든 감각이 동등하게 데이터로 취급되고, 자유롭게 교환 가능하다. 이는 감각의 민주화이자, 인간 경험의 전체성을 회복하는 과정이다.

AI와 인간의 다원적 협업: '언노운(Unknown)'과의 앙상블

하이브리드 아트는 단순히 기술 간의 결합에 그치지 않고, 주체 간의 경계도 허문다. 전통적으로 예술 창작의 주체는 명확했다. 화가가 그림을 그리고, 작곡가가 음악을 만들고, 안무가가 춤을 짠다. 보조자가 있을 수 있지만, 창작의 주도권과 책임은 명백히 한 사람 또는 한 그룹에게 있었다.

하지만AI 시대에는'누가 진짜 창작자인가?'라는 질문이 복잡해진다. '인간 무용수와AI 로봇', '인간 작가와AI 생성 텍스트', '인간 음악가와AI 반주자' 등 이종 간의 협업이 증가하고 있다.

현대 무용 공연에서 무용수의 움직임을AI가 실시간으로 분석하여 그 궤적에 따른 그래픽을 무대 배경에 생성하거나, 무용수의 근육 신호를 소리로 변환하는 시도가 대표적이다. 웨인 맥그리거(Wayne McGregor)는 영국의 세계적인 안무가로, AI와의 협업을 적극적으로 실험한다. 그의 작품<Living Archive>에서는 무용수들의 동작이 모션 캡처로 기록되고, AI가 이 데이터를 학습하여 새로운 동작 시퀀스를 제안한다. 안무가는AI의 제안을 받아들이거나 거부하며 최종 안무를 완성한다.

더 극단적인 예는 로봇과 인간의 듀엣이다. 일본의 로봇 공학자이자 예술가인 이시구로 히로시(Hiroshi Ishiguro)는 자신과 똑같이 생긴 안드로이드'Geminoid HI'를 만들었다. 이 로봇은 무대에 올라 인간 배우와 대화하고, 시를 낭송하며, 철학적 질문을 던진다. 관객은"저것은 기계인가, 인간인가?"라는 불편한 질문과 마주한다.

보스턴 다이내믹스의4족 로봇'Spot'은 안무가들에 의해 춤추는 로봇으로 재탄생했다. 2020년 방탄소년단(BTS)의 뮤직비디오에 등장한 춤추는 로봇들은 대중에게 큰 인상을 남겼다. 로봇의 기계적 정확성과 인간의 유기적 유연성이 대비되며 독특한 미학을 만든다.

음악에서도 마찬가지다. 일본의 가수 하츠네 미쿠(初音ミク)는 실제 인간이 아니라 보컬로이드 소프트웨어다. 하지만 수만 명의 팬이 그녀의 콘서트에 참석하고(홀로그램으로 공연), 그녀의 음반을 구매한다. 누가 진짜 예술가인가? 소프트웨어를 만든 프로그래머? 목소리를 녹음한 성우? 곡을 만든 작곡가들? 캐릭터를 디자인한 일러스트레이터? 아니면'하츠네 미쿠'라는 가상 존재 자체?

이러한 협업에서AI는 보조 도구가 아닌'제2의 출연자'가 된다. 인간은 예측 불가능한AI의 반응에 대응하며 즉흥적인 퍼포먼스를 완성해 나간다. 재즈 연주에서 뮤지션들이 서로의 연주에 반응하며 즉흥적으로 대화하는 것처럼, 인간 예술가와AI는 실시간으로 상호작용한다.

홀리 헌던(Holly Herndon)은 이를'앙상블(Ensemble)' 개념으로 설명한다. 클래식 음악의 앙상블에서 각 연주자는 독립적이지만, 서로를 듣고 반응하며 하나의 음악을 만든다. 그녀의AI 보컬'Spawn'은 앙상블의 또 다른 멤버다. 완전히 인간도, 완전히 기계도 아닌 하이브리드 존재로서 음악에 참여한다.

이는 예술의 주체성을'인간 단독'에서'인간과 기계의 상호작용'으로 이동시킨다. 장르 간의 융합을 넘어, 창작의 주체와 객체라는 이분법적 경계까지 허물어지는 지점이다.

철학적으로 이는'탈인간중심주의(Post-humanism)'와 연결된다. 인간만이 창의성, 지능, 주체성을 가진다는 근대적 가정이 도전받고 있다. 브뤼노 라투르(Bruno Latour)의 행위자-네트워크 이론(Actor-Network Theory)에 따르면, 인간과 비인간(도구, 기술, 자연)은 평등한 행위자로서 네트워크를 구성한다. AI 예술에서 인간과 알고리즘은 공동 행위자다.

하지만 이러한 협업에는 윤리적 질문이 따른다. AI가 생성한 부분의 저작권은 누구에게 있는가? AI를'공동 창작자'로 크레딧에 올려야 하는가? AI가 실수로 유해한 콘텐츠를 생성했을 때 책임은 누가 지는가?

2023년 미국 저작권청은AI가 생성한 부분은 저작권 보호를 받을 수 없다고 판결했다. 하지만 인간과AI가 협업한 경우는? 어디까지가 인간의 창작이고 어디부터가AI인가? 경계가 모호하다.

그럼에도 불구하고 인간-AI 협업은 계속 확장될 것이다. 중요한 것은AI를'도구' 이상으로 존중하되, 최종 책임과 윤리적 판단은 여전히 인간이 져야 한다는 점이다. AI는 놀라운 파트너지만, 모든 선택의 결과를 감당하는 것은 살아있는 인간 예술가의 몫이다.

새로운 장르의 탄생: 포스트-디지털 미학

경계가 무너진 자리에는 이름 붙이기 어려운 새로운 장르들이 솟아나고 있다. 이들은 기존의 예술 분류 체계에 맞지 않는다. 미술관의 어느 섹션에 전시해야 할까? 회화? 조각? 뉴미디어? 아니면 완전히 새로운 카테고리?

'알고리즘 아트(Algorithmic Art)'는 코드 자체가 예술적 표현 수단이 되는 장르다. 예술가는 최종 이미지를 그리지 않고, 이미지를 생성하는 알고리즘을 작성한다. 타일러 홉스(Tyler Hobbs)의'Fidenza' 시리즈는 제너러티브 아트(Generative Art)의 대표작이다. 그는 자바스크립트 코드를 작성했고, 그 코드는 수천 개의 고유한 기하학적 패턴을 생성했다. 각 작품은NFT로 판매되어 수십만 달러에 거래되었다.

'뉴미디어 아트(New Media Art)'는 디지털 기술, 인터넷, 인터랙티브 시스템을 활용하는 포괄적 용어다. 웹사이트 자체가 작품이 되고, 소셜 미디어 데이터가 재료가 되며, 관객의 참여가 필수 요소가 된다. 라파엘 로자노-헤머(Rafael Lozano-Hemmer)의<Pulse Room>은 관객의 심박수를 센서로 측정하여, 그 리듬에 맞춰200개의 전구가 깜빡이는 설치 작품이다. 관객 없이는 작품이 완성되지 않는다.

'크리에이티브 코딩(Creative Coding)'은 프로그래밍을 예술적 도구로 사용하는 분야다. Processing, p5.js, openFrameworks 같은 도구를 사용하여 예술가들은 인터랙티브 비주얼, 생성 음악, 데이터 조각을 만든다. MIT, 파슨스, 로드아일랜드 디자인 스쿨(RISD) 같은 유명 예술 대학들이 크리에이티브 코딩 프로그램을 운영한다.

'AI 아트(AI Art)'는 인공지능을 핵심 도구로 사용하는 작품을 지칭한다. 하지만 이 용어도 모호하다. AI가100% 생성한 작품인가? 인간이 프롬프트만 제공한 작품인가? 인간과AI가 반반 협업한 작품인가? 명확한 정의가 없다.

'바이오 아트(Bio Art)'는 생명공학과 예술의 융합이다. 에두아르도 카츠(Eduardo Kac)의<GFP Bunny>는 유전자 조작으로 녹색 형광 단백질을 발현하는 토끼를 만든 프로젝트다. 이는 조각인가, 과학 실험인가, 윤리적 도발인가?

이러한 하이브리드 아트는 복잡성(Complexity), 가변성(Variability), 상호작용성(Interactivity)을 특징으로 한다:

복잡성이다. 여러 시스템, 기술, 데이터 소스가 얽혀 있다. 하나의 작품이 센서, 알고리즘, 프로젝터, 사운드 시스템, 네트워크 연결을 모두 포함한다.

가변성이다. 고정된 형태가 없다. 시간, 환경, 관객에 따라 끊임없이 변한다. 전통 예술의'영구성'과 대비된다.

그리고 상호작용성이다. 관객에게 단순한'감상'이 아닌'참여'와'체험'을 요구한다. 버튼을 누르거나, 움직이거나, 소리를 내거나, 데이터를 제공함으로써 작품의 일부가 된다.

이러한 변화는 예술 교육과 비평의 패러다임까지 바꾸고 있다. 이제 예술가는 화법뿐만 아니라 코딩을 알아야 하고, 공학자는 기술적 엄밀함을 넘어 미학적 감수성을 고민해야 한다. STEAM(Science, Technology, Engineering, Arts, Mathematics) 교육이 강조되는 이유다.

비평가들도 새로운 언어를 배워야 한다. 전통적인 형식 분석(선, 색, 구도)으로는 알고리즘 아트를 평가할 수 없다. 코드의 우아함, 데이터의 의미, 상호작용의 질, 시스템의 복잡성 등 새로운 비평 기준이 필요하다.

미술관과 갤러리도 적응해야 한다. 전기가 필요한 작품, 인터넷 연결이 필수인 작품, 관객 참여 없이는 작동하지 않는 작품을 어떻게 보존하고 전시할 것인가? 전통적인'보존'의 개념이 통하지 않는다. 소프트웨어는 업데이트되고, 하드웨어는 낡아간다. 10년 후에도 같은 작품을 실행할 수 있을까?

융합은 선택이 아니라, 복잡해진 현대 세계를 표현하기 위한 유일한 생존 전략이 된 것이다. 21세기는 기후 위기, 팬데믹, AI 혁명, 우주 탐사, 유전자 편집 등 복합적이고 상호 연결된 문제들로 가득하다. 이러한 세계를 단일 매체, 단일 장르로 표현하는 것은 불충분하다. 하이브리드 아트만이 이 복잡성을 담아낼 수 있다.

융합이 만드는 더 큰 세계

"경계가 무너진다"는 것은 무질서를 의미하지 않는다. 혼돈이 아니라 질서의 재편이다. 오히려 그것은 예술이 가진 본연의 자유를 회복하는 과정에 가깝다.

역사를 되돌아보면, 예술의 장르 구분은 비교적 최근의 발명품이다. 선사시대 샤먼의 의식은 노래, 춤, 시각 예술, 스토리텔링이 하나였다. 그리스 비극은 연극, 음악, 춤, 시가 통합된 종합 예술이었다. 중세 성당은 건축, 조각, 회화, 음악, 향기, 빛이 어우러진 총체적 감각 경험이었다.

장르의 분리는 근대화와 전문화의 산물이다. 산업 혁명 이후 분업과 효율성이 강조되면서, 예술도 세분화되었다. 이는 각 분야의 발전을 가져왔지만, 동시에 전체성을 잃었다.

AI라는 촉매제를 통해 예술은 장르의 감옥에서 벗어나 소리, 빛, 데이터, 움직임이 하나로 어우러지는 거대한 흐름이 되었다. 이는 퇴보가 아니라 회귀다. 예술의 원초적 통합성으로 돌아가되, 21세기의 기술로 무장한 것이다.

결국 하이브리드 아트의 본질은 서로 다른 것들을 섞어'이전에 없던 새로운 가치'를 창출하는 데 있다. 화학에서 수소와 산소가 결합하여 물이라는 전혀 다른 물질을 만드는 것처럼, 장르의 융합은 단순한 합이 아니라 질적 변화를 낳는다.

시와 그림의 융합은 단순히 시가 있고 그림이 있는 것이 아니라, 시도 그림도 아닌 제3의 무언가를 만든다. 인간과AI의 협업은 인간 예술도AI 생성물도 아닌 새로운 형태의 창작을 가능하게 한다.

기술과 예술, 인간과 기계, 시각과 청각이 융합된 이 거대한 용광로 속에서, 우리는 미래 예술의 진정한 얼굴을 마주하게 될 것이다. 그 얼굴은 아직 명확하지 않다. 계속 변화하고 진화하기 때문이다. 하지만 확실한 것은, 그것이 과거 어느 시대보다 풍부하고, 복잡하며, 놀라울 것이라는 점이다.

경계의 붕괴는 끝이 아니라 시작이다. 무한한 조합과 가능성이 열린 새로운 창작의 시대가 막 시작되었다.

1970년생. 현 대기업 임원. IT공학박사. 전)중앙대학교 일반대학원 문화예술경영학과 겸임교수