스크랩 뇌 영상 해독(brain decoding)을 통한 독심술?

[황병철/대전]

  brain decoding 연구..pdf

UC 버클리의 잭 갤런트는 자신의 연구실 회전의자에 걸터앉아, 컴퓨터 화면을 뚫어지게 응시하고 있다. 그는 누군가의 생각을 해독(decoding)하려는 중이다. 컴퓨터 화면 왼쪽에는 그가 뇌영상 촬영을 하는 동안 피험자들에게 보여줬던 영화의 한 장면이 나온다. 화면 오른쪽에서는, 뇌영상을 이용하여 피험자가 당시에 무엇을 생각했는지에 대한 분석이 이루어지고 있다.

컴퓨터 화면에서는 신부들의 전쟁(Bride Wars)의 한 장면이 나오는데, 여기서 앤 해서웨는 케이트 허드슨과 열띤 대화를 나누고 있다. 컴퓨터 프로그램은 이 장면에서 자신있게 `여자`와 `대화`라는 단어들을 큼지막한 글자로 보여준다. 이어서 자연 다큐멘터리 영화에서 발췌한 바닷속 풍경이 펼쳐지자, 컴퓨터는 잠시 머뭇거리다가 작고 희미한 글자체로 `고래`와 `수영`이라는 단어들을 보여준다.

"이건 바다소(manatee)라는 동물인데, 컴퓨터가 잘 모르는 것 같아요"라고 갤런트는 말했다. 그에게 있어서 컴퓨터는 다루기 힘든 학생이나 마찬가지다. 그는 컴퓨터를 훈련시키는 중이다. 즉, 그는 컴퓨터에게 다양한 동영상, 사진과 뇌영상을 보여주면서, 특정한 이미지와 뇌활성 패턴을 연결짓는 작업을 하고 있다. (뇌영상은 피험자가 해당 동영상, 사진을 보는 동안 촬영한 것이다.) 그의 컴퓨터는 지금까지 수많은 대형 수중동물들을 봐 왔지만, 바다소(海牛)는 이번이 처음이었던 것이다.

많은 언론매체에서는 이 같은 연구기법에 대해 "독심술(mind-reading)을 판타지 영역에서 현실세계로 이끌어냄으로써, 우리의 생활 전반에 큰 영향을 미칠 것"이라고 흥분하고 있지만, 이코노미스트(The Economist)는 "유감스럽게도, 뇌영상을 통해 텔레파시를 실현시키는 것은 아직 요원하다"고 말하며 독자들의 흥분을 가라앉히느라 애쓰고 있다.

일부 업체들이 「뇌 영상 해독(brain decoding)」을 시장조사나 거짓말탐지 등에 응용하고자 연구에 몰두하고 있지만, 과학자들은 「뇌 해석」을 이용하여 뇌 자체를 이해하는데 더욱 큰 관심을 보이고 있다. 갤런트를 비롯한 많은 과학자들은 다양한 뇌활성 패턴의 근저에 깔려 있는 메커니즘을 분석하여, 뇌가 세상을 지각하기 위해 사용하는 코드와 알고리즘이 무엇인지를 밝혀내고자 노력하고 있다. 그들은 「뇌 영상 해독」을 통해 「뇌의 조직화(brain organization)를 지배하는 기본원리」와 「뇌가 기억, 행동, 감정을 코딩하는 방법」을 알 수 있게 되기를 희망하고 있다(첨부그림 1 `Decoding for dummies` 참조).

「뇌 해석」 기법을 `동영상과 사진의 코딩`을 넘어서는 분야에 적용하려면, 기법의 정교함을 대폭 향상시켜야 하는데 과연 그게 가능할까? 이에 대해 갤런트는 자신만만하다. "나는 단순한 흥미에 이끌려 「뇌 영상 해독」을 연구하려는 것이 아니다. 사실 그것은 뇌에 관한 연구 중에서 가장 쉬운 부분이다. 내가 죽기 전에 뇌의 코딩방법을 밝혀냈으면 좋겠다. 이건 단순한 꿈이 아니다. 이론적으로, 「뇌 영상 해독」으로 할 수 없는 것은 아무 것도 없다"고 그는 기염을 토했다.

(1) 지도 그리기를 넘어서

「뇌 영상 해독」은 지금으로부터 10여 년 전에 시작되었다(참고논문 1). 당시 신경과학자들은 fMRI를 이용하여 뇌 영상을 촬영하던 중, 그 속에 엄청난 미활용 정보가 숨어 있다는 것을 깨달았다. fMRI란 산소화된 혈액(oxygenated blood)이 공급되는 부분을 추적함으로써 뇌활성을 측정하는 방법인데, 혈액이 관류하는 부분은 영상에서 형형색색으로 빛나는 구획(blobs)으로 나타나게 된다. 뇌의 활성화 패턴을 분석하기 위해, 뇌는 복셀(voxel: 픽셀의 3차원적 개념)이라는 작은 박스로 분할되는데, 과학자들은 특정 자극에 대해 어떤 복셀이 가장 강하게 빛나는지를 확인하게 된다. 예컨대 피검자가 사람의 얼굴을 볼 때 촬영한 fMRI 영상에서 전혀 빛나지 않거나 희미하게 빛나는 복셀을 제외하고 나면, 뇌의 어떤 부분이 얼굴을 처리하는 부분인지를 알 수 있다(동영상 참조).

「뇌 영상 해독」은 뇌에 관한 단순한 스틸사진 이상의 정보를 제공해 준다. 그것은 `얼굴에 가장 강하게 반응하는 뇌의 영역`뿐만 아니라 `약하게 반응하는 부분`까지도 모두 분석함으로써, 뇌의 활성을 보다 세밀하게 나타낼 수 있다. 초기 연구에 의하면, 뇌는 사물을 하나의 작은 활성부분에 코딩하는 것이 아니라, 보다 넓은 부분에 (마치 모자이크처럼) 분산된 방식으로 코딩한다고 한다.

fMRI 영상은 패턴 분류기(pattern classifier)라는 컴퓨터 알고리즘에 의해 읽혀져, 특정 사진이나 개념과 연계된다. 일단 충분한 샘플이 확보되면, 컴퓨터 프로그램은 피검자가 바라본 사물이나 그의 생각을 스스로 추론하기 시작한다. 「뇌 영상 해독」은 `사물이나 생각이 뇌의 어느 부분에 코딩되는지`를 보여주는 지도를 작성하는데 그치지 않는다. 그것은 한걸음 더 나아가, 인간의 심리적 과정(psychological processes)에 관한 가설까지도 검증해 줄 수 있다. 예컨대, 지난 몇 년간 논란이 되어 왔던 기억의 강도(strength)와 분포(distribution)에 관한 의문을 해결해 줄 수 있다. "기존의 심리학 이론들은 `인간의 뇌가 과제를 수행하는 과정`을 다양하게 설명해 왔다. 「뇌 영상 해독」은 과학자들로 하여금 이 같은 이론들을 검증할 수 있게 해 준다. 「뇌 영상 해독」은 단순히 뇌의 지도를 작성하는 기법이 아니다"라고 텍사스 대학교 오스틴 캠퍼스의 fMRI 전문가인 러셀 폴드락은 말한다.

과학자들은 초기 「뇌 영상 해독」 연구에서(참고논문 1, 2), "뇌의 활성화 패턴을 분석함으로써 피검자가 바라보는 물건이 무엇인지(예: 가위, 병, 신발)를 알아맞출 수 있다"는 사실을 입증했다(동영상 참조). "우리는 「뇌 영상 해독」의 위력에 깜짝 놀랐다"라고 2001년의 연구를 이끌었던 다트머스 대학의 짐 핵스비는 말했다.

핵스비 등의 뒤를 이어, 두 팀의 다른 연구진들이 각각 「뇌 영상 해독」을 이용하여 인간의 뇌가 조직화되는 원리를 확인했다. 선행연구에서는 원숭이와 고양이의 뇌에 전극을 이식함으로써, "뇌의 시각영역(visual areas)은 모서리(edge)의 방향에 강하게 반응하며, 이 모서리들에 대한 정보들을 결합함으로써 세상에 대한 이미지를 구축한다"고 주장했었다. 그런데 인간의 뇌의 경우, 모서리 선호 영역(edge-loving regions)이 너무 작아 전통적 fMRI 기법으로는 확인이 불가능했다. 그러나 2005년, 존딜런 헤인즈 & 지레인트 리스(이상 런던 유니버시티 칼리지), 유키야스 카미타니(ART 컴퓨터 신경과학연구소) & 프랭크 통(밴더빌트 대학교)은 "인간의 경우에도, 매우 특이한 활성화 패턴을 통해 모서리의 이미지가 구축된다"는 사실을 증명했다(참고논문 3, 4). 이 두 팀은 피검자들에게 다양한 방향으로 뻗은 선(線)들을 보여주면서 fMRI 영상에 나타난 복셀의 모자이크 패턴을 분석한 결과, 그들이 어느 쪽을 바라보고 있는지를 알아낼 수 있었다.

2008년 갤런트가 이끄는 연구진은 `한 명의 피검자가 120개의 그림 중 어느 것을 바라보는지`를 알아낼 수 있는 디코더(decoder)를 개발함으로써, 「뇌 영상 해독」의 판독 수준을 `모서리`에서 `복잡한 그림`으로 레벨업시켰다. 복잡한 그림을 판독한다는 것은 `그림의 모서리를 판독하는 것`이나 `하나의 이미지가 어떠한 범주에 속하는지를 유추하는 것`보다 훨씬 어려운 일이었다. 갤런트가 이끄는 연구진은 한걸음 더 나아가, 수많은 비디오클립을 이용하여 피검자가 봤던 영화의 장면을 - 화질은 형편 없지만 - 동영상으로 재현하는 디코더를 개발하기에 이르렀다(참고논문 5, 동영상 참조).

(2) 상상, 기억, 의도, 꿈

2006년 경부터, 과학자들은 다양한 작업을 수행할 수 있는 디코더들을 개발해 왔다. 예컨대 피검자의 시각적 상상(visual imagery), 작업기억(working memory), 의도(intention)를 알아낼 수 있는 디코더들이 그것이다. 그중에서 가장 만들기 어려운 것은 피검자의 의도를 알아내는 디코더다. "피검자의 의도를 알아낸다는 것은 시각정보를 알아내는 것보다 훨씬 더 어렵다. 왜냐하면 인간은 많은 상이한 의도를 갖고 있는데, 그 의도를 범주화하기가 매우 어렵기 때문이다. 예컨대 그림은 색깔이나 내용을 중심으로 분류할 수 있지만, 인간의 의도를 지배하는 원칙을 확립하는 것은 쉽지 않은 일"이라고 헤인즈(現, 독일 베른슈타인 컴퓨터 신경과학연구소)는 말했다.

피검자의 의도를 해독하는 일과 관련하여, 갤런트가 이끄는 연구진은 호된 신고식을 치른 적이 있다. 그들은 전쟁을 소재로 한 일인칭 비디오게임인 카운터스트라이크(Counterstrike)를 이용하여, 피검자들의 의도(예: 왼쪽으로 갈 것인지 오른쪽으로 갈 것인지, 적을 추격할 것인지 총을 발사할 것인지 등)를 예측해 보려고 시도했다. 연구진은 피검자들이 움직임을 예측하는 데는 겨우 성공했으나, 그들이 한계상황에 처한 경우(예: 총에 맞거나 사망하는 경우)에는 상황이 180도로 달라졌다. 특히 피검자들이 사망할 경우, 그들의 뇌에서 뿜어져 나오는 엄청난 양의 정서적 신호에 압도되어, 공들여 수집한 정보들이 무용지물이 되고 말았다.

피검자의 꿈을 해독하는 것도 어렵기는 마찬가지다. 올해 초 카미타니가 이끄는 연구진은 Science에 기고한 논문에서, 피검자의 꿈을 해독한 연구결과를 발표했다(참고논문 6).연구진은 피검자들을 fMRI 장비 속에서 잠들게 한 후, 주기적으로 잠을 깨우면서 꿈꾼 내용이 무엇인지를 받아적었다. 연구진은 당초에 피검자의 꿈에 나타난 시각정보를 모두 재현하려고 했지만, 그것이 여의치 않자 단어의 범주(word categories) 수준에서 재현하기로 방침을 바꿨다. 그 결과 연구진은 피검자가 꿈에서 봤던 사물과 인물(예: 차, 글씨, 남자 또는 여자 등)을 60%의 정확도로 예측하는데 그쳤다(동영상 참조). "꿈은 주관적이어서 더 이상의 정보를 얻기가 어려웠다. 우리는 꿈에서 뭔가 실체를 본 것처럼 생각하기 쉽지만, 뇌의 시각영역뿐만 아니라 (모델화가 불가능한) 다양한 영역들이 꿈에 관여한다"고 카미타니는 말했다.

(3) 역공학(reverse engineering)

「뇌 영상 해독」은 "뇌의 활성화 패턴과 외부세계 간에는 상관관계가 성립한다"는 사실에 근거하고 있다. 과학자들이 원하는 것이 단지 「뇌 영상 해독」의 결과를 응용하는 것, 예컨대 `뇌의 신호를 이용하여 로봇팔에게 명령을 내리는 것`이라면, 양자(兩者) 간의 상관관계를 확인하는 것만으로도 소기의 목적을 달성했다고 할 수 있다(Nature 497, 176?178; 2013). 그러나 갤런트를 비롯한 과학자들은 그 이상의 것을 원했다. 그들은 뇌가 정보를 조직화하고 저장하는 방법이 무엇인지를 이해하고, 이 과정에서 뇌가 사용하는 복잡한 코드를 해킹하고 싶어했던 것이다.

하지만 뇌가 사용하는 코드를 해킹하는 것은 쉽지 않다. 뇌의 각 영역은 다른 영역에서 보내온 정보를 받아들여 결합하고 변화시킨다. 신경과학자들은 뇌의 각 지점에서 발생하는 정보의 변화를 사후적으로 알아내야 한다. 다른 엔지니어링 프로젝트와는 달리, 뇌는 인간의 뜻대로 되지 않으며 수학모델의 원칙과 다르게 움직인다. "우리는 뇌를 설계할 수 없다. 뇌는 우리에게 주어진 것으로, 우리는 그것이 어떻게 작동하는지를 사후적으로 이해해야 한다. 우리는 이러한 종류의 시스템을 모델링할 수 있는 수학모델을 갖고 있지 않다. 설사 우리가 뇌의 개별영역에 대한 데이터를 충분히 보유하고 있더라도, 그것의 상태, 다른 영역과의 관계, 경시적(經時的) 변화과정을 서술할 수 있는 등식은 존재하지 않는다"고 갤런트는 말했다.

"인간의 뇌에서 가장 많이 이해된 부분이 시각계임에도 불구하고, 시각정보가 코딩되는 방법을 이해하기는 매우 까다롭다"고 영국 케임브리지대학 산하 MRC 인지뇌과학 유닛의 니콜라우스 크리게스코르테 박사(컴퓨터 신경과학)는 말한다(Nature 502, 156?158; 2013). "시각은 인공지능 분야에서 가장 어려운 분야 중 하나다. 우리는 그것이 체스나 이론증명보다 쉬울 거라고 생각했었다. 그러나 시각계에는 연구할 것이 너무 많다. 예를 들면 ① 뉴런 다발이 사물(예: 얼굴)을 어떻게 표상하고, ② 그 정보가 시각계의 여러 영역 사이에서 어떻게 전달되며, ③ 사물을 표상하는 뉴런의 코드가 어떻게 변화하는지를 밝혀내야 한다. 뉴런 수준에서부터 시작하여 상향식으로 모델을 정립하는 것은 너무 복잡하며, 그러기에는 자원과 시간이 부족하다"고 크리게스코르테 박사는 말한다. 그래서 그가 이끄는 연구진은 기존의 시각모델을 「뇌 영상 해독」 데이터와 비교하여, 어느 모델이 가장 적합한지를 검토하고 있다.

(4) 현실적용과 한계

특정인의 뇌를 경시적으로 파악하기도 어려운 마당에, 모든 사람들의 뇌에 공통적으로 적용되는 해독모델(decoding model)을 고안하는 것은 더더욱 어렵고 복잡한 문제다. 이원선택(binary choice: 예를 들면 피검자가 A를 봤는지, B를 봤는지를 알아내는 것)과 같은 비교적 간단한 문제가 아닌 이상, 일반적인 디코더(decoder)들은 개인들의 뇌에 기초하고 있는 실정이다. 그러나 최근 많은 연구팀들이 만능모델(one-size-fits-all models)에 도전하고 있다. "모든 사람의 뇌는 약간씩 다르다. 그렇다고 해서 상이한 패턴들을 줄줄이 나열하는 식의 연구를 해서는 곤란하다"고 만능모델 연구팀 중 하나를 이끌고 있는 핵스비는 말한다.

「뇌 영상 해독」과 관련하여 언급되는 응용프로그램들 중 상당수는 표준화가 필요하다. 그것들은 피검자들의 숨겨진 생각 또는 무의식까지도 읽어내는 것을 목표로 한다. 「뇌 영상 해독」으로 인간의 무의식을 읽어내는 것은 아직 불가능하지만, 많은 업체들이 이에 주목하고 있다. "나는 최근 자동차 생산업체인 다이믈러 관계자의 방문을 받았다. 그는 시장조사를 위해 소비자의 감취진 선호도(hidden consumer preferences)를 해독할 수 있는지를 물었다. 물론 「뇌 영상 해독」을 통해 소비자의 의향을 알아내는 것은 이론적으로 가능하다. 그러나 현재의 「뇌 영상 해독」 기법으로 (예컨대) `30개의 상이한 제품 중 특정인이 가장 좋아하는 제품이 무엇인지`를 알아낼 수는 없다. 기업의 마케팅 담당자들은 아직은 기존의 방법론을 고수하는 것이 좋다. 현재로서는 전통적 시장조사 기법이 「뇌 영상 해독」보다 더 우수한 성과를 거둘 수 있다"고 헤인즈는 말한다.

「뇌 영상 해독」에 눈독을 들이고 있는 업체들은 또 있다. 샌디에이고에 있는 노라이 엠알아이(No Lie MRI)라는 회사는 "뇌영상 촬영을 통해 거짓말과 진실을 구분할 수 있다"고 주장하고 있다. 한편 스탠퍼드 대학교의 행크 그릴리 교수(법학)는 「옥스포스 신경윤리학 핸드북(Oxford Handbook of Neuroethics; Oxford University Press, 2011)」이라는 책에서, "거짓말 탐지, 기억의 신빙성, 배심원과 판사의 편견 등을 밝혀내는 데 「뇌 영상 해독」이 활용될 수 있다"고 주장했다. 일부 윤리학자들은 "개인이 마음 속에 품고 있는 생각과 욕망은 프라이버시로 보호되어야 한다"고 주장하지만, 영국 옥스퍼드 대학교의 줄리안 사불레스쿠 교수(신경윤리학)는 "원칙적으로 「뇌 영상 해독」에는 아무런 법적 문제가 없다"고 말한다. "사람들은 「뇌 영상 해독」을 두려워하지만, 「뇌 영상 해독」은 잘만 사용하면 법률분야에 크게 기여할 수 있다. 「뇌 영상 해독」의 데이터는 다른 종류의 증거와 다를 바 없다. 나는 많은 사람들이 `구두진술`보다 당사자의 `생각`에 더 큰 가중치를 부여하는 이유를 납득할 수 없다"고 그는 덧붙였다.

헤인즈는 한 가지 특이한 연구를 하고 있다. 연구의 내용은, 피검자에게 여러 개의 가상현실 집들(virtual-reality houses)을 방문하게 한 다음, 피검자의 뇌영상을 촬영·분석하여 그가 방문한 집이 어디였는지를 알아내는 것이다(동영상 참조). 이는 범죄 용의자가 범행현장을 방문한 적이 있었는지를 알아내는데 유용하다. 연구 결과는 아직 발표되지 않았지만, 헤인즈는 「뇌 영상 해독」이 법집행에 사용될 경우의 문제점을 몇 가지 인정하고 있다. 첫 번째, 용의자가 해당 건물을 방문한 적이 있지만, 그 사실을 기억하지 못할 수도 있다. 둘째, 용의자가 해당 건물을 방문한 적이 있지만, 방문 시기가 범행 전 또는 범행 후일 수 있다. 셋째, 용의자가 모종의 술수를 부릴 경우, 「뇌 영상 해독」 장치가 무용지물이 될 수도 있다.

다른 것은 차치하더라도, 「뇌 영상 해독」을 실시하려면, 미화 300만 달러의 가격에 무게가 15톤이나 나가는 거대한 fMRI 장비가 필요하다. 게다가 일부 과학자들은 "「뇌 영상 해독」을 통해 뇌 속에 매몰된 기억이 드러날 수 있다"는 이론을 부정한다. 거짓말쟁이들은 거짓 기억을 강하게 떠올려 fMRI 장비를 바보로 만들 수 있다는 것이다. 갤런트도 이러한 문제점을 인정하고 있다. "누군가의 머릿속에서 나온 정보가 반드시 정확하리라는 보장은 없다. 현재 심리학자들은 보다 저렴하면서도 신뢰도 높은 방법으로 인간의 생각을 읽을 수 있다. 누군가의 의향을 알아보는데 당장 사용할 수 있는 최선의 방법은 `본인에게 직접 물어보는 것`이다"라고 갤런트는 말했다.

※ 참고논문:
1. Haxby, J. V. et al. Science 293, 2425?2430 (2001).
2. Cox, D. D. & Savoy, R. L. et al. NeuroImage 19, 261?270 (2003).
3. Haynes, J.-D. & Rees, G. Nature Neurosci. 8, 686?691 (2005).
4. Kamitani, Y. & Tong, F. Nature Neurosci. 8, 679?685 (2005).
5. Nishimoto, S. et al. Curr. Biol. 21, 1641?1646 (2011).
6. Horikawa, T., Tamaki, M., Miyawaki, Y. & Kamitani, Y. Science 340, 639?642 (2013).

※ 관련 동영상: http://youtu.be/z8iEogscUl8

출처 - http://www.nature.com/news/brain-decoding-reading-minds-1.13989

[서영석/진주]

선생님 !!
오랜만에 뵙네요^^ 언제쯤 얼굴 보실수 있을려나요^^

[황병철/대전]

네~^ 뵈야죠^^ 몇몇선생님들이 제가 잠수탄걸로 생각하시던데, 그런거 아니고요~ㅎ 제가 꼭 따고 싶은 자격증이 생기는 바람에 그거에 집중좀하고 있답니다. 양해바래요~^