[科學카페] 表情을 보면 感情을 읽을 수 있을까

[黑面書生]

2020. 03. 18. 

“좋아하는 거야?"
“우는 거 아니에요 지금?”

얼마 전 예능프로그램 ‘나 혼자 산다’에서 탤런트 경수진 씨가 막걸리를 담그는 과정을 재미있게 봤다. 경 씨는 “막걸리는 물이 중요하다”며 물맛이 좋다고 알려진 청계골 약수터를 찾았다. 10리터짜리 물통을 들고 1시간 가까이 가파른 산길을 걸어가 마침내 약수터가 보였을 때 경 씨의 얼굴 표정을 보고 주위 출연자들이 위와 같이 물었다.

약수터 장면을 함께 보던 경 씨는 “물을 떠서는 행복한데 저걸 가지고 또 내려갈 생각을 하니까...”라고 대답했다. 두 가지 생각이 동시에 들면서 나온 복합적인 표정에 주변 사람들도 헷갈렸나 보다.

▲ 우리는 얼굴 표정만 보고 그 사람의 감정 상태를 유추할 수 있을까. / MBC제공

이 장면을 보다 문득 학술지 ‘네이처’ 2월 27일자에 실린 한 심층 기사가 떠올랐다. ‘누군가의 표정을 보고 그 사람의 감성을 유추할 수 있는가’라는 주제를 두고 심리학자들 사이에서도 의견이 일치하지 않는다는 내용이다. 그리고 이런 학문적 견해차와는 별개로 몇몇 기업들은 진작부터 표정을 분석해 감정을 해독하는 인공지능(AI) 프로그램을 개발해왔고 이제 상용화를 앞두고 있다고 한다. AI가 얼굴을 알아보는(안면인식) 시대는 이미 열렸지만 얼굴에서 그 사람의 감정까지 들여다본다니 이게 가능한 일일까.

인류의 보편적인 감정 신호?

찰스 다윈의 3대 저서 가운데 하나로 1872년 출간된 ‘인간과 동물의 감정표현’은 진화심리학의 출발점으로 여겨진다. 이 책에서 다윈은 어떤 감정을 나타내는 얼굴 표정은 문화와 관계없이 사람들 사이에서 비슷하고 이는 진화적인 기원에서 비롯되기 때문이라고 주장했다. 얼굴 표정은 학습된 게 아니라 타고난 것으로 특정 감정이 고유한 신경 발화패턴을 일으켜 얼굴 근육을 자극해 특정 표정으로 나타난다는 것이다. 표정은 감정을 나타내는 의사소통 수단으로 진화한 결과라는 주장이다. 이 책은 시대를 너무 앞섰기 때문에 오랫동안 잊혔다.

그런데 1969년 미국 랭글리포터 정신질환연구소의 심리학자 폴 에크만과 동료 연구자들이 다윈의 주장을 과학으로 증명하는 연구결과를 학술지 ‘사이언스’에 발표했다. 이들은 먼저 인간의 기본 감정 6가지를 정했다. 기쁨, 공포, 혐오, 분노, 놀람, 슬픔이다. 그리고 서구인의 얼굴 사진 3000장 가운데 6가지 감정을 전형적으로 드러내는 표정을 담은 사진 30장을 골랐다.

▲ 얼굴표정부호화시스템(FACS)으로 분석한 6가지 기본 감정. 왼쪽부터 분노, 혐오, 공포, 기쁨, 슬픔, 놀람이다. AU는 표정단위의 약자로 특정 근육의 움직임을 나타낸다. / ‘대중관심의 심리과학’ 제공

이들은 사람들에게 사진을 보여주며 표정에 어울리는 감정을 6가지 감정 가운데서 고르게 했다. 그 결과 서구인(미국인)은 물론 브라질인, 일본인도 특정 표정에 꽤 높은 빈도로 특정 감정을 선택했다. 서구문화에 낯선 뉴기니의 두 부족과 보르네오의 한 부족도 일치도는 다소 낮아졌지만 마찬가지였다. 얼굴 표정은 감정을 드러내는 의사소통 수단으로 진화한 것이라는 말이다.

우리가 서구인이 나오는 드라마나 영화를 보고 공감하고 아프리카나 아마존 부족이 나오는 다큐멘터리를 보면서도 감정적 혼란을 느끼지 않는 것은 이들의 얼굴 표정에서 인간의 희로애락(喜怒哀樂)을 읽는 데 그다지 어려움이 없기 때문 아닐까. 너무 상식적인 얘기라 이를 그럴듯하게 포장해 이론으로 내놓은 에크만이 좀 약삭빠른 사람이라는 생각이 들 정도다.

물론 에크만의 연구가 여기서 끝났다면 ‘세계에서 가장 영향력 있는 100인’에 뽑히지는 않았을 것이다. 에크만은 표정과 감정을 매치시키는 정성적인 연구에 만족하지 않고 얼굴 표정을 만드는 46가지 ‘표정 단위(action unit. 줄여서 AU) 정해 각각에 해당하는 얼굴 근육의 움직임을 지정했다. 그 결과 특정 표정을 몇 개의 표정 단위로 나타낼 수 있게 됐다. 그와 동료들이 1978년 발표한 ‘얼굴표정부호화시스템(FACS)’은 임상심리학뿐 아니라 범죄학 등 여러 분야에 큰 영향을 미쳤다.

진짜 미소 가짜 미소

그런데 뜻밖에도 적지 않은 심리학자들은 이런 해석에 동의하지 않는다고 한다. 이들은 우리가 누군가의 얼굴을 보고 감정을 읽는다고 생각하는 건 과장 또는 착각이라고 주장한다. 누군가의 감정을 유추하려면 당시 상황의 맥락을 알아야 하고 얼굴 표정은 여러 요소 가운데 하나일 뿐이라는 것이다. 미국 노스이스턴대 심리학과 리사 펠드먼 배럿 교수는 이런 입장을 대표하는 심리학자로 지난해 학술지 ‘대중관심의 심리과학’에 동료들과 이 주제를 다룬 68쪽 분량의 리뷰 논문을 발표하기도 했다.

저자들은 먼저 에크만의 연구와 이를 따른 많은 후속 연구의 방법에 문제가 있다고 지적했다. 쉽게 말해 사진 속 얼굴 표정을 보고 제시된 몇 가지 감정 가운데 고르게 하는 ‘객관식’이기 때문에 ‘정답’을 맞출 확률이 높다는 것이다. 그런데 똑같은 사진을 보고 떠오른 감정을 쓰게 하면(주관식) 대답이 제각각으로 나오면서 특정 표정을 특정 감정으로 규정하기 어려울 지경에 이른다.

▲ 표정과 감정은 1:1 대응 관계가 아니라 맥락에 따라 하나의 표정이 여러 감정을 표현할 수도 있고 하나의 감정이 여러 표정으로 나타날 수도 있다. 얼굴 일부만 담은 사진 속 표정을 보면 왼쪽은 분노, 오른쪽은 슬픔이라는 감정이 떠오르지 않을까. / 리사 펠드먼 배럿 제공

실생활에서는 하나의 감정이 개인이나 상황에 따라 여러 얼굴 표정으로 드러난다. 예를 들어 스포츠 맞대결에서 이긴 뒤 ‘포효하는’ 선수의 모습이나 방탄소년단 공연장에서 환호하는 팬들의 모습을 보면 기쁨에 겨워 그렇다고 생각하지만 만일 앞뒤를 자르고 한순간의 얼굴 사진만 오려내 보여주면 대부분 분노(격노)나 슬픔(절규) 같은 감정 상태로 평가할 것이다. 마찬가지로 때에 따라 여러 감정이 하나의 표정으로 드러날 수도 있다. 표정과 감정은 단순한 1대 1 대응 관계가 아니라는 말이다.

▲ 전체 사진으로 왼쪽은 아이가 전투적으로 수박을 먹고 있는 모습이고(분노와는 무관할 것이다) 오른쪽은 젊은 여성이 음료를 음미하는 모습이다(슬픔과 무관할 것이다). / 리사 펠드먼 배럿 제공

또 하나 중요한 문제는 사람들이 얼굴 표정을 통해 가짜 감정의 신호를 내보내는 능력이 있다는 것이다. 속으로는 분노로 치를 떨면서도 겉으로는 미소를 지을 수도 있고 내심 좋아하면서도 싫은 척 얼굴을 찡그리는 ‘내숭’을 부리기도 한다. 이럴 때는 전후 상황을 알고 있어도 판단을 하기가 어려운데 하물며 달랑 얼굴 사진만 보고 어떻게 감정을 유추할 수 있겠는가.

그럼에도 얼굴 표정을 자세히 살피면 가짜 감정을 알아차릴 수 있다는 주장이 있다. 대표적인 예가 ‘뒤센 미소(Duchenne smile)’다. 좋지도 않은데 억지로 미소를 지으면 큰광대근만 움직일 수 있어 입꼬리만 올라간다. 반면 자연스러운 미소는 눈둘레근도 움직여 볼이 올라가고 눈가에 주름이 진다. 따라서 눈둘레근의 움직임 여부로 진짜(뒤센) 미소와 가짜 미소를 구분할 수 있다는 널리 알려진 ‘과학상식’이다.

그런데 리뷰 논문을 보면 뒤센 미소도 인위적으로 만들 수 있다는 연구결과가 여럿 있고 기쁨을 느끼지 않는 상태에서도 복종의 신호를 보내거나 아부를 할 때 뒤센 미소를 짓는 것으로 나타났다. 권력자가 아부에 약한 것도 아부하는 사람들이 보이는 뒤센 미소의 진성성을 의심하지 않기 때문 아닐까.

저자들은 “사람들이 제멋대로 얼굴 표정을 짓는다거나 표정이 심리적으로 무의미하다고 주장하는 게 아니다”라며 “다만 얼굴 표정이 맥락과 무관하게 특정한 감정 상태를 나타내는 ‘지문’은 아니라는 것”이라고 주장했다. 리뷰 논문을 읽다 보니 너무나 상식적인 내용이라 ‘이렇게까지 길게 쓸 필요가 있었을까’라는 생각이 들 정도다.

AI 감정인식, 아직은 초보

그럼에도 이를 입증하는 여러 연구결과를 시시콜콜 담은 리뷰 논문과 세 쪽에 이르는 긴 기사가 실린 건 표정과 감정의 관계가 단순히 심리학자들 사이의 논란에서 머무는 게 아니라 표정해독(감정인식) AI 프로그램이 일상생활에 도입되기 직전에 와 있기 때문이다. 감정인식 AI 프로그램 개발 업체인 어펙티바는 AI에게 87개 나라 700만 명의 얼굴 표정을 학습시켜 90%에 이르는 정확도로 감정을 알아내는 데 성공했다고 주장했다.

그런데 얼굴 표정이 감정을 드러내는 믿을만한 신호가 아니라면, 그렇다는 전제로 만들어진 표정해독 프로그램은 효용이 떨어질 뿐 아니라 사람들에게 피해를 줄 수도 있는 것 아닐까. 예를 들어 기업이 신제품에 대한 소비자 반응을 알아보기 위해 기존 설문조사 방식 대신 제품을 접했을 때 소비자의 얼굴 표정을 기록해 AI가 분석하게 한 뒤 평가에 반영하는 건 나름 도움이 될 것이다.

그런데 신입사원 면접에서 AI가 표정을 분석해 부정적인 감정을 지닌 사람을 걸러내거나 공항에서 입국자의 얼굴 표정을 AI가 분석해 잠재적인 테러리스트를 골라내는 식으로 활용된다면 어떨까. 심지어 재판장에서 AI의 평가를 토대로 판사가 “피고는 반성의 기미가 없다”며 괘씸죄를 추가해 형량을 올려 선고를 내린다면 어떨까.

얼핏 황당한 주장 같지만 기사에 따르면 이미 이런 일이 벌어지고 있다. 지난해부터 헝가리와 라트비아, 그리스에서는 입국자 얼굴의 미세표정을 분석해 거짓말 여부를 판단하는 시스템을 시범운영하고 있다. 기사에서 미국 오하이오주립대의 심리학자 알렉스 마르티네즈 교수는 “얼굴 표정은 사람조차 해석하기가 매우 어렵다”며 “이런 자동화 경향은 매우 우려스러운 일”이라고 말했다.

‘나 홀로 산다’에서 경수진 씨가 약수터를 발견하는 장면을 스틸컷으로 보면 표정에서 기쁨의 흔적을 찾기는 쉽지 않을 것이다. 좋은 물을 얻겠다고 1시간을 고생고생해 올라와 마침내 목적지에 도달한 순간이라는 맥락을 알고 있을 때에만 그 표정이 담고 있는 감정을 읽고 공감할 수 있는 것 않을까. 감정인식 AI 프로그램이 실생활에서 쓰이려면 적어도 이 정도의 상황 판단을 할 수 있어야 한다는 말이다. 조만간 가능한 일은 아니라는 생각이 든다.

강석기 / 과학 칼럼니스트 kangsukki@gmail.com

동아사이언스