|
얼굴표정을 기반으로 감정 및 정신건강을 측정하려는 연구가 진행되고 있다. 연구결과가 축적되면서 가시적인 성과가 나오기 시작하였고 상용화가능성도 점차 높아지고 있다.
어펙티바 (Affectiva)는 Rana el Kaliouby가 영국 케임브리지대학 박사과정에서 연구를 기반으로 2009년에 설립하였다. 케임브리지의 자폐증 연구센터에는 얼굴 표정을 읽는 법을 가르치기 위하여 얼굴표정에 관한 방대한 데이타가 축적되어 있는 데, 라나 엘 갈리우비는 이 데이터 세트를 사용하여 얼굴표정에서 감정을 측정하는 기술을 개발하였다[1]. 이를 상용화하려는 연구기금을 미국 NSF에서 받고 MIT 미디어랩에서 3년간 연구하면서, Rosalind Picard 교수와 함께 어펙티바를 설립한 후, 1,400개 이상의 브랜드와 협력하여 마케팅 및 광고 활동의 효율성을 평가하고 개선하였다. 감정인식 기술분야의 선두 기업으로 인정받아 2500만달러의 투자를 유치하였으며 2017년에는 “비디오 이미지를 기반으로 한 심박수 수집을 이용한 정신 상태 분석”기술을 미국 특허청에 등록하였다[2].
이스라엘 히브리대 Talia Tron 연구팀은 조현병환자의 얼굴 표정 분석 연구결과를 2015년 에 발표하였다[3]. 조현병 환자는 긍정적인 감정이 부족하고, 감정 반응이 적합하지 않다. 또한 얼굴 윗부분의 활동이 적고, 얼굴의 표현력도 감소한다. 이러한 점을 기반으로 연구팀은 34명의 조현병 환자와 같은 수의 대조군의 임상 인터뷰에서 3D 구조화된 조명 카메라와 소프트웨어를 사용하여 23개의 얼굴 활동 단위 (Action Units, AUs)의 활동 수준을 추출하였다. 이를 활용하여 얼굴 표정으로 정신분열증을 판별하는 기술을 개발하였다. 85%의 정확도를 보여 얼굴 표정 분석이 바이오마커로 사용될 가능성을 제시하였다.
신시네티 아동병원 John P. Pestian 교수팀은 얼굴표정의 자살충동지표 연구결과를 2017년에 발표하였다[4]. 연구진은 130명의 자살환자, 126명의 (자살 시도나 계획은 없는) 우울증 환자, 123명의 정상인을 대상으로 “희망이 있습니까?”, “두려움이 있습니까?”, “비밀이 있습니까?”, “화가 났습니까?”, “감정적으로 상처 받았습니까?”의 다섯가지 질문을 하고 대답하는 얼굴 표정을 녹화하였다. 이 실험에서 눈둘레근(Orbicularis oculi muscle)의 수축을 포함하는 미소(뒤센[Duchenne] 미소)의 비율과 같은 표정행동 지표가 자살 충동군과 정상군 사이에 통계적으로 유의한 차이를 발견하였다. 뒤센 미소는 양 입 꼬리가 위로 올라가고, 눈 꼬리에 까마귀나 매발 같은 주름살이 있는 것으로, 눈 주위나 광대뼈 부근의 근육을 임의로 움직이기가 쉽지 않다. 가짜 미소를 짓는 행동은 우울증과 자살에 대한 생각이 있는 환자에서 흔히 발생하는 데, 인터뷰 중 가짜 미소의 존재는 내면화된 부정적인 영향과 밀접한 관련이 있는 중요한 정보를 포함 할 수 있다고 생각된다. 연구팀은 2018년 IEEE 얼굴표정 및 제스처 인식 학회에서는 웃는 얼굴과 시선에서 자살충동을 가진 환자를 식별하는 연구결과를 발표하였다[5]. 조사결과 미소 짓는 행동은 통제군에서 가장 높았으며 자살환자가 가장 낮았으며 시선 회피는 자살 환자가 가장 높았으며 대조군 환자는 가장 낮았다. 자살환자를 대조군과 구별하는 작업은 79.59%의 정확도를 달성하여 바이오마커로서의 가능성을 제시하였다.
일본 게이오대 Taishiro KISHIMOTO (岸本 泰士郎) 교수팀은 전산 정신의학을 활용한 객관적 측정 프로젝트 (Project for Objective Measures Using Computational Psychiatry Technology, PROMPT)를 진행하고 있다[6]. 이 프로젝트는 일본 의료 연구개발기구 (AMED)의 ICT를 활용한 진료 지원 기술 연구개발 프로젝트로 채택되어 2015년 11월에 시작하였다. 얼굴표정·음성·일상 생활활동의 정량화로 정신증상의 객관적인 평가를 실시간으로 전달 하는 장치의 개발을 목표로 하고 있으며 오므론, 소프트뱅크, 일본 마이크로소프트, UBIC 메디칼 등의 기업들도 프로젝트에 참여하고 있다.
미국 육군 연구소 (US Army Research Laboratory)와 USC 창조기술 연구소 (Institute for Creative Technologies)는 공동으로 우울증 및 PTSD 진단지원 가상현실 SimSensei 프로젝트[7]를 진행하고 있다. 이 프로젝트에서는 상황기반 비언어적 행동 분석으로 우울증 및 PTSD와 같은 심리적 고통의 지표를 평가하기 위한 방법을 연구한다[8].
관련기술 특허등록으로 대만의 III(Institute for Information Industry)는 표정인식시스템에 관한 기술을 2015년 미국 특허청에 등록하였다[9]. 또한 대만의 ITRI (Industrial Technology Research Institute)는 “지원 벡터 머신을 이용한 바이모달 감정인식방법 및 시스템”을 2015년 미국 특허청에 등록하였다[10]. 이 발명은 2개의 특징집합을 이용하여 얼굴표정 감정인식의 정확성을 향상시킬 수 있는 컴퓨팅 장치로 특정 알고리즘에 의해 식별된 감정을 검증 할 수 있는 감정 인식 방법을 제공한다.
한편 일본의 계측기기전문기업인 주식회사 CHINO (チノー)는 국립토쿄농공대학과 공동으로 피험자에게 감정 변화를 유도하는 여러 가지 자극을 주었을 때, 적외선 카메라 에서 촬영된 적외선 이미지에서 피험자의 정수리의 온도( 적외선 강도 )을 감지하고 정수리 온도의 변동 진폭 을 산출하여 이를 근거로 정신질환을 진단하는 기술을 2015년 일본 특허청에 등록하였다.
또한 공조기기 전문기업인 Daiki (ダイキン)은 도쿄공업대학과 협력으로 두뇌활동추정기기에 관한 특허를 2016년 일본특허청에 등록하였다[12]. 이 발명은 얼굴 피부 온도 변화로 간편하게 인간의 뇌 활동을 추정할 수 있는 뇌 활동 추정 장치를 제공한다. 뇌 냉각 시스템은 체온과 독립적으로 뇌 활동에 의해 생성된 열을 제거하는데, 뇌 활동을 수반하는 안면 피부 온도의 변화는 이마 및 / 또는 부비동 말초 영역 (glabella 및 paranasal peripheral region)에 나타난다. 이 기술의 발명자들은, 이 선택적인 뇌 냉각 시스템에 의한 사람 얼굴의 피부 온도의 변화를 추적할 수 있다면, 뇌파 측정 등을 행하지 않아도 뇌 활동을 측정 할 수 있다고 생각하였다. 그러나, 외부 온도 및 / 또는 자율 신경 활동 등과 같은 다양한 인자의 영향으로 인하여 사람의 얼굴의 피부 온도가 변하므로 감지된 얼굴피부 온도가 뇌활동만 반영하는지 결정은 어려움이 있다. 이 기술의 발명자들은 얼굴의 피부 온도를 검출하고 검출된 온도 데이터 및 위치 데이터를 포함하는 얼굴 피부 온도 데이터를 분해함으로써 뇌 활동을 반영하는 피부 온도의 변화를 나타내는 성분을 식별할 수 있다는 것을 발견하였다.
------------------------------------
[1] El Kaliouby, Rana Ayman. Mind-reading machines: automated inference of complex mental states. Diss. University of Cambridge, 2005.
[2] US Patents US9642536B2 (2017-05-09, Application granted), “Mental state analysis using heart rate collection based on video imagery,”Inventor: Youssef Kashef, Rana el Kaliouby, Ahmed Adel Osman, Niels Haering, Viprali Bhatkar, Current Assignee: Affectiva Inc
[3] Tron, Talia, et al. "Automated facial expressions analysis in schizophrenia: A continuous dynamic approach." International Symposium on Pervasive Computing Paradigms for Mental Health. Springer, Cham, 2015.
[4] Laksana, Eugene, et al. "Investigating facial behavior indicators of suicidal ideation." 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017). IEEE, 2017.
[5] Eigbe, Naomi, et al. "Toward Visual Behavior Markers of Suicidal Ideation." Automatic Face & Gesture Recognition (FG 2018), 2018 13th IEEE International Conference on. IEEE, 2018.
[6] 岸本泰士郎, et al. "情報通信技術や機械学習を活用した精神疾患重症度評価への取り組み." 情報管理 60.8 (2017): 574-582.
[7] Stratou, Giota, et al. "A demonstration of the perception system in SimSensei, a virtual human application for healthcare interviews." 2015 international conference on affective computing and intelligent interaction (ACII). IEEE, 2015.
[8] Stratou, Giota, and Louis-Philippe Morency. "MultiSense—Context-aware nonverbal behavior analysis framework: A psychological distress use case." IEEE Transactions on Affective Computing 8.2 (2017): 190-203.
[9] US Patents US9036018B2 (2015-05-19, Application granted), “Facial expression recognition systems and methods and computer program products thereof,” Inventor: Wen-Nan WANG, Shang-Hong LaiChia-Te LiaoHui-Ju ChuangTzu-Chen TsaiFang-kai ChangCurrent Assignee Institute for Information Industry
[10] US Patents US8965762B2 (2015-02-24, Application granted), “Bimodal emotion recognition method and system utilizing a support vector machine,”Inventor: Kai-Tai Song, Meng-Ju Han, Jing-Huai Hsu, Jung-Wei Hong, Fuh-Yu Chang, Current Assignee: Industrial Technology Research Institute
[11] Japan Patents JP5665025B2 (2015-02-04, Application granted), “Mental disease determination device, method, and program,” Inventor: 満美子 小柴, 満美子 小柴, 俊 中村, 俊 中村, 浩珍 松田, 浩珍 松田, あかね 田中, あかね 田中, 匡史 佐賀, 匡史 佐賀, 邦雄 油井邦雄 油井, Current Assignee: 株式会社チノー, 国立大学法人 東京農工大学
[12] Japan Patents JP5981506B2 (2016-08-31, Application granted), “Brain activity estimation device,”Inventor: 潤一郎 新井, 潤一郎 新井, 泰則 小谷, 泰則 小谷, 太郎 戸松, 太郎 戸松, 淑美 大上, 淑美 大上, Current Assignee: ダイキン工業株式会社, 国立大学法人東京工業大学