내 감정을 읽는다? 감정탐지앱!

[함박웃음꽃재완팍]

내 감정을 읽는다? 감정탐지앱!

얼굴 표정으로 감정을 읽을 수 있는 앱을 말한다. 미국의 이모션트가 출시한 고객이 제품을 보면서 느끼는 감정을 탐지하는 기업용 앱, 표정을 통해 감정을 읽을 수 있도록 한 아이리스의 소프트웨어 등이 그런 경우다. 매사추세츠공대(MIT) 출신 연구원들이 만든 어펙티바에서 내놓은 소프트웨어는 코카콜라와 유니레버 등의 광고를 고객에게 노출해 이들이 광고에 반응하는 얼굴 표정을 웹 카메라로 찍어 분석하고 있다. 감정탐지 앱을 내놓은 기업들은 전 세계적으로 수백만여 명의 얼굴 표정을 카메라로 찍은 뒤 이들의 표정에서 기쁨·분노·슬픔·놀람·공포 등의 내적 감정을 일일이 범주화하고 분석해 데이터베이스화한 것으로 알려져 있다.

미국 영상 채팅 앱 업체 우부(Oovoo)는 2015년 3월 얼굴 인식 기술을 활용해 사용자의 감정 상태를 파악하는 ‘지능형 비디오 플랫폼’을 선보였는데, 기업은 물론이고 정치권도 이를 활용하려는 시도를 하고 있다. 이와 관련 김주연은 “미국 정치권에서는 이미 이 기술을 차기 대통령 선거에 활용하는 시도가 진행 중이다. 정치인의 강연이나 토론 과정에서 청중들의 표정 변화를 간파해 여론 조사에 반영한다”면서 이렇게 말했다.

“금융권의 접근도 발 빠르다. 특히 협상 테이블에서 유용하게 쓰인다. 잠재적 고객이 어떤 결정을 할지 사전에 알아볼 수 있는 지표로 활용된다. 대형 글로벌 업체들이 채용 과정에서 이 플랫폼을 응용하려 하기도 한다. 우부는 이미 몇몇 업체들과 플랫폼 공급 협상에 나선 상태다. 영상 채팅으로 면접을 진행하고, 이를 촬영한다. 답변 내용과 함께 면접자 표정 변화를 통한 심리 상태를 추정해 부가정보로 쓴다. 회사는 상품 진열대 유리에 카메라를 달아 각 소비자가 특정 제품에 어떤 반응을 보이는지 알아내 향후 마케팅에 활용할 계획이다.”

이렇듯 대중의 감정과 심리에 항상 촉각을 기울여야 하는 정치권과 기업은 감정탐지 앱의 등장을 반기고 있지만 개인의 사생활 침해와 오남용 가능성을 우려하는 지적도 만만치 않다. 이모션트나 어펙티바는 얼굴 사진을 찍은 후 곧바로 삭제하고 있다고 밝혔지만 제3자가 이 소프트웨어를 쓰면서 데이터베이스로 재축적하는 것에는 제재할 방법이 없는 것으로 알려져 있기 때문이다.

감정탐지앱 기술 개발에 영감을 준 비언어 의사소통 전문가이자 ‘얼굴 심리학’의 대가로 미드 <라이 투 미>에 영감을 준 폴 에크먼 캘리포니아대학 명예교수도 개인의 사생활 침해와 오남용 가능성을 제기하면서 감정탐지 앱에 적정한 규제가 필요하다고 말한다. 에크먼은 “정부가 개입해 사생활 침해를 막을 수 있도록 규제해야 한다”면서 “적어도 쇼핑몰과 같은 공중장소에서는 고객들에 최소한 자신의 감정선이 읽히고 있다는 사실을 공지해야 한다”고 말했다.

감정탐지 앱 이 읽어낸 감정이 오독될 가능성이 있다는 우려도 있다. 예컨대 수사 기관이 감정탐지 앱을 범죄 수사에 활용할 경우 자칫 잘못했다가 무고한 사람을 범죄자로 몰고 갈 가능성이 있다는 것이다. 이런 우려 때문일까? 에크먼이 개발한 얼굴 움직임 부호화 시스템(Facial Action Coding System)을 이용해 2000년대 중반 뉴욕시경 대테러 부서 소속 수사관들을 대상으로 지도한 찰스 리버맨은 “한계를 인식하는 것이 중요하다”면서 “이 기술이 수사를 옳은 방향으로 이끌 수는 있지만 100% 확실한 것은 아니다”라고 했다.

가짜감정을 찾아낸다===>

http://cafe.daum.net/arastock/O3g

\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\

ㆍ쇼핑 만족도 분석 등 활용… 전문가들 “남용 규제 필요”

인간의 표정은 미소와 분노로 단순하게 구분되지 않는다. 미묘한 감정에 따라 달라지는 이마의 주름만 해도 7가지다. 폴 에크먼 미 캘리포니아대 명예교수는 1970대부터 코와 눈썹 등을 움직이는 5000여가지 이상의 근육운동이 어떻게 인간의 숨겨진 감정을 드러내는지 연구했다. 이는 이라크 주둔 미군이 아부그라이브 감옥에서 수감자들을 심문할 때 쓰이기도 했고, 미국 드라마 <라이 투 미>의 영감이 되기도 했다.

그리고 30여년이 흐른 지금 그의 연구 결과들은 미국 정보기술(IT) 기업들이 앞다퉈 출시하고 있는 ‘감정 탐지 앱’의 토대가 됐다. 이모션트, 어팩티바, 아이리스 등이 그런 기업들이다. 이들 기업은 에크먼의 연구에서 한걸음 더 나아가 전 세계 수백만명의 표정을 카메라로 찍은 뒤 기쁨·분노·슬픔·놀람·공포 등의 감정을 일일이 분석해 데이터베이스를 구축했다고 28일 월스트리트저널은 전했다.

만화를 실험 참가자들에게 동시에 보여주면서 이들의 표정변화를 통해 감정을 분석하고 있다. | 미국 IT 기업 어펙티바의 홍보 동영상

일례로 샌디에이고 대학 소아병동은 이모션트의 앱으로 어린이들이 수술을 받을 때 느끼는 고통의 정도를 측정한다. 상점 출입구 보안카메라에 앱을 설치해 손님 표정을 분석, 쇼핑 만족도를 체크하는 가게도 있다. 운전자의 표정과 감정을 분석해 졸음운전을 미리 막거나, 학생들이 수업을 제대로 이해하는지 알아낼 수도 있을 것으로 기업들은 기대하고 있다.

하지만 사람들의 감정을 허락없이 읽어내는 것은 사생활 침해라는 지적과, 감정을 오독할 수 있다는 우려도 만만치 않다. 이모션트나 어펙티바는 얼굴 사진을 찍은 후 곧바로 삭제하고 있다고 밝혔지만 제3자가 이 소프트웨어를 쓰면서 데이터베이스로 재축적하는 것에는 제재할 방법이 없다. 에크먼 박사도 “기술이 오·남용되지 않도록 정부의 규제가 필요하다”면서 “적어도 쇼핑몰 같은 공공장소에서는 고객들에게 자신의 감정이 분석되고 있다는 사실을 최소한 공지라도 해야 한다”고 강조했다.

사람의 감정 상태를 읽을 수 있는 구글 글래스용 애플리케이션(일명 ‘글래스웨어,glassware’)이 개발됐다. 구글 글래스를 쓰고 주변에 있는 사람들을 보면 구글 글래스내에 장착되어 있는 카메라가 주변 사람의 얼굴 표정을 인식해 현재의 감정 상태를 알아낼 수 있는 것이다. 백화점이나 유통업계 종업원들이 이 앱을 설치한 구글 글래스를 쓰고 고객들을 응대하면 고객의 현재 감정 상태를 알 수 있어 판촉 활동에 큰 도움이 될 것으로 업계는 예상하고 있다.

▲ 사람 감정 읽어주는 앱 (사진=이모션트 홈페이지)

PC매거진, 테크크런치 등 IT매체에 따르면 미 샌디에이고에 위치한 얼굴인식기술 전문업체 ‘이모션트(Emotient)’는 구글 글래스 시야 안에 있는 사람들의 감정을 읽을 수 있는 구글글래스용 앱의  프로토타입을 개발했다고 밝혔다.

켄 덴맨(Ken Denman) 이모션트 CEO는 “대고객 경험을 높이기를 원하는 서비스업 분야, 특히 소매업 분야에 이 앱을 광범하게 적용할 수 있다”고 말했다. 이모션트가 개발한 앱은 일반적인 감정 표현(긍정적, 부정적, 중립적), 원초적 감정 표현(기쁨, 놀람, 슬픔, 두려움, 싫음, 만족, 분노), 진전된 감정 표현(좌절,혼란)  등이 가능하다고 한다.

혹시 애플리케이션(이하 앱) 이용업체에서 사람들의 감정 표현을 저장해 데이터베이스로 갖는 것 아니냐는 우려에 대해 이모션트측은 감정인식분석에 관한 화면이나 이미지는 저장되지 않으며 익명으로 처리된다고 밝혔다. 사생활 침해 우려는 없다는 해명이다. 구글 역시 강력한 개인정보보호 기능 없이는 구글글래스에 얼굴인식 기술이 추가될 수 없다는 입장을 밝힌 바 있다.

이모션트측은 이 앱이 소매업자에게 가장 유용할것으로 봤다. 소매업체가 이 앱을 도입하면 종업원들의 고객 서비스를 향상시킬 수 있으며 고객들의 마음을 제대로 읽지 못하는 종업원들에게 도움을 줄 것이라고 덧붙였다. 하지만 이모션트측과 구글측이 구글글래스가 개인보호 침해 우려가 없다고 해명했음에도 불구하고 여전히 구글 글래스에 의한 개인보호 침해 여부가 새로운 사회 문제로 떠오르고 있다.

최근 최근 샌프란시스코에서 구글 글래스를 착용한 여성이 바에 들어갔다가 손님들로부터 자신들을 촬영하고 있다는 의심을 받아 공격을 받는 일이 있었다. 이후 해당 바는 영업장 내 구글 글래스의 착용을 금지했으며 이 같은 움직임은 다른 곳으로도 확산되고 있다.

한편 이번에 얼굴 표정을 인식할수 있는 구글글래스 앱을 개발한 이모션트측은 6일(현지시간) ‘시리즈 B’의 투자를 진행해 600만 달러의 자금 유치에 성공했다고 밝혔다. 이모션트측은 투자자금을 감정인식 엔진의 상용화와 기술개발에 집중 투자할 계획이다. 지난 2012년 창업 이래 인텔의 벤처캐피탈업체 ‘인텔캐피탈’ 등으로부터 총 800만 달러의 자금을 유치했다.

회사 측은 앞으로 네트워크에 연결된 카메라와 감정인식엔진을 결합해 SaaS방식으로 관련 서비스를 제공하겠다는 계획도 세워놓고 있다. 이번 구글글래스용 앱 개발이 이를 위한 첫단계인 셈이다.

얼굴에서 감정 읽는 모바일 앱 만들어보세요”

By 이지현 On 2014.02.14

페이스북32

트위터13

구글플러스6

우리는 말 한마디 하지 않아도 마주본 사람이 어떤 기분을 가졌는지 알아차린다. 표정 덕분이다. 말은 하고픈 내용을 전달하는 기능을 하고, 표정은 그때의 감정을 전달해주기 때문이다. 그래서일까. 최근 영상광고 마케팅에 사람의 표정을 분석하는 기술이 적극 개발되고 있다. 사람의 표정을 인식해 광고에 어떤 반응을 보이는지 분석하는 도구로 활용하려는 심산에서다.

애프덱스(Affdex)라고 불리는 기술은 애펙티바라는 광고분석 업체가 개발했다. MIT 미디어랩에서 감정인식 기술을 연구하던 라나 칼리오비와 로잘린드 피커드가 2009년 의기투합해 만든 회사다.

감정인식 기술은 카메라로 얼굴을 찍고 입술, 눈썹 , 얼굴 근육 등의 움직임을 분석하는 데서 출발한다. 이 자료들은 기존에 저장돼 있는 데이터와 비교해 무관심한 표정, 웃는 표정, 싫어하는 표정, 비웃는 표정 등 총 7가지의 감정 상태로 분류된다. 미간이 찌푸려 있거나 입을 꾹 다문 모습, 고개가 기울어진 각도 등을 보고 언짢다는 결과를 도출하는 식이다. 애펙티브는 이 데이터를 구축하기 위해 50만개가 넘는 비디오에서 3억개의 얼굴 표정을 분석·분류하는 작업을 거쳤다.

▲ 상황별 감정 분류. 에펙티바는 더 세분화된 감정 분류를 위해 데이터를 추가 분석하고 있다고 밝혔다. (출처 : 에펙티바 보고서)

애프덱스가 TV나 웹기반으로 사용되던 기술을 모바일로 확장한다. 애펙티브는 2월13일부터 에프덱스 기능을 활용하고 싶은 모바일 개발자를 대상으로 애프덱스 소프트웨어 개발도구(SDK)를 제공한다. 이 SDK엔 iOS에서 애프덱스를 활용할 수 있는 소스코드와 개발방법을 설명한 문서가 포함돼 있다. 이를 활용하면 개발자는 스마트폰 카메라를 이용해 실시간 감정을 인식하는 기능을 앱에 적용할 수 있다. 애프덱스는 웹에선 클라우드 기반으로 감정인식 데이터를 처리했지만, 모바일 SDK는 기기 안에서 실시간 데이터를 처리하도록 만들었다. 개인정보를 보호하려는 목적에서다. 애프덱스 SDK를 쓰려는 개발자는 웹사이트에서 신청하면 된다.

[youtube id=”4A6m8-V40Z4″ align=”center”]

☞애프덱스 모바일SDK 버전 소개 동영상 바로보기

애펙티바는 이번 SDK 덕분에 다양한 모바일 앱에 애프덱스 감정인식 기술이 활용될 것으로 기대하고 있다. 애펙티바는 2월13일 보도자료를 통해 “애프덱스가 앞으로 헬스케어, 교육, 게임 앱 등에 많이 활용될 것”이라고 내다봤다. 2012년 애펙티바에 투자한 벤처캐피탈 KPCB는 “애펙티바는 감정기반으로 소통할 수 있는 새로운 모바일 서비스가 탄생하는 데 도움을 줄 것”이라고 평가했다.

애펙티바는 상품 광고 영상을 미리 테스트하면서 특정 영상 부분데 대한 사용자 반응을 알려주고, 나이대별 감정 변화를 분석해주는 도구도 제공하고 있다.

▲애프덱스 기술은 광고분석 도구로 사용될 수 있다.

'구글 글래스' 상대방 마음 읽는 '독심술' 앱 등장

구글의 웨어러블 기기 '구글 글래스'를 위한 독심술 앱이 등장해 흥미를 끌고 있다.

28일(현지시간) 외신은  독일 드레스덴 프라운호퍼 연구소가 개발한 구글 글래스 앱을 소개했다.

프라운호퍼 연구소가 개발한 이 앱에는 연구소가 세계 최초 개발한 감정인식 소프트웨어가 탑재됐다. 이 소프트웨어는 감정인식 알고리즘을 기반으로 약 1만개에 달하는 사람의 표정을 수집, 데이터화 해 구글글래스에 전송해준다.

연구소가 유튜브에 게재한 동영상을 보면 이 앱을 설치한 구글 글래스 착용자는 상대방을 보는 것만으로 상대방의 나이, 성별은 물론 감정상태까지 읽을 수 있다. 특히, 상대방에게 대화를 건넬 때마다 실시간으로 상대방의 감정의 변화를 알려준다.

이 앱은 연인들이 재미삼아 이용할 수도 있겠지만, 자폐증 같은 의사 소통 장애를 가진 사람들에게도 유용하게 쓰일 수 있을 것으로 전망된다.

“내게 호감 있나?” 상대 속마음 읽는 ‘구글글래스 앱’

• 

보는 순간, 눈 앞 디스플레이에 상대방의 나이·성별은 물론 현재 기쁜지 슬픈지 아니면 지루함을 느끼는지 세세한 감정까지 읽어내는 구글글래스 앱이 등장해 관심이 집중되고 있다.

네덜란드 IT전문매체 텔레콤페이퍼(Telecompaper)는 독일 드레스덴 프라운호퍼 통합회로 연구소(Fraunhofer Institute for Integrated Circuits)가 상대방의 감정과 속마음을 읽어내는 최신 구글글래스 용 앱을 개발했다고 28일(현지시간) 보도했다.

연구소 측이 공개한 앱 테스트 영상 내용을 소개하면 다음과 같다. 먼저 한 남성이 구글글래스를 쓰고 여성을 바라본다. 화면 속에 재현된 구글글래스 앱은 상대 여성의 나이, 성별은 물론 지금 화가 났는지(Angry), 행복한지(Happy), 슬픈지(Sad), 아니면 놀랐는지(Surprised)를 세부적으로 알려준다. 남성이 말을 건넬 때마다 이 막대그래프형태의 감정표식은 실시간으로 오르락내리락하며 상대 여성의 감정 폭이 어떻게 변화하는지 알려준다. 즉, 지금 내게 호감이 있는지, 아니면 짜증이 나는지 속마음을 읽어낼 수 있다는 의미다.

• 

마치 독심술을 연상시키는 이 놀라운 기술은 프라운호퍼 통합회로 연구소가 최근 개발한 첨단 ‘감정인식 소프트웨어’의 위력 때문이다. 감정구조별 인식 알고리즘을 기반으로 1만개에 달하는 사람 표정 별 감정 데이터와 실시간으로 수집된 음성을 즉석에서 수치화하는 첨단 CPU를 구글글래스 내에 앱 형태로 연결시킨 것이다. 사람의 감정을 실시간으로 분석해내는 소프트웨어는 프라운호퍼 연구소가 세계최초로 개발했다.

연구진에 따르면, 이 기술은 단순히 타인의 속마음을 읽는 독심술 기계 영역에만 한정되지 않는다. 자폐증처럼 스스로를 표현함에 있어서 일정부분 한계를 가지고 있는 사람들이 지금 어떤 생각을 하고 있는지, 무엇이 힘든지 등을 타인이 쉽게 알 수 있는 의사소통 보조기구로 활용 될 수 있다.

연구진은 “이 프로그램은 학습을 통해 더욱 풍부한 감정인식 기능을 수행할 수 있도록 설계되어 있다. 이와 관련된 추가 연구를 계속 진행할 예정”이라고 설명했다.



조우상 기자 wscho@seoul.co.kr

\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\

니 마음을 읽고 말겠어 ! 레알감정인식  MindScanCamera

가격: 0.99 

카테고리: 사진

버전: 1.5.1

용량: 16.3MB

개발자: BlueFinger © 2010 bluefinger.inc

사양: iOS 4.0 버전 이상의 아이폰 아이팟터치 

애플 아이튠즈 미국 App 스토어 다운로드  한국스토어

무료버전

친구의 마음을 어떤지 알고 싶을때, 아직은 말로 표현하지 못하는 아기의 마음을 알고 싶을때, 화난 얼굴 뒤에 숨겨진 웃고 있는 마음과 웃는 표정속의 슬픈 감정.. 어떻게 알수 있을까요?

어른이 되면 사람들은 표정을 관리합니다. 수많은 스포츠 선수들은 포커페이스를 유지하려 

노력하고, 인간관계를 원만하게 유지하기 위해 언제나 밝은 표정을 보이려고 합니다. 

그 복잡한 감정을 알고 싶을때  아이폰의 App이 도와줄수 있을까요?

가족, 애인, 친구들과 직장동료 등 지인들의 사진을 찍어 표정뒤에 있는 감정을 읽어주는 App, 마인드 스캔 카메라-MindScanCamera가 나왔습니다.

Mind Scan Camera 의 감정분석 알고리즘은  60-70퍼센트의 신뢰도를 보인다고 하며, 같은 사진의 표정을 랜덤으로 읽지 않습니다. 얼굴과 표정을 인식해서 숨겨진 감정을 표현해

줍니다. 하지만 그 누구도, 어떤 도구로도 100퍼센트의 감정을 읽을수는 없습니다. 상대방

의 마음을 100퍼센트 알수 있는 초능력자가 있다면 자신의 마음은 더욱더 복잡해 질지도 모

릅니다. 

Mind Scan Camera는 가족과 친구들, 동료들과 즐거운 시간을 가질수 있는 도구입니다. 서로 사진을 찍으며 노는 동안 저절로 웃고 떠드는 시간을 가질수 있어서 좋고, 그 시간만큼은 카메라로 읽지 않아도 상대방의 감정을 느낄수 있을것입니다. 

그래도 확인을 원하신다면 한번 더 찰칵! 

마인드스캔카메라는 사진찍기와 포토라이브러리에서 사진을 가져와 스캔할수 있습니다.

더 재미있는 기능은 리얼타임 스캐닝입니다. 이 기능은 상대방을 카메라로 보면서 실시간

으로 감정을 읽어줍니다. 두대의 카메라로 서로 찍을때 재밌을 겁니다. 

MindScanCamera는 10가지의 감정을 분석합니다. 

Happy, Joy, Poker face, Sad, Surprised, Angry, impressive, Boring, No idea, Worry

행복, 기쁨, 무표정, 슬픔, 놀람, 화남, 감동받은, 지루한, 아, 몰라, 걱정스러운.

연기자의 극중 캐릭터 중의 사진을 스캔해 봤습니다. 극중 인물 묘사를 한것이니 그 인물에 맞는 분석이라고 생각했습니다. 재밌네요.

동이의 극중 표정인데, 극중의 상황과 대충 맞는듯 합니다. 

사진을 찍었을 경우 인식결과는 원본과 함께 카메라롤에 저장할수 있습니다.

분석 후 얼굴을 탭하면 음성으로 감정을 표현합니다.

실시간 스캔 장면입니다. Mind Scan Camera 개발팀일 것입니다. 스캔은 1-2초 간의 딜레

이가 있습니다.

트위터에서 프로필 사진을 복사해 분석해 봤습니다. BlueFinger 개발사의 excepter99 님

입니다. 매우 만족스러운 표정이십니다. :)

Nigasa 블로그 아마추어 부랑자 니가사의 Nigasa님의 사진도 스캔해 봤습니다. 걱정 없으신

표정인데 사진이 잘나오길 바라면서 걱정하셨는지도.  니가사님, 리뷰에 찬조출연 해주셔

서 정말 감사합니다 ! 앱을 신청하신다면 감사의 뜻으로  보내드릴 예정입니다.

스캔한 사진은 트위터와 페이스북에 공유할수 있습니다.

기능요약

1. Take a Picture: 사진을 찍어서 감정 인식 결과를 볼 수 있습니다

2. Choose From Photos: 사진앨범에서 사진을 가져와 감정 인식 결과를 볼 수 있습니다.

3. Real-Time Scanning beta: Start버튼으로 분석을 통해 거의 실시간으로(1,2초의 딜레이 발생) 인물의 감정을 캐치할 수 있습니다.

4. Save: 분석된 결과는 원본과 함께 저장할 수 있습니다.

5. Share: 분석된 결과를 트위터와 페이스북에 공유할 수 있습니다.

6. Sound Effect: 인식된 사람 얼굴을 터치하면 효과음이 나옵니다

1.5업데이트 버전 추가 내용

- 상세화면 추가!

- 감정표현 이미지 개선

- 인식 가능 감정 추가 (총 10개 -> 12개)

- 실시간 스캐닝 기능에 음성 추가

- 분석중 효과 개선 

- 리얼타임 스캐닝 1차 개선

마치며

- 얼굴은 거의 정면일 경우 인식률이 높고, 얼짱 각도, 옆모습, 안경 쓴 얼굴은 인식률이 떨어

집니다. 정측면 정도의 얼굴 사진의 인식률이 높아졌으면 좋겠습니다. 하지만 안경낀 사람

의 안경을 벗기는일은 재밌었습니다. 

- 사진을 찍어 바로 스캔하는 것은 좋은데 얼굴이 너무 작을 경우 뒤쪽의 사람은 인식하지 못

하는 경우가 생깁니다. 포토라이브러리에서 가져오는 사진은 확대하고, 이동시킬수 있는 선택

사항이 있었으면 합니다. 

MindScanCamera는 여러명의 얼굴이 있는 사진도 스캔할수 있고, 특히 리얼타임 스캐닝

이 아주 재밌는 기능입니다.  사람의 감정을 읽는 앱이지만 인식률 보다 지인들과 즐거운 

시간을 가질수 있다는 것이 MindScanCamera의 가장 큰 장점이자, 용도이기도 합니다. 

이점에 가장 높은 점수를 주고 싶은 앱입니다.

MindScanCamera로 즐겁게 사진 찍어 보세요, 재밌습니다! 추천 앱.

\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\

얼굴 표정인식 및 학습 소프트웨어

감성 ICT 융합산업과 더불어 성장 기대

KISTI 산업정보분석실 이윤희 (Tel: 02-3299-6045, e-mail: yunilee@kisti.re.kr)

[ 요약 ]

1. 얼굴표정 인식 및 학습 소프트웨어는 감정 훈련을 위해 제품화된 응용 소프트웨어이다. 여기서 주요 핵심기술은 얼굴인식(face recognition) 기술 연구 분야 중 주로 얼굴에 나타나는 감정 표현의 특징과 패턴을 추출하고 자동으로 인식하는 얼굴표정 인식 기술이다. 
2. 얼굴표정 인식 및 학습 소프트웨어가 웹기반의 온라인 교육 서비스 시장에서 사회성이나 비즈니스 기술 훈련의 특수 목적으로 서비스를 제공하여 시장 점유를 하는 경우, 중국 온라인 교육시장에서는 2015년에 571백만 위안에서 2019년 5,917백만 위안으로 연평균 성장률 79.42%의 급성장을 보일 것으로 기대되며, 국내 시장에서는 연평균 성장률 66.76%로 성장해서 2016년 593백만 원에서 2019년 2,750백만 원에 이를 것으로 전망된다.
3. 얼굴표정 인식 및 학습 소프트웨어는 방대한 데이터베이스 수집과 정교한 영상 추출 기술을 기반으로 게임, 의료, 재활, 유아 청소년 대상 지능 개발 교육, 범죄 수사, 고객 마케팅 및 광고 등 다양한 감성 ICT 관련 융합산업 분야에서 광범위하게 활용할 수 있을 것으로 기대된다. 

감정 훈련을 위해 제품화된 얼굴 표정인식 및 학습 소프트웨어  
표정인식 기술을 기반으로 하는 얼굴 표정인식 및 학습 소프트웨어란, 소프트웨어를 통해서 사람의 대표적인 감정이 드러나는 표정의 패턴을 읽어내어 바른 표정을 짓도록 돕거나 또는 다른 사람들의 표정을 읽어 내는 훈련을 지원하는 교육용 응용 소프트웨어이다.

이 제품은 디지털 이미지나 영상으로부터 사람의 얼굴을 자동으로 구분하고 확인해 내는 얼굴인식(Face recognition) 기술 중 하나이다. 얼굴인식 기술은 최근 웹캠, 스마트폰 카메라, 웹서비스, SNS 등에서 다양한 분야에서 활용되고 있다. 얼굴표정 인식 기술은 얼굴인식 기술 연구 분야 중 하나로 주로 얼굴에 나타나는 감정 표현의 특징과 패턴을 추출하고 자동으로 인식하는 기술이다.

얼굴 표정인식 및 학습 소프트웨어는 감정 훈련을 위해 제품화된 응용 소프트웨어이다. 표정을 통해 의도하는 바를 읽어 내거나 바른 표정을 짓도록 돕는 등 다른 사람의 표정을 읽어 내는 훈련을 지원한다.

최근 국내에서 방영되어 인기를 끈 미국 TV 드라마, ‘라이 투 미(Lie to me)’와 일본의 TV 드라마 ‘라이어 게임(Liar game)’에서는 인물들의 미세표정(Micro expression‎)을 인식하여 상대방의 거짓말이나 감정 등을 읽어내는 기술들을 소개하고 있다. 미세표정이란 얼굴에 순식간에 드러나는 감정 표현이다. 특히 이마의 주름, 눈 깜빡임, 눈동자의 움직임, 입 꼬리, 코 등 얼굴의 미세한 움직임을 인식하고 읽어내서 그 사람의 감정과 생각을 알아낼 수 있다.

얼굴 표정 분야의 세계 최고의 권위자인 심리학자 폴 에크먼(Paul Ekman) 박사는 전 세계인에게서 일반적으로 나타나는 기쁨, 분노, 공포, 슬픔, 놀람, 경멸, 역겨움이라는 7가지 감정의 보편적인 표정이 있음을 밝혀내고 0.1~0.2초 내 나타났다가 사라지는 미세표정 또한 위 7가지 감정 표현을 통해 나타난다는 사실을 증명하였다. 이러한 실증적 검증을 바탕으로 폴 에크먼 박사가 이끄는 PEG(Paul Ekman Group)는 다음과 같이 미세표정 학습도구(METT, Micro expression‎ tool)를 개발했는데 웹 기반의 소프트웨어로 제공하고 있어 웹사이트에서 누구나 무료로 학습해 볼 수 있다. 

광범위하게 적용 가능하며 급성장률을 보이는 한국과 중국 시장

얼굴 표정인식 및 학습 소프트웨어는 게임이나 재활치료 분야에서도 활용될 수 있다. 특히, 감정인식 학습프로그램, 사회지능향상 프로그램, 에코지능(Ecological Intelligence) 측정 등과 같은 사회성이나 비즈니스 스킬을 향상시키는 데 필요한 교육용 소프트웨어와 결합된 제품으로 상용화 되고 있다.

이미 해외에서 상용화되어 시장을 형성하고 있는 얼굴 표정인식 및 학습 소프트웨어의 주적용 분야는 비즈니스 기술 교육, 광고, 마케팅, 고객서비스 등으로 다양하며, 주로 원활하고 효과적인 의사소통 기술을 습득하거나 훈련해야 하는 기업이나 일반인들에게 활용되고 있다. 그 외에도 수사기관 등에서도 특수 목적으로 이용되고 있다.

앞으로 주목해야 할 주요 시장은 얼굴 표정으로 사회적 관계와 의사소통 역량 강화를 위한 감성지능(EQ, Emotional Quotient)이나 사회지능(SQ, Social Quotient), 또는 에코지능 교육(Ecological Intelligence Education) 서비스 시장으로 광범위하게 적용 가능하다. 초·중·고등학교를 포함한 정규 교육 기관과 취업상담 및 직업 교육, 기업 직원 교육 등을 필요로 하는 공공 또는 사설 교육 기관 등이 이에 포함된다. 더욱이 고객의 요구가 더욱 복잡해지고 다양해질수록 서비스 제공 기업이나 서비스 담당 직원들의 의사소통 능력 향상을 위한 훈련과 교육은 더욱 요구되며 기업의 마케팅, 영업 부서의 직원들은 얼굴표정 인식 및 학습 소프트웨어의 주요 고객이 된다. 

현재 해외에서는 얼굴 표정인식 및 학습 소프트웨어는 교육 목적으로도 상용화되어 주로 서비스 제공 기업과 일반인을 대상으로 감정표현 인식과 학습을 웹 기반의 온라인 교육 서비스를 제공하고 있다. 

얼굴 표정인식 및 학습 소프트웨어가 웹 기반의 온라인 교육 서비스 시장에서 사회성이나 비즈니스 기술 훈련의 특수 목적으로 서비스를 제공하여 시장 점유를 하는 경우, 2013년까지 연 평균 20% 이상의 성장률을 보이고 있는 중국 온라인 교육 시장에서는 2015년에 571백만 위안에서 2019년 5,917백만 위안으로 연평균 79.42%의 급성장률을 보일 것으로 기대된다. 반면, 국내에서는 학령기 인구의 감소로 초·중·고등학교와 대학교육 기관의 감소가 예상되어 전체 교육 시장의 성장률은 둔화되거나 감소할 것으로 예상된다. 

따라서 얼굴 표정인식 및 학습 소프트웨어의 시장 규모는 정규교육 기관보다는 기업이나 직업 및 취업 교육을 위한 공공, 사설 교육기관 중심으로 연평균 66.76%로 성장하여 2016년 593백만 원에서 2019년 2,750백만 원에 이를 것으로 전망된다.

해외의 제품 개발 현황과 차별화된 기술로 상용화를 준비 중인 국내 시장 

앞서 언급한 심리학자 폴 에크만이 설립한 PEG는 해외 시장에서 얼굴 표정인식 및 학습 프로그램 기술을 보유한 대표적인 기업이다. 이곳에서는 미세표정 학습(micro expression‎ learning)을 통해 감정지능을 향상시킬 수 있고, 감정이입 능력이 발달되며, 타인을 보다 더 잘 이해할 수 있으며 인간관계가 향상된다고 주장한다.

그리고 이를 통해 최종적으로 사회성 향상을 목표로 기업이나 일반 이용자를 대상으로 다양한 학습 프로그램을 상용화하여 제공 중이다. 독일 CBL(Center for Body Language)에서는 사회성 학습 프로그램을, 그리고 Humintell 사는 감정 학습프로그램을 위한 얼굴 표정인식 및 학습 프로그램을 제공하고 있다.

CBL의 제품인 METV(Micro Expressions Training Videos)에서는 일련의 영상을 통해 감정의 변화를 인지하는 것을 목표로 학습 프로그램을 제공하고 있는데, 감정 학습(Emotion training)은 특정 감정만을 학습하는 것이 아니라 전반적인 감정의 변화를 학습할 수 있도록 일련의 영상 연속(video sequence)을 제공한다.

그리고 감정인지 수준에 맞게 학습할 수 있도록 3단계로 나눠 학습 프로그램을 제공한다. 또한 감정뿐만 아니라 다양한 행동이나 음성에서 상대방의 상태를 파악하는 다양한 훈련을 제공하여 비즈니스 기술을 향상시키는 데 목적을 두고 있다. CBL은 현재 감정인식을 포함하여 다양한 보디랭귀지 학습으로 영역을 확장하였고 비즈니스기술 향상을 위한 감정학습센터로 그 규모가 확대되고 있다.

이들과 유사한 연구를 진행 중인 미국의 Humintell 사는 감정학습 솔루션 제공 기업으로 미세한 감정 표현에 초점을 맞추고 상대방의 감정의 변화를 얼굴 표정을 통해 파악하는 훈련을 제공한다. 얼굴의 전체적인 영역을 이용해 감정을 파악하는 학습방법과 얼굴의 영역 중 일부만을 통해 감정을 파악하는 두 가지의 훈련방식을 제공한다. 감정의 학습뿐만 아니라 화상회의 시에 사용되는 각종 몸짓에 대한 학습 프로그램도 제공되고 있다. 

해외 시장은 얼굴 표정인식 및 학습 프로그램의 영역이 다양한 훈련방식으로 제공되어 그 규모가 점차 확대되고 있다. 국내 시장은 초기 시장 형성 단계인데 한국인만의 얼굴 표정 인식이 가능하도록 데이터베이스를 구현하여 해외 제품에 비해 정교하고 정확하다.     

이들 상용화된 얼굴표정 인식 소프트웨어 가격은 제조사에 따라 차이가 있지만 대부분 감정학습용 교육프로그램과 결합하여 제공되어 $60~$100 사이의 가격대를 형성하고 있다. 일반적으로 웹 기반으로 구현되어 제공되고 있는데 기본적인 학습 프로그램부터 전문가용 학습 프로그램까지 차별화된 프로그램을 제공하고 있다.

얼굴 표정인식 프로그램은 다른 사람들의 감정을 읽고, 자신의 감정을 바르게 표현함으로써 의사소통 향상을 돕는 학습이나 교육 목적 이외에도, 영국의 ‘리얼아이즈(Realeyes)‘와 같이 시청자의 표정 분석을 통해 감정을 판독하여 맞춤형 광고를 제공하는 곳에도 사용되고 있다. 이 프로그램은 시청자들의 얼굴 표정의 변화를 행복, 놀람, 슬픔, 혐오, 공포, 혼란스러움 등의 7가지 감정 상태에 따라 점수를 부여하고 실시간으로 측정한다. MIT 미디어랩의 ’어펙티바(Affectiva)’도 이와 유사하게 광고에 활용하고 있는데 이들의 핵심 경쟁력은 표정의 정교한 분석과 방대한 데이터베이스이며 이를 통해 상품 매출의 증가와 감소를 예측할 수 있다.

국내에서 미세표정 연구와 얼굴 표정인식 기술에 기반하는 학습용 응용 소프트웨어는 초기 시장 형성 단계이며 국내에서 유일하게 상명대학교 감성공학과(황민철 교수) 연구팀이 “사회지능 향상을 위한 얼굴표정 훈련 기술”을 연구개발 하여 상용화 준비 중에 있다.

국내 시장을 선도하게 될 이 제품의 특징은 우선, 한국 일반인의 표준 영상 이미지를 기반으로 하여 타인종 효과를 배제한 한국인만의 얼굴 표정 인식이 가능하도록 데이터베이스를 구현하였다는 데 있다. 그 결과 한국인 대상의 얼굴 표정 인식이 해외 제품에 비해 정교하고 정확하다. 해외 제품과 차별화되는 또 다른 특징은 트롬소의 사회지능 지수 측정(Tromso social intelligent scale, TSIS)의 주관적인 지수 측정 방식에 얼굴 표정인식 정확률이라는 객관적인 측정 방법을 보완하여 사회지능 역량을 정량적으로 평가하고 제시함과 동시에 향상하도록 하는 점이다. 그럼으로써 단순히 감정표현 인식과 정확률만 제시해온 기존의 해외 제품들과 차별화된다.

감성 ICT 융합 산업의 성장과 더불어 괄목할 만한 성장 기대

앞으로 사람의 감정과 감성을 기반으로 신체 정보를 수집하고 분별하고 분석하여 여러 산업에 걸쳐서 활용할 수 있는 감성 기반 기술과 제품들은 보다 정교해지고 다양해질 것이다. 그래서 얼굴 표정인식 및 학습 소프트웨어는 이러한 감성 ICT 융합 산업의 성장과 더불어 교육, 의료, 게임, 보안, 로봇 산업 등에서 광범위하게 활용될 수 있다. 특히, 사회적 관계와 의사소통 능력을 중요시 하는 서비스 업종 종사자들이나 기업, 기관에서 얼굴표정 인식 및 학습 소프트웨어를 교육 도구로 이용하거나 취업, 직업 교육 과정에서 단기간 교육 도구로 활용할 경우 시각적인 교정 훈련과 객관적이고 정량적인 평가가 가능하여 사회적 관계 교육에 있어 보다 효율적인 교육 성과가 기대된다.

얼굴표정 인식 및 학습 소프트웨어가 사회적 유대 관계를 중요시 하는 감성 ICT 융합 산업을 주도적으로 이끌기 위한 전략으로는 다양한 사람들의 얼굴 특징을 인식하고 추출해낼 수 있도록 정교한 영상 특징추출 기술이 요구되며, 감정과 얼굴 특징을 담을 수 있는 방대한 데이터베이스의 구축과 데이터 축적이 필요하다.

특히, 이미 미주, 유럽 중심의 시장이 형성되어 있는 이 시점에서 타인종 효과를 고려하여 동양인 얼굴 표정에 대한 특징과 감정 표현 인식 기술과 데이터베이스가 개발되어 제품 상용화가 이루어진다면 일본과 중국시장을 비롯한 아시아 시장을 주도할 것으로 기대한다.