스냅챗 필터의 원리를 알려주러 꽃 왕관을 쓰고 등장했다!
스냅챗에서는 '렌즈'라고 부르지만
우리는 '필터'라고 부르는 바로 그 '필터'에 대해 알아보자!
보기에는 재밌지만 뒤에 숨겨져있는 원리는 아주 멋지다굿~!
이 기술은 우크라이나의 스타트업인 'Looksery'에서 만든 기술임
스냅챗이 2015년에 1억 5천만 달러 (한화 약 1,700억)주고 이 스타트업 샀음
여기서 사용된 증강현실 필터는 '컴퓨터 비전'이라는 최신 연구 분야를 활용했음
컴퓨터 비전은 3차원 공간을 분석하고 물체를 인식하기 위해서
카메라에서 픽셀 데이터를 가져오는 기술임
페이스북이 사진 속에서 '이수만님을 태그하시겠습니까?' 하는거나
카메라 필터를 사용해서 얼굴에 강아지 코 넣는거 같은 기술과 관련있음
그럼 스냅챗 필터의 원리는 뭘까?
그들의 특허를 온라인에서 찾아서 알아낼 수 있었음
첫 단계는 '감지'임
어떻게 컴퓨터가 사진에서 얼굴이 어느 부분인지 알까?
이 기사 같은거 보면 사람들은 저런데서도 얼굴 찾고 그러던데 컴퓨터는 사람의 뇌가 없으니 그럴 수 없음..
컴퓨터는 사진을 이렇게 인식함
ㄹㅇ 픽셀값으로..
만약에 당신의 뇌도 이렇게 컴퓨터처럼 각 픽셀의 색상값이라면 어떻게 얼굴을 찾겠음?
가장 중요한 단서는 이미지 속의 밝은 부분과 어두운 부분을 찾는 '대비 Contrast'임
'Viola-Jones algorithm'라는 안면 인식 알고리즘이 이 분야에서 최고임
반복적으로 이미지 데이터를 스캔하면서 흰색 및 검정 상자 사이의 화소값 차이를 계산하면서 작동함
이건 얼굴의 특징들을 대충 훑어서 찾아내는 방법이지만
이미지 속에서 충분한 데이터를 찾는다면 사진 안에 얼굴이 있다는 결론을 내릴 수 있음
이런 알고리즘은 얼굴을 너무 돌리고 있거나
옆모습인 경우에는 얼굴이라고 인식하지 못하지만
정면에서는 꽤 정확함
그리고 이 원리로 몇 년 전부터 디지털 카메라로 사진 찍을 때 얼굴 주변에 사각형이 나왔음
하지만 이렇게 가상의 립스틱을 바르게 만들려면
어플리케이션에서 더 정확하게 내 얼굴의 어느부분에 뭐가 있는지 알아내야함
특허에 따르면 얼굴 특징을 알기 위해서 액티브 쉐이프 모델(active shape model)을 사용하는데
이게 뭐냐면, 사람이 직접 얼굴의 특징들을 이미지에 마킹해서 컴퓨터에게 '이 부분이 얼굴의 이런 특징이다'라고 가르쳐서 만든 통계 모델임
알고리즘은 훈련된 데이터에서 많은 얼굴들의 평균ㅋㅋ 을 취해서
카메라에서 얻은 이미지와 비교, 크기를 조정해서 얼굴이라고 파악된 위치에 따라 회전해서 재배열함
그래도 완벽하지 않아서, 모델 스스로가 카메라로 얻은 얼굴 픽셀 데이터를 분석함
제일 중요한 것은 밝은 부분과 어두운 부분으로 찾아지는 얼굴 주변의 '경계'를 찾는 것임
또, 모델은 훈련으로 이미 아랫입술이 어떻게 생겨야하는지 알고있음
그 후에 모델이 이미지에서 패턴을 찾아서 아랫입술에 해당하는 포인트로 조정함
모델이 다른 점들의 위치를 고려해서 점의 위치를 조정하고 점들의 연결을 부드럽게 만듦
모델이 당신의 얼굴 특징들을 잡는데 성공하면 그 점들을 이용해서 그물망을 만듦
그 그물망은 3D 마스크인데 이걸 이용하면
비디오의 모든 프레임에서
얼굴 이미지를 움직이고, 회전하고, 크기를 조정할 수 있음
한번 이 데이터를 받으면 그걸 이용해서 엄청 많은걸 할 수 있음
그 데이터들을 다시 만져서 얼굴 형태, 눈 색깔 등을 바꾸고,
악세서리를 추가하고 입을 열거나 눈썹을 움직이면 재미있는 애니메이션을 나올 수 있게 하는거임
그리고 IOS앱 중 'Face Swap Live'와 같이 스냅챗으로 친구얼굴과 내 얼굴을 바꿀 수도 있음
(대신 많은 양의 데이터가 필요함)
이 기술의 핵심은 사실 새로운게 아님
모바일 기기에서 실시간으로 구동할 수 있는게 새로운것임
그 정도의 프로세싱 속도는 최근에 개발됨
그럼 왜 이렇게 어려운 기술을 사람들에게 사용할 수 있게 만든걸까?
스냅챗은 이 기술을 이용해서 돈을 벌 수 있다고 생각했음
광고의 홍수 속에서 회사들은 자신의 브랜드를 한번이라도 더 봐주길 바랄거임..
안면 인식은 이름이 아니라 얼굴로 당신이 누구인지 알아챌 수 있다는 측면에서 좀 무서움
FBI나 구글, 페이스북 같은 사기업들은 엄청난 양의 '얼굴' 데이터베이스를 갖고있는데
어떤 연방정부도 이에 대해 규제하지 않음
그래서 일부 개인정보 옹호자들은 안면 인식 알고리즘에서 얼굴을 위장하는 방법을 고안했음
공공장소에서 얼굴을 가리고 다니는게 불법인 곳들이 있는데
작가 아담 하비 (Adam Harvey)는 머리카락이나 화장으로 얼굴을 컴퓨터가 인식하지 못하게 만드는 방법을 고안하기도 함 ㅋㅋㅋ
출처: http://www.slid.ee
뭐 간단히 잡는 건 줄 알았는데 기술력 장난 아니네요ㅋㅋ
첫댓글 문송해여.....
ㄷㄷㄷㄷ 가, 감사히 사용하겠습니다!!ㄷㄷ
치킨이나 먹어야겠답
역시 별거아닌거같은것들도 자세히 알고나면 감탄이...
호에에엥..
어쩐지 배터리 빨리 닳더라
머시쩌
와 역시 기술... 대단해
호에에ㅔ..진짜대단
뭔지 잘 모르지만 정독했어요 흥미롭네요 우왕
역시 기술은 대단해