손목에 장착된 카메라로 전신을 3D로 캡처

[아름이]

손목에 장착된 카메라로 전신을 3D로 캡처
날짜:
2022년 11월 8일
원천:
코넬대학교
요약:
연구원들은 소형 카메라와 맞춤형 심층 신경망을 사용하여 전신 자세를 3D로 추적하는 새로운 손목 밴드를 개발했습니다.

코넬 연구원들은 소형 카메라와 맞춤형 심층 신경망을 사용하여 전신 자세를 3D로 추적하는 최초의 손목 밴드를 개발했습니다.

BodyTrak은 단일 카메라로 전신 포즈를 추적하는 최초의 웨어러블입니다. 미래의 스마트워치에 통합된다면 BodyTrak은 정확성이 중요한 신체 활동에서 사용자 신체 역학을 모니터링하는 게임 체인저가 될 수 있다고 정보 과학 조교수이자 이 논문의 수석 저자인 Cheng Zhang이 말했습니다.

"스마트워치에는 이미 카메라가 있기 때문에 BodyTrak과 같은 기술은 사용자의 자세를 이해하고 실시간 피드백을 제공할 수 있습니다."라고 Zhang이 말했습니다. "편리하고 저렴하며 사용자의 이동 영역을 제한하지 않습니다."

해당 논문인 "BodyTrak: Inferring Full-body Poses from Body Silhouettes using a Miniature Camera on the Wristband"이 Proceedings of the Association for Computing Machinery on Interactive, Mobile, Wearable and Ubiquitous Technology에 게재되어 발표되었습니다. 퍼베이시브 및 유비쿼터스 컴퓨팅에 관한 ACM 국제 회의인 UbiComp 2022에서 9월에 개최되었습니다.

BodyTrak은 손과 손가락의 움직임, 표정을 추적하기 위해 이전에 유사한 딥 러닝 모델을 개발 및 활용한 그룹인 Cornell Ann S. Bowers College of Computing and Information Science에 기반을 둔 SciFiLab의 최신 신체 감지 시스템입니다. 심지어 무음 인식.

BodyTrak의 비밀은 손목의 한 푼도 안되는 크기의 카메라뿐만 아니라 그 뒤에 있는 맞춤형 심층 신경망에도 있습니다. 컴퓨터가 실수로부터 학습하도록 훈련시키는 이 심층 신경망은 카메라의 기본적인 이미지 또는 움직이는 사용자 신체의 "실루엣"을 읽고 3D 및 실시간으로 14개의 신체 포즈를 가상으로 재창조합니다.

즉, 모델은 카메라로 캡처한 부분 이미지를 정확하게 채우고 완성한다고 정보 과학 분야 박사 과정 학생이자 논문의 주저자인 임현철이 말했습니다.

"우리 연구에 따르면 신체 감지를 위해 카메라 시야 내에 신체 프레임이 완전히 들어갈 필요는 없습니다."라고 Lim이 말했습니다. "신체의 일부만 캡처할 수 있다면 전신을 재구성하기 위해 추론할 수 있는 많은 정보입니다."

Zhang과 Lim은 이러한 감지 장치를 착용한 사람 근처에 있는 행인의 개인 정보를 보호하는 것은 이러한 기술을 개발할 때 합법적인 문제라고 말했습니다. 그들은 BodyTrak이 카메라가 사용자의 신체를 향하고 사용자의 신체 일부 이미지만 수집하기 때문에 방관자의 개인 정보 보호 문제를 완화한다고 말했습니다.

그들은 또한 오늘날의 스마트워치에는 전신 감지 기능을 통합할 수 있을 만큼 작거나 강력한 카메라와 충분한 배터리 수명이 아직 없지만 미래에는 그럴 수 있다는 점을 인식하고 있습니다.

출처 : https://www.sciencedaily.com/