인공 지능(AI)은 인간과 동물의 동작 시퀀스를 재구성합니다.
날짜:
2023년 3월 8일
원천:
콘스탄츠 대학교
요약:
우리가 사파리에서 풀을 뜯는 기린을 보고 있다고 잠시 상상해 보십시오. 잠시 시선을 돌린 후 동물이 머리를 숙이고 앉는 것을 봅니다. 하지만 그동안 무슨 일이 있었는지 궁금합니다. 컴퓨터 과학자들은 통계적으로 발생했을 가능성이 있는 중간 동작을 보여주기 위해 동물의 자세와 외모를 인코딩하는 방법을 찾았습니다.
전체 이야기
우리가 사파리에서 풀을 뜯는 기린을 보고 있다고 잠시 상상해 보십시오. 잠시 시선을 돌린 후 동물이 머리를 숙이고 앉는 것을 봅니다. 하지만 그동안 무슨 일이 있었는지 궁금합니다. 콘스탄츠 대학 집단 행동 고급 연구 센터의 컴퓨터 과학자들은 통계적으로 발생했을 가능성이 있는 중간 동작을 보여주기 위해 동물의 자세와 외모를 인코딩하는 방법을 발견했습니다.
컴퓨터 비전의 주요 문제 중 하나는 이미지가 엄청나게 복잡하다는 것입니다. 기린은 매우 다양한 포즈를 취할 수 있습니다. 사파리에서 모션 시퀀스의 일부를 놓치는 것은 일반적으로 문제가 되지 않지만, 집단 행동 연구를 위해서는 이 정보가 중요할 수 있습니다. 여기에서 새로운 모델인 "신경 인형 조종자"를 사용하는 컴퓨터 과학자가 등장합니다.
3D 포인트 기반 예측 실루엣
Konstanz 대학의 컴퓨터 비전 교수인 Bastian Goldlücke는 "컴퓨터 비전의 한 가지 아이디어는 가능한 한 적은 수의 매개변수만 인코딩하여 이미지의 매우 복잡한 공간을 설명하는 것"이라고 설명합니다. 지금까지 자주 사용되는 표현 중 하나는 스켈레톤입니다. 컴퓨터 비전에 관한 16차 아시아 회의 회보에 게재된 새 논문에서 Bastian Goldlücke와 박사 연구원인 Urs Waldmann 및 Simon Giebenhain은 동작 시퀀스를 표현하고 모든 관점에서 동물의 완전한 모습을 렌더링할 수 있는 신경망 모델을 제시합니다. 몇 가지 핵심 사항에 대해서만. 3D 뷰는 기존 골격 모델보다 유연하고 정확합니다.
박사 연구원 Urs Waldmann은 "이 아이디어는 3D 키 포인트를 예측할 수 있고 텍스처와 독립적으로 추적할 수 있는 것"이라고 말했습니다. "이것이 우리가 3D 키 포인트를 기반으로 모든 카메라 관점에서 실루엣 이미지를 예측하는 AI 시스템을 구축한 이유입니다." 이 과정을 반대로 하면 실루엣 이미지에서 골격점을 결정할 수도 있습니다. 핵심 포인트를 기반으로 AI 시스템은 통계적으로 가능성이 있는 중간 단계를 계산할 수 있습니다. 개별 실루엣을 사용하는 것이 중요할 수 있습니다. 골격만 가지고 작업한다면 보고 있는 동물이 상당히 큰 동물인지, 아니면 굶주림에 가까운 동물인지 알 수 없기 때문입니다.
특히 생물학 분야에서 이 모델에 대한 응용 프로그램이 있습니다. 이러한 맥락에서"라고 Waldmann은 말합니다.
장기 목표: 야생동물에 대한 최대한 많은 데이터에 시스템 적용
팀은 인간, 비둘기, 기린, 소의 실루엣 움직임을 예측하는 것으로 시작했습니다. 인간은 종종 컴퓨터 과학에서 테스트 케이스로 사용된다고 Waldmann은 말합니다. Cluster of Excellence의 그의 동료들은 비둘기와 함께 일합니다. 그러나 그들의 미세한 발톱은 정말 도전적입니다. 소에 대한 좋은 모델 데이터가 있었고 기린의 극도로 긴 목은 Waldmann이 감당하고 싶었던 도전 과제였습니다. 팀은 총 19개에서 33개까지 몇 가지 핵심 포인트를 기반으로 실루엣을 생성했습니다.
이제 컴퓨터 과학자들은 실생활에 적용할 준비가 되었습니다. 집단 행동 연구를 위한 최대 규모의 Konstanz 대학의 Imaging Hanger 실험실에서 미래에 곤충과 새에 대한 데이터를 수집할 것입니다. 이미징 격납고에서는 야생보다 조명이나 배경과 같은 환경적 측면을 제어하기가 더 쉽습니다. 그러나 장기적인 목표는 동물의 행동에 대한 새로운 통찰력을 얻기 위해 가능한 한 많은 야생 동물 종에 대한 모델을 훈련시키는 것입니다.
출처 : https://www.sciencedaily.com/