행동 소리 : 눈뿐만 아니라 귀를 사용하면 로봇 인식이 향상됩니다.

[아름이]

행동 소리 : 눈뿐만 아니라 귀를 사용하면 로봇 인식이 향상됩니다.
Carnegie Mellon은 소리, 동작, 시각의 상호 작용을 캡처하는 데이터 세트를 구축합니다.
데이트:2020 년 8 월 14 일
출처:카네기 멜론 대학교
요약:사람들은 세상을 이해하기 위해 한 가지 감각 만 사용하는 경우는 거의 없지만 로봇은 일반적으로 시각과 점점 더 촉감에만 의존합니다. 연구원들은 또 다른 감각 인 청각을 추가함으로써 로봇 지각이 현저하게 향상 될 수 있음을 발견했습니다.

사람들은 세상을 이해하기 위해 한 가지 감각 만 사용하는 경우는 거의 없지만 로봇은 일반적으로 시각과 점점 더 촉감에만 의존합니다. Carnegie Mellon University의 연구원들은 로봇 인식이 또 다른 감각 인 청각을 추가함으로써 현저하게 향상 될 수 있음을 발견했습니다.

그들이 말하는 것은 소리와 로봇 동작 사이의 상호 작용에 대한 최초의 대규모 연구에서, CMU의 로봇 공학 연구소의 연구원들은 소리가 로봇이 금속 스크루 드라이버와 금속 렌치와 같은 물체를 구별하는 데 도움이 될 수 있음을 발견했습니다. 청각은 또한 로봇이 어떤 유형의 행동이 소리를 일으켰는지 확인하고 소리를 사용하여 새로운 물체의 물리적 특성을 예측하는 데 도움이 될 수 있습니다.

최근 그의 박사 학위를 취득한 Lerrel Pinto는 "다른 분야의 많은 예비 작업에서 사운드가 유용 할 수 있음을 시사했지만 로봇 공학에서 얼마나 유용할지는 분명하지 않았습니다."라고 말했습니다. CMU에서 로봇 공학을 전공했으며 올 가을 뉴욕 대학교 교수진에 합류 할 예정입니다. 그와 그의 동료들은 소리를 사용하여 76 %의 시간 동안 물체를 성공적으로 분류하는 로봇으로 성능이 상당히 높다는 것을 발견했습니다.

그 결과는 매우 고무적이어서 미래의 로봇에 도구가 달린 지팡이를 장착하여 식별하려는 물체를 탭할 수 있도록하는 것이 유용 할 수 있다고 덧붙였습니다.

연구진은 지난달 가상 로봇 과학 및 시스템 컨퍼런스에서 연구 결과를 발표했습니다. 다른 팀원으로는 로봇 공학 부교수 인 Abhinav Gupta와 현재 Facebook 인공 지능 연구의 Pittsburgh 연구소에서 연구원으로 일하고있는 전 석사 학생 인 Dhiraj Gandhi가 있습니다.

연구를 수행하기 위해 연구원들은 장난감 블록, 수공구, 신발, 사과 및 테니스 공과 같은 일반적인 물체 60 개를 트레이 주위로 미끄러지거나 굴려서 충돌 할 때 비디오와 오디오를 동시에 기록하는 대규모 데이터 세트를 생성했습니다. 측면. 이후 그들은 다른 연구자들이 사용할 수 있도록 15,000 개의 상호 작용을 분류 한이 데이터 세트를 출시했습니다.

팀은 Sawyer 로봇의 팔에 부착 된 사각형 트레이 인 Tilt-Bot이라는 실험 장치를 사용하여 이러한 상호 작용을 캡처했습니다. 대규모 데이터 세트를 구축하는 효율적인 방법이었습니다. 그들은 트레이에 물체를 놓고 카메라와 마이크가 각 동작을 기록 할 때 다양한 기울기로 트레이를 임의의 방향으로 이동하는 데 몇 시간을 보낼 수있었습니다.

그들은 또한 소여를 사용하여 표면에 물체를 밀어 넣어 트레이 너머의 데이터를 수집했습니다.

이 데이터 세트의 크기는 전례가 없지만 다른 연구자들은 지능형 에이전트가 소리에서 정보를 수집하는 방법도 연구했습니다. 예를 들어, 로봇 공학 조교수 인 Oliver Kroemer는 소리를 사용하여 쌀이나 파스타와 같은 입상 물질의 양을 추정하거나 용기를 흔들거나 국자에서 이러한 물질의 흐름을 추정하는 연구를 주도했습니다.

Pinto는 로봇에 대한 소리의 유용성은 놀라운 것이 아니라고 말했지만 그와 다른 사람들은 그것이 얼마나 유용한 지에 대해 놀랐습니다. 예를 들어, 그들은 로봇이 한 세트의 물체의 소리에 대해 배운 것을 사용하여 이전에 보지 못한 물체의 물리적 특성에 대한 예측을 할 수 있다는 것을 발견했습니다.

"정말 흥미 진진한 점은 실패하면 실패 할 것으로 예상되는 일에 실패한다는 것입니다."라고 그는 말했습니다. 예를 들어 로봇은 소리를 사용하여 빨간색 블록과 녹색 블록의 차이를 구분할 수 없습니다. "그러나 그것이 블록 대 컵과 같은 다른 물체라면 그것을 알아낼 수있었습니다."