Microsoft의 Project Tokyo는 시각 장애가있는 사용자가 AI 및 AR로 '볼'수 있도록 도와줍니다.

[아름이]

Microsoft의 Project Tokyo는 시각 장애가있는 사용자가 AI 및 AR로 '볼'수 있도록 도와줍니다.

시각 장애가있는 모든 연령대의 사람들의 수는 전 세계적으로 2 억 8 천 8 백만 명으로 추정되며 그 중 4 천 5 백만 명이 맹인입니다. 2016 년 Microsoft는 가능한 한 도움을 제공하기 위해 미국, 영국, 중국, 일본 및 인도의 연구원들과 파트너십을 맺고 장애가있는 사람들이 주변 세계와 상호 작용하는 데 도움이 될 수있는 기술을 모색하는 Project Tokyo를 시작했습니다. 4 년 후,이 제품 은 착용자의 주위에있는 사람들에 대한 정보를 제공하는 알고리즘이 탑재 된 장치 (Microsoft의 HoloLens 증강 현실 헤드셋 의 수정 된 버전)와 결실을 맺었습니다 .

마이크로 소프트가 발행 한 블로그 포스트 에 따르면 , 리서치 그룹은 영국에서 브라질 리우데 자네이루의 2016 패럴림픽 게임에 이르기까지 다양한 수준의 시력을 가진 운동 선수와 관중을 팔로우하면서 다른 사람들과 어떻게 상호 작용하는지 관찰하면서 시작했습니다. 공항을 탐색하고 스포츠 경기장에 다니며 관광을했습니다. 프로젝트 도쿄 팀의 기계 학습 전문가는 앞에서 언급 한 알고리즘을 개발했으며,이 알고리즘은 전면 렌즈가 제거 된 HoloLens에 연결된 PC에 내장 된 그래픽 처리 장치에서 실행됩니다.

HoloLens의 카메라 밴드 위에 부착 된 LED 스트립은 사용자와 가장 가까운 사람을 추적하고 해당 사람이 식별되면 녹색으로 변합니다. 장치의 시야. 하나의 컴퓨터 비전 모델은 환경에서 사람들의 자세를 감지하여 위치와 거리를 파악합니다. 다른 하나는 헤드셋 카메라의 영상을 분석하여 사람들을 인식하고 이름을 시스템에 알리도록 선택했는지 여부를 결정합니다.

이 모든 정보는 오디오 신호를 통해 착용자에게 전달됩니다. 예를 들어, 수정 된 HoloLens가 사용자의 왼쪽에서 1 미터 떨어진 사람을 감지하면 대략 거리에서 왼쪽으로 오는 것처럼 클릭 소리가납니다. 사람의 얼굴을 인식하면 "범프"소리가 울리고 시스템에 알려진 사람을 발견하면 이름을 알려줍니다. 스트레칭 탄성 밴드와 유사한 별도의 제 2 층의 사운드는 사용자의 시선을 사람의 얼굴을 향해 안내한다.

HoloLens의 카메라가 사람의 코에 초점을 맞출 때 사용자는 높은 클릭 소리가 들리고 시스템에 알려진 사람의 이름이 들립니다. 사용자는 시스템에 의해 인식 될 수있는 권한을 부여한 사람의 모든 이름에 대한 개요를 요청하고 공간 판독 값을 얻을 수 있으며 누군가가 직접 보았을 때 공간화 된 차임으로 알려줍니다.

마이크로 소프트는 맹인 및 저시력 아동이 사회적 상호 작용 기술을 개발하도록 돕기 위해 축소 버전의 기술을 사용하고 있다고 밝혔다.

여전히 진행중인 Project Tokyo는 시각 장애가있는 사용자가 주변을 탐색 할 수 있도록 설계된 모바일 앱인 Microsoft의 Seeing AI 와 같은 노력의 발자취를 따릅니다 . 보다 최근에는이 기술 대기업은 시각 장애인이 정신지도를 작성하고 익숙하지 않은 공간에서 개인 경로를 선택할 수 있도록 바 이노 럴 오디오를 사용하는 내비게이션 앱인 Soundscape를 데뷔했습니다 .

2018 년 5 월에 발표 된 AI for Accessibility를 통해  Microsoft는 다음 5 년 동안 대학, 자선 단체 및 장애인을위한 AI 도구를 개발하는 다른 사람들에게 2,500 만 달러를 약속했습니다. 이 프로그램은 매 회계 분기마다 종자 교부금과 후속 자금 조달로 3 가지 범주 (일, 삶, 인간 관계)에서 가장 유망한 후보자 집단에게 보상하는 것을 목표로합니다.