|
In this video, we will continue talking about VR hardware. In particular, we will focus on head tracking. First of all, as mentioned in the previous videos, we tracked the user's head in order to update the displays according to the user's viewpoint. It's important we can do it very quickly to maintain emotion.
Most VR devices on the market have this tracking latency controlled at level of single digit milliseconds. So it's not noticeable in most cases. There are other processes in this procedure that could cause further delays in updating the graphics, but they are independent of the tracking technology we're talking about here. And we will discuss those other factors later in the course.
Secondly, we need to track the user's viewpoint in the 3D space. This implies we have to track their head rotation and position. In the CAVE, there are normally built-in systems in the small tracker which the user wears on top of their shutter glasses. The built-in tracking system tracks the user's head rotation using accelerometer or gyrometer or both. They can be very tiny and the same methods are actually used in most smartphones in order to support features such as autorotation when you flip your phone like this. For position tracking, external optical tracking devices are normally used.
In the CAVE, it could be several ceiling-mounted infrared cameras pointing at a user so they can calculate the position of the user in the 3D space and feed the data to the machine, which then takes care of updating the display accordingly. Here, how you mount the cameras is important as this defines the range of capturing. So when you come outside of the CAVE or come very close to one of the walls, you might lose position tracking as not all cameras can see the head tracker. The same applies to HMD head-tracking. We would need to use built-in accelerometers and gyrometers to track the user's head rotation and external optical devices to track their head position.
In this case, the external infrared sensor is mounted in front of the user as you can see here. And again, the range of capturing depends on how the sensor is set up. If the sensor is set up in front of you and you move away to a place where the sensor can no longer see you, then we lose position tracking, which means the graphics can no longer update according to your viewing position. It is important to mention that not all devices come with position tracking. Some have rotation tracking only. This means that you can still look around but you are stuck where you are. You won't be able to move around in VR with your body to get closer to certain objects or observe them from a different angle like you can in real life. You can still navigate the 3D environment with a controller, a touchpad or joystick, but it won't be as natural, and you won't have a good sense of scale in VR without this position tracking.
In fact, none of the mobile devices currently on the market come with position tracking, be it Google Daydream or Samsung Gear VR. It's normally a HMD box for you to slot in your smartphone, and they don't come with external optical tracking sensors like the high-end HMD devices do. Part of the reason for this is that mobile VR is very much about their unsophisticated setup, and that you can move freely in a room without out of range problems. So it's against the design principles to add a sensor which will then bring new constraints. Also, integrating position tracking and updating the graphics in real time potentially could consume a lot of computational power, which is more difficult to support with just a mobile phone.
There are possible technical solutions to track the position of the HMDs without relying on external position tracking devices. For instance, a technology called self-tracking or inside-out tracking has had some success. It is beyond the scope of this course but you're free to read about it. It's basically still a challenging problem in machine vision. You might get it to work in certain conditions, but it might not be robust enough to work in everyone's living room with their own personal lighting conditions. At the time of recording, I have not seen a consumer-oriented VR headset that comes with robust position tracking, but this might change quite quickly over time. It is something to watch out for before buying your VR device. It is possible in the near future we will have wireless HMDs powered by desktop machines, for instance, Bluetooth. So users are free from the constraints of cables yet benefiting from a very powerful machine, which enables sophisticated graphics and interactions beyond the computational power of a mobile phone.
이 영상에서는 VR 하드웨어에 대한 이야기를 이어가도록 하겠습니다. 특히 헤드 트래킹에 주력할 예정입니다. 먼저, 이전 영상에서 언급했듯이 사용자의 관점에 따라 디스플레이를 업데이트하기 위해 사용자의 머리를 추적했습니다. 감정을 유지하기 위해서는 우리가 그것을 매우 빨리 할 수 있어야 합니다.
시판 중인 대부분의 VR 장치에는 이 추적 대기 시간이 한 자리 수 밀리초 단위로 제어됩니다. 그래서 대부분의 경우 눈에 띄지 않습니다. 이 절차에는 그래픽 업데이트가 더 지연될 수 있는 다른 프로세스가 있습니다. 하지만 이 프로세스는 우리가 여기서 언급하고 있는 추적 기술과 무관합니다. 그리고 우리는 그 다른 요소들에 대해 나중에 토론할 것입니다.
둘째, 3D 공간에서 사용자의 관점을 추적해야 합니다. 이것은 우리가 그들의 머리 회전과 위치를 추적해야 한다는 것을 의미합니다. CAVE에는 일반적으로 사용자가 셔터 안경 위에 착용하는 소형 Tracker에 내장된 시스템이 있습니다. 내장된 추적 시스템은 가속도계 또는 회전계 또는 둘 모두를 사용하여 사용자의 헤드 회전을 추적합니다. 그것들은 매우 작을 수 있고 대부분의 스마트폰에서 실제로 동일한 방법이 사용되어 휴대폰을 이렇게 뒤집을 때 자동 회전과 같은 기능을 지원합니다. 위치 추적의 경우 일반적으로 외부 광학 추적 장치가 사용됩니다.
CAVE에서는 사용자를 가리키는 여러 개의 천장에 장착된 적외선 카메라가 있어 사용자가 3D 공간에 있는 사용자의 위치를 계산하고 데이터를 기계에 공급할 수 있습니다. 그러면 그에 따라 디스플레이를 업데이트해야 합니다. 여기서 카메라를 장착하는 방법은 캡처 범위를 정의하기 때문에 중요합니다. 따라서 CAVE 밖으로 나오거나 벽 중 하나에 매우 가까이 접근하면 모든 카메라가 헤드 트래커를 볼 수 없기 때문에 위치 추적이 손실될 수 있습니다. HMD 헤더 트래킹에도 동일하게 적용됩니다. 사용자의 헤드 회전과 외부 광학 장치를 추적하기 위해 내장된 가속도계와 회전계를 사용해야 합니다.
이 경우 외부 적외선 센서는 여기 보시는 것처럼 사용자 앞에 장착됩니다. 또한 캡처 범위는 센서가 어떻게 설정되느냐에 따라 달라집니다. 센서가 앞에 설정되어 있고 센서가 더 이상 볼 수 없는 곳으로 이동하면 위치 추적이 손실됩니다. 즉, 그래픽이 더 이상 사용자의 보기 위치에 따라 업데이트될 수 없습니다. 모든 장치가 위치 추적과 함께 제공되는 것은 아닙니다. 회전 추적만 있는 경우도 있습니다. 이것은 여러분이 여전히 주위를 둘러볼 수 있지만 여러분이 있는 곳에 갇혀 있다는 것을 의미합니다. 특정 물체에 접근하거나 실제 생활에서처럼 다른 각도에서 관찰하기 위해 몸으로 VR에서 이동할 수 없게 됩니다. 컨트롤러, 터치패드 또는 조이스틱을 사용하여 3D 환경을 탐색할 수 있지만 자연스럽지 않으며 이 위치 추적 없이 VR에서 뛰어난 확장 감각을 얻을 수 없습니다.
실제로 현재 시중에 나와 있는 모바일 기기 가운데 구글 데이몽이나 삼성 기어 VR 등 위치추적이 가능한 제품은 한 대도 없습니다. 일반적으로 스마트폰에 슬롯을 장착할 수 있는 HMD 박스이며, 고급 HMD 장치처럼 외부 광학 추적 센서와 함께 제공되지 않습니다. 그 이유 중 하나는 모바일 VR은 세련되지 않은 설정과 관련된 것이고, 범위 밖의 문제 없이 자유롭게 이동할 수 있기 때문입니다. 따라서 새로운 제약을 가져오는 센서를 추가하는 것은 설계 원칙에 어긋납니다. 또한 위치 추적 및 그래픽 업데이트를 실시간으로 통합하면 많은 컴퓨팅 파워가 소모될 수 있으므로 휴대폰만으로 지원하기가 더 어렵습니다. 외부 위치 추적 장치에 의존하지 않고 HMD의 위치를 추적할 수 있는 기술적 솔루션이 있습니다. 예를 들어, 자체 추적 또는 내부 추적이라고 하는 기술은 어느 정도 성공을 거두었습니다. 본 코스의 범위를 벗어나지만, 자유롭게 읽어보실 수 있습니다. 기본적으로 기계 시력에 있어 여전히 어려운 문제입니다. 어떤 조건에서 작동하게 될 수도 있지만, 모든 사람들의 거실에서 그들만의 조명 조건을 가지고 작동하기에는 충분히 강력하지 않을 수도 있습니다. 녹화 당시, 강력한 위치추적 기능이 탑재된 소비자 중심의 VR 헤드셋은 보지 못했지만, 시간이 지남에 따라 상당히 빠르게 변경될 수 있습니다. VR 기기를 구입하기 전에 주의해야 할 사항입니다. 머지 않아 데스크톱 컴퓨터(예: Bluetooth)로 구동되는 무선 HMD를 보유할 수 있습니다. 그래서 사용자들은 케이블의 제약으로부터 자유롭지만 매우 강력한 기계로부터 이익을 얻습니다. 이 기계는 휴대폰의 계산 능력을 넘어 정교한 그래픽과 상호작용을 가능하게 합니다.
|