MotionParallax3D

MotionParallax3D дисплеи — класс устройств виртуальной реальности, позволяющих сформировать у пользователя иллюзию объемного предмета за счет отображения на экране специальной проекции виртуального объекта, сгенерированной в зависимости от положения пользователя относительно экрана.

Основы

Общий принцип построения проекции изображения в MotionParallax3D дисплеях

Изображение объекта, которое видит пользователь

Проекция виртуального объекта, выводимая на экран

Устройства данного класса содержат один или несколько плоских или изогнутых экранов, имеющих, в зависимости от форм-фактора устройства, различные размеры, форму и взаимное расположение. Проекции виртуальных объектов рассчитываются таким образом, что при наблюдении виртуального объекта, изображение, которое видит пользователь, полностью совпадает с изображением, которое он увидел бы, если бы виртуальный объект был реальным и находился в соответствующей точке реального пространства. Для построения и отображения корректных проекций виртуальных объектов системе виртуальной реальности требуются актуальные координаты, из которых осуществляется наблюдение виртуального мира (координаты глаз пользователей).

В отличие от стереодисплеев, задействующих только бинокулярное зрение, MotionParallax3D дисплеи задействуют такой механизм восприятия объёма, как параллакс движения. Параллакс движения – смещение частей изображения друг относительно друга с угловой скоростью, пропорциональной разнице расстояния между ними и наблюдателем, при изменении взаимного положения наблюдателя и объекта наблюдения. MotionParallax3D дисплеи задействуют этот механизм восприятия объёма путём постоянного перестроения изображения, исходя из актуальных координат глаз пользователя. Благодаря этому, виртуальные объекты смещаются друг относительно друга и относительно видимых реальных объектов по тем же законам и принципам, что и объекты реального мира. Это позволяет мозгу выстраивать целостную картину мира, содержащую одновременно реальные и виртуальные объекты с визуально неотличимым поведением. Задействование механизма параллакса движения в MotionParallax3D дисплеях является достаточным для того, чтобы мозг воспринимал виртуальные объекты, как имеющие определенную форму, объём, и расстояние от глаз пользователя.

Системы трекинга

Для того, чтобы проекция изображения, выводимая на экран, была корректной, системе необходимы максимально актуальные и точные координаты глаз пользователя. Эти координаты MotionParallax3D дисплеи получают из систем трекинга.

Системы трекинга для MotionParallax3D дисплеев могут строиться на различных принципах:

Оптические:
- на основе активных маркеров (NettleBox)
- на основе пассивных маркеров (EON ICube)
- на основе распознавания лиц, глаз, контуров головы и т.д. (Amazon Fire Phone)
Ультразвуковые (RUCAP UM-5)
Смешанные, сочетающие в себе несколько механизмов отслеживания, например, использующие, помимо оптических маркеров, гироскопы и акселерометры.

Показатели качества

Качество MotionParallax3D дисплеев, основным критерием которого является реалистичность восприятия виртуального мира, определяется сочетанием трех основных характеристик:

качеством стереоскопического разделения (если оно производится)
качеством рендеринга
геометрической корректностью проекции.

Качество стереоскопического разделения снижается вследствие гостинга (ghosting) – явления, при котором каждый глаз, помимо предназначенного для него изображения, воспринимает также и изображение, предназначенное для другого глаза. Причиной гостинга могут служить различные факторы, например, остаточное свечение люминофора в плазменных экранах или неполное совпадение направления поляризации при поляризационном стереоскопическом разделении.

Качество рендеринга в целом не является критичным в современных MotionParallax3D дисплеях, однако высокая детализация рендеринга и использование специальных эффектов позволяет задействовать психологические механизмы восприятия объема, такие как градиент текстуры, затенение, и т.д., что содействует повышению реалистичности восприятия.

Геометрическая корректность проекции 3D-сцены – наиболее значимый показатель качества MotionParallax3D дисплея. На геометрическую корректность проекции влияют точность отслеживания положения пользователя и промежуток времени между моментом начала определения положения пользователя и моментом вывода изображения на экран. Точность отслеживания непосредственно влияет на корректность проекции виртуального объекта и определяется общей геометрической ошибкой, зависящей от архитектуры и геометрии средств отслеживания и качества калибровки, а также интегрального показателя ошибки, вносимой шумом. Промежуток времени между моментом начала определения положения наблюдателя и моментом вывода изображения на экран является основной причиной геометрической некорректности проекции 3D-сцены в системах MotionParallax3D. Причиной возникновения задержки является то, что на все операции по определению положению пользователя, построению и выводу проекции, требуется время.

В современных MotionParallax3D дисплеях применяется технология предсказания положения пользователя, что позволяет частично скомпенсировать задержку, однако точность и горизонт предсказания сильно зависят от качества начальных данных (точность), а также количества выборок с координатами положения пользователя, получаемыми системой за единицу времени.

Особенностью зрительного восприятия является то, что мозг воспринимает задержку отображения виртуальных объектов не как задержку, а как искажение геометрии виртуальных объектов. В этом случае диссонанс между информацией, поступающей к пользователю по зрительному каналу восприятия и от вестибулярного аппарата может привести к проявлению у человека симптомов т.н. киберболезни, симптомами которой является тошнота, головная боль, боль в глазах. Чем выше качество MotionParallax3D дисплея, тем меньше шансов проявления у пользователя вышеописанных симптомов. Хотя стоит отметить, что даже в случае идеального MotionParallax3D дисплея симптомы киберболезни могут проявиться у восприимчивых людей из-за диссонанса зрительных механизмов фокусировки и конвергенции: если виртуальный объект располагается на значительном удалении от плоскости, на которую выводится проекция изображения, попытка свести глаза и сфокусироваться на виртуальном объекте может привести к прямо противоположному результату.

Место MotionParallax3D дисплеев среди систем виртуальной реальности

NettleBox virtual reality display

На сегодняшний день все широко распространенные устройства компьютерной виртуальной реальности можно условно разделить на два больших класса^{[источник не указан 3458 дней]}:

MotionParallax3D дисплеи
HMD (head-mounted display) дисплеи.

Кроме этих двух классов устройств существуют довольно экзотические варианты: например, система CastAR, в которой получение корректной проекции изображения на плоскости достигается за счет расположения проекторов непосредственно на очках. Но пока что такие устройства широко не распространены и существуют лишь в виде прототипов.

Шлемы виртуальной реальности, как правило, полностью изолируют пользователя от реального мира, в то время, как MotionParallax3D дисплеи в той или иной степени позволяют ориентироваться в окружающем пространстве. Но это также накладывает на MotionParallax3D дисплеи определенные ограничения: поскольку пользователь видит одновременно и реальные и виртуальные объекты, необходимо, чтобы их поведение было идентичным, что достигается путём уменьшения вышеупомянутой задержки до приемлемых величин (не более 20 мс).

Известные реализации

Благодаря тому, что MotionParallax3D дисплеи представляют собой систему трекинга, сопряжённую с устройствами формирования и вывода изображения, существует множество различных форм-факторов как по размеру: от смартфона до виртуальной комнаты, так и по степени погружения в виртуальный мир: от окна в виртуальный мир размером в 2-3 дюйма до систем с полным погружением. Ниже представлены наиболее распространенные представители устройств, которые можно отнести к данному классу.