Отслеживание рук Oculus Quest: все, что вам нужно, это одна гарнитура и достаточно места, чтобы  не наткнутся на своих питомцев

Отслеживание рук Oculus Quest: все, что вам нужно, это одна гарнитура и достаточно места, чтобы не наткнутся на своих питомцев

Об отслеживании рук в Quest, которое идеально подходит для опыта с легким взаимодействием, рассказывает Бобби Карлтон (Bobby Carlton) – автор статей на тему захватывающих технологий.

Во время Oculus Connect 6 в Сан-Хосе, штат Калифорния, Марк Цукерберг (Mark Zuckerberg) объявил, что Oculus Quest позволит отслеживать руки и пальцы без необходимости использования ручных контроллеров, и, конечно же, я не мог дождаться, когда уже попробую это. Я был так взволнован, ведь хотел увидеть, как это изменит текущий и будущий опыт погружения.

В итоге, не разочаровался. Отслеживание рук в Quest без необходимости использования какого-либо дополнительного оборудования показывает многообещающие перспективы для Quest и VR в целом. Это не идеально, но определенно шаг в правильном направлении.

Первоначально отслеживание рук началось как экспериментальный исследовательский проект в Facebook Reality Labs . Их команда по компьютерному зрению придумала новый метод глубокого обучения, чтобы понять положение ваших пальцев, используя только монохромные камеры, представленные в Quest, без активных камер с определением глубины, дополнительных датчиков или дополнительных процессоров. Технология приближает форму вашей руки и создает набор трехмерных точек, чтобы точно представить движение вашей руки и пальца в виртуальной реальности.

По сути, Quest применяет  встроенные датчики глубины и камеры для отслеживания каждого сустава и поверхности ваших рук, а затем использует данные для отражения этих движений в вашей виртуальной реальности.

Чтобы показать, как работает эта технология, Facebook предложила участникам продемонстрировать практическую демонстрацию, используя их виртуальную игру Elixir в демонстрационной зоне Oculus Connect 6.

Плюсы

В тот момент, когда надеваете гарнитуру Quest, руки мгновенно оказываются перед вами. Я был впечатлен тем, как быстро Quest смог откалибровать мои пальцы и привести их в чувство в виртуальной среде. Ваша естественная реакция заключается в том, чтобы просто начать двигать руками во всех направлениях, размахивать ими перед собой, сжимать кулаки и разводить пальцы, чтобы убедиться, что отслеживание действительно верно.

Датчики глубины работают очень хорошо, считывая расстояние между руками и лицом – это, на самом деле, как вы взаимодействуете в эликсире. Игра помещает вас в потустороннюю лабораторию, усеянную сочными зелеными жидкостями, ужасными звуковыми эффектами и странными деревянными машинами – эстетика, похожая на то, что вы можете увидеть в фильме о Гарри Поттере. Голос направляет вас и поощряет взаимодействовать с различными объектами, разбросанными по всей лаборатории. Посетители могли подталкивать пузырьки, плавающие в жутком котле, махать руками над горящими свечами, даже окунать пальцы в странную липучку и видеть, как их руки меняют цвет.

Еще один впечатляющий элемент, который я заметил, заключался в том, насколько точно проходило отслеживание за пределами установленного поля зрения. Когда я вытянул руки за пределы поля зрения гарнитуры и вернул их в периферийное зрение, мои виртуальные руки снова вошли в поле зрения именно там, где они остались. Нет внезапного появления или отставания; вместо этого – плавный переход, позволяющий  погрузиться в опыт.

Минусы

Тем не менее, я обнаружил, что действительно быстрые движения заставляют гарнитуру довольно легко терять отслеживание рук. У пальцев или кистей рук могут возникнуть проблемы с задержкой, или гарнитура просто потеряет трек, в результате чего руки виртуальной реальности перевернутся или повернутся назад, когда гарнитура попытается откалибровать.

Хотя для перекалибровки потребовалось всего несколько секунд, этого было достаточно, чтобы сломать погружение, и я нахожу это немного разочаровывающим.

Поэтому, возможно, отслеживание рук может быть не лучшим решением для быстро меняющихся игр, таких как Beat Sabre или долгожданный Pistol Whip, однако, это может быть отличным способом взаимодействия с социальными событиями виртуальной реальности, такими как предстоящий Facebook Horizon, AltSpaceVR  или другой опыт виртуальной реальности, где быстрые движения не требуются, такие как Richie’s Plank Experience или PokerStars VR.

Относительно действий, таких как создание меню или телепортация вокруг виртуальных сред, возможно, что жесты рук, такие как те, что используются с Microsoft HoloLens или Leap Motion, могли бы решить эту проблему. Существует также несколько вариантов виртуальной реальности, в которых используются собственные уникальные системы, активируемые жестами, например, популярная социальная платформа для мини-игр Rec Room, дающая возможность пользователям открывать различные меню и страницы настроек, взявшись за руки и глядя на виртуальные часы.

Конечно, команда Facebook, скорее всего, уже говорила об этом. Если вы когда-либо использовали платформу Facebook Spaces , которая скоро исчезнет, то знаете, что пользователи могут открыть небольшое меню, перевернув руки и дотронувшись до запястий. Этот пассивный тактильный опыт может легко проявиться в Quest, который, между прочим, мог гипотетически использовать вашу руку как способ ввести дополнительные параметры контроллера с помощью постукивания.

В целом, мне очень нравится отслеживание рук в Quest и все возможности, которые он открывает. Однако, в конце концов, мне было немного неудобно не иметь в руках контроллер для манипулирования объектами в виртуальной среде, и я обнаружил, что мне не хватает тактильной обратной связи, когда я прикасаюсь к объекту.

К этой функции нужно будет привыкнуть. Такое странное чувство отсутствия ощущения при прикосновении или захвате чего-либо.

Не поймите меня неправильно, я всегда думал, что для виртуальной реальности нужно меньше оборудования, однако, теперь полагаю, что, возможно, нам нужен контроллер. Не для каждого опыта, но определенно для некоторых случаев.

Осознавая потенциал отслеживания рук, вижу, что это играет действительно большую роль в том, как мы справляемся со всем: от профессиональной подготовки, образования – до развлечений, общения и многого другого.

Нава Берг (Navah Berg), социальный авторитет VR, который присутствовал на Oculus Connect 6, сказал VRScout: «Отслеживание рук – это почти то же самое, что отключение ваших тренировочных колес. Снятие контроллеров делает процесс намного более реальным, потому что свободное движение без оборудования в ваших руках дает вам ощущение свободы и абсолютной реальности».

Надеть гарнитуру просто проще и удобнее, и, развиваясь со своим оборудованием, Facebook позиционирует себя как компания, полностью стоящая за VR и AR. Oculus Quest определенно позиционирует себя как массовая гарнитура, которая может, в конечном счете, привести к глобальному внедрению VR-технологии.

Мы прошли долгий путь с момента выпуска потребительского товара Oculus. Когда Oculus Rift впервые появились в продаже, у них не было средств управления движением – только игровой контроллер Xbox One. Лишь несколько месяцев спустя владельцы Rift смогли перенести свои впечатления от виртуальной реальности через Oculus Touch.

Всего шесть месяцев назад опыт виртуальной реальности означал приобретение гарнитуры, датчиков, ручных контроллеров и дорогого ПК игрового уровня. Теперь все, что вам нужно, это одна гарнитура и достаточно места, чтобы вы не наткнулись на своих питомцев. Это довольно большой скачок для виртуальной реальности, и отслеживание рук – еще один шаг вперед.

Отслеживание рук появится в качестве экспериментальной функции в Oculus Quest в начале 2020 года .

Оставьте свой комментарий