Что такое смешанная реальность? What is Mixed Reality?

Смешанная реальность — это сочетание физического и цифрового миров, позволяющее реализовать возможности взаимодействия между человеком, компьютером и средой. Mixed Reality is a blend of physical and digital worlds, unlocking the links between human, computer, and environment interaction. Такая новая реальность стала возможной благодаря развитию систем компьютерного зрения, графической вычислительной мощности, технологий для дисплеев и систем ввода. This new reality is based on advancements in computer vision, graphical processing power, display technology, and input systems. Термин смешанная реальность впервые появился в документе 1994 года A Taxonomy of Mixed Reality Visual Displays (Таксономия визуальных дисплеев для смешанной реальности) за авторством Пола Милграма (Paul Milgram) и Фумио Кисино (Fumio Kishino). However, the term Mixed Reality was introduced in a 1994 paper by Paul Milgram and Fumio Kishino, «A Taxonomy of Mixed Reality Visual Displays.» В этом документе они описали концепцию виртуального континуума и применение таксономии этой классификации к дисплеям. Their paper explored the concept of the virtuality continuum and the categorization of taxonomy applied to displays. С тех пор смешанная реальность начала применяться не только к дисплеям и теперь включает следующие возможности: Since then, the application of Mixed Reality has gone beyond displays to include:

• ввод через взаимодействие со средой; Environmental input
• пространственный звук Spatial sound
• расположение и позиционирование в реальном и виртуальном пространствах. Locations and positioning in both real and virtual spaces

Изображение: смешанная реальность является результатом смешения физического и цифрового миров. Image: Mixed Reality is the result of blending the physical world with the digital world.

Ввод и восприятие через окружающую среду Environmental input and perception

За последние десятилетия исследование связей между человеческим и компьютерным вводом выделилось в отдельную дисциплину — человеко-машинное взаимодействие (HCI). Over the past several decades, exploration into the relationship between human and computer input has continued, leading to the discipline known as human computer interaction or HCI. Человек может вводить данные через разные средства, включая клавиатуры, мыши, касание, рукописный ввод, речь и даже отслеживание движений с помощью Kinect. Human input happens through different means, including keyboards, mice, touch, ink, voice, and even Kinect skeletal tracking.

Развитие технологий датчиков и обработки зарождает новую эру ввода данных в компьютеры через взаимодействие со средой. Advancements in sensors and processing are creating new areas of computer input from environments. Взаимодействие между компьютерами и средой подразумевает анализ среды или ее восприятие. Именно поэтому API в Windows, которые предоставляют информацию о среде, называются API восприятия. The interaction between computers and environments is environmental understanding or perception, which is why the API names in Windows that reveal environmental information are called the perception APIs. Ввод через окружающую среду позволяет собрать такие данные, как расположение человека в реальном мире (например, отслеживание головы), поверхности и границы (например, пространственное картирование и интерпретация сцены), общее освещение, пространственный звук, распознавание объектов и расположение. Environmental input captures things like a person’s position in the world (head tracking), surfaces, and boundaries (spatial mapping and scene understanding), ambient lighting, environmental sound, object recognition, and location.

Изображение: взаимодействие между компьютерами, людьми и средами.
Image: The interactions between computers, humans, and environments.

Сочетание трех элементов — компьютерные вычисления, введенные пользователем сведения и сведения о среде — позволяет создавать полноценные взаимодействия смешанной реальности. The combination of all three — computer processing, human input, and environmental input — sets the stage for creating true Mixed Reality experiences. Перемещение по физическому миру преобразовывается в движение в цифровом мире. Movement through the physical world translates to movement in the digital world. Границы физического мира влияют на работу приложений в цифровом мире, например игр. Boundaries in the physical world influence application experiences, such as game play, in the digital world. Без ввода через окружающую среду невозможно сочетать взаимодействия с физическим и цифровым мирами. Without environmental input, experiences can’t blend between physical and digital realities.

Спектр смешанной реальности The Mixed Reality spectrum

Так как смешанная реальность объединяет физические и цифровые миры, эти две реальности определяют противоположные концы спектра, называемого континуумом виртуальности. Since Mixed Reality blends both physical and digital worlds, these two realities define the polar ends of a spectrum known as the virtuality continuum. Мы называем набор реальностей спектром смешанной реальности. We refer to the array of realities as the Mixed Reality spectrum. На одном конце находится физическая реальность, в которой существуют люди. On the left-hand side, we have the physical reality that we as humans exist in. На другом — соответствующая цифровая реальность. On the right-hand side, we have the corresponding digital reality.

Дополненная и виртуальная реальность Augmented vs. virtual reality

Большинство мобильных телефонов, доступных сейчас на рынке, почти не имеют возможностей для восприятия окружающей среды. Most mobile phones on the market today have little to no environmental understanding capabilities. Они не способны обеспечить взаимодействие, сочетающее физический и цифровой миры. The experiences they offer can’t mix physical and digital realities. Взаимодействия, включающие наложение графики на видеопотоки из физического мира, называются дополненной реальностью. The experiences that overlay graphics on video streams of the physical world are augmented reality. Взаимодействия, в которых ваш взгляд на физический мир перекрывается цифровым устройством, — это виртуальная реальность. The experiences that occlude your view to present a digital experience are virtual reality. Взаимодействия, реализованные между дополненной и виртуальной реальностями, формируют смешанную реальность: The experiences enabled between augmented and virtual reality form Mixed Reality:

• Физический мир берется за основу, и в нем размещается цифровой объект (голограмма), как будто он на самом деле присутствует там. Starting with the physical world, placing a digital object, such as a hologram, as if it was there.
• Физический мир берется за основу, и в нем размещается представление другого человека (аватар), которое обозначает расположение этого человека при создании заметок. Starting with the physical world, a digital representation of another person—an avatar—shows the location where they were standing when leaving notes. Иными словами, эти взаимодействия поддерживают асинхронную совместную работу в разные моменты времени. In other words, experiences that represent asynchronous collaboration at different points in time.
• Физический мир берется за основу, а его реальные границы и препятствия (например, стены и мебель) отображаются в цифровом представлении так, чтобы пользователь мог избегать реальных объектов. Starting with a digital world, physical boundaries from the physical world like walls and furniture appear digitally within the experience to help users avoid physical objects.

Изображение: спектр смешанной реальности Image: The Mixed Reality spectrum

Большинство существующих предложений для дополненной и виртуальной реальности отражают лишь малую часть этого спектра и считаются составляющей более широкого спектра смешанной реальности. Most augmented reality and virtual reality offerings available today represent a small part of this spectrum and are considered subsets of the larger Mixed Reality spectrum. Windows 10 создавалась с учетом всего этого спектра и позволяет организовать полноценное смешение цифровых представлений людей, мест и объектов с реальным миром. Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

Устройства и взаимодействия Devices and experiences

Существует два основных типа устройств, которые поддерживают взаимодействия Windows Mixed Reality: There are two main types of devices that deliver Windows Mixed Reality experiences:

1. Голографические устройства — устройства, способные размещать цифровое содержимое в реальном мире так, как если бы оно существовало там на самом деле. Holographic devices are characterized by the device’s ability to place digital content in the real world as if it were there.
2. Иммерсивные устройства — устройства, способные создавать ощущение присутствия, то есть полностью скрывать реальный мир и заменять его цифровым взаимодействием. Immersive devices are characterized by the device’s ability to create a sense of «presence»—hiding the physical world, and replacing it with a digital experience.

Характеристика Characteristic	Голографические устройства Holographic devices	Иммерсивные устройства Immersive devices
Примеры устройствExample device	Microsoft HoloLens; Microsoft HoloLens	Samsung HMD Odyssey+ Samsung HMD Odyssey+
Дисплей Display	Прозрачный дисплей. See-through display. Позволяет пользователю с гарнитурой видеть реальную физическую среду. Allows user to see the physical environment while wearing the headset.	Непрозрачный дисплей. Opaque display. Блокирует реальную физическую среду для пользователя с гарнитурой. Blocks out the physical environment while wearing the headset.
Перемещение Movement	Перемещения с шестью степенями свободы, включая вращение и преобразование. Full six-degrees-of-freedom movement, both rotation and translation.	Перемещения с шестью степенями свободы, включая вращение и преобразование. Full six-degrees-of-freedom movement, both rotation and translation.

Возможность подключения устройства к отдельному компьютеру по USB-кабелю или через Wi-Fi и (или) работы в автономном режиме без подключения не дают никакой информации о том, является устройство голографическим или иммерсивным. Whether a device is connected to or tethered to a separate PC (via USB cable or Wi-Fi) or self-contained (untethered) doesn’t reflect whether a device is holographic or immersive. Любые возможности для повышения мобильности улучшают качество взаимодействия. Но как голографические, так и иммерсивные устройства могут быть подключаемыми или не подключаемыми. Features that improve mobility lead to better experiences, and both holographic and immersive devices could be tethered or untethered.

Развитие технологий позволяет создавать новые взаимодействия со смешанной реальностью, но их полный спектр доступен далеко не всем современным устройствам. Technological advancement enables Mixed Reality experiences, but there aren’t any devices today that can run experiences across the entire spectrum. Windows 10 предоставляет производителям устройств и разработчикам ПО единую платформу для смешанной реальности. Windows 10 provides a common Mixed Reality platform for both device manufacturers and developers. Современные устройства могут поддерживать лишь определенный сегмент из спектра смешанной реальности, но в новых устройствах он расширен. Devices today can support a specific range within the Mixed Reality spectrum, with new devices expanding that range. В будущем голографические устройства станут более иммерсивными, а иммерсивные — более голографическими. In the future, holographic devices will be immersive, and immersive devices will be more holographic.

Изображение: расположение устройств в спектре смешанной реальности Image: Where devices exist on the Mixed Reality spectrum

Оптимально, если разработчики заранее определяют, какой тип взаимодействия будет реализован в приложении или игре. It’s best to think what type of experience an application or game developer wants to create. Эти взаимодействия будут соответствовать определенной точке или сегменту нашего спектра. The experiences will typically target a specific point or part on the spectrum. Затем разработчикам необходимо оценить возможности тех устройств, для которых разрабатывается приложение. Developers should consider the capabilities of devices they want to target. Взаимодействия на основе реального мира лучше всего выполнять на HoloLens. Experiences that rely on the physical world will run best on HoloLens.

• Ближе к левому краю (физическая реальность).Towards the left (near physical reality). Пользователь остается в своей физической среде и никогда не получает оснований думать, что покидает ее. Users remain present in their physical environment and are never made to believe they have left that environment.
• В середине (полноценная смешанная реальность).In the middle (fully Mixed Reality). В этих взаимодействиях реальный и цифровой мир переплетаются друг с другом. These experiences blend the real world and the digital world. Те, кто смотрел фильм Джуманджи, могут вспомнить смешение физической структуры дома, в котором происходят события, с джунглями из игры. Viewers who have seen the movie Jumanji can reconcile how the physical structure of the house where the story took place was blended with a jungle environment.
• Ближе к правому краю (почти цифровая реальность).Towards the right (near digital reality). Пользователи взаимодействуют с цифровой средой и не отслеживают, что окружает их в реальном мире. Users experience a digital environment, and are unaware of what occurs in the physical environment around them.

Следующий этап Next Discovery Checkpoint

Если вы следуете изложенному нами плану обучения, сейчас вы находитесь в середине своего пути знакомства с основами смешанной реальности. If you’re following the discovery journey we’ve laid out, you’re in the midst of exploring the basics of Mixed Reality. Отсюда вы можете перейти к следующей основной теме: From here, you can continue to the next foundational topic: