Windows Mixed Reality camera settings provider

The Windows Mixed Reality camera settings provider determines the type of device, upon which the application is running and applies the appropriate configuration settings based on the display (transparent or opaque).

Enabling the Windows Mixed Reality camera settings provider

The following steps presume use of the MixedRealityToolkit object. Steps required for other service registrars may be different.

Select the MixedRealityToolkit object in the scene hierarchy.

Navigate the Inspector panel to the camera system section and expand the Camera Settings Providers section.

Click Add Camera Settings Provider and expand the newly added New camera settings entry.

Select the Windows Mixed Reality Camera Settings provider

When using the Microsoft Mixed Reality Toolkit default profiles, the Windows Mixed Reality camera settings provider will already be enabled and configured.

Configuring the Windows Mixed Reality camera settings provider

The Windows Mixed Reality Camera Settings also supports a profile. This profile provides the following options:

Render mixed reality capture from the photo/video camera

With this setting on HoloLens 2, you can enable hologram alignment in your mixed reality captures. If enabled, the platform will provide an additional HolographicCamera to the app when a mixed reality capture photo or video is taken. This HolographicCamera provides view matrices corresponding to the photo/video camera location, and it provides projection matrices using the photo/video camera field of view. This will ensure that holograms, such as hand meshes, remain visibly aligned in the video output.

HoloLens 2 reprojection method

Sets the initial method for HoloLens 2 reprojection. The default recommendation is to use depth reprojection, as all parts of the scene will be independently stabilized based on their distance from the user. If holograms still appear unstable, try ensuring all objects have properly submitted their depth to the depth buffer. This is sometimes a shader setting. If depth appears to be properly submitted and instability is still present, try autoplanar stabilization, which uses the depth buffer to calculate a stabilization plane. If an app is unable to submit enough depth data for either of those options to be usable, planar reprojection is provided as a fallback. This method will be based on an app’s provided focus point data via SetFocusPointForFrame.

To update the reprojection method at runtime, access the WindowsMixedRealityReprojectionUpdater like so:

This only needs to be updated once and the value is reused for all subsequent frames. If the method will be updated frequently, it’s recommended to cache the result of EnsureComponent instead of calling it often.

Locatable camera

HoloLens includes a world-facing camera mounted on the front of the device, which enables apps to see what the user sees. Developers have access to and control of the camera, just as they would for color cameras on smartphones, portables, or desktops. The same universal windows media capture and windows media foundation APIs that work on mobile and desktop work on HoloLens. Unity has wrapped these windows APIs to abstract camera usage features on HoloLens. Feature tasks include taking regular photos and videos (with or without holograms) and locating the camera’s position in and perspective on the scene.

Device camera information

HoloLens (first-generation)

Fixed focus photo/video (PV) camera with auto white balance, auto exposure, and full image-processing pipeline.

White Privacy LED facing the world will illuminate whenever the camera is active

The camera supports the following modes (all modes are 16:9 aspect ratio) at 30, 24, 20, 15, and 5 fps:

Video	Preview	Still	Horizontal Field of View (H-FOV)	Suggested usage
1280×720	1280×720	1280×720	45 deg	(default mode with video stabilization)
N/A	N/A	2048×1152	67 deg	Highest resolution still image
1408×792	1408×792	1408×792	48 deg	Overscan (padding) resolution before video stabilization
1344×756	1344×756	1344×756	67 deg	Large FOV video mode with overscan
896×504	896×504	896×504	48 deg	Low power / Low-resolution mode for image-processing tasks

HoloLens 2

Auto-focus photo/video (PV) camera with auto white balance, auto exposure, and full image-processing pipeline.

White Privacy LED facing the world will illuminate whenever the camera is active.

HoloLens 2 supports different camera profiles. Learn how to discover and select camera capabilities.

The camera supports the following profiles and resolutions (all video modes are 16:9 aspect ratio):

Profile	Video	Preview	Still	Frame rates	Horizontal Field of View (H-FOV)	Suggested usage
Legacy,0 BalancedVideoAndPhoto,100	2272×1278	2272×1278	15.30	64.69	High-quality video recording
Legacy,0 BalancedVideoAndPhoto,100	896×504	896×504	15.30	64.69	Preview stream for high-quality photo capture
Legacy,0 BalancedVideoAndPhoto,100	3904×2196	64.69	High-quality photo capture
BalancedVideoAndPhoto, 120	1952×1100	1952×1100	1952×1100	15.30	64.69	Long duration scenarios
BalancedVideoAndPhoto, 120	1504×846	1504×846	15.30	64.69	Long duration scenarios
VideoConferencing,100	1952×1100	1952×1100	1952×1100	15,30,60	64.69	Video conferencing, long duration scenarios
Videoconferencing,100	1504×846	1504×846	5,15,30,60	64.69	Video conferencing, long duration scenarios
Videoconferencing,100 BalancedVideoAndPhoto,120	1920×1080	1920×1080	1920×1080	15,30	64.69	Video conferencing, long duration scenarios
Videoconferencing,100 BalancedVideoAndPhoto,120	1280×720	1280×720	1280×720	15,30	64.69	Video conferencing, long duration scenarios
Videoconferencing,100 BalancedVideoAndPhoto,120	1128×636	15,30	64.69	Video conferencing, long duration scenarios
Videoconferencing,100 BalancedVideoAndPhoto,120	960×540	15,30	64.69	Video conferencing, long duration scenarios
Videoconferencing,100 BalancedVideoAndPhoto,120	760×428	15,30	64.69	Video conferencing, long duration scenarios
Videoconferencing,100 BalancedVideoAndPhoto,120	640×360	15,30	64.69	Video conferencing, long duration scenarios
Videoconferencing,100 BalancedVideoAndPhoto,120	500×282	15,30	64.69	Video conferencing, long duration scenarios
Videoconferencing,100 BalancedVideoAndPhoto,120	424×240	15,30	64.69	Video conferencing, long duration scenarios

Customers can leverage mixed reality capture to take videos or photos of your app, which include holograms and video stabilization.

As a developer, there are considerations you should take into account when creating your app if you want it to look as good as possible when a customer captures content. You can also enable (and customize) mixed reality capture from directly within your app. Learn more at mixed reality capture for developers.

Locating the Device Camera in the World

When HoloLens takes photos and videos, the captured frames include the location of the camera in the world and the lens model of the camera. This allows applications to reason about the position of the camera in the real world for augmented imaging scenarios. Developers can creatively roll their own scenarios using their favorite image processing or custom computer vision libraries.

«Camera» elsewhere in HoloLens documentation may refer to the «virtual game camera» (the frustum the app renders to). Unless denoted otherwise, «camera» on this page refers to the real-world RGB color camera.

Using Unity

To go from the ‘CameraIntrinsics’ and ‘CameraCoordinateSystem’ to your application/world coordinate system, follow the instructions in the Locatable camera in Unity article. CameraToWorldMatrix is automatically provided by PhotoCaptureFrame class, and so you don’t need to worry about the CameraCoordinateSystem transforms discussed below.

Using MediaFrameReference

These instructions apply if you’r using the MediaFrameReference class to read image frames from the camera.

Each image frame (whether photo or video) includes a SpatialCoordinateSystem rooted at the camera at the time of capture, which can be accessed using the CoordinateSystem property of your MediaFrameReference. Each frame contains a description of the camera lens model, which can be found in the CameraIntrinsics property. Together, these transforms define for each pixel a ray in 3D space representing the path taken by the photons that produced the pixel. These rays can be related to other content in the app by obtaining the transform from the frame’s coordinate system to some other coordinate system (e.g. from a stationary frame of reference).

Each image frame provides the following:

• Pixel Data (in RGB/NV12/JPEG/etc. format)
• A SpatialCoordinateSystem from the location of capture
• A CameraIntrinsics class containing the lens mode of the camera

The HolographicFaceTracking sample shows the fairly straightforward way to query for the transform between the camera’s coordinate system and your own application coordinate systems.

Using Media Foundation

If you are using Media Foundation directly to read image frames from the camera, you can use each frame’s MFSampleExtension_CameraExtrinsics attribute and MFSampleExtension_PinholeCameraIntrinsics attribute to locate camera frames relative to your application’s other coordinate systems, as shown in this sample code:

Distortion Error

On HoloLens, the video and still image streams are undistorted in the system’s image-processing pipeline before the frames are made available to the application (the preview stream contains the original distorted frames). Because only the CameraIntrinsics are made available, applications must assume image frames represent a perfect pinhole camera.

On HoloLens (first-generation), the undistortion function in the image processor may still leave an error of up to 10 pixels when using the CameraIntrinsics in the frame metadata. In many use cases, this error won’t matter, but if you’re aligning holograms to real world posters/markers, for example, and you notice a —>

Создание фотографий и видео смешанной реальности

HoloLens предоставляет пользователям возможность смешивать реальный мир с цифровым миром. Смешанный захват реальности (MRC) позволяет запечатлеть этот опыт в качестве фотографии или видео или поделиться тем, что вы видите с другими в режиме реального времени.

Смешанный захват реальности использует точку зрения от первого лица, чтобы другие люди могли видеть голограммы, как вы их видите. Для точки зрения от третьего лица используйте просмотр зрителя. Просмотр зрителя особенно полезен для демонстраций.

Несмотря на то, что обмениваться видео между друзьями и коллегами интересно, видео также могут научить других людей использовать приложение или связывать проблемы с приложениями и опытом.

Если вы не можете запустить опыты захвата смешанной реальности, а HoloLens — это устройство, обратитесь к системным администраторам. Доступ к камере может быть ограничен политикой компании.

Захват фотографии смешанной реальности

Существует несколько способов сфотографировать смешанную реальность на HoloLens. вы можете использовать аппаратные кнопки, голос или меню «Пуск».

Аппаратные кнопки для фотографии

Чтобы быстро сфотографировать текущее представление, нажмите кнопку громкости и громкости одновременно. Это немного похоже на версию HoloLens скриншота или экрана печати.

Удерживая кнопки громкости и громкости в течение трех секунд, вы начнете записывать видео, а не фотографию. Чтобы остановить запись, нажмите кнопки громкости и громкости одновременно.

Голосовые команды для фотографии

На HoloLens 2 версии 2004 (и более поздней версии) скажите: «Сфотографить».

В HoloLens (1-го поколения) или HoloLens 2 версии 1903 скажите: «Привет Кортана, сфотографирой».

Пуск меню для фотографии

Используйте жест Начните, чтобы перейти к Начните, а затем выберите значок камеры.

Указать голову в направлении того, что вы хотите захватить, а затем нажмите воздух, чтобы сделать фотографию. Вы можете продолжить нажатие воздуха и захват дополнительных фотографий. Все фотографии, которые вы запечатлете, будут сохранены на вашем устройстве.

Снова используйте жест Начните, чтобы закончить захват фотографий.

Захват видео смешанной реальности

Существует несколько способов записи видео смешанной реальности на HoloLens; вы можете использовать аппаратные кнопки, голос или меню «Пуск».

Аппаратные кнопки для записи видео

Самый быстрый способ записи видео — нажать и **** удерживать кнопки громкости и громкости одновременно до начала трех секунд обратного отсчета. **** Чтобы остановить запись, нажмите обе кнопки одновременно.

Быстрое нажатие кнопки громкости и громкости одновременно снимет, а не записывает видео. ****

Голос для записи видео

На HoloLens 2 версии 2004 (и более поздней версии) скажем: «Начало записи». Чтобы прекратить запись, скажите «Остановка записи».

В HoloLens (1-го поколения) или HoloLens 2 версии 1903 скажите: «Привет Кортана, начните запись». Чтобы прекратить запись, скажите «Привет Кортана, прекратите запись».

Пуск меню для записи видео

Используйте жест Начните, чтобы перейти к Начните, а затем выберите значок видео. Указать голову в направлении того, что вы хотите захватить, а затем нажмите воздух, чтобы начать запись. Будет три секунды обратного отсчета, и начнется запись.

Чтобы остановить запись, используйте жест Начните и выберите выделенную иконку видео. Видео будет сохранено на вашем устройстве.

Применяется только к HoloLens (1-й ген)
Обновление Windows 10 октября 2018 г. изменяет поведение жеста «Начните» и кнопки Windows в HoloLens (1-й ген). Перед обновлением кнопка «Начните» или «Windows» остановит запись видео. Однако после обновления кнопка Пуск или кнопка Windows **** открывают меню Пуск (или меню быстрых действий, если **** вы находитесь в иммерсивном приложении), из которого можно выбрать выделенную значок видео для остановки записи. ****

Поделиться тем, что вы видите в режиме реального времени

Вы можете поделиться тем, что вы видите в HoloLens, с друзьями и коллегами в режиме реального времени. Доступны несколько методов:

1. Подключение к устройству или адаптеру с поддержкой Miracast для просмотра по телевизору.
2. Использование портала устройств Windows для просмотра на компьютере
3. Использование приложения-компаньона Microsoft HoloLens для просмотра на компьютере.
4. Развертывание приложения Удаленной помощи Microsoft Dynamics 365, которое позволяет фронтовикам передавать удаленным экспертам то, что они видят. Затем удаленный эксперт может направлять фронтовую работу устно или с помощью аннотации в своем мире.

Совместное использование того, что вы видите на портале устройств Windows или в приложении-компаньоне Microsoft HoloLens, требуется, чтобы ваши HoloLens были в режиме разработчика.

Поток видео с Miracast

Используйте жест Начните, чтобы перейти к Начните, а затем выберите значок подключения. От выбранного выбора выберите устройство или адаптер с поддержкой Miracast, к которому необходимо подключиться.

Чтобы остановить общий доступ, используйте жест Начните и выберите выделенную значок подключения. Из-за потоковой передачи на вашем устройстве ничего не будет сохранено.

Поддержка Miracast была включена в HoloLens (1-й поколения) начиная с обновления Windows 10 октябрь 2018 .

Видео в режиме реального времени с порталом устройств Windows

Так как для общего доступа на портале устройств Windows требуется включить режим разработчика на HoloLens, следуйте инструкциям в документации разработчика, чтобы настроить режим разработчика и ориентироваться на портале устройств Windows.

Приложение-компаньон Microsoft HoloLens

Так как совместное использование через приложение-компаньон Microsoft HoloLens требует включения режима разработчика на HoloLens, следуйте инструкциям в документации разработчика, чтобы настроить режим разработчика. Затем скачайте приложение-компаньон Microsoft HoloLens и следуйте инструкциям в приложении для подключения к holoLens.

После настройки приложения с помощью HoloLens выберите параметр Live stream из основного меню приложения.

Просмотр фотографий и видео смешанной реальности

Фотографии и видео смешанной реальности сохраняются в «Рулон камеры» устройства. Содержимое этой папки можно просмотреть в holoLens с помощью приложения File Explorer (перейдите в файл Pictures > Camera Roll).

Вы также можете просматривать фотографии и видео смешанной реальности в приложении Photos, которое предварительно установлено на HoloLens. Чтобы закрепить фотографию в мире, выберите ее в приложении Photos и выберите Место в смешанном мире. Вы можете переместить фотографию по всему миру после ее размещении.

Чтобы просмотреть и/или сохранить фотографии и видео смешанной реальности на компьютере, подключенном к HoloLens, вы можете использовать портал устройств Windows или проводник файлов компьютера с помощью MTP.

Используйте Обозреватель файлов для получения фотографий, видео и файлов

Как и другие мобильные устройства, подключите HoloLens к компьютеру для получения доступа к библиотекам HoloLens (фотографии, видео, документы) для легкой передачи. Этот метод прост в использовании и не требует использования портала устройств или Wi-Fi.

1. Разблокировать устройство.
2. Подключение устройства к компьютеру с помощью USB.
3. Обозреватель файлов должен открыться на компьютере.
4. Перейдите к: этот PC\yourhololensname\Internal Storage\Pictures\Camera Roll
5. Скопируйте все необходимые файлы на компьютер.

• Если вы не видите никаких файлов, убедитесь, что вы вопишитесь в holoLens, чтобы включить доступ к вашим данным.
• Другие файлы можно получить в других папках, например диагностические файлы из папки Documents.
• Из Обозревателя файлов на компьютере можно выбрать свойства устройства, чтобы увидеть номер версии Windows Holographic OS (версия прошивки), серийный номер устройства и процент батареи.
• Если ваша организация использовала MDM для отключения подключения/allowUSBConnection, подключение к устройству будет невозможно.

Поделитесь фотографиями и видео смешанной реальности

После записи фотографии или видео смешанной реальности появится предварительный просмотр. Выберите значок share над предварительным просмотром, чтобы вывести помощника для обмена данными. Оттуда можно выбрать конечный пункт, в котором вы хотите поделиться этой фотографией или видео.

Вы также можете обмениваться фотографиями и видео смешанной реальности из OneDrive, автоматически загружая фотографии и видео смешанной реальности. Откройте приложение OneDrive в HoloLens и вопишитесь в личную учетную запись Майкрософт, если вы еще не сделали этого. Выберите значок параметров и выберите загрузку камеры. Включите загрузку камеры. Фотографии и видео смешанной реальности теперь будут загружаться в OneDrive при каждом запуске приложения на HoloLens.

Вы можете включить загрузку камеры в OneDrive только в том случае, если вы подписаны в OneDrive с личной учетной записью Майкрософт. Если вы настроили HoloLens с учетной записью работы или школы, вы можете добавить личную учетную запись Майкрософт в приложение OneDrive, чтобы включить эту функцию.

Ограничения захвата смешанной реальности

• При использовании захвата смешанной реальности частота кадров HoloLens будет сокращена вдвое до 30 Гц.
• Разрешение фотографий и видео может быть уменьшено, если фото- и видеокамеры уже используются другим приложением во время прямой трансляции или при низком уровне ресурсов системы.

Максимальная длина записи

На устройствах HoloLens 2 перед Windows Holographic видео версии 20H2, записанные на устройстве, ограничивались максимальной продолжительностью пять минут.

Благодаря отзывам клиентов мы увеличили продолжительность записи записей смешанной реальности. Записи смешанной реальности больше не будут ограничиваться 5 минутами по умолчанию, а будут вычислять максимальную длину записи в зависимости от доступного дискового пространства. Устройство будет оценить максимальную продолжительность записи видео на основе доступного пространства диска до 80% от общего пространства диска.

HoloLens будет использовать длину записи видео по умолчанию (5 минут), если происходит одно из следующих:

• Предполагаемая максимальная продолжительность записи меньше, чем по умолчанию 5 минут.
• Доступное пространство диска составляет менее 20% от общего пространства диска.