RELEASES

Changelog

This release is compatible with 2019.1 and above.

Since UnityModules 4.6.0, this release:

• Updates the LeapC.dll’s
• Adds Support for new «ScreenTop» Tracking Mode; Compatible with 4.9+ Services
• Consolidates editor scripts and add an .asmdef to remove the errors/warnings related to SpatialTracking.
• Adds backwards compatibility back to 2017.4
• Adds a convenience function for the Projected Hand Ray Direction
• Optimizes the rendering performance of Capsule Hands with Instancing
• Adds Advanced Mode Menus to the LeapServiceProviders to tidy up their Inspector
• Adds Server Namespaces (INTERNAL ONLY)

Thanks to our contributors,
@Niram7777
@MaxPalmer-UH / @DrMaxP
@nickjbenson
@zalo

Changelog

This is the 2018.4 Compatibility Release.

• Updates the LeapC.dll’s
• Adds Support for new «ScreenTop» Tracking Mode; Compatible with 4.9+ Services
• Consolidates editor scripts and adds an .asmdef to remove the errors/warnings related to SpatialTracking
• Adds backwards compatibility back to 2017.4
• Adds a convenience function for the Projected Hand Ray Direction
• Optimizes the rendering performance of Capsule Hands with Instancing
• Adds Advanced Mode Menus to the LeapServiceProviders to tidy up their Inspector
• Adds Server Namespaces (INTERNAL ONLY)
• Reserializes Scenes for Unity 2018.4 LTS

Thanks to our contributors,
@Niram7777
@MaxPalmer-UH / @DrMaxP
@nickjbenson
@zalo

TouchFree is a software application that runs on an interactive kiosk or advertising totem. It detects a user’s hand in mid-air and converts it to an on-screen cursor.

Minimum system requirements

• Ultraleap Leap Motion Controller or Stereo IR 170 camera module
• Ultraleap Compatible SDK
• Windows® 10, 64-bit
• Minimum Intel HD Graphics 530
• Intel® Core i5/i7 processor
• 4 GB RAM
• USB 2.0 port

Changelog

• Updates the LeapC.dll’s for the impending Orion 4.1.0 Release
• Adds a new Visualization Gizmo for the StereoIR 170 Module
• Improves the reporting of Device Statuses through the API
• Promotes InteractionEngineUtility to C# Scripts for IL2CPP Compilation (see #1118 )
• Builds the Doxygen Documentation via a Github Action
• Moves the Graphic Renderer Module to the Legacy folder to reflect its status
• Adds the XRPinchLocomotion Example Script
• Modifies Projection Hand Example for best practices

Thanks to our contributors,
@lazloringUH
@MaxPalmer-UH
@nickjbenson
@zalo

What’s New

Allow access to Leap Motion tracking data from UWP and AppContainer applications

Control panel setting ‘Allow Web Apps’ persists

Control panel setting ‘Manual Orientation’ Setting persists

Fixed an intermittent crash of LeapSvc.exe during power cycle

Fixed an issue where the SHA256 was not computed correctly on Intel Ice Lake CPUs

Fixed an intermitted failure to detect Rigel/SIR170

Fixed an issue during shutdown of LeapSvc, where shutdown requested within seconds after startup

Unity 2020 Support

This release of UnityModules adds support for Unity 2020.1!

Changelog

Note for 2020.1 users:
If you get errors related to «SpatialTracking» upon importing the Core module, you need to install the Oculus XR package, which adds the necessary XR dependency.

Only the Core and Graphic Renderer packages have been modified from 4.5.0. For completeness’ sake, all of the main modules are included in this release.

Community contributions

Added the LeapCSharp assembly definition file! — @StephenHodgson

Thank you for your contribution!

With love from the UnityModules team,
@nickjbenson and @jselstad

We’re changing to a unified release model

This release reflects a slight deviation from how we’ve done UnityModules releases in the past. To make it easier to get releases out the door, we’re unifying the versioning system around the «Core Asset» release, and combining modules together into a single release version. Individual module packages are still available, but this path is essentially a roundabout way to copy files into your project, which you can do straight from the repo, now considered the central source of truth on master .

Changelog

• Moves the LeapMotion folder from Assets to Assets/Plugins. This shortens project build times.
• Upgrades the default Unity version to 2019.2.
• Aims to support Unity 2017.1 through 2019.3. Please submit a ticket if you experience issues using UnityModules with any Unity versions beyond 2017.1.
• Fixes an issue that prevented hands from rendering when using Scriptable Render Pipeline projects.
• Adds a desktop-mode IE example scene.

Hotfixes (2020-05-01):

• Fixes compilation errors in 2018.4.
• Note that the SRP is Experimental in 2018.4 and lacks the correct callbacks to support hand timewarping. As a consequence, hand rendering is not compatible with the SRP in 2018.4.
• Fixes compilation warnings in 2019.3.

Community contributions

Adds a configuration option to IE two-handed grasps. — @DerSticher

Adds an event on initial IE contact bone creation. — @SyDroX

Thank you for your contributions!

With love from the UnityModules team, @nickjbenson and @jselstad

What’s New

Greater finger dexterity and fingertip precision

Better hand pose stability and reliability

Faster and more consistent initialization

Smoother hand and finger movements

Improved tracking fidelity on backgrounds and bright lighting

More accurate shape and scale for hands

Significantly improved performance on embedded “Rigel” devices

LeapC is now the officially supported API included in the SDK. LeapAPI has been deprecated

Changed the fingertip location in LeapC applications such that the point defines the center of a sphere whose edge is at the fingertip. Previous output was defined such that the point was at the edge of the fingertip

Removed LeapCSharp and associated functionality from the SDK. It can now be found as part of UnityModules

Removed Leap.dll, all associated language bindings (LeapPython, LeapJava, Objective-C) and samples

Added a feature that pauses the device when no clients are connected (note: the Leap Control Panel is a client)

LeapC makefile now generates all the samples correctly

Fixed a hang at service shutdown

Fixed an issue where hands could initialize on top of other hands

What’s New:

VR Rig Simplification

The number of scripts required to construct a Leap Motion-enabled VR rig has been greatly reduced, and the required rig hierarchy has been heavily simplified. Hand data that is adjusted correctly for XR headset and device latency can now be gotten by adding a single component to the Main Camera, and the hand model pipeline has been simplified to a single manager component driving managed model components. If you are upgrading from an older project that incorporated Leap rigs from Core 4.3.4 or earlier, you can auto-upgrade these rigs by opening the scene that contains them and checking the new Leap Motion SDK window: Window->Leap Motion.

Leap SDK

Added the Leap Motion SDK Window, accessible via Window->Leap Motion. Use this window to scan and upgrade old (Core 4.3.4 and earlier) Leap rigs, check settings for the Interaction Engine, and adjust module preferences for the Graphic Renderer.

The LeapCSharp source is now provided directly in UnityModules and no longer hidden behind a managed DLL. It has received some upgrades in the process, and although it’s still a little rough around the edges, it is a useful reference if you would like to construct LeapC bindings for a new language.

Added VectorHand, one of many potential lightweight encodings of a Leap Hand. This lossy encoding is suitable for lightweight recording and playback or network transmission.

Fixed a bug where hand.TimeVisible was not being set with the correct units.

Added the PostProcessingProvider base class, a pattern for applying your own post-processes to Leap frame data.

Added an example scene demonstrating a stateless and a stateful PostProcessProvider: ProjectionPostProcessProvider and InertiaPostProcessProvider.

Utilities

Query system: Overhauled to remove reliance on type-generic structs to support IL2CPP.

BitConverter no longer requires unsafe code EXCEPT when targeting IL2CPP. If you wish to compile using IL2CPP, you must allow unsafe code.

Added an ArrayPool data structure, used by the overhauled Query system.

Fixed an issue when ImplementsInterface attribute was used for ScriptableObjects.

Added some Runtime Gizmo drawing functions, such as DrawEllipsoid.

Added SigmoidUpDown as a DefaultCurve for quick AnimationCurve initialization.

Тестирование Leap Motion — бесконтактного сенсора для управления компьютером Статьи редакции

Leap Motion — широко обсуждаемый прибор, предназначенный для бесконтактного управления компьютером. Я уже писал как-то про это устройство и был настолько поражён его потенциалом, что не мог дождаться, пока эта маленькая коробочка из стекла и алюминия попадёт мне в руки (точнее под руки).

И вот наконец-то это свершилось. Предзаказы открылись ещё зимой этого года, но полноценный релиз состоялся примерно в середине лета, как раз когда открыли магазин приложений Airspace. До этого Leap Motion бесплатно рассылали разработчикам, подогревая интерес новыми инвестициями и партнёрством с известными брендами — например, подобную технологию будут встраивать в свои ноутбуки HP и ASUS, а приложение Google Earth уже «из коробки» имеет поддержку бесконтактного управления жестами.

Потенциал Leap Motion скрывается в крайне точной обработке движений — если при использовании известного «Кинекта» от Microsoft нужно усердно махать руками на достаточно большом расстоянии от приставки, то здесь инфракрасные сенсоры способны засечь каждый палец вашей руки на расстоянии до 1 метра. Конечно, не так давно появился Kinect для Windows, но в этом случае Leap Motion выигрывает хотя бы по стоимости — 80 долларов против 250.

Производители столько всего пообещали, что было просто необходимо опробовать Leap Motion на себе. Первым делом можно отметить, что Leap Motion, Inc. выдерживают стиль Apple и в упаковке, и в экстерьере самого устройства. Поставляется оно вот в такой незамысловатой коробочке.

Открыв её, мы видим сам Leap Motion со стикером, приглашающим пройти по ссылке для активации девайса. Сверху ещё лежала картонка с надписью «Welcome to a whole new world» («добро пожаловать в новый мир») и той же самой ссылкой.

В комплекте, собственно, почти ничего нет — Leap Motion и два одинаковых провода разной длины. Провода могут напугать неискушённого зрителя, но на самом деле это всего лишь коннекторы microUSB 3.0 (штекер разделён на две части). Скудность начинки оправдывается тем, что «руки и пальцы у вас уже есть».

Достаём Leap Motion и вертим в руках — он очень лёгкий и прочный, внизу для устойчивости приклеен кусочек резины. Кроме порта, служебного индикатора и стекла, покрывающего инфракрасные диоды и камеры, тут ничего и нет. Пощёлкайте галерею, чтобы разглядеть его со всех сторон (на последней картинке показано, как изменялся дизайн с самого начала и до конца — каким он был неуклюжим и каким стал космическим).

Работает Leap Motion с компьютерами на базе Windows и Mac OS X, при этом размер экрана принципиального значения не имеет — контроллер сам подстраивает рабочую область в зависимости от диагонали. Точнее, внутри коробочки ничего не обрабатывается — все данные посылаются на компьютер, а дальше ими занимается софт.

Вот мы и подошли к самому интересному — активации устройства и его использованию. Нужно перейти по уже известной ссылке и скачать программное обеспечение, а затем завести аккаунт в магазине приложений Airspace.

Сам центр управления выглядит как-то так.

Очень важное приложение — Orientation. Оно помогает новичкам приспособиться к новым ощущениям. В действии его можно посмотреть на видео:

Вот так выглядит рабочая область Leap Motion — всё, что ближе к пользователю, отвечает за перемещение, всё что дальше — за нажатия или иные действия. Получается, что в воздухе как бы висит мультатач-дисплей.

В магазине Airspace пока что не так много приложений — есть как платные, так и бесплатные. Игры, образовательные программы, софт для дизайнеров, музыкантов, учёных. Очень интересна утилита для управления операционной системой — разработчики обещают, что если приноровиться, то можно делать всё то же самое, для чего обычно нужна мышь или тачпад.

Вот, к примеру, специальная версия знаменитой игры Cut The Rope:

Cut The Rope отрабатывает взаимодействие с Leap Motion на ура, пожалуй, это единственное приложение, которое оставляет хорошее впечатление. Приложение The New York Times выполнено более халтурно:

Новости здесь представлены в виде карточек с иллюстрациями, вращением пальца можно листать вправо или влево, взмахом кисти — ускорить процесс.

Вот так у меня получается (точнее, не получается) пользоваться компьютером после пары дней тренировок. Хотя это Mac OS X, возможно, с Windows 8 всё было бы проще (там же под это изначально заточено):

А как управляться с приложением Google Earth не знает, наверное, ни один из ныне живущих, включая его разработчиков. Там нужно действовать сразу в 10 измерениях, похоже:

Также тестировал некоторые программы для работы с 3D-графикой — там поудобнее, чем в Google Earth, но тоже далеко от идеала.

Ещё я поиграл в местную версию известной настольной игры «Дженга» — знаете, где нужно башню из брусочков разбирать. В неё с Leap Motion играть удобно и интересно.

На самом деле, очень сложно держать руки на весу — после получаса они сильно устают. И если туннельного синдрома точно можно не бояться, то какой-нибудь другой сустав всё равно может перенапрячься.

Наверняка можно навостриться работать при помощи Leap Motion, но пока этот процесс далёк от совершенства — если в некоторых приложениях движения обрабатываются почти идеально, то в других практически невозможно предугадать поведение сенсора. Обидно бывает, если теряются пальцы или пропускаются слишком резкие движения (хотя обещают погрешность в сотую долю миллиметра). Конечно, в настройках есть куча параметров, вроде высоты отслеживания, урезания шумов типа плечей и головы, но это помогает не сильно. Проблема ещё заключается в том, что у Leap Motion, по сути, нет унифицированного интерфейса — каждый разработчик придумывает свои жесты, и не каждый при этом поддерживает все 10 пальцев (CorelDraw! засекает вообще лишь один палец).

Вывод здесь такой же, как и после тестов Google Glass — положительных эмоций куча, но никакого «нового мира» не получилось. Потенциал велик, но нужно ещё какое-то время, чтобы появилось больше хороших приложений, а создатели контроллера подкрутили его чувствительность и точность. У Leap Motion есть конкуренты: тот же Kinect, DUO, MYO, ещё что-то. Создателям этой машинки дышат в спину, так что особого выбора у них нет — доводить до совершенства или уходить.

С другой стороны, сложно представить, как можно заставить человечество забросить клавиатуру и мышь — они ещё долго будут основными устройствами ввода. Leap Motion может быть вполне прекрасным выбором как игровой контроллер (или для тех, у кого постоянно грязные руки), но пока что на этом всё.