Vr streamer windows server

gagagu released this Mar 9, 2016

Update to Visual Studio 2015
Update to the newest SharpDX Version
Some small changes and bugfixes

gagagu released this Jun 16, 2015

• insert a message for Windows 7 users and DirectX

gagagu released this May 12, 2015

• remove 3d simulation (moved to ios)
• speedup capture loop
• directx as main capture protocol

Please see also my opentrack tracker plugin on https://github.com/gagagu/ftnoir_tracker_gvrs

gagagu released this Apr 30, 2015

• remove all tracking features (see https://github.com/gagagu/ftnoir_tracker_gvrs)
• implement new SharpDX 3.0.0 alpha 1

gagagu released this Apr 22, 2015

• new design
• DirectX capture integration
• Image quality adjust (increase performance)
• custom capture windows define possible
• positional tracking implementation (experimental)

if you use the positional tracking feature then you have to print out the chessboard (found in needed_files folder on this site) and change the specific ports. The iPhone have to send the Sensor data to the server. The Server calcualtes the position and adds the information to the tracking datagramm and send it to opentrack. That means: iPhone Sensor data port has to be the same than UDP Receive Port on server and the UDP Send Port from Server has to be the same than the receive port from opentrack!

Vr streamer windows server

Летное училище кибер-авиации =ЛетУчКа= запись закреплена

Нет трекира (TrackIR NaturalPoint), а собирать самодельный не с руки? Нет шлема виртуальной реальности (типа Oculus Rift), а бюджет ограничен 1500 руб? Есть смартфон на базе iOS или Android? Тогда первые две проблемы по сути решены!

Для начала разберемся с первым вопросом. Мы полагаем, практически каждый имеет в наличии тот или иной смартфон — и зачастую не догадывается, что этот самый смартфон вполне способен выступить в роли точного «трекира». Ведь теперь в каждом таком устройстве имеются датчики-гироскопы пространственного положения, остается лишь делом техники — найти соответствующий софт для телефона и для PC, настроить его, связать настольный и карманный аппараты вместе — и получить тот самый профит в виде «халявного» трекира! Заметьте, в таком случае не потребуется даже никакая веб-камера. Все, что нужно — лишь сам смартфон, PC с установленным DCS World и вай-фай сеть, объединяющая PC и смартфон (например, если у Вас PC подключен к вай-фай роутеру, подключите смартфон к тому же роутеру. Иначе — настройте прямое подключение по вай-фай между тем и другим).

Итак, расскажем на примере iPhone6 (подойдет и 5-й; а вот 4-й увы нет, так как требуется iOS 8 или выше), как превратить телефон в трекир.

1) устанавливаем на айфон программу VR Streamer от Gagagu (доступна в AppleStore, в бесплатной версии сеанс соединения не более 10-ти минут);

2)скачиваем и устанавливаем на PC следующие бесплатные полнофункциональные программы:

В установочную папку OpenTrack скопируйте dll-файл второй программы из списка выше.

3) Запускаем на PC VR-Streamer и смотрим сетевой адрес в появившемся окне. Запустите vr streamer теперь на телефоне и вбейте в поля программы тот же самый адрес

4) на телефонном клиенте – поставьте только нижнюю галочку – отправлять данные с гиродатчиков в сеть.

5) на PC-клиенте – поставьте галочку «Use GDI capture», а также выберите какой-нибудь процесс, например, сам же Gagagu и нажмите кнопку « YouTube 2:18

Vr streamer windows server

Краткое описание:
VR Stream — это программа, которая позволяет играть в компьютерные игры, а также в игры разработанные под Oculus в режиме виртуальной реальности при помощи собственного смартфона и мобильного VR шлема, например Google Cardboard.

Описание:
VR Stream – это доступный способ играть в компьютерные игры в режиме виртуальной реальности.
Данное решение полностью заменяет дорогостоящие VR девайсы, например Oculus, таким образом достаточно использовать мобильный шлем виртуальной реальности, например Google Cardboard, или любой другой шлем для смартфонов.

Решение VR Stream состоит из двух компонентов:
— Мобильное приложение
— Программа (клиент) для компьютера

Уважаемые коллеги! Наша программа находится в непрерывной модернизации и оптимизации, для того, чтобы вам было удобно пользоваться решением и комфортно проводить время в виртуальной реальности. Если у вас возникли какие-либо проблемы с использование VR Stream, а также замечания, пожалуйста, напишите нам об этом на stream@dive2vr.com или в комментариях.

— Компьютер с ОС Windows 8 и выше
— Google Cardboard или аналогичная VR гарнитура для смартфона
— Видеокарты Nvidia GT 650 и выше
— 5 Ghz WiFi
— Рекомендуем использовать Bluetooth Gamepad для смартфона
— Смартфон с гироскопом
— Для подключения игр Oculus необходимо скачать Oculus setup:https://www.oculus.com/setup/

Особенности:
— Высокое качество трансляции с низкими задержками
— Проводная и беспроводная (WiFi) трансляция потока
— Подключение Bluetooth гарнитур (джойстиков, геймпадов)

Требуется Android: 4.4 и выше
Русский интерфейс: Да

Скачать:
версия: 0.9.123 VR Stream (Пост dvv47 #54082396)
версия: ПК VR Stream PC client.exe ( 783,44 КБ )

Сообщение отредактировал vovanKARPO — 19.10.16, 22:08

Ребят, скоро должны придти очки и геймпад, с моей видюхой 670m вообще возможно застримить или даже не дергаться?

Сообщение отредактировал torime — 21.09.16, 13:53

Ага видео карточка поддерживается. Производительность насколько я представляю у нее хорошая. Но кодировщик уже старый поэтому QHD рендер не пойдет на достаточно высоких скоростях.
Зато HD сможет 90fps показать
А FHD — 60

Оценить скорость можно без очков и геймпада

samuel19782,

На Win 7 пока работают игры только dx 9

Посмотрел ProjectCars, похоже такая ситуация. Если запускать игру вручную то она прямо при старте перезапускается из стима. Из за этого перезапуска интеграция Стриминга не проходит и режим окулуса не срабатывает. Думаю что если его отвязать от стима то интеграция должна пройти гладко. Также вероятно такой проблемы не должно возникнуть если игра установлена из OculusStore.

Но к примеру WarThunder сделан похожим образом. И стримить его можно двумя режимами, как windows интеграция или как oculus. В режиме окулуса конечно гараздо круче

p.s. решение по ProjectCars поищу на днях. Может и со стимовской версией разберусь

Сообщение отредактировал vadeus — 21.09.16, 18:21

svetlakov,

Либо из OculusStore либо из Steam VR с пометкой oculus.

Поддержки SteamVR игр нету. И пока не в ближайших планах.
AMD и Windows 7 в скором времени.

Сообщение отредактировал vadeus — 21.09.16, 21:37

Viebublik,
Ех, что то этот инсталятор порой глючит.
Вот прямая ссылка на приложение — http://dive2vr.com/str…eaming_GUI.application
Она не проверяет установку этих visual ++ 2015, но они все равно должны быть установлены, иначе не заработает

А, еще может быть антивирус мешать установится. Антивирусы всегда ругаются на неподписанные майкрософтовским сертификатом приложения.
Сейчас ожидаем апрува сертификата для нас, как только его вставим с антивирусами будет проще.

Сообщение отредактировал dvv47 — 21.09.16, 19:18

dvv47,
Благодарю. Программа запускается.
Да нет, нету антивируса и проверка сертификатов отключена. Тоже не совсем понял что инсталлеру не понравилось.

Рано обрадовался. Теперь программа пишет ip адрес 127.0.0.1 . Попробовал выключить wi-fi и включить режим юсб-модема. И наоборот. Без результатов.

Попробовал все же указать реальный ip адрес который выдает при проводном подключении и при вай-фай подключении, но мобильный сервер говорит что такого ип адреса в сети нет или порт зафаерволен.
Пс фаервол отключен, антивируса у меня все еще нет.

Сообщение отредактировал Viebublik — 21.09.16, 19:45

Слежу за такими штуками, и пока ни одной достойно ПО не нашел, везде огромные задержки да и в целом ПО захлебывается. А эта даже ставится не хочет. После становки «Прекращена работа ПО»

Но порадовало, что есть поддержка 5GHz роутеров.

О. Спасибо еще раз dvv47, плюс надо еще раз будет. Визуалка реально нужна. А я думал у меня стоят. Все запустилось.

Ну в принципе, программа 9/10. В классном стиле material design. Работает правда только через юсб, ибо 5 гигагерцевого роутер в нет, но соединение за то стабильное.

Пробовал запускать стим игры вроде прототип 2, Dead by Daylight, CS GO. Все идёт просто шикарно. Железо core i5 6300hq и GTX 950M. Тянет все в 720 60 фпс. Телефон 6эдж.
Не хватает функции ожидания подключения к игре. Ибо если игра запускается долго, вылетит ошибка. Из-за неё нельзя попробовать гта 5 например. Уведомление о предложении стрима тоже можно сделать дольше. Ибо игра опять таки может запускаться долго.

Сообщение отредактировал bartez964 — 22.09.16, 01:58

Всем привет.
Краткий отчёт.

Смарт OPPO Find 7:
ГПУ — Adreno 330,
ЦПУ — Qualcomm Snapdragon 801 (4 ядра 2,5 ГГц)
ОЗУ — 3gb,
Разрешение экрана — 2560×1440
Датчики на борту — Акселерометр, гироскоп, магнитометр
Версия OS — Android 6.0
Соединение — USB-tethering (USB 2.0) / Wi-Fi AC 5Ггц (роутер к пк подключен кабелем)

ПК:
ГПУ — NVIDIA GeForce GTX 960 MSI GAMING
ЦПУ — intel core i7-870 (4 ядра 2,93 ГГц)
ОЗУ — Kingston 4 GB 1600 Мгц х2 (8 GB)
Разрешение монитора — 1920×1080
Версия OS — Windows 10 Pro x64, версия 1511 (сборка 10586.545)
Роутер — TP-Link Archer C20 (2.4Ghz 300 Mb/s +5Ghz 433Mb/s) / TP-Link 1045ND (2.4Ghz 450 Mb/s)
Игры для теста — Dead Island Reptide, Dying Light, The Long Dark

Задержки бешеные что при подключении кабелем, что при подключении Wi-Fi и постепенно накапливаются. Картинка качественная, трекинг работает. Из 3 игр запустилась только одна The long Dark. С остальными клиент вылетает с сообщением The connection was terminated. Проба запуска и в полноэкранном режиме и в режиме окна — результат один
UPD. RiftCat в моей конфигурации железа рассыпается картинка, Trinus работает превосходно (предрелизная версия с NVIDIA оптимизацией)

Сообщение отредактировал gorlexx — 22.09.16, 07:41

sytniknikitaaleksandrovich,
Не совсем понял вопроса, какая именно возможность ожидается?

Если говорить о качестве картинки без потерь — то это называется несжатым видео. И для его передачи нужны очень большие потоки данных
Что бы примерно прикинуть какой трафик для этого нужен можно взять формулу
размер пикселя * число пикселей по вертикали * число пикселей по горизонтали * число кадров в секунду

3 * 720 * 1280 * 60 = 165888000 байт/c = 158 мб/c или 1264 мбит\с
3 * 1080 * 1920 * 60 = 373248000 байт/c = 356 мб/c или 2848 мбит\с
3 * 2560 * 1440 * 60 = 663552000 байт/c = 633 мб/c или 5064 мбит\с

Для сравнения максимальная теоретическая пропускная способность usb 2.0, то есть проводного подключения для стримнга это 480мбит\c то есть в 3 раза меньше чем 720p60
Максимальная скорость на коммерческом роутере которую я видел 2334мбит\с, но такие скорости не поддерживаются телефонами.
В телефоне при подключении по стандарту 802.11 AC я видел только 433мбит\с

Поэтому для передачи не сжатого видео используется стандартый hdmi и display port

В случае с Nvidia GameStream или moonlight трафик сжимается.
У нас тоже.
В нашем случае качественной картинки достигаем при таком канале
720p60 — 20 mbit/s
1080p60 — 40 mbit/s
1440p60 — 60 mbit/s

Далее на вопрос по задержкам.
Каждый компонент системы тратит какое то время на свою задачу.
Мобильному приложению надо 6мс для того что бы собрать и отправить входные данные на ПК
Игре нужно 16мс для того что бы отрисовать картинку
Пк приложение стрима получает картинку и подготавливает отправку телефону

4мс
Отправка на телефон видео 4-10мс — в данной цепочке это самый нестабильный момент.
Отображение картинки на экране телефона — 10мс

Итого 6 + 16 + 4 + 7 + 10 = 43мс это самая средняя цифра для стрима windows игр.
Для игр oculus мы смогли еще лучше оптимизировать этот процесс и в итоге зарежка составляет 30мс. Что совпадает с показателями Oculus DK2

Большинство лагов в стриме происходит при отправке видео на телефон. Поэтому тут и предлагается два варианта. USB, wifi. Также если задержка в стриминге начинает накапливаться. То стоит в первую очередь проверить надежность подключения телефона к компу.
Снизить fps в настройках стрима.
Снизить битрейт.

И финально по поводу moonlight.
Есть такой проект как Nvidia GameStream. Он поставляется вместе с Geforce experince. И ориентирован на пользователей Nvidia GTX в качестве сервера и Nvidia Shield в качестве клиента.
Moonlight это взлом этого протокола, что не скрывается. Взлом как не странно компанией nvidia не одобряется, и они имеют полное право через суд этот проект прикрыть.
Trinus получается прикрывается проектом moonlight предлагая стримить картинку через него. Тем самым пытается таким образом снять с себя юридическую ответственность.
Сколько такая схема будет рабоать не известно. Наверно до тех пор пока Nvidia это не помешает.

Мы добились хороших скоростей и качества картинки не нарушая ни одной лицензии, поэтому смысла подключать moonlight особо нету.

Сообщение отредактировал dvv47 — 22.09.16, 13:01