Mixed reality portal что это за программа и нужна ли она на Windows 10

Что такое смешанная реальность

В ноябре мы подробно рассказали все, что нужно знать про VR/AR технологии. Но на самом деле это не все. Есть еще третий вид — смешанная реальность (англ. Mixed reality, MR). Это симбиоз VR и AR, который умеет влиять на происходящее в реальном мире. Сложно.

Мы не википедия, но сейчас все объясним. Сегодня забираем, что такое смешанная реальность.

Чем отличается виртуальная, дополненная и смешанная реальности

Виртуальная реальность — это полностью вымышленный мир. Его создают алгоритмы. Допуск в этот мир дают иммерсивные гаджеты: шлемы, перчатки, наушники, иные имитаторы, которые полностью проектируют окружение. Человек не взаимодействует с реальным миром, VR полностью его отсекает. Каких-либо физических изменений не происходит, VR не меняет действительность.

Но с помощью устройств ввода пользователи могут влиять на VR и добиваться в нем изменений. Например, отстреливать чудовищ в джунглях или взрывать корабли пришельцев в космосе.

НЕ Смешанная реальность. Обзор VR-шлема Acer Windows Mixed Reality.

Парк виртуальной реальности The Void. Участники надевают шлемы и оказываются в джунглях Джуманджи. Иммерсивные устройства проецируют все действия игроков в виртуальный мир, действительность при этом не меняется.

Дополненная реальность — это реальный мир, на который наложены виртуальные слои. Физическая среда частично меняется для пользователя — в ней появляются трехмерные фигуры, добавленные устройством. Обычно для этого достаточно смартфона. Работает так: камера считывает окружение → алгоритмы добавляют объекты → пользователь видит на экране полную картинку с реальным миром и объектами. Вспомните, как все болели игрой Pokemon Go — самый известный пример AR.

На самом деле покемона нет на улице, но человек его видит: алгоритмы дополнили реальный мир трехмерным объектом.

Смешанная реальность — это мир, в котором виртуальные и реальные объекты взаимодействуют между собой. Пользователь может оценить передний и задний план, как объекты расположены относительно друг друга — появляется полноценная точка соприкосновения цифрового объекта и реального мира. Представьте, что вы играете в виртуальную игру, берете в руку реальную бутылку с водой и бьете ею воображаемого персонажа. Примерно так.

Отличный пример MR — голограмма, цифровой аватар человека, спроецированный голографическим устройством. Человек находится в реальном мире и в нем же видит объект виртуального мира — реальности соприкасаются. Нечто похожее вы могли видеть в фильме «Джуманджи», где физическая структура дома, в котором развиваются события, сливается с джунглями.

Microsoft показывает, как MR смешивает виртуальные и реальные миры на примере возможностей Windows 10.

Коротко рассмотрим, чем отличается смешанная реальность от дополненной и виртуальной, в таблице.

	VR	AR	MR
Взаимодействие с внешним миром	Нет	Нет	Да
Устройства	Иммерсивные гарнитуры, очки, шлемы, костюмы	Смартфон	Голографические устройства
Источник изображения	Компьютерная графика	Сочетание реального мира и машинно-генерируемых изображений	Сочетание реального мира и машинно-генерируемых изображений
Окружение	Цифровое	Сочетание цифры и реального мира	Сочетание цифры и реального мира
Присутствие	В виртуальном мире	В реальном мире с наложениями цифры	В реальном мире одновременно с цифровыми объектами
Восприятие объектов	Как полностью виртуального объекта	Как виртуального объекта, присутствующего в реальности	Как полностью реального объекта

История развития MR

На самом деле MR — последствие создания VR и AR, хронологию развития которых мы подробно описали здесь. Эти технологии развиваются последовательно и друг за другом, но гибридный мир MR не способен похвастать такими достижения, как два других собрата. Из-за сложностей технической реализации, разработками MR занимаются только технологические гиганты, и их результаты почти всегда засекречены.

Впервые термин MR появился в 1994 году в документе под названием A Taxonomy of Mixed Reality Visual Displays. Пол Милграм и Фумио Киширо определили MR как всё, что находится между крайностями виртуального континуума. Если по-простому: есть реальный мир и VR, и вот MR где-то посередине между ними. Из-за такого определения в англоязычном мире иногда AR и MR воспринимаются как синонимы. Границы этих технологий действительно сильно размыты и трудноразличимы.

Например, в 2016 году компания Microsoft выпустила голографическую гарнитуру HoloLens и называла ее MR-очками. Устройство представляет собой прозрачные очки, через которые видно реальную физическую среду. При этом алгоритмы проецируют на эти очки двухмерные объекты, с которыми можно взаимодействовать, например, через Windows 10. Информационные окна, с которыми можно работать на компьютере или телефоне, помещаются на стенах, а устройство запоминает их положение.

Человек надевает HoloLens и видит на стенах компьютерные окна Windows 10. Несмотря на то, что гарнитура имеет явно выраженные признаки AR, разработчики называют это первым шагом к смешанной реальности.

В 2019 году вышла другая MR-гарнитура — Magic Leap 1. Она предназначена для разработчиков приложений для пространственной компьютеризации и умеет накладывать анимацию на реальный мир — тоже с помощью очков. Из-за того, что устройство позволяет перемещаться вокруг виртуального объекта, осматривать его со всех сторон и, при необходимости, внутри, это больше похоже на MR-устройство. Но совсем не дотягивает до наших ожиданий и представлений

Magic Leap имеет более расширенный функционал, чем HoloLens. Но в нашем понимании это все еще дополненная реальность.

Больше всего к пространственной визуализации в форме MR близки голограммы-проекции. Пионером в этой сфере в России стала компания Nettle, которая с 2012 года занимается виртуальными голограммами и реализует разработанные устройства NettleBox и NettleDesk для бизнеса.

Но нужно понимать: взаимодействие голограмм с реальным миром сильно ниже, чем в логических гарнитурах. Совсем недавно (в сентябре 2021 года) Самуснг создал дисплей, который воспроизводит трехмерное изображение. Сразу за ним появилась первая в мире осязаемая аэротактильная голограмма.

Со временем может случиться так, что вы сможете встретить виртуального аватара коллеги на другом конце света и по-настоящему почувствовать его рукопожатие. Но пока это технология смешанной реальности ограничивается очками с анимацией. Как AR, только немного лучше.

Сложности реализации MR

Неразвитость технологии связана с техническими сложностями. Вот с чем связаны основные трудности:

1. Недостаток сценариев взаимодействия. MR предполагает, что человек может контактировать с виртуальными объектами в реальном мире. Чтобы такие контакты были естественными, разработчики должны прорабатывать сценарии взаимодействия пользователей и цифрового объекта. Иными словами, программа должна запоминать пользователя, его поведение и сама обучаться взаимодействию с ним. Пока программы не научатся так делать, качественного скачка MR не произойдет
2. Громоздкость устройств. Пока что реально компактными и доступными широким массам являются только гарнитуры, которые дают расширенный опыт AR. Об устройствах, которые предлагают полноценный MR-опыт и при этом доступны потребителям, неизвестно в принципе
3. Отсутствие средств ввода. MR-устройства, которые воспроизводят голограммы, должны одновременно считывать действия пользователей, чтобы обеспечить опыт взаимодействия с цифрой. Существующие сегодня устройства умеют так только в контексте использования гарнитур, таки как Magic Leap. Первым устройством, которое дает такой отклик и считывает действия человека, можно считать перчатку, которая воспроизводит аэротактильную голограмму

Сферы применения технологии смешанной реальности

Как и VR, MR уже успела выйти за пределы индустрии развлечений и искусства. Если говорить про полезность, то чаще всего MR применяется в бизнесе и образовании. Драйверами этих технологий в России выступают строительные компании, ритейл, промышленные предприятия и музеи.

Ритейл. С помощью технологии IPCM (interactive product content management) ритейлеры отходят от статичных продуктовых каталогов в сторону интерактивных, 3D цифровых копий. Вместо листания каталога товаров, клиентам можно показать виртуальную проекцию. А на презентации нового автомобиля можно показать его голограмму без физического присутствия.

Строительство. С помощью MR застройщики предлагают покупателям взглянуть на цифровые макеты многоэтажных объектов до сдачи объекта в эксплуатацию. А при инженерных работах MR делает возможной визуализацию BIM-проекта прямо на строительной площадке.

Производство. MR помогает продавцам оборудования наглядно демонстрировать производственные активы в действии. Например, производители оборудования для автоматизации молочных ферм под маркой «КРОК» демонстрируют работу «умных» ферм на сельскохозяйственных выставках с помощью устройства для голографических макетов NettleBox.

Образование. MR упрощает симуляционное обучение. Будущие врачи смогут тренировать навыки на голограммах пациентов, а военные смогут симулировать боевые ситуации и проецировать их в действительность. Предприятию не придется отправлять инженеров-стажеров в командировку на промышленные объекты — проще показать голограмму.

Диджитал. Появление HoloLens — шаг MR в сторону управления программными интерфейсами. В обозримом будущем люди будут управлять компьютером без мыши и клавиатуры, а с помощью MR-гарнитур: открывать почту, перемещать папки и работать в фотошопе руками.

Windows Mixed Reality

Выше мы говорили, что возможности для MR предусмотрены в Windows 10. Так вот, Windows Mixed Reality — часть операционной системы, которая отвечает за смешанную реальность. Платформа работает в дуэте с HoloLens и имеет расширенную операционную среду, в которой может работать любое приложение универсальной платформы Windows. Используется преимущественно в версии Windows 10 для AR-компьютеров, платформа также совместима с Xbox One.

Основные возможности Windows Mixed Reality направлены на работу с операционной системой. С помощью HoloLens и некоторых других гарнитур, пользователи могут работать с компьютером, а элементы интерфейса будут проецироваться на реальный мир. Например, на стену вашей комнаты. Управление элементами интерфейса происходит с помощью рук — никаких дополнительных инструментов, кроме HoloLens, не требуется.

Windows Mixed Reality — единственная платформа такого рода, доступная широким массам и реализованная, как для управления ОС, так и для индустрии развлечений.

Что ждать от MR в будущем

В обозримом будущем мы вряд ли сможем различать виртуальную и смешанную реальности. Эти технологии уже поменяли привычный нам способ создавать вещи и вскоре помогут каждому смотреть на мир под другим углом. Совсем скоро MR полноценно интегрируется в нашу привычную жизнь и опыт геймификации реальности испытает каждый. Или почти каждый.

В перспективе 10–15 лет хирурги смогут накладывать рентгеновские снимки на тело пациента, пока идет оперативное вмешательство. Дизайнеры будут проектировать идеи в реальное пространство, находясь друг от друга на расстоянии сотен километров — как в Фигме, только в интерфейс будет на стене кабинета. А на совещания и оперативники вместо нас будут ходить наши аватары. Нет конца всему тому, что возможно с MR. Надеемся увидеть это уже на нашем веку.

Коротко: что входит в понятие смешанная реальность

1. MR — что-то среднее между действительностью и цифровой средой. MR находится на стыке виртуального и реального мира. MR — это технология, которая позволяет воспроизводить цифровые трехмерные объекты наяву и не использовать для этого очки и или шлемы для VR
2. В MR цифра и реальный мир взаимодействуют. Вы видите цифровой аватар коллеги, здороваетесь с ним за руку и ощущаете прикосновение — это MR. Вы играете в видеоигру, берете на столе реальную бутылку и разбиваете ее об голову вымышленного чудовища в симуляторе — это MR. Вы приходите на строительную площадку, а на месте будущего дома его голограмма — это MR
3. Вариантов реализации MR масса — технология ограничена лишь фантазиями разработчиков. Но на деле ее развитие упирается в существующие технические возможности. Из-за их неразвитости, современный MR — это скорее расширенная дополненная реальность
4. В массовом доступе слишком мало примеров реализации смешанной реальности. Самые известные — гарнитуры HoloLens и Magic Leap 1. Их возможности далеки от наших представлений об MR. В корпоративном сегменте MR используется для обучения сотрудников, визуализации объектов продаж и демонстрации производственных возможностей
5. Мы ждем от MR качественного скачка. Но пока новаторы только развивают технологии и привлекают инвестиции

Источник: okocrm.com

Смешанная реальность: что это, область применения

Существуют три близких по значению понятия: виртуальная реальность, дополненная реальность и смешанная реальность. Дополненная реальность – добавление виртуальных образов в реальный мир. Виртуальная реальность – полная замена настоящего окружения на виртуальное. Дополненная и виртуальная реальность между собой не контактируют.

Смешанная реальность (MR) – это система, в которой реальные и виртуальные объекты взаимодействуют между собой, имеют конкретную форму и положение. Элементы смешанной реальности в ограниченных количествах и с неполным набором функций используются в настоящее время.

Существует множество теорий об идеальной смешанной реальности, так называемом континууме виртуальности. Одну из них выделил американский экономист и педагог Паул Роберт Милгром в 1994 году. Его определение и теория базировались на концепте Стива Манна. До этого понятия «смешанная реальность» не формулировалось, а её элементы относили к виртуальной или дополненной реальности.

Разработки смешанной реальности широко используют в физике. Область физики, занимающейся изучением технологий смешанной реальности называют межреальной физикой. Межреальная среда, по мнению физиков, составляет смешанную реальность, где бок о бок существует виртуальное и реальное, а чёткие грани между ними стёрты.

Межреальная среда с точки зрения физики — это технически дополненная реальность, в которой виртуальные элементы имеют своё определённое положение, форму, объём, и с ними можно взаимодействовать.

Отличия смешанной и дополненной реальности

Виртуальная, дополненная и смешанная реальности имеют свои отличительные особенности. Для чёткого понимания определений, особенно между дополненной и смешанной реальностью, необходимо подробно рассмотреть их отличительные особенности. Отличительные особенности характеристик дополненной и смешанной реальности представлены в таблице.

История смешанной реальности

С 2016 года компанией «Microsoft» ведётся разработка новых очков дополненной реальности «Hololens». Несмотря на то, что это гарнитура имеет характеристики дополненной реальности, это первый шаг к MR. Информационные окна, с которыми можно работать на компьютере или телефоне, помещаются на стенах, а устройство запоминает их положение.

Если бы очки «Hololens» могли показывать не только плоские изображения, но и объёмные виртуальные объекты, то их можно было бы назвать очками смешанной реальности. Подобное устройство разрабатывается компанией «Magic Leap», но из-за полной секретности проводимых работ говорить о его принадлежности к тому или иному поколению аппаратуры нельзя.

На данный момент, создание идеальной смешанной среды невозможно. Но отельные «кусочки» смешанного пространства можно воспроизводить с помощью модернизированных устройств, предназначенных для работы в дополненной и виртуальной реальности: в шлемах и очках AR/VR, переносимых полупрозрачных дисплеев, компьютерах и смартфонах.

Трудности реализации MR

Среди трудностей создания смешанной реальности можно выделить следующие:

• Из-за необходимости контактирования с объектами, в программе должны быть прописаны условия этого взаимодействия. Говоря более простыми словами, программа должна знать не только проецируемые объекты, но и самого пользователя.
• Компактность и удобность системы сложно осуществима, ввиду необходимости использования нескольких камер, датчика определения положения в пространстве, наличие навигационной системы, и вывода 3D изображения или голограммы.
• Огромные объёмы информации, необходимых для использования устройств, погружающих пользователей в смешанную реальность, необходимо хранить и обрабатывать. В настоящее время на это способен не каждый суперкомпьютер.
• Необходимость использовать новые средства вывода информации или сложные и немассовые, которые выглядят громоздко и не компактно.

Из-за совокупности этих трудностей создание, использование и массовое производства устройств для работы в смешанной реальности до сих пор не реализуемы. На современном уровне развития технологий можно лишь создавать небольшие пространства MR, что накладывает определённые ограничения в их использовании.

Область применения смешанной реальности

Контактирование с виртуальными объектами стало возможным благодаря компьютерам и смартфонам. Это особенно удобно, когда пользователь хочет увидеть объект со всех сторон. Например, каталоги товаров интернет-магазинов начинают массово переносить товары в 3D формат. Уже сегодня можно без выхода из дома посмотреть прилавки, взять и разглядеть понравившеюся вещь.

В России это направление до сих пор не получило свое развитие. В наших интернет-магазинах не всегда можно найти фотографии товаров.

Ещё одной областью применения смешанной реальности можно назвать симуляторы для обучения. Самым распространённым видом использования симуляционного обучения является тренировка пилотов гражданской и боевой авиации на специальных тренажёрах. Сам тренажёр представляет собой полную копию кабины самолёта, но вместо стекла в нём дисплеи, отображающие виртуальную картину за бортом. Иногда такие тренажёры могут вращаться в нескольких плоскостях, в зависимости от действий обучающегося и моделируемой ситуации. Подобные тренажёры создаются не только для авиационной, но и для других видов техники.

Популярные в начале нулевых симуляторы гонок с использованием руля и педалей, использовали элементы смешанной реальности. Как на тренажёрах, так и в игре человек с помощью реальных физических объектов взаимодействует с виртуальной средой.

Устройства, помогающие работать с элементами смешанной реальности широко используют в промышленности, в частности в строительстве, где проецируются виртуальные модели зданий. Стоит отметить, что если объекты просто проецируются — это дополненная реальность, но если с ними можно контактировать каким-либо образом, их изменять — смешанная среда.

Программы, в которых используются элементы MR

Самое распространённая программа, в которой используются элементы смешанной реальности — программное обеспечение «Windows Mixed Reality» от компании «Microsoft». Windows Mixed Reality создана для использования на платформе «Windows 10». Для работы необходим шлем или очки.

Изначально объявлено, о том что всю гарнитуру выпускает и разрабатывает компания-разработчик, за использование устройств, произведенных в других компаниях, «Microsoft» ответственности не несёт. О разработке «Windows Mixed Reality» объявлено в 2016 году. В 2017 году сделано заявление, о совместимости использования Xbox One, для работы с игровыми приложениями. Разработчики указали на факт фокусировки работы аппаратуры с ПК на собственной платформе «Windows 10». В 2017 году аппаратура и программное обеспечение официально поступили в продажу.

Возможности программы огромны, главным её предназначением остаётся работа в операционной системе «Windows» с помощью устройств дополненной реальности. Пользователи получили возможность управления операционной системой не только с помощью компьютерной мыши, джойстиков и клавиатуры, но с помощью движений рук.

На данный момент программа «Windows Mixed Reality» является единственной в своём роде, её аналоги не имеют сильных отличительных особенностей работы в смешанной реальности. Большинство программ конкурентов имеют неполный набор функций, и больше подходят под описание дополненной реальности с частичным вмешательством.

Источник: virtre.ru

Windows Mixed Reality: все, что вам необходимо знать

В октябре прошедшего года Microsoft проинформировала о том, что она сотрудничает с такими гигантами, как Acer, HP, Asus, Dell и Lenovo для выпуска гарнитур виртуальной реальности. Разработанная версия гарнитуры HP Mixed Reality готова, а все желающие могут заказать ее из Microsoft Store.

Гарнитура рассматриваемой выше модели — это не единственная гарнитура с гибридной реальностью, которая уже выпущена. Аналогичные выпускают многие другие технические компании, такие как Acer, Lenovo, Dell и Asus.

Интересно, что между этими гаджетами существует много общего. Это связано с тем, что все гарнитуры смешанной реальности создаются с использованием одних и тех же виртуальной реальности, программного обеспечения для смешанной реальности. И, соответственно, их технические характеристики (которые подробно приводятся ниже) тоже имеют много общего.

Шлем и гарнитура к нему

Красивый футуристический дизайн мало кого оставляет равнодушным. Гарнитура создана в стильном, глянцевом цвете с множеством тонов, которые смотрятся весьма современно.

Гарнитура HP Mixed Reality использует дизайн с двумя подушками, а не трехсторонний дизайн ремешка, что большинству людей уже знакомо. Хорошо приспособлена для обеспечения удобства и комфорта. Конструкция оголовья пенопластовая, удобно лежит на лбу. Имеется простая регулировочная ручка и шарнирный механизм для удерживания компонента дисплея.

Они обеспечивают наилучшее погружение, не напрягая шею или голову. Гарнитуру можно носить в течение многих часов без боли или стресса на мышцах.

Гарнитура виртуальной реальности поставляется с двумя дисплеями, которые обладают высоким разрешением 1440 x 1440. Наибольшее преимущество использования дисплея с высоким разрешением заключается в том, что риск столкнуться с эффектом дверцы экрана весьма минимален.

Гарнитура HP MR стоит немного больше, чем модель Acer. Это связано с тем, что HP внесла свои собственные изменения в стандартный дизайн. Дизайн HP Windows предлагает расширенное пространство для носа и накладку на головном ремне.

Головная гарнитура HP MR оснащена фронтальными камерами. Эти встроенные камеры с сенсорным экраном обеспечивают 6 степеней свободы. Теперь пользователи могут перемещаться во все шесть сторон — направо, вниз, вверх, налево, вперед, назад. HP предлагает поистине захватывающий опыт смешанной реальности, используя позиционное и вращательное (ориентационное) отслеживание.

Как работает Windows Mixed Reality?

Одним из основополагающих принципов системы Windows Mixed Reality является то, что она предназначена для работы с Windows 10. Она стала доступна широкому кругу пользователей с выходом Creators Update для “десятки”. За программную поддержку платформы отвечает программа Mixed Reality Portal.

Microsoft не раз писала, что Mixed Reality предназначена для устранения ограничений мобильного VR, когда вы статичны; и недостатков VR с трекингом, когда ваши движения отслеживаются, но игровая зона очень ограничена (как в случае с HTC Vive, PS VR или Oculus Rift). Microsoft заявляет, что ей удалось добиться того, что “отслеживание” действий пользователя “происходит изнутри”.

Разработчик заявляет, что игровой мир HTC Vive ограничен “рамками комнаты”, тогда как устройства на базе Windows Mixed Reality дают пользователю целый мир.

Hololens была первой гарнитурой MR и именно она заложила основы дальнейшего развития технологии, хотя Hololens и был значительно ближе к дополненной реальности, чем к виртуальной.

Первые устройства на базе Microsoft Mixed Reality подключаются в компьютеру по HDMI и USB, также, как и существующие шлемы виртуальной реальности. Так в чем же отличие? Именно в том самом “отслеживании изнутри”.

Данные гарнитуры могут использовать фронтальные камеры, чтобы сканировать комнату и добавить ее объекты в виртуальную сцену – таким образом, создавая мир MR.

Это также распространяется и на контроллеры. Microsoft анонсировала контроллеры Mixed Reality, которые также могут отслеживаться гарнитурой, что делает ненужным использование других датчиков, как в случае c HTC Vive или Oculus Rift.

Судя по отзывам тех, кто уже “попробовал технологию на вкус”, WMR практически не требует настройки, что невероятно понравится новичкам. Кроме того, после использования гарнитуры отсутствовал эффект тошноты, столько знакомый многим энтузиастам VR-технологий.

В комплекте

Гарнитура HP Mixed Reality поставляется с дополнительными составляющими, такими, как клавиатуры, мыши, геймпады для возможности просмотра жестов или голосового контроллера. Функции позиционного отслеживания и вращательного отслеживания, встроенные в гарнитуру и контроллеры движения, предоставляют пользователям свободу воображения. Пользователи могут создавать контент, который они представляют. Единственным ограничением является воображение пользователя.

Гарнитура HP Mixed Reality выпущена в августе 2017 года. На данный момент гарнитура смешанной реальности предназначена только для разработчиков. Но потребительская версия не отстает. Microsoft планирует выпустить потребительские версии MR гарнитуры перед праздничным сезоном.

В чем разница между VR, MR и AR?

Давайте приведем базовые определения VR, MR и AR:

• Виртуальная реальность (VR): искусственный мир, в котором вы взаимодействуете с виртуальными объектами
• Дополненная реальность (AR): виртуальные объекты, добавленные в реальный мир (например, покемоны в игре Pokemon GO)
• Смешанная реальность (MR): реальные объекты добавленные в виртуальный мир, или виртуальные объекты, добавленные в реальный мир, или просто виртуальные объекты в виртуальном мире

Таким образом, “смешанная реальность” – это термин, который только набирает силу. MR стирает грань между реальными и виртуальными миром, рождая новые вселенные для каждого пользователя. И Windows Mixed Reality от Microsoft позволяет корпорации получить серьезный задел в гонке шлемов и гаджетов для MR.

Цены на популярных сайтах

Версия гарнитуры для разработчиков составляет не более 329 долларов. На вебсайте Microsoft размещено сообщение о том, что спецификации персонального компьютера (ПК) для гарнитуры, указанные на вебсайте, могут отличаться.

Гарнитура HP в настоящее время возглавляет пакет по дисконтированной цене, найденной на Amazon за 225 долларов США, колоссальная скидка 50%, включая контроллеры. На eBay в настоящее время цена упала до 250 долларов США (38% скидка), а на Ozon минимальная стоимость 290 долларов.

Настройка

Гарнитура использует метод «вывертывания», который включает датчик отслеживания движения для отслеживания движения внутри гарнитуры, поэтому вам не нужно устанавливать датчики или камеры дополнительного характера.

Просто присоедините гарнитуру HP Mixed Reality (с контроллером) к ПК с помощью выделенного кабеля (точнее, 2-в-1 HDMI 2.0 и USB 3.0), входящего в комплект поставки. Это все, «подключи и играй».

• Диагональ 2,89 дюйма;
• Разрешение экрана 1440 на 1440
• Периодичность обновления дисплея 90 Гц (максимум);
• Угол обзора горизонтали 100 градусов (максимум).

• Аудио вход / выход;
• Комбинированный порт;
• Закрытый кабель;
• Один кабель 2-в-1 с разъемом HDMI 2.0 и USB 3.0.

Желаемые характеристики компьютера (для разработчиков):

1. Установленная ОС: 10 версия Windows;
2. Intel Core i7 (6+ Core) или AMD Ryzen 7 1700 (8 ядер);
3. NVIDIA GTX 980/1060, AMD Радеон RX 480 (два гигабайта или лучше), графический процессор с использованием DX12 и WDDM 2.2;
4. Визуальные драйверы: модель драйвера экрана Windows (WDDM) 2.2;
5. Мощность: 15 Вт или сильнее;
6. HMD: HDMI 1.4 или порт дисплея 1.2 для HMD 60 Гц;
7. Оперативка: как минимум 16 гигабайт;
8. 32-битная цветность;
9. Хранение: от десяти гигабайт добавочного свободного места;
10. Подключение: USB: 1 порт USB для HMD | USB 3.0 (тип A) | минимум 900mA;
11. Источник питания USB;
12. Bluetooth 4.0 или более для присоединения устройств.

Как удалить Портал смешанной реальности из меню пуск

К сожалению, работающего способа удалить Mixed Reality Portal в Windows 10 из списка приложений, не затронув остальные приложения, нет. Но существуют способы для того, чтобы:

• Убрать все приложения из Магазина Windows 10 и встроенные приложения UWP из меню (останутся только классические приложения для рабочего стола, в том числе встроенные).
• Сделать запуск Mixed Reality Portal невозможным.

1. Создайте точку восстановления (она может пригодиться, если результат вас не устроит). См. Точки восстановления Windows 10 .
2. Откройте блокнот (достаточно начать набирать «блокнот» в поиске на панели задач) и вставьте следующий код

В результате из меню Пуск Windows 10 исчезнет Mixed Reality Portal, все ярлыки приложений магазина, а также плитки таких приложений (и добавить их туда будет нельзя).

Как вы уже знаете, в Windows 10 Creators Update есть новая функция — Windows Holographic, которая добавляет новую иконку в меню Параметры.

Платформа Windows Holographic, добавляет смешанную реальность, доступную для HoloLens Microsoft. Она предлагает голографическое оболочку и модель взаимодействия, API восприятия и Xbox Live Services.

Даже если у вас есть совместимые устройства, но вы не хотите использовать эту функцию. В этом случае, вы можете скрыть эту страницу настройки в параметрах Windows 10.

Характеристики

• Разработчик — HP;
• Установленная ОС — Windows 10 для девелоперов (включен режим разработчика);
• ЦПУ — Intel Core i7, AMD Ryzen 7 1700 (двенадцать потоков и шесть ядер);
• GPU — NVIDIA GTX 965Ml AMD Радеон RX 480M (два гигабайта);
• Оперативка — как минимум 16 гигабайт (оба ПК LAPTOP, ПК DESKTOP);
• Место хранения — 10 ГБ добавочного свободного места (как LAPTOP PC, DESKTOP PC);
• Дисплей — 2.89;
• Разрешение — 1440×1440 на глаз (2880×1440 в сочетании);
• Частота обновления — 90 Гц при соединении с портом HDMI 2.0 /, 60 Гц при соединении с портом HDMI 1.4;
• Поле зрения — 95 градусов по горизонтали (Френель асферический);
• Отслеживание — 6 степеней свободы плюс отслеживание наизнанку;
• Аудио — 3,5-мм комбинированный аудио разъем;
• камера — 2 фронтальных камеры;
• Датчик — Акселерометр, гироскоп и датчик приближения;
• связь — HDMI, USB;
• вес — 834 грамма;
• Размер — 338,84 мм (W) × 176,02 мм (L) × 127,76 мм (H);
• Длина кабеля — 4,0 м (длинный) / 0,6 метра (короткий).

Отзывы потребителей

Я купил в Lenovo, когда она стоила 200 долларов. Все прилично, но, честно говоря, не так хорошо, как хотелось бы. Все еще есть эффект экранной двери. Также его FOV немного меньше, чем у других гарнитур, которые я купил. Однако она самая легкая и удобная.

По цене это по-прежнему очень неплохо, но по сравнению с Rift по той же цене всё-таки я бы советовал взять Rift (у которого также есть контроллеры и отслеживание).

Она имеет значительно меньшую область обзора и много приглушенных цветов. Отслеживание не очень хорошее, но оно отлично подходит для игр — если вы, как и я, геймер, советую выбрать эту модель!

Гарнитура имеет систему FOV и хорошее отсутствие эффекта экрана. Я предполагаю, что многие даже не знают, как установить ipd, но делается это просто, если разобраться. Минусов практически нет! Отличная система и графика.

SDE немного лучше, чем у Rift, но это не слишком заметно. PSVR имеет гладкий эффект экрана благодаря различным технологиям. В принципе никаких претензий не имею — гарнитура соответствует заявленным характеристикам и отлично работает второй месяц, но ничего такого особенного в ней за свои деньги нет.

Парень купил — вообще не понравилось! Зачем мне этот мусор? Это, конечно, только моё мнение, но множество людей с ним согласны! Подавляющее большинство гарнитур работают гораздо лучше. Я предпочту купить что-нибудь получше и посолиднее.

3D-просмотр

Для просмотра 3D-моделей, с которыми работает пользователь, в новейшей версии системы предусмотрено приложение с говорящим названием «3D-просмотр». Оно поддерживает работу с несколькими распространёнными форматами 3D-моделей, позволяет в один клик отправить модель в Paint 3D или в печать.

Впрочем, без странных недоразумений со стороны Microsoft не обошлось и в более продвинутый редактор 3D Builder, включённый в состав системы ранее, отправить модель из этого приложения нельзя. К слову, несколько моделей для примера, доступно в новой папке «Объёмные объекты» в профиле пользователя.

Источник: ptrade24.ru

Mixed reality portal что это за программа и нужна ли она на windows 10

Список устройств для организации MR Если у вас уже есть HTC Vive и компьютер, готовый для встречи с MR, вероятно, вы потратили около $900 на покупку всего оборудования из приведённого выше списка — за исключением видеокамеры. В зависимости от торгового посредника, эти покупки могли обойтись вам дешевле.

Как это работает: Существует несколько игр на базе Unity, задействующих смешанную реальность. Например, Space Pirate Trainer, Job Simulator, Zenblade или Tilt Brush. Возможность записи игрового процесса в MR появляется после подключения третьего контроллера и создания специального конфигурационного файла. Третий контроллер нужен, чтобы определить расположение видеокамеры: эта информация необходима для моделирования виртуальной среды. При этом видеосигнал от камеры обрабатывается таким образом, что игровое пространство становится видимым не только игроку — через шлем, но и стороннему наблюдателю — на экране. Совмещение реальностей, которое видит наблюдатель, производится в реальном времени при помощи программного обеспечения Open Broadcaster Software (OBS). (Источник: Как создать видео смешанной реальности при помощи шлема HTC Vive — с двумя контроллерами)

Шаг 2: Добавляем хромакей

Зелёный экран в студии нужен для того, чтобы на видео можно было «подменить» зелёный фон за объектами съёмки (например, за игроком) на игровое пространство. Вам понадобятся как минимум три отдельных полотна ткани, чтобы в одном из углов комнаты покрыть ими обе стены и пол.

Прикрепить ткань на стены можно при помощи реек, но сделать это нужно так, чтобы на линии стыка одно полотно оказалось наложено на другое. Закончив со стенами, покройте оставшейся тканью пол. Для лучшего эффекта каждое полотно следует натянуть, чтобы избежать появления складок. Даже освещение внутри вашей студии может улучшить качество совмещения реального и виртуального видео.

Шаг 3: Подключаем устройство видеозахвата

Устройство видеозахвата (компьютерная плата или внешнее устройство) требуется для подачи видеосигнала на обработку в приложение OBS. Обычно установка такого устройства представляет довольно утомительную задачу, поскольку для этого нужно открывать корпус компьютера. Мы купили устройство захвата GC550 LGX, поскольку его можно подключить через шину USB. Помните, что вам не обязательно покупать такое же оборудование, подойдёт и более дешёвая альтернатива из моего списка).

Шаг 4: Создаём конфигурационный файл

Скопируйте расположенный ниже текст в «Блокнот» и сохраните его под именем externalcamera.cfg. Убедитесь, что исходное расширение заменено на “.cfg”. Или же просто скачайте готовый конфигурационный файл, кликнув здесь. Скопируйте этот файл в директорию, где располагается ваша MR игра (среди игр, поддерживающих такой способ, значатся Space Pirate Trainer, Job Simulator, Zenblade и Tilt Brush). x=0
y=0
z=0
rx=0
ry=0
rz=0
fov=60
near=0.1
far=100
//m=-0.999059,0.015577,-0.040472,-0.0127,-0.016016,-0.999816,0.010544,0.1799,-0.040301,0.011183,0.999125,-0.0846
sceneResolutionScale=0.5

Шаг 5: Помещаем третий контроллер рядом с камерой

Третий контроллер нужен, чтобы система могла точно определять положение видеокамеры. Поэтому нужно поместить его возле камеры и, в процессе съёмки, расположение контроллера относительно камеры не менять. Обычно современные видеокамеры снабжены креплением типа «горячий башмак», к которому может быть подсоединён специальный зажим для контроллера.

Также контроллер можно установить непосредственно на крепление для внешней вспышки. Мы использовали камеру Sony HDR-CX405, установленную на штативе. Контроллер нам удалось закрепить на специальном L образном выносе, совместив его с держателем для iPad (по размеру он подошёл идеально). Лучше всего закрепить контроллер горизонтально, как показано ниже, поскольку это значительно упростит дальнейшую настройку. (Источник: «> Трейлеры к смешанной реальности: за кадром )

Шаг 6: Подключаем контроллеры в особом порядке

1. Убедитесь, что все контроллеры отключены от компьютера.
2. Запустите SteamVR, затем закройте это приложение.
3. Подключите контроллеры 1 и 2 (те, что не закреплены на камере). На этом этапе вам нужно просто их активировать — нажать кнопку над диском.
4. Запустите SteamVR и убедитесь, что контроллеры 1 и 2 распознаны.
5. Подключите контроллер 3 через шину USB.
6. Убедитесь, что контроллер 3 успешно распознан.

Выполнение действий в таком порядке должно обеспечить корректное определение системой расположения видеокамеры.

Шаг 7: Запускаем игру в режиме смешанной реальности

При подготовке материала для этой статьи мы выбрали MR-игру Space Pirate Trainer. Убедившись, что конфигурационный файл скопирован в директорию игры, запустите её, соблюдая следующую инструкцию:

1. Проверьте, все ли контроллеры распознаны системой Lighthouse.
2. Зажмите Shift и запустите игру двойным кликом.
3. Выберите наивысшее разрешение, доступное для вашей системы.
4. На этом этапе MR-игра должна запуститься в стандартном режиме, и один из контроллеров не должен быть распознан.
5. Наденьте VR-шлем и нажмите триггер (на контроллерах в ваших руках, под указательным пальцем) несколько раз, пока контроллеры 1 и 2 не отобразятся в игровом пространстве.
6. Если изображение на экране вашего компьютера разделилось на четыре отдельных сегмента, то можно поздравить вас с успешным переходом в пространство Mixed Reality.

(Четыре сегмента на экране компьютера: слева вверху — передний план, слева внизу — вид от камеры (с позиции контроллера 3), справа вверху: задний план, справа внизу — вид от первого лица)

Шаг 8: Настройка программного обеспечения OBS

Этот пример проводился на мониторе Full HD (1080p):

1. Подключите выход вашей камеры ко входу устройства видеозахвата.
2. Скачайте и запустите приложение OBS (скачать OBS Studio можно здесь)
3. Нажмите “+” → “Video Capture Device” (устройство видеозахвата) в меню Source (источник) и включите камеру.
   Device (устройство): выберите ваше устройство видеозахвата (я использовал AverMedia GC550).
   Resolution/FPS type (разрешение/частота кадров): Custom (пользовательские установки).
   Resolution (разрешение): выберите разрешение вашей реальной камеры (моя камера снимает в разрешении 1920×1080).
   Когда изображение с камеры возникнет в окне приложения OBS, нажмите Confirm (подтвердить).
   

1. Щёлкните правой кнопкой мыши на названии вашего устройства захвата, выберите Filters (фильтры), и затем левой кнопкой “+” → “Add a new Chroma Key/Color Key” (добавить новый цвет хромакея) → “Key Color” (цвет хромакея) → в поле Type (тип цвета) выберите “Green” (зелёный) и отрегулируйте параметры Similarity (близость цвета) и Smoothness (плавность цветовой границы) таким образом, чтобы зелёный цвет полностью исчез.
   

1. Запустите вашу игру в режиме MR, после чего нажмите “+” → добавьте окно захвата “Window Capture” и выберите окно с запущенной игрой.

1. Правой кнопкой мыши щёлкните на окне захвата, выберите Filters и добавьте новый фильтр Crop с параметрами Top и Right, чтобы убрать все экраны, кроме нижнего левого. После того как вы расширили и отцентрировали окно, вы сможете увидеть вашу игру на фоне.

1. Повторите действия, изложенные в пункте 6, применительно к переднему плану, удалите чёрный при помощи фильтра Color Key и выровняйте изображение с фоном. Помните, что порядок должен быть следующим: 1 — передний план, 2 — камера, 3 — фон. И, в завершение всего, вам нужно выполнить синхронизацию камеры и контроллера.

Шаг 9: Синхронизация камеры и контроллера

Это последний и самый трудный шаг. Файл externalcamera.cfg содержит информацию о расстоянии между камерой и контроллером Controller 3, угловом отклонении между их осями и актуальном секторе обзора камеры. Идеальная синхронизация всей системы может быть достигнута лишь благодаря корректной настройке всех параметров в файле. Итак, как же это сделать:

(Положение и направление камеры должно совпадать с контроллером, как это было показано выше)

Измерьте расстояние между камерой и контроллером относительно его горизонтальной оси (X), вертикальной оси (Y), оси направления (Z), а также угол наклона контроллера относительно оси объектива (по-хорошему, этот угол должен составлять 0 градусов, но у меня получилось закрепить контроллер только под углом 16.5°)

1. Вычислите вертикальный сектор обзора камеры. Этот параметр вычислить не так просто, как кажется на первый взгляд, поскольку данные об обзорности камеры из её официальных характеристик, скорее всего, не являются вертикальным сектором обзора. Керт Гартнер (Kert Gartner) предложил калькулятор, которым пользуются более профессиональные пользователи. Я использовал несколько иной метод, чтобы вычислить обзорность своей камеры, его я объясню далее. Здесь я приведу несколько значений вертикальной обзорности для некоторых камер:

• Sony HDR CX405: 7° (источник: измерено и вычислено мною самостоятельно)
• Logitech C920 или C910: 3° (источник: ветка обсуждения SteamVR Mixed Reality)
• Полнокадровый сенсор с 35-мм объективном: 27° (источник: ветка обсуждения SteamVR Mixed Reality)
• PS3 Eye (75 FOV Mode): 45 (источник: ветка обсуждения SteamVR Mixed Reality)
  Если вас постигла неудача в вычислении вертикальной обзорности вашей камеры, продолжайте читать дальше.

x=0.02
y=-0.17
z=0.02
rx=16.5
ry=0
rz=0
fov=42.7
near=0.1
far=100
//m=-0.999059,0.015577,-0.040472,-0.0127,-0.016016,-0.999816,0.010544,0.1799,-0.040301,0.011183,0.999125,-0.0846

1. Запустите игру и проконтролируйте, чтобы она появилась в окне приложения OBS. Выключайте и включайте игру, делая соответствующие корректировки до тех пор, пока изображение не станет корректным. Если вы измерили все указанные выше параметры аккуратно и точно, времени на тонкую синхронизацию игры и реальности уйдёт совсем не много. Настоятельно рекомендуем не пренебрегать точной настройкой, так как именно она позволит добиться идеальной синхронизации.

1. Если вам не удалось вычислить вертикальную обзорность вашей камеры на Шаге 3, представьте, что параметры XYZ и rxyz уже выставлены правильно, после чего начните их корректировать большими шагами. Как только вы получите характеристики обзорности, начните медленно корректировать значения, пока они не станут похожими на действительность. Далее вы можете вернуться к точной настройке параметров xyz и rxyz. Это может занять немало времени, но более быстрой и удобной альтернативы на этом этапе попросту нет. Именно поэтому так важно выполнить корректные замеры на Шаге 1 и 2. Это позволит вам сэкономить солидный объём времени, когда вы будете выполнять точную настройку обзорности вашей камеры.

1. После выполнения вышеуказанных шагов процесс синхронизации реальной и игровой картинки будет выполнен, и вы сможете приступить к записи или стримингу вашей MR-игры через приложение OBS.

(Этот видеоролик я сделал в ходе тестирования. Если бы у меня было немного больше времени на точную настройку, я бы смог продемонстрировать более качественный результат.)

Благодарим автора The CY за неоценимый вклад в развитие технологии смешанной реальности.

Источник: ru.msi.com