📌  相关文章
📜  Microsoft Mesh 技术概述

📅  最后修改于: 2022-05-13 01:57:42.366000             🧑  作者: Mango

Microsoft Mesh 技术概述

Mesh 是微软对混合现实未来的愿景。 Mesh 是一个团队平台，可让您在 2021 年 3 月 2 日 Microsoft Ignite 2021 活动期间推出的各种设备上共享虚拟体验。

为什么需要混合现实？

混合现实是物理世界和数字世界的融合，解开了人类、计算机和环境交互之间的联系。简单来说，它允许用户创建一个数字和物理对象共存的新环境。

MR 的应用日益广泛，从被应用到远程为建筑工人提供支持，再到充当工程师虚拟测试的工具。证明我们为什么需要 MR 的流行例子之一是医疗保健。在这个领域，医生可以使用 MR 进行手术并获得更好的数据视觉效果，而不会对人类生命造成任何伤害或风险。 MR 的另一个例子是充当以 3D 全息图的形式渲染现实世界的物理对象的关键工具，从而降低了资源获取和利用的成本。

MR 主要用于制造业，它允许用户通过相应地指向他们的设备来查看其数字版本中的设备类型。
也可以通过使用全息传输支持设备或耳机来提供技术培训。因此，需要 MR 以减少维修时间和低成本解决方案提供培训和制造解决方案。

简而言之，MR 弥合了 AR 和 VR 之间的差距。其独特的概念推动行业在各个方面改进其解决方案。

在创建混合现实时存在哪些潜在问题以及 Mesh 在其中的作用？

一些阻碍开发人员创建这些身临其境体验的潜在难题尤其是：

  • 需要大量的时间和资源来以相关的真实感在 MR 中代表用户。
  • 一个重要的问题是在共享的 MR 空间中保持稳定的全息图。
  • 使高保真 3D 模型支持文件格式是一项非常艰巨的任务。
  • 地理分布的 MR 会话中的一项复杂工作是同步动作和表达。

这些是开发人员在启用 Microsoft Mesh 旨在解决的 MR 体验方面面临的一些挑战。
Mesh最大的应用是在教育领域。这项技术进一步提高了我们向普通观众展示 STEM 概念模型的能力。如今，弥合科学素养差距至关重要。

此外，虽然学习医学通常需要先进的视觉空间感知——无论是在手术期间评估器官放置，还是在细胞水平上了解生理学。

引用兰斯顿的话，“学习电动汽车发动机或人体解剖学的工程或医学生可以作为化身聚集在全息模型周围，移除发动机的一部分或剥离肌肉以查看下面的内容。同事可以简单地在共享的虚拟空间中聚在一起聊天，或者公司可以使用支持 Microsoft Mesh 的应用程序为世界各地的员工提供虚拟全体会议或培训。”

排除技术术语，Microsoft Mesh 实际上是什么？

Pokémon Go 的网格概念验证版本（图片来源：Microsoft/Niantic）

“你实际上可以感觉到你与共享内容的人在同一个地方，或者你可以从不同的混合现实设备传送并与人们在一起，即使你没有物理上在一起，”微软的亚历克斯基普曼解释说，他的发明者Kinect 和 HoloLens。
如果您一直在等待托尼·斯塔克（Tony Stark）这样的科幻技术或混合现实产品，那么 Mesh 是您需要密切关注的产品。

根据微软的说法， Holoportation是一种允许用户在太空中以自己的化身出现的技术。据说 Microsoft Mesh 支持全息传输。虽然holoportation只允许创建化身，但微软承诺人们以照片般逼真的形式进行交流。

Mesh一直被认为是AR和VR领域最伟大、最具创新性的产品。让我们来看看 Microsoft Mesh 的核心组件。

支持网格的应用程序：

  • HoloLens2：凭借其身临其境的混合现实功能，HoloLens 2 及其 Mesh 应用程序可以在您工作的任何地方舒适地与他人联系并共同创建。
  • VR 耳机：使用 VR 耳机，您可以在 Mesh 的虚拟空间中与其他用户会面、共享和工作。
  • PC 和手机：您可以使用自己的 PC 和智能手机参加由 Mesh 提供支持的会议和设计会议。
  • 支持网格的应用程序：在开发平台之上，Microsoft Mesh 还提供了一些应用程序体验，使平台充满活力。

开发者平台：

Mesh 由一个综合平台和一系列工具支持。这个开发者平台的核心是 Azure。
HoloLens 2 Mesh应用程序和AltspaceVR是 Mesh 可以为沉浸式耳机点亮的协作体验的实例。

作为开发人员，您无需担心围绕计费、音频/视频传输和底层实时状态管理功能的核心基础设施，因为 Azure Active Directory 和 Microsoft Graph 等服务的存在。以下是 Microsoft Mesh 的功能：

  1. 身临其境： Mesh 平台具有 AI 驱动的运动模型来捕捉动作和表情，并附带一个虚拟形象装备和一个定制工作室，因此您可以使用开箱即用的虚拟形象来代表参与者，具体取决于他们使用的设备'从加入。它还可以通过外向内传感器实现最逼真的 360度全息传输，以实现栩栩如生的表现。
  2. 空间地图：该框架支持锚定内容、共享设备视点以及协作处理 3D 模型，从而使 Mesh 能够全面了解用户所处的空间/环境。
  3. 全息渲染：这为设计应用程序提供了灵活性，这些应用程序可以根据设备优化延迟与保真度，并在支持 Mesh 的应用程序中本地渲染 3D 文件格式。
  4. 多用户同步：在协作会话中创建全息图和彼此的共同视角，并通过 Mesh 中的空间音频进行增强，从而在多用户场景中创造一种处于同一物理空间中的感觉。
    Mesh 的跨平台开发人员 SDK可利用这些功能和核心平台特性，从而为开发人员提供在他们选择的平台上工作的自由，例如 Unity 以及原生 C++ 和 C#，以及即将推出的对 Unreal、Babylon 和 React Native 的支持。

多设备支持：

该产品基于 Microsoft Azure 构建，使开发人员能够构建身临其境的多用户跨平台混合现实应用程序。

混合现实正在成为消费者和商业领域的主流，将屏幕绑定体验解放到您的空间中、您的事物之间、与您的人的本能交互中。 Microsoft Mesh 感觉就像一部科幻电影，以其令人兴奋的设计而栩栩如生。虽然许多基于产品的公司都在致力于创新 MR 解决方案，但 Mesh 已被证明是下一件大事。
Mesh 使用 2017 年推出的社交网络 AltSpace VR 来帮助为用户创建虚拟化身。 Mesh 将很快与 Teams 集成，从而提供比任何其他团队会议平台更具未来感的呼叫。
要体验 Mesh MR，您只需戴上 HOLOLENS 2 耳机，参加虚拟会议，就可以开始了！
虚拟会议的所有参与者都可以占据一个虚拟化身，感觉就像你们都在同一个房间里。大流行导致将技术创新推向更高的高度，而网格就是其中之一。微软还在各种设备上提供 Mesh，包括 HoloLens 2、大多数虚拟现实耳机、平板电脑、智能手机和 PC。

MR 会议中的 Mesh 虚拟化身（图片来源：微软）

在 Azure 的计算和 AI 功能的支持下，Mesh 还旨在让处理 3D 建模和设计的建筑师、设计师和工程师在全球范围内协同工作。
尽管取得了进步，但 Mesh 也有其自身的一系列困难，例如 VR 头戴式耳机 HOLOLENS 2 的成本。另一件事是，像从 2D 屏幕跳跃这样的动作是可能的，头戴式耳机的体验不够沉浸。
从在 Teams 上举行虚拟 MR 会议到虚拟音乐会再到 MR 游戏体验，可能性是无限的。但 Mesh 的现实和成功取决于微软营销其技术的方式以及克服 Mesh 当前面临的限制。