欢迎访问
比Vision Pro还强?空间计算新品频出,2D内容空间化,VST 14ms低延迟
2024-07-04 来源:电子发烧友网
331

关键词: VR 空间计算

2023年,苹果发布Vision Pro,带火了“空间计算”一词。无独有偶,AR智能眼镜也有了自己的“空间计算”。当然,不仅仅是AR智能眼镜,MR头显市场或许也能在Vision Pro的影响下,迎来新的发展格局。


行业进入空间计算机市场爆发前夕
那么,什么是空间计算?空间计算利用空间感知和环境感知技术,将数字信息与物理空间相结合,创造出一种与现实世界更加融合的交互体验。在三维的世界里,用户可以感受到沉浸式的体验。

业内人士认为,移动互联网的下半场,正是空间计算机的上半场。在空间计算时代,
信息的载体也从以往的智能手机转向空间计算设备,包括具备空间计算能力的MR、VR、AR设备。

在MR、VR、AR设备中,未来会如何发展呢?在前期的发展阶段,XR市场玩家多元化,没有统一的技术路径,整个行业属于百家争鸣的局面。当前业内有两种不同的技术路径,一是首先是满足功能和性能,然后再往轻便的方向发展。二是首先选择轻便,再往满足功能和性能的方向发展。

玩出梦想
科技创始人黄锋认为,空间计算不可能是个三角,难以同时满足功能、性能、舒适性这三个条件。这也很容易理解,就连Vision Pro也仅仅只是实现了功能和性能这两个条件,由于在设备上集成了CPU、摄像头、传感器、高清显示屏等多个先进元器件,在舒适性上还不能完成达到100分。

XR市场经过近几年快速的发展,
处理器光学显示、传感器、通信等关键技术都得到了快速发展,业内人士认为,行业正处于空间计算机市场爆发前夕,正由“真实视觉体验和MR”向“全面沉浸和可穿戴”过渡阶段,后者将在2027年到来,到2037年进入空间计算与机器人融合阶段。

基于VST、OST技术路径,MR、AR
品牌推出空间计算新品
当前,不管是MR头显市场还是AR智能眼镜市场,都迎来了各自的空间计算
产品,包括玩出梦想MR,Rokid AR Lite,XREAL Beam Pro。这三大产品都有各自的特点以及技术优势。

当前,空间计算的产品路线包括VST(
视频透视)、 OST(光学透视)两种。VST是以苹果为代表的,依赖于摄像头等传感器和芯片,通过计算机图像技术呈现出来。OST是以Rokid等厂商为代表的路线,直接通过放置在眼前的半透明光学合成器看到的,再将数字内容叠加在物理世界来实现空间计算体验。

这两种产品路线各有优劣势。财通证券研究所的数据指出,VST虚实亮度易匹配,且虚实匹配一致,FOV在90°-120°之间,因为存在多方优势是当前空间计算的主流方案。而OST一般用于AR智能眼镜,在亮度、分辨率等方面具有优势,不过OST受限于光学技术,随着技术的发展,有望成为下一代的主流方案。

摄像头是VST的核心
硬件。从玩出梦想的官方介绍来看,玩出梦想MR通过搭载了11颗摄像头、7 类传感器、22颗红外补光灯为空间计算效果的实现打下基础。那么,玩出梦想MR是如何打造空间计算的沉浸式体验呢?

首先从产品形态来看,玩出梦想MR是最接近苹果Vision Pro的产品,官方在发布会上也将多项指标与Vision Pro进行对比。根据官方的介绍,在硬件上,玩出梦想MR搭载了
高通骁龙XR2+ Gen2芯片,该芯片采用4nm制程,GPU性能提升2.5倍,AI性能表现提升8倍,GPU功耗比提升50%。

在感知单元,玩出梦想开发了3个基本模块:跟踪、绘图和视觉,增强了混合现实世界的多样性。用户可以体验混合现实应用程序、传统安卓应用程序和跨设备交互。此外,玩出梦想还开发了AI增强的发射器,使用户能够高效简洁地处理各种数字信息。

在跟踪模块上,玩出梦想MR前后累计搭载了11颗摄像头,22颗红外补光灯。通过多传感器融合+dToF,全面进行头部跟踪、手部跟踪。为了提高延迟和定位精度,玩出梦想开发了新
算法,可以减少渲染延迟并执行精确的校准。头部跟踪的定位精度可以在20x10m的房间内达到亚厘米级,在直线场景中,头部跟踪的位置漂移率低于0.3%。针对手部追踪,玩出梦想MR引入了全新的手部运动大模型。

undefined

不同于其他MR头显品牌,玩出梦想还提升了控制器跟踪算法的精度。同时,官方表示高精度的眼动追踪是该产品的标配。公司还在研究使用眼动追踪数据来解决瞳孔摆动问题,以增强视觉体验。

实现高质量的视觉体验对于MR至关重要,因此视觉模块要确保在3D空间中准确呈现数字内容,包括亮度、颜色等。玩出梦想 MR 的光学显示方案采用双目 8K Micro-
OLED+Pancake 的方案。在PPD、像素、PPI等性能上接近Vision Pro甚至超过Vision Pro。例如双目 2700 万像素,PPI为3882,中心区域 PPD 达 45。

undefined

游戏是MR头显的核心娱乐之一,而时延是考验MR设备或者是AR智能眼镜游戏体验的关键。在实现高清晰度的同时,玩出梦想MR做到了VST 14ms低延迟。

与玩出梦想MR的空间计算技术路线不同,XREAL 的Beam Pro承载了空间计算能力,能够将2D应用释放到3D空间,且支持
手机全生态内容空间化。例如看电影时,可以在APP选好影片,再将Beam Pro连接XREAL Air系列眼镜中,就能实现在眼镜中观影。除了娱乐,Beam Pro同样能够用于视频会议等办公室场景。

undefined

XREAL Beam Pro(图源:XREAL)

空间计算的核心是物理世界与虚拟世界的结合。XREAL为Beam Pro打造了3D拍摄的功能,加入双目立体校正算法,让拍摄主体和背景的融入更加自然。

Rokid的 AR Lite包括Rokid Max2眼镜和Rokid Station2主机,基于环境感知、空间定位、交互识别等技术能力,该产品能够用在多个场景中。在娱乐功能上,用户还能与虚拟角色进行互动。在设计领域,用户还能在虚拟环境中进行设计产品、原型制作等。

在看电影等需要投屏的功能时,Rokid AR Lite和XREAL Beam Pro都优化了防抖功能。例如Rokid AR Lite在巨幕模式下可以开启运动模式,实现逐帧追踪防抖。XREAL Beam Pro机身侧面设置了物理按键,可以一键切换3DoF悬停/云台防抖功能。

为了进入空间计算时代,MR设备厂商和AR设备厂商选择各自的技术路线,并在差异化的基础上推出自己的产品。在AR设备市场,XREAL选择以Beam Pro作为入口,打造了新的便携式空间娱乐计算设备。Rokid则持续升级 Station系列,赋能其更强大的空间计算能力。而对于沉寂多时的MR设备行业,苹果Vision Pro的出现,也给同行带来了新的灵感。可以期待的是,接下来会有更多厂商推出“空间计算”产品,整个行业也会更加热闹。




Baidu
map