请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册
戴客 首页 科技资讯 混合现实 技术突破 查看内容

别误会Magic Leap了:人家其实很有实力的~

北极蚊子 2017-3-16 12:34


本文4649字,看完需要5分钟,完全看懂可能需要1小时-5天不等,出于公德心,我们先来几条核心提示:


1、VR(虚拟现实)、AR(增强现实)殊途同归,未来只有MR(混合现实)。


2、PC、手机之后,以语音交互为核心的HMD(头戴式显示器)将是下一代计算平台。


3、微软的头戴显示器Hololens是MR行业的标杆。


4、被斥为骗子,靠“特效视频”融资的Magic Leap其实另一个MR核心选手。


5、二者共同定义了MR的3个核心能力:空间视觉、镜片背后的光学系统、硬件及架构思路。


6、前两名甩开了其他对手,但技术边界并没有看上去那么牢固。意识到核心能力是什么,不难赶上。


7、最后,这也是MR投资和创业领域的路线图。


让我们先从那个著名的“鲸鱼从体育馆甲板一跃而起”视频开始吧。


Magic Leap——MR市场中唯二的玩家


某种程度上,整个AR行业都因为这个炫酷的视频而带上光环。


所以,当人们知道这并不是真的来自AR技术,而是源于好莱坞式的特效,视频的”出品方”Magic Leap备受争议。它著名的中国投资者马云也因此受到一些奚落。


2月份,Magic Leap2017年董事会召开,并且公布了一个“简陋”的样机照片后,尘埃落定了,野心家与阴谋论者中混杂着各种各样“死道友不死贫道”的心情,简单的把Magic Leap钉在了耻辱柱上。一言以蔽之:“盛名之下,其实难副”。


无可否认,Magic Leap真真假假的宣传策略客观上拉高了吃瓜群众对它的预期,把自己架上神坛之后与其告诉大家“虽然我很好但是也没有你想的那么牛”,不如干脆保持沉默闷声发财。


但必须要说,微软(Hololens)以及Magic Leap是我看来MR市场中唯二的玩家,虽然可能二者目前来看微软领先,但如果我们将MR看做下一代计算平台的核心概念,怎么吹Magic Leap都不过分,毕竟他是一个“挑战巨头的初创公司”。


至于Meta、ODG、Lumus、Infinity AR等等等等的公司,在我看来至少目前他们在核心能力上还都有欠缺,暂且按下不提。


首先,Magic Leap到底在干啥?


先上两张图:



上图是Magic Leap第一批被扒出来的专利图之一,清晰地展示了其HMD(头戴显示器)的设计思路:为了减轻重量,把计算单元和电池都外置,眼镜上只留下必要的传感器以加强佩戴舒适度。


而下图是刚刚流出的Magic Leap原型机“谍照”,也是印证了之前专利图中的设计思路,所有的计算单元包括电源都是外置的,头上的眼镜只是做输入输出设备。


虽然巨大的开发板简直无法直视,不过我们仍然能从开发板中获得一些信息(以下信息有推测部分,不保证完全正确):


首先,从散热器看,和NVIDIA JETSON TX1的散热器一模一样,以及没有在图片中找到其他处理器,大概率是用的Nvidia Tegra平台。


Jetson TX1 开发板官方图


其次,假设使用的是TX1,TX1是Nvidia针对机器学习推出的嵌入式系统平台,处理器性能提升并不明显,侧面反映了Magic Leap设备目前通用计算的量不大,而含256个CUDA核心的GPU肯定是为了MR设备的高图形运算需求而生的,但是带来了另外的发热以及功耗方面的困扰:


巨大的风扇和开发板直接用AC电源输出,这块峰值功率达到10W的开发板,不知未来小型化的前景如何,虽然一个“外置式”的计算模块对重量要求可能会降低,但是“板砖”估计也不能被接受的。


技术总是在不断衍进的。刚刚发布的Nitendo Switch就搭载了Nvidia最新一代的Tegra Parker处理器。不排除Magic Leap已经跳过了TX1直接上Parker平台,毕竟TX1硬伤太明显,Nvidia并没有在这一代平台上发力,有可能集中精力在做下一代Parker平台。


附上Parker与TX1、TK1 Spec对比



看上去是干活的,但是究竟干得怎么样?


首先,这里要明确一个观点:技术的边界是趋同的(特别是做软件、算法层面的公司)。在对真正前沿科技的探索上,同领域的顶级公司技术差距其实并不大(因为大家用的技术框架其实都很类似)。


举个例子, 在图像识别领域,每年ImageNet的比赛顶级team之间的差距并不大(标准实验室环境下),每年的冠军也是轮流换,真正有巨大提升的,是Hinton12年用深度学习来做图像识别那一年,之后大家都换成了深度学习框架,竞争又变成了一个两个百分点的竞争。


当然如果变成了复杂环境或者说真实环境,大家的技术体验就更相似了:40%正确率和60%正确率,对于用户来说都是一样的:不准!


另外一个例子就是VR行业:Oculus相对VIVE,起步早一些,但是实际能拿出的产品从体验上来看区别不大,甚至PS VR虽然技术指标不如前两者,实际上却是出货量最大也最受好评的VR平台。


所以,如果我们把Hololens所定义的MR当做这个行业目前的标杆,跻身行业一线玩家行列,需要具备什么样的条件呢?


首先是空间视觉能力,或者说是基于嵌入式平台的SLAM(即时定位与地图构建,或并发建图与定位)。Hololens之所以带来这么大的震撼,主要也是因为这是第一个公开销售并集成了Inside-out追踪技术的HMD系统(什么是Inside-out空间定位技术,简单来说就是利用设备自身,而不依靠外部的传感器等配件,实现虚拟场景里的空间定位,以及更多的人机交互)。


在这之前,所有HMD搭载的定位系统都是outside-in方案,即需要外置的摄像头拍摄头盔或者控制器的mark点来定位。从使用难度来讲相去不可以道里计(用过VIVE的都懂)。


Inside-out技术简示


其次,光有Inside-out本身是不足以支撑混合现实体验的,还需要空间信息或者说深度信息的叠加,才能够真正实现定位+空间重建来支撑完整的混合现实体验。深度信息与SLAM的叠加从技术难度上来说并不高,但是目前鉴于大家连inside-out还没做好,空间信息的叠加还需等待。


SLAM本身并不是一个新东西,国内也有相当多的团队在做,比较突出的包括速感科技,Perceptin等等,但是目前都还是作为一个双目空间摄像头模块存在,Ximmerse拿出了自己的inside-out方案,也是取了个巧,利用摄像头拍摄手柄上的光点进行定位,还不能算是广义上的inside-out方案。


国外目前在做空间视觉的创业公司包括Infinity AR,Occitipal等等,今年CES2017几家公司也均有参展,Infinity AR的Demo是一个飞机在桌子上起落飞翔的动态演示,但是跑道与桌子的贴合包括整体影像的晃动都很剧烈,演示效果离Hololens的稳定状态还有比较大的差距。


相比之下Occitpal的演示则更令人印象深刻,整体体验非常好,但我个人怀疑是针对特定的演示场景做了优化,实际产品能达到什么样的效果尚数未知。


大公司方面,Oculus去年宣布了自己的一体机Santa Cruz,承诺会有inside-out定位功能,Google Tango一直是移动SLAM的先行者,苹果也收购了相当多AR相关的公司,据传也在研究眼镜产品,高通也已经发布了自己的VR一体机产品,号称有inside-out追踪功能,其他公司包括ODG,Lumus,Meta等等,目前还都是在提供基于不同光学方案的AR眼镜产品,由于不具有空间视觉功能,尚不能认定为MR产品。


第二点,就是要有好的AR光学方案,Hololens包括Magic Leap都是采用了全息波导衍射光栅的光学镜片,而其他公司如ODG及Meta等则采用自由曲面、棱镜或者几者混合的光学方案。


显示技术应当说在目前来看,技术迭代的路线整体是向光波导光学靠拢的,只有光波导才能做到真正像现在正常眼镜一样大小轻重的HMD产品。


但是目前光波导镜片面临量产难度大,成本高,FOV(field of view, 简单来说,就是玩家游戏时的视野)不足的问题,相对来说自由曲面或者棱镜的光学方案则门槛更低,相对供应链更成熟,显示效果跟目前成熟的光波导镜片来看也完全不差甚至犹有过之。


Meta用很笨拙的方案就做到了90度FOV,而今年CES Lumus展出的50度光波导镜片方案已经是目前最领先的光波导镜片了,更不要说他巨大的头部器件和发热。


Lumus


第三点,就是一些硬件包括其背后体现的思路,具体应当说包含三点:四摄像头SLAM,结构光以及HPU。


首先是四摄像头,感兴趣的同学大概已经发现了一个奇怪的巧合:Oculus的一体机Santa Cruz也是采用了四摄像头方案(不过Hololens的方案是左右各两个,Santa Cruz的方案是上下各两个)。


我猜Magic Leap也会采用四摄像头的方案,主要是为了在保证mapping的angular resolution的基础上,同时兼顾tracking的FOV,说白了,就是为了看得更准更宽,从而保证了定位和追踪的稳定性,这是双目甚至单目解决不了的。


结构光:Hololens的深度信息均来自结构光摄像头,包括手势识别,但这里一个有意思的事情是,很多人做SLAM的时候也会结合结构光信息来做,但这在HMD上是无法应用的,因为结构光在做空间识别的时候,识别范围较远,是不能够识别近距离的手的具体信息的,所以如果使用了结构光来做SLAM,实际上是无法同时应用手势识别的。


在Hololens具体操作时,也是预先扫描了周边环境的深度信息,然后才开始做手势识别交互。


HPU是另一个被传得神乎其神的东西,实际上是微软定制的Cadence Tensilica的DSP,内含24个核心,主要用来处理跟视觉,手势,环境感知相关的一切算法。


所以算力提升对于MR行业来说仍然是亟需解决的问题,想想Magic Leap开发板上巨大的散热器~


所以总结来看,目前除了微软,行业内的其他玩家都或多或少的缺乏MR产品的一部分核心能力,而Magic Leap,无论从其展示的思路还是靠谱的小道消息,是最靠近这个技术路线并且已经有相当技术积累的公司。


所以,那些神视频到底怎么回事?


首先,Magic Leap总共发布过4段视频(办公室机器人大战、太阳系、A new morning以及星战)+2个动图Demo(鲸鱼以及手心小象)。


其中办公室机器人大战、鲸鱼以及手心小象都是特效视频,其余的均为“Shot directly from Magic Leap”。所以之前很多媒体报道中所谓“均为特效”是不实的,不过实拍的内容中细琢磨的话也有很多小tricks,下面详细分析一下:



1. 两张截图分别来自两段视频,但都非常清晰的显示了一个问题:桌子可以非常完美的把R2D2的身体挡住,当机器人走到桌子旁边或者镜头位置变化到有物体在前面“遮挡”图像的时候,被遮挡的图像就完美的不显示了!这是怎么做到的呢?

12下一页

本文导航

文章点评