兰州在线

Oculus Insight内向外追踪技术的起步、发展与未来

Oculus Insight中出站跟踪技术的开始,发展和未来映维网作者Tong Yu

VR硬件最初需要通过数据线访问PC,直到Facebook工程团队发现了切断电缆的方法。

当Anna Kozminski于2018年加入Facebook担任软件程序工程师时,她的任务很简单:切断VR设备的线缆,以便任何人都可以随时随地佩戴它。它位于顶部并立即沉浸在虚拟现实世界中,无需使用外部摄像头捕捉环境。

安娜指出:“我们希望建立一个系统,让您能够像现实世界一样在VR世界中自然而轻松地移动,并能够在内部自由探索。”

对于Anna的团队,其使命是为消费者VR设备开发第一个功能齐全的“由内而外”的跟踪系统。该技术将能够跟踪用户的全部运动范围(即六个自由度),同时精确定位头部显示器和两个运动控制器的位置。

否则,VR设备需要利用外部传感器来跟踪运动。用于跟踪的摄像机连接到PC,虽然这是可行的解决方案,但是VR的便携性降低并且设置复杂性增加。

安娜说:“通过头部显示器的内部和外部跟踪,踏入VR就像戴耳机一样容易听音乐。”

件。它还必须足够有效,依靠电池来执行其功能。

Oculus Quest是首款内置全六自由度跟踪和双控制器跟踪的头戴式设备。

为了实现这一目标,Anna和她的团队使用计算机视觉和自我开发算法生成用户周围环境的实时3D映射,以便头部可以计算您的位置并将其传递给虚拟现实世界。

Facebook称这个系统为Oculus Insight。它使新的Oculus Quest和Rift S头成为可能。几天前,该公司写了关于苏黎世,门洛帕克和西雅图工程团队将这项技术转化为现实的过程。以下是Vision Network的具体完成:

Oculus Quest前照灯中的摄像头和跟踪传感器

1. SLAM

Oculus Insight中出站跟踪的基础是SLAM(即时位置和地图构建),它使用计算机视觉CV算法融合来自多个传感器的输入数据,以确定不断更新的数字地图中对象的位置。 SLAM长期以来一直用于智能手机中的机器人和AR相机效果,Facebook也在2016年展示了Santa Cruz VR平视原型。但Oculus Insight需要前所未有的精度和效率,这意味着它需要适应最新的跟踪技术和计算机视觉。

“大部分技术都是从学术界开始的,来自实验室,”安娜说。她加入苏黎世Facebook的工程团队并不是偶然的。事实上,这里的大多数成员来自苏黎世眼科项目(由着名的苏黎世理工学院和苏黎世大学开发)。

为了构建更高级的SLAM,工程团队利用Facebook多年的人工智能研究和工程,构建用于理解视频中出现的对象和行为的系统,并开发支持移动设备的高效计算机视觉算法。

2.应用于前沿VR设备

Oskar Linde是Facebook团队中Oculus Insight的首席机器感知架构师,在构建超高效SLAM系统方面拥有丰富的经验。林德是第13实验室的联合创始人,该实验室于2011年首次展示了针对消费者应用(针对AR手机游戏)的视觉SLAM技术.Facebook于2014年收购了第13实验室及其SLAM技术,林德加入公司并负责用于开发VR耳机的内部和外部跟踪功能。与此同时,他组建了一支专注于Oculus Insight的团队。

2017年Oculus Insight团队完全致力于其工作,但他们面临着一项核心挑战:创建准确有效的基于SLAM的算法,并支持Oculus Quest等移动设备。林德的合作伙伴是工程经理Joel Hesch,他的研究项目是使用基于视觉,激光和惯性传感器的SLAM技术,在移动AR和VR应用的同时帮助机器人导航。 Hertz来到Facebook,主要负责将Oculus Insight整合到Quest和Rift S的工程团队中。

Oculus Insight如何运作

Linde,Hershey,Anna和他们的团队已经看过Facebook之前在原始Oculus Rift系统中用于移动增强现实和跟踪技术的SLAM工作,但他们需要找到新的方法来调整它们以便它们能够支持VR。头显示器实现内部和外部跟踪。

在智能手机方面,SLAM使用手机摄像头创建“世界锁定”的照片和视频效果。但对于VR,这涉及多个摄像头,附加传感器和需要在三个维度上跟踪的三个不同对象。

Anna解释说:“我们需要一次解决三个移动组件:头戴式和两个额外的控制器。我们每次都需要采取正确的姿势。”

该团队同时遇到了其他挑战。当您使用虚拟光剑或操纵虚拟船时,如果运动控制器距离头部太近或太远,则头戴式摄像机难以清楚地感知控制器的红外LED。 Oculus Insight还使用其他传感器,包括来自抬头和控制器结合惯性测量单元的加速度和速度数据。系统必须实时处理所有数据,对于Quest,所有这些都需要由移动芯片组执行。

3.毫米级跟踪精度

为了解决这一挑战,Oculus有条不紊地改进了系统。为了提高系统的跟踪精度和速度,他们构建了一种新的计算机视觉算法。他们还在各种样本环境中记录了数千小时的视频,然后用于训练系统以识别其环境中的特征。例如,通过定位和跟踪沙发的角落或桌子的边缘,Oculus Insight可以实时地对房间中人的确切位置进行三角测量(类似于人眼检测物体的方式)。

该团队还利用了非常精确的OptiTrack动作捕捉阵列,这是一种在好莱坞视觉效果制作中使用的相同类型的设备。通过比较OptiTrack和Oculus Insight的测量数据,工程师可以微调系统的计算机视觉算法,以实现毫米级的跟踪精度。

4.大量测试

虽然研究实验室专注于实现准确,可测量和可重复的结果,但团队需要将重点转移到感知指标上,以构建支持消费者日常用例的技术。换句话说:对于给定体验,VR用户的实际感受是什么?

为了解决所谓的“Swimminess”(物理位置和运动损失和虚拟位置和运动失配感)和抖动(视觉频闪和图像拖尾)以及其他感知伪像,工程团队充分利用了他们的想象力。

为了记录Oculus Insight的移动并提高跟踪性能,苏黎世团队的工程师David Vogt正在建立OptiTrack捕获系统

Oculus Insight使用OptiTrack捕获系统进行测试,他们将自己用作测试对象。

为了测试Oculus Insight在现实世界中的表现,苏黎世团队的工程师使用了数百个真实世界的房间。上图是其中一个测试室。

5.超越VR,成为AR眼镜的基础

今天,Oculus Insight让您可以比以往更轻松地进入VR体验。对于Rift S,您只需将头部连接到PC而无需额外的传感器。 Quest根本不需要计算机,它可以开箱即用,并支持房间规模的体验。然而,Facebook对未来的看法远远超出了今天的可能性。

目前支持Oculus Insight的相同体验(以及Facebook,Instagram和Messenger的AR体验)最终将转化为未来设备的全新体验。最终,它将成为轻巧,时尚的AR眼镜的基础。

Facebook最后写道:“我们还有很长的路要走,但Oculus

22: 44

来源:切割木材网

Oculus Insight中出站跟踪技术的开始,发展和未来映维网作者Tong Yu

VR硬件最初需要通过数据线访问PC,直到Facebook工程团队发现了切断电缆的方法。

当Anna Kozminski于2018年加入Facebook担任软件程序工程师时,她的任务很简单:切断VR设备的线缆,以便任何人都可以随时随地佩戴它。它位于顶部并立即沉浸在虚拟现实世界中,无需使用外部摄像头捕捉环境。

安娜指出:“我们希望建立一个系统,让您能够像现实世界一样在VR世界中自然而轻松地移动,并能够在内部自由探索。”

对于Anna的团队,其使命是为消费者VR设备开发第一个功能齐全的“由内而外”的跟踪系统。该技术将能够跟踪用户的全部运动范围(即六个自由度),同时精确定位头部显示器和两个运动控制器的位置。

否则,VR设备需要利用外部传感器来跟踪运动。用于跟踪的摄像机连接到PC,虽然这是可行的解决方案,但是VR的便携性降低并且设置复杂性增加。

安娜说:“通过头部显示器的内部和外部跟踪,踏入VR就像戴耳机一样容易听音乐。”

件。它还必须足够有效,依靠电池来执行其功能。

Oculus Quest是首款内置全六自由度跟踪和双控制器跟踪的头戴式设备。

为了实现这一目标,Anna和她的团队使用计算机视觉和自我开发算法生成用户周围环境的实时3D映射,以便头部可以计算您的位置并将其传递给虚拟现实世界。

Facebook称这个系统为Oculus Insight。它使新的Oculus Quest和Rift S头成为可能。几天前,该公司写了关于苏黎世,门洛帕克和西雅图工程团队将这项技术转化为现实的过程。以下是Vision Network的具体完成:

Oculus Quest前照灯中的摄像头和跟踪传感器

1. SLAM

Oculus Insight中出站跟踪的基础是SLAM(即时位置和地图构建),它使用计算机视觉CV算法融合来自多个传感器的输入数据,以确定不断更新的数字地图中对象的位置。 SLAM长期以来一直用于智能手机中的机器人和AR相机效果,Facebook也在2016年展示了Santa Cruz VR平视原型。但Oculus Insight需要前所未有的精度和效率,这意味着它需要适应最新的跟踪技术和计算机视觉。

“大部分技术都是从学术界开始的,来自实验室,”安娜说。她加入苏黎世Facebook的工程团队并不是偶然的。事实上,这里的大多数成员来自苏黎世眼科项目(由着名的苏黎世理工学院和苏黎世大学开发)。

为了构建更高级的SLAM,工程团队利用Facebook多年的人工智能研究和工程,构建用于理解视频中出现的对象和行为的系统,并开发支持移动设备的高效计算机视觉算法。

2.应用于前沿VR设备

Oskar Linde是Facebook团队中Oculus Insight的主要机器感知架构师,拥有构建超高效SLAM系统的丰富经验。林德是第13实验室的联合创始人,该实验室于2011年首次为消费者应用程序(用于AR移动游戏)演示了视觉冲击技术。2014年,Facebook收购了第13个实验室及其Slam技术,Linde加入了该公司,负责开发虚拟现实耳机的内部和外部跟踪功能。同时,他组建了一个团队,专门研究Oculus Insight。

2017年Oculus Insight团队致力于其工作,但他们面临着一个核心挑战:创建准确高效的基于SLAM的算法,并支持诸如Oculus Quest之类的移动设备。Linde的合作伙伴是工程经理Joel Hesch,他的研究项目是使用基于视觉、激光和惯性传感器的SLAM技术来帮助机器人在移动AR和虚拟现实应用中导航。来到Facebook的Hertz主要负责将Oculus Insight整合到Quest和Rift S的工程团队中。

Oculus Insight的工作原理

Linde、Hershey、Anna和他们的团队已经研究了Facebook在最初的Oculus Rift系统中为移动AR和跟踪技术所做的大满贯工作,但是他们需要找到新的方法来调整它们以便支持虚拟现实。头部显示器实现内部和外部跟踪。

在智能手机方面,Slam使用手机摄像头创建“世界锁定”的照片和视频效果。但对于虚拟现实来说,这涉及到多个摄像头、额外的传感器和三个需要三维跟踪的不同物体。

安娜解释说:“我们需要一次解决三个移动组件:头部安装,和两个额外的控制器。我们每次都需要正确的姿势。

团队同时遇到了其他挑战。当您使用虚拟光剑或操纵虚拟船时,如果运动控制器距离头部太近或太远,则头部安装的摄像头很难清楚地看到控制器的红外LED。Oculus Insight还使用其他传感器,包括来自平视仪的加速度和速度数据,以及集成了惯性测量单元的控制器。系统必须实时处理所有的数据,而对于Quest,所有这些都需要由移动芯片组执行。

三。毫米级跟踪精度

为了解决这一挑战,Oculus有序地改进了系统。为了提高系统的跟踪精度和速度,他们建立了一种新的计算机视觉算法。他们还在不同的样本环境中记录了数千小时的视频,然后用来训练系统以识别环境中的特征。例如,通过定位和跟踪沙发的角落或桌子的边缘,Oculus Insight可以实时三角测量一个人在房间中的确切位置(类似于人眼检测物体的方式)。

该团队还使用了非常精确的光学轨迹运动捕捉阵列,这是好莱坞视觉效果制作中使用的一种相同类型的设备。通过比较opittrack和oculus insight的测量数据,工程师可以对系统的计算机视觉算法进行微调,以实现毫米范围内的跟踪精度。

4。很多测试

虽然研究实验室专注于实现准确、可测量和可重复的结果,但团队需要将重点转移到感知度量,以构建支持消费者日常用例的技术。换句话说:对于一个给定的体验,虚拟现实用户的真实感受是什么?

为了解决所谓的“Swimminess”(物理位置和运动损失和虚拟位置和运动失配感)和抖动(视觉频闪和图像拖尾)以及其他感知伪像,工程团队充分利用了他们的想象力。

为了记录Oculus Insight的移动并提高跟踪性能,苏黎世团队的工程师David Vogt正在建立OptiTrack捕获系统

Oculus Insight使用OptiTrack捕获系统进行测试,他们将自己用作测试对象。

为了测试Oculus Insight在现实世界中的表现,苏黎世团队的工程师使用了数百个真实世界的房间。上图是其中一个测试室。

5.超越VR,成为AR眼镜的基础

今天,Oculus Insight让您可以比以往更轻松地进入VR体验。对于Rift S,您只需将头部连接到PC而无需额外的传感器。 Quest根本不需要计算机,它可以开箱即用,并支持房间规模的体验。然而,Facebook对未来的看法远远超出了今天的可能性。

目前支持Oculus Insight的相同体验(以及Facebook,Instagram和Messenger的AR体验)最终将转化为未来设备的全新体验。最终,它将成为轻巧,时尚的AR眼镜的基础。

Facebook最后写道:“我们还有很长的路要走,但Oculus

从原始文章转载:

仅提供信息存储空间服务。

魔环

安娜

林德

头部显示

任务

阅读()

——