CN108427499A - 一种ar***及ar设备 - Google Patents

Abstract

本发明实施例提供一种AR***及AR设备，其中所述AR***包括所述现实感知模块和增强内容工具模块。所述现实感知模块包括空间感知单元和对象感知单元的至少一种，其中：所述空间感知单元用于感知所述AR***所拍摄到的环境信息；所述对象感知单元用于感知现实中的目标物体的信息；所述增强内容工具模块包括AR播放器单元和AR内容集成创建工具单元中的至少一种，其中：所述AR内容集成创建工具单元，用于进行AR内容创作；所述AR播放器单元用于对AR内容进行展示。

Description

一种AR***及AR设备

技术领域

本发明实施例涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种AR***及AR设备。

背景技术

AR(Augmented Reality，增强现实)技术是一种全新的人机交互技术，通过智能终端设备和可视化技术将虚拟内容应用到真实世界，使得虚拟内容和真实世界同时叠加到同一个画面或空间呈现给用户。

随着智能终端的普及，AR技术的应用愈加广泛，可以通过在智能终端上安装AR技术进行体验。AR技术的一般工作原理为：智能终端通过摄像头拍摄图像或者录制视频，然后识别拍摄到的图像或者视频中的目标物体；对目标物体进行跟踪；获取与目标物体相关联的AR虚拟内容，对图像帧进行渲染，将所述AR虚拟内容叠加在目标物体上，并最终显示在智能终端上，完成最终的交互。

目前，AR技术在游戏、购物、广告、社交、教育、旅游、金融等领域的应用越来越广泛，但是由于目前的AR技术存在较高的技术门槛，所以阻碍了AR技术的推广及应用。

发明内容

本发明公开了一种AR***及设备，覆盖了AR应用所必需的技术元素，便于AR内容的制作和AR技术的推广。

本发明一方面提供了一种AR***，包括：包括现实感知模块和增强内容工具模块，其中：

所述现实感知模块包括空间感知单元和对象感知单元中的至少一个，其中：

所述空间感知单元用于感知所述AR***所拍摄到的环境信息；

所述对象感知单元用于感知现实中的目标物体的信息；

所述增强内容工具模块包括AR播放器单元和AR内容集成创建工具单元中的至少一个，其中：所述AR内容集成创建工具单元，用于进行AR内容创作；

所述AR播放器单元，用于对AR内容进行展示。

优选地，所述空间感知单元包括：运动跟踪子单元和场景感知子单元中的至少一个，其中：

所述场景感知子单元，用于感知AR***所拍摄到的环境信息；

所述运动跟踪子单元，用于跟踪所述AR***的空间位置和\或自身的姿态信息。

优选地，所述运动跟踪子单元使用内向外追踪技术或者外向内追踪技术对AR***在未知环境中的位置和姿态信息进行跟踪。

优选地，所述运动跟踪子单元允许所述AR***利用已经建立环境的地图，进行所述AR***所处地点识别或者进行所述AR***相对地图的位置和姿态信息追踪。

优选地，所述场景感知子单元使用重建技术来对所述环境信息进行三维重建，得到所述环境信息的数字表示。

优选地，所述场景感知子单元对所述AR***所处的环境进行场景识别和环境理解。

优选地，允许多个设备同时接入同一个场景进行互动，进行互动时采用单用户体验模式和/或多人互动模式。

优选地，所述AR***处理的数据规模包括桌面尺度、房间尺度、建筑物尺度、城市尺度和世界尺度中的至少一种。

优选地，所述对象感知单元包括非人体物体子单元和人体相关物体子单元中的至少一个，其中：

所述非人体物体子单元，用于感知除了人体之外的目标物体的信息；

所述人体相关物体子单元，用于感知人体相关的目标物体的信息，包括人脸、人眼、手势和人体中的至少一个。

优选地，所述非人体物体子单元所感知的目标物体包括特定物体和通用物体中的至少一种。

优选地，所述特定物体包括人工标记、平面图像、3D刚体和非刚体中的至少一种。

优选地，所述特定物体的感知包含个体检测、大规模检索和个体跟踪中的至少一种。

优选地，所述通用物体的感知包括类别检测和物体跟踪中的至少一个。

优选地，所述人体相关物体子单元的感知包括检测与跟踪、姿态估计和识别中的至少一个。

优选地，所述检测与跟踪包括人体相关的目标物体的检测和/或跟踪，包含人脸和人眼、人体等。

优选地，所述姿态估计包括人体相关的目标物体的姿态估计，包含人脸特征点定位和人体姿态估计中的至少一个。

优选地，所述识别包括人体相关的目标物体的识别，包含手势识别、人脸识别和行人识别中的至少一个。

优选地，所述对象感知单元在感知动态物体时所使用的维度包括物体检检测、物体跟踪、可扩展性、灵活性和互动性中的至少一个。

优选地，增强内容工具模块还包括资源商店单元和资源管理服务单元，其中：

所述资源商店单元，用于存储及获取制作AR资源的素材；

所述资源管理服务单元，用于提供AR资源的管理服务。

优选地，所述AR播放器单元包括渲染引擎子单元、内容管理引擎子单元、物理引擎子单元、脚本引擎子单元、多媒体引擎子单元和移动设备统一接口子单元的至少一个，其中：

所述渲染引擎子单元，用于对目标物体、环境信息或AR内容进行渲染；

所述内容管理引擎子单元，用于管理AR内容的缓存和运行；

所述物理引擎子单元，用于模拟物理效果，增强渲染效果；

所述脚本引擎子单元，用于运行支持脚本***的***构架，实现***的分层；

所述多媒体引擎子单元，用于管理和使用设备多媒体功能；

所述移动设备统一接口子单元，用于统一管理移动设备，提供统一的设备使用接口。

优选地，所述渲染引擎子单元包括材质***、光照***、特效***、界面***和动画***中的至少一个。

优选地，所述物理引擎子单元包括刚体组件、角色控制器组件、碰撞体组件、布料组件和关节组件中的至少一个。

优选地，所述多媒体引擎子单元包含视频播放、声音播放和视频录制功能中的至少一个。

优选地，所述AR内容集成创建工具单元包含识别目标定义、行为编辑、内容数据交换、内容创建和编辑、内容诊断和调试、内容优化工具和内容发布工具中的至少一个。

本发明另外一方面还提供了一种AR设备，包括前述任一所述的AR***。

本发明实施例所公开的AR***及AR设备，覆盖了AR应用所必需的技术元素，对AR应用提出了统一的规范和流程，利于进行AR内容的大规模发布，也使AR应用部署和实施变得有迹可循，从而更加方便，能促进AR技术的推广及应用。

附图说明

图1为本发明实施例所提供的AR***的第一结构示意图；

图2为本发明实施例所提供的AR***的第二结构示意图；

图3为本发明实施例所提供的AR***的第三结构示意图；

图4为本发明实施例所提供的AR***的第四结构示意图；

图5为本发明实施例所提供的AR能力光谱的第一示意图；

图6为本发明实施例所提供的AR能力光谱的第二示意图；

图7为本发明实施例所提供的AR能力光谱的第三示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。另外，本文中术语“***”和“网络”在本文中常被可互换使用。

早在1997年，AR技术的先驱之一Ronald Azuma也提出了AR技术至少需要具备如下三个特征：

1)融合虚拟和现实(Combines real and virtual)

AR技术是对现实的增强，因此AR技术不会将用户和现实完全隔绝开来，恰恰相反，如蒂姆库克所说：“AR是对现实的放大”，因此AR技术是将数字信息(虚拟)叠加到现实场景之上，提供了一种非凡的信息交互体验。

2)实时交互(Interactive in real time)

AR技术也不是简单的信息呈现，用户可以通过各种交互手段与现实场景和虚拟信息进行各种互动，同时现实场景和虚拟信息也会实时响应用户的交互动作。

3)三维注册(Registered in three dimensions)

在AR应用中，虚拟信息可以无缝的与现实场景融合在一起，而不是简单的场景或者技术的叠加，AR技术可以精确的处理现实与虚拟的几何关系。

基于此，在本发明实施例所提供的AR***中，增强现实(Augmented Reality，AR)的两个核心要素是：a)现实感知，即对现实世界理解、识别和跟踪等能力；b)增强现实(AR)内容，即对虚拟内容渲染、融合、交互、创作能力。

在本发明实施例中，一个完整的AR***，或者说一个完整的AR应用(以下简称“AR***”或者“AR应用”)，需要现实感知能力去模仿人类，实现像人类一样感知世界。为了达到这个能力，一般是通过机器学习和计算机视觉的方式去达成的。有了这样的能力，AR***或者AR应用才能感知到现实环境中有什么信息、并且具***置在哪里。在感知现实的基础上，AR***或者AR应用或者AR设备必须向用户展现合适的内容，也即AR内容。由于现实世界是3D的，因此现实世界的内容也具备很强的3D属性，同时现实世界的信息是异常丰富多面的，因此用户必须通过一些交互手段才能完成现实世界的内容同AR内容进行互动。

AR技术的应用方向特别广阔，从业务***层从功能和场景角度来看，就有AR红包***、AR营销***、AR商品展示***、AR培训***、AR搭配试戴***、AR智能客服***、AR导航***、AR说明书***、AR远程协助***、AR数据可视化***和AR素材库***等等。目前，AR领域发展很快，很多已经应用在日常生活的各个领域，例如：AR广告、AR扫一扫，AR红包等等，但是现在目前AR***缺乏统一的规范，没有统一的AR应用流程，难以高效的完成AR内容的生产、存储、分发、交换，也不能很方便地进行AR应用部署和实施，阻碍了AR大规模发展。

本发明实施例提供了一种AR***，如图1所示，包括：现实感知模块100和增强内容工具模块200，其中：

所述现实感知模块100包括空间感知单元101和对象感知单元102的至少一种，其中：

所述空间感知单元101用于感知所述AR***所拍摄到的环境信息；优选地，所述环境信息可以是陆地、国家、城市、商业区、房间、桌面等环境或者场景下的空间环境信息；

所述对象感知单元102用于感知现实中的目标物体的信息；所述目标物体可以是人或者物体的信息，例如人脸、人的身体部位、花草、树木、卡片、车辆、房间、办公物品、特定场所等信息；

所述增强内容工具模块200包括AR内容集成创建工具单元203和AR播放器单元204中的至少一个，进一步的，增强内容工具模块200还可以包括资源商店单元201和资源管理服务单元202中的至少一个，其中：

所述资源商店单元201，用于存储及获取制作AR资源的素材，例如可以是图片、三维模型、声效、动作、脚本、视频、渲染效果、色彩、线条等；

所述资源管理服务单元202，用于提供AR资源的管理服务，一般可以把该服务放在云端处理；

所述AR内容集成创建工具单元203，用于进行AR内容创作；

所述AR播放器单元204用于对所述AR内容进行展示。

在本发明实施例中，如图2所示，所述空间感知单元101还包括运动跟踪子单元1011和场景感知子单元1012中的至少一个，其中：

所述场景感知子单元1011，用于感知AR***所拍摄到的环境信息；

所述运动跟踪子单元1012，用于跟踪所述AR***空间位置和\或自身的姿态信息。

在本发明实施例中，所述运动跟踪子单元1012允许所述AR***利用已经建立环境的地图，进行所述AR***所处地点识别或者进行所述AR***相对地图的位置和姿态信息追踪。

在本发明实施例中，所述场景感知子单元1011可以使用重建技术来对所述环境信息进行三维重建，得到所述环境信息的数字表示，环境信息的数字表示也即根据环境信息所构建的地图。

在本发明实施例中，所述场景感知子单元1011可以对所述AR***所处的环境进行场景识别和环境理解。

在本发明实施例中，所述AR***处理的数据规模包括桌面尺度、房间尺度、建筑物尺度、城市尺度和世界尺度中的至少一种。

在本发明实施例中，允许多个设备同时接入同一个场景进行互动，进行互动时采用单用户体验模式和/或多人互动模式。

在本发明实施例中，如图3所示，所述对象感知单元102包括非人体物体子单元1021或人体相关物体子单元1022，其中：

所述非人体物体子单元1021，用于感知除了人体之外的目标物体的信息；

所述人体相关物体子单元1022，用于感知人体相关的目标物体的信息，包括人脸、人眼、手势和人体中的至少一种。

在本发明实施例中，所述非人体物体子单元1021所感知的目标物体包括特定物体和通用物体中的至少一种。

在本发明实施例中，所述特定物体包括人工标记、平面图像、3D刚体和非刚体中的至少一种。

在本发明实施例中，所述特定物体的感知包含个体检测、大规模检索和个体跟踪中的至少一种。

在本发明实施例中，所述通用物体的感知包括类别检测和物体跟踪中的至少一个。

在本发明实施例中，所述人体相关物体子单元1022的感知包括检测与跟踪、姿态估计和识别中的至少一个。

在本发明实施例中，所述姿态估计包括人体相关的目标物体的姿态估计，包含人脸特征点定位和人体姿态估计中的至少一个。

在本发明实施例中，所述识别包括人体相关的目标物体的识别，包含手势识别、人脸识别和行人识别中的至少一个

在本发明实施例中，所述检测与跟踪包括人体相关的目标物体的检测和/或跟踪，包含人脸、人眼和人体中的至少一个。

在本发明实施例中，如图4所示，所述AR播放器单元204包括渲染引擎子单元2041、内容管理引擎子单元2042、物理引擎子单元2043、脚本引擎子单元2044、多媒体引擎子单元2045和移动设备统一接口子单元2046中的至少一个，其中：

所述渲染引擎子单元2041，用于对目标物体、环境信息和生成的AR内容进行渲染；

所述内容管理引擎子单元2042，用于管理AR内容的缓存和运行；

所述物理引擎子单元2043，用于模拟物理效果，增强渲染效果；

所述脚本引擎子单元2044，用于运行支持脚本***的***构架，实现***的分层；

所述多媒体引擎子单元2045，用于管理和使用设备多媒体功能；

所述移动设备统一接口子单元2046，用于统一管理移动设备，提供统一的设备使用接口。

在本发明实施例中，所述渲染引擎子单元2041包括材质***、光照***、特效***、界面***和动画***中的至少一个。

在本发明实施例中，所述物理引擎子单元2043包括刚体组件、角色控制器组件、碰撞体组件、布料组件和关节组件中的至少一个。

在本发明实施例中，所述多媒体引擎子单元2045包含视频播放、声音播放和视频录制功能中的至少一个。

在本发明实施例中，所述AR内容集成创建工具单元203包括包含识别目标定义、行为编辑、内容数据交换、内容创建和编辑、内容诊断和调试、内容优化工具和内容发布工具中的至少一个。

在本发明实施例中，所述AR***也可以叫做是AR应用，或者AR设备。在一个优选的方案中，AR***是独立的装置，也可以是装置的一部分。在另外一个优选的方案中，AR***可以是集成了软件及硬件的设备。

在本发明实施例中AR***所执行的操作或者所感知到的信息也可以视为AR所执行的操作或者所感知到的信息，例如感知所处的环境信息、对目标物体进行识别、构建环境信息的三维地图等。

本发明实施例还提供了一种AR设备，包括前述任一所述的AR***。在一个优选的方案中，AR***可以集成在AR设备上，该AR设备可以是硬件设备，如手机、电脑、玩具、可穿戴设备等。

在本发明实施例中，基于前述实施例所提到的AR***或者AR设备，引入了AR能力光谱技术体系的概念，如图5所示，AR能力光谱技术体系覆盖了AR应用所必需的技术元素。在本发明实施例中，AR能力光谱体系与AR***的功能模块所实现的功能相对应。

在本发明实施例中，结合附图5，将AR能力光谱具体介绍如下：

AR能力光谱包括增强内容工具和现实感知能力，分别对应于AR***中的增强内容工具模块所实现的功能和现实感知模块所实现的功能，其中：

一、现实感知能力

现实感知能力(Reality Sensing Ability)，是指通过摄像头、传感器等硬件设备感知现实环境中空间环境及动态对象目标，即使得手机等智能终端或者AR眼镜拥有像人一样通过视觉的方式理解现实的能力。

如图6所示，现实感知能力包括空间感知能力和/或对象感知能力，对应于AR***中的空间感知能力单元所实现的功能和/或对象感知能力单元所实现的功能，其中：

1、空间感知能力

空间是指在相对大尺度环境范围内相对不动的小尺度环境，例如大尺度环境为整个地球，那么陆地、国家、城市、商业区、房间、桌面等区域在一定条件下都可以认为是小尺度环境，即空间，也叫做静态空间环境。

空间感知能力可以包含本地能力和云端能力。

具备空间感知能力的基础上，可以将各种虚拟内容按照不同层次、不同类别放置于空间环境基础上，多人可以共享虚拟内容，可以分类分层获取自己感兴趣的内容，进而达到信息从最符合人类接受的三维角度展示，提升人类获取和理解信息的效率。

例如，当用户走在繁华的街道上，呈现在眼前信息牌就可能是充满虚拟效果的信息牌，用户可以选择感兴趣的信息层来高效获取信息。

一般来说，用户所处的空间大部分时间是静止或者说变换比较缓慢的，但是AR***在这个空间内是需要不断的运动的，因此需要一系列的技术和感知能力去感知所处的空间。

在本发明实施例中，空间感知能力包括以下几个维度：

1.1运动追踪

运动追踪是指AR***能高精度的追踪自己的空间位置和\或自身的姿态信息。运动追踪可以包括自外向内的追踪，也可以包括由内向外的追踪。运动追踪可以包括在未知环境中的运动追踪，也可以包括在已知环境中的运动追踪。如智能手机可以利用自带摄像头通过六自由度即时定位与构图算法(SLAM)进行自内向外的追踪得到其在未知建筑物内的相对位置和姿态。智能眼镜可以由房间内安装的外部摄像头通过由外向内的追踪算法获取眼镜在已知房间内的位置和姿态。除了上述六自由度的追踪，运动追踪也可以是二维的位置估计。如地点识别是指AR***有能力识别出自身相对于已知环境的具***置，如用户位于上海的某个街道的具***置或者北京的某个博物馆内的某个展位前。

运动追踪能力对应于AR***中的运动追踪子单元的功能。

1.2场景感知：

在运动追踪的基础上，AR***需要有能力理解周围的环境。具体可以分为两大类：第一是几何重建；第二是场景理解。

几何重建是指AR***可以从重建周围的几何结构，比如能获取周围环境的点云，能寻找到某个水平面，重建环境的稠密网格等。上述几何结构构成的空间地图，可以通过相应工具进行的分类、更新、删减、压缩、检索等实现管理。几何重建得到的环境地图的潜在应用包括但不限于空间定位、多人交互、AR特效交互、AR内容与空间关联等。

环境理解是AR***能够理解场景的特性并对环境进行语义理解的能力，例如：AR***可以识别环境的光照特性，估计光源位置和强度，从而辅助现实增强。AR***可以理解用户处于室内、室外、海滩等场景，识别环境存在桌子、凳子等物体，相应的进行虚实交互。

场景感知能力对应于AR***中的场景感知子单元的功能。

除了运动追踪和场景感知外，空间感知能力还可以包含以下几个维度：

1.3可扩展性：

可扩展性指AR***能处理的数据的规模，通过数据端口的扩展，提升AR***处理数据的规模和能力。感知空间的大小根据用户场景不同，可以从桌面、房间、室内、建筑物到街道、城市甚至地球级别。同时需要克服光线变化、天气复杂、用户设备多样性等问题。

1.4互动性：

互动性指AR***允许多人同时接入同一个场景进行互动，提升AR***的社交性。支持多个设备运动追踪和场景感知，可以让多用户共享AR内容，使得AR体验更真实化和多样化。

2、对象感知

动态对象是指相对于大尺度范围内常处于运动状态的对象。例如，银行卡、***、玩具、泡面、包装水、人体、人脸等都属于动态对象目标感知，包含本地能力和云端能力。具备动态对象感知的基础上，可以让虚拟内容跟随动态对象移动而移动，例如站在卡片上的虚拟人物可以跟随卡片移动而移动，看上去两个是一体的。对象感知能力对应于AR***中的对象感知子单元的功能。

事实上，在现实世界中拥有大量的动态物体，这些物体经常处在剧烈的变化中，而且用户也经常与这些物体进行交互。AR***必须有能力能够实时处理场景的动态物体。具体根据物体的种类不同，可以分为如下几种：

a)非人体物体：

根据目前的应用场景，非人体物体可以分为特定物体和通用物体两种。其中特定物体可以进一步划分为如下种类：人工标记，平面图像，三维刚体，和非刚体等。

b)人体相关物体：

人体是现实场景中用户打交道最多的对象，针对人体、人脸、手势等的识别跟踪能力也非常重要。

AR***对环境中的动态物体进行感知时，其感知能力至少包含以下几个维度：

2.1物体检测

物体检测包含类别检测和个体检测。类别检测是指检测出场景中的动态物体是哪一个类别，如人体、人脸、玩具等；个体检测是指检测出场景中的动态物体是具体的哪一个已知物体，如某张***、某张名片、某盒泡面等。

物体检测的结果是场景中动态物体所属的类别标签或者个体编号，通过该类别标签或者个体编号可以确定所需要叠加展示的AR内容。

特别地，对于大规模量的特定物体，在检测能力的基础上还需要有大规模检索的能力。

2.2物体跟踪

物体跟踪是指对场景中的动态物体能够持续、稳定地进行跟踪并实时输出AR设备相对于场景中动态物体的位置和姿态信息。

2.3可扩展性

可扩展性是指AR***可以同时感知场景中的多个动态物体，如同时感知多张***。

2.4灵活性

灵活性是指AR***可以同时感知场景中的多种不同类型的动态物体，如同时感知平面图像和三维刚体，如同时感知人体和手势等。

2.5互动性

互动性是指AR***可以让场景中所感知到的不同动态物体之间产生互动，或者使场景中所感知到的动态物体与人之间产生互动，又或者使场景中所感知到的动态物体与多个人之间产生互动，更或者使多个人之间通过场景中所感知到的动态物体来建立互动。

二、增强内容工具

AR内容是继文字、图片、视频等内容形态之后下一代内容形态，AR内容的两大特征是高度3D化和强互动性。

AR内容是AR产业链里面非常关键的一环。AR内容的多少、好坏直接决定了用户的体验，因此如何高效的完成AR内容的生产、存储、分发、交换对于AR应用的推广会起到决定性作用。为了支持上述AR内容全生命周期的过程，需要如图7所示的各种技术工具。

在本发明实施例中，增强内容工具包含AR播放器、AR内容集成创建工具、资源商店和资源管理服务，分别对应于AR***中的AR播放器单元、AR内容集成创建工具单元、资源商店单元和资源管理服务单元。具体的：

1、AR播放器

AR播放器是AR***的另外一项基础能力，在现实感知完成之后，虚拟内容展示成为重要过程。用户能直接体会和感受到的除了虚拟内容所在的位置是不是期望的位置外，更多的是虚拟内容渲染的效果是否酷炫、是否逼真、是否满足其获取信息最理想的期望。

AR播放器负责高质量的AR内容渲染，并且可以跟用户进行灵活的互动。AR播放器包含渲染引擎、内容管理引擎、物理引擎、脚本引擎、多媒体引擎、移动设备统一接口等，分别对应于AR***中的渲染引擎子单元、内容管理引擎子单元、物理引擎子单元、脚本引擎子单元、多媒体引擎子单元和移动设备统一接口子单元。

1.1渲染引擎

(1)概述

渲染引擎，又称为3D渲染引擎，是构建在底层硬件三维图形API接口之上，采用复杂图像学算法，模拟现实世界物质形态，通过显示设备呈现的复杂***。

本发明实施例中，渲染引擎包含材质***、光照***、特效***、动画***和界面***。

(2)材质***

材质是一个相对广泛的概念，不同的专业领域有不同的定义。本***中“材质”是指能够描述物体表面的显示外观的一系列数据和算法。材质主要分为两类：真实性材质和非真实性材质。

真实性材质用于表现现实世界中的各类物体表面，如沙土、岩石、塑料、金属、橡胶、瓷器和植被等。在实现上，通过扫描、拍照或合成等方式，抽取出现实世界中不同物体表面在各种光照条件下的反射、折射等属性，再利用这些属性数据在计算机中还原这些物体表面，以达到逼真表现虚拟物体的目的。

非真实性材质通常用于表现界面元素、卡通人物等现实中并不存在的事物，如虚拟的指示标志和虚拟的卡通角色。通常表现比较醒目，有助于人眼辨识关键信息。

渲染引擎，可以支持多种算法用于模拟各类不同物体的渲染效果，同时支持使用者自行写“着色器”(即Shader，指为了得到想要的3D图形效果而编写的一段能够针对3D对象进行操作、并被GPU所执行的程序)来扩展材质类型。

(3)光照***

本发明实施例中，渲染引擎中的光照***包含光源定义和阴影算法。

用户可以根据具体场景需求选取光源并配置合理的参数，制作理想效果。

(4)特效***

渲染引擎中的特效***包含：多种粒子发射形式(Box，Sphere，Cylinder，Cone，Mesh)、多种粒子控制方式、多种粒子渲染方式等。

(5)界面***

渲染引擎中的界面***包含：统一的界面事件和界面对象管理机制，多种常见控件(Label,Sprite,Input,Texture,Progress,Checkbox,Button)、多种常见布局(Grid,Vertical,Horizontal)、滚动区域、界面分层等。

(6)动画***

渲染引擎中的动画***包含：骨骼动画、Morph动画、Mesh Sequence动画、刚体动画、动画分层和混合等，还可以包括任意对象属性动画。

1.2脚本引擎

AR***架构设计之初，支撑***的AR应用场景被视为最重要和最基础的产品需求之一。因此，产品和技术架构将***进行分层处理，底层提供丰富的识别、跟踪和渲染等能力，上层通过动态脚本调用底层接口，灵活控制内容、交互、界面和流程等内容的表现。

脚本***是实现***分层的核心部件，只有支持脚本***的***构架才能让内容层独立于底层结构与功能，应对***的内容需求。根据内容场景需求，全自由度组合内容流程，交互流程，呈现效果等。

脚本***典型的使用情况如下：

(1)在不更新App本身的条件下，只更新内容包即可实现通过脚本动态控制模型的加载与卸载；

(2)在不更新App本身的条件下，只更新内容包即可实现通过脚本动态控制模型动画的播放和停止；

(3)在不更新App本身的条件下，只更新内容包即可实现通过脚本动态控制模型材质的变换；

(4)在不更新App本身的条件下，只更新内容包即可实现通过脚本动态控制模型的贴图变换；

(5)在不更新App本身的条件下，只更新内容包即可实现通过脚本修改操作手势；

(6)在不更新App本身的条件下，只更新内容包即可实现通过脚本完成游戏级别复杂内容。

1.3物理引擎

物理引擎用于高效、逼真地模拟刚体碰撞、车辆驾驶、布料和重力等物理效果，使渲染画面更加真实而生动。

物理引擎包含：刚体组件、角色控制器组件、碰撞体组件、布料组件和关节组件等。

1.4内容管理引擎

内容管理引擎管理内容的缓存和运行。

1.5多媒体引擎

多媒体引擎用于管理和使用设备多媒体功能，包含视频播放、声音播放、视频录制功能。

(1)视频播放功能包含：

启动视频播放

暂停视频播放

停止视频播放

播放透明视频

播放常用的视频文件，如MP4格式

(2)声音播放功能包括：

启动音频播放

暂停音频播放

停止音频播放

播放常用的音频文件，如WMA或MP3

(3)视频录制包括：

启动视频录制功能

停止视频录制功能

调整视频录制分辨率功能

1.6设备管理引擎

设备管理引擎用于统一管理移动设备，为应用层提供统一的设备使用接口。设备管理引擎管理的接口包括：

加速度计

陀螺仪

摄像头

高度传感器

其他设备

1.7其他功能

除了AR现实感知引擎和AR内容播放引擎之外，***提供跨平台支持和多语言支持。

1.7.1跨平台支持

本发明实施例所提供的AR***支持Windows，MacOS，iOS和Android操作***，相关***开发者可以容易地实现在上述各操作***上构建AR应用。

1.7.2多语言支持

本发明实施例所提供的AR***支持多语言简洁API，使用最舒适的方式简化AR开发。支持的语言API接口如下：

C API

C++11API

traditional C++API

Java API for Android

Swift API for iOS

Objective-C API for iOS

2、AR内容集成创建工具

用户可以使用AR内容集成创建工具高效的进行AR内容创作，提高AR内容制作的效率。

3、资源商店

资源商店提供AR资源的交易，让用户可以更快速、更低成本的获取AR素材。

4、资源管理服务

资源管理服务给AR用户提供现成的资源管理服务，用户不用另行搭建服务器等，就可以享用高质量的AR资源管理服务。

本发明实施例还提供了一种AR内容的创建方法，基于前述AR***以及AR能力光谱，具体包括：

S0、本实施例以拍摄办公室内的视频作为环境信息，并以视频中的员工A作为目标物体，通过制作“行走的恐龙”作为AR内容，将AR内容叠加在目标物体上，完成交互为背景进行说明。

S1、现实感知模块100的空间感知单元101对办公室进行拍摄，获取办公室所在的环境信息，该环境信息包括办公桌椅、员工A、员工B、员工C、工作电脑A、工作电脑B、工作电脑C、工作电脑D、盆栽1、盆栽2、灯泡若干、文件柜、地毯等；具体的：

所述空间感知单元101中的场景感知子单元1011感知办公室的环境信息；同时，空间感知单元101中的运动跟踪子单元1012在办公室内跟踪所述AR***的运动轨迹，输出所述AR***的位姿信息，例如：一种典型的姿态表示为设定坐标系中的三维位置(x,y,z)以及姿态俯仰角、偏航角、翻滚角。

S2、以员工A的肖像作为目标物体，对象感知单元102捕捉办公室视频中员工A的肖像，具体的：

对象感知单元102中的人体相关物体子单元1022用来捕捉员工A的肖像。

需要说明的是：对象感知单元102可以包括非人体物体子单元1021和人体相关物体子单元1022，其中：在感知除了人体之外的目标物体的信息时，使用非人体物体子单元1021进行感知，在感知人体相关的目标物体的信息时，使用人体相关物体子单元1022进行感知。

S3、增强内容工具模块200中的AR内容集成创建工具单元203从资源商店单元201获取AR素材，并从资源管理服务单元202中获取托管的AR资源，来进行AR内容创作；

其中：资源商店单元201中存储的AR资源的素材可以是恐龙的图片、背景、渲染效果、色彩、线条等；资源管理服务单元202建在云端，对AR资源进行管理；

AR内容集成创建工具单元203使用从资源商店单元201中获取到的恐龙图片、渲染效果，以及从资源管理服务单元202获取的资源，来完成“行走的恐龙”的AR内容创作；

S4、AR播放器单元204将所述AR内容集成创建工具单元203所创建完成的“行走的恐龙”AR内容、办公室内的视频以及员工A的肖像进行渲染，并将渲染完成的AR内容显示出来，具体的：渲染完成的内容可以是员工A的后背上呈现出“行走的恐龙”AR内容，并且随着员工A的移动，恐龙也跟随者移动，并呈现出不同的造型，或者员工A通过手势可以与恐龙互动等。

本发明实施例所提供的AR***、AR设备或者AR能力光谱提供了一种功能齐全、操作便捷的AR内容制作工具，降低了AR内容的制作门槛，便于AR内容的推广及应用。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所属技术领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，并被通讯设备内部的处理器执行，前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中，所述处理器可以作为一个或多个处理器芯片实施，或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit，ASIC)的一部分；而前述的存储介质可以包括但不限于以下类型的存储介质：闪存(Flash Memory)、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (25)

1.一种AR***，其特征在于，包括现实感知模块和增强内容工具模块，其中：

所述现实感知模块包括空间感知单元和对象感知单元中的至少一个，其中：

所述空间感知单元用于感知所述AR***所拍摄到的环境信息；

所述对象感知单元用于感知现实中的目标物体的信息；

所述增强内容工具模块包括AR播放器单元和AR内容集成创建工具单元中的至少一个，其中：所述AR内容集成创建工具单元，用于进行AR内容创作；

所述AR播放器单元，用于对AR内容进行展示。

2.如权利要求1所述的AR***，其特征在于，所述空间感知单元包括：运动跟踪子单元和场景感知子单元中的至少一个，其中：

所述场景感知子单元，用于感知AR***所拍摄到的环境信息；

所述运动跟踪子单元，用于跟踪所述AR***的空间位置和\或自身的姿态信息。

3.如权利要求2所述的AR***，其特征在于，所述运动跟踪子单元使用内向外追踪技术或者外向内追踪技术对AR***在未知环境中的位置和姿态信息进行跟踪。

4.如权利要求2所述的AR***，其特征在于，所述运动跟踪子单元允许所述AR***利用已经建立环境的地图，进行所述AR***所处地点识别或者进行所述AR***相对地图的位置和姿态信息追踪。

5.如权利要求2所述的AR***，其特征在于，所述场景感知子单元使用重建技术来对所述环境信息进行三维重建，得到所述环境信息的数字表示。

6.如权利要求2所述的AR***，其特征在于，所述场景感知子单元对所述AR***所处的环境进行场景识别和环境理解。

7.如权利要求2所述的AR***，其特征在于，允许多个设备同时接入同一个场景进行互动，进行互动时采用单用户体验模式和/或多人互动模式。

8.如权利要求2所述的AR***，其特征在于，所述AR***处理的数据规模包括桌面尺度、房间尺度、建筑物尺度、城市尺度和世界尺度中的至少一种。

9.如权利要求1所述的AR***，其特征在于，所述对象感知单元包括非人体物体子单元和人体相关物体子单元中的至少一个，其中：

所述非人体物体子单元，用于感知除了人体之外的目标物体的信息；

所述人体相关物体子单元，用于感知人体相关的目标物体的信息，包括人脸、人眼、手势和人体中的至少一个。

10.如权利要求9所述的AR***，其特征在于，所述非人体物体子单元所感知的目标物体包括特定物体和通用物体中的至少一种。

11.如权利要求9所述的AR***，其特征在于，所述特定物体包括人工标记、平面图像、3D刚体和非刚体中的至少一种。

12.如权利要求9所述的AR***，其特征在于，所述特定物体的感知包含个体检测、大规模检索和个体跟踪中的至少一种。

13.如权利要求10所述的AR***，其特征在于，所述通用物体的感知包括类别检测和物体跟踪中的至少一个。

14.如权利要求9所述的AR***，其特征在于，所述人体相关物体子单元的感知包括检测与跟踪、姿态估计和识别中的至少一个。

15.如权利要求14所述的AR***，其特征在于，所述检测与跟踪包括人体相关的目标物体的检测和/或跟踪，包含人脸、人眼和人体中的至少一个。

16.如权利要求14所述的AR***，其特征在于，所述姿态估计包括人体相关的目标物体的姿态估计，包含人脸特征点定位和人体姿态估计中的至少一个。

17.如权利要求14所述的AR***，其特征在于，所述识别包括人体相关的目标物体的识别，包含手势识别、人脸识别和行人识别中的至少一个。

18.如权利要求9所述的AR***，其特征在于，所述对象感知单元在感知动态物体时所使用的维度包括物体检检测、物体跟踪、可扩展性、灵活性和互动性中的至少一个。

19.如权利要求1至18任一所述的AR***，其特征在于，增强内容工具模块还包括资源商店单元和资源管理服务单元，其中：

所述资源商店单元，用于存储及获取制作AR资源的素材；

所述资源管理服务单元，用于提供AR资源的管理服务。

20.如权利要求1所述的AR***，其特征在于，所述AR播放器单元包括渲染引擎子单元、内容管理引擎子单元、物理引擎子单元、脚本引擎子单元、多媒体引擎子单元和移动设备统一接口子单元的至少一个，其中：

所述渲染引擎子单元，用于对目标物体、环境信息或AR内容进行渲染；

所述内容管理引擎子单元，用于管理AR内容的缓存和运行；

所述物理引擎子单元，用于模拟物理效果，增强渲染效果；

所述脚本引擎子单元，用于运行支持脚本***的***构架，实现***的分层；

所述多媒体引擎子单元，用于管理和使用设备多媒体功能；

所述移动设备统一接口子单元，用于统一管理移动设备，提供统一的设备使用接口。

21.如权利要求20所述的AR***，其特征在于，所述渲染引擎子单元包括材质***、光照***、特效***、界面***和动画***中的至少一个。

22.如权利要求20所述的AR***，其特征在于，所述物理引擎子单元包括刚体组件、角色控制器组件、碰撞体组件、布料组件和关节组件中的至少一个。

23.如权利要求20所述的AR***，其特征在于，所述多媒体引擎子单元包含视频播放、声音播放和视频录制功能中的至少一个。

24.如权利要求1所述的AR***，其特征在于，所述AR内容集成创建工具单元包含识别目标定义、行为编辑、内容数据交换、内容创建和编辑、内容诊断和调试、内容优化工具和内容发布工具中的至少一个。

25.一种AR设备，其特征在于，包括如权利要求1至25任一所述的AR***。