CN106683161B - 基于图像分割与自定义图层法的增强现实遮挡方法 - Google Patents

Abstract

本发明公开了基于图像分割与自定义图层法的增强现实遮挡方法，由于主要包括获取先验知识，根据获取的先验知识自行定义各个图层在场景中的空间位置关系，并进行相应的内容填充；提取真实遮挡物；遮挡渲染；从而可以克服现有技术中深度计算的遮挡方法在运行过程中实时性很差的缺陷，克服基于模型重建的遮挡方法中真实物体三维建模并完成覆盖的难度很高，主要依靠人工设置标识物来实现的缺点的缺陷，实现降低将现实场景中的背景与进行遮挡的前景目标有效分离的难度和分离的精确性的优点。

Description

基于图像分割与自定义图层法的增强现实遮挡方法

技术领域

本发明涉及技术领域，具体地，涉及基于图像分割与自定义图层法的增强现实遮挡方法。

背景技术

在增强现实场景中，虚实物体之间的遮挡关系可以分为两类：（1）虚拟物体对现实场景的遮挡；（2）现实物体对虚拟场景的遮挡。在大多数的增强现实***中实现的都是前者的效果。由于现实场景中除了真实物体的存在，还必须考虑到以真实背景为背景的增强现实场景，所以在实现真实物体对虚拟场景的遮挡时，如何将现实场景中的背景与进行遮挡的前景目标有效分离，成为一个研究重点。在目前提出的虚实遮挡方法中，大致可以分为三类：（1）基于深度计算的遮挡方法；（2）基于模型重建的遮挡方法；（3）前后关系不变的遮挡方法。

基于深度计算的遮挡方法是以立体视差为基础，需要借助配置有深度传感器的设备来获取当前场景中各个物体的深度信息，然后根据实际情况判断虚实物体之间的遮挡关系，最后进行遮挡渲染。

基于深度计算的遮挡方法流程，由于对真实场景深度值的计算量很大，导致该方法在运行过程中实时性很差，是需要研究突破的重点。目前，效果最好的方法是只针对真实遮挡物的轮廓或其中的某一像素进行深度值的计算与比较。

基于模型重建的遮挡方法需要依赖大量事前获取的先验知识，对真实遮挡物进行三维建模并覆盖真实物体，然后将其深度值与虚拟物体的深度值作比较，确定遮挡关系。其中真实物体三维建模并完成覆盖的难度很高，目前该方法主要依靠人工设置标识物来实现。

前后关系不变的遮挡方法是针对虚拟物体与现实场景位置关系保持不变的情况下提出的，即虚拟物体总是遮挡真实物体的情形。该方法的本质就是增强现实中虚拟对象跟踪注册的技术，比较适用于对现实场景进行附加信息说明的情况。

在实现本发明的过程中，发明人发现现有技术中至少存在传统手机端难以获取场景深度信息的问题等缺陷。

发明内容

本发明的目的在于，针对上述问题，提出基于图像分割与自定义图层法的增强现实遮挡方法，以降低将现实场景中的背景与进行遮挡的前景目标有效分离的难度和分离的精确性的优点。

为实现上述目的，本发明采用的技术方案是：基于图像分割与自定义图层法的增强现实遮挡方法，主要包括：

步骤1：获取先验知识，所述先验知识包括虚拟物体在现实场景中的空间位置信息和真实物体的物体属性信息；

步骤2：根据步骤1获取的先验知识自行定义各个图层在场景中的空间位置关系，并进行相应的内容填充；

步骤3：提取真实遮挡物；

步骤4：遮挡渲染。

进一步地，步骤1具体为，针对有进行遮挡关系的虚拟物体与真实物体情况下，对虚拟物体在现实场景中的空间位置信息和真实物体的物体属性信息进行采集。

进一步地，步骤2所述图层包括真实场景层，虚拟场景层和真实遮挡层，

所述真实场景层即增强现实场景中所有的真实对象，包括真实的背景与参与遮挡和不参与遮挡的所有真实对象，

所述虚拟场景层即是增强现实场景中所有的虚拟对象，包括增强现实场景中所有的虚拟对象，根据每个虚拟对象在场景中空间位置上的不同，进行更进一步的细分，得到更多的子层；

真实遮挡层即增强现实场景中参与到遮挡处理的真实对象，根据真实遮挡物的数量，细分出更多的子层，所述真是遮挡层与真是场景层在屏幕显示窗口的位置保持一致；

所述图层可根据实际场景的需要，进行添加图层、删减图层或改变图层的排列顺序。

进一步地，所述图层为三层，图层顺序安排依次为真实场景层、虚拟场景层及真实遮挡层。

进一步地，步骤3具体为，利用图像分割技术，将真实遮挡物从现实场景中分割出来，并置入真实遮挡层以完成其图层内容的填充，

进一步地，步骤2中，步骤2中，所述各个图层在场景中的空间位置关系，具体为，真实场景层位于底层，虚拟场景层位于中层，真实遮挡层位于上层；或真实场景层位于底层，虚拟场景层位于上层，真实遮挡层位于中层。

进一步地，步骤4具体为，在增强现实场景中，将排列好的真实场景图层、虚拟场景图层与真实遮挡图层组合显示在屏幕画面上，将各个图层的内容作为一个融合的整体展示出来，消除人为创建场景层次的痕迹。

进一步地，在步骤4遮挡渲染之前，还包括除去图像分割后非真实遮挡物背景部分的黑色，具体为通过判断图像每点像素值与黑色值（0，0，0）的关系，如果两个值相等，则不给该像素点赋值，最终将图像分割后非真实遮挡物背景部分透明化，真实遮挡层中未分割出来的背景部分显示为黑色，透过透明的背景看到真实场景层与虚拟场景层的内容。

所述人机交互界面还可实现对虚拟物体的自行选择添加虚拟物体，对添加的虚拟物体进行移动、旋转与缩放的操作。

本发明各实施例的基于图像分割与自定义图层法的增强现实遮挡方法，由于主要包括获取先验知识，根据步骤1获取的先验知识自行定义各个图层在场景中的空间位置关系，并进行相应的内容填充；提取真实遮挡物；遮挡渲染；从而可以克服现有技术中深度计算的遮挡方法在运行过程中实时性很差的缺陷，克服基于模型重建的遮挡方法中真实物体三维建模并完成覆盖的难度很高，主要依靠人工设置标识物来实现的缺点的缺陷，实现降低将现实场景中的背景与进行遮挡的前景目标有效分离的难度和分离的精确性的优点优点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例所述的基于图像分割与自定义图层法的增强现实遮挡方法的实现流程图；

图2为本发明实施例所述的基于图像分割与自定义图层法的增强现实遮挡方法的图层安排顺序图；

图3为本发明实施例所述的基于图像分割与自定义图层法的增强现实遮挡方法的真实人手遮挡虚拟树的效果图；

图4为本发明实施例所述的基于图像分割与自定义图层法的增强现实遮挡方法设计的人机交互界面的初始界面图；

图5为本发明实施例所述的基于图像分割与自定义图层法的增强现实遮挡方法设计的人机交互界面的虚拟物体的选择添加界面；

图6为本发明实施例所述的基于图像分割与自定义图层法的增强现实遮挡方法设计的人机交互界面的对虚拟物体进行操作的界面；

图7为本发明实施例所述的基于图像分割与自定义图层法的增强现实遮挡方法设计的人机交互界面的真实遮挡物的选择界面；

图8为本发明实施例所述的基于图像分割与自定义图层法的增强现实遮挡方法自定义遮挡实验的遮挡效果图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

具体地，基于图像分割与自定义图层法的增强现实遮挡方法，包括：

步骤1：获取先验知识，所述先验知识包括虚拟物体在现实场景中的空间位置信息和真实物体的物体属性信息；

步骤2：根据步骤1获取的先验知识自行定义各个图层在场景中的空间位置关系，并进行相应的内容填充；

步骤3：提取真实遮挡物；

步骤4：遮挡渲染。

步骤1具体为，针对有进行遮挡关系的虚拟物体与真实物体情况下，对虚拟物体在现实场景中的空间位置信息和真实物体的物体属性信息进行采集。

步骤2所述图层包括真实场景层，虚拟场景层和真实遮挡层，

所述真实场景层即增强现实场景中所有的真实对象，包括真实的背景与参与遮挡和不参与遮挡的所有真实对象，

所述虚拟场景层即是增强现实场景中所有的虚拟对象，包括增强现实场景中所有的虚拟对象，根据每个虚拟对象在场景中空间位置上的不同，进行更进一步的细分，得到更多的子层；

真实遮挡层即增强现实场景中参与到遮挡处理的真实对象，根据真实遮挡物的数量，细分出更多的子层，所述真实遮挡层与真实场景层在屏幕显示窗口的位置保持一致；

所述图层可根据实际场景的需要，进行添加图层、删减图层或改变图层的排列顺序。

所述图层为三层，图层顺序安排依次为真实场景层、虚拟场景层及真实遮挡层；真实场景层位于底部，虚拟场景层与真实遮挡层根据需要自行安排。

步骤3具体为，利用图像分割技术，将真实遮挡物从现实场景中分割出来，并置入真实遮挡层以完成其图层内容的填充，

所述图像分割方法，为基于Blob算法的图像分割技术，将真实遮挡物从现实场景中提取出来并映射在真实遮挡层，所述真实遮挡物可自行选择。

步骤4具体为，在增强现实场景中，将排列好的真实场景图层、虚拟场景图层与真实遮挡图层组合显示在屏幕画面上，将各个图层的内容作为一个融合的整体展示出来，消除人为创建场景层次的痕迹。

进一步地，在步骤4遮挡渲染之前，还包括除去图像分割后非真实遮挡物背景部分的黑色，具体为通过判断图像每点像素值与黑色值（0，0，0）的关系，如果两个值相等，则不给该像素点赋值，最终将图像分割后非真实遮挡物背景部分透明化，真实遮挡层中未分割出来的背景部分显示为黑色，透过透明的背景看到真实场景层与虚拟场景层的内容。

进一步地，所述人机交互界面还可实现对虚拟物体的自行选择添加虚拟物体，对添加的虚拟物体进行移动、旋转与缩放的操作。

本发明的重点在于针对手机端上移动增强现实场景中的虚实遮挡问题，设计了一种结合图像分割与自定义图层法的新型虚实遮挡恢复技术。该方法解决了传统手机端难以获取场景深度信息的问题，提出了用多图层的方法来替代深度图，以一种新形式来展示场景的深度信息。首先利用自定义图层法结合事先获取的先验知识，在增强现实场景中手动建立起具备空间位置信息的多个图层。之后再根据先验知识为各个图层填充相对应的内容。其中，使用图像分割技术可以提取出现实场景中参与遮挡处理的真实物体，实现真实遮挡物图层的内容填充。最后运用Unity3D中的着色器（Shader）完成遮挡渲染。另外，本发明以Unity3D作为综合处理平台，以APP程序作为最终展示手段，因此可以根据不同需求实现相应平台上的手机端增强现实遮挡效果。

结合图1，获取先验知识：本发明中的先验知识主要分为两个部分：第一部分是虚拟物体在现实场景中的空间位置信息；第二部分是真实物体的物体属性。关于这两部分的信息采集都是针对有进行遮挡关系的虚拟物体与真实物体。预先获得虚拟物体在现实场景中的空间位置信息可以有针对性的在一定范围内进行遮挡的处理。在没有发生遮挡关系的情况下，程序在运行时可以不执行遮挡处理这部分的函数，从而减少了***的运行负担，并在一定意义上缩短了***延时的时间。预先采集真实物体的物理属性目的是为之后对其进行分割做准备。在实现真实物体遮挡虚拟物体的效果时，本发明需要将现实场景中的真实遮挡物提取出来覆盖在虚拟物体上。为了可以完成更有效精确的提取，必须找到该遮挡物区别于场景中其他物体的特征点。这些特征点便是该真实遮挡物所具备的物理属性，如边缘轮廓、纹理材质、大小尺寸、颜色等。

图层安排：本发明设计的多图层方法需要根据事前获取的先验知识来自行定义各个图层在场景中的空间位置关系，并进行相应的内容填充，主要分为真实场景层，虚拟场景层和真实遮挡层：（a）真实场景层指的是增强现实场景中所有的真实对象，包括真实的背景与参与遮挡和不参与遮挡的所有真实对象；（b）虚拟场景层指的是增强现实场景中所有的虚拟对象，可以根据每个虚拟对象在场景中空间位置上的不同，进行更进一步的细分，得到更多的子层；（c）真实遮挡层指的是增强现实场景中参与到遮挡处理的真实对象，根据真实遮挡物的数量，也可以细分出更多的子层。另外，需要保证真实遮挡层在屏幕显示窗口中的位置同真实场景层一致，否则会影响遮挡效果。根据实际的场景需要，用户可以自行添加或删减图层，并安排图层的排列顺序。

结合图2，一般地，在发生遮挡关系的增强现实场景中，图层数量设置为2或3层。如果虚实之间的遮挡关系为虚拟物体遮挡现实场景，那么设置两层图层，顺序安排为真实场景层—虚拟场景层，即以真实场景层作为底层，虚拟场景层置于其上。如果虚实之间的遮挡关系为真实物体遮挡虚拟场景，那么设置三层图层，顺序安排为真实场景层—虚拟场景层—真实遮挡层。本发明重点研究后者，即真实物体遮挡虚拟场景的效果。

提取真实遮挡物：在真实物体遮挡虚拟对象的场景下，关于真实遮挡层中内容的提取与显示十分重要。真实遮挡层中的内容信息越精确，最终的遮挡效果越好。本发明借助图像分割技术，将真实遮挡物从现实场景中分割出来，并置入真实遮挡层以完成其图层内容的填充。关于具体的图像分割方法，开发者可根据自身需求进行选择。本发明中采取基于Blob算法的图像分割技术，将真实遮挡物从现实场景中提取出来并映射在真实遮挡层。另外，本发明在这一过程中加入了使用者可自主选择真实遮挡物的环节，增强了遮挡物的多样性与使用者的参与度。

遮挡渲染：遮挡渲染指的是在增强现实场景中，将排列好的真实场景图层、虚拟场景图层与真实遮挡图层组合显示在屏幕画面上。目的是将各个图层的内容作为一个融合的整体展示出来，消除掉人为创建场景层次的痕迹。在之前的步骤中，已经完成了各个图层在空间位置上的安排与显示内容上的填充。但是在真实遮挡层上，图像分割后的效果会将非真实遮挡物的背景部分设置为黑色。因此，本发明借助Unity3D中的Transparent Shader进行黑色背景的透明化工作。该Shader的效果是将空值的像素点不予表现。因此，算法中通过判断图像每点像素值与RGB值（0，0，0），即黑色值的关系，如果两个值相等，则不给该像素点赋值。最后在程序运行阶段，真实遮挡层中未分割出来的背景部分显示为黑色，在Transparent Shader作用下，用户便可以透过透明的背景看到真实场景层与虚拟场景层的内容。

为了验证本发明所提出的结合图像分割与自定义图层法的增强现实遮挡技术的实际应用效果，我们设定程序的测试平台为安卓***，以三星SCH-N719手机为测试设备，设定程序的测试平台为安卓***，对该***进行了相关实验。实验中用于程序搭建的软件为Unity3D，版本为5.0.0f4，并以Unity配套的编辑软件Monodevelop进行编程。另外，利用Autodesk 3ds Max软件进行虚拟场景及物体的建模，最后通过Android SDK软件将程序发布到手机上完成测试。

实验中的虚实遮挡测试分两个部分进行。

结合图4，第一部分为无用户参与的自动遮挡实验，在该实验中以真实的人手作为遮挡物，整个增强现实场景中已经存在事先布置完成的虚拟物体。当拍摄的现实场景中出现人手部的画面，程序便可自动地将与虚拟物体重叠的人的手部覆盖在虚拟物体之上，实现遮挡效果。,

第二部分为用户可参与的自定义遮挡实验，在该实验中加入了使用者可自主选择真实遮挡物的环节，增强了遮挡物的多样性与使用者的参与度。图5到图8分别为程序的初始界面即人机界面，虚拟物体的选择添加界面，对虚拟物体进行操作的界面和真实遮挡物的选择界面。目前已经可以完成对于现实场景中比较鲜明物体的选择。在选择之后采取基于Blob算法的图像分割技术，将选择的遮挡物从现实场景中提取出来并映射在真实遮挡层，最后配合Unity3D中的Transparent Shader进行整个增强现实场景中的遮挡显示。使用者可根据实际应用环境选择相应的图像分割方法。本发明中使用的Blob方法只是一个示例，是根据本发明实验环境决定的。

图8为自定义遮挡实验的遮挡效果。

发明实现的是一个结合图像分割与自定义图层法的增强现实遮挡效果，通过用户参与的自定义图层法形式，配合上合理的图像分割技术，从而完成虚实场景之间的相互遮挡与显示。申请的发明点包括：1）提出了一种用户可参与的自定义图层方法，通过手动设置图层的数量、位置和内容，解决了一般手机端难以获取场景深度信息的问题。该方法只需要根据事前获取的先验知识来自行定义各个图层在场景中的空间位置关系，并进行相应的内容填充，主要分为真实场景层，虚拟场景层和真实遮挡层；2）利用Unity3D中TransparentShader的属性，实现真实遮挡层中黑色背景的透明化工作；3）为了加强用户的参与体验，设计了一套简单的人机交互界面，可实现用户对虚拟物体的控制。功能包括用户可自行选择添加虚拟物体，并可对添加的虚拟物体进行移动、旋转与缩放的操作。另外，对于参与遮挡的真实物体，使用者也可以根据自身需要选择；4）以Unity3D作为综合处理平台实现一个可以兼容多平台、多操作***运行的基于手机端增强现实***。

至少可以达到以下有益效果：克服现有技术中深度计算的遮挡方法在运行过程中实时性很差的缺陷，克服基于模型重建的遮挡方法中真实物体三维建模并完成覆盖的难度很高，主要依靠人工设置标识物来实现的缺点的缺陷，实现降低将现实场景中的背景与进行遮挡的前景目标有效分离的难度和分离的精确性的优点优点。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于图像分割与自定义图层法的增强现实遮挡方法，其特征在于，包括

步骤1：获取先验知识，所述先验知识包括虚拟物体在现实场景中的空间位置信息和真实物体的物体属性信息；

步骤2：根据步骤1获取的先验知识自行定义各个图层在场景中的空间位置关系，并进行相应的内容填充；

步骤3：提取真实遮挡物；

步骤4：遮挡渲染；步骤1具体为，针对有进行遮挡关系的虚拟物体与真实物体情况下，对虚拟物体在现实场景中的空间位置信息和真实物体的物体属性信息进行采集；步骤2所述图层包括真实场景层，虚拟场景层和真实遮挡层，

所述真实场景层即增强现实场景中所有的真实对象，包括真实的背景与参与遮挡和不参与遮挡的所有真实对象，

所述虚拟场景层即是增强现实场景中所有的虚拟对象，包括增强现实场景中所有的虚拟对象，根据每个虚拟对象在场景中空间位置上的不同，进行更进一步的细分，得到更多的子层；

真实遮挡层即增强现实场景中参与到遮挡处理的真实对象，根据真实遮挡物的数量，细分出更多的子层，所述真实遮挡层与真实场景层在屏幕显示窗口的位置保持一致；

所述图层可根据实际场景的需要，进行添加图层、删减图层或改变图层的排列顺序。

2.根据权利要求1所述的基于图像分割与自定义图层法的增强现实遮挡方法，其特征在于，步骤2中，所述各个图层在场景中的空间位置关系，具体为，真实场景层位于底层，虚拟场景层位于中层，真实遮挡层位于上层；或真实场景层位于底层，虚拟场景层位于上层，真实遮挡层位于中层。

3.根据权利要求1所述的基于图像分割与自定义图层法的增强现实遮挡方法，其特征在于，步骤3具体为，利用图像分割技术，将真实遮挡物从现实场景中分割出来，并置入真实遮挡层以完成其图层内容的填充。

4.根据权利要求1所述的基于图像分割与自定义图层法的增强现实遮挡方法，其特征在于，步骤4具体为，在增强现实场景中，将排列好的真实场景图层、虚拟场景图层与真实遮挡图层组合显示在人机交互界面上，将各个图层的内容作为一个融合的整体展示出来，消除人为创建场景层次的痕迹。

5.根据权利要求2所述的基于图像分割与自定义图层法的增强现实遮挡方法，其特征在于，在步骤4遮挡渲染之前，还包括除去图像分割后非真实遮挡物背景部分的黑色，具体为通过判断图像每点像素值与黑色值(0，0，0)的关系，如果两个值相等，则不给该像素点赋值，最终将图像分割后非真实遮挡物背景部分透明化，真实遮挡层中未分割出来的背景部分显示为黑色，透过透明的背景看到真实场景层与虚拟场景层的内容。

6.根据权利要求4所述的基于图像分割与自定义图层法的增强现实遮挡方法，其特征在于，所述人机交互界面还可实现对虚拟物体的自行选择添加虚拟物体，对添加的虚拟物体进行移动、旋转与缩放的操作。

Images