CN102509342A - 一种共享增强现实场景中协同式虚实遮挡处理方法 - Google Patents

Abstract

本发明公开了一种共享增强现实场景中协同式虚实遮挡处理方法。包括步骤：首先生成增强现实场景，然后估计待观测点位置，将待分析遮挡关系的虚拟对象和真实对象均投影到该待观测点的观测平面上，以该待观测点为原点，取垂直于所述成像平面的射线，沿水平方向扫过所述观测平面，再根据所述射线扫过观测平面时，碰触到虚拟对象和真实对象的两侧边缘的先后顺序，进行遮挡编码，最后根据遮挡编码的不同，确定该待观测点观测到的虚拟对象和真实对象是处于遮挡关系还是处于非遮挡关系，最后具体判断是虚遮挡实，还是实遮挡虚，减少误判。本发明实现了快速判断新视频序列区域内的虚实对象空间遮挡关系，提高了判断增强现实场景中虚实遮挡关系的准确率。

Description

一种共享增强现实场景中协同式虚实遮挡处理方法

技术领域

本发明涉及虚拟现实、增强现实和计算机图形图像领域，尤其涉及一种共享增强现实场景中协同式虚实遮挡处理方法。

背景技术

增强现实场景的虚实遮挡处理主要指：根据虚拟对象与真实对象在增强现实场景的相互空间位置信息，判断并处理虚拟对象与真实对象之间可能存在的遮挡现象或者覆盖现象。虚拟对象与真实对象的空间遮挡关系，不但直接影响虚拟环境与真实环境的虚实融合程度，而且能够影响增强现实场景生成的视觉逼真程度，并且可以影响用户在增强现实场景中获得的空间方位感知和进行的空间交互操作。虚实遮挡处理方法是虚实场景融为一体的重要技术保障，是增强现实的一个重要研究热点，是虚拟现实、增强现实、计算机视觉及相关研究方向的有机交叉，能够体现增强现实的虚实结合、实时交互、三维注册等技术特点，可以为医疗诊断与分析模拟、复杂产品设计与制造、城市建设规划与管理、远程教育与交互式交流、多用户交互式数字娱乐、体育项目训练模拟与分析、载人航天与空间探索、应急处理与灾难救援训练、军事课目仿真训练与演习等应用提供技术支撑，从而促进虚拟现实和增强现实的理论技术发展与实用化应用推广。

许多知名大学和研究机构正在积极开展增强现实场景的虚实遮挡处理方法研究，其中虚拟对象与真实对象之间的场景深度计算是虚实遮挡处理的关键点。目前国内外研究现状涉及的增强现实场景，经常利用视频序列或者特定传感器描述真实环境，利用真实场景的深度信息处理虚拟对象与真实对象之间的空间遮挡关系。由于单个视频序列只能描述一定方向和范围内的真实环境，这使得基于单个视频序列的增强现实场景难以满足不同方位的场景感知和交互操作，从而需要用多个视频序列表示增强现实场景的多个方位真实环境。采用国内外研究现状的主要虚实遮挡处理方法，存在的问题是，必须要计算全部视频序列的真实场景深度信息，当描述真实环境的视频序列数量不断增加时，这要求增强现实***具有很强的计算能力，并可能大幅度降低***运行的实时性和用户工作的时效性，从而制约了增强现实场景的生成效果和应用推广。

发明内容

本发明提出了一种基于多视频序列的虚实遮挡协同处理设想：在基于多视频序列的增强现实场景中，当描述真实环境的视频序列数量不断增加时，根据视频序列之间的空间方位信息，利用已有视频序列对应的虚实对象遮挡关系，协同判断新的视频序列对应的虚实对象遮挡关系，以减少获取视频图像的真实场景深度信息所需要的大量计算开销。在不计算视频图像深度信息的前提下，快速判断出虚拟对象与真实对象之间不存在空间遮挡关系的情况、以及虚拟对象遮挡了真实对象的情况。

本发明提供的技术方案为：

一种共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，包含以下步骤：

步骤一、生成增强现实场景；

步骤二、估计待观测点位置，将待分析遮挡关系的虚拟对象和真实对象均投影到该观测点的观测平面上，以该待观测点为原点，取垂直于所述成像平面的射线，沿水平方向扫过所述观测平面；

步骤三、根据所述射线扫过观测平面时，碰触到虚拟对象和真实对象的两侧边缘的先后顺序，进行遮挡编码；

步骤四、根据遮挡编码的不同，确定该待观测点观测到的虚拟对象和真实对象是处于遮挡关系还是处于非遮挡关系；

步骤五、进一步判断是虚遮挡实还是实遮挡虚，剔除处于误判区域的观测点，减少误判。

优选的是，所述的共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，步骤五中通过以下方式进一步判断是虚遮挡实还是实遮挡虚：

首先估计一个虚拟对象和真实对象处于非遮挡关系中的观测点P1，将观测点P1和P2均投影到设定的水平平面内，并将虚拟对象的中心点Ov也投影到水平平面内；

其次，将P1的投影与中心点Ov的投影连接，将P2的投影与中心点Ov的投影连接，从而在水平平面内形成在中心点的投影处交叉的两条直线P1Ov和P2Ov；

最后，根据观测点P1处的遮挡编码和P1Ov和P2Ov之间的角度，确定该待观测点P2观测到的虚拟对象和真实对象之间应当是虚遮挡实还是实遮挡虚。

优选的是，所述的共享增强现实场景中协同式虚实遮挡处理方法中，在所述步骤二中，初始估计多个待观测点，并对所估计的多个待观测点分别进行遮挡关系判断，确保在这些待观测点中，至少有一个观测点观测到的虚拟对象和真实对象之间是非遮挡关系，否则重新估计多个待观测点，直到得到至少一个观测点观测到的虚拟对象和真实对象之间是非遮挡关系。

优选的是，所述的共享增强现实场景中协同式虚实遮挡处理方法中，获得至少两个观测点Cx和Cy观测到的虚拟对象和真实对象之间是非遮挡关系。

优选的是，所述的共享增强现实场景中协同式虚实遮挡处理方法中，步骤五中，剔除处于误判区域的观测点，减少误判的方法为：根据虚拟对象和真实对象之间是非遮挡关系的至少两个观测点Cx和Cy分别分析虚拟对象和真实对象之间是遮挡关系的待观测点Cj+1，如果分析出的是虚遮挡实还是实遮挡虚的关系是一致的，则认为对待观测点Cj+1的分析是正确的。

优选的是，所述的共享增强现实场景中协同式虚实遮挡处理方法中，根据虚拟对象和真实对象之间是非遮挡关系的至少两个观测点Cx和Cy分别分析虚拟对象和真实对象之间是遮挡关系的待观测点Cj+1，如果分析出的是虚遮挡实还是实遮挡虚的关系是不一致的，则认为虚拟对象和真实对象之间是非遮挡关系的观测点中存在位于误判区域的观测点，剔除处于误判区域的观测点，以处于非误判区域的观测点分析待观测点Cj+1。

优选的是，所述的共享增强现实场景中协同式虚实遮挡处理方法中，剔除处于误判区域的观测点，以处于非误判区域的观测点分析待观测点Cj+1的方法如下：

设根据虚拟对象和真实对象之间是非遮挡关系的两个待观测点Cx和Cy分别分析虚拟对象和真实对象之间是遮挡关系的待观测点Cj+1，

当Cx和Cy的角度区间相同、遮挡编码不同时，如果∠CxOvCj+1和∠CyOvCj+1均属于[0，180)，则比较∠CxOvCj+1和∠CyOvCj+1的大小，角度较小者为处于非误判区域的观测点。

当Cx和Cy的角度区间相同、遮挡编码不同时，如果∠CxOvCj+1和∠CyOvCj+1均属于[180，360)，则比较∠CxOvCj+1和∠CyOvCj+1的大小，角度较大者为处于非误判区域的观测点。

当Cx和Cy的角度区间不同、遮挡编码相同时，比较∠CxOvCj+1和∠CyOvCj+1的大小，并根据遮挡编码，判断Cj+1的“虚”与“实”之间的遮挡关系。

优选的是，所述的共享增强现实场景中协同式虚实遮挡处理方法中，所述生成增强现实场景包含以下步骤：

1)输入一个带有人工标志物的现实场景；

2)根据该人工标志物计算观测到该现实场景的观测点位置；

3)在该观测点位置和人工标志物的指引下，放入虚拟物体，从而生成增强现实场景。

优选的是，所述的共享增强现实场景中协同式虚实遮挡处理方法中，所述现实场景中具有含水平面的真实物体，所述人工标志物水平置放在所述水平面上。

本发明有益的效果是：当增强现实场景具有大量的视频序列、并存在许多“虚”遮挡“实”或无遮挡现象时，本发明在减少虚实遮挡的冗余计算、提高增强现实场景的生成速度方面具有较显著的优势。

附图说明

图1是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的空间遮挡形成示意图；

图2是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的同一场景的多摄像机拍摄示意图；

图3是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的不同角度的空间遮挡关系示意图；

图4是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的“虚”遮挡“实”时的处理过程示意图；

图5是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的无虚实遮挡时的处理过程示意图；

图6是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的用户、虚拟对象、真实对象的投影到水平面π上的示意图；

图7是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的遮挡区域划分示意图；

图8是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的遮挡区域划分的直线示意图；

图9是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的成像平面上虚拟对象与真实对象的投影的示意图；

图10是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的区域编码的示意图；

图11是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的合并后的区域示意图；

图12是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的近似处理示意图；

图13是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的误判情况说明图；

图14是本发明所述的共享增强现实场景中协同式虚实遮挡处理方法的误判消除策略示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明提供一种共享增强现实场景中协同式虚实遮挡处理方法，其中，包括以下步骤：

步骤一、如图1所示，对于视点V而言，如果视线VO上的点A可见而点B不可见，即为点A遮挡点B，在增强现实场景中，距离值VA和VB分别定义为点A和B的场景深度，所以场景任意两点之间的遮挡关系与视点方位、场景深度等有关，如果距离VA小于VB，则A遮挡B，记为A＜B，相反，如果有距离VA大于VB，则B遮挡A，记为B＜A，以<P₁，P₂，＜>_CO表示视线VO下A和B的空间遮挡关系集合，则<P₁，P₂，＜>_CO包括元素A＜B，也包括元素B＜A，当A和B之间互不遮挡时，<P₁，P₂，＜>_CO为空集

在摄像机获取真实环境的视频图像过程中，如果真实环境的某两点A和B经过投影变换后，对应于二维图像平面上的同一点P，A与成像平面的距离为Z1，B与成像平面的距离为Z2，当Z1大于Z2时，图像上的P为B的投影点，即B遮挡了A，记为B＜A，同样，在增强现实场景中，如果A是虚拟对象表面上一点，而B是真实对象表面上一点，经过投影变换后对应于二维图像平面上的同一点P，A与成像平面的距离为Z1，B与成像平面的距离为Z2，当Z1大于Z2时，图像上的P为B的投影点，即B遮挡了A，记为B＜A，

步骤二、如图2所示，输入一个含水平面的的现实场景，场景中带有的人工标志物R水平放置于该水平面上，根据该人工标志物计算观测到该现实场景的观测点位置，在该观测点位置和人工标志物的指引下，放入虚拟物体V，从而生成增强现实场景；

步骤三、在步骤二生成的增强现实场景中估计多个待观测点C1、C2、C3、C4，然后分别放置摄像机，将待分析遮挡关系的虚拟对象和真实对象均投影到该待观测点的观测平面上，并对所估计的多个待观测点分别进行遮挡关系判断，确保在这些待观测点中，至少有一个观测点观测到的虚拟对象和真实对象之间是非遮挡关系，否则重新估计多个待观测点，直到得到至少一个观测点观测到的虚拟对象和真实对象之间是非遮挡关系，如图3-a所示，在基于视频序列C1的增强现实场景中，虚拟对象V与真实对象R之间不存在空间遮挡关系，<V，R，＜>_c1为空集

如图3-b所示，在基于视频序列C2的增强现实场景中，虚拟对象V与真实对象R之间存在空间遮挡关系，并且是R遮挡了V，所以<V，R，＜>_c2为R＜V，如图3-c所示，在基于视频序列C3的增强现实场景中，虚拟对象V与真实对象R之间不存在空间遮挡关系，<V，R，＜>_c3为空集

如图3-d所示，在基于视频序列C4的增强现实场景中，虚拟对象V与真实对象R之间存在空间遮挡关系，并且是V遮挡了R，所以<V，R，＜>_c4为V＜R，由此可以判断<V，R，＜>_c1和<V，R，＜>_c3均为空集

虚拟对象V与真实对象R之间不存在空间遮挡关系，可以直接在视频序列C1和C3分别绘制虚拟对象V，<V，R，＜>_c4为V＜R，虚拟对象V遮挡了真实对象R，可以直接在视频序列C4绘制虚拟对象V；

步骤四、如图6所示，以立方体体表示虚拟对象，以圆柱体表示真实对象，将虚拟对象与真实对象分别投影到平面π，并且摄像机成像平面与π垂直，当用户利用摄像机获取的视频序列感知增强现实场景的真实对象时，用户视点方位与摄像机方位相同，为了确定存在遮挡关系和不存在遮挡关系的各个区域，如图7所示，在平面π上，以两条直线划分出四个区域，其中包括：“实”遮挡“虚”区域，用户通过该区域的视频序列，能够感知真实对象遮挡了虚拟对象，“虚”遮挡“实”区域，即用户通过该区域的视频序列，能够感知虚拟对象遮挡了真实对象，以及无遮挡区域，即用户通过该区域的视频序列，能够感知虚拟对象与真实对象之间不存在遮挡现象，如果虚拟对象与真实对象在平面π上的投影包围盒为“圆形”，则划分遮挡区域的直线L1和L2可以为圆的内公切线，虚拟对象与真实对象在平面π上的投影包围盒为“凸多边形”，则划分遮挡区域的直线L1和L2为凸多边形的支撑线，图8所示，支撑线分别通过多边形的顶点，使凸多边形分别位于支撑线的两侧，如图9所示，对于C1和C2两个方位的摄像机，在C1的成像平面上虚拟对象与真实对象的投影没有交集，而在C2的成像平面上虚拟对象与真实对象的投影具有交集，所以C1方位的增强现实场景不存在遮挡关系，而C2方位的增强现实场景存在遮挡关系；

步骤五、如图10所示，假设圆形是真实对象在平面π上的投影，矩形是虚拟对象在平面π上的投影，方位C1的成像平面在平面π上的投影为直线S1，将虚拟对象的矩形轮廓和真实对象的圆形轮廓分别透视投影到S1上，从S1的左端向右端扫描(顺时针方向)，遇到真实对象的圆形轮廓的透视投影边界点则记为1，遇到虚拟对象的矩形轮廓的透视投影边界点则记为0，方位C1的S1上，先遇到两次真实对象的圆形轮廓的透视投影边界点，然后再遇到虚拟对象的矩形轮廓的透视投影边界点，所以基于方位C1视频序列的增强现实场景虚实对象遮挡关系可以表示为1100，c1所在区域的编码也为1100，位c2、c3和c4所在区域的编码分别是1001，0011，和0101。从编码的规律可以看出，虚拟对象与真实对象的投影圆形包围盒的内公切线L1和L2将平面分成了四个区域，包括不存在遮挡关系的区域(0011区和1100区)、存在遮挡关系的区域、以及其它区域；

步骤六、如图11所示，通过区域合并分成三个区域：0011区、1100区和其它区域，其它区域包括“实”遮挡“虚”的区域和“虚”遮挡“实”的区域，假设C1为第一个视频序列，在基于视频序列C1的增强现实场景中，虚拟对象和真实对象在C1成像平面上的投影没有交集，虚拟对象与真实对象之间不存在遮挡现象，即<V，R，＜>_C1为空集

根据虚实遮挡编码策略，虚拟对象与真实对象之间的遮挡关系编码为1100，假设C2为第二个视频序列，在基于视频序列C2的增强现实场景中，虚拟对象和真实对象在C2成像平面上的投影具有交集，虚拟对象与真实对象之间存在遮挡现象，即<V，R，＜>_C2为非空集，但是需要判断出：是“实”遮挡了“虚”？还是“虚”遮挡了“实”？对视频序列C2而言，视频序列C1及其空间方位信息、虚实遮挡关系为已知的，以两条内公切线L1和L2的交点O为中心点，根据视频序列C1的M_C1、视频序列C2的M_C2，可以计算出夹角∠C1OC2，并且∠C1OC2∈[0，180)，按照“左”和“右”的定义，C2在C1的左边，由于C1的遮挡关系编码1100、C2在C1的左边，在C1的成像平面上自左向右为先有“11”后有“00”，可以判断出C2先有“实”后有“虚”，所以在基于视频序列C2的增强现实场景中，虚拟对象与真实对象之间存在“实”遮挡了“虚”的遮挡关系，设C3为第三个视频序列，在基于视频序列C3的增强现实场景中，虚拟对象和真实对象在C3成像平面上的投影没有交集，虚拟对象与真实对象之间不存在遮挡现象，即<V，R，＜>_C3为空集

根据虚实遮挡编码策略，虚拟对象与真实对象之间的遮挡关系编码为0011，设C4为第四个视频序列，在基于视频序列C4的增强现实场景中，虚拟对象和真实对象在C4成像平面上的投影具有交集，虚拟对象与真实对象之间存在遮挡现象，即<V，R，＜>_C4为非空集，对视频序列C4而言，视频序列C1及其空间方位信息、虚实遮挡关系为已知的，以两条内公切线L1和L2的交点O为中心点，根据视频序列C1的M_C1、视频序列C4的M_C4，可以计算出夹角∠C1OC4，并且∠C1OC4∈[180，360)，按照“左”和“右”的定义，C4在C1的右边。由于C1的遮挡关系编码1100、C4在C1的右边，在C1的成像平面上自右向左为先有“00”后有“11”，可以判断出C4先有“虚”后有“实”，所以在基于视频序列C4的增强现实场景中，虚拟对象与真实对象之间存在“虚”遮挡了“实”的遮挡关系，对视频序列C4而言，如果视频序列C3及其空间方位信息、虚实遮挡关系为已知的，根据视频序列C3的M_C3、视频序列C4的M_C4、C3的遮挡关系编码0011，类似地，也可以判断出在基于视频序列C4的增强现实场景中，虚拟对象与真实对象之间存在“虚”遮挡了“实”的遮挡关系，假设已有视频序列C1、C2、…、Cj及其场景变换矩阵M_C1、M_C2、…、M_Cj和遮挡关系编码<V，R，＜>_C1、<V，R，＜>_C2、…、<V，R，＜>_Cj，对于新的视频序列Cj+1，虚实遮挡关系的协同判断算法可以描述为：

(1)如果基于视频序列Cj+1的增强现实场景的虚实遮挡关系编码为0011或1100，则可以判断出不存在虚实遮挡关系，算法结束，否则，转至(2)，

(2)在<V，R，＜>_C1、<V，R，＜>_C2、…、<V，R，＜>_Cj的遮挡关系编码中，如果存在0011，则转至(3)；如果存在1100，则转至(4)；如果既不存在0011，也不存在1100，则只能利用视频图像深度信息计算虚实对象之间的遮挡关系，算法结束，

(3)由于存在遮挡关系编码为0011的<V，R，＜>_Cx，如果Cj+1在Cx左边，在Cx的成像平面上自左向右为先有“00”后有“11”，可以判断出Cj+1先有“虚”后有“实”，虚拟对象与真实对象之间存在“虚”遮挡了“实”的遮挡关系；如果Cj+1在Cx右边，在Cx的成像平面上自右向左为先有“11”后有“00”，可以判断出Cj+1先有“实”后有“虚”，虚拟对象与真实对象之间存在“实”遮挡了“虚”的遮挡关系，算法结束，

(4)由于存在遮挡关系编码为1100的<V，R，＜>_Cy，如果Cj+1在Cy左边，在Cy的成像平面上自左向右为先有“11”后有“00”，可以判断出Cj+1先有“实”后有“虚”，虚拟对象与真实对象之间存在“实”遮挡了“虚”的遮挡关系；如果Cj+1在Cy右边，在Cy的成像平面上自右向左为先有“00”后有“11”，可以判断出Cj+1先有“虚”后有“实”，虚拟对象与真实对象之间存在“虚”遮挡了“实”的遮挡关系，算法结束；

步骤七、如图12所示，由于难以通过增强现实场景的视频序列获取真实对象在平面π的投影形状和区域划分直线，从而难以确定内公切线L1和L2及其交点O，故以虚拟对象在平面π上的投影中心点Ov作为O的近似点，如图13-a所示，如果新的视频序列Cj+1处于“实”遮挡“虚”区域，则0011区域的已有视频序列C0011与Cj+1之间的夹角∠C0011OvCj+1不会小于180度，并且1100区域的已有视频序列C1100与Cj+1之间的夹角∠C1100OvCj+1不会大于180度，所以不会误判视频序列之间的“左右”关系，也不会产生虚实对象之间的遮挡关系误判，即不会误判为“虚”遮挡“实”关系，如图13-b所示，如果新的视频序列Cj+1处于“虚”遮挡“实”区域，则0011区域的已有视频序列C0011与Cj+1之间的夹角∠C0011OvCj+1可能会出现大于180度的情况，或者1100区域的已有视频序列C1100与Cj+1之间的夹角∠C1100OvCj+1可能会出现小于180度的情况，所以可能会误判视频序列之间的“左右”关系，也可能会产生虚实对象之间的遮挡关系误判，即可能会误判为“实”遮挡“虚”关系，如图13-b所示，如果新的视频序列Cj+1处于“虚”遮挡“实”区域，通过Cj+1和Ov的直线同L1或L2相交，形成误判区域(图中深色区域)。当C0011或者C1100位于误判区域时，就可能将“虚”遮挡“实”判断为“实”遮挡“虚”的关系。不过误判现象不会影响“虚”遮挡“实”的绘制结果，这是由于针对“实”遮挡“虚”的判断结果，需要通过视频图像的深度信息，绘制虚实对象之间的遮挡效果，所以在最后的增强现实场景中仍然表现出“虚”遮挡“实”的绘制结果。当然，这种误判现象不能够节省虚实遮挡处理的视频图像深度计算开销，考虑到误判概率经常较小，并且能够随视频序列数量的增加而减小，从而可以用虚拟对象在平面π上的投影中心点Ov作为O的近似点；

步骤八、如图14所示，计算∠CxOvCj+1和∠CyOvCj+1，如果∠CxOvCj+1和∠CyOvCj+1在同一个角度区间[0，180)，或者在同一个角度区间[180，360)，则称Cx和Cy的角度区间相同，否则称Cx和Cy的角度区间不同。如果Cx和Cy具有相同的遮挡关系编码0011，或者1100，则称Cx和Cy的遮挡编码相同，否则称Cx和Cy的遮挡编码不同，当Cx、Cy有且只有一个位于误判区域时，有：

(1)如图14-a所示，当Cx和Cy的角度区间相同、遮挡编码不同时，如果∠CxOvCj+1和∠CyOvCj+1均属于[0，180)，则比较∠CxOvCj+1和∠CyOvCj+1的大小，不妨设∠CxOvCj+1小于∠CyOvCj+1，所以取Cx，根据∠CxOvCj+1和Cx的遮挡关系编码，判断出视频序列Cj+1的“虚”与“实”之间的遮挡关系，

(2)如图14-b所示，当Cx和Cy的角度区间相同、遮挡编码不同时，如果∠CxOvCj+1和∠CyOvCj+1均属于[180，360)，则比较∠CxOvCj+1和∠CyOvCj+1的大小，不妨设∠CxOvCj+1大于∠CyOvCj+1，所以取Cx，根据∠CxOvCj+1和Cx的遮挡关系编码，判断出视频序列Cj+1的“虚”与“实”之间的遮挡关系，

(3)如图14-c所示，当Cx和Cy的角度区间不同、遮挡编码相同且均为0011时，则比较∠CxOvCj+1和∠CyOvCj+1的大小，不妨设∠CxOvCj+1小于∠CyOvCj+1，所以取Cx，根据∠CxOvCj+1和Cx的遮挡关系编码，判断出视频序列Cj+1的“虚”与“实”之间的遮挡关系，

(4)如图14-d所示，当Cx和Cy的角度区间不同、遮挡编码相同且均为1100时，则比较∠CxOvCj+1和∠CyOvCj+1的大小，不妨设∠CxOvCj+1大于∠CyOvCj+1，所以取Cx，根据∠CxOvCj+1和Cx的遮挡关系编码，判断出视频序列Cj+1的“虚”与“实”之间的遮挡关系；

步骤九、针对以Ov作为O的近似点带来的误判问题，根据以下步骤进行判断，以减小误判几率：

(1)当新的视频序列位于“实”遮挡“虚”区域时，不会出现误判现象，

(2)当新的视频序列位于“虚”遮挡“实”区域时，可能会出现误判现象，

(3)对处于“虚”遮挡“实”区域的新视频序列Cj+1，如果存在不位于误判区域的C0011或者C1100，则不会出现误判现象，

(4)发生概率较小的误判现象，是将“虚”遮挡“实”误判为“实”遮挡“虚”，随后通过视频图像的深度信息，绘制出“虚”遮挡“实”的正确效果，不可能绘制出“实”遮挡“虚”的错误效果，只是不能够节省虚实遮挡处理的视频图像深度计算开销。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (9)

1.一种共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，包含以下步骤：

步骤一、生成增强现实场景；

步骤二、估计待观测点位置，将待分析遮挡关系的虚拟对象和真实对象均投影到该待观测点的观测平面上，以该待观测点为原点，取垂直于所述成像平面的射线，沿水平方向扫过所述观测平面；

步骤三、根据所述射线扫过观测平面时，碰触到虚拟对象和真实对象的两侧边缘的先后顺序，进行遮挡编码；

步骤四、根据遮挡编码的不同，确定该待观测点观测到的虚拟对象和真实对象是处于遮挡关系还是处于非遮挡关系；

步骤五、进一步判断是虚遮挡实还是实遮挡虚，剔除处于误判区域的观测点，减少误判。

2.如权利要求1所述的共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，步骤五中通过以下方式进一步判断是虚遮挡实还是实遮挡虚：

首先估计一个虚拟对象和真实对象处于非遮挡关系中的观测点P1，将观测点P1和P2均投影到设定的水平平面内，并将虚拟对象的中心点Ov也投影到水平平面内；

其次，将P1的投影与中心点Ov的投影连接，将P2的投影与中心点Ov的投影连接，从而在水平平面内形成在中心点的投影处交叉的两条直线P1Ov和P2Ov；

最后，根据观测点P1处的遮挡编码和P1Ov和P2Ov之间的角度，确定该待观测点P2观测到的虚拟对象和真实对象之间应当是虚遮挡实还是实遮挡虚。

3.如权利要求1所述的共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，在所述步骤二中，初始估计多个待观测点，并对所估计的多个待观测点分别进行遮挡关系判断，确保在这些待观测点中，至少有一个观测点观测到的虚拟对象和真实对象之间是非遮挡关系，否则重新估计多个待观测点，直到得到至少一个观测点观测到的虚拟对象和真实对象之间是非遮挡关系。

4.如权利要求3所述的共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，获得至少两个观测点Cx和Cy观测到的虚拟对象和真实对象之间是非遮挡关系。

5.如权利要求4所述的共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，根据虚拟对象和真实对象之间是非遮挡关系的至少两个观测点Cx和Cy分别分析虚拟对象和真实对象之间是遮挡关系的待观测点Cj+1，如果分析出的是虚遮挡实还是实遮挡虚的关系是一致的，则认为对待观测点Cj+1的分析是正确的。

6.如权利要求4所述的共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，步骤五中，剔除处于误判区域的观测点，减少误判的方法为：根据虚拟对象和真实对象之间是非遮挡关系的至少两个观测点Cx和Cy分别分析虚拟对象和真实对象之间是遮挡关系的待观测点Cj+1，如果分析出的是虚遮挡实还是实遮挡虚的关系是不一致的，则认为虚拟对象和真实对象之间是非遮挡关系的观测点中存在位于误判区域的观测点，剔除处于误判区域的观测点，以处于非误判区域的观测点分析待观测点Cj+1。

7.如权利要求6所述的共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，剔除处于误判区域的观测点，以处于非误判区域的观测点分析待观测点Cj+1的方法如下：

设根据虚拟对象和真实对象之间是非遮挡关系的两个待观测点Cx和Cy分别分析虚拟对象和真实对象之间是遮挡关系的待观测点Cj+1，

当Cx和Cy的角度区间相同、遮挡编码不同时，如果∠CxOvCj+1和∠CyOvCj+1均属于[0，180)，则比较∠CxOvCj+1和∠CyOvCj+1的大小，角度较小者为处于非误判区域的观测点。

当Cx和Cy的角度区间相同、遮挡编码不同时，如果∠CxOvCj+1和∠CyOvCj+1均属于[180，360)，则比较∠CxOvCj+1和∠CyOvCj+1的大小，角度较大者为处于非误判区域的观测点。

当Cx和Cy的角度区间不同、遮挡编码相同时，比较∠CxOvCj+1和∠CyOvCj+1的大小，并根据遮挡编码，判断Cj+1的“虚”与“实”之间的遮挡关系。

8.如权利要求1所述的共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，所述生成增强现实场景包含以下步骤：

1)输入一个带有人工标志物的现实场景；

2)根据该人工标志物计算观测到该现实场景的观测点位置；

3)在该观测点位置和人工标志物的指引下，放入虚拟物体，从而生成增强现实场景。

9.如权利要求8所述的共享增强现实场景中协同式虚实遮挡处理方法，其特征在于，所述现实场景中具有含水平面的真实物体，所述人工标志物水平置放在所述水平面上。

Images