CN102509348B - 一种共享增强现实场景的真实物体多方位表示方法 - Google Patents

Abstract

本发明公开了一种共享增强现实场景的真实物体多方位表示方法。包括步骤：根据场景区域顶点分布特点，针对视频序列对场景的覆盖范围及所需设备数目，优化多视频序列的设置方式，确定每个视频序列的观察区域后利用基准标识物和不同方位视频序列的尺度不变特征匹配确定视频序列之间的共享区域，计算各视频序列的空间位置关系，然后使用基准标识物完成各视频序列中的虚实注册，再综合各视频序列对真实物体的局部描绘，利用计算机视觉原理估计真实物体的三维凸包，对进入的新协作用户，根据其视频序列的空间位置关系，给出快速注册方法，绘制真实物体在各方位视频序列中的二维映射效果。本发明提供的方法应用成本低，能够快速响应新加入协同用户。

Description

一种共享增强现实场景的真实物体多方位表示方法

技术领域

本发明涉及计算几何学、图像处理和增强现实领域，特别涉及共享增强现实场景的多方位视频序列中真实物体的表示方法。

背景技术

在协同式增强现实中，不同的协同工作用户进入增强现实场景中，经常在各自的感知和交互区域中具有不同的视点和不同的交互，为了使这些用户能够共同完成预定的防作任务，需要建立一个共享增强现实场景，从而需要协同式增强现实***能够描绘多个方位的、不断变化的真实环境，建立基于多视频序列的场景三维空间模型。其中，对场景中真实物体进行多方位表示是迫切需要解决的问题，具体包括合理有效地设置多个视频序列以覆盖共享场景，传递统一各视频序列观察到的信息以及对场景中真实物体进行多方位表示。

为了表现真实环境信息，德国克莱斯勒技术研究部门的Regenbrecht不但为每个用户配置头盔显示器，而且设置摄像机获得真实环境的整体信息，可以支持4个以上方位的用户观察同一个共享增强现实场景、与场景中的虚拟物体进行交互、进行各种协同工作，并且使用真实光源模拟出虚拟光照效果。该***虽然获得了多个方位的视频信息，但并没有对这些信息进行协同处理，也没有考虑视频序列设置的合理性。

针对多个视频序列设置问题，Klee提出了著名的画廊问题：给定一个画廊，需要多少台摄像机，应该将它们放置在什么位置，能够确保所有摄像机观察区域的总和最大。Chvatal首先指出，对于一个含有n个顶点的多边形，该多边形中所有的点总可以被[n/3]个摄像机观察到。Fisk证明了该理论，其首先将多边形分解为多个三角形，然后采用三染色算法对所有的顶点着色，确保相邻的顶点有不同的颜色，染色最少次数的颜色对应的顶点位置就是摄像机的摆放点。

对于多视频序列的协同问题，瑞士洛桑联邦理工学院的Pilet等人提出了支持多个用户的协同式增强现实中多视频序列的注册信息互补的方法和光照信息获取的方法，如果从其中一个视频无法完整观察到标志物，可利用其他方位的注册信息来补充本方位注册信息，使得虚拟的物体被正确的注册到标志物上，但是该***没有考虑互补过程中产生的误差对互补结果造成的影响。

奥地利格拉兹理工大学的Schall等人利用基准标志物，完成了大规模场景的拼接和建模。该方法将大规模场景分为几个部分，每两个相邻部分之间放置了一系列的基准标识物，利用该基准标识物可确定视频序列的空间位置关系。首先从编号为1的空间开始测量，当获得该空间内所有采集点的信息并存入计算机后，再对下一个空间进行测量，这样所有空间的采集点信息均可获得，并且由于不同空间交界区域的标志物被测量到2次，则经过坐标换算后，即可得到两个空间的位置关系，如此对整个空间测量完毕后，即可得到多个空间之间的位置关系，并可根据此关系建立出整个场景的三维模型，该项目的坐标变换算法值得借鉴。

美国佛罗里达大学的王锡勇等人基于颜色标记注册的激光3维扫描模型将真实物体融入虚拟的场景中。首先，使用一个3D扫描仪将真实物体用扫描线表示成一个虚拟模型，然后，除去产生的噪音，排列扫描线，最后将扫描线间的空白填充。为了实时跟踪真实物体，该***使用了颜色标定物来获得真实物体的位置，由此计算出对应的虚拟模型在虚拟坐标下的位置，并进行绘制，该***能够很好的使用户在虚拟场景中体验事件，但是该方法采用仪器比较昂贵，只限于极少用户。

通过分析国内外研究现状可以得出，虽然目前有不少组织或机构在研究协同式增强现实***中真实物体的多方位表示，但还存在三个方面的问题：首先：目前大多数共享增强现实场景都很少考虑如何利用较少的摄像头来获得较大的观察范围，其都假定设置的视频序列已经能够充分获得所需要的真实环境信息，并没有对多视频序列的设置方法进行描述；其次，在设置多视频序列之后，现有机构较少对注册信息互补进行研究，即使有考虑该问题，也很少考虑误差对互补结果带来的影响，没有将误差分析反馈到互补计算中；最后，在面向协同工作任务的真实物体表示中，许多方法将整个环境进行建模，计算量大，并没有考虑到共享增强现实场景中信息共享的需要。由于每个协作用户具有不同的感知和交互区域，因此其所需的真实物体信息往往不同。

发明内容

本发明的目的在于利用较少的摄像头来获得较大的观察范围，减少误差对互补结果带来的影响，实现共享增强现实场景中信息共享。

为此，本发明公开了一种共享增强现实场景的真实物体多方位表示方法。所述真实物体多方位表示方法步骤如下：

步骤一、将共享增强现实场景抽象在一个平面上，形成为多边形结构，对该多边形结构进行分割，并根据分割结果计算能够覆盖观测共享增强现实场景中所有部分所需的最少数量的观测点；

步骤二、在共享增强现实场景中，为每个观测点设置至少一个基准标识物，确定每一个观测点的观测区域，计算各观测点的观测区域内的尺度不变特征向量，并利用基准标识物和特征匹配确定各观测点之间的共享观测区域；

步骤三、每个观测点在基准标识物的指引下进行三维注册，并由此获得每个观测点的位置；

步骤四、根据两个观测点对其共享观测区域内的基准标识物的观测结果，计算这两个观测点的空间位置关系；

步骤五、重复步骤四，直到计算出每一个观测点与至少一个其它观测点彼此之间的空间位置关系；

步骤六、抓取要建模的真实物体信息，构建该真实物体相对于每一个观测点的侧影轮廓图和视差图；

步骤七、根据侧影轮廓图和视差图，快速创建出任一新观测点的真实物体模型。

优选的是，所述的共享增强现实场景的真实物体多方位建模方法中，在所述步骤一中，将共享增强现实场景抽象在一个平面上是通过将共享增强现实场景的边缘投影到一水平平面上来实现的。

优选的是，所述的共享增强现实场景的真实物体多方位建模方法中，在所述步骤一中，对该多边形结构进行分割是通过三角形分割法实现的，即将该多边形结构分割成彼此之间无重叠区域的多个三角形。

优选的是，所述的共享增强现实场景的真实物体多方位建模方法中，所述观测点即为摄像机位。

优选的是，所述的共享增强现实场景的真实物体多方位建模方法中，抓取要建模的真实物体信息是通过人工选取的方式获得的。

优选的是，所述的共享增强现实场景的真实物体多方位建模方法中，在所述步骤六中，抓取要建模的真实物体信息是通过检测到共享增强现实场景中新进入真实物体，并抓取该真实物体的方式获得的。

优选的是，所述的共享增强现实场景的真实物体多方位建模方法中，在所述步骤六中，构建该真实物体相对于每一个观测点的视差图是通过在每一个观测点取两个摄像机位，通过两个摄像机位测定真实物体的纵深距离，以形成视差图。

本发明的有益效果是：

1、本发明针对共享增强现实场景中真实环境信息获取的需求，使用较少数目的采集设备，同时保证充分获取场景环境信息，以显著降低后续共享增强现实场景应用的计算开销。

2、采用注册信息互补的方式解决了单一视频序列无法观察到所有场景的问题，同时部分避免了视频序列自身三维注册失败的可能。

3、针对共享增强现实场景中真实物体表示方法的常见问题，采用了基于视觉的三维凸包方法，在表述真实物体表面点与视频序列空间位置关系的同时，控制了信息量的膨胀，能够快速响应新加入协同用户，满足共享增强现实环境的需要。

说明书附图

图1是该发明一种共享增强现实场景的真实物体多方位表示方法的模块设计图；

图2是该发明一种共享增强现实场景的真实物体多方位表示方法中多视频序列的注册信息互补示意图；

图3是该发明一种共享增强现实场景的真实物体多方位表示方法中相邻视频序列传递注册信息示意图；

图4是该发明一种共享增强现实场景的真实物体多方位表示方法中多视频序列的注册信息传递流程图；

图5是该发明一种共享增强现实场景的真实物体多方位表示方法中新协同用户快速三维注册的示意图。

具体实施方式

下面结合附图对本发明做进一步说明，以使本领域普通技术人员参照本说明书后能够据以实施。

如图1所示，本发明的一种共享增强现实场景的真实物体多方位表示方法，包括如下步骤：

步骤一、多视频序列设置点计算模块，将共享增强现实场景区域抽象为一个平面多边形P，利用扫描线算法，将平面多边形分割为彼此之间无重叠区域的多个三角形，首先将多边形划分为多个单调多边形，然后将每个单调多边形划分为多个三角形，在多边形分解为三角形的过程中，会产生连线来连接多边形的不同顶点，这些连线完全在多边形内部，这样的连线被称为对角线，在选择设置点时，先计算经过每个顶点的对角线条数，并统计其中的最大值，将对角线条数最多的顶点作为设置点；再计算从该顶点可以观察到的三角形的集合，并将之从区域P中去除，同时更新剩余区域的对角线，直到剩余区域为零，当场景P内存在真实物体时，真实物体内部的点并不需要被观察到，且对部分场景造成遮挡，此时将场景中的真实物体抽象表示为P的一个内部多边形P′，即P内部的一个“空洞”，在初始工作中利用对角线分割，将P′的区域从P中去除，保证P-P′内的所有点被观察；

步骤二、如图2所示，在共享增强现实场景中，为每个观测点设置至少一个基准标识物，确定每一个观测点的观测区域，然后使用尺度不变特征对两幅视频序列图像进行特征点提取匹配，尺度不变特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，首先生成尺度空间，基于尺度空间，进行初步的空间极值点检测，然后去除不稳定的极值点，为使算法具有旋转不便性，利用剩余极值点邻域像素的梯度方向分布特性为每个关键点指定方向参数，最后为每个特征点生成128维的特征描述符，当获得两个方位的视频图像后，根据尺度不变算法生成了大量点的特征描述符，然后按照欧氏距离匹配法计算匹配点对，此处引入比较阀值，来衡量点与点之间的特征匹配程度，若欧式距离最小值和次小值的比值大于比较阀值，则匹配失败，反之匹配成功，比较阀值越小，匹配结果越精确，得到的匹配点对数越少；

步骤三、对于存在共享区域的两个视频序列V(1)与V(2)，若都可以观察到某基准标识物m，通过特征点提取发现，V(1)，V(2)的视频图像中m对应的区域有一定的特征点，接着进行特征点匹配处理，匹配点对大量存在于m对应的图像区域中，若匹配点对的数目大于某个阀值，则可以认为该标识物m是V(1)与V(2)的一个共享区域，当确定了不同视频序列的共享区域后，需要选择共享区域中一点p(此时p处于世界坐标系下)，根据投影原理，不同视频序列具有不同的摄像头坐标系，由于p向不同视频序列的图像平面投影，会产生不同的视景矩阵，由于p为共享区域内一点，可利用p的传递性质计算不同视频序列的空间位置关系，故设p向V(1)的视景矩阵为M₁，其表示从p点的世界坐标系变换到V(1)的摄像头坐标系，p向V(2)的视景矩阵为M₂，其表示从p点的世界坐标系变换到V(2)的摄像头坐标系，从V(1)所处的摄像头坐标系变换到V(2)所处的摄像头坐标系，其变换矩阵为M₁ ^-1*M₂，将矩阵表示为视频序列的位置关系；

步骤四、如图3所示，在某一时刻，空间一点p在视频序列V(1)的观察范围内，点p其和V(1)的位置关系为SP(V(1)，p)，对于视频序列V(2)来说，p可能不在V(2)的观察范围内，或者由于真实物体之间的遮挡，使得V(2)并不能看到p点，因此无法直接得出p和V(2)的位置关系SP(V(2)，p)，根据上述确定了的V(1)和V(2)的位置关系SP(V(2)，V(1))，推导出SP(V(2)，p)＝SP(V(2)，V(1))*SP(V(1)，p)，互补分为邻近视频序列之间的互补和非邻近视频序列之间的互补，此时用跳数来衡量视频序列之间的“距离”，对于两个存在共享区域的视频序列，该距离只是1跳，根据互补算法，当某一视频序列V(0)需要获得空间中某一点p的注册信息时，V(0)向邻近视频序列集合发出请求，若某视频序列V(i)从视频序列V(i-1)收到互补注册请求且可以观察到p点的注册信息，则向视频序列V(i-1)发出回复，该回复包含点p到视频序列V(i)的标定注册信息M_pS(i)，该回复消息将沿着询问路径逆向返回初始询问视频序列V(0)，若视频序列V(i)依然无法得出p点的注册信息，则转向其邻近的视频序列V(i+1)发出新的请求，当视频序列V(0)获得互补注册回复信息时，根据视频序列之间的空间位置关系计算出p点对于V(0)的注册信息；

步骤五、使用背景相减法将新得到的每一帧图像和一个背景图像进行比较，得到真实物体在某一视频序列中的投影轮廓，对每对像素差异使用阈值化处理，从而确定出每帧图像中的属于前景的位置，前景即用户所关心的真实物体；

步骤六、对于一个视频序列，为了计算从该方位观察到的点的世界坐标值，需要获得对应的视差图，首先需要在视频序列所在方位，设置两个摄像头获得两幅图像，图像中除了被遮挡的区域以外，所有的象素点都可以在另外一幅图像中得到响应的匹配点，然后在两幅图像符合极线约束的对应扫描线上搜索并评价匹配象素序列，并计算匹配点对的横坐标差值，将该差值作为视差值保存到视差图中，当计算得出物体在图像上的侧影轮廓线以及获得该方位下的视差图之后，利用投影公式计算得出该方位可见的真实物体表面点在世界坐标系下的三维坐标值，然后在每个方位利用双目立体视觉，分别获得左右图像的外参数矩阵，并计算左右摄像机的距离b，同时基于计算机标定方法保存摄像机的内参数矩阵，通过遍历侧影轮廓图内为前景物体的点，利用内外参数矩阵、b以及该点对应的视差值大小，利用投影公式，将图像平面的二维像素点投影到摄像机坐标系中，即可得到对应的三维坐标点，由于存在多个方位的摄像机，因此，需要将不同的摄像机坐标***一到一个世界坐标系中，对于投影后的三维坐标点，还需要根据已求得的外参数信息将其变换到世界坐标系中，此时各个方位计算得到的三维点集可统一到一个世界坐标系中；

步骤七、当计算得到某视频序列可观察到的真实物体表面点之后，此时得到的是部分表面点的点云集合，然后使用点云的三维凸包来表示真实物体的表面形状：首先选择不共面的四个点，构造一个四面体，然后对于剩余的点，按照一定的次序增加到当前构造的多面体中，若新加入的点在多面体内部，则可以直接忽略，处理下一个点，若新加入的点在多面体外部，则需要构造新的边和面，添加到当前的多面体内，并删除那些不可见的边和面，最后得到真实物体的模型；

步骤八、如图5所示，对于新进入的用户，其首先向所有初始用户发出初始化请求，确定其邻近的视频序列，若视频序列之间存在共享区域，则可根据共享区域内一点计算视频序列之间的空间位置关系，并保存该位置信息，若视频序列之间不存在共享区域，则其它方位的视频序列通过网络传输传回空值，当新用户确定了和其最邻近的左右视频序列之后，向这两个视频序列发出请求，获取该两个方位已有的真实物体表示信息，此时新方位得到的依然是真实物体表面点的点集，可对两个方位返回的多个点的数据进行融合处理，得到新的真实物体的模型。

Claims (6)

1.一种共享增强现实场景的真实物体多方位建模方法，其特征在于，包括以下步骤：

步骤一、将共享增强现实场景抽象在一个平面上，形成为多边形结构，对该多边形结构进行分割，并根据分割结果计算能够覆盖观测共享增强现实场景中所有部分所需的最少数量的观测点；

其中，对该多边形结构进行分割是通过三角形分割法实现的，即将该多边形结构分割成彼此之间无重叠区域的多个三角形；

在多边形分解为三角形的过程中，会产生连线来连接多边形的不同顶点，这些连线完全在多边形内部，这样的连线被称为对角线，在选择设置的观测点时，先计算经过每个顶点的对角线条数，并统计其中的最大值，将对角线条数最多的顶点作为设置的观测点；再计算从该顶点可以观察到的三角形的集合，并将之从多边形结构中去除，同时更新剩余区域的对角线，直到剩余区域为零；

步骤二、在共享增强现实场景中，为每个观测点设置至少一个基准标识物，确定每一个观测点的观测区域，计算各观测点的观测区域内的尺度不变特征向量，并利用基准标识物和特征匹配确定各观测点之间的共享观测区域；

步骤三、每个观测点在基准标识物的指引下进行三维注册；

步骤四、根据两个观测点对其共享观测区域内的基准标识物的观测结果，计算这两个观测点的空间位置关系；

步骤五、重复步骤四，直到计算出每一个观测点与至少一个其它观测点彼此之间的空间位置关系；

步骤六、抓取要建模的真实物体信息，构建该真实物体相对于每一个观测点的侧影轮廓图和视差图；

步骤七、根据侧影轮廓图和视差图，快速创建出任一新观测点的真实物体模型。

2.如权利要求1所述的共享增强现实场景的真实物体多方位建模方法，其特征在于，在所述步骤一中，将共享增强现实场景抽象在一个平面上是通过将共享增强现实场景的边缘投影到一水平平面上来实现的。

3.如权利要求1所述的共享增强现实场景的真实物体多方位建模方法，其特征在于，所述观测点即为摄像机位。

4.如权利要求1所述的共享增强现实场景的真实物体多方位建模方法，其特征在于，抓取要建模的真实物体信息是通过人工选取的方式获得的。

5.如权利要求1所述的共享增强现实场景的真实物体多方位建模方法，其特征在于，在所述步骤六中，抓取要建模的真实物体信息是通过检测到共享增强现实场景中新进入真实物体，并抓取该真实物体的方式获得的。

6.如权利要求1所述的共享增强现实场景的真实物体多方位建模方法，其特征在于，在所述步骤六中，构建该真实物体相对于每一个观测点的视差图是通过在每一个观测点取两个摄像机位，通过两个摄像机位测定真实物体的纵深距离，以形成视差图。

Images