CN111462030A - 多图像融合的立体布景视觉新角度构建绘制方法 - Google Patents

Abstract

本发明提供的多图像融合的立体布景视觉新角度构建绘制方法，提出基于超像素块的深度样本插值，利用已知深度信息，对缺失的超像素块深度插值，得到每个区域都含有足够三维点云信息的三维点云模型，利用这些三维点云进行视觉新角度构建，把已知视角的图像内容变换到视觉新角度图像上的对应位置，基于超像素分割的结果采用局部变形的方法，每个超像素块间相对独立，可以并行的处理，大大提高了计算速度。针对空洞区域，通过基于块修正的方法，不断对空洞区域进行顺序迭代的改良，直到空洞区域填补完成为止，最终能够呈现给用户在视觉上具有真实感较强的视觉新角度图像，视觉新角度构建速度较快，视觉效果良好。

Description

多图像融合的立体布景视觉新角度构建绘制方法

技术领域

本发明涉及一种视觉新角度构建绘制方法，特别涉及多图像融合的立体布景视觉新角度构建绘制方法，属于立体布景视角构建技术领域。

背景技术

立体重构技术在现实生活中的诸多领域都发挥着非常重要的作用，比如虚拟现实、动画制作、医学图像、景点游览等。正是由于该技术的应用广泛，使得有许多方法来实现立体重构，当前利用较多的立体重构技术可分为三种，第一种是通过计算机软件重构出一个立体布景模型，第二种是利用扫描设备采集数据重构一个布景的三维模型，第三种是基于二维图像集合重构出一个三维的布景。三维模型重构软件是基于计算机***的三维模型和动画渲染的制作软件，比如3DStudioMax常用于动画制作、工业建模、装潢设计等领域，在影视界常采用Softimage和Maya制作影视广告、电影特效等，能制作渲染出良好的三维模型。但三维模型重构软件对于真实布景以及大规模的布景难以处理，而且软件需要较为专业的用户来操作使用。

基于扫描设备的三维模型重构方法较多，当前较为常用的是微软研发的Kinect设备，通过Kinect设备对布景逐渐扫描，再对深度图像进行滤波操作，然后利用ICP和PCL进行配准，重构出该布景的三维模型。通过Kinect设备可把现实中的真实布景进行数字化处理，将虚拟现实和真实世界互联起来。通过扫描得到的深度图像会存在很多噪声，这将严重影响最终得到的三维模型，并且该重构方法需要一系列的后处理操作。同时，由于Kinect设备仪器的限制，使得在重构上的费用大幅增加。此外，对于大型或者非常复杂的布景，基于扫描设备的三维模型重构方法很难进行重构。

以上二种方法对布景建模时需要的人力物力消耗明显较大，而且对真实布景或大规模的复杂布景重构时，得到的三维模型也不尽如人意。基于视觉方法的立体重构技术为立体重构领域的发展开辟了一条新的道路，基于视觉的立体重构技术是基于图像集合对布景进行立体重构，通过数字相机采用布景的二维图像，然后综合利用计算机视觉、图像处理等原理进行三维测量，无需实地进行尺寸测量，再运用计算机处理，最终得到布景的三维模型。基于视觉的立体重构技术对于现实布景的适用性高，重构速度快，甚至可以不增加任何交互完成整个过程。因此，基于视觉方法的立体重构越来越成为一个具有广阔前景的研究和应用方向。

计算机视觉中依据相机个数的不同，可进一步分为单目视觉法、立体视觉法等，其中单目视觉法是利用单个相机进行布景立体重构的方法，可认为所采用的图像是从单个视角的单张或一个图像集合，也可是多个视角的一个图像集合获取的。若是单个视角，就需要通过输入图像的二维特征计算相关的深度信息，过程相对简单，得出的只是较粗略的三维模型。而基于多视角图像集合进行重构，可通过相机自标定，不同视角间的特征点匹配，然后利用这些特征点进行约束，得到整个布景的三维模型，该方法能够适用大规模而且复杂的布景，若图像集合越大且图像分辨率越高，最终重构结果也相对更好，但是，需要付出较大的是计算量及处理时间代价。

另一种视觉立体重构方法是立体视觉法，由于该方法采用在水平或竖直方向上对齐的两台相机获取布景的图像数据，又称为双目视觉法。由于两台相机间存在视差，便可利用视差计算深度信息，两台相机在水平或竖直方向对齐目的是减少相机校正的计算量，同时可对采集的图像进行相应预处理，接着对相机标定，计算出相关的相机参数，然后针对其中两张图像进行特征点提取并匹配，有了这些匹配的特征数据就可以计算出相机的基础矩阵，利用对极几何的原理对图像进行校正，校正后计算两张图像间的立体匹配，并得到视差图，最终根据三角测量法，根据视差图计算对应点的深度值，获得布景的三维点云模型，对这些点云进行网格化，得到一个较为完整的三维模型。

综上所述，立体重构的方法有很多，但细化到每个具体方向上都会存在许多需要解决的问题，改善并提高现有技术的立体重构存在巨大的挑战，现有技术的立体重构技术主要存在以下几个方面的缺陷：一是由于三维建模软件的操作复杂性和专业性，使得只有少数专业人士才能够采用并控制立体重构的过程，三维建模软件操作的难度极大，而且三维模型重构软件对于真实布景以及大规模的布景难以处理；二是基于扫描仪器的立体重构技术，由于设备仪器本身的限制，使得能够处理的布景过于简单而且单调狭小，而且采集数据的过程非常麻烦，需要手持设备的方式去扫描整个布景，重构上的费用花销很大，而且现有方法的结果也都不太令人满意，视觉上不能展示出真实的效果；三是相比较而言，基于是视觉的立体重构技术能够使整个立体重构的过程变得简单，方便获取布景的图像信息，能够处理大规模复杂的布景，但现有技术的视觉立体重构大多只能处理一些规则的人造布景，因为在处理复杂布景时，初始重构的三维点云中，一些纹理复杂的区域没有足够多的匹配特征点，无法得到该区域的空间三维点的信息，但该三维点信息作为约束条件对后续的视觉构建又极为重要，直接变形得到的视觉新角度并不是信息完整的一张图像，会存在一定的噪声和空洞，这些严重影响了最终的视觉效果，视觉重构的效果较差；四是现有技术对初始重构的不完整的三维点云模型缺少对应处理，没有设计通过寻找与缺失三维信息最类似的且存在三维信息的区域块来进行深度样本的插值，不能根据已划分的超像素块为单位分别进行变形，造成同一布景不同深度的对象之间的相互影响大，变形处理的速度很慢，视觉角度上有大面积的空洞区域，存在较多噪声，这些严重影响了最终的视觉效果。

发明内容

针对现有技术的不足，本发明提供的多图像融合的立体布景视觉新角度构建绘制方法，提出基于超像素块的深度样本插值，利用已知的深度信息，对缺失的超像素块进行深度插值，最终得到一个每个区域都含有足够三维点云信息的布景三维点云模型，利用这些三维点云信息进行视觉新角度构建，视觉新角度创建的关键步骤是图像的变形，把已知视角的图像内容变换到视觉新角度图像上的对应位置，基于超像素分割的结果采用局部变形的方法，每个超像素块间相对独立，使它们间的变形互不影响，可以并行的处理，大大提高了计算速度。针对细小的空洞区域或填补不真实的空洞区域，通过基于块修正的方法，按照图像的内容和结构，计算填补的优先级，不断对空洞区域进行顺序迭代的改良，直到空洞区域填补完成为止，最终能够呈现给用户在视觉上具有真实感较强的视觉新角度图像，视觉新角度构建速度较快，视觉效果良好。

为达到以上技术效果，本发明所采用的技术方案如下：

多图像融合的立体布景视觉新角度构建绘制方法，包括多图像深度融合、局部变形引导的视觉新角度构建、视觉新角度加工渲染，其中多图像深度融合包括实时拓扑保留的超像素分割算法、类似超像素集合的计算、最类似超像素的计算、深度样本插值，局部变形引导的视觉新角度构建包括三维点云约束的图像变形变换、超像素分割驱动的局部变形，视觉新角度加工渲染包括视觉新角度加工融合、空洞区域的填补修正。

多图像融合的立体布景视觉新角度构建绘制方法，进一步的，针对基于图像集合的单目视觉立体重构，重构过程的第一步是得到布景的一个三维点云模型，把点云作为约束条件，提出一种基于超像素块的深度样本插值方法，找出没有重构出的超像素块，并在图像范围内找出在空间距离和色彩上最佳的并且含有深度信息的超像素块，然后利用已知的深度信息，对缺失的超像素块进行深度插值，得到一个每个区域都含有足够三维点云信息的布景三维点云模型；接下来利用三维点云信息进行视觉新角度构建，视觉新角度创建的关键步骤是图像的变形，把已知视角的图像内容变换到视觉新角度图像上的对应位置，基于超像素分割的结果，采用局部变形的方法，每个超像素块间的变形互不影响，可以并行的处理，得到视觉新角度的大部分图像内容，对细小的空洞区域或填补不真实的空洞区域，通过一种基于块修正的方法，按照图像的内容和结构，计算填补的优先级，不断对空洞区域进行顺序迭代的改良，直到空洞区域填补完成为止，最终呈现具有较强真实感的视觉新角度图像。

多图像融合的立体布景视觉新角度构建绘制方法，进一步的，本发明提出一种多图像深度融合构建方法，构建有效且足够使用的三维点，首先把图像分割为超像素，利用分割结果和现存的深度信息确定重构质量差的超像素块，称为对象区域，然后在现存的深度信息中找出与对象区域在色彩上最类似并且空间距离最近的超像素块来填补这些深度缺失的对象区域，最终得到一个布景完整的三维模型，满足视觉新角度构建的需要；

本发明提出了一种实时拓扑保留的超像素分割算法，实现实时的、能够拓扑保留的并且由粗略到精细的超像素分割，实时拓扑保留的超像素分割算法采用由粗略到精细的更新方法，使最小化改良过程达到良好的效果，详细过程包括以下二个步骤：单张图像超像素估算和由粗略到精细的改良。

多图像融合的立体布景视觉新角度构建绘制方法，进一步的，单张图像超像素估算中，对于一张图像，用a_c∈{1，...，F}表示每个超像素c所属的超像素F，a＝(a₁，...，a_N)表示分割的所有随机变量的集合，N表示图像尺寸，将分割问题构成一个目标函数，满足外观一致性同时也满足规则的形状，在超像素尺寸上增加约束；

定义d_i为第i个超像素的平均位置，e_i为第i个超像素的平均色彩。e＝(e₁,...,e_F),d＝(d₁,...,d_F)分别表示所有超像素的中心和平均位置集合。N₈表示像素c的八邻域,根据马尔科夫随机场能量公式，单张图像超像素估算包括以下部分：边界长度项、拓扑结构保留项、最小化尺寸、形状规则化项、外观一致性项；

边界长度项：通过保证超像素有较小的边界长度来保持它的规则化；

拓扑结构保留项：强制使超像素之间保持连接的特性，不连接的表示为无穷；

最小化尺寸：强制超像素的尺寸至少为初始尺寸的1/4；

形状规则化项：使超像素在形状上保持规则；

外观一致性项：保持每个超像素的色彩的均匀性。

多图像融合的立体布景视觉新角度构建绘制方法，进一步的，由粗略到精细的改良中，首先将超像素初始化为规则的网格，再计算每个超像素的平均色彩和位置；然后迭代的改良每一层改良过程由粗略到精细，使目标函数达到局部良好的改良，其中列表初始化为所有的边界块，然后依次检查，当改变边界块的标签时是否违背连接性，如果不违背连接性，改良该块的分配，如果该块改变了分配，相应对二个超像素块采用增量均值方程，更新平均位置和色彩，增量均值方程为：

其中b_n-1为之前的估计值，a_n为新的元素，n为第k个超像素的尺寸。

如果在优先级队列的队尾的块在边界，就把该块的领域增加到队列中，重复这个过程，直到队列为空，开始下一个层次的改良。

多图像融合的立体布景视觉新角度构建绘制方法，进一步的，类似超像素集合的计算中，根据实时拓扑保留的超像素分割算法，将一张图像中所有超像素表示为一个集合A＝{A_i}_{i∈{0...n-1}}，n为一张图像中超像素个数，然后把重构出的三维点云投影到图像上，得到图像上每个像素x上的深度值，表示为g[p(x,y)]；

包含在每个超像素中的深度样本集合表示为g[A_i]＝{c(x，y)∈A_i|g[c(x，y)]＞0}，设定有深度信息的像素点少于0.58％的超像素块为目标超像素，其它的为可靠超像素；

首先计算每个目标超像素的最类似超像素集合。本发明采用将图像转换到LAB色彩空间，并单独创建每个超像素的直方图，该直方图分别把L，A，B每个子空间分成24个组距，形成每个超像素块的一个72维的描述子，表示为R_Lab[Ai]，A_i∈A,然后，计算目标超像素和所有具有可靠深度的超像素的χ²距离，

其中，R(i)为直方图下第i维的值。

选取距离较小的32个最类似超像素块构成一个集合，表示为N[A_i],根据所有超像素的个数决定最类似超像素的个数。

多图像融合的立体布景视觉新角度构建绘制方法，进一步的，最类似超像素的计算中，选取最类似的一个超像素集合，根据空间上和目标超像素的欧式空间距离最近的超像素块，进一步缩小N[A_i]元素的个数，一般减少至3至6个；

本发明的最类似超像素的计算采用一种图遍历的算法，创建一个二维超像素的图结构，若任何二个超像素共享一条边界，就在图上对应的二个节点之间增加一条边，边的权值为这二个超像素LAB直方图的χ²距离，然后计算目标超像素A_i ^T和每个类似超像素

之间的路径,这条路径通过最小化所有可能的A_i ^T到A_j路径值计算得到,然后对得到路径采用最短路径算法，选取路径最短三个超像素构成集合

得到三个最短路径的超像素之后，即

画出这三个超像素的深度样本的直方图。若直方图有单峰或二个连续的峰时，说明这三个超像素的深度值相近，由于这三个超像素来自最类似的超像素块，说明它们的色彩和目标超像素十分相近，而且空间上也十分相近，那么这些超像素块就属于同一物体，若还有些目标超像素无法通过这两步找出这三个超像素，那么就将这些超像素标记为空洞。

多图像融合的立体布景视觉新角度构建绘制方法，进一步的，深度样本插值中，得到与目标超像素块在空间距离和色彩上最相近的超像素集合

后，根据

包含的有效深度信息插值到目标超像素块中，随机选取目标超像素块中8至12个像素点进行深度插值，***值深度的像素点个数根据超像素块的尺寸决定，满足后续约束要求即可；根据原始有效深度信息的图像点与***值点的空间距离，计算该点的深度，对每张图像的目标超像素执行深度插值算法；在原有三维点云的基础上补充在重构过程中无法得到深度信息的区域，分别对图像集合中的每张图像进行深度插值处理，最终得到三维信息足够后续处理采用的布景三维点云模型。

多图像融合的立体布景视觉新角度构建绘制方法，进一步的，三维点云约束的图像变形变换中，给定一个视觉新角度，它的相机投影矩阵B_n已知,若视觉新角度附近的图像为D₁,D₂,...,D_N，假定输入图像D_i的相机矩阵为B_i，图像上的每个点B(x,y)∈D_i，其中能够投影到输入图像范围的三维点云表示为Z_i，布景的三维点云中的三维点q(X,Y,Z)∈Z_i，则图像上的二维点到空间中的三维点存在这样的映射关系F_i，有如下等式：

B_i(q)＝B_i(F_i(B))＝B

图像的变形需要三维点的约束,在图像处理过程中，采用将图像分成三角形区域便于处理。首先把所需要变形的区域划分成n×m的网格，对二维图像上具有深度样本的点B，把B点所处的三角形的三个顶点表示为(U₁,U₂,U₃)，在输入图像上的初始三角形为直角三角形，根据点B在三角形中的中心坐标，B表示为(b₁(B)，b₂(B)，b₃(B))，若定义变形之后的三角形的三个为(U₁′，U₂′，U₃′),在变形过程中需要满足二个条件：包括重投影能量因子条件和类似性变换因子条件。

多图像融合的立体布景视觉新角度构建绘制方法，进一步的，视觉新角度加工融合中，对每个视觉新角度，给出相机矩阵后，通过输入图像的相机参数确定空间上距离视觉新角度最近的两张图像，包括左边一张，右边一张，然后针对这两张输入图像分别根据局部变形引导的视觉新角度构建进行变形处理，得到视觉新角度处的两张输入图像变形后的视觉新角度图像，利用这两张输入图像变形后的结果，互补缺失信息，以及空洞区域；同时在加工融合过程中保留距离视觉新角度最近的输入图像信息，增加相应的权值，将距离稍远的视角图像信息作为补充信息，得到信息较完整的一张视觉新角度的图像；选择距离视觉新角度最近、数量上更多的输入视角图像进行变形操作，然后加工融合；

视觉新角度图像上的像素值就近选择，把这多张图像按照加权融合到视觉新角度图像上，若在多张图像上都无法找到有效的像素值，就把该点的像素值标记为(0,0,255)，表示该点为空洞，然后把(0,0,255)作为掩模保存，以便后续的补洞操作；采用滤波方式可去掉明显的噪声。

与现有技术相比，本发明的优点在于：

1.本发明提供的多图像融合的立体布景视觉新角度构建绘制方法，提出基于超像素块的深度样本插值，在图像范围内找出在空间距离和色彩上最佳的并且含有深度信息的超像素块，然后利用这些已知的深度信息，对缺失的超像素块进行深度插值，最终得到一个每个区域都含有足够三维点云信息的布景三维点云模型，接下来利用这些三维点云信息进行视觉新角度构建，视觉新角度创建的关键步骤是图像的变形，把已知视角的图像内容变换到视觉新角度图像上的对应位置，基于超像素分割的结果，采用局部变形的方法，每个超像素块间相对独立，使它们间的变形互不影响，可以并行的处理，大大提高了计算速度。针对细小的空洞区域或填补不真实的空洞区域，本发明通过基于块修正的方法，按照图像的内容和结构，计算填补的优先级，不断对空洞区域进行顺序迭代的改良，直到空洞区域填补完成为止，最终能够呈现给用户在视觉上具有真实感较强的视觉新角度图像。

2.本发明提供的多图像融合的立体布景视觉新角度构建绘制方法，针对布景视角受限问题，提出了快速且视觉效果更好的视觉新角度构建绘制方法，能够根据已有视角构建出更多位置不同的视觉新角度，对布景进行更多的了解展示，而且构建的视觉新角度具有较强的真实感。首先，基于立体重构的空间变形理论，将一个视角变换到另一个视角，为了提高精确度，减少噪声，将图像分割成众多超像素，并以信息相对独立的超像素块进行变形，加快了处理速度，对重构后的视角采用了后处理的方法，针对伪影区域进行局部自适应的方法进一步融合，最终得到在视觉效果上真实感较强的视觉新角度图像，而且本发明采用的视觉新角度构建方法速度较快，视觉效果良好。

3.本发明提供的多图像融合的立体布景视觉新角度构建绘制方法，运用基于超像素块的立体布景重构方法。对于输入的图像集合，把每个图像划分成为众多尺寸相当的超像素块，这些块中的色彩基本一致而且每个块都只属于布景中的某一个对象，利用该性质可以填补初始重构的不完整的三维点云模型，通过寻找与缺失三维信息最类似的且存在三维信息的区域块进行深度样本的插值，同时在图像变形的过程中，根据已经划分的超像素块为单位，分别对超像素块进行变形。这不仅减少了在变形过程中同一布景不同深度的对象之间的影响，而且大幅的提高了变形处理的速度。

4.本发明提供的多图像融合的立体布景视觉新角度构建绘制方法，提出基于三维点约束的视觉新角度构建方法。寻找到视觉新角度在空间上距离最近二个原始输入视角，把初始重构的三维点云作为约束条件，分别将他们变形到视觉新角度上，通过把二个原始视角的图像变形的结果融合到一起，得到视觉新角度中的大部分图像信息，考虑到在融合的图像中往往却是一些不真实的细节最为突出，最能够引起人们的注意，为了能够使最终的视觉效果更加真实，采用了基于块修正的方法来填补这些空洞区域，以及相应的后处理，自动检测伪影点并消除。最终能够呈现出一张真实感较强的视觉新角度图像。

附图说明

图1是本发明多图像融合的立体布景视觉新角度构建绘制方法的结构图。

图2是本发明三维点云约束的图像变形变换过程示意图。

图3是本发明超像素分割驱动的局部变形过程示意图。

图4是本发明视觉新角度加工融合效果示意图。

具体实施方式

下面结合附图，对本发明提供的多图像融合的立体布景视觉新角度构建绘制方法的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。

本发明提供的多图像融合的立体布景视觉新角度构建绘制方法，包括多图像深度融合、局部变形引导的视觉新角度构建、视觉新角度加工渲染；其中多图像深度融合包括实时拓扑保留的超像素分割算法、类似超像素集合的计算、最类似超像素的计算、深度样本插值，实时拓扑保留的超像素分割算法包括单张图像超像素估算和由粗略到精细的改良；局部变形引导的视觉新角度构建包括三维点云约束的图像变形变换、超像素分割驱动的局部变形；视觉新角度加工渲染包括视觉新角度加工融合、空洞区域的填补修正。

如图1所示，本发明针对基于图像集合的单目视觉立体重构，由于重构的对象是真实世界的布景，所以最终重构的效果必须和人的视觉感知一致，使重构结果更加逼真。重构过程的第一步是得到布景的一个三维点云模型，由于点云的稀疏性，只能把点云作为约束条件，作为约束条件必须在布景的每个地方都提供足够但不太多的约束点信息。针对该问题，本发明提出一种基于超像素块的深度样本插值方法，由于超像素块可以把图像分割成尺寸较小，且每块色彩一致的超像素块，根据这个特点找出没有重构出的超像素块，并在图像范围内找出在空间距离和色彩上最佳的并且含有深度信息的超像素块。然后利用这些已知的深度信息，对缺失的超像素块进行深度插值。最终得到一个每个区域都含有足够三维点云信息的布景三维点云模型。接下来利用这些三维点云信息进行视觉新角度构建，视觉新角度创建的关键步骤是图像的变形，把已知视角的图像内容变换到视觉新角度图像上的对应位置，由于全局变形会使在视觉新角度图像上产生严重的扭曲，特别是在视差明显、深度相差明显的对象之间。基于超像素分割的结果，采用局部变形的方法避免上述问题，且每个超像素块间的相对独立性，使它们间的变形互不影响，可以并行的处理，大大提高了计算速度。虽经过以上方法可以得到视觉新角度的大部分图像内容，但最终还是会有细小的空洞区域或填补不真实的空洞区域，本发明通过一种基于块修正的方法，按照图像的内容和结构，计算填补的优先级，不断对空洞区域进行顺序迭代的改良，直到空洞区域填补完成为止，最终能够呈现给用户在视觉上具有真实感较强的视觉新角度图像。

一、多图像深度融合

多图像融合立体重构的第一步是根据已有的图像集得到的三维点云，因为三维点云对之后的视觉新角度构建有重要的约束作用，如果某区域三维点缺失，则视觉新角度中无法获得对应区域的信息，因此得到一个场景尽量多的区域三维信息十分重要。

即使是采用最好的三维点云重构方法，也无法重构出布景中的某些重要区域的深度，因为复杂布景纹理复杂，在重构点云的过程中图像间的特征点无法正确匹配，不能成为最终的有效三维点而被遗弃。

虽然现有技术的方法不能直接重构出复杂布景区域的三维点，但可以基于现存的图像信息来构建该区域的深度信息。本发明提出一种多图像深度融合构建方法。能够构建有效且足够使用的三维点。首先把图像分割为超像素，利用分割结果和现存的深度信息确定重构质量差的超像素块，称为对象区域。然后在现存的深度信息中找出与对象区域在色彩上最类似并且空间距离最近的超像素块来填补这些深度缺失的对象区域。最终得到一个布景完整的三维模型，满足视觉新角度构建的需要。

(一)实时拓扑保留的超像素分割算法

本发明要求超像素算法应该运行速度快，实时性强，可靠性和规范性好，图像分割的拓扑一致性好。而现有技术不满足这些要求。针对现有技术方法的缺点，以及本发明对超像素的实时性要求。本发明提出了一种实时拓扑保留的超像素分割算法，算法实现实时的、能够拓扑保留的并且由粗略到精细的超像素分割，实时拓扑保留的超像素分割算法采用由粗略到精细的更新方法，使最小化改良过程达到良好的效果。详细过程包括以下二个步骤：

(1)单张图像超像素估算

对于一张图像，用a_c∈{1，...，F}表示每个超像素c所属的超像素F，a＝(a₁，...，a_N)表示分割的所有随机变量的集合，N表示图像尺寸。将分割问题构成一个目标函数，与k-means聚类类似，满足外观一致性同时也满足规则的形状。在超像素尺寸上增加约束，防止超像素尺寸太小。

定义d_i为第i个超像素的平均位置，e_i为第i个超像素的平均色彩。e＝(e₁,...,e_F),d＝(d₁,...,d_F)分别表示所有超像素的中心和平均位置集合。N₈表示像素c的八邻域,根据马尔科夫随机场能量公式，单张图像超像素估算包括以下部分：边界长度项、拓扑结构保留项、最小化尺寸、形状规则化项、外观一致性项。

边界长度项：通过保证超像素有较小的边界长度来保持它的规则化。

拓扑结构保留项：强制使超像素之间保持连接的特性，不连接的表示为无穷。

最小化尺寸：强制超像素的尺寸至少为初始尺寸的1/4。

形状规则化项：使超像素在形状上保持规则。

外观一致性项：保持每个超像素的色彩的均匀性。

(2)由粗略到精细的改良

本发明针对像素的分配和优先级队列FIFO策略，提出了由粗略到精细化的算法。首先将超像素初始化为规则的网格，再计算每个超像素的平均色彩和位置；然后迭代的改良每一层改良过程由粗略到精细，使目标函数达到局部良好的改良，其中列表初始化为所有的边界块，然后依次检查，当改变边界块的标签时是否违背连接性，如果不违背连接性，改良该块的分配，如果该块改变了分配，相应对二个超像素块采用增量均值方程，更新平均位置和色彩，增量均值方程为：

其中b_n-1为之前的估计值，a_n为新的元素，n为第k个超像素的尺寸。

如果在优先级队列的队尾的块在边界，就把该块的领域增加到队列中，重复这个过程，直到队列为空，开始下一个层次的改良。

(二)类似超像素集合的计算

根据实时拓扑保留的超像素分割算法，将一张图像中所有超像素表示为一个集合A＝{A_i}_{i∈{0...n-1}}，n为一张图像中超像素个数，然后把重构出的三维点云投影到图像上，得到图像上每个像素x上的深度值，表示为g[p(x,y)]。

包含在每个超像素中的深度样本集合表示为g[A_i]＝{c(x，y)∈A_i|g[c(x，y)]＞0}，为了区分出三维深度信息缺少的区域，设定有深度信息的像素点少于0.58％的超像素块为目标超像素，其它的为可靠超像素。

首先计算每个目标超像素的最类似超像素集合。本发明采用将图像转换到LAB色彩空间，并单独创建每个超像素的直方图，该直方图分别把L，A，B每个子空间分成24个组距，形成每个超像素块的一个72维的描述子，表示为R_Lab[A_i]，A_i∈A,然后，计算目标超像素和所有具有可靠深度的超像素的χ²距离，

其中，R(i)为直方图下第i维的值。

选取距离较小的32个最类似超像素块构成一个集合，表示为N[A_i],根据所有超像素的个数决定最类似超像素的个数，一般34至76个，如果数目选取明显，将大幅增加计算复杂度。

(三)最类似超像素的计算

类似超像素集合的计算中选取了最类似的一个超像素集合，现需要根据空间上和目标超像素的欧式空间距离最近的超像素块，来进一步缩小N[A_i]元素的个数，一般减少至3至6个。而超像素的不规则和高度非凸的形状使得超像素之间的欧式距离变得十分模糊，由于超像素块的形状尺寸各不相同，所以它们空间相邻的对象也变得模糊不清。

为解决这些问题，本发明的最类似超像素的计算采用了一种图遍历的算法。创建一个二维超像素的图结构，若任何二个超像素共享一条边界，就在图上对应的二个节点之间增加一条边，边的权值为这二个超像素LAB直方图的χ²距离。然后计算目标超像素A_i ^T和每个类似超像素A_j∈N[A_i ^T]之间的路径,这条路径通过最小化所有可能的A_i ^T到A_j路径值计算得到,然后对得到路径采用最短路径算法，选取路径最短三个超像素构成集合

得到三个最短路径的超像素之后，即

画出这三个超像素的深度样本的直方图。若直方图有单峰或二个连续的峰时，说明这三个超像素的深度值相近，由于这三个超像素来自最类似的超像素块，说明它们的色彩和目标超像素十分相近，而且空间上也十分相近，那么这些超像素块就属于同一物体。若还有些目标超像素无法通过这两步找出这三个超像素，那么就将这些超像素标记为空洞。

(四)深度样本插值

得到与目标超像素块在空间距离和色彩上最相近的超像素集合

后，根据

包含的有效深度信息插值到目标超像素块中，随机选取目标超像素块中8至12个像素点进行深度插值，***值深度的像素点个数根据超像素块的尺寸决定，满足后续约束要求即可。根据原始有效深度信息的图像点与***值点的空间距离，计算该点的深度，对每张图像的目标超像素执行深度插值算法。在原有三维点云的基础上补充在重构过程中无法得到深度信息的区域，分别对图像集合中的每张图像进行深度插值处理，最终得到三维信息足够后续处理采用的布景三维点云模型。

二、局部变形引导的视觉新角度构建

给定一个布景图像集，使用者只能从有限的视角去了解观察该布景，与图像的个数有关。利用一个布景现存的图像集合，使用者能够动态的从多个视角去浏览该布景，并能让在视觉新角度下所观察到的布景同样真实，具有良好的视觉效果，这些是本发明所需要解决的问题。现有技术的方法只是一些视角之间的过渡处理，或只能小幅的视角变换，且对于复杂布景难以处理。布景图像集合在经过VisualSFM处理后可得到相机的参数。因此，可利用原有的相机位置，设定视觉新角度的相机矩阵，然后选取距离该视觉新角度最近的二张或四张图像作为参考图像，把得到的布景三维点云作为约束条件，把距离视觉新角度最近的图像，变形到视觉新角度上，得到视觉新角度的基本图像信息。但是，得到的视觉新角度图像必会因为在变形过程中留下一些缝隙或空洞，影响最终的视觉效果，这时便需要对视觉新角度进行融合修正，使其在外观上更加真实。选取不同的位置重复以上处理过程，便可以得到整个布景身临其境的游览效果，从更多的视角去观察了解一个布景的更多信息。

(一)三维点云约束的图像变形变换

给定一个视觉新角度，它的相机投影矩阵B_n已知,若视觉新角度附近的图像为D₁,D₂,...,D_N，假定输入图像D_i的相机矩阵为B_i，图像上的每个点B(x,y)∈D_i，其中能够投影到输入图像范围的三维点云表示为Z_i，布景的三维点云中的三维点q(X,Y,Z)∈Z_i，则图像上的二维点到空间中的三维点存在这样的映射关系F_i，有如下等式：

B_i(q)＝B_i(F_i(B))＝B

图像的变形需要三维点的约束,在图像处理过程中，采用将图像分成三角形区域便于处理。首先把所需要变形的区域划分成n×m的网格，对二维图像上具有深度样本的点B，把B点所处的三角形的三个顶点表示为(U₁,U₂,U₃)，在输入图像上的初始三角形为直角三角形，根据点B在三角形中的中心坐标，B表示为(b₁(B)，b₂(B)，b₃(B))，若定义变形之后的三角形的三个为(U₁′，U₂′，U₃′),在变形过程中需要满足二个条件：包括重投影能量因子条件和类似性变换因子条件。

(1)重投影能量因子条件：

为使变形后,在视觉新角度中深度样本点和变形之后的三角形的三个顶点仍然满足重心坐标关系，根据三维点云的约束，形成最小二乘能量方程。

(2)类似性变换因子条件

图像已经划分成n×m的网格，对每个网格单元，沿对角线划分，可把网格单元划分成二个三角形。然后分别以三角形为单元进行变形，其中类似性变换因子衡量二个对应的网格单元变形之后的偏差。顶点为(U₁,U₂,U₃)的三角形，以其中一个顶点U₂为原点，与其相连的一条边<U₂,U₃>所在直线为X轴，将其旋转90度，该边所在直线为Y轴，构成了一个局部坐标系，用其中的二个顶点去表示另外一个顶点，则U₁可以用U₂和U₃表示成如下形式：

其中R₉₀是一个旋转矩阵。根据局部坐标系，u和v都是已知的坐标，由以下公式计算出：

u＝(U₁-U₂)^T(U₃-U₂)/||U₃-U₂||

v＝(U₁-U₂)TR₉₀(U₃-U₂)/||(U₃-U₂||

因此，通过减小变换后三个顶点间的偏差，可保持三角形的形状不发生异常变化。得出形状保持项的方程，对于一个需要变形的区域，必须最小化它的重投影能量因子，同时保持该区域的形状，如图2所示，因此只要对需要变形的区域最小化目标函数构成一个稀疏的线性方程组，通过这个稀疏的线性方程组，得到变形之后每个三角形的顶点坐标，一旦确定三角形的顶点坐标，便可根据在输入图像中处在三角形中的像素的中心坐标，插值到视觉新角度的图像中，得到变形变换后的图像。

(二)超像素分割驱动的局部变形

经过立体重构出的点云并不完全准确，也可能存在噪点，特别是在物体间的边界和轮廓区域。即使经过多图像深度融合后，得出的也只是为空洞区域提供合理足够的约束点，但和整张图像并非完全一致。若直接把需要变形的区域作为一个整体处理，会因为这些不准确的约束项造成变形后的伪影，而且整体处理会构成一个大型多维的稀疏线性方程组，对于求解增加了复杂度，求解时间变长。

针对基于全局变形会出现的这些问题，本发明采用了超像素分割驱动的局部变形，与全局变形不同，不再对整个区域进行变形。由于在多图像深度融合这一步中已经把图像分割成超像素，而且这些超像素基本色彩一致，超像素中所有像素点都是属于同一物体，深度相近。因此，对这些超像素块单独进行变形，不会影响其它区域。这种基于局部变形的方法，大幅减小了由于部分不可靠的深度样本约束所造成的误差，而且每个超像素块间的变形相对独立，尺寸较小，所需求解的线性方程组的维数大幅降低，减小了计算复杂度，最重要的是每个超像素块间可并行处理，能够大幅减少处理时间。

如图3所示，一个超像素块的形状不规则，根据超像素块中像素的位置，找出一个能够包含整个超像素块的矩形。若B(x，y)∈A_k，则找出矩形的四个顶点的坐标，x_min＝min(B_x)；x_max＝max(B_x)；y_min＝min(B_y)；y_max＝max(B_y),矩形的四个顶点分别为：U₁(x_min，y_min)，U₂(x_min，y_max)，U₃(x_max，y_min)，U₄(x_max，y_max)，然后沿对角线将该超像素块划分成二个三角形区域，分别对这二个三角形执行三维点云约束的图像变形变换进行变形。由图可以看出变形过程，每个超像素块的操作相对独立。

三、视觉新角度加工渲染

(一)视觉新角度加工融合

对每个视觉新角度，给出相机矩阵后，能够通过输入图像的相机参数确定空间上距离视觉新角度最近的两张图像，包括左边一张，右边一张。然后针对这两张输入图像分别根据局部变形引导的视觉新角度构建进行变形处理，得到视觉新角度处的两张输入图像变形后的视觉新角度图像。由于在视角发生变化的同时布景中的物体的相对位置及视差会发生变化，此时便会在变形之后的视觉新角度处留下一些空洞，空间上输入图像是在视觉新角度的左右两边，不同的视角观察到的布景不同，这样便可利用这两张输入图像变形后的结果，互补缺失信息，以及空洞区域。同时在加工融合过程中尽量保留距离视觉新角度最近的输入图像信息，增加相应的权值，将距离稍远的视角图像信息作为补充信息，得到信息较完整的一张视觉新角度的图像。为更多的补充变形后视觉新角度的图像信息，选择距离视觉新角度最近、数量上更多的输入视角图像进行变形操作，然后加工融合。但输入视角选择的数量越多，也意味着计算量上的增加，需要平衡选择输入视角的个数与所能补充的信息间的关系。

视觉新角度图像上的像素值就近选择，把这多张图像按照加权融合到视觉新角度图像上，若在多张图像上都无法找到有效的像素值，就把该点的像素值标记为(0,0,255)，表示该点为空洞，然后把(0,0,255)作为掩模保存，以便后续的补洞操作。

如图4所示，上面两幅图分别为距离新视角最近的左右两幅原始图像分别形变到新视角上的图像，上图为融合了上面两幅图之后的结果图像。视觉新角度加工融合后，图像上虽大体上有了整个布景的信息，但还存在一些规则的噪声。造成噪声的原因是在变形的过程中，是以三角形为标准进行的变形，像素由输入视角再插值到视觉新角度时三角形的顶点无法处理，便会以没有RGB值的空点形式出现。针对这些噪声，采用滤波方式可去掉明显的噪声。当然，大块的空洞区域还需要后续的补洞算法进行处理。

(二)空洞区域的填补修正

经过以上处理后，虽已得到视觉新角度的大部分区域的图像内容，但仍然会留下一些空洞区域影响最终的视觉效果。造成该空洞区域的原因有二个：一是由于视角变换，同一块超像素经过变形后区域块的面积会发生变化，若减小则会留下超像素块之间的缝隙，特别是在边界区域；二是在对目标超像素进行深度样本差值时，可能针对某些目标超像素无法找到与其相符合的源超像素，导致没有成功对该目标超像素进行深度插值，在变形的过程中无法变形到视觉新角度上，便会留下一些空洞区域。

针对这些空洞区域的填补问题，本发明提出了一种基于图像块的空洞区域填补修正方法，分为二个步骤：

步骤一，基于样本块的空洞区域填补；

步骤二，自动检测伪影并消除修正。

该算法首先把空洞区域作为掩模，然后针对掩模区域的每个点，寻找在几何结构和色彩上最佳的样本块，将样本块复制到掩模区域上。但这样的复制粘贴会造成局部块效应及图像上不一致，使得真实布景不自然。在修正后的图像上，有明显色彩和光度上差异的地方为伪影。根据伪影的特征自动检测，然后对这些伪影区域的相关修正参数进行修改便可消除伪影，最终形成在视觉上良好的空洞区域填补修正效果。

(1)基于样本块的空洞区域填补

本发明的空洞区域的填补修正方法优点有二个：一是该方法伪影的检测和消除后处理步骤没有付出额外代价；二是相比其它采用多核或GPU加速算法，该方法不采用加速便可达到同样的速度。

本发明基于样本块的空洞区域填补方法的具体步骤为：

首先需要选择需要填补的对象区域S，本发明采用将对象区域赋值成单一的色彩，然后规定块的大小，定义了这些参数之后，就可以对对象区域进行自动填补了。

对于图像中每个像素，定义了一个色彩值和一个可靠度值。在对象区域中色彩值可以赋值为空，可靠度值表示该像素可靠度，若该点被填充，那么就修改并固定它的可靠度值。在对象区域的边界T上，由于每个点的块中存在的空洞区域的大小及结构信息不同，每个像素会暂时给定一个优先级，决定填补的顺序，然后根据以下三步进行迭代处理，直到对象区域集合为空。

第1步，块的优先级计算

空洞区域的填补顺序十分重要，对于空洞区域边界上的点的每个块，都采用最高优先级的方法来进行处理。优先级的计算根据这些块较强的边缘的连续性和周围较高的可靠度值。

可靠度项看作是衡量在像素周围可靠信息的量，对有大部分像素已存在或已填充的块，也可能该块的已存在的部分是属于源区域而不是对象区域。这时，这些块被赋予较高的优先级，首先进行填充操作。

这种方法对某种特定的形状的空洞区域有良好的填补效果，比如那些包含有角点或形状较窄的空洞区域将会优先填补处理，因为这些块被较多的源区域的像素包围，而且与其最佳匹配的块将提供更多更可靠的信息。相反，处在纹理单一、结构不变或可靠信息较少的对象区域将会等到周围有更多的像素被填充后才进行填充处理。

初始迭代中，可靠度项近似执行围绕空洞区域中心的填补顺序，随着填补程序的执行，处在空洞区域***的点，也就是边界上的点的可靠度值将偏大，而处在空洞区域中心的像素的可靠度值将相对较小。

数据项是在每次迭代过程中表示等照度线和边界T命中强度的函数，若一个块中有等照度线，那么将提高该块的优先级。数据项在填充算法中具有十分重要的作用，因为它会将源区域的线性结构保持并传播到空洞区域中，恢复由于空洞区域破坏的线性结构，从而在视觉上形成真实的效果。可靠度项和数据项间存在平衡关系，数据项把等照度线快速的传播到空洞区域，而可靠度项抑制这个传播速度，使其不至于产生明显的伪影。

由于优先级函数可自动决定对空洞区域的填补顺序，相对任意预定义空洞区域的填补顺序，在精度和效果上都有了明显改善。空洞填充顺序也成为图像属性的函数，不仅可以消除破坏的结构也可以减少块效应，相对简单的模糊平滑处理，在真实感上取得了良好的视觉效果。

第2步，纹理和结构信息的传播

根据第1步计算源区域块的优先级，待填充空洞区域的最佳匹配块根据优先级找到，然后，根据最佳块从源区域提取数据对空洞区域进行填补。

现有技术的填补，像素的色彩值通过扩散获取，在空洞区域进行模糊填充。但空洞区域明显时就会产生较差的视觉效果。本发明通过直接采样源区域的图像信息填补空洞区域，在源区域的块中找出和对象区域块最类似的块，然后对集合中的每个像素进行填充。这样的填补方式可以充分保留来自源区域的几何结构和纹理信息，进一步传播到对象区域。

第3步，可靠度值更新

经过第1步和第2步的操作，只沿空洞区域的边界填充了部分空洞区域，仍需要更近一步的迭代来填充余下的空洞区域，填充后点的可靠度值相应发生了变化，对被填充区域的各点的可靠度值进行更新。

被填充区域各点可靠度值的更新方法更新边界块内被填充的对象区域像素的可靠度值，随着填补的进行，越往空洞区域中心，像素的可靠度值不断减小，基于这种复制方法，空洞区域通过反复的迭代和全局处理的方法填充。

(2)自动检测伪影并消除修正。

基于块修正方法处理后的图像上会留下伪影，这些伪影视觉上较为显眼，能够自动检测并且消除这些伪影尤为重要。

空洞区域S中，当二个距离较近的拷贝块没有足够的类似程度时，就会在修正的结果图像中造成视觉上的伪影。判断一个点p∈S处是否是伪影，验证需要是否满足以下二个条件：

条件一：该点处的梯度值越大，该点在空间上有着不连续性；

条件二：粘贴到p的领域上的块，若它们来自不同位置，将会在图像上造成不连续性。

根据条件一和条件二的特征，找出这些伪影点集合。

四、发明点总结

对于一个布景的图像集，单纯采用VisualSFM重构得到的三维点云，在纹理复杂或特征点匹配较少的区域就会在重构结果中显示为空洞区域。但空洞区域若太多，缺失的信息太多，会对后续的处理过程造成严重的影响。为了能够使布景的三维信息更加完整，本发明采用了一种基于样本深度插值的方法填补信息缺失的空洞区域，该方法对不同的布景都能够插值出正确的深度，具有较好的鲁棒性。通过良好的超像素分割方法，将图像分割成每个超像素块，使其满足色彩一致而且只属于一个物体。然后选取和三维信息缺失的超像素块在色彩和空间距离最相近的超像素块，利用他们包含的有效样本深度值对目标超像素块进行深度插值。最终得到一个真实可靠且三维信息完整的布景点云模型，为后续的工作提供充足的约束条件。

针对布景视角受限问题，本发明提出了一种快速且视觉效果更好的视觉新角度构建绘制方法，能够根据已有视角构建出更多位置不同的视觉新角度，对布景进行更多的了解展示，而且构建的视觉新角度具有较强的真实感。首先，基于立体重构的空间变形理论，将一个视角变换到另一个视角，为了提高精确度，减少噪声，本发明采用了将图像分割成众多超像素，并以信息相对独立的超像素块进行变形，加快了处理速度，由于初步构建的视觉新角度仍然会留下一些空洞区域无法利用图像的变形技术得到，本发明采用了基于图像块修正的方法填补空洞区域，为使填补更加自然并且具有真实感，本发明对重构后的视角采用了后处理的方法，检测出在视觉效果上存在明显的伪影区域，针对伪影区域进行局部自适应的方法进一步融合，最终得到在视觉效果上真实感较强的视觉新角度图像，而且本发明采用的视觉新角度构建方法速度较快，视觉效果良好。

Claims (10)

1.多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，包括多图像深度融合、局部变形引导的视觉新角度构建、视觉新角度加工渲染，其中多图像深度融合包括实时拓扑保留的超像素分割算法、类似超像素集合的计算、最类似超像素的计算、深度样本插值，局部变形引导的视觉新角度构建包括三维点云约束的图像变形变换、超像素分割驱动的局部变形，视觉新角度加工渲染包括视觉新角度加工融合、空洞区域的填补修正。

2.根据权利要求1所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，针对基于图像集合的单目视觉立体重构，重构过程的第一步是得到布景的一个三维点云模型，把点云作为约束条件，提出一种基于超像素块的深度样本插值方法，找出没有重构出的超像素块，并在图像范围内找出在空间距离和色彩上最佳的并且含有深度信息的超像素块，然后利用已知的深度信息，对缺失的超像素块进行深度插值，得到一个每个区域都含有足够三维点云信息的布景三维点云模型；接下来利用三维点云信息进行视觉新角度构建，视觉新角度创建的关键步骤是图像的变形，把已知视角的图像内容变换到视觉新角度图像上的对应位置，基于超像素分割的结果，采用局部变形的方法，每个超像素块间的变形互不影响，可以并行的处理，得到视觉新角度的大部分图像内容，对细小的空洞区域或填补不真实的空洞区域，通过一种基于块修正的方法，按照图像的内容和结构，计算填补的优先级，不断对空洞区域进行顺序迭代的改良，直到空洞区域填补完成为止，最终呈现具有较强真实感的视觉新角度图像。

3.根据权利要求1所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，本发明提出一种多图像深度融合构建方法，构建有效且足够使用的三维点，首先把图像分割为超像素，利用分割结果和现存的深度信息确定重构质量差的超像素块，称为对象区域，然后在现存的深度信息中找出与对象区域在色彩上最类似并且空间距离最近的超像素块来填补这些深度缺失的对象区域，最终得到一个布景完整的三维模型，满足视觉新角度构建的需要；

本发明提出了一种实时拓扑保留的超像素分割算法，实现实时的、能够拓扑保留的并且由粗略到精细的超像素分割，实时拓扑保留的超像素分割算法采用由粗略到精细的更新方法，使最小化改良过程达到良好的效果，详细过程包括以下二个步骤：单张图像超像素估算和由粗略到精细的改良。

4.根据权利要求3所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，单张图像超像素估算中，对于一张图像，用a_c∈{1，...，F}表示每个超像素c所属的超像素F，a＝(a₁，...，a_N)表示分割的所有随机变量的集合，N表示图像尺寸，将分割问题构成一个目标函数，满足外观一致性同时也满足规则的形状，在超像素尺寸上增加约束；

定义d_i为第i个超像素的平均位置，e_i为第i个超像素的平均色彩；e＝(e₁,...,e_F),d＝(d₁,...,d_F)分别表示所有超像素的中心和平均位置集合；N₈表示像素c的八邻域,根据马尔科夫随机场能量公式，单张图像超像素估算包括以下部分：边界长度项、拓扑结构保留项、最小化尺寸、形状规则化项、外观一致性项；

边界长度项：通过保证超像素有较小的边界长度来保持它的规则化；

拓扑结构保留项：强制使超像素之间保持连接的特性，不连接的表示为无穷；

最小化尺寸：强制超像素的尺寸至少为初始尺寸的1/4；

形状规则化项：使超像素在形状上保持规则；

外观一致性项：保持每个超像素的色彩的均匀性。

5.根据权利要求3所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，由粗略到精细的改良中，首先将超像素初始化为规则的网格，再计算每个超像素的平均色彩和位置；然后迭代的改良每一层改良过程由粗略到精细，使目标函数达到局部良好的改良，其中列表初始化为所有的边界块，然后依次检查，当改变边界块的标签时是否违背连接性，如果不违背连接性，改良该块的分配，如果该块改变了分配，相应对二个超像素块采用增量均值方程，更新平均位置和色彩，增量均值方程为：

其中b_n-1为之前的估计值，a_n为新的元素，n为第k个超像素的尺寸。

如果在优先级队列的队尾的块在边界，就把该块的领域增加到队列中，重复这个过程，直到队列为空，开始下一个层次的改良。

6.根据权利要求1所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，类似超像素集合的计算中，根据实时拓扑保留的超像素分割算法，将一张图像中所有超像素表示为一个集合A＝{A_i}_{i∈{0...n-1}}，n为一张图像中超像素个数，然后把重构出的三维点云投影到图像上，得到图像上每个像素x上的深度值，表示为g[p(x,y)]；

包含在每个超像素中的深度样本集合表示为g[A_i]＝{c(x，y)∈A_i|g[c(x，y)]＞0}，设定有深度信息的像素点少于0.58％的超像素块为目标超像素，其它的为可靠超像素；

首先计算每个目标超像素的最类似超像素集合。本发明采用将图像转换到LAB色彩空间，并单独创建每个超像素的直方图，该直方图分别把L，A，B每个子空间分成24个组距，形成每个超像素块的一个72维的描述子，表示为R_Lab[A_i]，A_i∈A,然后，计算目标超像素和所有具有可靠深度的超像素的χ²距离，

其中，R(i)为直方图下第i维的值。

选取距离较小的32个最类似超像素块构成一个集合，表示为N[A_i],根据所有超像素的个数决定最类似超像素的个数。

7.根据权利要求1所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，最类似超像素的计算中，选取最类似的一个超像素集合，根据空间上和目标超像素的欧式空间距离最近的超像素块，进一步缩小N[A_i]元素的个数，一般减少至3至6个；

本发明的最类似超像素的计算采用一种图遍历的算法，创建一个二维超像素的图结构，若任何二个超像素共享一条边界，就在图上对应的二个节点之间增加一条边，边的权值为这二个超像素LAB直方图的χ²距离，然后计算目标超像素A_i ^T和每个类似超像素

之间的路径,这条路径通过最小化所有可能的A_i ^T到A_j路径值计算得到,然后对得到路径采用最短路径算法，选取路径最短三个超像素构成集合

得到三个最短路径的超像素之后，即

画出这三个超像素的深度样本的直方图。若直方图有单峰或二个连续的峰时，说明这三个超像素的深度值相近，由于这三个超像素来自最类似的超像素块，说明它们的色彩和目标超像素十分相近，而且空间上也十分相近，那么这些超像素块就属于同一物体，若还有些目标超像素无法通过这两步找出这三个超像素，那么就将这些超像素标记为空洞。

8.根据权利要求1所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，深度样本插值中，得到与目标超像素块在空间距离和色彩上最相近的超像素集合

后，根据

包含的有效深度信息插值到目标超像素块中，随机选取目标超像素块中8至12个像素点进行深度插值，***值深度的像素点个数根据超像素块的尺寸决定，满足后续约束要求即可；根据原始有效深度信息的图像点与***值点的空间距离，计算该点的深度，对每张图像的目标超像素执行深度插值算法；在原有三维点云的基础上补充在重构过程中无法得到深度信息的区域，分别对图像集合中的每张图像进行深度插值处理，最终得到三维信息足够后续处理采用的布景三维点云模型。

9.根据权利要求1所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，三维点云约束的图像变形变换中，给定一个视觉新角度，它的相机投影矩阵B_n已知,若视觉新角度附近的图像为D₁,D₂,...,D_N，假定输入图像D_i的相机矩阵为B_i，图像上的每个点B(x,y)∈D_i，其中能够投影到输入图像范围的三维点云表示为Z_i，布景的三维点云中的三维点q(X,Y,Z)∈Z_i，则图像上的二维点到空间中的三维点存在这样的映射关系F_i，有如下等式：

B_i(q)＝B_i(F_i(B))＝B

图像的变形需要三维点的约束,在图像处理过程中，采用将图像分成三角形区域便于处理。首先把所需要变形的区域划分成n×m的网格，对二维图像上具有深度样本的点B，把B点所处的三角形的三个顶点表示为(U₁,U₂,U₃)，在输入图像上的初始三角形为直角三角形，根据点B在三角形中的中心坐标，B表示为(b₁(B)，b₂(B)，b₃(B))，若定义变形之后的三角形的三个为(U₁′，U₂′，U₃′),在变形过程中需要满足二个条件：包括重投影能量因子条件和类似性变换因子条件。

10.根据权利要求1所述的多图像融合的立体布景视觉新角度构建绘制方法，其特征在于，视觉新角度加工融合中，对每个视觉新角度，给出相机矩阵后，通过输入图像的相机参数确定空间上距离视觉新角度最近的两张图像，包括左边一张，右边一张，然后针对这两张输入图像分别根据局部变形引导的视觉新角度构建进行变形处理，得到视觉新角度处的两张输入图像变形后的视觉新角度图像，利用这两张输入图像变形后的结果，互补缺失信息，以及空洞区域；同时在加工融合过程中保留距离视觉新角度最近的输入图像信息，增加相应的权值，将距离稍远的视角图像信息作为补充信息，得到信息较完整的一张视觉新角度的图像；选择距离视觉新角度最近、数量上更多的输入视角图像进行变形操作，然后加工融合；

视觉新角度图像上的像素值就近选择，把这多张图像按照加权融合到视觉新角度图像上，若在多张图像上都无法找到有效的像素值，就把该点的像素值标记为(0,0,255)，表示该点为空洞，然后把(0,0,255)作为掩模保存，以便后续的补洞操作；采用滤波方式可去掉明显的噪声。

Images