CN103226830B - 三维虚实融合环境中视频纹理投影的自动匹配校正方法 - Google Patents

Abstract

本发明涉及三维虚实融合环境中视频纹理投影的自动匹配校正方法以及真实视频影像和虚拟场景融合方法，自动匹配校正方法步骤为：通过构建虚拟场景、获取视频数据、视频纹理融合、投影机校正。采用拍摄的真实视频，通过纹理投影的方式，在复杂的地表和建筑物等场景表面进行虚拟场景融合，提高虚拟现实环境中场景动态信息的表达与展示能力，也增强了场景的层次感。可通过增加从不同拍摄角度的视频数量，实现大范围虚拟场景的动态视频纹理覆盖效果，从而实现虚拟现实环境与显示场景的虚实融合的动态真实感效果。通过视频帧预先颜色一致性处理，消除明显的颜色跳变，提升视觉效果。通过本发明提出的自动校正算法，让虚拟场景与真实视频的融合更为精准。

Description

三维虚实融合环境中视频纹理投影的自动匹配校正方法

技术领域

本文涉及虚拟现实，尤其涉及一种利用真实视频影像与虚拟场景融合、校正的方法，属于虚拟现实、计算机图形学、计算机视觉和人机交互等技术领域。

背景技术

在虚拟现实***中，使用静态图片表现建筑物或者地面的表面的细节是最常用的手段，通常采用纹理贴图方式实现。该方法的不足是场景表面的纹理一旦设定便不再改变，对于场景模型表面变化要素的忽略，降低了虚拟环境的真实感，并不能给人一种身临其境的感觉。为了消除静态图片造成的真实感不足，利用视频代替图片是一种直观的想法。现阶段也有一些***加入了视频元素，但大多是采用弹窗的形式，利用现有的视频播放器播放视频，只是达到了全局监控的效果，并没有做到视频与场景真正的融合。有一些研究工作在此基础上改进，通过在空间中构建附加平面，并在此平面上播放视频的方式增强真实感（可参见K.Kim,S.Oh,J.Lee,I.Essa.AugmentingAerialEarthMapswithDynamicInformation.IEEEinternationalSymposiumonMixedandAugmentedReality,ScienceandTechnologyProceedings.19-22Oct,2009,Orlando,Florida,USA.和Y.Wang,D.Bowman,D.Krum,E.Coelho,T.Smith-Jackson,D.Bailey,S.Peck,S.Anand,T.Kennedy,andY.Abdrazakov.EffectsofVideoPlacementandSpatialContextPresentationonPathReconstructionTaskswithContextualizedVideos.IEEETransactionsonvisualizationandcomputergraphics,Vol.14,No.6,November/December2008.），虽然上述方法已经将视频加入了虚拟环境，但是使用环境十分有限，只能贴附于某些大型建筑平面或者平整的地面上，对于稍微复杂的场景情况，例如建筑拐角或者不平整的地面等位置，它们的几何形状无法用平面近似表示，这些平面播放视频的方法便不适用了。

另一方面，由于图形学和视觉领域的发展已经有很多成熟的算法，例如基于颜色的匹配，纹理的匹配，特征的匹配（EdgeDirection，SIFT，HOG）。但是这些方法的都是应用于二维图像的方法，在三维空间中使用起来有比较大的局限性。而且现阶段与投影机校正有关的算法，多是“投影机—屏幕”***下对于投影区域梯形校正的算法，如：多投影机图像校正方法和设备，申请号201010500209.6，校正方法限于二维空间中，通过获取个摄像机分别采集的无重叠区域的独立图像信息与独立图像对应的校正参数，根据校正参数对应的摄像机的视频数据进行校正处理，校正只针对重叠或重叠区域较小的图像。基于多投影机旋转屏三维影像可触摸的真三维显示方法，申请号：200810114457.X，通过获得三维立体空间描述获得不同角度的截面图像，使手可直接触摸到立体影像，同时提高了立体图像的对比度，但是该申请主要依靠旋转屏来解决三维图像可触摸的问题，与本工作应用场景不同。

以上的专利申请或是现有技术中的特征匹配方法在三维空间投影机的校正上面并无太多参考意义。

发明内容

本发明的目的在于，用拍摄的真实视频，通过纹理投影的方式，在复杂的地表和建筑物等场景表面进行虚拟场景融合，提高虚拟现实环境中场景动态信息的表达与展示能力，也增强了场景的层次感，并可以通过增加从不同拍摄角度的视频数量，实现大范围虚拟场景的动态视频纹理覆盖效果，从而实现虚拟现实环境与显示场景的虚实融合的动态真实感效果。

为了实现技术目的，本发明采用如下技术方案：

一种三维虚实融合环境中视频纹理投影的自动匹配校正方法，其步骤包括：

1）根据预先获得的遥感数据影像建立表面具有静态纹理图像的地表模型以及由多个包含三维几何与纹理的模型构成的虚拟场景；获取多段真实拍摄视频流并记录拍摄时所处摄像机位姿信息；

2）根据所述拍摄时所处摄像机位姿信息在所述虚拟场景中加入虚拟投影机模型及与摄影机参数相对应的投影机的视见体，同时根据摄像机位姿信息设定虚拟投影机模型虚拟场景中的初始位姿值；

3）对所述真实拍摄视频流的图像进行视频帧预处理得到动态视频纹理，利用投影纹理技术将所述预处理后的视频数据投影到虚拟环境中；

4）将所述虚拟环境中模型表面静态纹理和/或地表原有的遥感影像纹理与所述动态视频纹理进行融合，获得场景表面覆盖的最终纹理值；

5）根据所述最终纹理值从所述虚拟投影机模型中通过渲染手段获取虚拟投影机作为视点下的影像，并与真实拍摄视频流中对应影像匹配，构造能量函数；

6）利用能量函数中最优解对所述虚拟场景中的投影机初始位姿值进行重新设置，完成虚拟投影机校正。

更进一步，所述步骤4）中纹理融合方法如下：

1）重置模型视图矩阵和投影矩阵将虚拟视点变换至投影机视点下，绘制所述虚拟场景，获得在当前投影机视点下的深度值（利用Z-Buffer实现深度缓冲）；

2）重置模型视图矩阵和投影矩阵将视点变回虚拟视点下，重新绘制所述虚拟场景，获得场景中每个点对应的真实深度值；

3）在每个投影机视点下依次绘制虚拟场景，通过自动纹理生成方式获得场景中每个点的投影纹理坐标，并对上述步骤1）、2）获得的所述真实深度值与所述深度值（利用Z-Buffer实现深度缓冲）的比较；

4）如果两者相等，采用投影机视频纹理，如果不等，采用场景模型自身纹理，并通过设定纹理组合器函数的方式迭代，直至遍历完场景内所有投影机，获得场景中每个点最终的纹理值。

更进一步，所述步骤5）与真实拍摄视频流中对应影像匹配，建立以位姿信息为自变量的能量函数构造方法如下：

第一步，重置模型视图矩阵和投影矩阵，将虚拟场景中视点调整至投影机处，绘制场景得到一幅虚拟环境下的影像，利用mean-shift算法对图像进行分割后对图像做二值化处理；

第二步，从所述真实拍摄视频流中抽取出一关键帧，使用第一步的方法做二值化处理；

第三步，计算投影机形成的视见体区域内轮廓误差，对所述前两步骤获得的影像逐像素做异或处理，统计结果为1的像素数量，该结果为能量函数第一部分；

第四步，利用SIFT一致性算子添加局部信息的特征，收集第一、二步所获得未经过二值化处理的影像中的匹配点对，通过关键点约束（Key-pointconstraint）过程求出匹配点对的误差值，该误差值为能量函数第二部分；

第五步，对于能量函数两个部分分配不同的权重；

第六步，对于能量函数最优值的求解，

第七步，利用最优解替换投影机初始位姿值。

更进一步，所述能量函数最优值按照以下方法求解：

首先对能量函数施加模拟退火算法，将函数的解空间缩小到最优解近似范围内，再利用downhillsimplex算法对近似解空间压缩，获得最优解。

更进一步，所述第一、二步利用mean-shift算法对图像进行分割时利用建筑和公路的颜色特征，将非建筑或者公路区域的像素值置为白色，保留建筑模型或者公路对应的区域，然后对图像做二值化处理，将建筑和公路相关区域置为黑色。

更进一步，对所述真实拍摄视频流的图像进行视频帧预处理的方法如下：

视频数据解码得到单张视频图像帧，从每一个视频流中抽取一个样例帧利用SIFT算子寻找样例帧中特征点匹配，并进行颜色一致性处理。

更进一步，所述颜色一致性处理为：

1）从进行匹配的两个视频中各抽取一个样例帧，构建帧内所有像素形成的颜色直方图，通过颜色直方图均衡化和规定化处理，使得两幅视频帧具有相同的颜色直方图分布；

2）对同一视频流中每一帧做与对应样例帧相同的直方图均衡化和规定化处理，由此对整个视频流完成一致性处理；

3）为视频帧创建缓存（cache），大小约可容纳50个视频帧（视频帧分辨率为1920*1080）；

4）采用先进先出（FIFO）的列表结构载入帧数据。

更进一步，所述真实拍摄视频流通过http协议获取，在本地进行视频数据解码，并将视频帧保存为Jepg格式。

更进一步，对所述视频图像帧进行多分辨率处理，对于同一张影像根据不同情况载入不同分辨率的视频帧，采用逐像素点进行双线性内插操作，将图像抽析为原图像的1/4,1/16,1/64中的一种或多种。

更进一步，对所述Jepg格式视频图像增加Alpha通道。

本发明还提出一种真实视频影像和虚拟场景融合方法，其步骤为：

1）根据预先获得的遥感数据影像建立表面具有静态纹理图像模型以及虚拟场景；所述虚拟场景中模型空间位置和模型间的相对位置、朝向、大小与现实场景保持一致；

2）获取多段真实拍摄视频流并记录拍摄所处摄像机位姿信息；

3）本发明所述方法的实现可以建立在一个基于数字地球的虚拟现实平台之上，每个虚拟投影机具有地理定位信息和虚拟现实具有的笛卡尔坐标表示这两套坐标表示方式，因此根据所述拍摄所处地球表面的经纬度坐标转换至虚拟场景所在的笛卡尔坐标表示的世界坐标并结合在所述虚拟场景中加入虚拟投影机模型以及投影机模型相对应的视见体，同时根据摄像机位姿信息设定在世界坐标系下的虚拟投影机模型虚拟场景中的初始位姿值；

4）对所述真实拍摄视频流的图像进行视频帧预处理得到动态视频纹理，利用投影纹理技术将所述预处理后的视频数据投影到虚拟环境中；

5）将所述虚拟环境中模型的静态纹理和/或地表原有的遥感影像纹理与所述动态视频纹理进行融合；

6）对虚拟投影机模型中不同投影机有相交覆盖区域采用纹理融合。

本发明的有益效果

（a）克服了复杂的场景条件，实现了视频与虚拟场景的融合，利用视频纹理替代了原有的地形遥感纹理以及模型固有的粗糙的静态图像纹理，为虚拟场景纹理增加了动态信息，提升了视觉效果。并通过增加视频数量，扩大影响范围。

（b）为视频提供了缓存结构，并且构建了数据金字塔，提升了显示的效率，相邻两层的数据替换可以。

（c）提供了自动校正算法，对初始的虚拟投影机位姿进行调整，让虚拟场景与真实视频的融合更为精准，与初始位置作比较，更为精准体现在能量函数的值上，位置越精准，能量函数的值越趋近于零。

（d）对于视频帧进行预先颜色一致性处理，消除明显的颜色跳变，提升视觉效果。

附图说明

图1是本发明三维虚实融合环境中视频纹理投影的自动匹配校正方法一实施例中具体操作实现流程示意图；

图2a、图2b是本发明三维虚实融合环境中视频纹理投影的自动匹配校正方法一实施例中没有添加投影纹理的场景示意图；

图3a、图3b是本发明三维虚实融合环境中视频纹理投影的自动匹配校正方法一实施例中添加了投影纹理的场景示意图；

图4是本发明三维虚实融合环境中视频纹理投影的自动匹配校正方法一实施例中投影机未经过矫正的场景示意图；

图5是本发明三维虚实融合环境中视频纹理投影的自动匹配校正方法一实施例中投影机经过校正的场景示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

（1）构建虚拟场景。利用预先获得的遥感影像设置地形纹理，在虚拟空间中构建表面拥有静态纹理图像的模型以及模型构成的虚拟场景，场景中模型的空间位置以及模型之间的相对位置、朝向、大小等要素应尽可能与现实场景保持一致。

（2）获取视频数据。数据来源可以是监控摄像机，也可以是移动设备拍摄的视频影像，同时获取拍摄时摄像机的参数信息，用于虚拟空间中投影机的初定位。对视频流进行抽析，获取单帧图像，并对图像做多分辨率处理和颜色光照一致性处理。

（3）视频纹理融合。根据步骤（2）中获取的摄像机经纬度信息，在步骤（1）中加入虚拟投影机模型以及其视见体，并通过步骤（2）中获取的摄像机位姿信息设定虚拟投影机模型朝向。目前，由于实现方法的限制，在单一虚拟视点的视见体空间中，可以至多同时加载32个虚拟投影机模型。利用投影纹理技术将视频数据投影到虚拟环境中，将模型或者地面原有的遥感影像纹理与动态视频纹理进行融合。如果不同投影机有相交的覆盖区域，也需要对于该区域采用融合操作。

（4）投影机校正。获取虚拟投影机视点下的影像，与相关真实视频中影像做匹配。通过本发明中的算法，计算虚拟影像与真实影像中建筑物或者公路差异范围，以及局部特征差异，构造能量函数，求解能量函数中的最优解。利用最优解对于虚拟场景中的投影机进行重新设置，完成校正过程，提升效果。

以下从几个方面对本发明方法做具体说明。

首先对于一些概念做具体说明：

摄像机：真实空间中的视频源，用于获取视频数据。

投影机：虚拟场景中的虚拟模型，用于在虚拟场景中投影视频纹理。

纹理融合：一个模型可以应用几个不同来源的纹理，那么需要对同一个点上不同的纹理颜色值进行融合处理，得到最终的颜色值。

深度值：空间中任意一点经过透视变换之后所获得的代表在Z方向与虚拟视点距离的值。

深度缓冲（Z-Buffer）：场景经过渲染之后保存的与色彩缓冲相同大小的一个缓冲，缓冲中的每个元素存储了一个场景中的深度值，表示该元素所对应的三维场景中距离视点最近的物体表面所具有的深度值。

投影纹理技术：异于传统的四点纹理贴图方式，将纹理以投影的形式施加到虚拟场景中，与虚拟场景中的建筑和/或地形融合，作为建筑和/或地形的最终纹理。

技术方案（2）具体实现方案如下：对于视频数据，通过传统http协议获取，在本地进行视频数据解码，获取单张视频帧，将视频保存为Jepg格式，从每一个视频流中抽取一个样例帧，利用SIFT算子寻找样例帧中特征点匹配（此处可对于视频源进行预分类过程，将拍摄相同建筑的视频源划分在一起，这样可以降低匹配过程耗时，提高预处理效率），并进行颜色一致性处理。

颜色一致性处理的具体操作是从进行匹配的两个视频中各抽取一个样例帧，构建帧内所有像素形成的颜色直方图，通过颜色直方图均衡化和规定化处理，使得两幅视频帧具有相同的颜色直方图分布，对于同一视频流中的所有帧都与样例帧具有近似相同的颜色直方图分布，所以对于同一视频流中每一帧做与对应样例帧相同的直方图均衡化和规定化处理，由此对整个视频流完成一致性处理。此处理的目的就是让重叠区域的视频纹理能够有相同的纹理颜色，提高视频间融合效果，避免出现明显跳变效果。由于解析出来的视频帧比较大，而且内存资源珍贵，所以为视频帧创建了cache，大小为50个视频帧。此处选择50的原因是，在获取视频流并解析的过程中，单视频帧最大的分辨率为1920*1080，每个像素都具有4个字节，即RGB和Alpha通道，其中Alpha决定了图像的半透明程度，其取值范围为0到255（0代表不透明，255代表全透明），那么读取一帧视频将消耗1MB空间，30路视频将消耗30MB的内存，如果以内存为1G估计的话，做多可以缓存50帧。采用FIFO的列表结构。如果缓存空间已满，则暂停传入进入等待。如果由于网络问题，显示速度快于载入速度，则返回上一帧视频，直至有新的帧数据传入。本发明提供的一优化方案：另外一个节约空间的策略就是对于视频帧进行多分辨率处理，对于同一张影像构建金字塔，不同情况载入不同分辨率的视频帧，节约内存开销。具体方式是逐像素点进行双线性内插操作，将图像抽析为原图像的1/4,1/16,1/64。此外，本发明提供的一优化方案：为了提高效率，使得视频帧能够直接用于纹理投影算法，需要为视频帧图像增加Alpha通道，作为视频与场景之间或者视频之间融合参数。

技术方案（3）具体实现方案如下：

首先通过模型视图矩阵和投影矩阵重置将虚拟视点变换至投影机视点下，清空虚拟视点下的深度缓冲区，并设置多边形偏移量和颜色掩码，绘制技术方案（1）中对应的虚拟场景，获得在当前投影机作为视点下的深度缓冲，并构成深度纹理；

其次，通过模型视图矩阵和投影矩阵重置将视点变回虚拟视点下，清空颜色和深度缓冲区，绘制技术方案（1）中对应的虚拟场景，包含其表面纹理，由此获得场景中每个点对应的真实深度值。

最后，通过模型视图矩阵和投影矩阵重置，在每个投影机视点下依次绘制场景。通过自动纹理生成方式获得场景中每个点的投影纹理坐标，并通过第一、二两步骤获得的真实深度值与Z-Buffer值的比较决定场景中每个点最终的纹理值，如果两者相等，则采用投影机视频纹理，如果不等，利用场景模型自身纹理。迭代此过程，直至遍历完场景内所有投影机。

对于不同视频之间的融合，采用设定纹理组合器函数的方式实现。因为颜色一致性校正已经在视频帧预处理过程中完成，所以此处采用Replace方式，即用后来的纹理片段替代原有的值。

技术方案（4）具体实现方案如下：对于投影机位姿的校正，即为对于虚拟场景中投影机空间三维坐标x,y,z以及三个方向偏转角φ，θ，γ的校正。

以视频获取时得到的位姿值作为虚拟投影机虚拟场景中的初始值，但是由于设备精度的影响，该数值并不能使得投影纹理与虚拟空间完全融合。所以需要附加额外的校正过程。本发明采用构建以位姿信息为自变量的能量函数，并对能量函数求解最优值的方式对虚拟投影机进行校正。

首先，通过模型视图矩阵和投影矩阵重置，将虚拟场景中视点调整至投影机处，绘制场景得到一幅虚拟环境下的影像，利用mean-shift算法对图像进行分割，并利用建筑和公路的颜色特征，将非建筑或者公路区域的像素值置为白色，只保留建筑模型或者公路对应的区域，然后对图像做二值化处理，将建筑和公路相关区域置为黑色。

第二步，从视频中抽取出一关键帧，使用和第一步类似的方法，保留建筑模型或者公路对应的区域，做二值化处理。

第三步，投影机视见体区域内计算轮廓误差

将前两步获得影像，逐像素做异或处理，最后统计结果为1的像素数量，将该结果作为能量函数的第一部分。

第四步，对于具有外观轴对称性质的建筑，如果只做外形匹配可能出现错误的结果，所以需要添加一些局部信息的特征。利用SIFT一致性算子，收集第一二两步所获得未经过二值化处理的影像中的匹配点对。通过Key-pointconstraint过程求出匹配点对的误差值，将该数值最为能量函数的第二部分。

第五步，对于能量函数两个部分分配不同的权重，本发明为全局轮廓误差分配了更多的权重，至此能量函数构建完毕。

第六步，对于能量函数最优值的求解，首先对能量函数施加模拟退火算法，将函数的解空间缩小到最优解近似范围内。再利用downhillsimplex算法对近似解空间进一步压缩，从而获得最优解。

第七步，利用最优解替换技术实现（3）中初始的投影机位姿值。

本实施例按照视频融合和校正生成流程，可以分为以下几个步骤实施：

1构建虚拟场景

先以虚拟校园为例，通过已有的地形遥感数据，构建数据金字塔，在不同视点下对地形绑定不同层次的纹理。创建校园内标志性建筑模型，并根据地形遥感数据，将模型手动添加到相应位置，让建筑间相对位置关系尽可能与现实保持一致。见图1步骤（2）遥感地形输数据→（3）LOD处理→（4）地形纹理值→（6）模型数据→（7）空间位置校准→（8）模型纹理。

2获取视频数据

从不同视频源，如校内监控摄像头或者相机、手机，获取未经处理的视频流。将视频流抽析成单帧图像，并对图像进行多分辨率处理，创建不同分辨率的图像，并为图像添加Alpha通道，方便后续视频间以及视频与场景间的融合。此外，保存视频源的经纬度、视角和方向信息，用于虚拟空间中投影机的初始定位。见图1步骤（11）对于视频帧的抽析，构建多分辨率，为影响增加alpha通道→（13）视频流→（14）投影机纹理。

3视频纹理融合

将视频影像与地形、模型纹理相互融合。通过三次场景绘制实现，第一次在投影机视角下绘制物体，获得对应的Z-Buffer，第二次在虚拟视点下绘制场景，获得场景中每个点的真实深度值。第三次绘制，通过前两次绘制获得深度值做比较，决定场景中每个点的纹理值。融合过程通过设定不同的纹理融合器实现。见图1步骤（1）纹理座标自动生成→（5）Z-buffer值于真实深度值的比较→（9）虚拟场景多遍绘制→（10）纹理组合器函数→（12）最终影像。

4投影机校正

将视点置于投影机处，绘制场景，获得虚拟场景影像。根据投影机找到其在真实场景中的视频流，并抽取其中一张关键帧。对上述两幅影像进行图像分割处理，可以选用的算法很多，例如mean-shift，normalizedcut，JSEG，pixelaffinity，本发明采用的是mean-shift算法。将图像分割为不同区域，根据颜色特征抽析出地面或者建筑物部分，将无关部分剔除。对分离之后的影像做归一化处理，非模型所在部分被设置为白色，模型所在部分设置为黑色。然后两张图像做逐像素的异或操作，如果两张影像分辨率不一样，需要添加一致性处理过程。对结果为一的像素做计数操作，此结果作为能量函数的第一部分。轮廓匹配是一种全局的比较手段，需要一些局部特征匹配作为补充，此处使用SIFT特征匹配算子，选取出几组特征点，计算其key-pointerror值，将该值叠加作为能量函数的第二部分。此时，投影机的校正问题转变为多元自变量的能量函数求最优解问题。本发明使用模拟退火算法和downhillsimplex算法的组合。通过模拟退火算法找到近似最优解，再通过downhillsimplex算法在小范围内对投影机位置做优化。求出最优解之后，将该值替换虚拟投影机的位姿，完成校正过程。见图1步骤（15）基于Mean-shift的图像分割→（16）SIFT算子提取局部特征匹配点→（17）虚拟投影机位姿校准值→（18）建筑或者公路抽析，并做异或操作→（19）Key-Point误差→（20）Downhillsimplex→（21）模拟退火→（22）构建能量函数。

Claims (10)

1.一种三维虚实融合环境中视频纹理投影的自动匹配校正方法，其步骤包括：

1)根据预先获得的遥感数据影像建立表面具有静态纹理图像的地表模型以及虚拟场景；获取多段真实拍摄视频流并记录拍摄时所处摄像机位姿信息；

2)根据所述拍摄时所处摄像机位姿信息在所述虚拟场景中加入虚拟投影机模型及与摄像机参数相对应的投影机的视见体，同时根据摄像机位姿信息设定虚拟投影机模型虚拟场景中的初始位姿值；

3)对所述真实拍摄视频流的图像进行视频帧预处理得到动态视频纹理，利用投影纹理技术将所述预处理后的视频数据投影到虚拟环境中；

4)将所述虚拟环境中地表模型表面静态纹理和/或地表原有的遥感影像纹理与所述动态视频纹理进行融合，获得场景表面覆盖的最终纹理值，包括：

4-1)重置模型视图矩阵和投影矩阵将虚拟视点变换至投影机视点下，绘制所述虚拟场景，获得在当前投影机视点下的深度值；

4-2)重置模型视图矩阵和投影矩阵将视点变回虚拟视点下，重新绘制所述虚拟场景，获得场景中每个点对应的真实深度值；

4-3)在每个投影机视点下依次绘制虚拟场景，通过自动纹理生成方式获得场景中每个点的投影纹理坐标，并对上述步骤4-1)、4-2)获得的所述真实深度值与所述深度值的比较；

4-4)如果两者相等，采用投影机视频纹理，如果不等，采用场景模型自身纹理，并通过设定纹理组合器函数的方式迭代，直至遍历完场景内所有投影机，获得场景中每个点最终的纹理值；

5)根据所述最终纹理值从所述虚拟投影机模型中获取虚拟投影机作为视点下的影像，并与真实拍摄视频流中对应影像匹配，构造能量函数；

6)利用能量函数中最优解对所述虚拟场景中的投影机初始位姿值进行重新设置，完成虚拟投影机校正。

2.如权利要求1所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，所述步骤5)与真实拍摄视频流中对应影像匹配，建立以位姿信息为自变量的能量函数构造方法如下：

第一步，重置模型视图矩阵和投影矩阵，将虚拟场景中视点调整至投影机处，绘制场景得到一幅虚拟环境下的影像，利用mean-shift算法对图像进行分割后对图像做二值化处理；

第二步，从所述真实拍摄视频流中抽取出一关键帧，使用第一步的方法做二值化处理；

第三步，计算投影机形成的视见体区域内轮廓误差，对所述前两步骤获得的影像逐像素做异或处理，统计结果为1的像素数量，该结果为能量函数第一部分；

第四步，利用SIFT一致性算子添加局部信息的特征，收集第一、二步所获得未经过二值化处理的影像中的匹配点对，通过关键点约束Key-pointconstraint过程求出匹配点对的误差值，该误差值为能量函数第二部分；

第五步，对于能量函数两个部分分配不同的权重；

第六步，对于能量函数最优值的求解，

第七步，利用最优解替换投影机初始位姿值。

3.如权利要求1或2所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，所述能量函数最优值按照以下方法求解：

首先对能量函数施加模拟退火算法，将函数的解空间缩小到最优解近似范围内，再利用downhillsimplex算法对近似解空间压缩，获得最优解。

4.如权利要求2所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，所述第一、二步利用mean-shift算法对图像进行分割时利用建筑和公路的颜色特征，将非建筑或者公路区域的像素值置为白色，保留建筑模型或者公路对应的区域，然后对图像做二值化处理，将建筑和公路相关区域置为黑色。

5.如权利要求1所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，对所述真实拍摄视频流的图像进行视频帧预处理的方法如下：

视频数据解码得到单张视频图像帧，从每一个视频流中抽取一个样例帧利用SIFT算子寻找样例帧中特征点匹配，并进行颜色一致性处理。

6.如权利要求5所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，所述颜色一致性处理为：

1)从进行匹配的两个视频中各抽取一个样例帧，构建帧内所有像素形成的颜色直方图，通过颜色直方图均衡化和规定化处理，使得两幅视频帧具有相同的颜色直方图分布；

2)对同一视频流中每一帧做与对应样例帧相同的直方图均衡化和规定化处理，由此对整个视频流完成一致性处理；

3)为视频帧创建缓存cache，大小可容纳50个视频帧；

4)采用先进先出FIFO的列表结构载入视频帧数据。

7.如权利要求5所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，所述真实拍摄视频流通过http协议获取，在本地进行视频数据解码，并将视频帧保存为Jepg格式。

8.如权利要求5所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，对所述视频图像帧进行多分辨率处理，对于同一张影像根据不同情况载入不同分辨率的视频帧，采用逐像素点进行双线性内插操作，将图像抽析为原图像的1/4,1/16,1/64中的一种或多种。

9.如权利要求7所述的三维虚实融合环境中视频纹理投影的自动匹配校正方法，其特征在于，对所述Jepg格式视频图像增加Alpha通道。

10.一种真实视频影像和虚拟场景融合方法，其步骤为：

1)根据预先获得的遥感数据影像建立表面具有静态纹理图像模型以及虚拟场景；所述虚拟场景中模型空间位置和模型间的相对位置、朝向、大小与现实场景保持一致；

2)获取多段真实拍摄视频流并记录拍摄所处摄像机位姿信息；

3)将所述拍摄所处地球表面的经纬度坐标转换至虚拟场景所在的笛卡尔坐标表示的世界坐标并结合，在所述虚拟场景中加入虚拟投影机模型以及投影机模型相对应的视见体，同时根据摄像机位姿信息设定在世界坐标系下的虚拟投影机模型虚拟场景中的初始位姿值；

4)对所述真实拍摄视频流的图像进行视频帧预处理得到动态视频纹理，利用投影纹理技术将所述预处理后的视频数据投影到虚拟环境中；

5)将所述虚拟环境中模型的静态纹理和/或地表原有的遥感影像纹理与所述动态视频纹理进行融合，包括：

5-1)重置模型视图矩阵和投影矩阵将虚拟视点变换至投影机视点下，绘制所述虚拟场景，获得在当前投影机视点下的深度值；

5-2)重置模型视图矩阵和投影矩阵将视点变回虚拟视点下，重新绘制所述虚拟场景，获得场景中每个点对应的真实深度值；

5-3)在每个投影机视点下依次绘制虚拟场景，通过自动纹理生成方式获得场景中每个点的投影纹理坐标，并对上述步骤5-1)、5-2)获得的所述真实深度值与所述深度值的比较；

5-4)如果两者相等，采用投影机视频纹理，如果不等，采用场景模型自身纹理，并通过设定纹理组合器函数的方式迭代，直至遍历完场景内所有投影机，获得场景中每个点最终的纹理值；

6)对虚拟投影机模型中不同投影机有相交覆盖区域采用纹理融合。