CN109769109A - 基于虚拟视点合成绘制三维物体的方法和*** - Google Patents

Abstract

本发明提供一种基于虚拟视点合成绘制三维物体的方法和***，所述绘制三维物体的方法包括如下步骤：S1：对参考相机进行标定和配准；S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像；S3：预处理去除深度图像中的无效点；S4：运用图形三维变换技术将参考视点处的每一张参考图像中的彩色图像分别映射到虚拟视点处；S5：将左虚拟彩色图像和右虚拟彩色图像进行融合；S6：将参考图像中的彩色图像和虚拟图像注册到真实环境背景中完成绘制物体虚拟的三维图像。本发明的技术方案解决了传统建模的复杂性问题。

Description

基于虚拟视点合成绘制三维物体的方法和***

技术领域

本发明涉及虚拟视点重建技术领域，具体而言，尤其涉及一种基于虚拟视点合成绘制三维物体的方法和***。

背景技术

混合现实(Mixed Reality，MR)实际上是虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)的一种结合。MR是先把真实的东西虚拟化，然后和真实世界叠加到一起，从而产生一个新的可视化环境，虚拟物体与真实世界可以在这种环境中共存，并实时互动。MR要实现真实的渲染，需要获得一个物体或场景的全方位信息，对于某些大型场景实现起来比较困难。虚拟视点重建技术解决了这一问题，通过获取少量的数据，在终端实现各个视点的数据合集。

虚拟视点重建技术，就是利用已知视点的图像绘制出虚拟视点的图像，该技术主要分为两种：一种是基于模型的绘制技术(Model Based Rendering，MBR)，利用计算机图形学，建立出三维场景模型，然后通过计算机着色投影和光照渲染等步骤，生成虚拟视点的图像。但由于三维模型的精度通常较低且注册场景环境光照复杂、不易控制，所以MBR成像不但计算速度慢、人工成本高且真实感并不理想；一种是基于图像的绘制技术(Image BasedRendering，IBR)，基于已有的真实图像序列生成虚拟视角效果，避免了复杂的几何建模与计算，因此实现过程快速简单，成像效果逼真，但在鲁棒性以及对注册环境的适应性方面还有进一步提升的空间，根据绘制图像时用到的三维几何信息数据的多少，将IBR技术分为三种：不用几何信息的IBR技术、使用隐式几何信息的IBR技术、使用显式几何信息的IBR技术。

针对使用隐式几何信息的IBR技术，现在通常使用三维重建技术来重构一个真实的三维物体，该技术需要在计算机中真实地重建出物体表面的三维虚拟模型，所以需要对物体进行复杂的建模处理，三维物体景物模型建立好以后，虽然可以实现任意视点的显示，但是在建模过程中也存在很多的问题。

第一个缺点是为了绘制出三维图形景观，需要根据基本图形单元建立景物模型，并对模型进行数学描述，因此三维重建对象受限，在对平面体建模时效果好，但在对复杂实体模型重建时效果差，尤其是一些复杂曲面体。

第二个缺点是景物模型建立好以后，为了获得真实场景般逼真的三维模型，还需要计算模型中所有物体的色彩，确定光照条件、纹理粘贴方式，从而得到具有纹理的三维物体，提高模型的真实感。

发明内容

根据上述提出传统建模的复杂性问题，而提供一种基于虚拟视点合成绘制三维物体的方法和***。本发明主要利用隐式几何信息的IBR技术——基于深度的图像绘制技术(Depth-Image-BasedRendering，DIBR)，利用双向映射实现虚拟物体的重建，从而实现用少量的图像数据完成整个三维物体的重现。

本发明采用的技术手段如下：

本发明提供了一种基于虚拟视点合成绘制三维物体的方法，包括如下步骤：

S1：对参考相机进行标定和配准；

S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；

S3：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；

S4：运用图形三维变换技术将参考视点处的每一张参考图像中彩色图像分别映射到虚拟视点处，具体包括：

确定虚拟视点的位置后，利用公式1，根据二维空间中的参考图像中深度图像的每个像素点的坐标(u₁,v₁)，计算虚拟视点对应二维平面中像素点的坐标(u₂,v₂)以及三维点相对于虚拟相机的深度值Z₂：

其中，虚拟相机为放置在虚拟视点位置处的相机；A₁为参考相机内部参数矩阵；Z₁是三维空间中点相对参考相机的深度值；A₂为虚拟相机内部参数矩阵；R和T分别是虚拟相机相对于参考相机的旋转和平移矩阵；

S5：根据映射到虚拟视点处的像素点的坐标(u₂,v₂)可以分别得到左、右两个角度的参考图像中彩色图像对应的左虚拟彩色图像和右虚拟彩色图像，将左虚拟彩色图像和右虚拟彩色图像进行融合；

结合表示像素点位置坐标(u₂,v₂)和对应的像素值Z₂，根据如下三种情况计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像：

(1)当左虚拟彩色图像和右虚拟彩色图像对应的相同位置的像素点(u₂,v₂)都不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)等于在两图像在(u₂,v₂)处的加权像素值，加权值为：

其中，t，t_L，t_R分别是虚拟视点、左参考视点、右参考视点下相机外参数的平移向量；

(2)当左虚拟彩色图像和右虚拟彩色图像中仅有一幅图像在坐标(u₂,v₂)处不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)的值等于非空洞图像对应的像素值；

(3)当左虚拟彩色图像和右虚拟彩色图像在(u₂,v₂)都为空洞，虚拟彩色图像在像素点(u,v)处的像素值融合后图像在I(u,v)处也为空洞；

其中，空洞表示像素点的像素值为零；

S6：使用ARToolkit将物体的参考图像中的彩色图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。

进一步地，步骤S1采用张正友标定法对参考相机进行标定，用于消除采集的参考图像的畸变。

进一步地，参考相机采用Kinect V2深度相机。

进一步地，步骤S4具体包括如下两个部分：

(1)利用参考图像的深度信息，即物体点距离相机镜头的距离信息，将二维空间中的参考图像中深度图像的每个像素点的坐标(u₁,v₁)根据公式2投影得到对应到真实空间的世界坐标系的点坐标(X,Y,Z)：

其中，A₁为参考相机内部参数矩阵；[R₁T₁]为参考相机外部参数矩阵；Z₁是三维空间中三维点相对参考相机的深度值，即参考相机坐标系中Z轴分量；

(2)根据公式3将三维空间中三维点重投影到虚拟视点所对应的二维平面上去，得到虚拟视点图像的像素点(u₂,v₂)及对应深度像素值Z₂：

其中，A₂为虚拟相机内部参数矩阵；[R₂T₂]为虚拟相机外部参数矩阵。

本发明还提供了一种基于虚拟视点合成绘制三维物体的***，采用所述的基于虚拟视点合成绘制三维物体的方法，包括：

相机标定和配准模块：利用张正友棋盘格标定法对参考相机进行标定并对参考相机进行配准；

参考图像采集模块：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；

深度图像预处理模块：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；

参考图像双向映射模块：运用图形三维变换技术将参考视点处的每一张参考图像中的彩色图像分别映射到虚拟视点处；得到左、右两个角度的彩色图像对应的左虚拟彩色图像和右虚拟彩色图像；

图像融合模块：将左虚拟彩色图像和右虚拟彩色图像进行融合；结合虚拟视点对应二维平面中像素点的坐标(u₂,v₂)和对应的像素值Z₂，计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像；

虚拟视点图像绘制和显示模块：使用ARToolkit将物体的参考图像中的彩色图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。

较现有技术相比，本发明具有以下优点：

本发明提供的基于虚拟视点合成绘制三维物体的方法和***，基于DIBR技术利用双向映射实现虚拟物体的重建，从而实现用少量的图像数据完成整个三维物体的重现，解决了传统建模的复杂性，并且通过直接利用图像本身所包含着丰富的场景信息，容易从图像获得照片般逼真的场景模型，真实感强。

综上，应用本发明的技术方案利用双向映射实现虚拟物体的重建，从而实现用少量的图像数据完成整个三维物体的重现。因此，本发明的技术方案解决了传统建模的复杂性问题。

基于上述理由本发明可在三维重建技术等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述绘制三维物体的方法流程图。

图2(a)、(b)分别为本发明采用的Kinect V2相机及红外光路示意图。

图3(a)、(b)分别为相机标定和配准时的示例图。

图4(a)、(b)分别为深度图像预处理前后效果示意图。

图5为采用传统方法单视角虚拟视点合成图像示意图。

图6为本发明所述绘制三维物体的方法生成的虚拟图像示意图。

图7(a)、(b)分别为本发明所述绘制三维物体的方法生成的左、右参考视点的虚拟图像。

图8为本发明所述绘制三维物体的***框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

如图1-7所示，本发明提供了一种基于虚拟视点合成绘制三维物体的方法，包括如下步骤：

S1：本实施例采用Kinect V2深度相机采集图像，相机作为测量元器件，相机模型不是绝对的针孔模型，镜头会有畸变，所以为了提高测量的精度和整个研究工作的准确性，需要对相机先进行标定和配准：由于不同相机的畸变程度各不同，为矫正数据要对每一个相机进行标定，分别得到深度相机和彩色相机的相关参数矩阵；将Kinect V2拍摄的30幅不同视角下的棋盘图片导入到MATLAB的Camera Calibrator工具里，如图4所示，并根据张正友标定法分别求得深度摄像头与彩色摄像头的内外参数。考虑到深度相机与彩色相机的位置不在一起，两个相机的视场不能完全重叠，会造成彩色图像与深度图像的位置信息不一致，为了将深度图像帧的像素直接对应到彩色帧图像中去，对相机进行配准。通过深度图上的像素点坐标，利用映射关系，将其投影到彩色图的坐标上，完成图像配准；如图2(a)所示，本实施例采用的Kinect V2相机包括彩色摄像头1、深度传感器2、红外发射器3和红外接收器4，图2(b)为相机的红外光路示意图；图3(a)和(b)为相机标定和配准时的示例图。

S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；

S3：在本实施例中，由于Kinect V2的成本限制，深度相机在图像获取和处理方面的能力有限，采集到的深度图像中包含了许多没有深度值的无效点，为了后续虚拟图像生成的准确性，需要对深度图像进行一定程度的预处理；

本实施例采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；首先在待处理的像素点周围含选取若干个元素作为滤波窗口，然后对这些元素的像素值进行排序，若邻域内的像素点为奇数个取其中值，若为偶数个则取其中间两个像素平均值作为中值，最后将求取的中值作为待处理点的像素值，本实施例采用的中值滤波器的定义如下：

(s,t)∈S_xy

其中，(x,y)表示中心像素点，f(x,y)为该点的灰度值，g(x,y)为待处理深度图像，为中值滤波的输出，S_xy表示滤波窗口；

如图4(a)-(b)所示分别为深度图像预处理前后效果示意图，图4(a)是原始深度图像，其中包含许多无效像素点，图4(b)是利用中值滤波对图像预处理后得到的图像，原始深度图像中的一些噪声点被滤除掉了；

S4：运用图形三维变换技术(3D Image Warping)将参考视点处的每一张参考图像中彩色图像分别映射到虚拟视点处，具体包括：

其中，采集的深度图像用于提供深度信息；

确定虚拟视点的位置后，利用公式1，根据二维空间中的参考图像中深度图像的每个像素点的坐标(u₁,v₁)，计算虚拟视点对应二维平面中像素点的坐标(u₂,v₂)以及三维点相对于虚拟相机的深度值Z₂：

其中，虚拟相机为放置在虚拟视点位置处的相机；A₁为参考相机内部参数矩阵；Z₁是三维空间中点相对参考相机的深度值；A₂为虚拟相机内部参数矩阵；R和T分别是虚拟相机相对于参考相机的旋转和平移矩阵；

Z₂是空间三维点相对于虚拟相机的深度值，也就是相机坐标系在z轴的分量；

在本实施方式中深度值表示三维空间中像素点距离参考相机镜头的距离值；

该技术主要分为两个部分：首先利用参考图像的深度信息，将参考视点图像的每个像素点投影到现实的三维空间中对应的位置，完成二维空间到三维空间的转换。然后根据虚拟视点的参数，将三维空间中的这些点投影到虚拟视点所在对应的二维平面上，从而得到虚拟视点的图像，即从三维空间重投影到二维空间；其中世界坐标系与像素坐标系之间的矩阵转换公式表示为：

进一步地，步骤S4具体包括如下两个部分：

(1)利用参考图像的深度信息，即物体点距离相机镜头的距离信息，将二维空间中的参考图像中深度图像的每个像素点的坐标(u₁,v₁)根据公式2投影得到对应到真实空间的世界坐标系的点坐标(X,Y,Z)：

其中，A₁为参考相机内部参数矩阵；[R₁T₁]为参考相机外部参数矩阵；Z₁是三维空间中三维点相对参考相机的深度值，即参考相机坐标系中Z轴分量；

(2)根据公式3将三维空间中三维点重投影到虚拟视点所对应的二维平面上去，得到虚拟视点图像的像素点(u₂,v₂)及对应深度像素值Z₂：

其中，A₂为虚拟相机内部参数矩阵；[R₂T₂]为虚拟相机外部参数矩阵。

本实施例还对比了采用传统方法和采用本申请所述方法合成虚拟图像的效果：图5为采用传统方法单视角虚拟视点合成图像示意图，可以看到利用单个视角图实现虚拟视点的合成时，图像另一侧的位置存在很大的一片空洞，这是由于原始视点的视角与虚拟视点的视角不同，位于虚拟视点一侧的原始视点看不到扭转以后虚拟视点另外一侧对应的区域，造成虚拟视点相应位置没有像素点而形成空洞。

图6为采用本申请所述方法生成的虚拟图像示意图，利用双向映射对左、右视点投影后的图像进行融合和，并对其进行了自适应中值滤波后生成的虚拟视点图像，双向映射后合成的虚拟视点图，有效的解决了未知背景区域的空洞问题。

图7(a)-(b)分别为本发明所述绘制三维物体的方法生成的左、右参考视点的虚拟图像，由图可见，左右参考视点之间扭转一定的角度，可生成中间任意视点的虚拟图像。一般的三维重建对于复杂实体模型重建时效果差，尤其是一些复杂曲面体。并且为了提高真实感，还需对模型进行纹理贴饰。本***采用复杂曲面体杯子作为虚拟图像重建的对象，并且只对物体的左右视点图像进行处理，由于图像本身包含着丰富的场景信息，相比于三维重建，本***获得的物体图像真实感强，并且减少了复杂的建模操作。

S5：根据映射到虚拟视点处的像素点的坐标(u₂,v₂)可以分别得到左、右两个角度的参考图像中彩色图像对应的左虚拟彩色图像和右虚拟彩色图像，将左虚拟彩色图像和右虚拟彩色图像进行融合；

融合后的图像像素点的坐标和用于融合的两幅图像中的像素坐标相同，因此只要像素值放到对应的坐标处就可以得到融合后的图像；结合表示像素点位置坐标(u₂,v₂)和对应的像素值Z₂，根据如下三种情况计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像：

(1)当左虚拟彩色图像和右虚拟彩色图像对应的相同位置的像素点(u₂,v₂)都不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)等于在两图像在(u₂,v₂)处的加权像素值，加权值为：

其中，t，t_L，t_R分别是虚拟视点、左参考视点、右参考视点下相机外参数的平移向量；

(2)当左虚拟彩色图像和右虚拟彩色图像中仅有一幅图像在坐标(u₂,v₂)处不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)的值等于非空洞图像对应的像素值；

(3)当左虚拟彩色图像和右虚拟彩色图像在(u₂,v₂)都为空洞，虚拟彩色图像在像素点(u,v)处的像素值融合后图像在I(u,v)处也为空洞；

其中，空洞表示由前景像素相连接的边界所包围的一个背景区域，这里指像素值为零；

S6：使用ARToolkit将物体的参考图像中的彩色图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。

如图8所示，本发明还提供了一种基于虚拟视点合成绘制三维物体的***，采用所述的基于虚拟视点合成绘制三维物体的方法，包括：

相机标定和配准模块：利用张正友棋盘格标定法对参考相机进行标定并对参考相机进行配准；

参考图像采集模块：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；

深度图像预处理模块：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；

参考图像双向映射模块：运用图形三维变换技术将参考视点处的每一张参考图像中的彩色图像分别映射到虚拟视点处；得到左、右两个角度的彩色图像对应的左虚拟彩色图像和右虚拟彩色图像；

图像融合模块：将左虚拟彩色图像和右虚拟彩色图像进行融合；结合虚拟视点对应二维平面中像素点的坐标(u₂,v₂)和对应的像素值Z₂，计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像；

虚拟视点图像绘制和显示模块：使用ARToolkit将物体的参考图像中的参考图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。

本发明对单个视角的映射做出了改进，利用双向映射得到的虚拟视点图，即利用左右两个视点的参考图像来实现中间任意视点的图像合成，提高了图像的合成质量；通过三维注册技术，利用ARToolkit将三维物体的原始图像数据和生成的图像数据注册到真实环境中去，完成虚拟物体的绘制，并对虚实融合后的图像进行实时显示，从而增强用户的使用感和真实感。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.基于虚拟视点合成绘制三维物体的方法，其特征在于，包括如下步骤：

S1：对参考相机进行标定和配准；

S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；

S3：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；

S4：运用图形三维变换技术将参考视点处的每一张参考图像中彩色图像分别映射到虚拟视点处，具体包括：

确定虚拟视点的位置后，利用公式1，根据二维空间中的参考图像中深度图像的每个像素点的坐标(u₁,v₁)，计算虚拟视点对应二维平面中像素点的坐标(u₂,v₂)以及三维点相对于虚拟相机的深度值Z₂：

其中，虚拟相机为放置在虚拟视点位置处的相机；A₁为参考相机内部参数矩阵；Z₁是三维空间中点相对参考相机的深度值；A₂为虚拟相机内部参数矩阵；R和T分别是虚拟相机相对于参考相机的旋转和平移矩阵；

S5：根据映射到虚拟视点处的像素点的坐标(u₂,v₂)可以分别得到左、右两个角度的参考图像中彩色图像对应的左虚拟彩色图像和右虚拟彩色图像，将左虚拟彩色图像和右虚拟彩色图像进行融合；

结合表示像素点位置坐标(u₂,v₂)和对应的像素值Z₂，根据如下三种情况计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像：

(1)当左虚拟彩色图像和右虚拟彩色图像对应的相同位置的像素点(u₂,v₂)都不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)等于在两图像在(u₂,v₂)处的加权像素值，加权值为：

其中，t，t_L，t_R分别是虚拟视点、左参考视点、右参考视点下相机外参数的平移向量；

(2)当左虚拟彩色图像和右虚拟彩色图像中仅有一幅图像在坐标(u₂,v₂)处不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)的值等于非空洞图像对应的像素值；

(3)当左虚拟彩色图像和右虚拟彩色图像在(u₂,v₂)都为空洞，虚拟彩色图像在像素点(u,v)处的像素值融合后图像在I(u,v)处也为空洞；

其中，空洞表示像素点的像素值为零；

S6：使用ARToolkit将物体的参考图像中的彩色图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。

2.根据权利要求1所述的基于虚拟视点合成绘制三维物体的方法，其特征在于：步骤S1采用张正友标定法对参考相机进行标定，用于消除采集的参考图像的畸变。

3.根据权利要求2所述的基于虚拟视点合成绘制三维物体的方法，其特征在于：参考相机采用Kinect V2深度相机。

4.根据权利要求1所述的基于虚拟视点合成绘制三维物体的方法，其特征在于：步骤S4具体包括如下两个部分：

(1)利用参考图像的深度信息，即物体点距离相机镜头的距离信息，将二维空间中的参考图像中深度图像的每个像素点的坐标(u₁,v₁)根据公式2投影得到对应到真实空间的世界坐标系的点坐标(X,Y,Z)：

其中，A₁为参考相机内部参数矩阵；[R₁T₁]为参考相机外部参数矩阵；Z₁是三维空间中三维点相对参考相机的深度值，即参考相机坐标系中Z轴分量；

(2)根据公式3将三维空间中三维点重投影到虚拟视点所对应的二维平面上去，得到虚拟视点图像的像素点(u₂,v₂)及对应深度像素值Z₂：

其中，A₂为虚拟相机内部参数矩阵；[R₂T₂]为虚拟相机外部参数矩阵。

5.一种基于虚拟视点合成绘制三维物体的***，采用权利要求1-4任一项所述的基于虚拟视点合成绘制三维物体的方法，其特征在于，包括：

相机标定和配准模块：利用张正友棋盘格标定法对参考相机进行标定并对参考相机进行配准；

参考图像采集模块：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；

深度图像预处理模块：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；

参考图像双向映射模块：运用图形三维变换技术将参考视点处的每一张参考图像中的彩色图像分别映射到虚拟视点处；得到左、右两个角度的彩色图像对应的左虚拟彩色图像和右虚拟彩色图像；

图像融合模块：将左虚拟彩色图像和右虚拟彩色图像进行融合；结合虚拟视点对应二维平面中像素点的坐标(u₂,v₂)和对应的像素值Z₂，计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像；

虚拟视点图像绘制和显示模块：使用ARToolkit将物体的参考图像中的彩色图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。