CN102325259A - 多视点视频中虚拟视点合成方法及装置 - Google Patents

Abstract

本发明公开一种多视点视频中虚拟视点合成方法及装置，在保证不带来几何畸变的前提下，提高虚拟视点图像的质量，提高虚拟视点图像的显示效果；方法包括：以第一摄像机和第二摄像机提供的两幅视点图像作为参考视点图像，并分别对该两幅视点图像进行三维图像变换、小洞填充、图像互补和图像融合处理之后得到主虚拟视点图像；再分别对所述两幅视点图像分别进行深度图处理、三维图像变换、小洞填充、图像互补和图像融合处理之后得到副虚拟视点图像；再根据所述副虚拟视点图像对所述主虚拟视点图像进行剩余空洞填充之后，得到最终需要合成的虚拟视点图像。

Description

多视点视频中虚拟视点合成方法及装置

技术领域

本发明涉及三维视频、多媒体信号处理技术领域，尤其涉及一种多视点视频中虚拟视点合成方法及装置。

背景技术

随着电视技术和多媒体处理技术的发展，人们对于最真实视觉体验的需求日益增强，三维电视被看作是继彩色电视、高清电视之后的下一代产品；三维电视利用人的双眼观察物体的角度略有差异，因此能够辨别物体远近，产生立体的视觉这个原理，把左右眼所看到的影像分离，从而可以实现用户无需借助立体眼镜即可用裸眼体验立体感觉。其中多视点视频被认为拥有非常广阔的应用前景，实现多视点视频中虚拟视点的合成，虚拟视点合成是关键技术。

目前，基于深度图像的渲染是一种利用参考视点图像和相应的深度信息来合成虚拟视点的方法，该种方法由于具有良好的编码效率、二维/三维选择性、用户交互性，因此近年来得到越来越多的重视和应用；然而该种方法仍然存在以下缺陷：本应该在虚拟视点中可见的区域在原始视点中是遮挡的，即在虚拟视点图像中出现的物体或背景(后续称为该物体或背景所在的区域为暴露区域)在原始图像中的对应位置处不存在，在原始图像中没有包含暴露区域的信息，因此，暴露区域为空洞；空洞表现为深度图像当中存在灰度值突变的边界，因此若需要提高虚拟视点的图像质量则必须进行补洞。

目前，为提高虚拟视点的图像质量，使最终图像产生最佳的立体效果，解决空洞问题的主要方式为：在对原始图像进行三维图像变换之前，对该原始图像进行深度图预处理，以使原始图像的深度图中尖锐的灰度值突变变得平滑，进而减轻前景物体和背景之间的深度差异，从而减少虚拟视点图像中空洞的数量，提高视图质量；该种方式虽然在一定程度上提高了虚拟视点图像的质量，但是深度图预处理会给虚拟视点图像带来严重的不可恢复的几何畸变。

发明内容

针对现有技术存在的技术问题，本发明实施例提供一种多视点视频中虚拟视点合成方法及装置，以充分考虑到深度图的处理方式和最终所要合成的虚拟试点图像质量高低的关系，在保证不带来几何畸变的前提下，提高虚拟视点图像的质量，提高虚拟视点图像的显示效果。

一种多视点视频中虚拟视点合成方法，包括：

步骤1、根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；

步骤2、根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；

步骤3、将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；

步骤4、将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；

步骤5、对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；再按照上述步骤1～步骤4对深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；

步骤6、根据所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。

一种多视点视频中虚拟视点合成装置，包括：

三维图像变换单元，用于根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；

空洞填充单元，用于根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；

图像互补单元，用于将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；

图像融合单元，用于将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；

图像深度处理单元，用于对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；并启动所述三维图像变换单元、空洞填充单元、图像互补单元、图像融合单元依次对所述深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；

虚拟视点图像生成单元，用于将所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。

本发明实施例中，以第一摄像机和第二摄像机提供的两幅视点图像作为参考视点图像，并分别对该两幅视点图像进行三维图像变换、小洞填充、图像互补和图像融合处理之后得到主虚拟视点图像；再分别对所述两幅视点图像分别进行深度图处理、三维图像变换、小洞填充、图像互补和图像融合处理之后得到副虚拟视点图像；再根据所述副虚拟视点图像对所述主虚拟视点图像进行剩余空洞填充之后，得到最终需要合成的虚拟视点图像。采用本发明技术方案，对两幅参考视点图像进行相应的处理得到主虚拟视点图像时，没有进行深度图处理，因此不会带来较大的图像畸变；而在对两幅参考视点图像进行相应的处理得到副虚拟视点图像时，进行了深度图处理，因此可以减轻前景物体与背景之间的深度差异，可以改善虚拟视点图像质量；再根据副虚拟视点图像对所述主虚拟视点图像进行空洞填充时，可以合成不带来畸变的且质量较高的虚拟视点图像。

附图说明

图1A为本发明实施例中多视点视频中虚拟视点合成的方法流程图；

图1B为上述图1A所述流程的示意图；

图2为本发明实施例中图像坐标系与三维空间坐标系的映射关系图；

图3A为本发明实施例中第一参考视点图像；

图3B为本发明实施例中第一参考视点图像的深度图；

图3C为本发明实施例中的第二参考视点图像；

图3D为本发明实施例中第二参考视点图像的深度图；

图4A为本发明实施例中三维图像变换后的第一参考视点图像；

图4B为本发明实施例中第一虚拟视点图像的深度图；

图4C为本发明实施例中第一虚拟视点图像的空洞图；

图4D为本发明实施例中三维图像变换后的第二参考视点图像；

图4E为本发明实施例中第二虚拟视点图像的深度图；

图4F为本发明实施例中第二虚拟视点图像的空洞图；

图5A为本发明实施例中小洞填充后的第一虚拟视点图像；

图5B为本发明实施例中小洞填充后的第一虚拟视点图像的深度图；

图5C为本发明实施例中小洞填充后的第一虚拟视点图像的空洞图；

图5D为本发明实施例中小洞填充后的第二虚拟视点图像；

图5E为本发明实施例中小洞填充后的第二虚拟视点图像的深度图；

图5F为本发明实施例中小洞填充后的第二虚拟视点图像的空洞图；

图6A为本发明实施例中图像互补后的第一虚拟视点图像；

图6B为本发明实施例中图像互补后的深度图；

图6C为本发明实施例中图像互补后的第二虚拟视点图像；

图6D为本发明实施例中图像互补后的空洞图；

图7A为本发明实施例中对图像互补后的第一虚拟视点图像和第二虚拟视点图像进行融合处理之后得到的主虚拟视点图像；

图7B为本发明实施例中对图像互补后的第一虚拟视点图像的空洞图和第二虚拟视点图像的空洞图进行融合处理之后得到的主空洞图；

图8为本发明实施例中根据副虚拟视点图像对主虚拟视点图像进行空洞填补之后的虚拟视点图像；

图9为本发明实施例中多视点视频中虚拟视点合成装置的结构示意图。

具体实施方式

针对现有技术存在的技术问题，本发明实施例提供一种多视点视频中虚拟视点的合成方法及装置，以在保证不带来几何畸变的前提下，提高虚拟视点图像的质量和提高虚拟视点图像的显示效果。多视点视频中虚拟试点合成方法，包括：以第一摄像机和第二摄像机提供的两幅视点图像作为参考视点图像，并分别对该两幅视点图像进行三维图像变换、小洞填充、图像互补和图像融合处理之后得到主虚拟视点图像；再分别对所述两幅视点图像分别进行深度图处理、三维图像变换、小洞填充、图像互补和图像融合处理之后得到副虚拟视点图像；再根据所述副虚拟视点图像对所述主虚拟视点图像进行剩余空洞填充之后，得到最终需要合成的虚拟视点图像。采用本发明技术方案，对两幅参考视点图像进行相应的处理得到主虚拟视点图像时，没有进行深度图处理，因此不会带来较大的图像畸变；而在对两幅参考视点图像进行相应的处理得到副虚拟视点图像时，进行了深度图处理，因此可以减轻前景物体与背景之间的深度差异，可以改善虚拟视点图像质量；再根据副虚拟视点图像对所述主虚拟视点图像进行空洞填充时，可以合成不带来畸变的且质量较高的虚拟视点图像。

下面结合说明书附图对本发明技术方案进行详细的描述。

参见图1A，为本发明实施例中多视点视频中虚拟视点合成的方法流程图，方法还可通过图1B示意，方法包括：

步骤101、根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图。

步骤102、根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像。

步骤103、将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像。

步骤104、将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像。

步骤105、对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；再按照上述步骤101～步骤104对深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像。

步骤106、根据所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成最终需要得到的虚拟视点图像。

上述流程的步骤101中，对所述第一参考视点图像进行三维图像变换，可包括以下步骤：

步骤a1、将所述第一参考视点图像中的像素点映射到三维空间中，可参见式(1)；

步骤b1、将步骤a1中已经映射到三维空间之后的像素点重投影到第一虚拟视点图像上，可参见式(2)；

步骤c1、采用Z-fuffer和取整方法对所述第一虚拟视点图像中的像素点的坐标值进行筛选；

对所述第二参考视点图像进行三维图像变换，包括：

步骤a2、将所述第二参考视点图像中的像素点映射到三维空间中，可参见式(3)；

步骤b2、将步骤a2中已经映射到三维空间之后的像素点重投影到第二虚拟视点图像上，可参见式(4)；

步骤c2、采用Z-fuffer和取整方法对所述第二虚拟视点图像中的像素点的坐标值进行筛选。

上述步骤a1、步骤b1和步骤c1中，第一参考视点图像中的像素点的坐标点所在的图像坐标系为：以第一参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；在所述步骤a2、步骤b2和步骤c2中，第二参考视点图像中的像素点的坐标点所在的图像坐标系为：以第二参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；

所述三维空间的空间坐标系为：以屏幕的左下角为原点，该空间坐标系的x轴沿屏幕平面的竖直方向，y轴沿屏幕平面的水平方向。上述图像坐标系与空间坐标系的映射关系可如图2所示。

将第一参考视点图像中的像素点映射到三维空间，可根据式(1)进行变换：

${\tilde{m}}_1\≅A_1{P}_n{\tilde{M}}_1$ 式(1)；

式(1)中，

为齐次坐标系下第一参考视点图像中某一像素点在图像坐标系中的坐标，

为齐次坐标系下所述某一像素点变换到三维空间之后在三维空间坐标系中的坐标；A₁为相应的2#摄像机的内部参数矩阵；P_n是归一化透视投影矩阵。

将映射到三维空间之后的第一视点彩色图像的像素点重投影到目标虚拟视点图像上，可通过式(2)变换得到：

${{\tilde{m}}_1}^{\′}\≅A^{\′}{P}_{n}D{\tilde{M}}_1$ 式(2)；

式(2)中，

与式(1)中的相同，

为齐次坐标系下所述

变换到目标虚拟视点图像中的坐标；A′为目标视点摄像机(即3#摄像机)的内部参数矩阵；D是目标视点摄像机的外部参数矩阵，包含旋转矩阵R和平移向量t。

将第二参考视点图像中的像素点映射到三维空间，可根据式(3)变换得到：

${\tilde{m}}_2\≅A_2{P}_n{\tilde{M}}_2$ 式(3)；

式(3)中，

为齐次坐标系下第二参考视点图像中某一像素点在图像坐标系中的坐标，

为齐次坐标系下所述某一像素点变换到三维空间之后在三维空间坐标系中的坐标；A₂为相应的3#摄像机的内部参数矩阵；P_n是归一化透视投影矩阵。

将映射到三维空间之后的第二视点彩色图像的像素点重投影到目标虚拟视点图像上，可通过式(4)变换得到：

${{\tilde{m}}_2}^{\′}\≅A^{\′}{P}_{n}D{\tilde{M}}_2$ 式(4)；

式(4)中，

与式(1)中的

相同，

为齐次坐标系下所述

变换到目标虚拟视点图像中的坐标；A′为目标视点摄像机(即3#摄像机)的内部参数矩阵；D是目标视点摄像机的外部参数矩阵，包含旋转矩阵R和平移向量t。

将参考视点图像中的像素点映射到目标虚拟视点图像的过程为多对一的过程，因此，可能会存在参考视点图像中位于不同位置的两个或多个像素点映射到目标虚拟视点图像中的同一位置，因此存在重叠现象。因此，上述步骤c1和步骤c2中，采用Z-fuffer方法避免重叠现象，即在目标虚拟视点图像绘制过程中，为目标虚拟视点图像中的每个像素点k提供一个对应的buffer，以保留映射到该像素点k的来自参考视点图像中的多个像素点的深度值，再将该多个像素点中深度值最大的像素点的深度值确定为该像素点k的深度值。

参考视点图像中的像素点经变换后投影到目标虚拟视点图像的平面上时，可能不是投影在整像素点上而是投影在分像素点，因此，需要提取该分像素点坐标的整数部分作为目标虚拟视点图像中相应点的坐标值。

上述流程的步骤102中，对所述第一虚拟视点图像进行小洞填充，包括：根据所述第一虚拟视点图像的空洞图中的像素值，确定出在所述第一虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m1，在所述第一虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n1；将n1点在所述第一虚拟视点图像中的像素信息赋予m1点，得到如图；

对所述第二虚拟视点图像进行小洞填充，包括：根据所述第二虚拟视点图像的空洞图中的像素值，确定出在所述第二虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m2，在所述第二虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n2；将n2点在所述第二虚拟视点图像中的像素信息赋予m2点。

上述流程的步骤103具体可包括：根据所述第一虚拟视点图像的空洞图，确定出所述第一虚拟视点图像中的空洞的位置；对所述第一虚拟视点图像的空洞图进行形态学扩张，以避免在所述第一虚拟视点图像中产生伪影；

根据所述第二虚拟视点图像的空洞图，确定出所述第二虚拟视点图像中的空洞的位置；对所述第二虚拟视点图像的空洞图进行形态学扩张，以避免在第二虚拟视点图像中产生伪影；

针对所述第一虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第二虚拟视点图像中有值，则将该值赋予所述像素点；

针对所述第二虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第一虚拟视点图像中有值，则将该值赋予所述像素点。

上述流程的步骤104，将第一虚拟视点图像与第二虚拟视点图像进行融合处理，可采用以下方式：将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行基于距离的图像融合，得到所述主虚拟视点图像。对图像互补后的第一虚拟视点图像和第二虚拟视点图基于距离的图像融合，可根据式(5)得到：

I_v(u，v)＝(1-α)I_L(u，v)+αI_R(u，v)，其中 $\mathrm{\α}=\frac{|t_v-t_L|}{\left|\right|t_v-t_L\left|\right|+|t_v-t_R|}$ 式(5)；

式(5)中，I_v(u，v)是虚拟视点图像中位于坐标(u，v)的像素值，I_L为图像互补后的第一虚拟视点图像，I_R为图像互补后的第二虚拟视点图像，t_v为目标虚拟视点图像中位于坐标(u，v)的像素值的外参矩阵的平移向量，t_L为第一虚拟视点图像中与目标虚拟视点图像中位于坐标(u，v)的像素值对应的像素值的外参矩阵的平移向量，t_R为第二虚拟视点图像中与目标虚拟视点图像中位于坐标(u，v)的像素值对应的像素值的外参矩阵的平移向量。

上述方法流程的步骤105中，对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，包括：分别对所述第一参考视点图像的深度图像和所述第二参考视点图像的深度图像进行双边滤波处理。

为便于本领域技术人员对本发明技术方案进行理解，本发明实施例可以以视频点为8的多视点视频为例，如视频序列包含8个两两水平相距约20cm的视点，摄像机的相关参数已知，该摄像机基于视点的深度图像的分辨率与彩色图像的分辨率相同，可均为1026×768；在视点变换中，以2#相机(即2号相机)和4#相机(即4号相机)为参考视点，以3#相机(即3号相机)为目标虚拟视点。2#相机可提供如图3A所示的第一参考视点图像，4#相机可提供如图3C所示的第二参考视点图像。

经过步骤101将上述对图3A所示的第一参考视点图像(第一参考视点图像的深度图如图3B所示)和图3C第二参考视点图像(第二参考视点图像的深度图如图3D所示)进行三维空间变换之后，可得到与第一参考视点图像对应的第一虚拟视点图像、深度图和空洞图(分别依次为图4A、图4B和4C)，和第二参考视点图像对应的第二虚拟视点图像、深度图和空洞图(分别依次为图4D、图4E和图4F)。

采用上述步骤102，分别对图4A和图4D所示的第一虚拟视点图像和第二虚拟视点图像、图4B和图4E所示的深度图和图4C和图4F所示的空洞图进行小洞填充处理后，得到如图5A所示的小洞填充后的第一虚拟视点图像及其深度图(如图5B所示)和空洞图(如图5C所示)，和如图5D第二虚拟视点图像及其深度图(如图5E所示)和空洞图(如图5F所示)。

采用上述步骤103所示的方法，对如图5A和图5D所示的第一虚拟视点图像和第二虚拟视点图像、图5B和图5E所示的深度图进行图像互补之后，得到如图6A所示的图像互补后的第一虚拟视点图像、如图6B所示的深度图、如图6C所示的第二虚拟视点图像和如图6D所示的空洞图。

采用步骤104所示的方式，对如图6A所示的图像互补后的第一虚拟视点图像和图6C第二虚拟视点图像、如图6B所示的图像互补后的深度图和图6D所示的空洞图进行融合处理后，分别得到如图7A所示的主虚拟视点图像和如图7B所示的主深度图。

采用上述步骤106所述的方式，根据副虚拟视点图像对主虚拟视点图像进行小洞填充值后，可得到如图8所示的虚拟视点图像。

基于上述方法流程相同的构思，本发明实施例还提供一种多视点视频中虚拟视点合成装置，该装置的结构如图9所示。

参见图9，为本发明实施例中多视频点视频中虚拟视点合成装置的结构示意图，该装置可包括：

三维图像变换单元91，用于根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；

空洞填充单元92，用于根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；

图像互补单元93，用于将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；

图像融合单元94，用于将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；

图像深度处理单元95，用于对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；并启动所述三维图像变换单元、空洞填充单元、图像互补单元、图像融合单元依次对所述深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；

虚拟视点图像生成单元96，用于将所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。

所述空洞填充单元92，具体用于：

对所述第一虚拟视点图像进行小洞填充，包括：根据所述第一虚拟视点图像的空洞图中的像素值，确定出在所述第一虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m1，在所述第一虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n1；将n1点在所述第一虚拟视点图像中的像素信息赋予m1点；

对所述第二虚拟视点图像进行小洞填充，包括：根据所述第二虚拟视点图像的空洞图中的像素值，确定出在所述第二虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m2，在所述第二虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n2；将n2点在所述第二虚拟视点图像中的像素信息赋予m2点。

图像互补单元93，具体用于：根据所述第一虚拟视点图像的空洞图，确定出所述第一虚拟视点图像中的空洞的位置；对所述第一虚拟视点图像的空洞图进行形态学扩张，以避免在所述第一虚拟视点图像中产生伪影；

根据所述第二虚拟视点图像的空洞图，确定出所述第二虚拟视点图像中的空洞的位置；对所述第二虚拟视点图像的空洞图进行形态学扩张，以避免在第二虚拟视点图像中产生伪影；

针对所述第一虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第二虚拟视点图像中有值，则将该值赋予所述像素点；

针对所述第二虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第一虚拟视点图像中有值，则将该值赋予所述像素点。

本发明实施例中，以第一摄像机和第二摄像机提供的两幅视点图像作为参考视点图像，并分别对该两幅视点图像进行三维图像变换、小洞填充、图像互补和图像融合处理之后得到主虚拟视点图像；再分别对所述两幅视点图像分别进行深度图处理、三维图像变换、小洞填充、图像互补和图像融合处理之后得到副虚拟视点图像；再根据所述副虚拟视点图像对所述主虚拟视点图像进行剩余空洞填充之后，得到最终需要合成的虚拟视点图像。采用本发明技术方案，对两幅参考视点图像进行相应的处理得到主虚拟视点图像时，没有进行深度图处理，因此不会带来较大的图像畸变；而在对两幅参考视点图像进行相应的处理得到副虚拟视点图像时，进行了深度图处理，因此可以减轻前景物体与背景之间的深度差异，可以改善虚拟视点图像质量；再根据副虚拟视点图像对所述主虚拟视点图像进行空洞填充时，可以合成不带来畸变的且质量较高的虚拟视点图像。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种多视点视频中虚拟视点合成方法，其特征在于，包括：

步骤1、根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；

步骤2、根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；

步骤3、将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；

步骤4、将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；

步骤5、对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；再按照上述步骤1～步骤4对深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；

步骤6、根据所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。

2.如权利要求1所述的方法，其特征在于，上述步骤1中，对所述第一参考视点图像进行三维图像变换，包括：

步骤a1、将所述第一参考视点图像中的像素点映射到三维空间中；

步骤b1、将步骤a1中已经映射到三维空间之后的像素点重投影到第一虚拟视点图像上；

步骤c1、采用Z-fuffer和取整方法对所述第一虚拟视点图像中的像素点的坐标值进行筛选；

对所述第二参考视点图像进行三维图像变换，包括：

步骤a2、将所述第二参考视点图像中的像素点映射到三维空间中；

步骤b2、将步骤a2中已经映射到三维空间之后的像素点重投影到第二虚拟视点图像上；

步骤c2、采用Z-fuffer和取整方法对所述第二虚拟视点图像中的像素点的坐标值进行筛选。

3.如权利要求2所述的方法，其特征在于：

在所述步骤a1、步骤b1和步骤c1中，第一参考视点图像中的像素点的坐标点所在的图像坐标系为：以第一参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；在所述步骤a2、步骤b2和步骤c2中，第二参考视点图像中的像素点的坐标点所在的图像坐标系为：以第二参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；

所述三维空间的空间坐标系为：以屏幕的左下角为原点，该空间坐标系的x轴沿屏幕平面的竖直方向，y轴沿屏幕平面的水平方向。

4.如权利要求1所述的方法，其特征在于，对所述第一虚拟视点图像进行小洞填充，包括：根据所述第一虚拟视点图像的空洞图中的像素值，确定出在所述第一虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m1，在所述第一虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n1；将n1点在所述第一虚拟视点图像中的像素信息赋予m1点；

对所述第二虚拟视点图像进行小洞填充，包括：根据所述第二虚拟视点图像的空洞图中的像素值，确定出在所述第二虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m2，在所述第二虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n2；将n2点在所述第二虚拟视点图像中的像素信息赋予m2点。

5.如权利要求1所述的方法，其特征在于，所述步骤3，具体包括：

根据所述第一虚拟视点图像的空洞图，确定出所述第一虚拟视点图像中的空洞的位置；对所述第一虚拟视点图像的空洞图进行形态学扩张，以避免在所述第一虚拟视点图像中产生伪影；

根据所述第二虚拟视点图像的空洞图，确定出所述第二虚拟视点图像中的空洞的位置；对所述第二虚拟视点图像的空洞图进行形态学扩张，以避免在第二虚拟视点图像中产生伪影；

针对所述第一虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第二虚拟视点图像中有值，则将该值赋予所述像素点；

针对所述第二虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第一虚拟视点图像中有值，则将该值赋予所述像素点。

6.如权利要求1所述的方法，其特征在于，所述步骤4，具体包括：

将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行基于距离的图像融合，得到所述主虚拟视点图像。

7.如权利要求1所述的方法，其特征在于，所述步骤5中，对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，包括：

分别对所述第一参考视点图像的深度图像和所述第二参考视点图像的深度图像进行双边滤波处理。

8.一种多视点视频中虚拟视点合成装置，其特征在于，包括：

三维图像变换单元，用于根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；

空洞填充单元，用于根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；

图像互补单元，用于将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；

图像融合单元，用于将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；

图像深度处理单元，用于对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；并启动所述三维图像变换单元、空洞填充单元、图像互补单元、图像融合单元依次对所述深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；

虚拟视点图像生成单元，用于将所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。

9.如权利要求8所述的装置，其特征在于，所述空洞填充单元，具体用于：

对所述第一虚拟视点图像进行小洞填充，包括：根据所述第一虚拟视点图像的空洞图中的像素值，确定出在所述第一虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m1，在所述第一虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n1；将n1点在所述第一虚拟视点图像中的像素信息赋予m1点；

对所述第二虚拟视点图像进行小洞填充，包括：根据所述第二虚拟视点图像的空洞图中的像素值，确定出在所述第二虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m2，在所述第二虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n2；将n2点在所述第二虚拟视点图像中的像素信息赋予m2点。

10.如权利要求8所述的装置，其特征在于，所述图像互补单元，具体用于：根据所述第一虚拟视点图像的空洞图，确定出所述第一虚拟视点图像中的空洞的位置；对所述第一虚拟视点图像的空洞图进行形态学扩张，以避免在所述第一虚拟视点图像中产生伪影；

根据所述第二虚拟视点图像的空洞图，确定出所述第二虚拟视点图像中的空洞的位置；对所述第二虚拟视点图像的空洞图进行形态学扩张，以避免在第二虚拟视点图像中产生伪影；

针对所述第一虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第二虚拟视点图像中有值，则将该值赋予所述像素点；

针对所述第二虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第一虚拟视点图像中有值，则将该值赋予所述像素点。

Images