CN103248911A - 多视点视频中基于空时结合的虚拟视点绘制方法 - Google Patents

Abstract

本发明提出一种新的基于深度图的视点合成方法。首先，通过3D图像变换获得虚拟视点彩色图像与深度图像，并去除小的空洞以及映射错误点；然后进行虚拟视点深度图像的空洞填充，同时对空洞处像素坐标进行记录；之后，进行反向的3D图像变换，在参考视点的目标帧中定位目标区域（导致空洞产生的区域），并利用前后帧对目标区域进行背景复原；最后，使用基于样本的图像修复算法对剩余空洞进行修复。本方法中，通过利用前后帧的图像信息，实现空时域相结合进行补洞，较单纯基于空域的补洞操作，能够使结果更加准确，提高虚拟视点图像的质量；另外，通过反向映射，定位目标区域，有针对性的进行背景复原，较大规模的背景复原，在结果相似的情况下实现更加高效地补洞。

Description

多视点视频中基于空时结合的虚拟视点绘制方法

技术领域

本发明涉及一种基于深度图像的虚拟视点合成方法，属于视频、多媒体信号处理技术领域。

背景技术

凭借良好的用户交互性以及生动逼真的视觉体验，三维立体电视成为新一代多媒体技术的领跑者。真实场景的深度信息的构建使立体电视给人一种景物伸展于荧屏之外伸手可触的感觉。其中，多视点视频被认为拥有极其广阔的应用前景。它的主要实现目标是，在播放端，针对同一场景，用户可以根据自己的需要选择不同的视点欣赏不同角度的场景，以获取强烈的临场感与真实感。然而，传输带宽以及传输速率的限制增加了多视点视频实现的难度。于是，虚拟视点合成技术应运而生。

虚拟视点合成的方法有很多种，其中，基于深度图像的视点合成是一种典型的方法。它可以利用一路视频的彩色图像与深度图像，合成其他任意视点的视频信息。在视点合成的过程中，原始视点中被遮挡的背景部分有可能在虚拟视点中暴露出来，这就是所谓的空洞问题。由于这部分暴露出来的区域在原始视点中是找不到参考信息的，所以空洞问题成为视点合成中最具挑战性的问题，如何高效高质地完成视点合成的问题便转换为如何准确地填补空洞的问题。

在传统的基于深度图像的视点合成方法中，主要分为三个基本步骤：参考视点深度图像的平滑处理、通过3D图像变换获得虚拟视点深度图像与彩色图像、空洞填充。这类方法得到的虚拟视点彩色图像中会出现一些小的裂纹和大片的空洞区域。尤其是对于后者，无论是通过邻域赋值、线性插值，还是使用复杂度较高的图像修复算法进行填充，都仅仅是在空域上利用空洞的周边信息进行推测的过程，难以具备较高的可信度，获得的虚拟视点图像也难以准确地反映真实的场景。

发明内容

为解决现有的基于深度图像的视点合成方法中，基于空域的图像后处理所导致的虚拟视点合成的欠准确性问题，本发明提出一种新的基于深度图的视点合成方法。鉴于在参考视点中，被遮挡的背景部分（即导致虚拟视点中空洞的部分）随着时间的推移会暴露出来，这也就意味着，我们可以从参考视点目标帧的前后帧中找到待修复的空洞部分的准确信息。利用这一点，本发明提出了空域和时域相结合进行虚拟视点合成的方法，其中一部分空洞可以通过时域的信息进行更为准确地填充，而对于另一部分无法使用时域信息进行填充的空洞，仍然使用空域补洞的方法进行填充。这样，由于其中一部分空洞可以说是用真实的背景信息进行填充的，较在单幅图像中的推测式的填充，整体性能更好。

本发明中，首先，通过3D图像变换获得虚拟视点彩色图像与深度图像，并去除小的裂纹以及映射错误的像素点；然后进行虚拟视点深度图像的空洞填充，获得完整的虚拟视点深度图像，同时对空洞处像素坐标进行记录；之后，进行反向的3D图像变换，在参考视点的目标帧中定位目标区域（导致空洞产生的遮挡区域），并且利用前后帧对目标帧中目标区域进行背景复原，用于虚拟视点彩色图像中部分空洞的填充；最后，利用基于样本的图像修复算法对剩余空洞进行修复。本方法中，通过利用参考视点的前后帧的图像信息，实现空时域相结合进行补洞，较单纯基于空域的补洞操作，能够使结果更加准确，提高虚拟视点图像的质量。另外，通过反向3D图像变换，定位目标区域，有针对性的进行背景复原，较大规模的背景复原，在性能相近的情况下实现更加高效地补洞。

本发明采用的技术方案为：

一种基于深度图的视点合成方法，其特征在于，采用空域和时域相结合的方式，利用参考视点中目标帧的前后帧的图像信息，基于对导致空洞产生的遮挡区域的定位结果，进行有针对性的背景复原，从而对虚拟视点图像中的部分空洞进行填充，具体步骤如下：

（1）3D图像变换：根据摄像机投影原理，通过3D图像变换，将参考视点的图像信息投影到虚拟视点上，获得虚拟视点彩色图像与深度图像，并且对其中的小的裂纹以及映射错误的像素点进行处理；

（2）虚拟视点深度图像中空洞的坐标记录及其填充：对深度图像中的空洞部分进行坐标记录，然后利用邻域赋值，对深度图像进行空洞填充；

（3）反向的3D图像变换，定位目标区域：从虚拟视点出发，根据摄像机投影原理，进行反向的3D图像变换，同时根据步骤（2）中的坐标记录结果进行参考视点目标帧中目标区域的定位；

（4）在时域上进行目标区域的背景复原：利用参考视点中目标帧的前后帧信息，进行目标区域的背景复原，用于虚拟视点彩色图像中部分空洞的填充；

（5）剩余空洞的修复：利用基于样本的图像修复技术对虚拟视点彩色图像中的剩余空洞进行填充。

所述步骤（1）的具体步骤为：

a.根据参考视点的深度信息，实现从参考视点平面到三维空间，再从三维空间到虚拟视点平面的坐标变换；

b.根据坐标变换的结果，将参考视点中的像素点投影到虚拟视点平面内，从而获得虚拟视点彩色图像与深度图像；

c.对虚拟视点彩色图像与深度图像中映射错误的点进行检测，并进行邻域赋值，同时，对于其中一些小的裂纹，也使用邻域赋值的方式进行填充。

所述步骤（2）的具体实现步骤如下：

a.对虚拟视点深度图像及彩色图像中的大的空洞像素进行坐标记录；

b.逐行地使用空洞区域邻近的背景像素进行虚拟视点深度图像的空洞填充，获取完整的虚拟视点深度图像。

所述步骤（3）的具体实现步骤如下：

a.根据步骤（2）中得到的虚拟视点深度图像，实现从虚拟视点平面到三维空间，再从三维空间到参考视点平面的坐标变换；

b.根据坐标变换结果以及步骤（2）中的坐标记录结果，在参考视点目标帧中定位目标区域。

所述步骤（4）的具体实现步骤如下：

a.在时域上，利用前后帧进行目标帧中目标区域的背景复原；

b.根据步骤（3）中的坐标变换结果，进行虚拟视点中彩色图像中部分空洞的填充。

所述步骤（5）的具体实现步骤如下：

a.检测空洞区域的边缘，计算边缘上各像素的优先级，决定修复顺序；

b.以边缘像素为中心，获取特定尺寸的样本块，以样本块为单位，根据其中的颜色信息，从源图像中搜索最佳匹配块；

c.找到最佳匹配块之后，将最佳匹配块中的像素信息复制到样本块中的空洞处，实现填充。

附图说明

图1：本发明的流程图。

图2：参考视点的彩色图像及深度图像。

图3：虚拟视点的彩色图像及深度图像。

图4：小的空洞以及错误映射点去除后的虚拟视点的彩色图像。

图5：空洞填充之后的虚拟视点深度图像。

图6：参考视点目标帧中的目标区域。

图7：后一帧图像的前、背景分类结果图。

图8：背景复原之后的目标帧的彩色图像。

图9：部分空洞修复之后的虚拟视点彩色图像。

图10：剩余空洞修复之后的虚拟视点彩色图像。

具体实施方式

该发明采用了“Mobile”视频序列进行实验。该视频序列采集了一个场景的9个视点的视频，并提供了相应的深度信息以及各摄像机的内、外部参数。实验中，我们选取4号视点作为参考视点，5号视点作为虚拟视点。

图1所示为本发明的流程图，根据流程图，我们对其具体实施方式进行介绍。

（1）3D图像变换。所谓的3D图像变换，就是根据摄像机投影原理，将参考视点中的像素点投影到虚拟视点平面内。这一过程主要分为两个部分，首先是将参考视点中的像素投影到三维空间中，然后再由三维空间投影到虚拟视点平面内。图2为参考视点的彩色图像与深度图像。假设摄像机i的内参矩阵为A_i，外参矩阵中的平移矩阵与旋转矩阵分别为R_i、t_i,映射方程可以表示为：

sm＝A_i[R_i|t_i]M     （1）

其中s为一标量，m＝[u,v,1]^T为图像像素点在图像坐标系下的齐次坐标，M＝[X,Y,Z,1]^T为相应空间点在世界坐标系下的齐次坐标。

利用方程（1），可以实现参考视点到三维空间的映射以及三维空间到虚拟视点的映射。图3为虚拟视点彩色图像及深度图像。

从图3可以看出，在虚拟视点彩色图像与深度图像上，同时存在一些映射错误的像素点，这一类像素点主要分为两种：映射到背景部分的前景像素与映射到前景部分的背景像素。鉴于这一类错误像素通常只有一至两个宽度，所以我们利用它们与周围像素的深度关系将它们检测出来，然后通过邻域赋值进行修正。另外，从图3也可以看出，在虚拟视点彩色图像与深度图像上，存在一些小的裂纹，针对这些裂纹，我们也采用简单的邻域赋值的方式进行消除。图4为处理之后的虚拟视点彩色图像。

（2）虚拟视点深度图像的空洞填充及坐标记录。为了在参考视点目标帧中定位目标区域，我们将虚拟视点深度图像中的空洞区域进行坐标记录。之后，再利用深度图的平滑渐变性，逐行地使用空洞区域邻近的背景像素进行虚拟视点深度图像的空洞填充，获取完整的虚拟视点深度图像，如图5所示。

（3）反向的3D图像变换，定位目标区域。所谓反向的3D图像变换，就是传统的3D图像变换的逆过程。先将虚拟视点中的像素投影到三维空间中，再由三维空间映射到参考视点平面内，建立起虚拟视点与参考视点之间的对应关系。然后结合步骤（2）中的坐标记录结果，定位目标区域。图6为最终定位的目标区域。

（4）在时域上进行目标区域的背景复原。由于虚拟视点图像中暴露的出来的部分应该是背景信息，所以我们真正感兴趣的是目标区域中被前景所遮挡的背景部分。考虑到前景物体的运动会让背景部分随着时间的迁移不同程度地暴露出来，所以在目标区域的背景复原过程中，目标帧的前后帧的信息是尤其重要的。为了准确高效地利用前后帧信息进行背景复原，我们采用了K均值聚类算法对前后帧的深度图像进行前景、背景的划分，只有划分为背景部分的图像信息才可以作为备选信息用于目标帧的背景复原。所谓的聚类算法是将数据集合中在某些方面相似的数据成员进行分类组织的过程。而K均值聚类算法是在划分之前，人工或者自动按照某种原则确定K个聚类中心，然后根据定义的某种距离函数将数据集中的数据逐一归于K个聚类中心中。每当有一个数据归入一个类中，便通过计算该类中数据的均值来更新该聚类中心。然后根据更新后的聚类中心继续进行聚类，直至所有的数据都完成分类。该发明中，我们首先对待分类的深度图像进行直方图分析，确定整幅图像中前景、背景的灰度分布并以此作为依据确定两个（K=2）聚类中心，然后以灰度差异作为距离函数，按照上述步骤完成前景、背景的划分。图7为目标帧的后一帧图像的前、背景的划分结果图，其中黑色部分代表背景，白色部分代表前景。

确定备选信息后，考虑到光强等各种环境因素的影响随着帧间距的增大而增大，所以，我们从最邻近的帧开始，逐步进行目标帧的背景复原。图8为复原完成后的目标帧。目标区域中的背景信息即可用于虚拟视点彩色图像中部分空洞的填充。图9为部分空洞填充完成后的虚拟视点彩色图像。

（5）剩余空洞的修复。虚拟视点中产生的空洞，根据其位置，可以被分为两类：前景与背景交界处的空洞与场景边界的空洞。前者是由于遮挡导致的背景暴露，而后者则是由于场景转换导致的新场景的暴露。对于前者，我们可以通过上述步骤，利用复原出来的背景信息进行填充。但是对于后者，在参考视点的所有帧中都无法找到参考信息。为解决这部分空洞，我们使用基于样本的图像修复算法进行修复。具体步骤如下：

首先，我们对待修复图像进行空洞边缘的检测，检测出边缘上的所有像素点后，我们再进行优先级的计算，以决定修复顺序。优先级的计算公式如（2）所示。

P(p)=C(p)D(                (2)

其中，C(p)为置信度项，D(p)为数据项，定义如下：

$C\left(p\right)=\frac{\underset{q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ}}{\mathrm{\Σ}}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|},$ $D\left(p\right)=\frac{|{\▿I}_p^{\⊥}\·n_p|}{\mathrm{\α}}---\left(3\right)$

C(p)中的分子表示样本块中非空洞像素的数量，分母|Ψ_p|表示样本块中总的像素数量。D(p)中，

n_p分别表示空洞边缘上p点处的等照度线的方向与法向量。α为归一化因子，值为255。通过C(p)与D(p)，基于样本的图像修复技术可以在保持图像的线性结构的情况下进行纹理的填充。

待修复顺序确定之后，我们以优先级最高的块作为样本块，从源图像中搜索最佳匹配块。搜索匹配块的匹配原则如等式（4）、（5）所示。

$\mathrm{SSD}({\mathrm{\Ψ}}_{\hat{p}},{\mathrm{\Ψ}}_q)=\underset{p\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ}}{\mathrm{\Σ}}({(R_{\hat{p}}\left(p\right)-R_q\left(p\right))}^2+{(G_{\hat{p}}\left(p\right)-G_q\left(p\right))}^2+{(B_{\hat{p}}\left(p\right)-B_q\left(p\right))}^2)---\left(4\right)$

${\mathrm{\Ψ}}_{q\_\mathrm{best}}=\arg \underset{{\mathrm{\Ψ}}_q\∈\mathrm{\Φ}}{\min }\mathrm{SSD}({\mathrm{\Ψ}}_{\hat{p}},{\mathrm{\Ψ}}_q)---\left(5\right)$

等式（5）定义了误差平方和（SSD）的计算方法，对于两个像素块中的每一对像素点，先计算它们之间R、G、B分量差值的平方之和；再将所有像素点对的计算结果相加，即为两个像素块的误差平方和（SSD）。

在匹配过程中，以误差平方和（SSD）计算样本块中非空洞像素与匹配块中的相应位置的像素之间的彩色信息的差异，差异越小，则匹配度越高。通过查找所有SSD中的最小值来最终确定最佳匹配块Ψ_{q_best}。

找到最佳匹配块之后，利用最佳匹配块中的像素对样本块中的空洞像素点进行填充。然后再进行置信度的更新，公式如下所示：

$C\left(p\right)=C\widehat{\left(p\right)}\∀p\∈{\mathrm{\Ψ}}_{\hat{p}}\∩\mathrm{\Ω}---\left(6\right)$

重复以上过程，直至修复完成。修复后的虚拟视点彩色图像如图10所示。

Claims (6)

1.一种基于深度图的视点合成方法，其特征在于，采用空域和时域相结合的方式，利用参考视点中目标帧的前后帧的图像信息，基于对导致空洞产生的遮挡区域的定位结果，进行有针对性的背景复原，从而对虚拟视点图像中的部分空洞进行填充，具体步骤如下：

（1）3D图像变换：根据摄像机投影原理，通过3D图像变换，将参考视点的图像信息投影到虚拟视点上，获得虚拟视点彩色图像与深度图像，并且对其中的小的裂纹以及映射错误的像素点进行处理；

（2）虚拟视点深度图像中空洞的坐标记录及其填充：对深度图像中的空洞部分进行坐标记录，然后利用邻域赋值，对深度图像进行空洞填充；

（3）反向的3D图像变换，定位目标区域：从虚拟视点出发，根据摄像机投影原理，进行反向的3D图像变换，同时根据步骤（2）中的坐标记录结果进行参考视点目标帧中目标区域的定位；

（4）在时域上进行目标区域的背景复原：利用参考视点中目标帧的前后帧信息，进行目标区域的背景复原，用于虚拟视点彩色图像中部分空洞的填充；

（5）剩余空洞的修复：利用基于样本的图像修复技术对虚拟视点彩色图像中的剩余空洞进行填充。

2.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（1）的具体步骤为：

a.根据参考视点的深度信息，实现从参考视点平面到三维空间，再从三维空间到虚拟视点平面的坐标变换；

b.根据坐标变换的结果，将参考视点中的像素点投影到虚拟视点平面内，从而获得虚拟视点彩色图像与深度图像；

c.对虚拟视点彩色图像与深度图像中映射错误的点进行检测，并进行邻域赋值，同时，对于其中一些小的裂纹，也使用邻域赋值的方式进行填充。

3.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（2）的具体实现步骤如下：

a.对虚拟视点深度图像及彩色图像中的大的空洞像素进行坐标记录；

b.逐行地使用空洞区域邻近的背景像素进行虚拟视点深度图像的空洞填充，获取完整的虚拟视点深度图像。

4.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（3）的具体实现步骤如下：

a.根据步骤（2）中得到的虚拟视点深度图像，实现从虚拟视点平面到三维空间，再从三维空间到参考视点平面的坐标变换；

b.根据坐标变换结果以及步骤（2）中的坐标记录结果，在参考视点目标帧中定位目标区域。

5.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（4）的具体实现步骤如下：

a.在时域上，利用前后帧进行目标帧中目标区域的背景复原；

b.根据步骤（3）中的坐标变换结果，进行虚拟视点中彩色图像中部分空洞的填充。

6.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（5）的具体实现步骤如下：

a.检测空洞区域的边缘，计算边缘上各像素的优先级，决定修复顺序；

b.以边缘像素为中心，获取特定尺寸的样本块，以样本块为单位，根据其中的颜色信息，从源图像中搜索最佳匹配块；

c.找到最佳匹配块之后，将最佳匹配块中的像素信息复制到样本块中的空洞处，实现填充。

Images