CN101883291A - 感兴趣区域增强的视点绘制方法 - Google Patents

Abstract

本发明的目的是提供一种感兴趣区域增强的视点绘制方法。本发明针对光场相机的采集方式，首先根据采集***参数、场景几何信息建立光场相机采集方式的相机几何模型，然后计算出感兴趣区域，通过标识出的感兴趣区域对原本稀疏的深度图进行增强；然后利用增强后的深度图，根据相机参数和几何场景进行光场绘制，从而得到新的视点图像。对本方法的测试表明，本发明可以得到良好的视点重建质量。

Description

感兴趣区域增强的视点绘制方法

技术领域

本发明涉及一种视点绘制方法，特别是一种基于感兴趣区域增强的新视点绘制方法。

背景技术

三维电视***以其独特的立体感、沉浸感及漫游特性而受到越来越多的关注。而多视视频已经广泛的应用于三维电视***，因此基于多视视频的绘制技术也受到越来越多的关注，根据绘制技术所采用几何量的多少，可以分为三类：无几何信息的表示；隐含几何信息的表示；有明确几何信息的表示。其中最著名的就是光场绘制，它由于不需采用任何几何信息，而且能在虚拟视点上生成高质量的图像。采样定理表明如果我们有更多的场景信息的话(例如深度)可以获得更多令人满意的图像，因此，如果我们将原始的场景用足够多的深度层来绘制的话，将会得到一个好的绘制结果。但是，随着深度层的增加计算时间将线性上升。因此，在绘制过程中需解决绘制效果和时间复杂度的平衡。

Isaksen等人在此基础上引入了可移动虚拟焦平面(VFP)的概念，从而将绘制技术推进到一个新阶段。该方法可以改变摄像机焦距，合成位于任意焦平面上的场景物体。如果物体的实际深度不在虚拟的焦平面上，那么绘制结果往往不尽如人意，产生模糊和重影。为了提高绘制效果，研究者们又在此基础上做出许多改进，例如将场景深度信息引入绘制当中，或者离线预先构架场景模型，K.Takahashi等人提出了一种独创的测度——聚焦测度(相当于一种代价函数)来获得完全聚焦型绘制结果，Xun Cao等人在此基础上采用多个虚拟焦平面，然后再将各个合成场景中清晰部分通过清晰度函数测量，拼合成一个全清晰的场景图。某些研究者也通过简化几何模型来减少运算所需的时间，但在实践中发现精确的几何信息的计算非常困难。

对于绘制端的重建而言，人眼始终是最终的信号接受者，因此，绘制算法应该考虑到人眼的视觉关注度，只有这样才能在解码端获得较好主观质量的重建图像。

为了保证在关注度较高的区域获得较好的主观质量，并且在整个视频编码端有较少的传输带宽，本发明提供一种感兴趣区域增强的视点绘制方法。对于之前的其它方法，本方法根据标识出的感兴趣区域对稀疏的深度图进行增强，充分考虑人眼的视觉关注度，然后通过增强后的深度图，根据相机参数和几何场景进行视点绘制，从而得到新的视点图像。

发明内容

本发明的目的是提供一种感兴趣区域增强的视点绘制方法。相对于现有的其它方法，本方法根据标识出的感兴趣区域对稀疏的深度图进行增强，然后通过增强后的深度图，根据相机参数和几何场景进行视点绘制，从而得到新的视点图像。

为达到上述目的，本发明的构思是：

首先根据采集***参数、场景几何信息建立光场相机采集方式相机几何模型，然后计算出感兴趣区域，通过标识出的感兴趣区域对原本稀疏的深度图进行增强，然后通过增强后的深度图，根据相机参数和几何场景进行光场绘制，从而得到新的视点图像。

根据上述构思，本发明的技术方案是：

一种感兴趣区域增强的视点绘制方法。其特征在于首先根据采集***参数，场景几何信息，建立相机的几何模型。接着根据光场相机的几何模型确定虚拟相机周围的各个相机。其次对邻近的相机图像，通过编码端的块匹配算法得出初始视差场，然后进行感兴趣区域分析和检测，接着加强感兴趣区域的原始深度信息。最后用相机的几何模型和加强后的深度信息进行虚拟视点的绘制。其具体步骤是：

(1)建立相机几何模型：针对采集***参数及场景信息建立相机几何模型，并且根据光场相机的几何模型确定虚拟相机周围的各个相机；

(2)初始视差图的计算、感兴趣区域分析和检测：根据相机几何模型得到最邻近的相机图像，通过块匹配算法得出初始视差图；感兴趣区域分析和检测：用经典的Itti模型得到感兴趣区域，并进行分析；

(3)基于感兴趣区域深度信息的加强：利用检测到的感兴趣区域对原始深度信息进行加强；

(4)虚拟视点的绘制方法：根据相机的几何模型和加强后的深度信息完成虚拟视点的绘制，生成新视点。

本发明与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：之前方法大多通过复杂的深度计算或者简化几何模型的方法来进行重建，在实际应用中很难实现，而本发明则通过理论分析，根据人眼视觉特点采用基于感兴趣区域增强的深度图的绘制，大大降低了重建新视点的计算复杂度，从而易于应用实现。实验验证，可以得到良好的重建质量，对多视点***的视点重建具有参考价值。

附图说明

图1是本发明的一种感兴趣区域增强的视点绘制方法流程框图。

图2是图1中的建立相机几何模型的程序框图。

图3是图1中的感兴趣区域分析和检测的程序框图。

图4是图1中的基于感兴趣区域深度信息增强的程序框图。

图5是图1中的虚拟视的绘制方法的程序框图。

图6是视点重建结果图。

具体实施方式

本发明的一个实施例子结合附图详述如下：

本感兴趣区域增强的视点绘制方法的具体步骤如图1流程框图所示。对于实际场景通过相机采集及显示***进行实验，图7给出视点重建结果。

参见图1，其步骤是：

(1)建立相机几何模型：针对采集***参数及场景信息建立相机几何模型，并且根据光场相机的几何模型确定虚拟相机周围的各个相机；

(2)计算初始视差图、感兴趣区域分析和检测：根据相机几何模型得到最邻近的相机图像，通过编码端的块匹配算法得出初始视差图，并用经典的Itti模型得到参考图像的感兴趣区域，并进行分析；

(3)基于感兴趣区域深度信息的加强：利用检测到的感兴趣区域对原始深度信息进行加强；

(4)虚拟视点的绘制方法：根据相机的几何模型和加强后的深度信息完成虚拟视点绘制，生成新视点。

参见图2，上述步骤(1)的具体过程如下：

(a)确定相机***信息(相机分辨率、虚拟相机分辨率、相机镜头焦距、相机阵列摆放姿态和相机间距)，量化相机几何模型参数；

(b)根据相机***参数信息确定虚拟相机周围的各个相机；

(c)由步骤(a)和步骤(b)所得参数建立相机几何模型，其场景及相机参数如表1所示。

表1

场景深度范围	342.1797cm～707.39cm
		相机分辨率	640×480
相机阵列类型	2维
		相机间距	20cm(H)x5cm(V)
虚拟视点位置	(365.482469，-246.047360，4066.908006)

经研究发现，当人们浏览图像时，人眼视觉***会对图像中部分感兴趣的区域做出响应，即与周围其他部分相比此部分内容更具有“显著性”，显著部分的区域称为显著区，表达了人们对显著区图像的关注，这个过程成为视觉感知。

最经典的感兴趣区域计算模型是由美国加州大学Itti提出，用于目标检测与识别，根据相机几何模型得到最邻近的相机图像，通过编码端的块匹配算法得出初始视差图，并用经典的Itti模型得到参考图像的感兴趣区域，并进行分析。见图3，上述步骤(2)中的的具体过程如下：

(a)特征显著度通过计算视点图像I(x，y)的区域中心c和周边s的高斯差分DOG得到，公式如下：

$\mathrm{DOG}(x,y)=\frac{1}{2{\mathrm{\π\δ}}_c^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\δ}}_c^2})-\frac{1}{2{\mathrm{\π\δ}}_s^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\δ}}_s^2})$

其中，δ_c和δ_s分别表示中心c和周边s的尺度因子，这种中央和周边的差计算用Θ表示。

(b)计算亮度关注图：

I(c，s)＝|I(c)ΘI(s)|

其中，I表示亮度，Θ表示中央周边差。

(c)计算颜色关注图：

RG(c，s)＝|R(c)-G(c)|Θ|G(s)-R(s)|

BY(c，s)＝|B(c)-Y(c)|Θ|Y(s)-B(s)|

其中，RG表示红色R和绿色G色差，BY表示蓝色B和黄色Y色差。

(d)计算方向关注度：

O(c，s，θ)＝|O(c，θ)ΘO(s，θ)|

其中，O表示方向，θ表示方向角度。

(e)将三个方向上的关注度进行归一化，得到最终的显著图salicy：

$\tilde{I}=N\left(I(c,s)\right)$

$\tilde{C}=N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)$

$\tilde{O}=\underset{\mathrm{\θ}}{\mathrm{\Σ}}N\left(N\left(O(c,s,\mathrm{\θ})\right)\right)$

$\mathrm{salicy}=\frac{1}{3}[N\left(\tilde{I}\right)+N\left(\tilde{C}\right)+N\left(\tilde{O}\right)]$

Itti模型从输入图像中提取亮度、颜色、方向等特征然后进行分析、融合得到最终显著图。在计算获取初始视差的过程中，通常在纹理较少或者遮挡区域内容易发生匹配误差，特别是感兴趣区域内部更加敏感，因此不容易获取准确的感兴趣区域的深度。我们可以用下面的方法对原始深度信息进行增强；参见图4，上述步骤(3)的具体过程如下：

(a)利用编码端的块匹配算法来计算出某个视点相机拍摄结果相对于参考视点相机拍摄

结果的视差图，根据分割算法对参考视点进行分割，得到各个分割块S_i(x，y)

(b)根据以下公式完成对深度图的加强：

$\mathrm{DEPTH}\left(S_i(x,y)\right)=\frac{1}{k}\underset{(x,y)\∉\mathrm{salicy}}{\mathrm{\Σ}}\mathrm{DEPTH}\left(S_i(x,y)\right)$

其中，DEPTH代表深度值，salicy表示步骤(2)中得到的显著图

(c)利用步骤(1)确定的场景信息，将视差转成场景深度信息，并利用采样定理确定最佳绘制深度：

Z＝1.0/((d/d_max)*(1/Z_min-1/Z_max)+1.0/Z_max)

$\frac{1}{Z_{\mathrm{opt}}}=\frac{1/Z_{\min }+1/Z_{\max }}{2}$

$Z_{\mathrm{opt}}=\frac{2}{1/Z_{\min }+1/Z_{\max }}=\frac{2}{1/342.1797+1/707.39}\≈461$

其中Z_opt是理想的绘制深度，Z_min和Z_max表示最小和最大的景深，这是采样定理表明的理想的绘制深度。

参见图5，上述步骤(4)的具体过程如下：

(a)根据相机模型及场景几何信息，将投影点映射到空间，利用三维图像变换方程，已知空间中某点P在图像平面上的投影点p(x，y)以及P的深度值Z，则可以得到X与Y的值，从而得到P点的世界坐标

$Z_{c1}\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)=\mathrm{PX}=\left(\begin{array}{cccc}{p}_{00}& p_{01}& p_{02}& p_{03}\\ p_{10}& p_{11}& p_{12}& p_{13}\\ p_{20}& p_{21}& p_{22}& p_{23}\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)$

$Z_{c2}\left(\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right)=P^{\′}X=\left(\begin{array}{cccc}{p^{\′}}_{00}& {p^{\′}}_{01}& {p^{\′}}_{02}& {p^{\′}}_{03}\\ {p^{\′}}_{10}& {p^{\′}}_{11}& {p^{\′}}_{12}& {p^{\′}}_{13}\\ {p^{\′}}_{20}& {p^{\′}}_{21}& {p^{\′}}_{22}& {p^{\′}}_{23}\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)$

$\left(\begin{array}{c}X\\ Y\end{array}\right)=A^{-1}\left(\begin{array}{c}(u_1{p}_{22}-p_{02})Z+u_1{p}_{23}-p_{03}\\ (v_1{p}_{22}-p_{12})Z+v_1{p}_{23}-p_{23}\end{array}\right)$

$A=\left(\begin{array}{cc}{p}_{00}-u_1{p}_{20}& p_{01}-u_1{p}_{21}\\ p_{10}-v_1{p}_{20}& p_{11}-v_1{p}_{21}\end{array}\right)$

其中，(u₁，v₁，1)^T与(u₂，v₂，1)^T分别为x₁与x₂点在图像坐标系下的齐次坐标，(X，Y，Z，1)为点X在世界坐标系下的齐次坐标，Z_c1和Z_c2分别表示P点在第一个和第二个摄像机坐标系中的Z坐标，P和P’分别为第一个摄像机和第二个摄像机的投影矩阵。

Z代表场景的深度信息，最邻近相机用步骤(4)得到的深度，其余邻域相机用最佳景深来代替。

(b)那么对于空间中任意一点P，若已知它的世界坐标P＝(X，Y，Z，1)^T，在步骤(a)中消去Z_c，就可以求出P在图像平面上的像素坐标p(u，v)：

$\left\{\begin{array}{c}{u}_2=\frac{{p^{\′}}_{00}X+{p^{\′}}_{01}Y+{p^{\′}}_{02}Z+{p^{\′}}_{03}}{{p^{\′}}_{20}X+{p^{\′}}_{21}Y+{p^{\′}}_{22}Z+{p^{\′}}_{23}}\\ v_2=\frac{{p^{\′}}_{10}X+{p^{\′}}_{11}Y+{p^{\′}}_{12}Z+{p^{\′}}_{13}}{{p^{\′}}_{20}X+{p^{\′}}_{21}Y+{p^{\′}}_{22}Z+{p^{\′}}_{23}}\end{array}\right.$

其中P为3×4的矩阵，称为投影矩阵，由摄像机内部参数及摄像机外部参数决定。

(c)在边界的背景区域用邻域视点的最佳景深进行合成。

生成新视点，如图6所示。

图6中(a)、(b)分别为按照本发明所述方法生成的新视点图像。其中(a)为相对世界坐标的平移向量为{365.482469，246.047360，4066.908006}的虚拟相机生成的新视点图像，(b)为相对世界坐标的平移向量为{365.482469，200.047360，4066.908006}的虚拟相机生成的新视点图像。按照本发明所述方法，由图中可以直观地看出图像的主观质量良好，因此验证了本发明的有效性。

Claims (5)

1.一种感兴趣区域增强的视点绘制方法。其特征在于首先针对采集***参数、场景几何信息，建立相机的几何模型；接着根据光场相机的几何模型确定虚拟相机周围的各个相机；其次对邻近的相机图像，通过编码端块匹配算法得出视差信息，然后进行感兴趣区域分析和检测，利用检测到的感兴趣区域对原始深度信息进行加强；最后用相机的几何模型和加强后的深度信息完成虚拟视点的绘制。其具体步骤是：

(1)建立相机几何模型：针对采集***参数及场景信息建立相机几何模型，并且根据光场相机的几何模型确定虚拟相机周围的各个相机；

(2)计算初始视差图、感兴趣区域分析和检测：根据相机几何模型得到最邻近的相机图像，通过编码端的块匹配算法得出初始视差图；并用经典的Itti模型对参考图像分析、检测、得到感兴趣区域；

(3)基于感兴趣区域深度信息的加强：利用检测到的感兴趣区域对原始深度信息进行加强；

(4)虚拟视点的绘制方法：根据相机的几何模型和加强后的深度信息完成虚拟视点的绘制，生成新视点。

2.根据权利要求1所述的感兴趣区域增强的视点绘制方法，其特征在于所述步骤(1)中的相机几何模型的建立，具体步骤如下：

(a)确定相机***信息-相机分辨率、虚拟相机分辨率、相机镜头焦距、相机阵列摆放姿态和相机间距，量化相机几何模型参数；

(b)根据相机***参数信息确定虚拟相机周围的各个相机；

(c)由步骤(a)和步骤(b)所得参数建立相机几何模型。

3.根据权利要求1所述的感兴趣区域增强的视点绘制方法，其特征在于所述步骤(2)中的感兴趣区域分析和检测，具体步骤如下：

(a)特征显著度通过计算视点图像I(x，y)的区域中心c和周边s的高斯差分DOG得到，这种中央和周边的差计算用Θ表示；

(b)计算亮度关注图：

I(c，s)＝|I(c)ΘI(s)|

其中，I表示亮度；

(c)计算颜色关注图：

RG(c，s)＝|R(c)-G(c)|Θ|G(s)-R(s)|

BY(c，s)＝|B(c)-Y(c)|Θ|Y(s)-B(s)|

其中，RG表示红色R和绿色G色差，BY表示蓝色B和黄色Y色差。

(d)计算方向关注度：

O(c，s，θ)＝|O(c，θ)ΘO(s，θ)|

其中，，O表示方向，θ表示方向角度。

(e)将三个方向上的关注度进行归一化，得到最终的显著图salicy：

$\tilde{I}=N\left(I(c,s)\right)$

$\tilde{C}=N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)$

$\tilde{O}=\underset{\mathrm{\θ}}{\mathrm{\Σ}}N\left(N\left(O(c,s,\mathrm{\θ})\right)\right)$

$\mathrm{salicy}=\frac{1}{3}[N\left(\tilde{I}\right)+N\left(\tilde{C}\right)+N\left(\tilde{O}\right)]$

N代表对函数进行归一化，

分别代表亮度、颜色、方向上的归一化求和后的关注度，salicy为最终得到的显著图。

4.根据权利要求3所述的感兴趣区域增强的视点绘制方法，其特征在于所述步骤(3)中的基于感兴趣区域深度信息的加强，具体步骤如下：

(a)利用编码端的块匹配算法来计算出某个视点相机拍摄结果相对于参考视点相机拍摄结果的视差图，根据分割算法对参考视点进行分割，得到各个分割块S_i(x，y)；

(b)根据以下公式完成深度图的加强：

$\mathrm{DEPTH}\left(S_i(x,y)\right)=\frac{1}{k}\underset{(x,y)\∉\mathrm{salicy}}{\mathrm{\Σ}}\mathrm{DEPTH}\left(S_i(x,y)\right)$

其中，DEPTH代表深度值。salicy为权利3中的显著图；

(c)根据步骤(1)确定的场景信息，利用场景信息将视差转成场景深度信息，并利用采样定理确定最佳绘制深度：

Z＝1.0/((d/d_max)*(1/Z_min-1/Z_max)+1.0/Z_max)

$\frac{1}{Z_{\mathrm{opt}}}=\frac{1/Z_{\min }+1/Z_{\max }}{2}$

其中d表示该点的视差值，d_max表示场景的最大视差值，Z_opt是理想的绘制深度，Z_min和Z_max表示最小和最大的景深。

5.根据权利要求1所述的感兴趣区域增强的视点绘制方法，其特征在于所述步骤(4)中的虚拟视点的绘制方法，具体步骤如下：

(a)根据相机模型及场景几何信息将投影点映射到空间，利用三维图像变换方程，已知空间中某点P在参考摄像机C₁平面上的投影点(u₁，v₁)^Ts以及P的深度值Z，则可以得到P点的世界坐标：

$Z_{c1}\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)=\mathrm{PX}=\left(\begin{array}{cccc}{p}_{00}& p_{01}& p_{02}& p_{03}\\ p_{10}& p_{11}& p_{12}& p_{13}\\ p_{20}& p_{21}& p_{22}& p_{23}\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)$

$Z_{c2}\left(\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right)=P^{\′}X=\left(\begin{array}{cccc}{p^{\′}}_{00}& {p^{\′}}_{01}& {p^{\′}}_{02}& {p^{\′}}_{03}\\ {p^{\′}}_{10}& {p^{\′}}_{11}& {p^{\′}}_{12}& {p^{\′}}_{13}\\ {p^{\′}}_{20}& {p^{\′}}_{21}& {p^{\′}}_{22}& {p^{\′}}_{23}\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)$

$\left(\begin{array}{c}X\\ Y\end{array}\right)=A^{-1}\left(\begin{array}{c}(u_1{p}_{22}-p_{02})Z+u_1{p}_{23}-p_{03}\\ (v_1{p}_{22}-p_{12})Z+v_1{p}_{23}-p_{23}\end{array}\right)$

$A=\left(\begin{array}{cc}{p}_{00}-u_1{p}_{20}& p_{01}-u_1{p}_{21}\\ p_{10}-v_1{p}_{20}& p_{11}-v_1{p}_{21}\end{array}\right)$

其中，(u₁，v₁)^T与(u₂，v₂)^T分别为在参考摄像机C₁平面和目标摄像机C₂平面上的图像坐标系下的齐次坐标；(X，Y，Z，1)^T为点P在世界坐标系下的齐次坐标；Z_c1和Z_c2分别表示P点在第一个和第二个摄像机坐标系中的Z坐标；P和P’分别为第一个摄像机和第二个摄像机的投影矩阵，由摄像机内部参数及摄像机外部参数决定；

Z代表场景的深度信息，最邻近相机用步骤(4)得到的深度，其余邻域相机用最佳景深来代替；

(b)那么对于空间中任意一点P，若已经求得它的世界坐标P＝(X，Y，Z，1)^T，在步骤(a)中消去Z_c，就可以求出P在另一图像平面上的像素坐标(u₂，v₂)：

$\left\{\begin{array}{c}{u}_2=\frac{{p^{\′}}_{00}X+{p^{\′}}_{01}Y+{p^{\′}}_{02}Z+{p^{\′}}_{03}}{{p^{\′}}_{20}X+{p^{\′}}_{21}Y+{p^{\′}}_{22}Z+{p^{\′}}_{23}}\\ v_2=\frac{{p^{\′}}_{10}X+{p^{\′}}_{11}Y+{p^{\′}}_{12}Z+{p^{\′}}_{13}}{{p^{\′}}_{20}X+{p^{\′}}_{21}Y+{p^{\′}}_{22}Z+{p^{\′}}_{23}}\end{array}\right.$

(c)在边界的背景区域用邻域视点的最佳景深进行合成.。

Images