CN104902253B - 一种基于改进贝叶斯模型的立体图像生成方法 - Google Patents

Abstract

本发明属于图像处理领域，具体涉及一种基于改进贝叶斯模型的立体图像生成方法，可以更加高效、直观的生成立体图像。首先，由给定的视差计算出合成视角的逐像素视点位置；然后，通过改进的贝叶斯模型生成合成图像；最后，利用参考图像和合成图像生成红蓝立体图。与现有方法相比，本发明提出的基于改进贝叶斯模型的立体图像生成方法在时间性能、生成图像质量以及通用性等方便具有明显优势；该方法还可以直观逐像素指定视差，便于立体图像的后期处理，具有广阔的应用前景。

Description

一种基于改进贝叶斯模型的立体图像生成方法

技术领域

本发明属于图像处理领域，具体涉及一种基于改进贝叶斯模型的立体图像生成方法，可以更加高效、直观的生成立体图像。

背景技术

随着3D电视、电影及游戏的普及和流行，越来越多3D内容被生产出来，而新一代的立体显示设备，也使得这些3D内容进入了普通消费者的生活。然而，由于立体显示设备的复杂性以及立体素材后期处理工具的缺乏，创作可信、舒适的3D内容仍然是一项具有挑战性的工作，传统的工具和处理流程并不能很好的用于3D内容的处理。因此，我们需要重新思考3D内容创作以及编辑的处理流程，进而发明出更加简洁、有效的3D内容后期处理方法。

双目视差是立体感知最主要的视觉线索，因此，针对视差的处理工具十分的重要。控制双目视差最常见的方法就是设定两个不同视角相机之间的基线，但是，由于大多数的3D内容所显示的视差都已超过了人们所能接受的视差范围，对基线的调整是十分有限的。减小基线可以减少双目视差，但同时也会导致整个场景变平，缺少立体感。双目视差控制更复杂的方法是重新映射图像的视差，然后合成新的图像，这种方法的难点在于，视差的准确计算以及对合成图像进行孔洞修补等。Changil Kim等人在《Multi-PerspectiveStereoscopy from Light Fields》中提出了一种逐像素视差控制的方法，但该方法局限于光场条件，存在耗时、视差调整范围有限等不足。

Sergi Pujades等人在《Bayesian View Synthesis and Image-Based RenderingPrinciples》中提出了基于图像的视角合成方法。该方法***的建模了视角合成过程中引入图像误差和几何误差，构建了一个完整的物理生成模型及其对应的最大后验概率估计，很好地解释了基于图像的视角合成方法中的启发式规则。但该方法并没有考虑立体图像的生成问题，并且不能逐像素的控制视差、不能筛选输入图像，因此不能直接应用于立体图像的生成。

发明内容

本发明针对立体图像生成问题，提出了一种基于改进贝叶斯模型的立体图像生成方法，该方法具有通用性，可逐像素控制视差。首先，由给定的视差计算出合成视角的逐像素视点位置；然后，通过改进的贝叶斯模型生成合成图像；最后，利用参考图像和合成图像生成红蓝立体图。

本发明的目的是通过下述技术方案实现的。

本发明的一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：其包括以下步骤：

步骤一、通过参考图像得到合成图像的逐像素视点位置。

所述参考图像是一幅指定的真实图像，参考图像所有像素视点位置相同，参考图像的视点位置用符号s表示。

所述合成图像是通过一组输入图像得到的一幅合成图像，合成图像逐像素指定视点位置。

步骤1.1：通过公式(1)计算参考图像(用符号v₀表示)中每个像素点的的规范化视差(用符号d₀(x)表示)，规范化视差d₀(x)由参考图像中每个像素点的标准深度(用符号z₀(x)表示)和参考图像的成像焦距(用符号f表示)得到。其中，x为参考图像v₀中像素点的索引值，x∈[1,N]，N为参考图像v₀中像素点的数量。

$d_0\left(x\right)=\frac{f}{z_0\left(x\right)}---\left(1\right)$

步骤1.2：给定合成图像(用符号u表示)与参考图像v₀的逐像素图像视差(用符号D(x)表示)，由于合成图像的视点和参考图像的视点位于同一平面，且对应的成像平面相同，可通过公式(2)由图像视差D(x)计算出合成图像相对于参考图像的逐像素视点位移(用符号Δs(x)表示)。

$\mathrm{\Δ}s\left(x\right)=\frac{D\left(x\right)}{d_0\left(x\right)}---\left(2\right)$

步骤1.3：通过公式(3)计算出合成图像的逐像素视点位置(用符号s'(x)表示)。

s'(x)＝s+Δs(x) (3)

其中，s为参考图像的视点位置。

步骤二、通过改进的贝叶斯模型生成合成图像。

步骤2.1：针对合成图像中每个像素的视点位置s'(x)，确定一个新成像平面(用符号Γ_j表示)。

步骤2.2：给定场景的几何估计及一组输入图像(用符号v_i表示)，计算出每个输入图像的成像平面(用符号Ω_i表示)中每个像素点到新成像平面Γ_j的映射关系(用符号φ_ij表示)以及输入图像的成像平面Ω_i中每个像素点映射到新成像平面Γ_j后是否可见的可见性算子(用符号m_ij表示)。所述输入图像v_i中包含的像素数与参考图像v₀中像素数相同。其中，i∈[1,n]，n≥1；j∈[1,N]。

所述可见性算子m_ij为一个矩阵，矩阵m_ij的行数和列数分别与输入图像v_i中像素的行数和列数相同；矩阵m_ij的元素取值为1表示其对应像素可见，取值为0表示对应像素不可见。

所述输入图像对应场景的几何估计为输入图像的像素点深度信息或输入图像的像素点空间位置信息。

步骤2.3：通过公式(4)和公式(5)计算出输入图像成像平面Ω_i中每个像素点到合成图像的成像平面(用符号Γ₀表示)的映射关系(用符号τ_i表示)及其逆映射关系(用符号β_i表示)。由于输入图像的像素数和合成图像的像素数均与参考图像的像素数相同，因此x也表示输入图像和合成图像中像素点的索引值。

τ_i(x)＝φ_ix(x) (4)

其中，x表示输入图像和合成图像中的像素点的索引值。

${\mathrm{\β}}_i={\mathrm{\τ}}_i^{-1}---\left(5\right)$

步骤2.4：根据公式(6)计算合成图像u的估计(用符号表示)。

其中，n为输入图像的数量；ο为函数复合运算符。

步骤2.5：根据公式(7)计算每幅输入图像v_i相对于合成图像u的误差因子(用符号κ_i表示)。

其中，为梯度运算符；τ_i是由τ_i(x)构成的向量，x∈[1,N]；z_i为输入图像v_i中像素点的深度值。

将误差因子κ_i由小到大进行排序，选出误差因子最小的M幅图像作为最终输入图像，并记录下图像编号(用符号l_k表示)，如公式(8)所示。

l_k＝i (8)

其中，k∈[1,M]，l_k∈[1,n]。

步骤2.6：构造如公式(9)所示的能量项(用符号E(u)表示)。

E(u)＝E_data(u)+λE_prior(u) (9)

其中，E_data(u)可通过公式(10)得到；其由贝叶斯图像生成模型推理得出；λ为调配系数，λ＞0；E_prior(u)是平滑项，用来填充合成图像u中缺少输入图像信息的部分，E_prior(u)可通过公式(12)得到。

其中， 为高斯传感噪声方差，为常量；为输入图像l_k的图像误差，其值可通过公式(11)计算得到；为可见性算子；

其中，为几何误差为已知量。

$E_{prior}\left(u\right)={\∫}_{{\mathrm{\Γ}}_0}|\▿u|---\left(12\right)$

步骤2.7：对公式(9)构造的能量项E(u)进行最小化，求解合成图像u。具体为：采用步骤2.4得到的合成图像的估计作为迭代初始值，利用快速迭代收缩阈值算法(fastiterative shrinkage-thresholding algorithm，FISTA)算法进行迭代求解。

步骤三、利用参考图像和合成图像生成满足图像视差D(x)的红蓝立体图。具体为：设定像素点在参考图像中的RGB值为(R1，G1，B1)，在合成图像中的RGB值为(R2，G2，B2)，则该像素点在生成的红蓝立体图中的RGB值为(R1，G2，B2)。

有益效果

本发明提出的基于改进贝叶斯模型的立体图像生成方法，与现有方法相比，在时间性能、生成图像质量以及通用性等方便具有明显优势；该方法还可以直观逐像素指定视差，便于立体图像的后期处理，具有广阔的应用前景。

附图说明

图1是本发明具体实施方式中基于改进贝叶斯模型的立体图像生成方法的流程图。

具体实施方式

下面结合附图对本发明方法的实施方式做详细说明。

本实施例中采用基于改进贝叶斯模型的立体图像生成方法生成立体图像，其操作流程如图1所示，其包括以下步骤：

步骤一、通过参考图像得到合成图像的逐像素视点位置，参考图像如图2所示。

步骤1.1：通过公式(1)计算参考图像v₀中每个像素点的的规范化视差d₀(x)，规范化视差d₀(x)由参考图像中每个像素点的标准深度z₀(x)和参考图像的成像焦距f得到。

步骤1.2：给定合成图像u与参考图像v₀的逐像素图像视差D(x)，由于合成图像的视点和参考图像的视点位于同一平面，且对应的成像平面相同，可通过公式(2)由图像视差D(x)计算出合成图像相对于参考图像的逐像素视点位移Δs(x)。

步骤1.3：通过公式(3)计算出合成图像的逐像素视点位置s'(x)。

步骤二、通过改进的贝叶斯模型生成合成图像。

步骤2.1：针对合成图像中每个像素的视点位置s'(x)，确定一个新成像平面Γ_j。

步骤2.2：给定场景的几何估计及9幅输入图像v_i，如图3至图11所示，计算出每个输入图像的成像平面Ω_i中每个像素点到新成像平面Γ_j的映射关系φ_ij以及输入图像的成像平面Ω_i中每个像素点映射到新成像平面Γ_j后是否可见的可见性算子m_ij。所述输入图像v_i中包含的像素数与参考图像v₀中像素数相同。其中，i∈[1,9]，j∈[1,N]。

所述可见性算子m_ij为一个矩阵，矩阵m_ij的行数和列数分别与输入图像v_i中像素的行数和列数相同；矩阵m_ij的元素取值为1表示其对应像素可见，取值为0表示对应像素不可见。

所述输入图像对应场景的几何估计为输入图像的像素点深度信息。

步骤2.3：通过公式(4)和公式(5)计算出输入图像成像平面Ω_i中每个像素点到合成图像的成像平面Γ₀的映射关系τ_i及其逆映射关系β_i。

步骤2.4：根据公式(6)计算合成图像u的估计

步骤2.5：根据公式(7)计算每幅输入图像v_i相对于合成图像u的误差因子κ_i。将误差因子κ_i由小到大进行排序，选出误差因子最小的M幅图像作为最终输入图像，并记录下图像编号l_k＝6,7,8,9

步骤2.6：构造如公式(9)所示的能量项E(u)。

步骤2.7：对公式(9)构造的能量项E(u)进行最小化，求解合成图像u。具体为：采用步骤2.4得到的合成图像的估计作为迭代初始值，利用FISTA算法进行迭代求解。首先设定FISTA算法外层迭代次数；每次外层迭代过程中保持的值不变，当满足内层迭代终止条件后，更新的值，开始下一次外层迭代。重复上述迭代过程，直到达到设定的外层迭代次数为止。

得到的合成图像如图12所示。

步骤三、利用参考图像和合成图像生成满足图像视差D(x)的红蓝立体图。具体为：设定像素点在参考图像中的RGB值为(R1，G1，B1)，在合成图像中的RGB值为(R2，G2，B2)，则该像素点在生成的红蓝立体图中的RGB值为(R1，G2，B2)。最终得到的红蓝立体图如图13所示。

Claims (5)

1.一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：其包括以下步骤：

步骤一、通过参考图像得到合成图像的逐像素视点位置；

所述参考图像是一幅指定的真实图像，参考图像所有像素视点位置相同；

所述合成图像是通过一组输入图像得到的一幅合成图像，合成图像逐像素指定视点位置；

步骤二、通过改进的贝叶斯模型生成合成图像；

步骤2.1：针对合成图像中每个像素的视点位置s'(x)，确定一个新成像平面Γ_j；

步骤2.2：给定场景的几何估计及一组输入图像v_i，计算出每个输入图像的成像平面Ω_i中每个像素点到新成像平面Γ_j的映射关系φ_ij以及输入图像的成像平面Ω_i中每个像素点映射到新成像平面Γ_j后是否可见的可见性算子m_ij；所述输入图像v_i中包含的像素数与参考图像v₀中像素数相同；其中，i∈[1,n]，n≥1；j∈[1,N]；N为参考图像v₀中像素点的数量；

步骤2.3：通过公式(4)和公式(5)计算出输入图像成像平面Ω_i中每个像素点到合成图像的成像平面Γ₀的映射关系τ_i及其逆映射关系β_i；由于输入图像的像素数和合成图像的像素数均与参考图像的像素数相同，因此x也表示输入图像和合成图像中像素点的索引值；

τ_i(x)＝φ_ix(x) (4)

其中，x表示输入图像和合成图像中的像素点的索引值；

β_i＝τ_i ^-1 (5)

步骤2.4：根据公式(6)计算合成图像u的估计

其中，n为输入图像的数量；ο为函数复合运算符；

步骤2.5：根据公式(7)计算每幅输入图像v_i相对于合成图像u的误差因子κ_i；

其中，▽为梯度运算符；τ_i是由τ_i(x)构成的向量，x∈[1,N]；z_i为输入图像v_i中像素点的深度值；

将误差因子κ_i由小到大进行排序，选出误差因子最小的M幅图像作为最终输入图像，并记录下图像编号l_k，如公式(8)所示；

l_k＝i (8)

其中，k∈[1,M]，l_k∈[1,n]；

步骤2.6：构造如公式(9)所示的能量项E(u)；

E(u)＝E_data(u)+λE_prior(u) (9)

其中，E_data(u)可通过公式(10)得到；其由贝叶斯图像生成模型推理得出；λ为调配系数，λ＞0；E_prior(u)是平滑项，用来填充合成图像u中缺少输入图像信息的部分，E_prior(u)可通过公式(12)得到；

其中， 为高斯传感噪声方差，为常量；为输入图像l_k的图像误差，其值可通过公式(11)计算得到；为可见性算子；

其中，为几何误差为已知量；

$E_{prior}\left(u\right)={\∫}_{{\mathrm{\Γ}}_0}|\▿u|---\left(12\right)$

步骤2.7：对公式(9)构造的能量项E(u)进行最小化，求解合成图像u；具体为：采用步骤2.4得到的合成图像的估计作为迭代初始值，利用快速迭代收缩阈值FISTA算法进行迭代求解；

步骤三、利用参考图像和合成图像生成满足图像视差D(x)的红蓝立体图。

2.如权利要求1所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：步骤一中所述通过参考图像得到合成图像的逐像素视点位置的具体操作为：

步骤1.1：通过公式(1)计算参考图像v₀中每个像素点的的规范化视差d₀(x)，规范化视差d₀(x)由参考图像中每个像素点的标准深度z₀(x)和参考图像的成像焦距f得到；其中，x为参考图像v₀中像素点的索引值，x∈[1,N]，N为参考图像v₀中像素点的数量；

$d_0\left(x\right)=\frac{f}{z_0\left(x\right)}---\left(1\right)$

步骤1.2：给定合成图像u与参考图像v₀的逐像素图像视差D(x)，由于合成图像的视点和参考图像的视点位于同一平面，且对应的成像平面相同，可通过公式(2)由图像视差D(x)计算出合成图像相对于参考图像的逐像素视点位移Δs(x)；

$\mathrm{\Δ}s\left(x\right)=\frac{D\left(x\right)}{d_0\left(x\right)}---\left(2\right)$

步骤1.3：通过公式(3)计算出合成图像的逐像素视点位置s'(x)；

s'(x)＝s+Δs(x) (3)

其中，s为参考图像的视点位置。

3.如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：步骤二步骤2.2中所述可见性算子m_ij为一个矩阵，矩阵m_ij的行数和列数分别与输入图像v_i中像素的行数和列数相同；矩阵m_ij的元素取值为1表示其对应像素可见，取值为0表示对应像素不可见。

4.如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：步骤二步骤2.2所述输入图像对应场景的几何估计为输入图像的像素点深度信息或输入图像的像素点空间位置信息。

5.如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：步骤三中所述利用参考图像和合成图像生成满足图像视差D(x)的红蓝立体图的具体操作为：设定像素点在参考图像中的RGB值为(R1，G1，B1)，在合成图像中的RGB值为(R2，G2，B2)，则该像素点在生成的红蓝立体图中的RGB值为(R1，G2，B2)。