CN104902253B - 一种基于改进贝叶斯模型的立体图像生成方法 - Google Patents
一种基于改进贝叶斯模型的立体图像生成方法 Download PDFInfo
- Publication number
- CN104902253B CN104902253B CN201510064469.6A CN201510064469A CN104902253B CN 104902253 B CN104902253 B CN 104902253B CN 201510064469 A CN201510064469 A CN 201510064469A CN 104902253 B CN104902253 B CN 104902253B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- input
- reference image
- bayesian model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000002131 composite material Substances 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000002156 mixing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000015572 biosynthetic process Effects 0.000 abstract description 3
- 238000003786 synthesis reaction Methods 0.000 abstract description 3
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000012805 post-processing Methods 0.000 description 3
- 238000001308 synthesis method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理领域,具体涉及一种基于改进贝叶斯模型的立体图像生成方法,可以更加高效、直观的生成立体图像。首先,由给定的视差计算出合成视角的逐像素视点位置;然后,通过改进的贝叶斯模型生成合成图像;最后,利用参考图像和合成图像生成红蓝立体图。与现有方法相比,本发明提出的基于改进贝叶斯模型的立体图像生成方法在时间性能、生成图像质量以及通用性等方便具有明显优势;该方法还可以直观逐像素指定视差,便于立体图像的后期处理,具有广阔的应用前景。
Description
技术领域
本发明属于图像处理领域,具体涉及一种基于改进贝叶斯模型的立体图像生成方法,可以更加高效、直观的生成立体图像。
背景技术
随着3D电视、电影及游戏的普及和流行,越来越多3D内容被生产出来,而新一代的立体显示设备,也使得这些3D内容进入了普通消费者的生活。然而,由于立体显示设备的复杂性以及立体素材后期处理工具的缺乏,创作可信、舒适的3D内容仍然是一项具有挑战性的工作,传统的工具和处理流程并不能很好的用于3D内容的处理。因此,我们需要重新思考3D内容创作以及编辑的处理流程,进而发明出更加简洁、有效的3D内容后期处理方法。
双目视差是立体感知最主要的视觉线索,因此,针对视差的处理工具十分的重要。控制双目视差最常见的方法就是设定两个不同视角相机之间的基线,但是,由于大多数的3D内容所显示的视差都已超过了人们所能接受的视差范围,对基线的调整是十分有限的。减小基线可以减少双目视差,但同时也会导致整个场景变平,缺少立体感。双目视差控制更复杂的方法是重新映射图像的视差,然后合成新的图像,这种方法的难点在于,视差的准确计算以及对合成图像进行孔洞修补等。Changil Kim等人在《Multi-PerspectiveStereoscopy from Light Fields》中提出了一种逐像素视差控制的方法,但该方法局限于光场条件,存在耗时、视差调整范围有限等不足。
Sergi Pujades等人在《Bayesian View Synthesis and Image-Based RenderingPrinciples》中提出了基于图像的视角合成方法。该方法***的建模了视角合成过程中引入图像误差和几何误差,构建了一个完整的物理生成模型及其对应的最大后验概率估计,很好地解释了基于图像的视角合成方法中的启发式规则。但该方法并没有考虑立体图像的生成问题,并且不能逐像素的控制视差、不能筛选输入图像,因此不能直接应用于立体图像的生成。
发明内容
本发明针对立体图像生成问题,提出了一种基于改进贝叶斯模型的立体图像生成方法,该方法具有通用性,可逐像素控制视差。首先,由给定的视差计算出合成视角的逐像素视点位置;然后,通过改进的贝叶斯模型生成合成图像;最后,利用参考图像和合成图像生成红蓝立体图。
本发明的目的是通过下述技术方案实现的。
本发明的一种基于改进贝叶斯模型的立体图像生成方法,其特征在于:其包括以下步骤:
步骤一、通过参考图像得到合成图像的逐像素视点位置。
所述参考图像是一幅指定的真实图像,参考图像所有像素视点位置相同,参考图像的视点位置用符号s表示。
所述合成图像是通过一组输入图像得到的一幅合成图像,合成图像逐像素指定视点位置。
步骤1.1:通过公式(1)计算参考图像(用符号v0表示)中每个像素点的的规范化视差(用符号d0(x)表示),规范化视差d0(x)由参考图像中每个像素点的标准深度(用符号z0(x)表示)和参考图像的成像焦距(用符号f表示)得到。其中,x为参考图像v0中像素点的索引值,x∈[1,N],N为参考图像v0中像素点的数量。
步骤1.2:给定合成图像(用符号u表示)与参考图像v0的逐像素图像视差(用符号D(x)表示),由于合成图像的视点和参考图像的视点位于同一平面,且对应的成像平面相同,可通过公式(2)由图像视差D(x)计算出合成图像相对于参考图像的逐像素视点位移(用符号Δs(x)表示)。
步骤1.3:通过公式(3)计算出合成图像的逐像素视点位置(用符号s'(x)表示)。
s'(x)=s+Δs(x) (3)
其中,s为参考图像的视点位置。
步骤二、通过改进的贝叶斯模型生成合成图像。
步骤2.1:针对合成图像中每个像素的视点位置s'(x),确定一个新成像平面(用符号Γj表示)。
步骤2.2:给定场景的几何估计及一组输入图像(用符号vi表示),计算出每个输入图像的成像平面(用符号Ωi表示)中每个像素点到新成像平面Γj的映射关系(用符号φij表示)以及输入图像的成像平面Ωi中每个像素点映射到新成像平面Γj后是否可见的可见性算子(用符号mij表示)。所述输入图像vi中包含的像素数与参考图像v0中像素数相同。其中,i∈[1,n],n≥1;j∈[1,N]。
所述可见性算子mij为一个矩阵,矩阵mij的行数和列数分别与输入图像vi中像素的行数和列数相同;矩阵mij的元素取值为1表示其对应像素可见,取值为0表示对应像素不可见。
所述输入图像对应场景的几何估计为输入图像的像素点深度信息或输入图像的像素点空间位置信息。
步骤2.3:通过公式(4)和公式(5)计算出输入图像成像平面Ωi中每个像素点到合成图像的成像平面(用符号Γ0表示)的映射关系(用符号τi表示)及其逆映射关系(用符号βi表示)。由于输入图像的像素数和合成图像的像素数均与参考图像的像素数相同,因此x也表示输入图像和合成图像中像素点的索引值。
τi(x)=φix(x) (4)
其中,x表示输入图像和合成图像中的像素点的索引值。
步骤2.4:根据公式(6)计算合成图像u的估计(用符号表示)。
其中,n为输入图像的数量;ο为函数复合运算符。
步骤2.5:根据公式(7)计算每幅输入图像vi相对于合成图像u的误差因子(用符号κi表示)。
其中,为梯度运算符;τi是由τi(x)构成的向量,x∈[1,N];zi为输入图像vi中像素点的深度值。
将误差因子κi由小到大进行排序,选出误差因子最小的M幅图像作为最终输入图像,并记录下图像编号(用符号lk表示),如公式(8)所示。
lk=i (8)
其中,k∈[1,M],lk∈[1,n]。
步骤2.6:构造如公式(9)所示的能量项(用符号E(u)表示)。
E(u)=Edata(u)+λEprior(u) (9)
其中,Edata(u)可通过公式(10)得到;其由贝叶斯图像生成模型推理得出;λ为调配系数,λ>0;Eprior(u)是平滑项,用来填充合成图像u中缺少输入图像信息的部分,Eprior(u)可通过公式(12)得到。
其中, 为高斯传感噪声方差,为常量;为输入图像lk的图像误差,其值可通过公式(11)计算得到;为可见性算子;
其中,为几何误差为已知量。
步骤2.7:对公式(9)构造的能量项E(u)进行最小化,求解合成图像u。具体为:采用步骤2.4得到的合成图像的估计作为迭代初始值,利用快速迭代收缩阈值算法(fastiterative shrinkage-thresholding algorithm,FISTA)算法进行迭代求解。
步骤三、利用参考图像和合成图像生成满足图像视差D(x)的红蓝立体图。具体为:设定像素点在参考图像中的RGB值为(R1,G1,B1),在合成图像中的RGB值为(R2,G2,B2),则该像素点在生成的红蓝立体图中的RGB值为(R1,G2,B2)。
有益效果
本发明提出的基于改进贝叶斯模型的立体图像生成方法,与现有方法相比,在时间性能、生成图像质量以及通用性等方便具有明显优势;该方法还可以直观逐像素指定视差,便于立体图像的后期处理,具有广阔的应用前景。
附图说明
图1是本发明具体实施方式中基于改进贝叶斯模型的立体图像生成方法的流程图。
具体实施方式
下面结合附图对本发明方法的实施方式做详细说明。
本实施例中采用基于改进贝叶斯模型的立体图像生成方法生成立体图像,其操作流程如图1所示,其包括以下步骤:
步骤一、通过参考图像得到合成图像的逐像素视点位置,参考图像如图2所示。
步骤1.1:通过公式(1)计算参考图像v0中每个像素点的的规范化视差d0(x),规范化视差d0(x)由参考图像中每个像素点的标准深度z0(x)和参考图像的成像焦距f得到。
步骤1.2:给定合成图像u与参考图像v0的逐像素图像视差D(x),由于合成图像的视点和参考图像的视点位于同一平面,且对应的成像平面相同,可通过公式(2)由图像视差D(x)计算出合成图像相对于参考图像的逐像素视点位移Δs(x)。
步骤1.3:通过公式(3)计算出合成图像的逐像素视点位置s'(x)。
步骤二、通过改进的贝叶斯模型生成合成图像。
步骤2.1:针对合成图像中每个像素的视点位置s'(x),确定一个新成像平面Γj。
步骤2.2:给定场景的几何估计及9幅输入图像vi,如图3至图11所示,计算出每个输入图像的成像平面Ωi中每个像素点到新成像平面Γj的映射关系φij以及输入图像的成像平面Ωi中每个像素点映射到新成像平面Γj后是否可见的可见性算子mij。所述输入图像vi中包含的像素数与参考图像v0中像素数相同。其中,i∈[1,9],j∈[1,N]。
所述可见性算子mij为一个矩阵,矩阵mij的行数和列数分别与输入图像vi中像素的行数和列数相同;矩阵mij的元素取值为1表示其对应像素可见,取值为0表示对应像素不可见。
所述输入图像对应场景的几何估计为输入图像的像素点深度信息。
步骤2.3:通过公式(4)和公式(5)计算出输入图像成像平面Ωi中每个像素点到合成图像的成像平面Γ0的映射关系τi及其逆映射关系βi。
步骤2.4:根据公式(6)计算合成图像u的估计
步骤2.5:根据公式(7)计算每幅输入图像vi相对于合成图像u的误差因子κi。将误差因子κi由小到大进行排序,选出误差因子最小的M幅图像作为最终输入图像,并记录下图像编号lk=6,7,8,9
步骤2.6:构造如公式(9)所示的能量项E(u)。
步骤2.7:对公式(9)构造的能量项E(u)进行最小化,求解合成图像u。具体为:采用步骤2.4得到的合成图像的估计作为迭代初始值,利用FISTA算法进行迭代求解。首先设定FISTA算法外层迭代次数;每次外层迭代过程中保持的值不变,当满足内层迭代终止条件后,更新的值,开始下一次外层迭代。重复上述迭代过程,直到达到设定的外层迭代次数为止。
得到的合成图像如图12所示。
步骤三、利用参考图像和合成图像生成满足图像视差D(x)的红蓝立体图。具体为:设定像素点在参考图像中的RGB值为(R1,G1,B1),在合成图像中的RGB值为(R2,G2,B2),则该像素点在生成的红蓝立体图中的RGB值为(R1,G2,B2)。最终得到的红蓝立体图如图13所示。
Claims (5)
1.一种基于改进贝叶斯模型的立体图像生成方法,其特征在于:其包括以下步骤:
步骤一、通过参考图像得到合成图像的逐像素视点位置;
所述参考图像是一幅指定的真实图像,参考图像所有像素视点位置相同;
所述合成图像是通过一组输入图像得到的一幅合成图像,合成图像逐像素指定视点位置;
步骤二、通过改进的贝叶斯模型生成合成图像;
步骤2.1:针对合成图像中每个像素的视点位置s'(x),确定一个新成像平面Γj;
步骤2.2:给定场景的几何估计及一组输入图像vi,计算出每个输入图像的成像平面Ωi中每个像素点到新成像平面Γj的映射关系φij以及输入图像的成像平面Ωi中每个像素点映射到新成像平面Γj后是否可见的可见性算子mij;所述输入图像vi中包含的像素数与参考图像v0中像素数相同;其中,i∈[1,n],n≥1;j∈[1,N];N为参考图像v0中像素点的数量;
步骤2.3:通过公式(4)和公式(5)计算出输入图像成像平面Ωi中每个像素点到合成图像的成像平面Γ0的映射关系τi及其逆映射关系βi;由于输入图像的像素数和合成图像的像素数均与参考图像的像素数相同,因此x也表示输入图像和合成图像中像素点的索引值;
τi(x)=φix(x) (4)
其中,x表示输入图像和合成图像中的像素点的索引值;
βi=τi -1 (5)
步骤2.4:根据公式(6)计算合成图像u的估计
其中,n为输入图像的数量;ο为函数复合运算符;
步骤2.5:根据公式(7)计算每幅输入图像vi相对于合成图像u的误差因子κi;
其中,▽为梯度运算符;τi是由τi(x)构成的向量,x∈[1,N];zi为输入图像vi中像素点的深度值;
将误差因子κi由小到大进行排序,选出误差因子最小的M幅图像作为最终输入图像,并记录下图像编号lk,如公式(8)所示;
lk=i (8)
其中,k∈[1,M],lk∈[1,n];
步骤2.6:构造如公式(9)所示的能量项E(u);
E(u)=Edata(u)+λEprior(u) (9)
其中,Edata(u)可通过公式(10)得到;其由贝叶斯图像生成模型推理得出;λ为调配系数,λ>0;Eprior(u)是平滑项,用来填充合成图像u中缺少输入图像信息的部分,Eprior(u)可通过公式(12)得到;
其中, 为高斯传感噪声方差,为常量;为输入图像lk的图像误差,其值可通过公式(11)计算得到;为可见性算子;
其中,为几何误差为已知量;
步骤2.7:对公式(9)构造的能量项E(u)进行最小化,求解合成图像u;具体为:采用步骤2.4得到的合成图像的估计作为迭代初始值,利用快速迭代收缩阈值FISTA算法进行迭代求解;
步骤三、利用参考图像和合成图像生成满足图像视差D(x)的红蓝立体图。
2.如权利要求1所述一种基于改进贝叶斯模型的立体图像生成方法,其特征在于:步骤一中所述通过参考图像得到合成图像的逐像素视点位置的具体操作为:
步骤1.1:通过公式(1)计算参考图像v0中每个像素点的的规范化视差d0(x),规范化视差d0(x)由参考图像中每个像素点的标准深度z0(x)和参考图像的成像焦距f得到;其中,x为参考图像v0中像素点的索引值,x∈[1,N],N为参考图像v0中像素点的数量;
步骤1.2:给定合成图像u与参考图像v0的逐像素图像视差D(x),由于合成图像的视点和参考图像的视点位于同一平面,且对应的成像平面相同,可通过公式(2)由图像视差D(x)计算出合成图像相对于参考图像的逐像素视点位移Δs(x);
步骤1.3:通过公式(3)计算出合成图像的逐像素视点位置s'(x);
s'(x)=s+Δs(x) (3)
其中,s为参考图像的视点位置。
3.如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法,其特征在于:步骤二步骤2.2中所述可见性算子mij为一个矩阵,矩阵mij的行数和列数分别与输入图像vi中像素的行数和列数相同;矩阵mij的元素取值为1表示其对应像素可见,取值为0表示对应像素不可见。
4.如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法,其特征在于:步骤二步骤2.2所述输入图像对应场景的几何估计为输入图像的像素点深度信息或输入图像的像素点空间位置信息。
5.如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法,其特征在于:步骤三中所述利用参考图像和合成图像生成满足图像视差D(x)的红蓝立体图的具体操作为:设定像素点在参考图像中的RGB值为(R1,G1,B1),在合成图像中的RGB值为(R2,G2,B2),则该像素点在生成的红蓝立体图中的RGB值为(R1,G2,B2)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510064469.6A CN104902253B (zh) | 2015-02-09 | 2015-02-09 | 一种基于改进贝叶斯模型的立体图像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510064469.6A CN104902253B (zh) | 2015-02-09 | 2015-02-09 | 一种基于改进贝叶斯模型的立体图像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104902253A CN104902253A (zh) | 2015-09-09 |
CN104902253B true CN104902253B (zh) | 2016-11-09 |
Family
ID=54034614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510064469.6A Expired - Fee Related CN104902253B (zh) | 2015-02-09 | 2015-02-09 | 一种基于改进贝叶斯模型的立体图像生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104902253B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648821B (zh) * | 2018-03-21 | 2020-12-01 | 北京理工大学 | 面向穿刺手术机器人的智能手术决策***及其应用方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7536030B2 (en) * | 2005-11-30 | 2009-05-19 | Microsoft Corporation | Real-time Bayesian 3D pose tracking |
JP2013038602A (ja) * | 2011-08-08 | 2013-02-21 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
CN103383776B (zh) * | 2013-07-14 | 2016-06-15 | 浙江大学 | 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法 |
-
2015
- 2015-02-09 CN CN201510064469.6A patent/CN104902253B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN104902253A (zh) | 2015-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9390538B2 (en) | Depth identification of pixels in one or more three dimensional images | |
Kim et al. | Multi-perspective stereoscopy from light fields | |
US7505623B2 (en) | Image processing | |
US8947422B2 (en) | Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images | |
US7643025B2 (en) | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates | |
EP2306745B1 (en) | Method and system for creating depth and volume in a 2-D planar image | |
US20110157155A1 (en) | Layer management system for choreographing stereoscopic depth | |
US8666146B1 (en) | Discontinuous warping for 2D-to-3D conversions | |
EP2323416A2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
CN110049303A (zh) | 立体图像的视觉风格化 | |
Lipski et al. | Correspondence and depth-image based rendering a hybrid approach for free-viewpoint video | |
KR20140088200A (ko) | 예제 유사 이미지와 연관된 예제 근사 깊이-맵을 사용하여 입력 이미지에 대한 깊이-맵 생성 | |
US9443338B2 (en) | Techniques for producing baseline stereo parameters for stereoscopic computer animation | |
CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
US8094148B2 (en) | Texture processing apparatus, method and program | |
CN111988593B (zh) | 一种基于深度残差优化的立体图像颜色校正方法及*** | |
TW201505420A (zh) | 內容感知顯示適應方法 | |
JP2009116532A (ja) | 仮想視点画像生成方法および仮想視点画像生成装置 | |
CN102480626A (zh) | 图像处理装置、显示装置以及图像处理方法 | |
Mu et al. | Stereoscopic image completion and depth recovery | |
CA2540538C (en) | Stereoscopic imaging | |
Schöps et al. | Real-time view correction for mobile devices | |
US20120133651A1 (en) | Method for stereoscopic illustration | |
Jantet et al. | Joint projection filling method for occlusion handling in depth-image-based rendering | |
Stavrakis et al. | Image-based stereoscopic painterly rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161109 Termination date: 20200209 |
|
CF01 | Termination of patent right due to non-payment of annual fee |