CN102663721B - 动态场景的散焦深度估计和全聚焦图像获取方法 - Google Patents
动态场景的散焦深度估计和全聚焦图像获取方法 Download PDFInfo
- Publication number
- CN102663721B CN102663721B CN201210096529.9A CN201210096529A CN102663721B CN 102663721 B CN102663721 B CN 102663721B CN 201210096529 A CN201210096529 A CN 201210096529A CN 102663721 B CN102663721 B CN 102663721B
- Authority
- CN
- China
- Prior art keywords
- depth
- focus image
- depth map
- total focus
- sigma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000007670 refining Methods 0.000 claims abstract description 12
- 238000009499 grossing Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提出一种动态场景的散焦深度估计和全聚焦图像获取方法,包括以下步骤:获取多张散焦图像的第一深度图以及全局不一致的模糊核,采用基于散焦深度估计和图像去模糊算法进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图;对每一时刻的全聚焦图像进行颜色分割后对深度图进行平面拟合,并进行空间上的精化以得到第三深度图,并重新优化以得到优化的全聚焦图像;对优化的全聚焦图像进行光流估计后对第三深度图进行平滑,在时间上精化第三深度图以得到时间一致的深度估计结果。该方法可以获得更精确的动态场景深度估计结果和全清晰图像,容易实现。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种动态场景的散焦深度估计和全聚焦图像获取方法。
背景技术
如何从三维场景采集所成的二维图像序列恢复场景的深度信息是计算机视觉领域一个重要的研究内容。通常利用所采集到的深度线索来推测场景的深度,如基于多视角的深度估计、基于阴影的深度估计、散焦的深度估计、聚焦深度估计等等,此外还有一些方法通过向场景投射主动光的方式来估计场景的深度。
散焦深度估计自Pentland提出以来便一直受到人们的关注,主要有基于单张的散焦图像和基于多张散焦图像的方法。基于单张散焦图像的散焦深度估计算法由于问题的欠定性通常不能获得令人满意的深度估计结果。基于多张散焦图像的深度估计算法,主要有局部的方法和全局的方法,局部的方法如一些采用局部窗的空域或者频域的方法通常会产生边缘或者窗效应,而一些全局的方法的算法复杂度通常比较高。传统的散焦深度估计算法在求解过程通常会消除场景辐射度(全聚焦图像)的估计而只估计场景的深度。此外,现有对于动态场景的散焦深度估计研究的工作相对较少的主要原因是很难采集到动态场景在某一时刻下的多张聚焦于不同深度下的散焦图像。
发明内容
本发明的目的旨在至少解决上述的技术问题之一。
为此,本发明的目的在于提出了一种动态场景的散焦深度估计和全聚焦图像获取方法,该方法能够实现动态场景的高质量捕获和深度信息提取,得到深度估计结果和全清晰图像后可以进行合成光圈、小视角自由视点等应用,容易实现。
为达到上述目的,本发明的实施例提出了一种动态场景的散焦深度估计和全聚焦图像获取方法,包括以下步骤:
获取多张散焦图像的第一深度图以及全局不一致的模糊核,根据所述全局不一致的模糊核对所述多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像,并根据所述初始的全聚焦图像和所述第一深度图进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图;
对所述每一时刻的全聚焦图像进行颜色分割以得到多个颜色分割区域,根据所述第二深度图获得所述每个颜色分割区域的区域深度图,对每个所述区域深度图进行平面拟合以更新所述第二深度图,并在空间上精化更新后的第二深度图以得到第三深度图,根据所述多张散焦图像和所述第三深度图进行去模糊优化以得到优化的全聚焦图像;以及
对所述优化的全聚焦图像进行光流估计以得到光流估计结果,根据所述光流估计结果对所述第三深度图进行平滑,在时间上精化第三深度图以得到时间一致的深度估计结果。
根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法,对于更富有挑战的数据(如纹理不丰富的场景)能获得更好的深度估计结果,并能获得全聚焦的图像。同时,在空间和时间上精化深度可以获得更加精确的动态场景深度估计结果和全聚焦图像,并能保证深度图时间上的一致性。此外,得到深度估计结果和全清晰图像后还可以进行合成光圈、小视角自由视点等应用。
在本发明的一个实施例中,聚焦于深度为s下的特定景深的散焦图像为:
其中,I为所述全聚焦图像,x和y均表示二维像素坐标,Ω∈R2表示像素坐标x的取值范围,hσ(y,x)为模糊核,所述hσ(y,x)可用高斯模型近似:
其中,σ(y)为对应像素y和深度相关的模糊量,σ(y)=γb(y),
其中,b为所述像素y处的模糊半径,F为焦距,D为光圈直径,v为像距,s(y)为物距,γ为校准参数。
此外,对所述第一深度图获取为
其中,为获取的所述第一深度图,Es为深度获取过程中的能量项,α为正则项系数,Em s为正则项,所述正则项使用深度图梯度的L1范数稀疏先验,当对于两幅聚焦于不同深度的图像I1、I2时,深度获取过程中的数据项为
其中H(·)为阶跃函数。
在本发明的一个实施例中,获得所述初始的全聚焦图像的过程为
其中,为获得的所述初始的全聚焦图像,Ei为所述初始的全聚焦图像获取过程中的优化能量项,α为所述正则项系数,Em i为正则项,所述正则项使用自然图像梯度的L1范数稀疏先验,所述初始的全聚焦图像获取过程中的数据项为
其中,为所述散焦图像I1、I2全局不一致的模糊核。
在本发明的一个实施例中,所述根据初始的全聚焦图像和所述第一深度图进行反馈迭代优化,包括如下步骤:
将所述全聚焦过程的能量项作为反馈以辅助对所述第一深度图的进一步估计,其中,当所述散焦视频序列包括两张散焦图像时,反馈的能量项为
对所述反馈能量项、所述深度估计数据项和所述正则项进行优化深度估计,
其中,Em s为所述正则项,Ed s为所述深度估计数据项,Ef s为所述反馈能量项。
在本发明的另一个实施例中,在空间上精化深度,包括以下步骤:
对所述每一时刻的全聚焦图像采用均值漂移Mean-Shift算法进行颜色分割;
设每个区域分割图s(x)表示为
s(x)=akx+bky+ck=[x y 1][ak bk ck]T,
其中,[x y 1]为x的图像齐次坐标,[ak bk ck]T为待求的平面参数;
对每个所述区域深度图进行平面拟合,得到优化的平面参数[ak *,bk *,ck *]T,根据所述优化的平面参数与所述s(x)=akx+bky+ck=[x y 1][ak bk ck]T更新所述第二深度图以获得所述第三深度图;
获得空间上精化的第三深度估计结果后,并再次根据所述利用所述散焦图像和所述第三深度图去模糊得到优化的全聚焦图像。
在本发明的一个实施例中,在时间上精化深度,还包括以下步骤:
获得在t时刻的所述全聚焦图像为It和所述深度图为st,在t+1时刻的所述全聚焦图像为It+1和所述深度图为st+1;
对所述t时刻和所述t+1时刻的所述全聚焦图像It和It+1之间进行光流估计以获得所述光流估计的结果Tt,t+1;
保持所述深度图st不变,将所述深度图st+1作为初值,通过优化能量项
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法的流程图;
图2为根据本发明一个实施例的动态场景的散焦深度估计和全聚焦图像获取方法的方框图;和
图3为根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法的进一步流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外,以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例,也可以包括另外的特征形成在第一和第二特征之间的实施例,这样第一和第二特征可能不是直接接触。
参照下面的描述和附图,将清楚本发明的实施例的这些和其他方面。在这些描述和附图中,具体公开了本发明的实施例中的一些特定实施方式,来表示实施本发明的实施例的原理的一些方式,但是应当理解,本发明的实施例的范围不受此限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
下面参照图1至图3描述根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法。
如图1所示,本发明实施例提出的动态场景的散焦深度估计和全聚焦图像获取方法包括以下步骤:
S101,获取多张散焦图像的第一深度图以及全局不一致的模糊核,根据全局不一致的模糊核对多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像,并根据初始的全聚焦图像和第一深度图进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图。其中,利用特定的图像采集设备采集动态场景的散焦视频序列,散焦视频序列为每一时刻为多张聚焦于不同深度下的散焦图像。
具体地,在本发明的一个实施例中,如图2所示,假设每一时刻的散焦图像为两张聚焦于不同深度下的散焦图像I1和I2,则聚焦于深度为s下的特定景深的散焦图像为:
其中,I为全聚焦图像,x和y均表示二维像素坐标,Ω∈R2表示像素坐标x的取值范围,hσ(y,x)为模糊核。而hσ(y,x)可用高斯模型近似:
其中,σ(y)为对应像素y和深度相关的模糊量,表示为:
σ(y)=γb(y),
其中,b为像素y处的模糊半径,F为焦距,D为光圈直径,v为像距,s(y)为物距(深度),γ为校准参数。
在本发明的一个实施例中,选定图像I1、I2为聚焦平面为v1、v2设置下所获得的散焦图像,则利用上述的卷积模型可以获得对于两幅聚焦于不同深度的图像I1、I2之间的相对模糊卷积模型:
其中,为和深度相关的相对模糊量,由公式(3)可以得到:
因此,相对模糊量和场景深度的关系为:
当时,和深度相关的相对模糊量为:
当时,和深度相关的相对模糊量为:
进一步地,对第一深度图的获取为:
其中,为获取的第一深度图,Es为深度获取过程中的能量项,α为正则项系数,Em s为正则项,即为平滑项,正则项使用各项同性的TV(Total Variation,全变差)正则化,即换言之,使用深度图梯度的L1范数稀疏先验。
并且,当对于两幅聚焦于不同深度的图像I1、I2时,深度获取过程中的数据项
其中,H(·)为阶跃函数。当对于三幅聚焦于不同深度的图像I1、I2、I3时,深度获取过程中的数据项为
在得到第一深度图后,根据式(2)、(3)可获得散焦图像I1、I2全局不一致的模糊核则获得初始的全聚焦图像的过程为:
其中,为获得的初始的全聚焦图像,Ei为初始的全聚焦图像获取过程中的优化能量项,α为正则项系数,Em i为正则项,正则项使用自然图像梯度的L1范数稀疏先验,初始的全聚焦图像获取过程中的数据项为
在本发明的一个实施例中,由于在深度估计和在进行全聚焦图像获取时候所使用的先验是不一样的。因此在根据初始的全聚焦图像和第一深度图进行反馈迭代优化时,将全聚焦过程的能量项作为反馈以辅助对第一深度图的进一步估计,其中,当散焦视频序列包括两张散焦图像I1、I2时,反馈的能量项为:
对反馈能量项、深度估计数据项和正则项进行优化深度估计,表示为:
其中,Em s为正则项,Ed s为深度图估计数据项,Ef s为反馈能量项。
这样对图像去模糊和反馈优化深度估计进行迭代最终直到收敛,获得每一时刻的全聚焦图像和深度估计结果即第二深度图。
S102,对每一时刻的全聚焦图像进行颜色分割以得到多个颜色分割区域,根据第二深度图获得每个颜色分割区域的区域深度图,对每个所述区域深度图进行平面拟合以更新第二深度图,并在空间上精化更新后的第二深度图以得到第三深度图,根据多张散焦图像和第三深度图进行去模糊优化以得到优化的全聚焦图像。
具体地说,在本发明的一个实施例中,在步骤S101中获得每一时刻的全聚焦的图像和第二深度图后,首先对每一时刻的全聚焦图像采用均值漂移Mean-Shift算法进行颜色分割,并假设每个分割区域Sk内的像素x(x=[x,y]∈Sk)位于一个散焦平面(深度平面),即像素x的区域分割图s(x)表示为:
s(x)=akx+bky+ck=[x y 1][ak bk ck]T (14)
其中,[x y 1]为x的图像齐次坐标,[ak bk ck]T为待求的平面参数。
其次,对每个区域深度图进行平面拟合,首先固定ak=bk=0及其它分割区域Sk'(k'≠k)内的像素深度,然后改变ck(取[smin,smax]内的所有量化等级),求得使能量函数式(13)最小的(此时Sk内的所有像素视差均为)。接下来以为初值,采用Levenberg-Marquardt方法迭代优化式(13)以得到优化的平面参数[ak *,bk *,ck *]T。
在本发明的另一个实施例中,也可以采用其它方法进行拟合,如对Sk内的所有或部分特征像素按其深度值建立超定方程式(15),其中m为像素个数。然后利用SVD(Singular Value Decomposition,奇异值分解),求取最小二乘问题min||A-BX||2的最优解X=[ak *,bk *,ck *]T。
最后,利用[ak *,bk *,ck *]T及式(14)更新Sk内每个像素的深度值,即更新第二深度图,然后得到I的初始深度图。固定Sk散焦平面后,其它分割区域的散焦平面用相同的方法一一求取,最终获得空间上精化后的深度估计结果,即第三深度图,并再次根据式(10)利用散焦图像和第三深度图去模糊优化以得到优化的全聚焦图像。
S103,对优化的全聚焦图像进行光流估计以得到光流估计结果,根据光流估计结果对第三深度图进行平滑,在时间上精化第三深度图以得到时间一致的深度估计结果。
具体地说,在本发明的一个实施例中,如图3所示,S103还包括以下步骤:
S301,获得在t时刻的全聚焦图像为It和深度图为st,在t+1时刻的全聚焦图像为It+1和深度图为st+1。
S302,对t时刻和t+1时刻的全聚焦图像It和It+1之间进行光流估计以获得光流估计的结果Tt,t+1。在本发明的一个示例中,光流估计的算法可以使用Brox04的算法。
S303,对深度图的平滑为保持深度图st不变,将深度图st+1作为初值,通过优化能量项
更新st+1,从而在时间上精化深度,获得时间一致的深度估计结果
根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法,是采用全局的方法,成像模型使用卷积模型,首先消除场景的辐射度变量只估计场景的深度,然后使用图像去模糊的方法估计场景的辐射度,进而优化深度估计结果,实现动态场景的全聚焦图像和深度图的获取。并且在每一个时刻的散焦图像深度估计过程,相比传统的散焦深度估计的算法,在整个迭代过程中加入了深度图和自然图像梯度的L1范数稀疏先验,对于更富有挑战的数据(如纹理不丰富的场景)能获得更好的深度估计结果,并能获得全聚焦的图像。同时,在空间和时间上精化深度可以获得更加精确的动态场景深度估计结果和全聚焦图像,并能保证深度图时间上的一致性。此外,得到深度估计结果和全清晰图像后还可以进行合成光圈、小视角自由视点等应用。最后,该方法可以在普通PC(Personal Computer,个人电脑)或者工作站等硬件上实现,容易广泛推广。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。
Claims (4)
1.一种动态场景的散焦深度估计和全聚焦图像获取方法,其特征在于,包括以下步骤:
获取多张散焦图像的第一深度图以及全局不一致的模糊核,根据所述全局不一致的模糊核对所述多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像,并将全聚焦过程的能量项作为反馈以辅助对所述第一深度图的进一步估计,其中,当散焦视频序列包括两张散焦图像时,反馈的能量项为
其中,I1和I2为散焦图像,x和y均表示二维像素坐标,和为所述全局不一致的模糊核,I为全聚焦图像;
对所述反馈能量项、深度估计数据项和正则项进行优化深度估计,
其中,为获取的所述第一深度图,α为正则项系数,β为反馈能量项系数,为正则项,为所述深度估计数据项,为所述反馈能量项,以根据所述初始的全聚焦图像和所述第一深度图进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图;
对所述每一时刻的全聚焦图像进行颜色分割以得到多个颜色分割区域,根据所述第二深度图获得每个所述颜色分割区域的区域深度图,对每个所述区域深度图进行平面拟合以更新所述第二深度图,并对所述每一时刻的全聚焦图像采用均值漂移Mean-Shift算法进行颜色分割,设每个区域分割图s(x)表示为
s(x)=akx+bky+ck=[x y 1][ak bk ck]T,
其中,[x y 1]为x的图像齐次坐标,[ak bk ck]T为待求的平面参数,对每个所述区域深度图进行平面拟合,得到优化的平面参数[ak *,bk *,ck *]T,根据所述优化的平面参数与所述每个区域分割图s(x)更新所述第二深度图以获得第三深度图,以及获得空间上精化的第三深度估计结果后,并根据公式其中,为获得的所述初始的全聚焦图像,Ei为所述初始的全聚焦图像获取过程中的优化能量项,Ed i为初始的全聚焦图像获取过程中的数据项,Em i为正则项,利用所述散焦图像和所述第三深度图去模糊得到优化的全聚焦图像,以在空间上精化更新后的第二深度图以得到第三深度图,根据所述多张散焦图像和所述第三深度图进行去模糊优化以得到优化的全聚焦图像;以及
对所述优化的全聚焦图像进行光流估计以得到光流估计结果,根据所述光流估计结果对所述第三深度图进行平滑,并获得在t时刻的所述全聚焦图像为It和所述深度图为st,在t+1时刻的所述全聚焦图像为It+1和所述深度图为st+1,对所述t时刻和所述t+1时刻的所述全聚焦图像It和It+1之间进行光流估计以获得所述光流估计的结果Tt,t+1,以及保持所述深度图st不变,将所述深度图st+1作为初值,通过优化能量项
2.如权利要求1所述的动态场景的散焦深度估计和全聚焦图像获取方法,其特征在于,聚焦于深度为s下的特定景深的散焦图像为:
其中,Ib(y)为所述散焦图像,Ω∈R2表示像素坐标x的取值范围,hσ(y,x)为模糊核,
其中,所述hσ(y,x)可用高斯模型近似:
其中,σ(y)为对应像素y和深度相关的模糊量,σ(y)=γb(y),
其中,b为所述像素y处的模糊半径,F为焦距,D为光圈直径,v为像距,s(y)为物距,γ为校准参数。
3.如权利要求2所述的动态场景的散焦深度估计和全聚焦图像获取方法,其特征在于,对所述第一深度图的获取为
其中,Es为深度获取过程中的能量项,所述正则项使用深度图梯度的L1范数稀疏先验,当对于两幅聚焦于不同深度的图像I1、I2时,深度获取过程中的数据项为
其中H(·)为阶跃函数。
4.如权利要求1-3任一项所述的动态场景的散焦深度估计和全聚焦图像获取方法,其特征在于,获得所述初始的全聚焦图像的过程为
其中,所述正则项使用自然图像梯度的L1范数稀疏先验,所述初始的全聚焦图像获取过程中的数据项为
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210096529.9A CN102663721B (zh) | 2012-04-01 | 2012-04-01 | 动态场景的散焦深度估计和全聚焦图像获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210096529.9A CN102663721B (zh) | 2012-04-01 | 2012-04-01 | 动态场景的散焦深度估计和全聚焦图像获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102663721A CN102663721A (zh) | 2012-09-12 |
CN102663721B true CN102663721B (zh) | 2015-04-15 |
Family
ID=46773200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210096529.9A Expired - Fee Related CN102663721B (zh) | 2012-04-01 | 2012-04-01 | 动态场景的散焦深度估计和全聚焦图像获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102663721B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140267701A1 (en) * | 2013-03-12 | 2014-09-18 | Ziv Aviv | Apparatus and techniques for determining object depth in images |
CN103417176B (zh) * | 2013-08-01 | 2015-02-18 | 深圳先进技术研究院 | 胶囊内窥镜及其自动调焦的方法 |
CN103440662B (zh) * | 2013-09-04 | 2016-03-09 | 清华大学深圳研究生院 | Kinect深度图像获取方法与装置 |
CN103795933B (zh) * | 2014-03-03 | 2018-02-23 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
CN104079827B (zh) * | 2014-06-27 | 2017-12-22 | 中国科学院自动化研究所 | 一种光场成像自动重对焦方法 |
JP6489932B2 (ja) * | 2015-05-19 | 2019-03-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
CN105100771A (zh) * | 2015-07-14 | 2015-11-25 | 山东大学 | 一种基于场景分类和几何标注的单视点视频深度获取方法 |
CN108700733A (zh) * | 2016-02-22 | 2018-10-23 | 皇家飞利浦有限公司 | 用于生成生物样本的具有增强景深的合成2d图像的*** |
CN107170007B (zh) * | 2016-03-02 | 2019-12-27 | 钰立微电子股份有限公司 | 具有图像散焦功能的图像装置及其产生散焦图像的方法 |
CN106709877B (zh) * | 2016-11-11 | 2019-10-22 | 天津大学 | 一种基于多参数正则优化模型的图像去模糊方法 |
CN106651932B (zh) * | 2016-11-17 | 2020-05-26 | 天津大学 | 基于多尺度梯度差值的单幅图像散焦模糊估计算法 |
CN106530259B (zh) * | 2016-11-24 | 2019-10-18 | 天津大学 | 一种基于多尺度散焦信息的全聚焦图像重建方法 |
CN107995424B (zh) * | 2017-12-06 | 2020-06-16 | 太原科技大学 | 基于深度图的光场全聚焦图像生成方法 |
CN109819229B (zh) * | 2019-01-22 | 2021-02-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111798484B (zh) * | 2020-06-30 | 2022-08-30 | 武汉大学 | 基于事件相机的连续稠密光流估计方法及*** |
CN112669355B (zh) * | 2021-01-05 | 2023-07-25 | 北京信息科技大学 | 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034230A (zh) * | 2010-12-17 | 2011-04-27 | 清华大学 | 增强图像可见性的方法 |
CN102314683A (zh) * | 2011-07-15 | 2012-01-11 | 清华大学 | 一种非平面图像传感器的计算成像方法和成像装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
US8542313B2 (en) * | 2010-01-27 | 2013-09-24 | Csr Technology Inc. | Depth from defocus calibration |
-
2012
- 2012-04-01 CN CN201210096529.9A patent/CN102663721B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034230A (zh) * | 2010-12-17 | 2011-04-27 | 清华大学 | 增强图像可见性的方法 |
CN102314683A (zh) * | 2011-07-15 | 2012-01-11 | 清华大学 | 一种非平面图像传感器的计算成像方法和成像装置 |
Non-Patent Citations (2)
Title |
---|
Depth estimation from image structure;Antonio Torralba等;《Pattern Analysis and Machine Intelligence,IEEE Transactions on》;IEEE JOURNALS & MAGAZINES;20020930;第24卷(第9期);1-13 * |
MAGAZINES,2002,第24卷(第9期),1-13. * |
Also Published As
Publication number | Publication date |
---|---|
CN102663721A (zh) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102663721B (zh) | 动态场景的散焦深度估计和全聚焦图像获取方法 | |
CN102741879B (zh) | 由单眼图像产生深度图的方法及其*** | |
US11663733B2 (en) | Depth determination for images captured with a moving camera and representing moving features | |
US20180255254A1 (en) | Automatic lens flare detection and correction for light-field images | |
US8472746B2 (en) | Fast depth map generation for 2D to 3D conversion | |
US8553972B2 (en) | Apparatus, method and computer-readable medium generating depth map | |
Yoon et al. | Adaptive defogging with color correction in the HSV color space for consumer surveillance system | |
US8340422B2 (en) | Generation of depth map for an image | |
US7787658B2 (en) | Creating a depth map | |
US8983176B2 (en) | Image selection and masking using imported depth information | |
CN105979165A (zh) | 虚化照片生成方法、装置和移动终端 | |
US20130251260A1 (en) | Method and system for segmenting an image | |
US20120068996A1 (en) | Safe mode transition in 3d content rendering | |
Fu et al. | An anisotropic Gaussian filtering model for image de-hazing | |
Luo et al. | Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors | |
Dong et al. | Low lighting image enhancement using local maximum color value prior | |
Liu et al. | Fog effect for photography using stereo vision | |
Wang et al. | Dehazing for single image with sky region via self-adaptive weighted least squares model | |
Leimkühler et al. | Perceptual real-time 2D-to-3D conversion using cue fusion | |
Park et al. | Improved DCP-based image defogging using stereo images | |
Luo et al. | Controllable motion-blur effects in still images | |
US9967546B2 (en) | Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications | |
Zhao et al. | Image aesthetics enhancement using composition-based saliency detection | |
Kim et al. | Practical background estimation for mosaic blending with patch-based Markov random fields | |
Zhu et al. | Video stabilization based on image registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150415 |