CN104063854A - 一种镜面参数约束模糊核的折反射全向图像复原方法 - Google Patents
一种镜面参数约束模糊核的折反射全向图像复原方法 Download PDFInfo
- Publication number
- CN104063854A CN104063854A CN201410331145.XA CN201410331145A CN104063854A CN 104063854 A CN104063854 A CN 104063854A CN 201410331145 A CN201410331145 A CN 201410331145A CN 104063854 A CN104063854 A CN 104063854A
- Authority
- CN
- China
- Prior art keywords
- image
- constraint
- piece
- fuzzy core
- image restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种镜面参数约束模糊核的折反射全向图像复原方法,在最大后验概率图像复原理论的框架下,根据折反射成像***的特点,提出了针对折反射成像模型的模糊核约束,即旋转对称性约束和空间变换性约束。本发明通过新的模糊核约束项,得到更好的全向图像复原效果。
Description
技术领域
本发明涉及数字图像处理领域,特别是一种折反射全向图像复原方法。
背景技术
由于折反射成像小型化和集成化的特点,使得基于折反射全向成像的全景应用也越来越多,典型的应用涉及登月探测、智能全景视频监控、移动机器人视觉导航、远程视频会议、虚拟场景漫游等等,如图1所示。但是随着应用的深入,折反射全向成像固有的空间分辨率低、分辨率不均匀、成像模糊等基础问题越来越突出,特别是散焦模糊问题,如图2所示。
目前,最大后验概率图像复原的方法是图像复原领域中应用最广泛的方法。该方法以概率统计学为基础,根据最大后验概率分布寻找最佳的可收敛方案,获得一个最优的解,即复原的清晰图像。在所述最大后验概率图像复原理论的框架下,图像复原问题的统计学模型可以表述为:
其中,b是模糊图像,l是清晰图像,k是模糊核。在这里假设l、b、k之间相互独立,并且考虑到模糊图像的一切信息都是已知的,于是有
p(k,l|b)∝p(b|l,k)p(l)p(k) (2)
公式(2)中,左边的项即为所期望的后验估计。对公式(2)左右两边同时取负对数,则可以得到
-logp(k,l|b)=-logp(b|k,l)-logp(l)-logp(k) (3)
公式(3)通过取负对数,可以转化为下述基于最大后验概率图像复原理论函数:
f(l)=||k*l-b||2+ρl(l)+ρk(k) (4)
其中,第一项表示对图像噪声的约束,第二项和第三项分别表示自然图像l和模糊核k的先验知识和约束条件,也称为正则项。
与普通图像去模糊相比,折反射散焦模糊问题并没有得到很好解决的瓶颈问题在于全向图像模糊核的估计和分析,即式(4)中的第三项。模糊核估计的准确与否决定了图像复原效果优劣。普通成像***的散焦模糊只和光圈大小与场景深度有关,而折反射***是通过曲面反射镜成像,模糊核的估计还需要集成考虑反射面方程和入射光线角度。因此传统的图像复原技术很难对全向图像散焦模糊进行准确的分析和描述,导致模糊核估计的偏差,从而限制了图像复原的效果。
发明内容
本发明所要解决的技术问题是,根据折反射成像***的镜面特点,在最大后验概率图像复原理论的框架下,提出一种镜面参数约束模糊核的折反射全向图像复原方法,使得全向图像的复原效果得到提高。
为实现上述技术效果,本发明采用的技术方案是,一种镜面参数约束模糊核的折反射全向图像复原方法,包括如下步骤:首先对折反射成像***采集到的全向图像b(x,y)进行分环和分块操作,再得出每个图像块的水平方向梯度值和竖直方向梯度值进而得出所在图像块的先验信息ρl(l),将所述先验信息ρl(l)与模糊核约束ρk(l)代入下述式中的基于最大后验概率图像复原理论函数中,得出清晰图像块l:
f(l)=||k*l-b||2+ρl(l)+ρk(l)
其中l为需要求解的清晰图像块,b为成像***获取的模糊图像块,k为模糊核,最后将求得的清晰图像块进行拼接融合,复原得到最终的清晰图像,本发明的特征在于,所述模糊核约束ρk(l)包括旋转对称性约束和空间变换性约束,即ρk(l)=ρ1(l)·ρ2(l),旋转对称性约束ρ1(l)=φ,其中φ表示方位角,l表示图像块,空间变换性约束其中l表示图像块,散焦模糊核的尺度参数σ=f(Sd)=1/Sd,其中Sd为物点对应深度。
根据实施例所述优选方案,所述图像块的先验信息ρl(l)为:
根据实施例所述优选方案,清晰图像块l的求解方法是:对所述基于最大后验概率图像复原理论函数式中l求导数,并令其等于0,即df(l)/dl=0,得出清晰图像块l。
作为优选实施例,本发明采用对重叠区域加权平均的融合方法来进行图像拼接融合,最终求得清晰图像。
以下将结合原理对本发明的详细过程进行描述:
本发明所述镜面参数约束模糊核的折反射全向图像复原方法,包括如下步骤:
一种镜面参数约束模糊核的折反射全向图像复原方法,包括如下步骤:
1)对折反射成像***采集到的全向图像b(x,y)进行分环和分块操作,其中x表示全向图像水平坐标,y表示全向图像竖直坐标。
所述分环操作的具体过程为:以全向图像的原点,即全向图像的中心,为中心,半径为rk到半径为rk+Δr的区域为第k个环,每个环的宽度Δr均相等,其中rk表示第k个环的内环半径;
所述分块操作的具体过程为:以过全向图像中心的水平线为基准线,以全向图像的中心为起点作射线,射线逆时针旋转,每隔固定弧度θ,进行分块;
2)再对已分环分块的全向图像b(x,y)求水平方向梯度值和竖直方向梯度值其中表示图像关于水平方向求偏导数,表示图像关于竖直方向求偏导数。在实际计算过程中,像素点(x,y)水平方向的梯度值计算方法为:即相邻两像素点值的差。同理,竖直方向的梯度值计算方法为:即相邻两像素点值的差;
3)结合上述步骤中得到的水平方向梯度值和垂直方向梯度值,计算图像块的先验信息ρl(l)。上述图像先验的计算方法有很多种,如Levin等人提出的稀疏先验计算方法,在参考文献:A.Levin,R.Fergus,F.Durand,and W.Freeman.Image and depth from a conventional camera with acoded aperture.SIGGRAPH,2007:1-8.中相关描述。还有Chan等人提出的总变分方法,在参考文献:T.F.Chan and C.K.Wong.Total variationblind deconvolution.IEEE Transaction on Image Processing,Volume.7,Issue.3,pp.370-375,1998.有相关描述。
4)结合折反射成像***的镜面参数,计算每个图像块的模糊核约束ρk(l),所述模糊核约束包括旋转对称性约束和空间变换性约束,即ρk(l)=ρ1(l)·ρ2(l)。
旋转对称性约束:同一圆环上的模糊核形状一样,但是由于折反射成像***的点对称性,同一圆环上的模糊核关于全向图像中心对称,旋转对称性约束的计算方法为:ρ1(l)=φ,其中φ表示方位角,l表示图像块。
空间变换性约束:全向图像中每个位置的模糊核是不相同的。以图像块为基本单位来研究散焦模糊核的变化,空间变化性有两点规律:(1)第i个图像块Pi对应的散焦模糊核Pik的模糊程度与距离全向图像中心的距离d有关;(2)散焦模糊核的模糊程度随d的增加而逐渐增大,变化大小同折反射成像***的镜面参数相关。
空间变换性约束的计算方法:其中l表示图像块,σ表示散焦模糊核的尺度参数,σ=f(Sd)=1/Sd,其中Sd为物点对应深度。
5)将得到的图像先验约束ρl(l)与模糊核约束ρk(l)代入下述式中的基于最大后验概率图像复原理论函数中,得出清晰图像块l:
f(l)=||k*l-b||2+ρl(l)+ρk(l)
其中l为需要求解的清晰图像块,b为成像***获取的模糊图像块,k为模糊核,ρl(l)为图像先验约束,ρk(l)为模糊核约束;
6)将求得的清晰图像块进行拼接融合,复原得到完整的清晰图像。
与现有的折反射图像去散焦模糊技术相比,本发明所具有的有益效果为:
本发明在最大后验概率图像复原的理论框架下,采用了特别针对折反射成像***特点设计模糊核约束,即包括旋转对称性约束和空间变换性约束,来进行图像复原,提高了全向图像去模糊效果。
附图说明
图1是折反射全向成像***的主要应用领域;
图2是折反射全向图像散焦模糊示意图,焦平面设置在内环,内环清晰图像,外环模糊;
图3是全向图像分环和分块示意图;
图4是全向图像模糊核旋转对称性示意图;
图5是本发明所述方法的流程图;
图6是横置折反射成像***实验装置图;
图7是采集的散焦模糊的全向图像;
图8通过本发明所述方法复原后的全向图像。
具体实施方式:
如图5所示,本实施例通过如图6所示的折反射成像***采集图像数据。成像***中,相机为Canon5D Mark II,镜头为50mm F/1.8的佳能镜头,光圈设置为F/1.8,采集750万像素的全向图像,焦点设置在折反射镜面的前端,折反射镜面为双曲面,参数为a=22.3mm,b=22.3mm,c=31.5mm。采集到的散焦模糊的全向图像如图7所示。
如图3所示,对采集的全向图像进行分环与分块操作。对于分环操作,其具体过程为:图像原点为中心,半径为rk到半径为rk+Δr的区域为第k个环,每个环的宽度均相等。其中rk表示第k个环的内环半径,Δr表示环的宽度,k表示环的序号。对于分块操作,其具体过程为:以过图像中心点的水平线为基准线,以图像中心为起点作射线,射线逆时针旋转,每隔固定弧度θ,进行分块。
本实施例将全向图像具体分成8个环,环的宽度,即Δr的取值,根据图像大小来确定,本实施例取值为1厘米。分环结束后,对每个环进行分块:以过全向图像中心的水平线为基准线,以全向图像的中心为起点作射线,射线逆时针旋转,每隔固定弧度45度,进行分块,即将每个环状图像分为8个块。
再对已分环分块的全向图像块b(x,y)求出水平梯度值和竖直梯度值其中表示图像关于水平方向求偏导数,表示图像关于竖直方向求偏导数。在实际计算过程中,像素点(x,y)水平方向的梯度值计算方法为:即相邻两像素点值的差。同理,竖直方向的梯度值计算方法为:即相邻两像素点值的差;
结合上述得出的梯度值和计算出图像先验约束ρl(l),
然后,结合实验平台参数和镜面参数,计算模糊核约束ρk(l),该步骤也是本实施例的重点,所述模糊核约束ρk(l)包括旋转对称性约束和空间变换性约束两个方面。
旋转对称性约束:同一圆环上的模糊核形状一样,但是由于折反射成像***的点对称性,同一圆环上的模糊核关于全向图像中心对称,如图4所示。旋转对称性约束ρ1(l)=φ,其中φ表示方位角。
空间变换性约束:全向图像中每个位置的模糊核是不相同的。以图像块为基本单位来研究散焦模糊核的变化,如图3所示。空间变化性有两点规律:(1)第i个图像块Pi对应的散焦模糊核Pik的模糊程度与距离全向图像中心的距离d有关;(2)散焦模糊核的模糊程度随d的增加而逐渐增大,变化大小同折反射成像***的镜面参数相关。空间变换性约束其中l表示图像块,σ表示散焦模糊核的尺度参数,σ=f(Sd)=1/Sd,其中Sd为该图像块对应深度。
综上,模糊核约束 其中σ=f(Sd)=1/Sd,Sd为该图像块对应深度,由镜面参数以及图像块所处位置确定。其中φ为模糊核方位角,由图像块所处位置确定,取值为0-90度之间。
将计算得到的图像先验约束ρl(l)与模糊核约束ρk(l)代入到基于最大后验概率图像复原理论框架中:
f(l)=||k*l-b||2+ρl(l)+ρk(l)
其中l为需要求解的清晰图像块,b为成像***获取的模糊图像块,k为模糊核,ρl(l)为图像先验约束,ρk(l)为模糊核约束。
对上述优化函数关于l求导数,并令其等于0,即df(l)/dl=0,通过求解上述方程,来最终求得清晰图像块l。
最后采用对重叠区域加权平均(参考文献:Szeliski and Richard,Imagealignment and stitching:A tutorial.Foundations andinComputer Graphics and Vision,2006,vol.2:1-104)的方法对所有复原得到的图像块进行拼接,融合成完整的清晰的全向图像,如图8所示,大大提高了全向图像的复原效果。
Claims (3)
1.一种镜面参数约束模糊核的折反射全向图像复原方法,包括如下步骤:首先对折反射成像***采集到的全向图像b(x,y)进行分环和分块操作,再计算得出分环分块后的每个图像块的水平方向梯度值和竖直方向梯度值进而得出所在图像块的先验信息ρl(l),将所述先验信息ρl(l)与模糊核约束ρk(l)代入下述式中的基于最大后验概率图像复原理论函数中,得出清晰图像块l:
f(l)=||k*l-b||2+ρl(l)+ρk(l)
其中l为需要求解的清晰图像块,b为成像***获取的模糊图像块,k为模糊核,最后将求得的清晰图像块进行拼接融合,复原得到最终的清晰图像,其特征在于,所述模糊核约束ρk(l)包括旋转对称性约束和空间变换性约束,即ρk(l)=ρ1(l)·ρ2(l),旋转对称性约束ρ1(l)=φ,其中φ表示方位角,l表示图像块;空间变换性约束其中l表示图像块,散焦模糊核的尺度参数σ=f(Sd)=1/Sd,其中Sd为物点对应深度。
2.根据权利要求1所述镜面参数约束模糊核的折反射全向图像复原方法,其特征在于,所述图像块的先验信息ρl(l)为:其中和分别为所述图像块的水平梯度值和竖直梯度值。
3.根据权利要求1或2所述镜面参数约束模糊核的折反射全向图像复原方法,其特征在于,清晰图像块l的求解方法是:对所述基于最大后验概率图像复原理论函数式中l求导数,并令其等于0,即df(l)/dl=0,得出清晰图像块l。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410331145.XA CN104063854B (zh) | 2014-07-11 | 2014-07-11 | 一种镜面参数约束模糊核的折反射全向图像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410331145.XA CN104063854B (zh) | 2014-07-11 | 2014-07-11 | 一种镜面参数约束模糊核的折反射全向图像复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104063854A true CN104063854A (zh) | 2014-09-24 |
CN104063854B CN104063854B (zh) | 2015-05-06 |
Family
ID=51551546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410331145.XA Active CN104063854B (zh) | 2014-07-11 | 2014-07-11 | 一种镜面参数约束模糊核的折反射全向图像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104063854B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897977A (zh) * | 2017-02-28 | 2017-06-27 | 长沙全度影像科技有限公司 | 一种鱼眼图像边缘增强方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100245593A1 (en) * | 2009-03-27 | 2010-09-30 | Electronics And Telecommunications Research Institute | Apparatus and method for calibrating images between cameras |
CN102663718A (zh) * | 2012-03-19 | 2012-09-12 | 清华大学 | 一种全局不一致图像去模糊的方法及*** |
CN103761710A (zh) * | 2014-01-08 | 2014-04-30 | 西安电子科技大学 | 基于边缘自适应的高效图像盲去模糊方法 |
-
2014
- 2014-07-11 CN CN201410331145.XA patent/CN104063854B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100245593A1 (en) * | 2009-03-27 | 2010-09-30 | Electronics And Telecommunications Research Institute | Apparatus and method for calibrating images between cameras |
CN102663718A (zh) * | 2012-03-19 | 2012-09-12 | 清华大学 | 一种全局不一致图像去模糊的方法及*** |
CN103761710A (zh) * | 2014-01-08 | 2014-04-30 | 西安电子科技大学 | 基于边缘自适应的高效图像盲去模糊方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897977A (zh) * | 2017-02-28 | 2017-06-27 | 长沙全度影像科技有限公司 | 一种鱼眼图像边缘增强方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104063854B (zh) | 2015-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11823363B2 (en) | Infrared and visible light fusion method | |
US20220044375A1 (en) | Saliency Map Enhancement-Based Infrared and Visible Light Fusion Method | |
CN105245841B (zh) | 一种基于cuda的全景视频监控*** | |
CN102984453B (zh) | 利用单摄像机实时生成半球全景视频图像的方法及*** | |
US11830222B2 (en) | Bi-level optimization-based infrared and visible light fusion method | |
CN105678742B (zh) | 一种水下相机标定方法 | |
CN109003311B (zh) | 一种鱼眼镜头的标定方法 | |
Kumar et al. | Unrectdepthnet: Self-supervised monocular depth estimation using a generic framework for handling common camera distortion models | |
Bradley et al. | Accurate multi-view reconstruction using robust binocular stereo and surface meshing | |
WO2019214568A1 (zh) | 一种基于深度的光场拼接方法 | |
EP3131060A1 (en) | Method and apparatus for constructing three dimensional model of object | |
US20240169674A1 (en) | Indoor scene virtual roaming method based on reflection decomposition | |
CN106504194B (zh) | 一种基于最佳拼接平面和局部特征的图像拼接方法 | |
CN107959805A (zh) | 基于混合相机阵列的光场视频成像***及视频处理方法 | |
CN112085659B (zh) | 一种基于球幕相机的全景拼接融合方法、***及存储介质 | |
CN101276465A (zh) | 广角图像自动拼接方法 | |
CN105303615A (zh) | 一种图像二维拼接与三维表面重建的组合方法 | |
CN103413276A (zh) | 一种基于纹理分布特征的深度增强方法 | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN110544205A (zh) | 基于可见光与红外交叉输入的图像超分辨率重建方法 | |
CN107633489A (zh) | 鱼眼镜头圆心重提取映射法畸变矫正方法 | |
CN102982524B (zh) | 玉米果穗有序图像的拼接方法 | |
CN102509093A (zh) | 近距离数字化证件信息采集*** | |
Nitschke et al. | Super-Resolution from Corneal Images. | |
CN102997891A (zh) | 场景深度的测量装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |