CN104063854A - 一种镜面参数约束模糊核的折反射全向图像复原方法 - Google Patents

Abstract

本发明公开了一种镜面参数约束模糊核的折反射全向图像复原方法，在最大后验概率图像复原理论的框架下，根据折反射成像***的特点，提出了针对折反射成像模型的模糊核约束，即旋转对称性约束和空间变换性约束。本发明通过新的模糊核约束项，得到更好的全向图像复原效果。

Description

一种镜面参数约束模糊核的折反射全向图像复原方法

技术领域

本发明涉及数字图像处理领域，特别是一种折反射全向图像复原方法。

背景技术

由于折反射成像小型化和集成化的特点，使得基于折反射全向成像的全景应用也越来越多，典型的应用涉及登月探测、智能全景视频监控、移动机器人视觉导航、远程视频会议、虚拟场景漫游等等,如图1所示。但是随着应用的深入，折反射全向成像固有的空间分辨率低、分辨率不均匀、成像模糊等基础问题越来越突出，特别是散焦模糊问题,如图2所示。

目前，最大后验概率图像复原的方法是图像复原领域中应用最广泛的方法。该方法以概率统计学为基础，根据最大后验概率分布寻找最佳的可收敛方案，获得一个最优的解，即复原的清晰图像。在所述最大后验概率图像复原理论的框架下，图像复原问题的统计学模型可以表述为：

$\arg \max p(k,l|b)=\arg \max \frac{p(b,l|k)p(l,k)}{p\left(b\right)}---\left(1\right)$

其中，b是模糊图像，l是清晰图像，k是模糊核。在这里假设l、b、k之间相互独立，并且考虑到模糊图像的一切信息都是已知的，于是有

p(k,l|b)∝p(b|l,k)p(l)p(k) (2)

公式(2)中，左边的项即为所期望的后验估计。对公式(2)左右两边同时取负对数，则可以得到

-logp(k,l|b)＝-logp(b|k,l)-logp(l)-logp(k) (3)

公式(3)通过取负对数，可以转化为下述基于最大后验概率图像复原理论函数：

f(l)＝||k*l-b||²+ρ_l(l)+ρ_k(k) (4)

其中，第一项表示对图像噪声的约束，第二项和第三项分别表示自然图像l和模糊核k的先验知识和约束条件，也称为正则项。

与普通图像去模糊相比，折反射散焦模糊问题并没有得到很好解决的瓶颈问题在于全向图像模糊核的估计和分析，即式(4)中的第三项。模糊核估计的准确与否决定了图像复原效果优劣。普通成像***的散焦模糊只和光圈大小与场景深度有关，而折反射***是通过曲面反射镜成像，模糊核的估计还需要集成考虑反射面方程和入射光线角度。因此传统的图像复原技术很难对全向图像散焦模糊进行准确的分析和描述，导致模糊核估计的偏差，从而限制了图像复原的效果。

发明内容

本发明所要解决的技术问题是，根据折反射成像***的镜面特点，在最大后验概率图像复原理论的框架下，提出一种镜面参数约束模糊核的折反射全向图像复原方法，使得全向图像的复原效果得到提高。

为实现上述技术效果，本发明采用的技术方案是,一种镜面参数约束模糊核的折反射全向图像复原方法，包括如下步骤：首先对折反射成像***采集到的全向图像b(x,y)进行分环和分块操作，再得出每个图像块的水平方向梯度值和竖直方向梯度值进而得出所在图像块的先验信息ρ_l(l)，将所述先验信息ρ_l(l)与模糊核约束ρ_k(l)代入下述式中的基于最大后验概率图像复原理论函数中，得出清晰图像块l：

f(l)＝||k*l-b||²+ρ_l(l)+ρ_k(l)

其中l为需要求解的清晰图像块，b为成像***获取的模糊图像块，k为模糊核，最后将求得的清晰图像块进行拼接融合，复原得到最终的清晰图像，本发明的特征在于，所述模糊核约束ρ_k(l)包括旋转对称性约束和空间变换性约束，即ρ_k(l)＝ρ₁(l)·ρ₂(l)，旋转对称性约束ρ₁(l)＝φ，其中φ表示方位角，l表示图像块，空间变换性约束其中l表示图像块，散焦模糊核的尺度参数σ＝f(S_d)＝1/S_d，其中S_d为物点对应深度。

根据实施例所述优选方案，所述图像块的先验信息ρ_l(l)为： ${\mathrm{\ρ}}_l\left(l\right)={\left|\right|{\▿}_{x}b\left|\right|}^{0.8}+{\left|\right|{\▿}_{y}b\left|\right|}^{0.8}.$

根据实施例所述优选方案，清晰图像块l的求解方法是：对所述基于最大后验概率图像复原理论函数式中l求导数，并令其等于0，即df(l)/dl＝0，得出清晰图像块l。

作为优选实施例，本发明采用对重叠区域加权平均的融合方法来进行图像拼接融合，最终求得清晰图像。

以下将结合原理对本发明的详细过程进行描述：

本发明所述镜面参数约束模糊核的折反射全向图像复原方法，包括如下步骤：

一种镜面参数约束模糊核的折反射全向图像复原方法，包括如下步骤：

1)对折反射成像***采集到的全向图像b(x,y)进行分环和分块操作,其中x表示全向图像水平坐标，y表示全向图像竖直坐标。

所述分环操作的具体过程为：以全向图像的原点,即全向图像的中心，为中心，半径为r_k到半径为r_k+Δr的区域为第k个环，每个环的宽度Δr均相等，其中r_k表示第k个环的内环半径；

所述分块操作的具体过程为：以过全向图像中心的水平线为基准线，以全向图像的中心为起点作射线，射线逆时针旋转，每隔固定弧度θ，进行分块；

2)再对已分环分块的全向图像b(x,y)求水平方向梯度值和竖直方向梯度值其中表示图像关于水平方向求偏导数，表示图像关于竖直方向求偏导数。在实际计算过程中，像素点(x,y)水平方向的梯度值计算方法为：即相邻两像素点值的差。同理，竖直方向的梯度值计算方法为：即相邻两像素点值的差；

3)结合上述步骤中得到的水平方向梯度值和垂直方向梯度值，计算图像块的先验信息ρ_l(l)。上述图像先验的计算方法有很多种，如Levin等人提出的稀疏先验计算方法，在参考文献：A.Levin,R.Fergus,F.Durand,and W.Freeman.Image and depth from a conventional camera with acoded aperture.SIGGRAPH,2007：1-8.中相关描述。还有Chan等人提出的总变分方法，在参考文献：T.F.Chan and C.K.Wong.Total variationblind deconvolution.IEEE Transaction on Image Processing,Volume.7,Issue.3,pp.370-375,1998.有相关描述。

4)结合折反射成像***的镜面参数，计算每个图像块的模糊核约束ρ_k(l)，所述模糊核约束包括旋转对称性约束和空间变换性约束，即ρ_k(l)＝ρ₁(l)·ρ₂(l)。

旋转对称性约束：同一圆环上的模糊核形状一样，但是由于折反射成像***的点对称性，同一圆环上的模糊核关于全向图像中心对称，旋转对称性约束的计算方法为：ρ₁(l)＝φ，其中φ表示方位角，l表示图像块。

空间变换性约束：全向图像中每个位置的模糊核是不相同的。以图像块为基本单位来研究散焦模糊核的变化，空间变化性有两点规律：(1)第i个图像块P_i对应的散焦模糊核P_ik的模糊程度与距离全向图像中心的距离d有关；(2)散焦模糊核的模糊程度随d的增加而逐渐增大，变化大小同折反射成像***的镜面参数相关。

空间变换性约束的计算方法:其中l表示图像块，σ表示散焦模糊核的尺度参数，σ＝f(S_d)＝1/S_d，其中S_d为物点对应深度。

5)将得到的图像先验约束ρ_l(l)与模糊核约束ρ_k(l)代入下述式中的基于最大后验概率图像复原理论函数中，得出清晰图像块l：

f(l)＝||k*l-b||²+ρ_l(l)+ρ_k(l)

其中l为需要求解的清晰图像块，b为成像***获取的模糊图像块，k为模糊核，ρ_l(l)为图像先验约束，ρ_k(l)为模糊核约束；

6)将求得的清晰图像块进行拼接融合，复原得到完整的清晰图像。

与现有的折反射图像去散焦模糊技术相比，本发明所具有的有益效果为：

本发明在最大后验概率图像复原的理论框架下，采用了特别针对折反射成像***特点设计模糊核约束，即包括旋转对称性约束和空间变换性约束，来进行图像复原，提高了全向图像去模糊效果。

附图说明

图1是折反射全向成像***的主要应用领域；

图2是折反射全向图像散焦模糊示意图，焦平面设置在内环，内环清晰图像，外环模糊；

图3是全向图像分环和分块示意图；

图4是全向图像模糊核旋转对称性示意图；

图5是本发明所述方法的流程图；

图6是横置折反射成像***实验装置图；

图7是采集的散焦模糊的全向图像；

图8通过本发明所述方法复原后的全向图像。

具体实施方式：

如图5所示，本实施例通过如图6所示的折反射成像***采集图像数据。成像***中，相机为Canon5D Mark II，镜头为50mm F/1.8的佳能镜头，光圈设置为F/1.8，采集750万像素的全向图像，焦点设置在折反射镜面的前端，折反射镜面为双曲面，参数为a＝22.3mm，b＝22.3mm，c＝31.5mm。采集到的散焦模糊的全向图像如图7所示。

如图3所示，对采集的全向图像进行分环与分块操作。对于分环操作，其具体过程为：图像原点为中心，半径为r_k到半径为r_k+Δr的区域为第k个环，每个环的宽度均相等。其中r_k表示第k个环的内环半径，Δr表示环的宽度，k表示环的序号。对于分块操作，其具体过程为：以过图像中心点的水平线为基准线，以图像中心为起点作射线，射线逆时针旋转，每隔固定弧度θ，进行分块。

本实施例将全向图像具体分成8个环，环的宽度，即Δr的取值，根据图像大小来确定，本实施例取值为1厘米。分环结束后，对每个环进行分块：以过全向图像中心的水平线为基准线，以全向图像的中心为起点作射线，射线逆时针旋转，每隔固定弧度45度，进行分块，即将每个环状图像分为8个块。

再对已分环分块的全向图像块b(x,y)求出水平梯度值和竖直梯度值其中表示图像关于水平方向求偏导数，表示图像关于竖直方向求偏导数。在实际计算过程中，像素点(x,y)水平方向的梯度值计算方法为：即相邻两像素点值的差。同理，竖直方向的梯度值计算方法为：即相邻两像素点值的差；

结合上述得出的梯度值和计算出图像先验约束ρ_l(l)， ${\mathrm{\ρ}}_l\left(l\right)={\left|\right|{\▿}_{x}b\left|\right|}^{0.8}+{\left|\right|{\▿}_{y}b\left|\right|}^{0.8}.$

然后，结合实验平台参数和镜面参数，计算模糊核约束ρ_k(l)，该步骤也是本实施例的重点，所述模糊核约束ρ_k(l)包括旋转对称性约束和空间变换性约束两个方面。

旋转对称性约束：同一圆环上的模糊核形状一样，但是由于折反射成像***的点对称性，同一圆环上的模糊核关于全向图像中心对称，如图4所示。旋转对称性约束ρ₁(l)＝φ，其中φ表示方位角。

空间变换性约束：全向图像中每个位置的模糊核是不相同的。以图像块为基本单位来研究散焦模糊核的变化，如图3所示。空间变化性有两点规律：(1)第i个图像块P_i对应的散焦模糊核P_ik的模糊程度与距离全向图像中心的距离d有关；(2)散焦模糊核的模糊程度随d的增加而逐渐增大，变化大小同折反射成像***的镜面参数相关。空间变换性约束其中l表示图像块，σ表示散焦模糊核的尺度参数，σ＝f(S_d)＝1/S_d，其中S_d为该图像块对应深度。

综上，模糊核约束 ${\mathrm{\ρ}}_k\left(l\right)={\mathrm{\ρ}}_1\left(l\right)\·{\mathrm{\ρ}}_2\left(l\right)=\frac{\mathrm{\φ}}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}\exp \left({\frac{\left|\right|\▿l\left|\right|}{2{\mathrm{\σ}}^2}}^2\right),$ 其中σ＝f(S_d)＝1/S_d，S_d为该图像块对应深度，由镜面参数以及图像块所处位置确定。其中φ为模糊核方位角，由图像块所处位置确定，取值为0-90度之间。

将计算得到的图像先验约束ρ_l(l)与模糊核约束ρ_k(l)代入到基于最大后验概率图像复原理论框架中：

f(l)＝||k*l-b||²+ρ_l(l)+ρ_k(l)

其中l为需要求解的清晰图像块，b为成像***获取的模糊图像块，k为模糊核，ρ_l(l)为图像先验约束，ρ_k(l)为模糊核约束。

对上述优化函数关于l求导数，并令其等于0，即df(l)/dl＝0，通过求解上述方程，来最终求得清晰图像块l。

最后采用对重叠区域加权平均(参考文献：Szeliski and Richard，Imagealignment and stitching:A tutorial.Foundations andinComputer Graphics and Vision,2006,vol.2:1-104)的方法对所有复原得到的图像块进行拼接，融合成完整的清晰的全向图像，如图8所示，大大提高了全向图像的复原效果。

Claims (3)

1.一种镜面参数约束模糊核的折反射全向图像复原方法，包括如下步骤：首先对折反射成像***采集到的全向图像b(x,y)进行分环和分块操作，再计算得出分环分块后的每个图像块的水平方向梯度值和竖直方向梯度值进而得出所在图像块的先验信息ρ_l(l)，将所述先验信息ρ_l(l)与模糊核约束ρ_k(l)代入下述式中的基于最大后验概率图像复原理论函数中，得出清晰图像块l：

f(l)＝||k*l-b||²+ρ_l(l)+ρ_k(l)

其中l为需要求解的清晰图像块，b为成像***获取的模糊图像块，k为模糊核，最后将求得的清晰图像块进行拼接融合，复原得到最终的清晰图像，其特征在于，所述模糊核约束ρ_k(l)包括旋转对称性约束和空间变换性约束，即ρ_k(l)＝ρ₁(l)·ρ₂(l)，旋转对称性约束ρ₁(l)＝φ，其中φ表示方位角，l表示图像块；空间变换性约束其中l表示图像块，散焦模糊核的尺度参数σ＝f(S_d)＝1/S_d，其中S_d为物点对应深度。

2.根据权利要求1所述镜面参数约束模糊核的折反射全向图像复原方法，其特征在于，所述图像块的先验信息ρ_l(l)为：其中和分别为所述图像块的水平梯度值和竖直梯度值。

3.根据权利要求1或2所述镜面参数约束模糊核的折反射全向图像复原方法，其特征在于，清晰图像块l的求解方法是：对所述基于最大后验概率图像复原理论函数式中l求导数，并令其等于0，即df(l)/dl＝0，得出清晰图像块l。