CN103020898A - 序列虹膜图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种序列虹膜图像超分辨率重建方法，首先选取合适的序列虹膜图像，分别进行定位及归一化处理，然后用频域的方法对序列归一化图像进行配准，在图像插值的基础上，采用改进的重复背投影法提取多幅虹膜图像信息对高分辨率虹膜图像进行估计和迭代，实现超分辨率虹膜图像重建。本发明可以有效减小低分辨率虹膜图像对识别性能的影响，提升***的鲁棒性，放宽对用户的限制，增加虹膜识别***的应用领域。

Description

序列虹膜图像超分辨率重建方法

技术领域

本发明属于生物特征识别领域，涉及数字图像处理、统计学习和模式识别等技术，特别是涉及一种序列虹膜图像的超分辨率重建方法。

背景技术

基于虹膜的身份鉴别以其高可靠性，稳定性和非侵犯性而占有生物特征识别技术的重要地位。一般的识别方法都是基于满足一定分辨率的图像进行的，如国际标准要求图像中虹膜直径不少于150像素。而在实际图像获取中，在一些特定环境，如远距离识别或者受到***光学性能的限制，不一定能获取较高分辨率的图像，低分辨率图像往往在识别时被摒弃，或者在识别时不能获得高的性能，对这些图像进行高分辨率重构能够增加识别率，提高***鲁棒性及易用性。

目前，虹膜图像的超分辨率重建可以基于普通图像超分辨率重建技术，但就虹膜图像而言，因其虹膜纹理与占据环形区域的特殊性，其重建过程与普通图像有所不同。其主要步骤包括图像预处理、图像配准和超分辨率重建。

虹膜图像在进行采集时由于瞳孔的振颤特性而使图像具有不同的瞳孔尺寸和虹膜纹理区域，在识别时只考虑虹膜纹理区域特征，因此可以先将虹膜进行定位及归一化展开，只保留虹膜纹理区域进行后续超分辨率重建。

序列图像的配准即运动估计，是寻找两幅图像在空间和灰度上的映射的过程，一般情况下图像配准的方法通常可分为三类：(1)基于像素的配准方法，即根据待配准图像的相关函数、Fourier变换和各阶矩量之间的关系式来计算配准参数。(2)基于特征的配准方法，即根据需要配准图像重要相同特征之间的几何关系确定配准参数。这类方法首先需要提取特征，如图像的边缘、角、点、线、曲率等具有不变性的特征。提取特征可在空间域内进行。也可在变换域内进行。(3)基于模型的配准方法，这种方法是根据图像失真的数学模型来进行非线性校正式的配准。由于虹膜图像的旋转在归一化图像中体现为水平位移，因此序列归一化虹膜图像的配准可只考虑二维的位移。根据归一化图像的特点，以及虹膜识别***的速度和精度要求，选择基于像素的Fourier变换方法来对其进行配准。

目前，序列虹膜图像的超分辨率重建方法多采用空域的方法，包括主成分变换法、基于学***均法、以及贝叶斯最大后验概率法等。这些方法包含先验信息的约束，能将插值、迭代、滤波重采样同复杂的运动模型结合起来处理。空域法的降质过程模型内容广泛，可以包括非理想采样、空间可变点扩散函数、全局运动和局部运动、光学模糊、运动模糊等。

重复背投影法也是空域法中的一种，首先用一幅输入图像进行插值作为输出图像的初始估计，并将所有低分辨率图像插值得到高分辨率图像,估计图像与实际观测图像的高分辨率插值图像之间的差值称为模拟误差，根据模拟误差不断更新当前估计。简而言之，就是重复地应用各幅低分辨率图像的插值图像与估计得到的高分辨率图像的差来更新估计的高分辨率图像。重复背投影法通过观测方程使超分辨率的结果与观测数据匹配，因此，可以用于序列虹膜图像的重建。

发明内容

(一)要解决的技术问题

本发明的目的在于减少虹膜识别***中对图像分辨率要求的限制，提供一种序列虹膜图像的超分辨率重建方法。此方法能提取低分辨率序列虹膜图像中的信息，重建得到高分辨率虹膜图像，提高虹膜识别***的易用性，具有更低的等错误率。

(二)技术解决方案

为达到上述目的，本发明提供了一种序列虹膜图像的超分辨率重建方法，其中至少使用一帧图像对序列虹膜图像进行重建，包括以下步骤：

S1、从视频中选取任意幅虹膜图像，并对选取的序列图像分别进行预处理，得到序列归一化虹膜图像；

S2、采用频域配准方法对序列归一化虹膜图像进行配准；

S3、采用改进的重复背投影法对配准后的归一化虹膜图像进行超分辨率重建；

上述方案中，所述步骤S1包括：S11、从视频序列中选取成像清晰、对比度较好的正面虹膜图像；S12、对选取的序列虹膜图像分别进行虹膜内外边界的定位，将虹膜区域从图像中分割，并将分割得到的虹膜区域映射到极坐标，得到归一化的虹膜图像。步骤S11中采用局部对比度法进行图像清晰度判断，并且采用微积分算子进行瞳孔和虹膜是否圆形的检测以确定是否为正向虹膜图像；步骤S12中采用Sobel算子和Hough变换的方法定位虹膜，采用分段插值得到虹膜纹理矩形图像。

上述方案中，所述步骤S2包括：S21、从序列虹膜图像中选取一帧作为参考帧，对所有序列图像进行频域变换并计算其他帧与参考帧之间的频移；S23、根据计算得到的频移计算对应的归一化图像中的水平和垂直位移并进行图像配准。其中采用Fourier变换的方法计算多帧图像间的位移，实现空域图像的运动估计。

上述方案中，所述步骤S3包括：S31、对配准后的归一化序列虹膜图像进行插值得到高分辨率序列插值图像；S32、将插值后的参考帧作为高分辨率图像的初始估计，计算估计图像与输入的第一帧高分辨率插值图像间的均方误差；采用迭代方式对高分辨率估计图像进行逐步修正迭代，每次迭代后再次计算均方误差，满足预设的收敛条件时停止迭代；S33、计算下一帧输入高分辨率插值图像与当前估计图像的均方误差，再次修正并迭代，直到最后一帧高分辨率插值图像与估计图像间的误差满足收敛条件，输出估计图像得到高分辨率归一化虹膜图像。其中步骤S32中在计算均方误差时，采用高分辨率序列插值图像的降质模型的中值与输入帧数的乘积来代替所有高分辨率序列插值图像的降质模型之和；步骤S32和S33的收敛条件为当前迭代与最后三次迭代之间的均方误差小于设定的阈值。

(三)有益效果

从上述技术方案可以看出，本发明具有以下有益效果：

1、本发明提供的这种序列虹膜图像的超分辨率重建方法，通过利用低分辨率序列虹膜图像间的互补信息，能有效重建出包含更多信息的高分辨率虹膜图像，实现多幅低分辨率虹膜图像信息融合到一幅高分辨率图像，而且可以对任意幅输入的虹膜图像进行重建。

2、本发明提供的这种序列虹膜图像的超分辨率重建方法，对虹膜图像归一化后进行配准，能够消除瞳孔收缩引起的虹膜纹理区域尺寸不一致带来的图像配准困难；此外，虹膜图像的旋转转变为归一化图像的平移，计算简便；采用基于灰度的频域变换的方法进行图像配准，处理速度快。

3、本发明提供的这种序列虹膜图像的超分辨率重建方法，采用一种改进的重复背投影法，通过逐次计算高分辨率估计图像与输入图像间的均方误差并修正来迭代得到更接近于虹膜图像源的高分辨率图像。采用高分辨率序列插值图像的降质模型的中值与输入帧数的乘积来代替所有高分辨率序列插值图像的降质模型之和，代入计算均方误差公式，不仅有效正确的估计高分辨率图像，而且提高了算法鲁棒性，在序列低分辨率虹膜图像中有一些离群值时，能提高识别精度。

附图说明

图1是序列虹膜图像超分辨率重建流程图；

图2是改进的重复背投影法进行超分辨率图像重建的流程图；

图3是不同分辨率水平的虹膜图像的示例，其中

(a)是常用的分辨率为640×480的虹膜图像（其中虹膜直径约200像元）；

(b)是分辨率为320×240的虹膜图像；

(c)是分辨率为160×120的虹膜图像；

图4是序列虹膜图像超分辨率重建的结果，其中

(a)是序列归一化虹膜图像；

(b)(c)(d)分别是用2、4、6幅图像重建的高分辨率归一化虹膜图像；

图5是不同数量虹膜图像进行超分辨率重建后建立对应虹膜数据库的识别ROC曲线及EER；

图6是采用本发明提供的序列虹膜图像超分辨率重建方法以及“图像平均（image averaging）”方法对Set S2分别采用4幅图像进行超分辨率重建后识别结果的比较。

具体实施方式

下面结合实施例并参照附图详细说明本发明技术方案中所涉及的各个细节问题。

低分辨率的虹膜图像会对识别性能有较坏的影响。一般来说，虹膜识别***的前端都有质量评价体系，对于低于一定分辨率的虹膜图像予以舍弃，只选择较高分辨率清晰虹膜图像做识别。但在一些大场景或远距离拍摄的情况下，或者受到***光学性能的限制，虹膜图像的分辨率无法达到标准。因此，对低分辨率序列虹膜图像进行超分辨率重建并识别，可提高虹膜识别***的易用性。

本发明提出的序列虹膜图像的超分辨率重建方法，可用于多种虹膜图像识别***，其流程图如图1所示，包括以下步骤：

S1、从视频序列中选取任意幅虹膜图像，并对选取的图像分别进行预处理，得到序列归一化虹膜图像；

S2、采用频域配准方法对序列归一化虹膜图像进行配准；

S3、采用改进的重复背投影法对配准后的归一化虹膜图像进行超分辨率重建；

下面对本发明涉及的关键步骤进行逐一说明。本发明所述方法中各个基本步骤的具体形式如下所述：

首先，步骤S1从视频序列中选取任意幅虹膜图像，并对选取的图像分别进行预处理，得到序列归一化虹膜图像。

采集到视频图像不一定每帧都是清晰有效的，从中选取合适的图像进行处理是保证有效超分辨图像重建的前提。对图像进行定位及归一化处理，可有效分隔出虹膜纹理区域，得到矩形区域便于后续处理。具体过程如下：

S11、选取任意幅成像清晰、对比度较好的正面虹膜图像。采用局部对比度法进行图像清晰度判断，并且采用微积分算子进行瞳孔和虹膜是否圆形的检测以确定是否为正向虹膜图像，同时利用圆形检测结果剔除眼皮遮挡严重的虹膜图像；

S12、对选取的序列虹膜图像分别进行虹膜内外边界的定位，将虹膜区域从图像中分割，并将分割得到的虹膜区域映射到极坐标，得到归一化的虹膜图像。采用二值化方法定位瞳孔边界，即虹膜内边界，然后采用Sobel算子进行边缘检测，利用Hough变换的方法定位虹膜外边界，采用分段插值将定位后的虹膜区域映射到极坐标得到归一化的虹膜图像。

其次，步骤S2是采用频域配准方法对其他序列帧与参考帧进行配准；

虹膜图像的旋转在归一化图像中转化为水平方向平移，通过估计归一化图像中的水平和垂直位移则可得到序列虹膜图像间的运动估计。具体过程如下：

S21、依据空间域的平移量与频域的频移量的对应关系，可以快速的实现运动估计。从序列虹膜图像中选取一帧作为参考帧，计算所有输入帧的傅里叶变换，比较输入帧与参考帧之间的频率位移。

S22、依据傅里叶变换公式，得到频率位移对应得水平和垂直位移。按照得到的位移量将图像平移配准。

最后，步骤S3是采用改进的重复背投影法对配准后的归一化虹膜图像进行超分辨率重建，其流程图如图2所示，具体过程如下：

S31、采用双三次线性插值对配准后的序列归一化图像插值，得到高分辨率的序列归一化虹膜图像

S32、对高分辨率图像进行估计和迭代，经过配准后的归一化虹膜图像降质模型表示为：

${\stackrel{\→}{Y}}_k=D_k{C}_k{F}_k\stackrel{\→}{X}+{\stackrel{\→}{E}}_k---\left(1\right)$

其中，X是用向量表示的高分辨率估计图像，Y_k表示输入n帧图像的第k幅图像，D_k表示降采样矩阵，C_k表示模糊矩阵，F_k表示几何变形矩阵，E_k表示噪声。对单帧高分辨率图像做降质处理，依次进行几何变形、模糊、降采样过程及增加噪声，获得低分辨率序列图像Y_k。

根据式（2）计算每一次迭代后的均方误差：

$L\left(\stackrel{\‾}{X}\right)=\frac{1}{2}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\stackrel{\→}{Y}}_k-D_k{C}_k{F}_k\stackrel{\→}{X}\left|\right|}_2^2---\left(2\right)$

根据式（3）图像的梯度总和

$\▿L\left(\stackrel{\→}{X}\right)={\mathrm{\Σ}}_{k=1}^n\left(F_k^T{C}_k^T{D}_k^T(D_k{C}_k{F}_k\stackrel{\→}{X}-{\stackrel{\→}{Y}}_k)\right)---\left(3\right)$

记

${\stackrel{\→}{B}}_k=F_k^T{C}_k^T{D}_k^T\left(D_k{C}_k{F}_k\stackrel{\→}{X}-{\stackrel{\→}{Y}}_k\right)---\left(4\right)$

采用式（5）来计算迭代后的图像梯度总和，

$\▿L\left(\stackrel{\→}{X}\right)(x,y)=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\stackrel{\→}{B}}_k---\left(5\right)$

采用高分辨率序列插值图像的降质模型的中值与输入帧数的乘积来代替所有高分辨率序列插值图像的降质模型之和，根据式（6）计算图像的均方误差：

其中， $\mathrm{median}{\left\{{\stackrel{\→}{B}}_k(x,y)\right\}}_{k=1}^n$ 表示 ${\stackrel{\→}{B}}_k(x,y)$ 的中值。

根据式（7）来对高分辨率估计图像进行迭代：

${\stackrel{\→}{X}}^{n+1}={\stackrel{\→}{X}}^n+\mathrm{\λ}\▿L\left(\stackrel{\→}{X}\right)---\left(7\right)$

S33、计算下一帧输入高分辨率插值图像与当前估计图像的均方误差，根据式（7）再次修正并迭代，直到最后一帧高分辨率插值图像与估计图像间的误差满足收敛条件，输出估计图像得到高分辨率归一化虹膜图像。其中收敛条件为当前迭代与最后三次迭代之间的均方误差小于设定的阈值。

为了验证算法有效性，将CASIA3.0虹膜数据库中的图像进行降采样得到不同分辨率水平的虹膜序列图像对提出的方法进行了测试。CASIA虹膜数据库是由中科院自动化所创建的一个共享数据库，用于评测虹膜识别算法，目前已经被国际上多家研究单位采用。选取虹膜数据库中的大小为640×480的虹膜灰度图像（其中虹膜直径约200像元），由100只眼睛、每只眼睛12幅不同的图像组成。本发明将选取的虹膜图像压缩为320×240和160×120，与原始图像共同建立对应数据库Set S1、S2和S3，如图3所示。

利用本发明提出的方法进行图像超分辨率重建，基于不同的图像数量（2、4、6幅图像序列）得到的重建结果如图4所示。通过识别结果验证图像重建的性能，以ROC曲线和等错误率（EER）进行识别性能的评价。虹膜图像特征提取采用经典Gabor滤波器进行。Gabor滤波器可以有效地提取不同频率和方向的特征。实验设计0°、45°、90°和135°共4个方向以及8、10、12、14、16共5个频率的20个Gabor滤波器来提取重建虹膜图像的特征。采用汉明距离作为分类器对虹膜的编码进行匹配，验证试验效果。

图5为对Set S2的虹膜图像采用2、4、6幅图像进行超分辨率重建后的识别ROC曲线及EER。本发明对于图像数量没有限定。由图可以看出，随着图像数量的增加，当序列图像数量大于4幅之后，识别性能并没有显著提升，因此可以采用4幅图像进行不同分辨率水平重建性能的比较。

实验对Set S2和Set S3虹膜图像分别选用4幅图像进行超分辨率重建与识别，得到EER分别由未重建前的0.2932%和0.3067％下降到重建后的0.1302%和0.1381%，提高了识别性能。

为了验证本发明的性能，同样选用4幅图像将本发明同图像平均法超分辨率图像重建进行对比，图像平均法得到的Set S2和Set S3重建后的EER为0.2101%和0.2180%，高于本发明相应的EER。图6为SetS2的两种方法重建图像的ROC曲线。数据和曲线说明本发明具有更低的等错误率和更高的识别性能。

本发明可以用于在远距离成像模式或受到***光学性能限制时获取低分辨率虹膜图像并用于识别的场景。***首先判断获取的虹膜图像的分辨率，如果分辨率较小，则进行序列图像的超分辨率重建，并进行识别。这样，可以在获取低分辨率虹膜图像时仍能进行识别，减少成像***光学性能的限制，增加虹膜识别***的工作距离或者拓展识别***的应用，用户使用更加方便。

综上所述，本发明能够在有效提高虹膜识别***的易用性和鲁棒性，是虹膜识别***中的关键技术。

Claims (9)

1.一种序列虹膜图像的超分辨率重建方法，其中至少使用一帧图像对序列虹膜图像进行超分辨力重建，包括以下步骤：

S1、从视频中选取序列虹膜图像，分别进行预处理，得到序列归一化虹膜图像；

S2、采用频域变换方法对序列归一化虹膜图像进行配准；

S3、采用改进的重复背投影法对配准后的归一化虹膜图像进行超分辨率重建。

2.根据权利要求1所述的序列虹膜图像超分辨率重建方法，其特征在于，所述步骤S1包括：

S11、从视频中选取任意幅纹理清晰、对比度良好的正面虹膜图像；

S12、对选取的序列虹膜图像分别进行虹膜内外边界的定位，将虹膜区域从图像中分割，并将分割得到的虹膜区域映射到极坐标，得到归一化的虹膜图像。

3.根据权利要求2所述的序列虹膜图像超分辨率重建方法，其特征在于，

步骤S11中采用局部对比度法进行图像清晰度判断，并且采用微积分算子进行瞳孔和虹膜是否圆形的检测以确定是否为正向虹膜图像；

4.根据权利要求2所述的序列虹膜图像超分辨率重建方法，其特征在于，

步骤S12中采用Sobel算子和Hough变换的方法定位虹膜，采用分段插值得到虹膜纹理矩形图像；

5.根据权利要求1所述的序列虹膜图像超分辨率重建方法，其特征在于，所述步骤S2包括：

S21、从序列虹膜图像中选取一帧作为参考帧，对所有序列图像进行频域变换并计算其他帧与参考帧之间的频移；

S22、根据计算得到的频移计算对应的归一化图像中的水平和垂直位移。

6.根据权利要求5所述的序列虹膜图像超分辨率重建方法，其特征在于，

采用Fourier变换的方法计算多帧图像间的位移，实现空域图像的运动估计；

7.根据权利要求1所述的序列虹膜图像超分辨率重建方法，其特征在于，所述步骤S3包括：

S31、对配准后的归一化序列虹膜图像进行插值得到高分辨率序列插值图像；

S32、将插值后的参考帧作为高分辨率图像的初始估计，计算估计图像与输入的第一帧高分辨率插值图像间的均方误差；采用迭代方式对高分辨率估计图像进行逐步修正迭代，每次迭代后再次计算均方误差，满足预设的收敛条件时停止迭代；

S33、计算下一帧输入高分辨率插值图像与当前估计图像的均方误差，再次修正并迭代，直到最后一帧高分辨率插值图像与估计图像间的误差满足收敛条件，输出估计图像得到高分辨率归一化虹膜图像。

8.根据权利要求7所述的序列虹膜图像超分辨率重建方法，其特征在于，

步骤S32中在计算均方误差时，采用高分辨率序列插值图像的降质模型的中值与输入帧数的乘积来代替所有高分辨率序列插值图像的降质模型之和；

9.根据权利要求7所述的序列虹膜图像超分辨率重建方法，其特征在于，

步骤S32和S33的收敛条件为当前迭代与最后三次迭代之间的均方误差小于设定的阈值。

Images