CN106529436B - 一种身份一致性认证方法、装置和移动终端 - Google Patents

Abstract

本发明公开了一种基于多模式生物识别的身份一致性认证方法，适于在含有复合成像设备的终端中执行，所述复合成像设备适于利用分区域分波段的滤光片组件将入射光源分为可见光波段及近红外光波段，并分别得到可见光成像模式下的图像A和近红外光成像模式下的图像B。该方法包括：分别获取待识别用户在可见光成像模式下的图像A，在近红外光成像模式下的图像B，以及两个成像模式切换过程的图像序列；分析得到所述图像序列的运动矢量信息和/或所述图像A和图像B的相似度信息；以及根据所述运动矢量信息和/或所述相似度信息对用户进行多种生物识别模式下的身份一致性认证。本发明还公开了对应的身份一致性认证装置和移动终端。

Description

一种身份一致性认证方法、装置和移动终端

技术领域

本发明涉及生物识别领域，更具体地，涉及一种基于多模式生物识别的身份一致性认证方法、装置和移动终端。

背景技术

近年来，我国互联网金融发展呈现如火如荼之势，也逐渐成为社会关注的焦点。但如果远程开户问题得不到妥善解决，绝大部分的互联网模式金融将不得不重新走回线下，从而使其丧失互联网属性。可见远程开户对于互联网金融发展至关重要。

生物特征识别技术为远程开户的身份核实提供了技术保证。人脸识别、虹膜识别、指纹识别等生物特征识别技术被广泛的应用于安防领域，但是金融领域相对于安防领域要求的安全等级更高，对于开放的金融***而言，一处安全隐患可能威胁到整个金融***的安全。应用单一模态的生物特征来完成远程身份认证存在安全弊端和应用局限性，比如虹膜识别对识别距离比较敏感，人脸识别性能又易受环境光线变化影响。因此，在移动终端上融合两种(或两种以上)生物特征识别技术，以提高识别的准确性和稳定性，对移动互联网环境下应用生物特征识别技术保证用户信息安全具有重要意义。

由于虹膜特殊的生理构造，虹膜识别一般采用760nm-880nm波段的近红外光作为光源，采用专门的近红外摄像头模组成像。这样的话，移动终端(智能手机等)的前面板需要开两个孔，一个用于放置自拍的可见光摄像头模组，一个用于放置近红外摄像头模组，这就导致硬件***设计复杂度和成本都显著上升，并不利于应用的普及。同时，相互独立的虹膜和人脸图像采集设备也会增加虹膜识别和人脸识别过程融合的复杂度和速度，影响用户体验。

发明内容

为此，本发明提供一种基于多模式生物识别的身份一致性认证方法、装置和移动终端，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种基于多模式生物识别的身份一致性认证方法，适于在含有复合成像设备的终端中执行，所述复合成像设备适于利用分区域分波段的滤光片组件将入射光源分为可见光波段和近红外光波段，并分别得到可见光成像模式下的图像A和近红外光成像模式下的图像B。该方法包括：分别获取待识别用户在可见光成像模式下的图像A、在近红外成像模式下的图像B，以及两个成像模式切换过程的图像序列；分析得到所述图像序列的运动矢量信息和/或图像A和图像B的相似度信息；以及根据运动矢量信息和/或相似度信息对用户进行身份一致性认证。

可选地，在根据本发明的方法中，根据运动矢量信息和/或所述相似度信息对用户进行身份一致性认证的步骤可以采用以下情况的任意一种或多种：(1)判断是否有连续多帧图像序列的运动矢量不满足预定要求，若是，则提醒待识别用户身份一致性认证失败；(2)根据相似度信息判断图像A和图像B中的用户身份是否一致；若否，则提醒待识别用户身份一致性认证失败；(3)分别计算得到运动矢量信息的第一分析结果r₁和所述相似度信息的第二分析结果r₂，并根据r＝r₁*x+r₂*y计算得到对待识别用户进行身份一致认证的最终结果，其中，x和y是对应项的权值。

可选地，在根据本发明的方法中，判断图像序列的运动矢量是否满足预定要求的操作包括：将获取到的图像序列每帧分割为多个分块图像；确定图像序列中发生运动的分块图像及分块图像的运动矢量；以及分别计算图像序列中运动矢量方向为横向且矢量幅值大于第一阈值的分块图像个数M与发生运动的分块图像个数N，以及M与N的比值；若该比值大于第二阈值，则判定该帧图像序列的运动矢量不满足预定要求。

可选地，在根据本发明的方法中，确定图像序列中发生运动的分块图像及分块图像的运动矢量方向的步骤包括：从图像序列中选取某一位置处的分块图像；对于所选取的分块图像，从前一帧图像中获取处于同一位置的同位分块图像，以及该同位分块图像的多个邻域分块图像，其中，同位分块图像与邻域分块图像共同作为所选取的分块图像的对比分块图像；计算所选取的分块图像与前一帧图像中的所有对比分块图像的相关性，并确定相关性最大的对比分块图像的位置；若相关性最大的对比分块图像的位置与所选取的分块图像位置不同，则判定该对比分块图像发生运动，其运动矢量方向指向所选取的分块图像，其运动矢量大小为两个位置间的距离。

可选地，在根据本发明的方法中，计算得到图像A和图像B的相似度信息的步骤包括：分别对图像A和B进行虹膜和眼角定位，得到其中的虹膜中心和眼角位置；根据双眼的虹膜中心及眼角位置分别从图像A和B中裁切出包含双眼的感兴趣区域；分别将图像A和B中的感兴趣区域旋转至水平方向，得到图像C和D；分别以眼角和虹膜中心为中心计算图像C和D中的多尺度高维局部二进制模式LBP特征，并将该LBP特征级联作为图像的特征向量；以及分别计算图像C和D的特征向量的相似度。

可选地，在根据本发明的方法中，从图像中裁切出包含双眼的感兴趣区域的步骤包括：从图像中裁切出包含双眼的矩形区域作为该图像的感兴趣区域，其中，矩形的长边与双眼的虹膜中心均相距第一距离，短边与其最接近的虹膜中心均相距第二距离。

可选地，在根据本发明的方法中，计算图像的多尺度高维LBP特征的步骤包括：分别以图像C和D为基础构建各自的图像金字塔；在所述图像金字塔的每层图像中分别以双眼的虹膜中心和眼角为中心划分感兴趣区域；将每个划分的感兴趣区域分割为m×m的矩形块；统计每个矩形块内的LBP直方图特征，得到矩形块级的LBP直方图特征；将所有矩形块级的LBP直方图特征连接起来，得到关键点级的LBP直方图特征；将每层图像中的每个关键点的LBP直方图特征按顺序连接起来，得到层级的LBP直方图特征；以及将所有层级的LBP直方图特征按图像层级顺序连接起来，得到最终的图像的特征向量。

可选地，在根据本发明的方法中，根据相似度信息对用户进行身份一致性认证的步骤包括：计算图像C和D的特征向量的相似度，若相似度大于第三阈值，则判定图像A和B中的待识别用户身份一致，否则身份不一致。其中，图像C和D的特征向量的相似度包括两个图像的相关度、卡方系数、相交系数和巴氏距离中的至少一种。

可选地，在根据本发明的方法中，图像A包括待识别用户的面部信息，图像B包括待识别用户的双眼信息，该方法还包括：根据数据库中存储的该用户的真实头像检验对图像A进行验证；若检验通过，则在近红外光成像模式下引导待识别用户调整人脸和复合成像设备的角度和/或距离，直至得到包含其双眼的图像B；以及根据数据库中存储的该用户的真实虹膜图像对图像B进行验证。

根据本发明的另一方面，提供了一种基于多模式生物识别的身份一致性认证装置，适于在含有复合成像设备的终端中执行，该复合成像设备适于利用分区域分波段的滤光片组件将入射光源分为可见光波段及近红外光波段，并分别得到可见光成像模式下的图像和近红外光成像模式下的图像，该装置包括：人脸图像采集单元，适于在可见光成像模式下采集包含待识别用户面部信息的图像A；虹膜图像采集单元，适于在近红外光成像模式下采集包含待识别用户双眼信息的图像B；运动矢量分析单元，适于获取两种成像模式切换过程的图像序列，并分析得到所述图像序列的运动矢量信息；相似度分析单元，适于图像A和图像B的相似度信息；以及身份一致性认证单元，适于根据运动矢量信息和/或相似度信息对用户进行身份一致性认证。

可选地，在根据本发明的装置中，身份一致性认证单元适于采用以下情况中的一种或多种对待识别用户进行身份一致性认证：(1)判断是否连续有多帧图像序列的运动矢量不满足预定要求，若是，则提醒待识别用户身份一致性认证失败；(2)根据相似度信息判断图像A和图像B中的用户身份是否一致；若否，则提醒待识别用户身份认证一致性失败；(3)分别计算得到运动矢量信息的第一分析结果r₁和所述相似度信息的第二分析结果r₂，并根据r＝r₁*x+r₂*y计算得到对待识别用户进行身份一致性认证的最终结果，其中，x和y是对应项的权值。

可选地，在根据本发明的装置中，运动矢量分析单元适于将获取到的图像序列每帧分割为多个分块图像；确定图像序列中发生运动的分块图像及分块图像的运动矢量；以及分别计算图像序列中运动矢量方向为横向且矢量幅值大于第一阈值的分块图像个数M与发生运动的分块图像个数N，以及M与N的比值；若该比值大于第二阈值，则判定该帧图像序列的运动矢量不满足预定要求。

可选地，在根据本发明的装置中，运动矢量分析单元适于从图像序列中选取某一位置处的分块图像；对于所选取的分块图像，从前一帧图像中获取处于同一位置的同位分块图像，以及该同位分块图像的多个邻域分块图像，所述同位分块图像与所述邻域分块图像共同作为所选取的分块图像的对比分块图像；计算所选取的分块图像与前一帧图像中的所有对比分块图像的相关性，并确定相关性最大的对比分块图像的位置；若相关性最大的对比分块图像的位置与所选取的分块图像位置不同，则判定该对比分块图像发生运动，其运动矢量方向指向所选取的分块图像。

可选地，在根据本发明的装置中，相似度分析单元适于分别对图像A和B进行虹膜和眼角定位，得到其中的虹膜中心和眼角位置；根据双眼的虹膜中心及眼角位置分别从图像A和B中裁切出包含双眼的感兴趣区域；分别将图像A和B中的感兴趣区域旋转至水平方向，得到图像C和D；分别以眼角和虹膜中心为中心计算图像C和D中的多尺度高维局部二进制模式LBP特征，并将该LBP特征级联作为图像的特征向量；以及分别计算图像C和D的特征向量的相似度。

可选地，在根据本发明的装置中，相似度分析单元适于从图像中裁切出包含双眼的矩形区域作为该图像的感兴趣区域，其中，矩形的长边与双眼的虹膜中心均相距第一距离，短边与其最接近的虹膜中心均相距第二距离。

可选地，在根据本发明的装置中，相似度分析单元适于分别以图像C和D为基础构建各自的图像金字塔；在图像金字塔的每层图像中分别以双眼的虹膜中心和眼角为中心划分感兴趣区域；将每个划分的感兴趣区域分割为m×m的矩形块；统计每个矩形块内的LBP直方图特征，得到矩形块级的LBP直方图特征；将所有矩形块级的LBP直方图特征连接起来，得到关键点级的LBP直方图特征；将每层图像中的每个关键点的LBP直方图特征按顺序连接起来，得到层级的LBP直方图特征；以及将所有层级的LBP直方图特征按图像层级顺序连接起来，得到最终的图像的特征向量。

可选地，在根据本发明的装置中，相似度分析单元适于计算图像C和D的特征向量的相似度；身份一致性认证单元适于在相似度大于第三阈值时判定图像A和B中的待识别用户身份一致，否则身份不一致。其中，图像C和D的特征向量的相似度包括两个图像的相关度、卡方系数、相交系数和巴氏距离中的至少一种。可选地，在根据本发明的装置中，图像A包括待识别用户的面部信息，图像B包括待识别用户的双眼信息，该装置还包括：人脸识别单元，适于根据数据库中存储的该用户的真实头像对图像A进行验证；位置引导单元，适于在人脸识别验证通过后，在近红外光成像模式下引导待识别用户调整人脸和复合成像设备的角度和/或距离，直至得到包含其双眼的图像B；以及虹膜识别单元，适于根据数据库中存储的该用户的真实虹膜图像对图像B进行验证。

根据本发明的又一方面，提供了一种移动终端，包括如上所述的基于多模式生物识别的身份一致性认证装置；以及复合成像设备，与所述身份一致认证装置相耦接，包括：镜头组件，包括固定焦距的光学透镜；滤光片组件，包括允许可见光波段的光通过的可见光带通滤光片和允许近红外光波段通过的近红外光带通区域；以及图像传感器，包括可见光成像区域、近红外光成像区域以及这两个区域之间的过渡区域，其中，可见光成像区域在可见光成像模式下对通过可见光带通滤光片的可见光进行成像，近红外光成像区域在近红外光成像模式下对通过近红外光带通滤光片的近红外光进行成像。

本发明采用复合成像设备得到待识别用户的近红外光图像和可见光图像。根据实际应用的需要，图像传感器可以选择性地仅输出可见光成像区域得到的可见光图像，或者近红外光区域得到的近红外光图像，用来进行单模态的可见光人脸识别或者近红外光虹膜识别。从硬件成本上，本方案并没有增加额外的摄像头组件，不会对用户正常使用移动终端造成影响。

对待识别用户在进行身份认证时，首先在可见光成像模式下获取该用户的面部图像，并与人脸图像数据库进行比对。人脸识别通过后，在近红外光成像模式下获取待识别用户的虹膜图像，并和虹膜图像数据库进行比对。为了保证在人脸和虹膜识别的切换过程的待识别人员的一致性，本发明获取可见光成像的彩色图像与近红外成像的灰度图像的相似度信息，并根据相似度信息对用户进行身份一致性认证；还可以获取两次成像模式切换过程的图像序列的运动矢量信息，并根据该运动矢量信息进行身份一致性认证；还可以按一定权重比例综合这两种信息进行身份一致性认证。即，本发明通过这两种信息的融合策略，多层次多方面地提高了用户的身份认证安全级别。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的移动终端100的结构框图；

图2示出了根据本发明一个实施例的复合成像设备200的示意图；

图3示出了根据本发明一个实施例的基于多模式生物识别的身份一致性认证方法300的流程图；

图4a和4b分别示出了通过复合成像设备200采集到的图像A和图像B示意图；

图5a和5b分别示出了图像A和图像B中的虹膜中心和眼角示意图；

图6a示出了从图像中裁切出感兴趣区域的示意图，图6b示出了将该感兴趣区域旋转至水平方向后的示意图；

图7a和7b分别示出了从图像A和图像B中裁切出的包含待识别用户双眼的感兴趣区域示意图；

图8示出了构建图像金字塔并提取虹膜中心的LBP特征的示意图；

图9示出了根据本发明一个实施例的基于多模式生物识别的身份一致性认证装置900的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明提出一种基于多模式生物识别的身份一致性认证装置，其可以驻留在多种终端设备中，如手机、平板或笔记本电脑等，也可以驻留在计算设备中。图1示出了根据本发明一个实施例的移动终端100的结构框图。如图1所述，移动终端100包括：存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104，以及***接口106。存储器接口102、一个或多个处理器104和/或***接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子***可以耦合到***接口106，以便帮助实现多种功能。例如，运动传感器110、光传感器112和距离传感器114可以耦合到***接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与***接口106相连，例如定位***(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。

相机子***120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子***和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。可以通过一个或多个无线通信子***124来帮助实现通信功能，其中无线通信子***可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子***124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如，移动终端100可以包括被设计成支持GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及BlueboothTM网络的通信子***124。音频子***126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。

I/O子***140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。

存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如NAND，NOR)。存储器150可以存储操作***152，例如Android、IOS或是Windows Phone之类的操作***。该操作***152可以包括用于处理基本***服务以及执行依赖于硬件的任务的指令。存储器150还可以存储应用154。这些应用在操作时，会从存储器150加载到处理器104上，并在已经由处理器104运行的操作***之上运行，并利用操作***以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。应用可以是独立于操作***提供的，也可以是操作***自带的。另外，应用154被安装到移动终端100中时，也可以向操作***添加驱动模块。

在上述各种应用154中，其中的一种应用为与本发明相关的基于多模式生物识别的身份一致性认证装置900。在一些实施例中，移动终端100被配置为执行根据本发明的基于多模式生物识别的身份一致性认证方法300。

在利用移动终端1进行虹膜识别时，通常需要单独的近红外摄像头进行虹膜成像，不能够与现有的可见光成像(光谱频率在380-760nm)的摄像头进行复用(比如智能手机现有的前置彩色摄像头)，无疑增加了移动终端的结构复杂度。而本方案中提出了一种通过移动终端的单摄像头即可进行近红外光和可见光双波段的复合成像设备200，从而有效解决该问题。

一般地，复合成像设备200与身份一致性认证装置900相耦接，用于执行基于多模式生物识别的身份一致性认证方法300。进一步地，该设备200被布置于移动终端屏幕正面的一侧，比如屏幕顶部或者屏幕底部。近红外光源可以包括780～880nm波段范围内的一颗或多颗红外LED，可选地，近红外光源放置于移动终端的触摸板之下，例如，移动终端的正面按键底层(如Home键底层)，这样不必在其他位置专门开孔导致影响视觉外观。

图2示出了根据本发明一个实施例的移动终端100的复合成像设备200的结构框图。如图2所示，该复合成像设备200包括：依次沿着入射光路布置的镜头组件230、滤光片组件220和图像传感器210。其中，滤光片组件220包括可见光带通滤光片221和近红外光带通滤光片222(图中示出为用反斜线填充)，图像传感器210包括用于近红外光成像的区域a(图中示出为用反斜线填充)、用于可见光成像的区域b以及在a、b区域之间的过渡区域c(示出为用横线填充)。

全光谱光线入射穿过镜头组件230并到达滤光片组件220，其中可见光带通滤光片221允许可见光(例如，波长为380-760nm)通过，而近红外光带通滤光片222允许近红外光(例如，波长为780-880nm)通过。可见光带通滤光片221和近红外光带通滤光片222可以通过镀膜来实现。通过可见光带通滤光片221的可见光基本在图像传感器的区域b成像，而通过近红外光带通滤光片222的近红外光基本在图像传感器的区域a成像。利用图像处理软件可以分别将图像传感器的区域b和a的成像区分开来，其中区域b的成像对应于正常的可见光成像，例如用户使用诸如手机等移动终端进行日常自拍时的成像，而区域a的成像对应于近红外模式下的成像，例如用户在使用手机进行虹膜识别时的成像。这样，可以便捷地实现可见光和近红外光成像之间的切换，而不需要配备运动部件来切换滤光片，大幅度提高了稳定性。

前文提到，对于开放的金融***而言，人脸识别性能结合虹膜识别等其他多模态的生物特征识别方式尤其必要；如先进行人脸识别，再进行虹膜识别以进一步确认。但在应用过程中却又会存在如下问题：由于人脸识别和虹膜识别在时间和空间上是分两个阶段进行的，如果活体检测算法被攻破，不法分子就可以使用他人的照片及身份证件进行人脸识别的非法操作。例如，远程开户时(如办***)可以要求录入开户人的人脸图像和虹膜图像，不法分子若攻破人脸识别时的活体检测算法，就可以使用他人的一张脸部图片(如身份证照)进行人脸识别，再录入自己的虹膜图像，从而以他人名义完成了开户。虽然两个图像都录入了，但实际上这两个图像中并不是同一个人。所以，这种方式下使用人脸和虹膜的多模式生物识别存在安全隐患，其切换过程中无法保证待识别人员的一致性。

为此，本发明进一步提出了一种基于多模式生物识别的身份一致性认证方案，以保证人脸和虹膜识别的切换过程的待识别人员的一致性。

图3示出了根据本发明一个实施例的基于多模式生物识别的身份一致性认证方法300的流程图。如图3所示，该方法始于步骤S310。

在步骤S310中，分别获取待识别用户在可见光成像模式下的图像A，在近红外成像模式下的图像B，以及两个成像模式切换过程的图像序列。其中，图像A通常包括待识别用户的面部信息，其通常为彩色图像；图像B通常包括待识别用户的双眼信息，如虹膜信息，其通常为灰度图像。

在可见光成像模式下，移动终端通过复合成像设备200采集待识别用户的面部图像A，如图4a所示。在步骤S310之前，开户人可以远程提交其身份证信息，客户端读取该信息(头像，姓名，身份证号等)上传至服务器，并与公安部数据库中的信息比对，确保其证件真实性。获取到该面部图像A后，与提交的身份证信息中的头像进行一对一的人脸匹配，确保待开户人员身份的真实性。当然，无论是与公安部的数据库对比，还是与服务器中上传的身份信息对比，都可以认为是与数据库中预先存储的真实头像作对比。应当注意的是，本发明对人脸识别算法不作限制，任何人脸识别算法都可以与本发明的实施例相结合，以完成人脸识别步骤。

人脸识别通过后，可以在近红外光成像模式下，通过复合成像设备200采集包含待识别用户双眼的图像B，如图4b所示。通常，采用复合成像设备采集人脸图像和虹膜图像时，对人与采集端的角度或距离要求并不同，所以在采集虹膜图像之前，可以引导待识别用户调整其脸部和复合成像设备之间的角度和/或距离，直至采集到包含其双眼的图像B。当然，获取虹膜图像后，也需要进行虹膜图像的识别，具体地，也是与数据库中存储的该用户的真实虹膜图像作对比，进一步确定待识别用户的身份。应当注意的是，本发明对虹膜识别算法不作限制，任何虹膜识别算法都可以与本发明的实施例相结合，以完成虹膜识别步骤。

虽然通过人脸识别和虹膜识别能够很大程度的保证待识别用户的真实性，但由于人脸和虹膜识别在时间和空间上是分两个阶段进行的，所以需要保证人脸和虹膜采集的切换过程中待识别人员的一致性，以免造成安全隐患。本发明先获取可见光下的彩色人脸图像，提醒用户进入近红外虹膜采集模式，分析该切换过程图像序列的运动矢量，之后采用运动矢量信息和相似度信息的组合策略对用户进行身份一致认证。

具体地，在步骤S320中，分析得到所述图像序列的运动矢量信息和/或图像A和图像B的相似度信息；并在步骤S330中，根据所述运动矢量信息和/或所述相似度信息对用户进行多种生物识别模式下的身份一致性认证。其中，运动矢量信息可以包括所述图像序列的运动矢量方向和运动矢量幅值。

进一步地，采用运动矢量信息和相似度信息的组合策略可以为：如果运动矢量信息满足预定要求则继续采集近红外的双眼灰度图像，并计算图像A与图像B的相似度作为最终判断依据。当然，如果不满足预定要求则表示图像切换失败，此时既可以选择不再进行近红外灰度图像，即直接终止身份认证过程；也可以暂不终止该过程，继续获取近红外灰度图像，并计算图像A与图像B的相似度，以及融合运动矢量分析结果和相似度比较结果得到最终的判断结果。

也就是，可以采用以下情况的任意一种或多种对用户进行身份一致性认证：

(1)根据运动矢量信息直接判断：

判断是否有连续多帧图像序列的运动矢量不满足预定要求，若是，则提醒待识别用户身份一致性认证失败。应当理解，图像序列的采集在虹膜图像采集之前，所以可以一边采集图像序列，一边对其分析判断；如果连续多张都不满足预定要求，则直接认定图像切换过程有误，可能存在不同人员的切换。之后，不再进行近红外光下的灰度图像采集。

(2)根据相似度信息直接判断：

根据相似度信息判断图像A和图像B中的用户是否为同一人；若否，则提醒待识别用户身份一致性认证失败。这里，不管运动矢量分析的结果如何，都可以认定身份一致性认证失败。

(3)融合运动矢量信息和相似度信息进行判断：

这种情况下，如果运动矢量分析结果认为图像切换过程有误，也依然采集灰度图像，只是最后要把两个分析结果根据其权值进行计算。具体地，分别计算得到所述运动矢量信息的第一分析结果r₁和所述相似度信息的第二分析结果r₂，并根据r＝r₁*x+r₂*y计算得到对待识别用户进行身份一致认证的最终结果，其中，x和y是对应项的权值。比如，若根据运动矢量分析其可能是同一人的概率为30％，根据相似度分析的概率为40％，则根据各项自定义的权值，得到最终是否是同一人的概率。当然，这只是一个示例性的说明，可以用其他方式表示该分析结果及最终结果的计算过程，本发明对此不作限制。

根据一个实施例，运动矢量不满足预定要求一般是指图像序列的运动矢量方向总体来看比较偏向横向且其变化幅值大于一定阈值，以此避免用户不小心晃动手机所引起的计算误差。在分析运动矢量信息时，移动终端记录下在两个图像采集的切换过程的图像序列，并分析所述图像序列的运动矢量方向和运动矢量幅值；每采集一张图像序列都先判断该图像的运动矢量是否满足预定要求，如果连续m帧图像序列都不满足预定要求，则认为存在不同人的切换，提醒待识别用户身份一致认证失败。

进一步地，分析图像序列的运动矢量方向是否满足预定要求可以包括：对于获取到的每帧图像序列，都将其分割为多个分块图像，确定该图像序列中发生运动的分块图像，以及每个运动的分块图像的运动矢量，并分别统计发生运动的分块图像个数N、运动矢量方向为横向且矢量幅值大于第一阈值的分块图像个数M，以及M与N的比值。之后，判断M与N的比值是否大于第二阈值；若是，则判定该帧图像序列不满足预定要求；若否，则认为是正常操作，可以继续进行后续的图像采集过程。其中，第二阈值可以是0.6。

应当注意的是，在计算连续m帧图像时，若某一帧图像序列的所有分块图像均未发生运动，则舍弃该图像序列不计入连续m张的计算过程。例如，若已有连续2张图像序列不满足预定要求，而第3张图像未发生运动，则如果第4张图像依然不满足预定要求，则可认为有连续3张图像序列不满足预定要求。

进一步地，确定图像序列中发生运动的分块图像及其运动矢量的方法可以包括：以第P帧图像为例，先确定该第P帧图像的前一帧图像，即第P-1帧图像；从第P帧图像中选取某一位置处的分块图像；对于所选取的分块图像，从第P-1帧图像中获取处于同一位置的那个同位分块图像，并获取以该同位分块为中心的多个邻域分块图像，如3×3邻域分块图像。其中，同位分块图像与它的邻域分块图像，即包含该同位分块的共9个分块图像ImgSub_i(i＝0,1,...,8)，共同作为所选取的分块图像的对比分块图像。

之后，计算第P帧图像中的所选取的分块图像与第P-1帧图像中的对应位置的所有对比分块图像ImgSub_i(i＝0,1,...,8)的相关性，并确定相关性最大的对比分块图像的位置。其中，若相关性最大的对比分块图像的位置与所选取的分块图像的位置不同，则判定该对比分块图像发生运动，其运动矢量方向指向所选取的分块图像，其运动矢量大小为两个位置间的距离。其中，图像相关性算法可以采用现有的任意算法，本发明对此不作限制。

根据另一个实施例，计算得到图像A和图像B的相似度信息时，可以先分别对图像A和图像B进行虹膜和眼角定位，得到其中的虹膜中心和眼角位置，得到的人眼上的关键点分别如图5a和5b中的实心圆点所示，均包括虹膜中心、左眼的左右顶点和右眼的左右顶点。具体地，可以先进行眼睛定位；然后通过虹膜分割的虹膜圆确定虹膜中心，通过角点检测确定双眼眼角。其中眼睛定位可以采用adaboost分类器等方法，虹膜分割可以采用hough变换检测圆的方法，当然也都可以采用其他常规方法，本发明对此不做限制。

随后，根据双眼的虹膜中心和眼角位置分别从图像A和B中裁切出包含双眼的感兴趣区域(Region Of Intrest，ROI)。感兴趣区域为一个矩形区域，该区域的尺寸是由眼间距nDist连线长度d及其位置决定的。根据一个实施例，眼间距nDist可以由双眼虹膜中心的距离表示。裁切方法为：从图像中裁切出包含双眼的虹膜中心的矩形区域作为该图像的感兴趣区域，该矩形的两个长边与双眼的虹膜中心均相距第一距离d₁，短边与该短边最接近的虹膜中心均相距第二距离d₂。

图6a示出了从图像中裁切出感兴趣区域的示意图。设左右眼虹膜中心的坐标分别为(x₀,y₀)(x₁,y₁)，则虹膜中心距离

虹膜中心横坐标差值Δx＝|x₁-x₀|，双眼虹膜连线与水平方向的夹角θ＝arcos(Δx/d)。

利用以上信息求解感兴趣区域的矩形P₁P₂P₃P₄各顶点的坐标，具体地，

如果y₀≤y₁，则各点的横纵坐标分别为：

x(P₁)＝x₀-d₁×cosθ–d₂×sinθ，y(P₁)＝y₀-d₁×sinθ+d₂×cosθ；

x(P₂)＝x₀-d₁×cosθ+d₂×sinθ，y(P₂)＝y₀-d₁×sinθ-d₂×cosθ；

x(P₃)＝x₁+d₁×cosθ+d₂×sinθ，y(P₃)＝y₁+d₁×sinθ-d₂×cosθ；

x(P₄)＝x₁+d₁×cosθ–d₂×sinθ，y(P₄)＝y₁+d₁×sinθ+d₂×cosθ。

如果y₀>y₁，则各点的横纵坐标分别为：

x(P₁)＝x₀-d₁×cosθ+d₂×sinθ，y(P₁)＝y₀+d₁×sinθ+d₂×cosθ；

x(P₂)＝x₀-d₁×cosθ-d₂×sinθ，y(P₂)＝y₀+d₁×sinθ-d₂×cosθ；

x(P₃)＝x₁+d₁×cosθ-d₂×sinθ，y(P₃)＝y₁-d₁×sinθ-d₂×cosθ；

x(P₄)＝x₁+d₁×cosθ+d₂×sinθ，y(P₄)＝y₁-d₁×sinθ+d₂×cosθ。

根据P₁、P₂、P₃、P₄点的坐标即可确定感兴趣区域，如图6a中的矩形框所示。根据一个实施例，可以选取第一距离d₁＝d/6，第二距离d₂＝d/2。图6b示出了将图6a中的感兴趣区域旋转至水平方向后的示意图，其长边位于水平方向。其旋转的的具体过程包括：获取图像中双眼的虹膜中心坐标(x₀,y₀)，(x₁,y₁)；计算双眼的虹膜中心距离d，以及双眼虹膜中心的横坐标差值Δx；计算双眼虹膜中心连线与水平方向的夹角θ；将该感兴趣区域旋转θ角，使其长边位于水平方向。

随后，分别将图像A和B中的感兴趣区域旋转至水平方向，得到图像C和D，如图7a和7b所示。之后，分别以眼角和虹膜中心为中心计算图像C和D中的多尺度高维局部二进制模式LBP(Local Binary Patterns)特征，并将该LBP特征级联作为图像的特征向量。最后，分别计算图像C和D的特征向量的相似度，并根据该相似度判断图像A和B中的待识别用户是否为同一人。

根据一个实施例，判断图像A和B中的待识别用户是否身份一致，可以计算图像C和D的特征向量的相似度，若相似度大于第三阈值，则判定图像A和B中的待识别用户身份一致，否则身份不一致。其中，特征向量的相似度可以选取两个图像的相关度、卡方系数、相交系数或巴氏距离等常见的相似度参数，本发明对此不作限制，第三阈值可以取0.2。

进一步地，计算图像的多尺度高维LBP特征的步骤可以包括：将图像C或D模糊之后向下采样，得到不同分辨率的图像，同时每次得到的新的图像宽与高是原来图像的1/2，即以图像C和D为基础构建各自的图像金字塔。其中，最常见就是基于高斯的模糊之后采样，得到的一系列图像称为高斯金字塔。之后，对图像金字塔每层以图像关键点为中心，如虹膜中心和眼角，获取感兴趣区域，并将该感兴趣区域分成m×m的矩形图像块。统计每个矩形块内的LBP直方图特征，得到矩形块级的LBP直方图特征。将所有矩形块级的LBP直方图特征连接起来，得到关键点级的LBP直方图特征。将每层图像中的每个关键点的LBP直方图特征按顺序连接起来，得到层级的LBP直方图特征。最后，将所有层级的LBP直方图特征按图像层级顺序连接起来作为最终的特征向量，即本发明逐步提取了各矩形块的LBP直方图特征→关键点级的LBP直方图特征→层级图像的LBP直方图特征，以及将多尺度高维LBP特征级联作为最终的特征向量。图8示出了构建图像金字塔并提取虹膜中心的LBP特征的示意图，其中，可以取m＝4。

图9示出了根据本发明一个实施例的基于多模式生物识别的身份一致性认证装置900的框图，其与复合成像设备200相耦接，该装置包括：人脸图像采集单元910、虹膜图像采集单元920、运动矢量分析单元930、相似度分析单元940和身份一致性认证单元950。

人脸图像采集单元910在可见光成像模式下采集待识别用户的图像A，其中图像A通常包括该用户的面部信息。

虹膜图像采集单元920在近红外光成像模式下采集包含待识别用户双眼的图像B，其中图像A通常包括该用户的双眼信息。

运动矢量分析单元930适于获取两种成像模式切换过程的图像序列，并分析得到所述图像序列的运动矢量信息。具体地，运动矢量分析单元930将获取到的图像序列每帧分割为多个分块图像；确定图像序列中发生运动的分块图像及分块图像的运动矢量；以及分别计算图像序列中运动矢量方向为横向且矢量幅值大于第一阈值的分块图像个数M与发生运动的分块图像个数N，以及M与N的比值；若该比值大于第二阈值，则判定该帧图像序列的运动矢量方向不满足预定要求。

进一步地，运动矢量分析单元930从所述图像序列中选取某一位置处的分块图像；对于所选取的分块图像，从前一帧图像中获取处于同一位置的同位分块图像，以及该同位分块图像的多个邻域分块图像，所述同位分块图像与所述邻域分块图像共同作为所选取的分块图像的对比分块图像；计算所选取的分块图像与前一帧图像中的所有对比分块图像的相关性，并确定相关性最大的对比分块图像的位置；以及若所述相关性最大的对比分块图像的位置与所选取的分块图像位置不同，则判定该对比分块图像发生运动，其运动矢量方向指向所选取的分块图像。

相似度分析单元940适于分析得到图像A和图像B的相似度信息。具体地，分别对图像A和B进行虹膜和眼角定位，得到其中的虹膜中心和眼角位置；根据双眼的虹膜中心和眼角位置分别从图像A和B中裁切出包含双眼的感兴趣区域。之后，分别将图像A和B中的感兴趣区域旋转至水平方向，得到图像C和D。其中，旋转的角度为双眼虹膜中心连线与水平方向的夹角。之后，相似度分析单元940以眼角和虹膜中心为中心计算图像C和D中的多尺度高维LBP特征，将该LBP特征级联作为图像的特征向量，并计算图像C和D的特征向量的相似度。其中相似度主要通过计算两个图像的相关度、卡方系数、相交系数或巴氏距离等，可以设定相似度的临界值为第三阈值，当大于第三阈值(如0.2)通常可认为两个图像里的用户符合相似度要求。

身份一致性认证单元950适于根据运动矢量信息和/或相似度信息对用户进行身份一致认证。其可以采取多种策略进行身份认证，如1)运动矢量方向不满足要求后直接判定身份一致性认证失败而不再采集灰度图像；2)运动方向满足要求后继续采集灰度图像，根据图像相似度判断，相似度达标则认证成功，反之则失败；3)运动矢量方向不满足要求后继续采集灰度图像，并根据图像的相似度结果和运动方向判定结果，结合其权重配比进行融合判断，具体可参见步骤S330中的介绍，在此不再赘述。

根据一个实施例，装置900还可以包括：人脸识别单元，适于根据数据库中存储的该用户的真实头像对图像A进行验证；位置引导单元，适于在人脸识别验证通过后，在近红外光成像模式下引导待识别用户调整人脸和复合成像设备的角度和/或距离，直至得到包含其双眼的图像B；以及虹膜识别单元，适于根据数据库中存储的该用户的真实虹膜图像对图像B进行验证。

根据本发明的基于多模式生物识别的身份一致性认证装置900，其具体细节已在图1-图8的描述中详细公开，在此不再赘述。

根据本发明的技术方案，采用复合成像设备分别在可见光成像模式和近红外光成像模式下采集其人脸图像和双眼图像，并分别进行人脸识别和虹膜识别，充分利用了动态图像序列和静态图像两种信息。具体地，先进行动态图像序列运动矢量方向分析，排除不同人切换的可能性，然后进行静态图像特征验证，进一步确认可见光与近红外成像身份的同一性，有较强的安全可靠性。当然，在分析完动态图像运动方向后，即使发现其不达标，也可以继续采集虹膜图像，并在计算完图像相似度后结合运动方向的判定结果对其进行综合判定，从而进行双重认证，提高了整个安防级别。

另外，本发明对人脸识别和虹膜识别的顺序并不作限定，可以对首次采集到的人脸图像进行人眼检测，依据人眼的成像位置自动选择当前最佳的生物特征识别模式，并依序完成人脸识别和虹膜识别两种模式下的身份认证。具体地，若人眼在可见光成像区域，则先执行人脸识别再进行虹膜识别，若检测到人眼在近红外成像区域，则先进行虹膜识别再进行人脸识别。当然，用户也可以根据自身的习惯和需求自主选择识别模式。整个识别过程更加智能、便捷，在保证识别准确性的同时，还具有良好的用户体验。

B10、如B9所述的装置，所述身份一致性认证单元适于采用以下情况中的一种或多种对待识别用户进行身份认证：(1)判断是否连续有多帧图像序列的运动矢量不满足预定要求，若是，则提醒待识别用户身份认证失败；(2)根据所述相似度信息判断图像A和图像B中的用户身份是否一致；若否，则提醒待识别用户身份一致性认证失败；(3)分别计算得到所述运动矢量信息的第一分析结果r₁和所述相似度信息的第二分析结果r₂，并根据r＝r₁*x+r₂*y计算得到对待识别用户进行身份一致性认证的最终结果，其中，x和y是对应项的权值。

B11、如B9或B10所述的装置，所述运动矢量分析单元适于根据以下方法判断所述图像序列的运动矢量是否满足预定要求：将所述获取到的图像序列每帧分割为多个分块图像；确定所述图像序列中发生运动的分块图像及分块图像的运动矢量；以及分别计算所述图像序列中运动矢量方向为横向且矢量幅值大于第一阈值的分块图像个数M与发生运动的分块图像个数N，以及M与N的比值；若该比值大于第二阈值，则判定该帧图像序列的运动矢量不满足预定要求。

B12、如B11所述的装置，所述运动矢量分析单元适于根据以下方法确定所述图像序列中发生运动的分块图像及其运动矢量：从所述图像序列中选取某一位置处的分块图像；对于所选取的分块图像，从前一帧图像中获取处于同一位置的同位分块图像，以及该同位分块图像的多个邻域分块图像，所述同位分块图像与所述邻域分块图像共同作为所选取的分块图像的对比分块图像；计算所选取的分块图像与前一帧图像中的所有对比分块图像的相关性，并确定相关性最大的对比分块图像的位置；以及若所述相关性最大的对比分块图像的位置与所选取的分块图像位置不同，则判定该对比分块图像发生运动，其运动矢量方向指向所选取的分块图像，其运动矢量大小为两个位置间的距离。

B13、如B9所述的装置，所述相似度分析单元适于根据以下方法计算得到图像A和B的相似度信息：分别对图像A和B进行虹膜和眼角定位，得到其中的虹膜中心和眼角位置；根据双眼的虹膜中心和眼角位置分别从图像A和B中裁切出包含双眼的感兴趣区域；分别将图像A和B中的感兴趣区域旋转至水平方向，得到图像C和D分别以眼角和虹膜中心为中心计算图像C和D中的多尺度高维局部二进制模式LBP特征，并将该LBP特征级联作为图像的特征向量；以及分别计算图像C和D的特征向量的相似度。

B14、如B13所述的装置，其中所述相似度分析单元适于根据以下方法计算图像的多尺度高维LBP特征：分别以图像C和D为基础构建各自的图像金字塔；在所述图像金字塔的每层图像中分别以双眼的虹膜中心和眼角为中心划分感兴趣区域；将每个划分的感兴趣区域分割为m×m的矩形块；统计每个矩形块内的LBP直方图特征，得到矩形块级的LBP直方图特征；将所有矩形块级的LBP直方图特征连接起来，得到关键点级的LBP直方图特征；将每层图像中的每个关键点的LBP直方图特征按顺序连接起来，得到层级的LBP直方图特征；以及将所有层级的LBP直方图特征按图像层级顺序连接起来，得到最终的图像的特征向量。

B15、如B13所述的装置，其中，所述相似度分析单元适于计算图像C和D的特征向量的相似度；所述身份一致性认证单元适于在相似度大于第三阈值时，判定图像A和B中的待识别用户身份一致，否则身份不一致；其中所述图像C和D的特征向量的相似度包括两个图像的相关度、卡方系数、相交系数和巴氏距离中至少一种。

B16、如B9所述的装置，所述图像A包括待识别用户的面部信息，所述图像B包括待识别用户的双眼信息，所述装置还包括：人脸识别单元，适于根据数据库中存储的该用户的真实头像对所述图像A进行验证；位置引导单元，适于在人脸识别验证通过后，在近红外光成像模式下引导待识别用户调整人脸和复合成像设备的角度和/或距离，直至得到包含其双眼的图像B；以及虹膜识别单元，适于根据数据库中存储的该用户的真实虹膜图像对所述图像B进行验证。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (17)

1.一种基于多模式生物识别的身份一致性认证方法，适于在含有复合成像设备的终端中执行，所述复合成像设备适于利用分区域分波段的滤光片组件将入射光源分为可见光波段和近红外光波段，并分别得到可见光成像模式下的图像A和近红外光成像模式下的图像B，该方法包括：

分别获取待识别用户在可见光成像模式下的人脸图像A，在近红外光成像模式下的虹膜图像B，以及两个成像模式切换过程的图像序列；

分析得到所述图像序列的运动矢量信息和所述人脸图像A和虹膜图像B的相似度信息，所述运动矢量信息是图像序列帧中分割图像块的运动矢量；以及

根据所述运动矢量信息和所述相似度信息来判断在人脸成像和虹膜成像的切换过程中待识别人员的一致性，实现对用户的多种生物识别模式下的身份一致性认证。

2.如权利要求1所述的方法，所述根据所述运动矢量信息和所述相似度信息对用户进行身份一致性认证的步骤采用以下方式：

分别计算得到所述运动矢量信息的第一分析结果r₁和所述相似度信息的第二分析结果r₂，并根据r＝r₁*x+r₂*y计算得到对待识别用户进行身份一致性认证的最终结果，其中，x和y是对应项的权值。

3.如权利要求1或2所述的方法，其中，判断所述图像序列的运动矢量是否满足预定要求的操作包括：

将所述获取到的图像序列每帧分割为多个分块图像；

确定所述图像序列中发生运动的分块图像及分块图像的运动矢量；以及

分别计算所述图像序列中运动矢量方向为横向且矢量幅值大于第一阈值的分块图像个数M与发生运动的分块图像个数N，以及M与N的比值；

若该比值大于第二阈值，则判定该帧图像序列的运动矢量不满足预定要求。

4.如权利要求3所述的方法，其中所述确定图像序列中发生运动的分块图像及分块图像的运动矢量的步骤包括：

从所述图像序列中选取某一位置处的分块图像；

对于所选取的分块图像，从前一帧图像中获取处于同一位置的同位分块图像，以及该同位分块图像的多个邻域分块图像，所述同位分块图像与所述邻域分块图像共同作为所选取的分块图像的对比分块图像；

计算所选取的分块图像与前一帧图像中的多个对比分块图像的相关性，并确定相关性最大的对比分块图像的位置；以及

若所述相关性最大的对比分块图像的位置与所选取的分块图像位置不同，则判定该对比分块图像发生运动，其运动矢量方向指向所选取的分块图像，其运动矢量大小为两个位置间的距离。

5.如权利要求1所述的方法，其中计算得到所述图像A和图像B的相似度信息的步骤包括：

分别对图像A和B进行虹膜和眼角定位，得到其中的虹膜中心和眼角位置；

根据双眼的虹膜中心和眼角位置分别从图像A和B中裁切出包含双眼的感兴趣区域；

分别将图像A和B中的感兴趣区域旋转至水平方向，得到图像C和D；

分别以眼角和虹膜中心为中心计算图像C和D中的多尺度高维局部二进制模式LBP特征，并将该LBP特征级联作为图像的特征向量；以及

分别计算图像C和D的特征向量的相似度。

6.如权利要求5所述的方法，其中所述计算图像的多尺度高维LBP特征的步骤包括：

分别以图像C和D为基础构建各自的图像金字塔；

在所述图像金字塔的每层图像中分别以双眼的虹膜中心和眼角为中心划分感兴趣区域；

将每个划分的感兴趣区域分割为m×m的矩形块；

统计每个矩形块内的LBP直方图特征，得到矩形块级的LBP直方图特征；

将所有矩形块级的LBP直方图特征连接起来，得到关键点级的LBP直方图特征；

将每层图像中的每个关键点的LBP直方图特征按顺序连接起来，得到层级的LBP直方图特征；以及

将所有层级的LBP直方图特征按图像层级顺序连接起来，得到最终的图像的特征向量。

7.如权利要求4所述的方法，所述根据相似度信息对用户进行身份一致性认证的步骤包括：

计算图像C和D的特征向量的相似度，若相似度大于第三阈值，则判定图像A和B中的待识别用户身份一致，否则身份不一致；

其中所述特征向量的相似度包括图像C和D的相关度、卡方系数、相交系数和巴氏距离中的至少一种。

8.如权利要求1所述的方法，所述图像A包括待识别用户的面部信息，所述图像B包括待识别用户的双眼信息，所述方法还包括：

根据数据库中存储的该用户的真实头像对所述图像A进行验证；

若检验通过，则在近红外光成像模式下引导待识别用户调整人脸和复合成像设备的角度和/或距离，直至得到该用户的近红外光成像模式下的图像B；以及

根据数据库中存储的该用户的真实虹膜图像对所述图像B进行验证。

9.一种基于多模式生物识别的身份一致性认证装置，适于在含有复合成像设备的终端中执行，所述复合成像设备适于利用分区域分波段的滤光片组件将入射光源分为可见光波段及近红外光波段，并分别得到可见光成像模式下的图像和近红外光成像模式下的图像，该装置包括：

人脸图像采集单元，适于在可见光成像模式下采集待识别用户的人脸图像A；

虹膜图像采集单元，适于在近红外光成像模式下采集包含待识别用户双眼的虹膜图像B；

运动矢量分析单元，适于获取两种成像模式切换过程的图像序列，并分析得到所述图像序列的运动矢量信息，所述运动矢量信息是图像序列帧中分割图像块的运动矢量；

相似度分析单元，适于分析得到所述人脸图像A和虹膜图像B的相似度信息；以及

身份一致性认证单元，适于根据所述运动矢量信息和所述相似度信息来判断在人脸成像和虹膜成像的切换过程中待识别人员的一致性，实现对用户的身份一致性认证。

10.如权利要求9所述的装置，所述身份一致性认证单元适于采用以下方式对待识别用户进行身份认证：

分别计算得到所述运动矢量信息的第一分析结果r₁和所述相似度信息的第二分析结果r₂，并根据r＝r₁*x+r₂*y计算得到对待识别用户进行身份一致性认证的最终结果，其中，x和y是对应项的权值。

11.如权利要求9或10所述的装置，所述运动矢量分析单元适于根据以下方法判断所述图像序列的运动矢量是否满足预定要求：

将所述获取到的图像序列每帧分割为多个分块图像；

确定所述图像序列中发生运动的分块图像及分块图像的运动矢量；以及

分别计算所述图像序列中运动矢量方向为横向且矢量幅值大于第一阈值的分块图像个数M与发生运动的分块图像个数N，以及M与N的比值；

若该比值大于第二阈值，则判定该帧图像序列的运动矢量不满足预定要求。

12.如权利要求11所述的装置，所述运动矢量分析单元适于根据以下方法确定所述图像序列中发生运动的分块图像及其运动矢量：

从所述图像序列中选取某一位置处的分块图像；

对于所选取的分块图像，从前一帧图像中获取处于同一位置的同位分块图像，以及该同位分块图像的多个邻域分块图像，所述同位分块图像与所述邻域分块图像共同作为所选取的分块图像的对比分块图像；

计算所选取的分块图像与前一帧图像中的所有对比分块图像的相关性，并确定相关性最大的对比分块图像的位置；以及

若所述相关性最大的对比分块图像的位置与所选取的分块图像位置不同，则判定该对比分块图像发生运动，其运动矢量方向指向所选取的分块图像，其运动矢量大小为两个位置间的距离。

13.如权利要求9所述的装置，所述相似度分析单元适于根据以下方法计算得到图像A和B的相似度信息：

分别对图像A和B进行虹膜和眼角定位，得到其中的虹膜中心和眼角位置；

根据双眼的虹膜中心和眼角位置分别从图像A和B中裁切出包含双眼的感兴趣区域；

分别将图像A和B中的感兴趣区域旋转至水平方向，得到图像C和D；

分别以眼角和虹膜中心为中心计算图像C和D中的多尺度高维局部二进制模式LBP特征，并将该LBP特征级联作为图像的特征向量；以及

分别计算图像C和D的特征向量的相似度。

14.如权利要求13所述的装置，其中所述相似度分析单元适于根据以下方法计算图像的多尺度高维LBP特征：

分别以图像C和D为基础构建各自的图像金字塔；

在所述图像金字塔的每层图像中分别以双眼的虹膜中心和眼角为中心划分感兴趣区域；

将每个划分的感兴趣区域分割为m×m的矩形块；

统计每个矩形块内的LBP直方图特征，得到矩形块级的LBP直方图特征；

将所有矩形块级的LBP直方图特征连接起来，得到关键点级的LBP直方图特征；

将每层图像中的每个关键点的LBP直方图特征按顺序连接起来，得到层级的LBP直方图特征；以及

将所有层级的LBP直方图特征按图像层级顺序连接起来，得到最终的图像的特征向量。

15.如权利要求13所述的装置，其中，

所述相似度分析单元适于计算图像C和D的特征向量的相似度；

所述身份一致性认证单元适于在相似度大于第三阈值时，判定图像A和B中的待识别用户身份一致，否则身份不一致；

其中所述图像C和D的特征向量的相似度包括两个图像的相关度、卡方系数、相交系数和巴氏距离中至少一种。

16.如权利要求9所述的装置，所述图像A包括待识别用户的面部信息，所述图像B包括待识别用户的双眼信息，所述装置还包括：

人脸识别单元，适于根据数据库中存储的该用户的真实头像对所述图像A进行验证；

位置引导单元，适于在人脸识别验证通过后，在近红外光成像模式下引导待识别用户调整人脸和复合成像设备的角度和/或距离，直至得到包含其双眼的图像B；以及

虹膜识别单元，适于根据数据库中存储的该用户的真实虹膜图像对所述图像B进行验证。

17.一种移动终端，包括如权利要求9-16中任一项所述的基于多模式生物识别的身份一致性认证装置；以及

复合成像设备，与所述身份一致性认证装置相耦接，包括：

镜头组件，包括固定焦距的光学透镜；

滤光片组件，包括允许可见光波段的光通过的可见光带通滤光片和允许近红外光波段通过的近红外光带通区域；以及

图像传感器，包括可见光成像区域、近红外光成像区域以及这两个区域之间的过渡区域，其中，所述可见光成像区域在所述可见光成像模式下对通过所述可见光带通滤光片的可见光进行成像，所述近红外光成像区域在所述近红外光成像模式下对通过所述近红外光带通滤光片的近红外光进行成像。

Images