CN112528986A - 图像对齐方法、人脸识别方法及相关装置 - Google Patents

Abstract

本发明提供一种图像对齐方法、人脸识别方法及相关装置，图像对齐方法包括：获取待对齐的第一图像及标准图像中预设关键点的标准坐标；从第一图像中获取预设关键点的初始坐标；根据标准坐标及初始坐标确定第一图像的转化矩阵；基于转化矩阵将待对齐的第一图像对齐，得到对齐后的第二图像。由于转化矩阵是根据第一图像的预设关键点的初始坐标及标准图像中预设关键点的标准坐标转换而来，能够保证在第一图像转换到对齐后的第二图像的过程中不变形，从而提高人脸识别的准确性。

Description

图像对齐方法、人脸识别方法及相关装置

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种图像对齐方法、人脸识别方法及相关装置。

背景技术

近年来，国内的消费需求不断增长，消费金融行业也迎来了大爆发，欺诈风险也开始呈现上升的趋势，因此用户的身份识别以及欺诈风险防护成为了互联网金融安全的重要环节，相比于指纹识别、验证码等，人脸识别在身份识别环节有着更明显的效果，而且具有安全、高效、低成本的特点，人脸识别在金融行业中得到了众多金融机构的支持和认可。

但是在进行人脸识别时，通常会因为人脸的姿态的多样化，在识别过程中会影响识别精度。

发明内容

本发明主要解决的技术问题是提供一种图像对齐方法、人脸识别方法及相关装置，以实现提高图像识别精度的目的。

为解决上述技术问题，本发明提供的第一个技术方案是：提供一种图像对齐方法，包括：获取待对齐的第一图像及标准图像中预设关键点的标准坐标；从所述第一图像中获取预设关键点的的初始坐标；根据所述标准坐标及多个所述初始坐标确定所述第一图像的转化矩阵；基于所述转化矩阵将所述待对齐的第一图像对齐，得到对齐后的第二图像。

为解决上述技术问题，本发明提供的第二个技术方案是：提供一种人脸识别方法，包括：获取待识别人脸图像以及参考人脸图像；如果所述人脸图像不是标准图像，对所述人脸图像进行对齐，得到对齐后的人脸图像，其中所述对齐后的人脸图像是通过上述任一项所述图像对齐方法得到的；判断所述对齐后的人脸图像与所述参考人脸图像是否匹配；如果匹配，所述待识别人脸图像识别成功。

为解决上述技术问题，本发明提供的第三个技术方案是：提供一种图像对齐装置，包括：包括获取模块、初始坐标获取模块、转化矩阵获取模块以及转换模块，所述获取模块用于获取待对齐的第一图像及标准图像中预设关键点的标准坐标；所述初始坐标获取模块用于从所述第一图像中获取预设关键点的初始坐标；所述转化矩阵获取模块用于通过所述标准坐标及所述初始坐标确定转化矩阵；所述转换模块用于基于所述转化矩阵将所述待对齐的第一图像对齐，得到对齐后的第二图像。

为解决上述技术问题，本发明提供的第四个技术方案是：提供一种人脸识别装置，包括：获取模块、图像对齐模块、判断模块；所述获取模块用于获取待识别人脸图像以及参考人脸图像；所述图像对齐模块用于在所述人脸图像不是标准图像时，对所述人脸图像进行对齐，得到对齐后的人脸图像；其中所述对齐后的人脸图像是通过上述任一项所述图像对齐方法得到的；所述判断模块用于判断所述对齐后的人脸图像与所述参考人脸图像是否匹配；并在匹配时，确定所述待识别人脸图像识别成功。

为解决上述技术问题，本发明提供的第五个技术方案是：提供一种智能***，包括：相互藕接的控制电路、处理器及存储器，其中，所述存储器用于存储实现如上述任意一项所述的图像对齐方法的程序指令；或所述存储器用于存储实现如上述任意一项所述的人脸识别方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令。

为解决上述技术问题，本发明提供的第六个技术方案是：提供一种存储介质，存储有程序文件，所述程序文件能够被执行以实现如上述任意一项所述的图像对齐方法；或所述程序文件能够被执行以实现上述任意一项所述的人脸识别方法。

本发明的有益效果是：区别于现有技术，本发明提出的图像对齐方法，通过获取待对齐的第一图像中的预设关键点的初始坐标及标准图像中预设关键点的标准坐标，进一步计算转化矩阵，再基于转化矩阵进一步对第一图像进行对齐。由于转化矩阵是根据第一图像的预设关键点的初始坐标及标准图像中预设关键点的标准坐标转换而来，能够保证在第一图像转换到对齐后的第二图像的过程中不变形，从而提高图像对齐的准确性。

附图说明

图1是本发明图像对齐方法的第一实施例的流程示意图；

图2是图1中步骤S101的子流程示意图；

图3是本发明人脸识别方法的第一实施例的流程示意图；

图4是本发明图像对齐装置的第一实施例的结构示意图；

图5是本发明人脸识别装置的第一实施例的结构示意图；

图6是本发明智能***的第一实施例的结构示意图；

图7是本发明存储介质的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合附图和实施例对本发明进行详细的说明。

请参见图1，为本发明图像对齐方法的第一实施例的流程示意图。

包括：

步骤S101：获取待对齐的第一图像及标准图像中预设关键点的标准坐标。

本实施方式中的第一图像可以为包含人脸的物体图像、风景图像以及人物图像等图像中任一种。图像对齐是将图像中不同姿态下的图像转变到标准的格式。例如，该第一图像为人脸图像时，人脸对齐是将不同姿态的人脸图像变换到标准脸坐标系下的图像的过程。比如将倾斜的人脸对齐为正脸等。

该预设关键点可选取能表征图像位置特征的关键点，如该第一图像为人脸图像时，预设关键点至少包括人脸的左眼、右眼、鼻尖、左嘴角以及右嘴角。

需要说明的是，标准图像中预设关键点的标准坐标是通过大数据计算得出，在一实施例中，若人脸大小不同，如大人的脸和小孩子的脸，此时可通过相关比例对标准坐标进行转换。

另外，标准图像为相较于待对齐的第一图像而言为更容易分辨的图形，如，假设第一图像为人脸图像，即标准图像为人脸的正脸图像，在将第一图形进行对齐的过程就是为了将第一图像中的人脸的姿态转换为正脸姿态。

为了清楚说明该过程，具体如图2所示，图2为图1中步骤S101的子流程示意图。本实施方式中以第一图像为人脸图像为例来说明，获取待对齐的第一图像的过程包括：

步骤S1011：获取待对齐的图像。

获取到待对齐的图像后，首先对该待对齐的图像进行识别，确定该图像中是否包括人脸。

步骤S1012：利用人脸检测算法在所述待对齐的图像中检测出人脸的位置。

如果该图像中包括人脸图像，利用人脸检测算法在待对齐的图像中检测出人脸的位置。

在其他实施方式中，也可以通过人脸图像扫描的方式进行人脸位置检测，在此不做限定。

步骤S1013：截取具有所述人脸的位置的图片作为所述第一图像。

将检测到人脸图像的位置处的图像裁剪，以获得第一图像。

进一步地，标准图像中多个预设关键点的标准坐标为图像对齐后的坐标。例如在一张具有标准的人脸的112×112大小的图像上，得出标准人脸的左眼、右眼、鼻尖、左嘴角、右嘴角的坐标，此时得到的左眼、右眼、鼻尖、左嘴角、右嘴角的坐标为标准坐标。

具体地，在一实施例中，左眼的标准坐标为(38.29459953,51.69630051)，右眼的标准坐标为(65.53179932,51.50139999)，鼻尖的标准坐标为(48.02519989,71.73660278)，左嘴角的标准坐标为(33.54930115,92.3655014)，右嘴角的标准坐标为(62.72990036,92.20410156)。

步骤S102：从所述第一图像中获取预设关键点的初始坐标。

具体地，在截取后的具有人脸图像的第一图像上获取到与标准坐标位置对应的预设关键点的初始坐标。

具体地，在一实施例中，通过人脸关键点检测算法对所述第一图像进行检测得出左眼的初始坐标、右眼的初始坐标、鼻尖的初始坐标、左嘴角的初始坐标、右嘴角的初始坐标。

在一实施例中，为了提高精度，分别获取每个预设关键点设定范围内的多个点的坐标；计算得到每个预设关键点设定范围内的多个点的坐标的平均坐标，并将所述平均坐标确定为所述预设关键点的初始坐标。

其中，该设定范围可以是某预设关键点设定半径内的范围，可以为圆形，也可以根据人体部位的形状来选择，如眼睛的形状或嘴巴的形状等，在此不做限定。

例如，在获取左眼的初始坐标，可以获得左眼周围的多个点，得出多个点的平均坐标以作为初始坐标；同样的在获取右眼的初始坐标、鼻尖的初始坐标、左嘴角的初始坐标、右嘴角的初始坐标时同样可采取此种方式来提高精度。

步骤S103：根据所述标准坐标及所述初始坐标确定所述第一图像的转化矩阵。

在一个具体的实施方式中，通过如下关系式(1)确定转化矩阵C，

CX＝Y (1)；

其中，Y为标准坐标组成的矩阵，X为标准坐标位置对应的初始坐标组成的矩阵。

具体地，将初始坐标转换为标准坐标的过程中，需要将初始坐标在X轴平移m个像素，在Y方向平移n个像素，再顺时针旋转，直至与标准坐标重合。在一具体实施例中，假设转化矩阵为：

标准坐标组成的矩阵Y为：

初始坐标组成的矩阵X为：

将公式(2)、(3)、(4)代入到公式(1)中，由于标准坐标组成的矩阵Y已知，标准坐标位置对应的初始坐标组成的矩阵X也已知，可以求出转化矩阵中a、b、m、n的值，进而得出转化矩阵C。

步骤S104：基于所述转化矩阵将所述待对齐的第一图像对齐，得到对齐后的第二图像。

具体地，第一图像中的若干初始坐标X(即第一图像中的所有坐标)可以通过图像检测算法得出，是已知的，转化矩阵C也是已知的，将初始坐标X及转化矩阵C带入到公式(1)中，求出若干个标准坐标，若干个标准坐标组成第二图像。第二图像就是第一图像对齐后的图像。

在本实施例中，通过获取待对齐的第一图像中预设关键点的初始坐标以及标准图像中预设关键点的标准坐标，进一步的计算转化矩阵，再利用转化矩阵来进一步对第一图像进行对齐。由于转化矩阵是根据第一图像和表征图像中相同的预设关键点的坐标转换而来，能够保证在第一图像转换到对齐后的第二图像的过程中不变形，从而提高图像对齐的准确性。

另外，将每个预设关键点设定范围内的多个点的坐标的平均坐标确定为所述预设关键点的初始坐标，能够提高预设关键点的坐标精度，使计算得到的转化矩阵更加准确，以进一步能够保证在第一图像转换到对齐后的第二图像的过程中不变形，从而提高图像对齐的准确性。

请参见图3，为本发明人脸识别方法的第一实施例的流程示意图。

本实施方式的人脸识别方法包括如下步骤：

S201：获取待识别人脸图像以及参考人脸图像。

一些场景中需要用到人脸识别，如门禁，在线支付刷脸验证等。因此，为了完成识别功能，首先获取到待识别的人脸图像。例如通过摄像头拍照方式，在此不做限定。

参考人脸图像可以为用户注册账户时输入的图像，如身份证图像或者注册时现场拍摄的图像等，在此不做限定。

S202：如果所述人脸图像不是标准图像，对所述人脸图像进行对齐，得到对齐后的人脸图像。

获取到待识别的人脸图像后，首先判断该人脸图像是否为标准图像。具体地，可通过人脸检测方法获取人脸图像中的预设关键点或其他位置的点坐标，并将该点坐标与人脸标准图像中的同样的预设关键点或其他位置的坐标进行比对，如果坐标相同或成对应比例，则该人脸图像为标准图像。如果该点坐标与人脸标准图像中的同样的预设关键点或其他位置的坐标不同且也不成比例，则该人脸图像不是标准图像。

其中，本步骤的人脸对齐方式采用上述任一实施方式的图像对齐方法，在此不再赘述。

S203：判断所述对齐后的人脸图像与所述参考人脸图像是否匹配。

如果匹配，所述待识别人脸图像识别成功。

具体地，如果对齐后的人脸图像与参考人脸图像相匹配，则完成支付或者打开门禁等，具体可根据具体应用场景设置人脸识别成功后的响应动作。

如果人脸识别不成功，在一个可选的实施方式中，可发出报警提示音，在此不做限定。

区别于现有技术，本实施方式的人脸识别方法在得到待识别人脸图像并确定该待识别人脸图像不是标准图像，对所述人脸图像进行对齐，得到对齐后的人脸图像，并通过对齐后的人脸图像进行识别，能够使识别效果更加准确。

请参见图4，为本发明图像对齐装置的第一实施例的结构示意图。包括获取模块11、初始坐标获取模块12、转化矩阵获取模块13以及转换模块14。其中，获取模块11用于获取待对齐的第一图像及标准图像中预设关键点的标准坐标。初始坐标获取模块12用于从所述第一图像中获取预设关键点的初始坐标。转化矩阵获取模块13用于通过所述标准坐标及所述初始坐标确定转化矩阵；转换模块14用于基于所述转化矩阵将所述待对齐的第一图像对齐，得到对齐后的第二图像。

请参见图5，为本发明人脸识别装置的第一实施例的结构示意图。包括：获取模块21、图像对齐模块22及判断模块23。

其中，获取模块21用于获取到待识别人脸图像以及参考人脸图像。图像对齐模块22用于在人脸图像不是标准图像时，对人脸图像进行对齐，得到对齐后的人脸图像。其中对齐后的人脸图像是通过上述图1至图2所述的图像对齐方法得到的。判断模块23用于判断对齐后的人脸图像与参考人脸图像是否相匹配；并在相匹配时，确定待识别人脸图像识别成功。在不匹配时，确定待识别人脸图像识别失败。

请参见图6，为本发明智能***的第一实施例的结构示意图。包括相互连接的存储器52、处理器51及控制电路53。存储器52用于存储实现上述任意一项的图像对齐方法及人脸识别方法的程序指令。

处理器51用于执行存储器52存储的程序指令。

其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器52可以为内存条、TF卡等，可以存储图像对齐装置及人脸识别装置中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，图像对齐装置及人脸识别装置才有记忆功能，才能保证正常工作。存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，***服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

请参见图7，为本发明存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有图像对齐方法及人脸识别方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像对齐方法，其特征在于，所述方法包括：

获取待对齐的第一图像及标准图像中预设关键点的标准坐标；

从所述第一图像中获取预设关键点的初始坐标；

根据所述标准坐标及所述初始坐标确定所述第一图像的转化矩阵；

基于所述转化矩阵将所述待对齐的第一图像对齐，得到对齐后的第二图像。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述标准坐标及所述初始坐标确定所述第一图像的转化矩阵具体包括：

通过如下关系式(1)确定所述第一图像的转化矩阵C，

CX-Y (1)；

其中，Y为标准坐标组成的矩阵，X为所述初始坐标组成的矩阵。

3.根据权利要求1所述的方法，其特征在于，所述从所述第一图像中获取预设关键点的初始坐标包括：

分别获取每个预设关键点设定范围内的多个点的坐标；

计算每个预设关键点设定范围内的多个点的坐标的平均坐标，并将所述平均坐标确定为所述预设关键点的初始坐标。

4.根据权利要求1所述的方法，其特征在于，所述获取待对齐的第一图像包括：

获取待对齐的图像；

利用人脸检测算法在所述待对齐的图像中检测出人脸的位置；

截取具有所述人脸的位置的图片作为所述第一图像。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述预设关键点至少包括人脸的左眼、右眼、鼻尖、左嘴角以及右嘴角。

6.一种人脸识别方法，其特征在于，包括：

获取待识别人脸图像以及参考人脸图像；

如果所述人脸图像不是标准图像，对所述人脸图像进行对齐，得到对齐后的人脸图像，其中所述对齐后的人脸图像是通过权利要求1～5任一项所述图像对齐方法得到的；

判断所述对齐后的人脸图像与所述参考人脸图像是否匹配；

如果匹配，所述待识别人脸图像识别成功。

7.一种图像对齐装置，其特征在于，包括获取模块、初始坐标获取模块、转化矩阵获取模块以及转换模块，

所述获取模块用于获取待对齐的第一图像及标准图像中预设关键点的标准坐标；

所述初始坐标获取模块用于从所述第一图像中获取预设关键点的初始坐标；

所述转化矩阵获取模块用于通过所述标准坐标及所述初始坐标确定转化矩阵；

所述转换模块用于基于所述转化矩阵将所述待对齐的第一图像对齐，得到对齐后的第二图像。

8.一种人脸识别装置，其特征在于，包括：获取模块、图像对齐模块、判断模块；

所述获取模块用于获取待识别人脸图像以及参考人脸图像；

所述图像对齐模块用于在所述人脸图像不是标准图像时，对所述人脸图像进行对齐，得到对齐后的人脸图像；其中所述对齐后的人脸图像是通过权利要求1～5任一项所述图像对齐方法得到的；

所述判断模块用于判断所述对齐后的人脸图像与所述参考人脸图像是否匹配；并在匹配时，确定所述待识别人脸图像识别成功。

9.一种智能***，其特征在于，所述智能***包括：相互藕接的控制电路、处理器及存储器，其中，

所述存储器用于存储实现如权利要求1-5任意一项所述的图像对齐方法的程序指令；或

所述存储器用于存储实现如权利要求6任意一项所述的人脸识别方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令。

10.一种存储介质，其特征在于，存储有程序文件，所述程序文件能够被执行以实现如权利要求1-5任意一项所述的图像对齐方法；或

所述程序文件能够被执行以实现如权利要求6任意一项所述的人脸识别方法。

Images