CN110070017B - 一种人脸假眼图像生成方法及装置 - Google Patents

Abstract

本发明的方面涉及人眼部遮挡数据生成识别技术领域，特别是涉及一种人脸假眼图像生成方法及装置。人脸假眼图像生成方法，其中，包括：获取人眼关键点步骤，通过人脸图像获取人眼关键点，人眼关键点包括一个左眼关键点和一个右眼关键点；创建遮挡模板步骤，创建用于遮挡眼部的遮挡模板，遮挡模板包括灰度图，灰度图中心设有一灰点，灰点比灰度图的其余部分的灰度值高；生成眼部遮挡图像步骤，根据人眼关键点和遮挡模板，生成眼部遮挡图像；仿射步骤，将眼部遮挡图像仿射至人脸图像的眼部位置，生成人脸假眼图像。通过使用该方法，不需要采集大量人脸图像数据，并且在不影响人脸识别***其他功能的前提下，能够有效的解决人眼遮挡攻击，节约成本。

Description

一种人脸假眼图像生成方法及装置

技术领域

本发明一般地涉及人脸识别技术领域，特别是涉及一种人脸假眼图像生成方法及装置。

背景技术

随着计算机图形、图像处理技术的进步，人脸识别受到了广泛的关注。作为最常用的生物识别技术，广泛应用于罪犯身份识别***，海关及银行的监控***，日常生活的自动门卫***，办公考勤***，手机安全***等。在多数场景下，识别结果容易受到人脸局部遮挡造成信息缺失的干扰。遮挡人脸会带来巨大安全隐患。

在实际应用中，常会出现一种恶意攻击，将眼部信息进行遮挡，导致眼部信息获取不完善。人脸识别***因无法阻止这种攻击，而导致人脸识别通过。

通过扩增收集人脸图像遮挡数据，解决人脸图像眼部信息遮挡问题，容易导致成本过高，且覆盖的数据分布很窄，如果采集的数据相对总数据量较少，效果不显著。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种人脸假眼图像生成方法及装置。

第一方面，本发明实施例提供一种人脸假眼图像生成方法，包括：获取人眼关键点步骤，通过人脸图像获取人眼关键点，人眼关键点包括一个左眼关键点和一个右眼关键点；创建遮挡模板步骤，创建用于遮挡眼部的遮挡模板，遮挡模板包括灰度图，灰度图中心设有一灰点，灰点比灰度图的其余部分的灰度值高；生成眼部遮挡图像步骤，根据人眼关键点和遮挡模板，生成眼部遮挡图像；仿射步骤，将眼部遮挡图像仿射至人脸图像的眼部位置，生成人脸假眼图像

在一实施例中，生成眼部遮挡图像步骤还包括：图像变换步骤，将遮挡模板的形状进行随机变换，得到变换后的遮挡模板，随机变换包括变换遮挡模板的尺寸大小、高宽比、水平角度；基于变换后的遮挡模板与人眼关键点结合，生成眼部遮挡图像。

在一实施例中，图像变换步骤还包括：将灰度图的灰度值进行随机变换，得到变换后的灰度图，变换后的灰点比灰度图的其余部分的灰度值高。

在又一实施例中，创建遮挡模板步骤中，遮挡模板还包括二值图，二值图与灰度图形状相同，二值图内嵌有椭圆，椭圆的内部像素值为1，外部像素值为0。

在另一实施例中，生成眼部遮挡图像步骤还包括：获取人眼局部图像步骤，根据人眼关键点和灰度图，获取与灰度图大小相同的人眼局部图像；生成步骤，根据人眼局部图像、灰度图和二值图生成与椭圆形状相同的眼部遮挡图像。

在一实施例中，获取人眼关键点步骤还包括：通过人脸图像获取多个眼部关键点，分别选取左右眼对应的眼部关键点作为人眼关键点。

第二方面，本发明实施例提供一种假眼遮挡模型的训练方法，通过训练样本数据训练假眼遮挡模型，训练样本数据通过人脸假眼图像生成方法生成。

第三方面，本发明实施例提供一种人脸假眼图像生成装置，其中，包括：获取人眼关键点模块，用于通过人脸图像获取人眼关键点；创建遮挡模板模块，用于创建矩形二维灰度图为遮挡模板，其中，遮挡模板由包括：灰度图和二值图构成，其中，灰度图和二值图的大小相同；生成眼部遮挡图像模块，用于根据人眼关键点和遮挡模板，生成眼部遮挡图像；仿射模块，用于将眼部遮挡图像仿射至人脸图像的眼部位置，生成人脸假眼图像。

第四方面，本发明实施例提供一种假眼遮挡模型的训练装置，用于通过训练样本数据训练假眼遮挡模型，训练样本数据通过人脸假眼图像生成方法生成。

第五方面，本发明实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行纹理图像生成方法。

第六方面，本发明实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行人脸假眼图像生成方法。

本发明提供的一种人脸假眼图像生成方法及装置，不需要采集大量人脸图像数据，并且在不影响人脸识别***其他功能的前提下，能够有效的解决人眼遮挡攻击，节约成本。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了本发明实施例提供的一种眼部遮挡数据生成示意图；

图2示出了本发明实施例提供的另一种眼部遮挡数据生成示意图；

图3示出了本发明实施例提供的另一种眼部遮挡数据生成示意图；

图4示出了本发明实施例提供的另一种眼部遮挡数据生成示意图；

图5示出了本发明实施例提供的一种人脸假眼图像生成装置示意图；

图6示出了本发明实施例提供的一种电子设备示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

图1为人脸假眼图像生成方法10的一个实施例的流程示意图。如图1所示，该实施例方法包括：获取人眼关键点步骤110、创建遮挡模板步骤120、生成眼部遮挡图像步骤130、仿射步骤140。下面对图1中的各个步骤进行详细说明。

获取人眼关键点步骤110，通过人脸图像获取人眼关键点，人眼关键点包括一个左眼关键点和一个右眼关键点。

在本实施例中，通过人脸图像获取人眼关键点，获取左、右两眼各一关键点。在一例中，人眼关键点通过人脸关键点模型检测进行获取；在另一例中，通过人工标注，标识人眼关键点，获取人眼关键点。使用的人脸图像可以是灰度图像，也可以是彩色图像。人脸图像可通过图像采集设备进行获取，如：手机摄像头、电脑摄像头，也可通过本地数据库或者云端中进行调取。

创建遮挡模板步骤120，创建用于遮挡眼部的遮挡模板，遮挡模板包括灰度图，灰度图中心设有一灰点，灰点比灰度图的其余部分的灰度值高。

在本实施例中，通过创建灰度图用于对人脸图像中待遮挡的眼部图像进行遮挡。创建中心设有一灰点，灰点比灰度图的其余部分的灰度值高的灰度图。在一例中，灰度图的灰度值为固定值。在另一例中，灰度图中的灰度值为一随机值，例如，将灰度图的颜色进行归一化，由原来颜色的取值区间(0，255)变为(0，1)，便于像素颜色进行调整。灰度图底色的颜色取值范围是在(0.1，0.4)之间，中心点的颜色取值范围是在(0.7，1.0)之间，白点的位置是在灰度图图像中心的一到五个像素之间。使用的灰度图的图像像素在各自取值范围区间内随机生成。

生成眼部遮挡图像步骤130，根据人眼关键点和遮挡模板，生成眼部遮挡图像。

在本实施例中，通过人眼关键点确定人脸图像中人眼眼部的位置，根据遮挡模板与人眼关键点相结合，生成与遮挡模板大小相同的眼部遮挡图像。

仿射步骤140，将眼部遮挡图像仿射至人脸图像的眼部位置，生成人脸假眼图像。

在本实施例中，通过仿射变换，将生成的眼部遮挡图像仿射至人脸图像中的眼部，覆盖原人脸图像中的眼部图像，生成人脸假眼图像。

图2为人脸假眼图像生成方法10的另一个实施例的流程示意图。如图2所示，该实施例方法包括：图像变换步骤131。下面对图2进行详细说明。

图像变换步骤131将遮挡模板的形状进行随机变换，得到变换后的遮挡模板，随机变换包括变换遮挡模板的尺寸大小、高宽比、水平角度；基于变换后的遮挡模板与人眼关键点结合，生成眼部遮挡图像。在一例中，遮挡模板的尺寸大小、高宽比或水平角度可在一定阈值内进行随机变换，例如，遮挡模板变换只变换图像尺寸，在一定阈值内进行随机变换，如，尺寸大小在(0.7，1.0)取值区间进行变化，其他图像属性不进行变化；或只对遮挡模板在一定阈值内进行高宽比随机变换。在另一例中，对遮挡模板同时在一定阈值内进行尺寸大小、高宽比和水平角度进行变换，生成多种遮挡模板，与人眼关键点结合，生成多种眼部遮挡图像，有利于人脸识别模型进行学习人眼遮挡数据。

在一实施例中，图像变换步骤131还包括：将灰度图的灰度值进行随机变换，得到变换后的灰度图，变换后的灰点比灰度图的其余部分的灰度值高，生成多种灰度图。用于与人眼关键点结合，生成多种眼部遮挡图像，有利于人脸识别模型进行学习人眼遮挡数据。例如，灰度图底色的颜色取值范围是在(0.1，0.4)之间，中心点的颜色取值范围是在(0.7，1.0)之间，白点的位置是在灰度图图像中心的一到五个像素之间。使用的灰度图的图像像素在各自取值范围区间内随机变换，生成多种灰度值不同的灰度图，有利于训练假眼遮挡模型。

在另一实施例中，创建遮挡模板步骤120中，遮挡模板还包括二值图，二值图与灰度图形状相同，二值图内嵌有椭圆，椭圆的内部像素值为1，外部像素值为0。其中，二值图椭圆内部用于保留灰度图与二值图相乘留下的图像像素，椭圆外部用于保留人脸图像的图像像素。二值图内嵌有的椭圆越大，保留的与其相乘的像素范围越大。

图3和图4为人脸假眼图像生成方法10的另一些实施例的流程示意图。如图3和图4所示，该实施例方法包括：获取人眼局部图像步骤132、生成步骤133。下面对图3和图4中的各个步骤进行详细说明。

获取人眼局部图像步骤132，根据人眼关键点和灰度图，获取与灰度图大小相同的人眼局部图像。

在一实施例中，根据获取到的人眼关键点，以人眼关键点为中心，获取与灰度图大小相同的人眼局部图像，便于生成的眼部遮挡图像与获取的人眼局部图像的大小相同。

生成步骤133，根据人眼局部图像、灰度图和二值图生成与椭圆形状相同的眼部遮挡图像。

通过人眼局部图像与反二值图进行相乘，得到人眼局部图像中间像素值为的0的人眼局部边缘图像，其中间像素值为0的区域大小与二值图内部嵌入的椭圆的大小和位置相同，椭圆外部的像素不变。其中，反二值图像素赋值与二值图相反，椭圆内部像素值为0，椭圆外部像素值为1。将二值图与灰度图进行相乘，保留灰度图中心与二值图内部嵌入的椭圆大小一样的椭圆型图像。将生成的人眼局部边缘图像与椭圆形图像结合，生成与获取的人眼局部图像大小相同，但图像内部是椭圆型灰度图的眼部遮挡图像。将生成的眼部遮挡图像仿射至人脸图像中的眼部，覆盖原人脸图像中的眼部图像，生成人脸假眼图像。

在一实施例中，获取人眼关键点步骤110还包括：通过人脸图像获取多个眼部关键点，分别选取左右眼对应的眼部关键点作为人眼关键点。通过选取左右两眼对应的眼部关键点，可生成左右两眼遮挡位置相同的人脸假眼图像。在另一实施例中，也可随机获取左右两眼任意关键点，生成左右两眼遮挡位置不同的人脸假眼图像。

本发明实施例还提供一种假眼遮挡模型的训练方法，通过训练样本数据训练假眼遮挡模型，训练样本数据通过前述任一实施例的人脸假眼图像生成方法生成。人脸假眼图像生成方法适用于眼遮挡模型训练。通过生成的多种人脸假眼图像作为模型学习素材，有利于假眼遮挡模型学习多种情况下人眼遮挡的数据，提高识别人眼遮挡准确率，防止眼部遮挡攻击。

图5为人脸假眼图像生成装置20的一个实施例的结构示意图。如图5所示，该人脸假眼图像生成装置包括：获取人眼关键点模块210，用于通过人脸图像获取人眼关键点，人眼关键点包括一个左眼关键点和一个右眼关键点；创建遮挡模板模块220，创建用于遮挡眼部的遮挡模板，遮挡模板包括灰度图，灰度图中心设有一灰点，灰点比灰度图的其余部分的灰度值高；生成眼部遮挡图像模块230，用于根据人眼关键点和遮挡模板，生成眼部遮挡图像；仿射模块240，用于将眼部遮挡图像仿射至人脸图像的眼部位置，生成人脸假眼图像。

在一实施例中，生成眼部遮挡图像模块230还包括：图像变换模块231，用于将遮挡模板的形状进行随机变换，包括变换遮挡模板的尺寸大小、高宽比、水平角度。

在一实施例中，图像变换模块231还用于将灰度图的灰度值进行随机变换，变换后的灰点比灰度图的其余部分的灰度值高。

在一实施例中，生成眼部遮挡图像模块230还包括：获取人眼局部图像模块232，用于根据人眼关键点和灰度图，获取与灰度图大小相同的人眼局部图像；生成模块233，用于根据人眼局部图像、遮挡模板生成与椭圆形状相同的眼部遮挡图像。

本发明实施例还提供一种假眼遮挡模型的训练装置，用于通过训练样本数据训练假眼遮挡模型，训练样本数据通过前述任一实施例的人脸假眼图像生成方法生成。

装置中的各个模块所实现的功能与上文描述的方法中的步骤相对应，其具体实现和技术效果请参见上文对于方法步骤的描述，在此不再赘述。

如图6所示，本发明的一个实施方式提供了一种电子设备30。其中，该电子设备30包括存储器310、处理器320、输入/输出(Input/Output，I/O)接口330。其中，存储器310，用于存储指令。处理器320，用于调用存储器310存储的指令执行本发明实施例的用于人脸假眼图像生成方法。其中，处理器320分别与存储器310、I/O接口330连接，例如可通过总线***和/或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据，包括本发明实施例中涉及的用于眼部遮挡数据生成的程序，处理器320通过运行存储在存储器310的程序从而执行电子设备30的各种功能应用以及数据处理。

本发明实施例中处理器320可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器320可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本发明实施例中的存储器310可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本发明实施例中，I/O接口330可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备30的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中I/O接口330可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

在一些实施方式中，本发明提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。

尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (9)

1.一种人脸假眼图像生成方法，其中，包括：

获取人眼关键点步骤，通过人脸图像获取人眼关键点，所述人眼关键点包括一个左眼关键点和一个右眼关键点；

创建遮挡模板步骤，创建用于遮挡眼部的遮挡模板，所述遮挡模板包括灰度图，所述灰度图中心设有一灰点，所述灰点比所述灰度图的其余部分的灰度值高；所述遮挡模板还包括二值图，所述二值图与所述灰度图形状相同，所述二值图内嵌有椭圆，所述椭圆的内部像素值为1，外部像素值为0；

生成眼部遮挡图像步骤，根据所述人眼关键点和所述遮挡模板，生成眼部遮挡图像；

仿射步骤，通过仿射变换，将生成的所述眼部遮挡图像仿射至所述人脸图像的眼部位置，覆盖原人脸图像中的眼部图像，生成人脸假眼图像；

相应的，所述生成眼部遮挡图像步骤包括：

获取人眼局部图像步骤，根据所述人眼关键点和所述灰度图，获取与所述灰度图大小相同的所述人眼局部图像；

生成步骤，根据所述人眼局部图像、所述灰度图和所述二值图生成与所述椭圆形状相同的所述眼部遮挡图像。

2.根据权利要求1所述的方法，其中，所述生成眼部遮挡图像步骤还包括：

图像变换步骤，将所述遮挡模板的形状进行随机变换，得到变换后的所述遮挡模板，所述随机变换包括变换所述遮挡模板的尺寸大小、高宽比、水平角度；基于所述变换后的所述遮挡模板与人眼关键点结合，生成所述眼部遮挡图像。

3.根据权利要求2所述的方法，其中，所述图像变换步骤还包括：将所述灰度图的所述灰度值进行随机变换，得到变换后的所述灰度图，变换后的所述灰点比所述灰度图的其余部分的灰度值高。

4.根据权利要求1所述的方法，其中，所述获取人眼关键点步骤还包括：通过所述人脸图像获取多个眼部关键点，分别选取左右眼对应的所述眼部关键点作为所述人眼关键点。

5.一种假眼遮挡模型的训练方法，通过训练样本数据训练假眼遮挡模型，所述训练样本数据通过权利要求1-4任一项所述的人脸假眼图像生成方法生成。

6.一种人脸假眼图像生成装置，其中，包括：

获取人眼关键点模块，用于通过人脸图像获取人眼关键点，所述人眼关键点包括一个左眼关键点和一个右眼关键点；

创建遮挡模板模块，创建用于遮挡眼部的遮挡模板，所述遮挡模板包括灰度图，所述灰度图中心设有一灰点，所述灰点比所述灰度图的其余部分的灰度值高；

生成眼部遮挡图像模块，用于根据所述人眼关键点和所述遮挡模板，生成眼部遮挡图像；

仿射模块，用于通过仿射变换，将生成的所述眼部遮挡图像仿射至所述人脸图像的眼部位置，覆盖原人脸图像中的眼部图像，生成人脸假眼图像；

相应的，生成眼部遮挡图像模块还包括：获取人眼局部图像模块，用于根据人眼关键点和灰度图，获取与灰度图大小相同的人眼局部图像；生成模块，用于根据人眼局部图像、遮挡模板生成与椭圆形状相同的眼部遮挡图像。

7.一种假眼遮挡模型的训练装置，用于通过训练样本数据训练假眼遮挡模型，所述训练样本数据通过权利要求1-4任一项所述的人脸假眼图像生成方法生成。

8.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行权利要求1-4中任一项所述的人脸假眼图像生成方法或权利要求5所述的假眼遮挡模型的训练方法。

9.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-4中任一项所述的人脸假眼图像生成方法或权利要求5所述的假眼遮挡模型的训练方法。

Images