CN111832498A - 基于卷积神经网络的漫画人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的漫画人脸识别方法，其步骤为：(1)生成训练集；(2)生成C‑F Loss损失函数；(3)训练Xception卷积神经网络；(4)生成识别图片集；(5)对漫画人脸图片进行识别。本发明采用Xception卷积神经网络提取特征，可以提取到更完整的漫画人脸特征获得更高的识别率，同时，本发明在交叉熵损失函数的基础上增加了Focal Loss损失函数生成一个C‑F Loss损失函数，解决了不同类中的图片数量的不平衡和图片在训练后输出对应类别名的难易程度的不平衡的问题。

Description

基于卷积神经网络的漫画人脸识别方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像识别技术领域中一种基于卷积神经网络的漫画人脸识别方法。本发明可应用于从漫画人脸的图像中识别与该人脸对应的身份信息。

背景技术

漫画是一种艺术形式，是用简单而夸张的手法来描述人脸图像。同一个人也会有不同风格的人脸漫画图，不同风格的人脸漫画突出不同的人脸部分特征。对于这种漫画人脸肖像图，人能够较容易的辨别出该漫画人脸属于哪个人，但是对于机器而言，则具有一定挑战性。研究漫画人脸识别可以帮助我们更好地理解人类对人脸的感知。在单纯的面孔识别的基础上，对漫画的研究揭示了人类面孔感知的内在本质。计算机科学家从心理学研究中获得的见解可能会促进机器学习方法的发展，从而进一步提高漫画和人脸识别的性能。

Pushkar Shukla等人在其发表的论文“CARTOONNET:Caricature Recognition ofPublic Figures”(Proceedings of 3rd International Conference on ComputerVision and Image Processing，pp 1-10，2019)中提出了一种基于深度卷积神经网络的漫画人脸识别方法。论文中组成训练集的数据使用的是公开的IIIT-CFW数据集(Mishra etal.，European conference on computer vision,2016)，其中包括公众人物的漫画人脸图像。在该论文的实验过程中，从数据集中选取的类别需满足在所选的同一类的图片数量必须大于35张，将这些满足条件的类加入到训练过程中。该方法可以较好的应用到漫画人脸识别的实际情况中，但是，该方法仍然存在不足之处，由于该方法从数据集中只选择同一类的大于35张图片，而忽略了同一类中图像数量少的类别，导致在漫画人脸的识别过程中识别的人物数量减少，影响人脸对应的身份信息的识别数量。

杭州电子科技大学在其申请的专利文献“一种利用门控融合判别特征进行漫画人脸识别的方法”(申请号：201911157921.8，申请公布号：CN 111079549 A)中公开了一种利用门控融合判别特征进行漫画人脸识别的方法。该方法首先进行数据预处理，其次进行特征提取及融合，将17个局部特征与全局特征进行融合。全局特征通过缩放图片大小到112×96并输入到轻量级网络提取，最后通过融合后的漫画及人脸照片的特征计算余弦距离。该方法可以达到较好的识别结果，但是，该方法仍然存在不足之处是，由于该方法在提取全局特征时输入的图片为缩放后的图片，减少了每张图片的像素大小，而且特征提取采用的是轻量级网络，导致每张图片提取的特征不完整，影响人脸对应的身份信息识别率。

发明内容

本发明的目的在于针对上述已有技术的不足，提供一种基于卷积神经网络的漫画人脸识别方法。用于解决由于忽略了同一类中图像数量少的类别，导致在漫画人脸的识别过程中识别的人物数量减少以及由于图片特征提取不完整，导致影响影响人脸对应的身份信息识别率。

实现本发明目的的思路是，构建C-F Loss损失函数，用来解决图像数量少的类别不能加入训练中从而导致漫画人脸的识别过程中识别的人物数量减少的问题。训练中使用Xception卷积神经网络进行图片特征提取，用来解决图片特征提取不完整从而导致影响人脸对应的身份信息的识别率。

本发明实现的具体步骤如下：

(1)生成训练集：

(1a)采集每个待识别者的漫画人脸图片和人脸图片，每个待识别者至少采集15张图片；

(1b)对每张图片中的每只眼睛的每个眼角标注为关键点，采用基于眼睛的人脸对齐方法得到人脸对齐后的图片，将每张人脸对齐后的图片裁剪为250×350的大小，得到裁剪后的图片；

(1c)将每个待识别者的所有裁剪后的图片组成一类，以待识别者的姓名作为该类的类别名，将每一类中的待识别者的所有裁剪后的图片作为训练图片，将所有类的训练图片组成训练集；

(2)生成C-F Loss损失函数如下：

F＝-[y log y′+(1-y)log(1-y′)]+[-α(1-y′)^γlog(y′)]×e

其中，y表示输入Xception卷积神经网络的图片对应的类别名，y′表示用于训练的Xception卷积神经网络的输出的预测的类别名，α表示一个用来解决不同类中的图片数量的不平衡的参数，其取值范围为[0,1]，γ表示一个用来解决图片在Xception卷积神经网络中训练后输出对应类别名的难易程度的不平衡的参数，其取值范围为[0,+∞)，e表示一个调整识别率大小的识别率因子，其取值范围为[0,1]。

(3)训练Xception卷积神经网络：

将训练集输入到Xception卷积神经网络中，利用Adam优化器对训练集中训练图片进行迭代训练直至C-F Loss损失函数的值不断收敛至最小，得到训练好的Xception卷积神经网络，保存训练好的Xception卷积神经网络中的权重；

(4)生成识别图片集：

采集每一位待识别者的与训练集中每一张图片不重复的漫画人脸图片，每个待识别者至少采集1张图片，将所有漫画人脸图片组成识别图片集；

(5)对漫画人脸图片进行识别：

将识别图片集中的每张图片依次输入到训练好的Xception卷积神经网络中，依次输出每张图片与其对应的类别名。

与现有技术相比，本发明具有以下优点：

第一，本发明生成了一个C-F Loss损失函数，用于训练Xception卷积神经网络过程中，克服了现有技术中两个问题，其一是不同类中的图片数量的不平衡和图片在Xception卷积神经网络中训练后输出对应类别名的难易程度的不平衡的问题，其二是由于图像数量少而不能加入训练的类别从而导致漫画人脸的识别过程中识别的人物数量减少的问题，使得本发明在训练Xception卷积神经网络前不必删除图片，减少类别数量，从而增加了漫画人脸在识别过程中的可识别的类别数量。

第二，本发明使用训练集中的图片训练Xception卷积神经网络，由于该网络采用多个不同尺寸的卷积核提取特征，提高了对待识别图片中不同尺度特征的适应能力，用于更完整的提取图片中的特征。克服了现有技术中由于减少了每张图片的像素大小且采用轻量级网络提取特征，导致每张图片提取的特征不完整，从而影响人脸对应的身份信息识别率的问题，使得本发明提取了待识别图片中更完整的特征，从而提高了人脸对应的身份信息的识别率。

附图说明

图1是本发明的流程图；

图2是仿真实验中采用的WebCaricature数据集的漫画人脸样本示意图；

图3是仿真实验中对图2中每张图片采用基于眼睛的人脸对齐方法后的漫画人脸样本示意图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照图1，对本发明的具体步骤做进一步的详细描述。

步骤1，生成训练集。

第一步，采集每个待识别者的漫画人脸图片和人脸图片，每个待识别者至少采集15张图片；

第二步，对每张图片中的每只眼睛的每个眼角标注为关键点，采用基于眼睛的人脸对齐方法得到人脸对齐后的图片，将每张人脸对齐后的图片裁剪为250×350的大小，得到裁剪后的图片；

第三步，将每个待识别者的所有裁剪后的图片组成一类，以待识别者的姓名作为该类的类别名，将每一类中的待识别者的所有裁剪后的图片作为训练图片，将所有类的训练图片组成训练集；

步骤2，生成C-F Loss损失函数如下。

F＝-[y log y′+(1-y)log(1-y′)]+[-α(1-y′)^γlog(y′)]×e

其中，y表示输入Xception卷积神经网络的图片对应的类别名，y′表示用于训练的Xception卷积神经网络的输出的预测的类别名，α表示一个用来解决不同类中的图片数量的不平衡的参数，其取值范围为[0,1]，γ表示一个用来解决图片在Xception卷积神经网络中训练后输出对应类别名的难易程度的不平衡的参数，其取值范围为[0,+∞)，e表示一个调整识别率大小的识别率因子，其取值范围为[0,1]。

步骤3，训练Xception卷积神经网络。

将训练集输入到Xception卷积神经网络中，利用Adam优化器对训练集中训练图片进行迭代训练直至C-F Loss损失函数的值不断收敛至最小，得到训练好的Xception卷积神经网络，保存训练好的Xception卷积神经网络中的权重；

步骤4，生成识别图片集。

采集每一位待识别者的与训练集中每一张图片不重复的漫画人脸图片，每个待识别者至少采集1张图片，将所有漫画人脸图片组成识别图片集；

步骤5，对漫画人脸图片进行识别。

将识别图片集中的每张图片依次输入到训练好的Xception卷积神经网络中，依次输出每张图片与其对应的类别名。

本发明的效果可以通过以下仿真实验进一步说明。

1.仿真条件：

本发明的仿真实验采用软件Pycharm作为仿真工具，计算机配置为IntelCore i7/3.6GHz/16G，64位Windows7操作***。

本发明的仿真实验使用的数据来自WebCaricature漫画人脸数据集中的所有数据，该数据集是由南京大学创建，包含252位人物身份的6042个漫画和5974张照片组成。每张图像的大小均为250×350。图2是WebCaricature漫画人脸数据集中分别选取的两位人物身份的3张漫画人脸样本示意图。

2.仿真实验内容：

本发明的仿真实验在WebCaricature漫画人脸数据集上进行，采用本发明的方法对人脸漫画图像进行识别，获得识别率。将WebCaricature漫画人脸数据集中的每张图片采用基于眼睛的人脸对齐方法，得到人脸对齐后的图片。图3是对图2中每张图片进行人脸对齐后的漫画人脸样本示意图。将人脸对齐后的数据集按照6：2：2的比例随机划分为训练集，验证集和测试集。将训练集数据输入到Xception卷积神经网络中进行训练，训练过程中采用数据增强技术，提高模型的泛化能力。验证集用来训练过程中验证在训练一个epoch后的模型，得到识别率和损失值。通过训练中计算模型在验证集上的识别率和损失值，使用early-stopping避免过度训练而导致的过拟合。测试集数据测试训练效果最好的模型，得出识别率。

Claims (1)

1.一种基于卷积神经网络的漫画人脸识别方法，其特征在于，利用C-F Loss损失函数，训练Xception卷积神经网络；该方法步骤包括如下：

(1)生成训练集：

(1a)采集每个待识别者的漫画人脸图片和人脸图片，每个待识别者至少采集15张图片；

(1b)对每张图片中的每只眼睛的每个眼角标注为关键点，采用基于眼睛的人脸对齐方法得到人脸对齐后的图片，将每张人脸对齐后的图片裁剪为250×350的大小，得到裁剪后的图片；

(1c)将每个待识别者的所有裁剪后的图片组成一类，以待识别者的姓名作为该类的类别名，将每一类中的待识别者的所有裁剪后的图片作为训练图片，将所有类的训练图片组成训练集；

(2)生成C-F Loss损失函数如下：

F＝-[y log y′+(1-y)log(1-y′)]+[-α(1-y′)^γlog(y′)]×e

其中，y表示输入Xception卷积神经网络的图片对应的类别名，y′表示用于训练的Xception卷积神经网络的输出的预测的类别名，α表示一个用来解决不同类中的图片数量的不平衡的参数，其取值范围为[0,1]，γ表示一个用来解决图片在Xception卷积神经网络中训练后输出对应类别名的难易程度的不平衡的参数，其取值范围为[0,+∞)，e表示一个调整识别率大小的识别率因子，其取值范围为[0,1]。

(3)训练Xception卷积神经网络：

将训练集输入到Xception卷积神经网络中，利用Adam优化器对训练集中训练图片进行迭代训练直至C-F Loss损失函数的值不断收敛至最小，得到训练好的Xception卷积神经网络，保存训练好的Xception卷积神经网络中的权重；

(4)生成识别图片集：

采集每一位待识别者的与训练集中每一张图片不重复的漫画人脸图片，每个待识别者至少采集1张图片，将所有漫画人脸图片组成识别图片集；

(5)对漫画人脸图片进行识别：

将识别图片集中的每张图片依次输入到训练好的Xception卷积神经网络中，依次输出每张图片与其对应的类别名。

Images