CN108537193A - 一种人脸属性中的种族属性识别方法及移动终端 - Google Patents
一种人脸属性中的种族属性识别方法及移动终端 Download PDFInfo
- Publication number
- CN108537193A CN108537193A CN201810343993.0A CN201810343993A CN108537193A CN 108537193 A CN108537193 A CN 108537193A CN 201810343993 A CN201810343993 A CN 201810343993A CN 108537193 A CN108537193 A CN 108537193A
- Authority
- CN
- China
- Prior art keywords
- face
- neural networks
- convolutional neural
- race
- pond
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸属性中的种族属性识别方法及移动终端,该方法适于在移动终端中执行,移动终端中存储有用于对种族属性进行识别的、训练好的第一卷积神经网络和第二卷积神经网络,该方法包括:对待识别图像进行处理以获取待识别人脸图像;将待识别人脸图像输入到训练好的第一卷积神经网络中进行种族属性识别;若该第一卷积神经网络的输出指示待识别人脸图像的种族属性不是第一种族,则将待识别人脸图像输入到训练好的第二卷积神经网络中进行种族属性识别;根据该第二卷积神经网络的输出确定待识别图像中人脸所对应的种族属性。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种人脸属性中的种族属性识别方法及移动终端。
背景技术
人脸识别的目标可细分为人脸定位(FD,Face Detection)、人脸特征点输出(FA:Face Alignment)、人脸匹配(FI:Face Identification)以及人脸属性识别(FR:FaceRecognition)等。其中FD、FA以及FI在社会中已经发挥了相当大的作用,比如身份识别***、安防***等等。
虽然关于人脸属性识别的研究还很少,应用也相对匮乏,但人脸属性识别显然有着相当重要的研究意义。比如说,根据用户的种族属性,应用产品可以根据种族群体性数据以及用户单体性数据,对其进行更为精准的推荐。而人脸属性分为很多种类,诸如性别、年龄、表情和种族等。目前,多数人脸属性识别(年龄及性别除外)的研究还停留在使用比较低级的特征提取方法,如Haar特征,以及能力较差的分类方法或分类器,如LDA(LatentDirichlet Allocation,潜在狄利克雷分配模型))、SVM(Support Vector Machine,支持向量机)。
神经网络近年来在识别领域取得了重大的突破,在一些人脸属性方面,比如年龄和性别,已经有了一些使用神经网络的算法,但这些算法大多只是简单的利用神经网络提取特征,然后按照多分类问题进行分类。人脸属性问题与多分类问题有相似之处,但同时也有着本质的不同。特别是对种族这一人脸属性来说,种族一般可分为黄种人、白种人和黑种人三种,不同人种之间有着明显的区别,但是部分人种之间的相似程度远比与其他人种之间的高。比如黄种人与白种人之间的差距,要远比黄种人与黑种人,或白种人与黑种人之间的差距要低。也就是说不同于常见的多分类问题,人种分类(或其他人脸属性识别问题),相近类之间的相似度可能远高于相远类。这种情况下如果依然只是简单的使用神经网络进行多分类,显然会无法利用某些先天的信息。
发明内容
为此,本发明提供一种人脸属性中的种族属性识别方案,以力图解决或者至少缓解上面存在的问题。
根据本发明的一个方面,提供一种人脸属性中的种族属性识别方法,适于在移动终端中执行,该移动终端中存储有用于对种族属性进行识别的、训练好的第一卷积神经网络和第二卷积神经网络,该方法包括如下步骤:首先,对待识别图像进行处理以获取待识别人脸图像;将待识别人脸图像输入到训练好的第一卷积神经网络中进行种族属性识别;若该第一卷积神经网络的输出指示待识别人脸图像的种族属性不是第一种族,则将待识别人脸图像输入到训练好的第二卷积神经网络中进行种族属性识别;根据该第二卷积神经网络的输出确定待识别图像中人脸所对应的种族属性。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,还包括:若该第一卷积神经网络的输出指示待识别人脸图像的种族属性是第一种族,则确定待识别图像中人脸所对应的种族属性为第一种族。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,对待识别图像进行处理以获取待识别人脸图像的步骤包括:对待识别图像进行人脸检测,以获取待识别图像中人脸对应的关键点位置信息集合;通过关键点位置信息集合计算对应的凸包,基于凸包从该待识别图像中裁切出预设尺寸下的人脸矩形;根据人脸矩形计算相应的人脸旋转角度,利用人脸旋转角度将人脸矩形旋转成水平正面,以获取待识别图像对应的待识别人脸图像。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,该第二卷积神经网络用于识别图像中的人脸对应的种族属性是第二种族还是第三种族。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,第一种族为黑色人种,第二种族为白色人种,第三种族为黄色人种。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,训练好的第一卷积神经网络通过以下方式获取:构建第一卷积块,第一卷积块包括第一卷积层;构建第一池化块,第一池化块包括第一池化层;分别构建第二池化层、第一全连接层和第一分类器;根据一个或多个第一卷积块、第一池化块和第二池化层,结合第一全连接层和第一分类器构建第一卷积神经网络,第一卷积神经网络以第一卷积块为输入、以第一分类器为输出;根据预先获取的第一人脸图像数据集合对第一卷积神经网络进行训练,以便第一分类器的输出指示输入图像中人脸所对应的种族属性,第一人脸图像数据集合包括多个第一人脸图像信息,每个第一人脸图像信息包括第一人脸图像和对应图像中人脸的种族信息。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,构建第一卷积块的步骤还包括:构建第一激活层;在第一卷积层之后添加第一激活层,以形成第一卷积块。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,构建第一池化块的步骤还包括:构建第一归一化层;在第一池化层之后添加第一归一化层,以形成第一池化块。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,根据一个或多个第一卷积块、第一池化块和第二池化层,结合第一全连接层和第一分类器构建第一卷积神经网络的步骤包括:按照预设的第一连接规则,将各第一卷积块、第一池化块和第二池化层进行相连后,连接预先构建好的第一弃权层;在第一弃权层之后添加依次相连的第一全连接层和第一分类器,以构建以第一卷积块为输入、以第一分类器为输出的第一卷积神经网络。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,根据预先获取的第一人脸图像数据集合对第一卷积神经网络进行训练,以便第一分类器的输出指示输入图像中人脸所对应的种族属性的步骤包括:对每一个提取出的第一人脸图像信息,以该第一人脸图像信息所包括的第一人脸图像为第一卷积神经网络中第一个第一卷积块的输入,以该第一人脸图像信息所包括的种族信息为第一分类器的输出,对第一卷积神经网络进行训练。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,第一卷积块的数量为2,第一池化块和第二池化层的数量均为1。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,第一人脸图像信息所包括的种族信息为第一种族或非第一种族。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,训练好的第二卷积神经网络通过以下方式获取:构建第二卷积块,第二卷积块包括第二卷积层;构建第二池化块,第二池化块包括第三池化层;构建第一全连接块,第一全连接块包括第二全连接层;分别构建第四池化层、第三全连接层和第二分类器;根据一个或多个第二卷积块、第二池化块、第四池化层和第一全连接块,结合第三全连接层和第二分类器构建第二卷积神经网络,第二卷积神经网络以第二卷积块为输入、以第二分类器为输出;根据预先获取的第二人脸图像数据集合对第二卷积神经网络进行训练,以便第二分类器的输出指示输入图像中人脸所对应的种族属性,第二人脸图像数据集合包括多个第二人脸图像信息,每个第二人脸图像信息包括第二人脸图像和对应图像中人脸的种族信息。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,构建第二卷积块的步骤还包括:构建第二激活层;在第二卷积层之后添加第二激活层,以形成第二卷积块。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,构建第二池化块的步骤还包括:构建第二归一化层;在第三池化层之后添加第二归一化层,以形成第二池化块。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,构建第一全连接块的步骤还包括:分别构建第三激活层和第二弃权层;在第二全连接层之后添加依次相连的第三激活层和第二弃权层,以形成第一全连接块。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,根据一个或多个第二卷积块、第二池化块、第四池化层和第一全连接块,结合第三全连接层和第二分类器构建第二卷积神经网络的步骤包括:按照预设的第二连接规则,将各第二卷积块、第二池化块、第四池化层和第一全连接块进行相连,再连接依次相连的第三全连接层和第二分类器,以构建以第二卷积块为输入、以第二分类器为输出的第二卷积神经网络。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,根据预先获取的第二人脸图像数据集合对第二卷积神经网络进行训练,以便第二分类器的输出指示输入图像中人脸所对应的种族属性的步骤包括:对每一个提取出的第二人脸图像信息,以该第二人脸图像信息所包括的第二人脸图像为第二卷积神经网络中第一个第二卷积块的输入,以该第二人脸图像信息所包括的种族信息为第二分类器的输出,对第二卷积神经网络进行训练。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,第二卷积块的数量为3,第二池化块的数量为2,第一全连接块和第四池化层的数量均为1。
可选地,在根据本发明的人脸属性中的种族属性识别方法中,第二人脸图像信息所包括的种族信息为第二种族或第三种族。
根据本发明的又一个方面,提供一种移动终端,包括一个或多个处理器、存储器以及一个或多个程序,其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序包括用于执行根据本发明的人脸属性中的种族属性识别方法的指令。
根据本发明的又一个方面,提供一种存储一个或多个程序的计算机可读存储介质,一个或多个程序包括指令,指令当由移动终端执行时,使得移动终端执行根据本发明的人脸属性中的种族属性识别方法。
根据本发明的人脸属性中的种族属性识别方案,对从待识别图像中获取到的待识别人脸图像,先将其输入到训练好的第一卷积神经网络中进行种族属性识别,若该第一卷积神经网络的输出指示待识别人脸图像的种族属性是第一种族,则确定待识别图像中人脸所对应的种族属性为第一种族,若该第一卷积神经网络的输出指示该待识别人脸图像的种族属性不是第一种族,则将该待识别人脸图像输入到训练好的第二卷积神经网络中进行种族属性识别,根据该第二卷积神经网络的输出确定待识别图像中人脸所对应的种族属性。其中,第二卷积神经网络用于识别图像中的人脸对应的种族属性是第二种族还是第三种族。在上述方案中,通过使用层级神经网络将种族属性的多分类问题划分为层级附属的小型分类问题,即第一卷积神经网络和第二卷积神经网络实际上是二分类网络,以较小的网络结构即可实现精确分类,如果作为的输入的待识别人脸图像经过第一卷积神经网络被判定为第一种族,则第二卷积神经网络无需加载,也更无需进行计算处理,不仅减少了内存使用率,降低了平均计算量,还明显提升了总体准确率。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明的一个实施例的移动终端100的示意图;
图2示出了根据本发明的一个实施例的人脸属性中的种族属性识别方法200的流程图;
图3A示出了根据本发明的一个实施例的第一卷积块的结构示意图;
图3B示出了根据本发明的一个实施例的第一池化块的结构示意图;
图4示出了根据本发明的一个实施例的第一卷积神经网络的结构示意图;
图5A示出了根据本发明的一个实施例的第二卷积块的结构示意图;
图5B示出了根据本发明的一个实施例的第二池化块的结构示意图;
图5C示出了根据本发明的一个实施例的第一全连接块的结构示意图;以及
图6示出了根据本发明的一个实施例的第二卷积神经网络的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是移动终端100的结构框图。移动终端100可以包括存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104,以及***接口106。
存储器接口102、一个或多个处理器104和/或***接口106既可以是分立元件,也可以集成在一个或多个集成电路中。在移动终端100中,各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子***可以耦合到***接口106,以便帮助实现多种功能。
例如,运动传感器110、光线传感器112和距离传感器114可以耦合到***接口106,以方便定向、照明和测距等功能。其他传感器116同样可以与***接口106相连,例如定位***(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备,由此可以帮助实施相关的功能。
相机子***120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现,其中所述相机子***和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。可以通过一个或多个无线通信子***124来帮助实现通信功能,其中无线通信子***可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子***124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如,移动终端100可以包括被设计成支持LTE、3G、GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及BlueboothTM网络的通信子***124。
音频子***126可以与扬声器128以及麦克风130相耦合,以便帮助实施启用语音的功能,例如语音识别、语音复制、数字记录和电话功能。I/O子***140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说,该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停,其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148,例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。
存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器,例如一个或多个磁盘存储设备,一个或多个光学存储设备,和/或闪存存储器(例如NAND,NOR)。存储器150可以存储操作***172,例如Android、iOS或是Windows Phone之类的操作***。该操作***172可以包括用于处理基本***服务以及执行依赖于硬件的任务的指令。存储器150还可以存储程序174。在移动设备运行时,会从存储器150中加载操作***172,并且由处理器104执行。程序174在运行时,也会从存储器150中加载,并由处理器104执行。程序174运行在操作***之上,利用操作***以及底层硬件提供的接口实现各种用户期望的功能,如即时通信、网页浏览、图片管理等。程序174可以是独立于操作***提供的,也可以是操作***自带的。另外,程序174被安装到移动终端100中时,也可以向操作***添加驱动模块。在一些实施例中,移动终端100被配置为执行根据本发明的人脸属性中的种族属性识别方法。其中,移动终端100的一个或多个程序174包括用于执行根据本发明的人脸属性中的种族属性识别方法200的指令。
图2示出了根据本发明一个实施例的人脸属性中的种族属性识别方法200的流程图。人脸属性中的种族属性识别方法200适于在移动终端(例如图1所示的移动终端100)中执行,移动终端100中存储有用于对种族属性进行识别的、训练好的第一卷积神经网络和第二卷积神经网络。根据本发明的一个实施例,训练好的第一卷积神经网络和第二卷积神经网络存储于移动终端100的存储器150中,第一卷积神经网络和第二卷积神经网络适于对输入图像中的人脸进行种族识别。
方法200始于步骤S210,在步骤S 210中,对待识别图像进行处理以获取待识别人脸图像。根据本发明的一个实施例,可通过如下方式对待识别图像进行处理以获取待识别人脸图像。首先,对待识别图像进行人脸检测,以获取待识别图像中人脸对应的关键点位置信息集合,再通过关键点位置信息集合计算对应的凸包,基于凸包从该待识别图像中裁切出预设尺寸下的人脸矩形,根据人脸矩形计算相应的人脸旋转角度,利用人脸旋转角度将人脸矩形旋转成水平正面,以获取待识别图像对应的待识别人脸图像。应注意的是,在基于凸包进行预设尺寸下人脸矩形的裁切时,先是基于凸包计算出对应的最小外接矩形,将最小外接矩形的4个顶点向外拓展得到人脸的拓展矩形。在该实施方式中,预设尺寸为80px×80px,则根据该预设尺寸的大小对拓展矩形进行相应的缩放处理来获取人脸矩形,最终得到的待识别人脸图像的尺寸即为80px×80px。需要说明的是,上述获取待识别人脸图像过程中的人脸检测、人脸裁切等处理手段,可依据待识别图像的具体情况进行相适应调整,对此并不限制,这些对于了解本发明方案的技术人员来说是可以容易想到的,并且也在本发明的保护范围之内,此处不予以赘述。
随后,进入步骤S220,将待识别人脸图像输入到训练好的第一卷积神经网络中进行种族属性识别。为便于理解,下面将先对获取训练好的第一卷积神经网络的过程进行说明。
具体的,先构建第一卷积块,第一卷积块包括第一卷积层。考虑到控制过拟合现象,根据本发明的一个实施例,在构建第一卷积块时,还可以构建第一激活层,在第一卷积层之后添加第一激活层,以形成第一卷积块。图3A示出了根据本发明的一个实施例的第一卷积块的结构示意图。如图3A所示,在第一卷积块中,包括依次相连的第一卷积层和第一激活层。在该实施方式中,采用PReLU(Parametric Rectified Linear Unit)函数作为第一激活层的激活函数,以调整经过第一卷积层的输出,避免下一层的输出为上一层的线性组合而无法逼近任意函数。
然后,构建第一池化块,第一池化块包括第一池化层。为了提高网络的泛化能力,根据本发明的一个实施例,在构建第一池化块时,还可以构建第一归一化层,在第一池化层之后添加第一归一化层,以形成第一池化块。第一归一化层是一个局部响应归一化层(LRN:Local Response Normalization),局部响应归一化可分为两种情况,第一种是特征图之间对应像素点的归一化,第二种是特征图的每个像素点的局部归一化,在该实施方式中选择第二种归一化处理,即对特征图中的某一像素点进行空间扩展,根据该像素点所在位置,将其周围一定大小区域内的像素点进行归一化处理,并将归一化处理后的结果用于更新该像素点的值。图3B示出了根据本发明的一个实施例的第一池化块的结构示意图。如图3B所示,在第一池化块中,包括依次相连的第一池化层和第一归一化层。
完成第一卷积块和第一池化块的构建后,分别构建第二池化层、第一全连接层和第一分类器。根据本发明的一个实施例,第一池化层和第二池化层均为平均池化层,池化利用图像局部相关性的原理,对图像进行子抽样,从而减少数据处理下并保留有用信息。
接下来,根据一个或多个第一卷积块、第一池化块和第二池化层,结合第一全连接层和第一分类器构建第一卷积神经网络,第一卷积神经网络以第一卷积块为输入、以第一分类器为输出。根据本发明的一个实施例,可通过如下方式构建第一卷积神经网络。首先,按照预设的第一连接规则,将各第一卷积块、第一池化块和第二池化层进行相连后,连接预先构建好的第一弃权层,在第一弃权层之后添加依次相连的第一全连接层和第一分类器,以构建以第一卷积块为输入、以第一分类器为输出的第一卷积神经网络。其中,第一卷积块的数量为2,第一池化块和第二池化层的数量均为1。
在该实施方式中,按照预设的第一连接规则将2个第一卷积块、1个第一池化块和1个第二池化层进行相连,连接预先构建好的第一弃权层,在第一弃权层之后添加依次相连的第一全连接层和第一分类器,从而构建出以1个第一卷积块为输入,以该第一分类器为输出的第一卷积神经网络。图4示出了根据本发明的一个实施例的第一卷积神经网络的结构示意图。如图4所示,在第一卷积神经网络中,是以第一卷积块A1为输入端,后面依次相连第一池化块B1、第一卷积块A2、第二池化层C1、第一弃权层D1、第一全连接层E1和第一分类器F1,其中第一分类器F1为输出端。图4所示出的各处理单元的连接顺序,即为按照预设的第一连接规则来设置的。关于第一连接规则的预先设置,可根据实际应用场景、网络训练情况、***配置和性能要求等进行适当调整,这些对于了解本发明方案的技术人员来说是可以容易想到的,并且也在本发明的保护范围之内,此处不予以赘述。
构建好第一卷积神经网络后,开始对其进行训练。根据预先获取的第一人脸图像数据集合对第一卷积神经网络进行训练,以便第一分类器的输出指示输入图像中人脸所对应的种族属性,第一人脸图像数据集合包括多个第一人脸图像信息,每个第一人脸图像信息包括第一人脸图像和对应图像中人脸的种族信息。根据本发明的一个实施例,可通过如下方式对第一卷积神经网络进行训练。在该实施方式中,对每一个提取出的第一人脸图像信息,以该第一人脸图像信息所包括的第一人脸图像为第一卷积神经网络中第一个第一卷积块的输入,以该第一人脸图像信息所包括的种族信息为第一分类器的输出,对第一卷积神经网络进行训练。其中,第一人脸图像为RGBA四通道图像,其尺寸满足预设尺寸80px×80px,第一人脸图像信息所包括的种族信息为第一种族或非第一种族,第一种族为黑色人种,非第一种族为白色人种或黄色人种。
下面将以第一人脸图像数据集合中的一个第一人脸图像信息X为例,对第一卷积神经网络的训练过程进行说明。第一人脸图像信息X包括第一人脸图像X1和对应图像中人脸的种族信息X2,第一人脸图像X1的尺寸为80px×80px,种族信息X2为第一种族。在训练时,是以第一人脸图像X1为第一卷积块A1的输入、种族信息X2为第一分类器F1的输出进行第一卷积神经网络的训练。
表1示出了根据本发明的一个实施例的第一卷积块A1和A2的参数设置示例,表2示出了根据本发明的一个实施例的第一池化块B1和第二池化层C1的参数设置示例。其中,对表1里边界补零这一参数的值来说,“0”表示不进行边界补零操作,“1”表示将卷积层所输入图像的边缘向外1个像素单位的各行与各列以0填充。若无特别指出,以下涉及边界补零的内容均以上述说明为准。表1和表2的内容具体分别如下所示:
处理单元 | 卷积核尺寸 | 边界补零 | 步长 | 卷积核数量 |
第一卷积块A1 | 3×3 | 1 | 1 | 32 |
第一卷积块A2 | 3×3 | 1 | 1 | 64 |
表1
表2
参照表1对第一卷积块A1和A2进行参数设置,参照表2对第一池化块B1和第二池化层C1进行参数设置,并基于以上参数对第一人脸图像X1进行处理。具体的,先将第一人脸图像X1输入到第一卷积块A1,第一人脸图像X1为RGBA四通道图像,尺寸为80px×80px。第一卷积块A1中的第一卷积层有32个卷积核,每个卷积核的参数个数为3×3×4,相当于32个3×3大小的卷积核分别在4个通道进行卷积,步长为1。将该第一卷积层所输入第一人脸图像X1的边缘向外1个像素单位的各行与各列以0填充,则经过该第一卷积层的卷积后,根据可知,此时得到的图像的尺寸为80px×80px,即获得32张80px×80px大小的特征图,其中表示向下取整。由于在该第一卷积层中已经将四通道合在一起进行卷积处理,因此第一卷积块A1中的第一激活层的输入为32张80px×80px的单通道图像,经过该第一激活层的处理后,得到第一卷积块A1的输出为32张80px×80px的特征图。
随后,进入第一池化块B1。第一池化块B1中的第一池化层采用平均池化,即对80px×80px的特征图进行分块,每个块的大小为2×2,步长为2,并统计每个块的平均值,作为池化后图像的像素值。根据可知,池化后的特征图尺寸为40px×40px,则经过该第一池化层之后,获得32张40px×40px的特征图。再经过第一池化块B1中第一归一化层的处理,对特征图中的各像素点进行空间扩展,如有必要可补零,根据该像素点所在位置,将其周围5px×5px大小区域内的像素点进行归一化,并将归一化处理后的结果用于更新该像素点的值,从而得到第一池化块B1的输出为32张40px×40px的特征图。
接下来,将第一池化块B1输出的32张40px×40px的特征图输入到第一卷积块A2中,第一卷积块A2中的第一卷积层有64个卷积核,每个卷积核的参数个数为3×3,相当于64个1×1大小的卷积核进行卷积,步长为1。将该第一卷积层所输入特征图的边缘向外1个像素单位的各行与各列以0填充,则经过该第一卷积层的卷积后,根据可知,此时得到的图像的尺寸为40px×40px,即获得64张40px×40px大小的特征图。再经过第一卷积块A2中第一激活层的处理,得到第一卷积块A2的输出为64张40px×40px的特征图。
此时,第一卷积块A2所输出的64张40px×40px的特征图在经过第二池化层C1的平均池化处理后,根据可知,第二池化层C1的输出为64张20px×20px的特征图。将这64张20px×20px的特征图作为第一弃权(Dropout)层D1的输入,第一弃权层D1的比率优选为0.7。在第一弃权层D1进行dropout处理时,由于dropout可以理解为模型平均,即训练过程中在前向传导时,让某个神经元的激活值以一定的概率p停止工作,即该神经元的激活值以概率p变为0,这里p=0.7。第二池化层C1的神经元(可以理解为像素)为20×20×64=2560个,那么这一层神经元经过dropout之后,其中约有2560×0.7=1792个神经元的值被置为0,相当于通过阻止某些特征的协同作用来缓解过拟合,避免一个神经元的出现依赖于另一个神经元的现象。
经过第一弃权层D1之后,获得64张20px×20px的特征图。此后,进入第一全连接层E1,由于是对种族属性是否为第一种族进行识别,是一个二分类问题,因此第一全连接层E1的核数是2个,其输出也为2个,分别对应第一种族和非第一种族这2种情况出现的概率。第一分类器F1选用softmax分类器,其输出为最大概率对应的种族属性,该种族属性为第一人脸图像X1所对应的种族信息X2。关于softmax分类器的内容,为成熟的技术手段,此处不予以赘述。为了训练该第一卷积神经网络,根据输入的第一人脸图像X1对应的种族信息X2为第一种族这一预知结果,对第一分类器F1的输出进行调整,按极小化误差的方法反向传播以调整第一卷积神经网络中的各参数。经过第一人脸图像数据集合中大量的第一人脸图像信息进行训练后,获得训练好的第一卷积神经网络。
此外,用于训练第一卷积神经网络的第一人脸图像数据集合是需要预先生成的,根据本发明的又一个实施例,可以通过如下方式预先生成第一人脸图像数据集合。首先,对每一张第一待处理图片进行图像处理,以获取各第一待处理图片对应的、满足预设尺寸的第一人脸图像。关于此处对第一待处理图片进行处理的过程,一般是通过人脸检测、人脸裁切等常规图像处理技术,以获取到满足预设尺寸的第一人脸图像,这些对于了解本发明方案的技术人员来说是可以容易想到的,并且也在本发明的保护范围之内,此处不予以赘述。之后,对每一张第一人脸图像,获取其对应的第一待处理图片关联的种族信息,根据该种族信息与该第一人脸图像生成相应的第一人脸图像信息,汇集各第一人脸图像信息,以形成第一人脸图像数据集合。在该实施方式中,第一人脸图像数据集合包括10万个第一人脸图像信息,其中5万个第一人脸图像信息所包括的种族信息均为第一种族,即黑色人种,剩余5万个第一人脸图像信息所包括的种族信息均为非第一种族,即黄色人种或白色人种,且黄色人种和白色人种对应的第一人脸图像信息的数量占比均为50%。
基于此,根据本发明的一个实施例,将步骤S210获取到的待识别人脸图像输入到训练好的第一卷积神经网络中进行种族属性识别,训练好的第一卷积神经网络中第一分类器F1的输出为2个概率值,其中最大的概率值为0.85,为第一分类器F1的第2个输出,对应的种族属性为非第一种族,由此可确定待识别图像对应的种族属性不是第一种族,即并非黑色人种。
进而,执行步骤S230,若该第一卷积神经网络的输出指示待识别人脸图像的种族属性不是第一种族,则将待识别人脸图像输入到训练好的第二卷积神经网络中进行种族属性识别。其中,第二卷积神经网络用于识别图像中的人脸对应的种族属性是第二种族还是第三种族,第二种族为白色人种,第三种族为黄色人种。为便于理解,下面将先对获取训练好的第二卷积神经网络的过程进行说明。
具体的,先构建第二卷积块,第二卷积块包括第二卷积层。考虑到控制过拟合现象,根据本发明的一个实施例,在构建第二卷积块时,还可以构建第二激活层,在第二卷积层之后添加第二激活层,以形成第二卷积块。图5A示出了根据本发明的一个实施例的第二卷积块的结构示意图。如图5A所示,在第二卷积块中,包括依次相连的第二卷积层和第二激活层。在该实施方式中,采用PReLU(Parametric Rectified Linear Unit)函数作为第二激活层的激活函数,以调整经过第二卷积层的输出,避免下一层的输出为上一层的线性组合而无法逼近任意函数。
然后,构建第二池化块,第二池化块包括第三池化层。为了提高网络的泛化能力,根据本发明的一个实施例,在构建第二池化块时,还可以构建第二归一化层,在第三池化层之后添加第二归一化层,以形成第二池化块。第二归一化层是一个局部响应归一化层(LRN:Local Response Normalization),该层是对特征图中的某一像素点进行空间扩展,根据该像素点所在位置,将其周围一定大小区域内的像素点进行归一化处理,并将归一化处理后的结果用于更新该像素点的值。图5B示出了根据本发明的一个实施例的第二池化块的结构示意图。如图5B所示,在第二池化块中,包括依次相连的第三池化层和第二归一化层。
接下来,构建第一全连接块,第一全连接块包括第二全连接层。为了缓解过拟合现象,防止一个神经元的出现依赖于另一个神经元,根据本发明的一个实施例,在构建第一全连接块时,可分别构建第三激活层和第二弃权层,在第二全连接层之后添加依次相连的第三激活层和第二弃权层,以形成第一全连接块。图5C示出了根据本发明的一个实施例的第一全连接块的结构示意图。如图5C所示,在第一全连接块中,包括依次相连的第二全连接层、第三激活层和第二弃权层。在该实施方式中,采用PReLU(Parametric RectifiedLinear Unit)函数作为第三激活层的激活函数,以调整经过第二全连接层的输出,避免下一层的输出为上一层的线性组合而无法逼近任意函数。
完成第二卷积块、第二池化块和第一全连接块的构建后,分别构建第四池化层、第三全连接层和第二分类器。根据本发明的一个实施例,第三池化层和第四池化层均为平均池化层。
进而,根据一个或多个第二卷积块、第二池化块、第四池化层和第一全连接块,结合第三全连接层和第二分类器构建第二卷积神经网络,第二卷积神经网络以第二卷积块为输入、以第二分类器为输出。根据本发明的一个实施例,可通过如下方式构建第二卷积神经网络。首先,按照预设的第二连接规则,将各第二卷积块、第二池化块、第四池化层和第一全连接块进行相连,再连接依次相连的第三全连接层和第二分类器,以构建以第二卷积块为输入、以第二分类器为输出的第二卷积神经网络。其中,第二卷积块的数量为3,第二池化块的数量为2,第一全连接块和第四池化层的数量均为1。
在该实施方式中,按照预设的第二连接规则将3个第二卷积块、2个第二池化块、1个第四池化层和1个第一全连接块进行相连,再连接依次相连的第三全连接层和第二分类器,从而构建出以1个第二卷积块为输入,以该第二分类器为输出的第二卷积神经网络。图6示出了根据本发明的一个实施例的第二卷积神经网络的结构示意图。如图6所示,在第二卷积神经网络中,是以第二卷积块G1为输入端,后面依次相连第二池化块H1、第二卷积块G2、第二池化块H2、第二卷积块G3、第四池化层I1、第一全连接块J1、第三全连接层K1和第二分类器L1,其中第二分类器L1为输出端。图6所示出的各处理单元的连接顺序,即为按照预设的第二连接规则来设置的。关于第二连接规则的预先设置,可根据实际应用场景、网络训练情况、***配置和性能要求等进行适当调整,这些对于了解本发明方案的技术人员来说是可以容易想到的,并且也在本发明的保护范围之内,此处不予以赘述。
构建好第二卷积神经网络后,开始对其进行训练。根据预先获取的第二人脸图像数据集合对第二卷积神经网络进行训练,以便第二分类器的输出指示输入图像中人脸所对应的种族属性,第二人脸图像数据集合包括多个第二人脸图像信息,每个第二人脸图像信息包括第二人脸图像和对应图像中人脸的种族信息。根据本发明的一个实施例,可通过如下方式对第二卷积神经网络进行训练。在该实施方式中,对每一个提取出的第二人脸图像信息,以该第二人脸图像信息所包括的第二人脸图像为第二卷积神经网络中第一个第二卷积块的输入,以该第二人脸图像信息所包括的种族信息为第二分类器的输出,对第二卷积神经网络进行训练。其中,第二人脸图像为RGBA四通道图像,其尺寸满足预设尺寸80px×80px,第二人脸图像信息所包括的种族信息为第二种族或第三种族。
下面将以第二人脸图像数据集合中的一个第二人脸图像信息Y为例,对第二卷积神经网络的训练过程进行说明。第二人脸图像信息Y包括第二人脸图像Y1和对应图像中人脸的种族信息Y2,第二人脸图像Y1的尺寸为80px×80px,种族信息Y2为第二种族。在训练时,是以第二人脸图像Y1为第二卷积块G1的输入、种族信息Y2为第二分类器L1的输出进行第二卷积神经网络的训练。
表3示出了根据本发明的一个实施例的第二卷积块G1~G3的参数设置示例,表4示出了根据本发明的一个实施例的第二池化块H1、H2和第四池化层I1的参数设置示例。表3和表4的内容具体分别如下所示:
处理单元 | 卷积核尺寸 | 边界补零 | 步长 | 卷积核数量 |
第二卷积块G1 | 3×3 | 1 | 1 | 32 |
第二卷积块G2 | 3×3 | 1 | 1 | 64 |
第二卷积块G3 | 3×3 | 1 | 1 | 64 |
表3
处理单元 | 池化分块尺寸 | 步长 |
第二池化块H1 | 2×2 | 2 |
第二池化块H2 | 2×2 | 2 |
第四池化层I1 | 2×2 | 2 |
表4
参照表3对第二卷积块G1~G3进行参数设置,参照表4对第二池化块H1、H2和第四池化层I1进行参数设置,并基于以上参数对第二人脸图像Y2进行处理。将第二人脸图像Y2输入到第二卷积块G1后,经过后续处理单元的相关处理,得到第四池化层I1的输出为64张10px×10px的特征图。需要说明的是,第二卷积块G1对图像的相关处理可参照如上第一卷积块A1的处理过程,第二卷积块G2和G3对图像的相关处理可参照如上第一卷积块A2的处理过程,第二池化块H1和H2对图像的相关处理可参照如上第一池化块B1的处理过程,第四池化层I1对图像的相关处理可参照如上第二池化层C1的处理过程,只是在参数的设置上,如卷积核的数量及尺寸、池化分块尺寸、步长、是否边界补零等可能存在不同,此处不再赘述。
接下来,将第四池化层I1的输出输入到第一全连接块J1中,第一全连接块J1包括依次相连的第二全连接层、第三激活层和第二弃权层。其中,该第二全连接层的核数是32个,该第二弃权层的比率优选为0.7。上述64张10px×10px的特征图进入到第一全连接块J1的第二全连接层后,得到32张1px×1px的特征图。此时,1px×1px的特征图实际上只具备1个像素值,因此该第二全连接层的输出可视为一个1×32的特征向量。将这32张1px×1px的特征图输入到第一全连接块J1中的第三激活层,经过该第三激活层的处理后得到32张1px×1px的特征图,随即将其作为该第二弃权层的输入进行处理,最终得到第一全连接块J1的输出为32张1px×1px的特征图。
最后,进入第三全连接层K1,第三全连接层的核数为2个,第一全连接块J1的输出经过第三全连接层K1处理后,得到2个输出,分别对应第二种族和第三种族这2种情况出现的概率。第二分类器L1选用softmax分类器,其输出为最大概率对应的种族属性,该种族属性为第二人脸图像Y1所对应的种族信息Y2。为了训练该第二卷积神经网络,根据输入的第二人脸图像Y1所对应的种族信息Y2为第二种族这一预知结果,对第二分类器L1的输出进行调整,按极小化误差的方法反向传播以调整第二卷积神经网络中的各参数。经过第二人脸图像数据集合中大量的第二人脸图像信息进行训练后,获得训练好的第二卷积神经网络。
此外,用于训练第二卷积神经网络的第二人脸图像数据集合是需要预先生成的,具体可参照如上预先生成第一人脸图像数据集合的过程。在该实施方式中,第二人脸图像数据集合包括6万个第二人脸图像信息,其中3万个第二人脸图像信息所包括的种族信息均为第二种族,即黄色人种,剩余3万个第二人脸图像信息所包括的种族信息均为第三种族,即白色人种。
基于此,根据步骤S220中第一卷积神经网络对待识别人脸图像的识别结果可知,待识别人脸图像中人脸对应的种族属性不是第一种族,则将其输入到训练好的第二卷积神经网络中进行种族属性识别,则第二分类器L1输出了2个概率值,分别是0.76和0.24。当然,若该第一卷积神经网络的输出指示待识别人脸图像的种族属性是第一种族,则根据本发明的又一个实施例,确定待识别图像中人脸所对应的种族属性为第一种族。
最后,执行步骤S240,根据该第二卷积神经网络的输出确定待识别图像中人脸所对应的种族属性。根据本发明的一个实施例,从步骤S230得到第二卷积神经网络输出的概率中最大值为0.76,为第二分类器L1的第1个输出,对应的种族属性为第二种族,由此可确定待识别图像中人脸所对应的种族属性是第二种族,即黄色人种。
值得注意的是,种族属性仅是人脸属性的一种,而如年龄、表情这种需要多分类进行识别的人脸属性,同样可参照如上种族属性的识别方案,通过构建层级结构的神经网络来进行处理,将复杂的多分类问题简化成多层级的二分类问题,在保证较高的识别精度和准确率的基础上,降低存储空间和内存资源占用率,为用户提供更好的体验。
现有的人脸属性中的种族属性识别方法,通常直接通过多分类的神经网络模型进行处理,没有考虑相近类之间的相似度可能远高于相远类的情况,无法利用某些先天的信息,若要保证准确度则模型结构复杂,若要简化模型则识别精度较低。根据本发明实施例的人脸属性中的种族属性识别方案,对从待识别图像中获取到的待识别人脸图像,先将其输入到训练好的第一卷积神经网络中进行种族属性识别,若该第一卷积神经网络的输出指示待识别人脸图像的种族属性是第一种族,则确定待识别图像中人脸所对应的种族属性为第一种族,若该第一卷积神经网络的输出指示该待识别人脸图像的种族属性不是第一种族,则将该待识别人脸图像输入到训练好的第二卷积神经网络中进行种族属性识别,根据该第二卷积神经网络的输出确定待识别图像中人脸所对应的种族属性。其中,第二卷积神经网络用于识别图像中的人脸对应的种族属性是第二种族还是第三种族。在上述方案中,通过使用层级神经网络将种族属性的多分类问题划分为层级附属的小型分类问题,即第一卷积神经网络和第二卷积神经网络实际上是二分类网络,以较小的网络结构即可实现精确分类,如果作为的输入的待识别人脸图像经过第一卷积神经网络被判定为第一种族,则第二卷积神经网络无需加载,也更无需进行计算处理,不仅减少了内存使用率,降低了平均计算量,还明显提升了总体准确率。
A9.如A6-8中任一项所述的方法,所述根据一个或多个第一卷积块、第一池化块和第二池化层,结合所述第一全连接层和第一分类器构建第一卷积神经网络的步骤包括:
按照预设的第一连接规则,将各第一卷积块、第一池化块和第二池化层进行相连后,连接预先构建好的第一弃权层;
在所述第一弃权层之后添加依次相连的第一全连接层和第一分类器,以构建以第一卷积块为输入、以所述第一分类器为输出的第一卷积神经网络。
A10.如A6-9中任一项所述的方法,所述根据预先获取的第一人脸图像数据集合对所述第一卷积神经网络进行训练,以便所述第一分类器的输出指示输入图像中人脸所对应的种族属性的步骤包括:
对每一个提取出的第一人脸图像信息,以该第一人脸图像信息所包括的第一人脸图像为所述第一卷积神经网络中第一个第一卷积块的输入,以该第一人脸图像信息所包括的种族信息为所述第一分类器的输出,对所述第一卷积神经网络进行训练。
A11.如A6-10中任一项所述的方法,其中,所述第一卷积块的数量为2,所述第一池化块和第二池化层的数量均为1。
A12.如A6-11中任一项所述的方法,所述第一人脸图像信息所包括的种族信息为第一种族或非第一种族。
A13.如A1-12中任一项所述的方法,所述训练好的第二卷积神经网络通过以下方式获取:
构建第二卷积块,所述第二卷积块包括第二卷积层;
构建第二池化块,所述第二池化块包括第三池化层;
构建第一全连接块,所述第一全连接块包括第二全连接层;
分别构建第四池化层、第三全连接层和第二分类器;
根据一个或多个第二卷积块、第二池化块、第四池化层和第一全连接块,结合所述第三全连接层和第二分类器构建第二卷积神经网络,所述第二卷积神经网络以第二卷积块为输入、以所述第二分类器为输出;
根据预先获取的第二人脸图像数据集合对所述第二卷积神经网络进行训练,以便所述第二分类器的输出指示输入图像中人脸所对应的种族属性,所述第二人脸图像数据集合包括多个第二人脸图像信息,每个第二人脸图像信息包括第二人脸图像和对应图像中人脸的种族信息。
A14.如A13所述的方法,所述构建第二卷积块的步骤还包括:
构建第二激活层;
在所述第二卷积层之后添加所述第二激活层,以形成第二卷积块。
A15.如A13或14所述的方法,所述构建第二池化块的步骤还包括:
构建第二归一化层;
在所述第三池化层之后添加所述第二归一化层,以形成第二池化块。
A16.如A13-15所述的方法,所述构建第一全连接块的步骤还包括:
分别构建第三激活层和第二弃权层;
在所述第二全连接层之后添加依次相连的所述第三激活层和第二弃权层,以形成第一全连接块。
A17.如A13-16所述的方法,所述根据一个或多个第二卷积块、第二池化块、第四池化层和第一全连接块,结合所述第三全连接层和第二分类器构建第二卷积神经网络的步骤包括:
按照预设的第二连接规则,将各第二卷积块、第二池化块、第四池化层和第一全连接块进行相连,再连接依次相连的第三全连接层和第二分类器,以构建以第二卷积块为输入、以所述第二分类器为输出的第二卷积神经网络。
A18.如A13-17中任一项所述的方法,所述根据预先获取的第二人脸图像数据集合对所述第二卷积神经网络进行训练,以便所述第二分类器的输出指示输入图像中人脸所对应的种族属性的步骤包括:
对每一个提取出的第二人脸图像信息,以该第二人脸图像信息所包括的第二人脸图像为所述第二卷积神经网络中第一个第二卷积块的输入,以该第二人脸图像信息所包括的种族信息为所述第二分类器的输出,对所述第二卷积神经网络进行训练。
A19.如A13-18中任一项所述的方法,其中,所述第二卷积块的数量为3,所述第二池化块的数量为2,所述第一全连接块和第四池化层的数量均为1。
A20.如A13-19中任一项所述的方法,所述第二人脸图像信息所包括的种族信息为第二种族或第三种族。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间,以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的人脸属性中的种族属性识别方法。
以示例而非限制的方式,计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (10)
1.一种人脸属性中的种族属性识别方法,适于在移动终端中执行,所述移动终端中存储有用于对种族属性进行识别的、训练好的第一卷积神经网络和第二卷积神经网络,所述方法包括:
对待识别图像进行处理以获取待识别人脸图像;
将所述待识别人脸图像输入到训练好的第一卷积神经网络中进行种族属性识别;
若该第一卷积神经网络的输出指示所述待识别人脸图像的种族属性不是第一种族,则将所述待识别人脸图像输入到训练好的第二卷积神经网络中进行种族属性识别;
根据该第二卷积神经网络的输出确定所述待识别图像中人脸所对应的种族属性。
2.如权利要求1所述的方法,还包括:
若该第一卷积神经网络的输出指示所述待识别人脸图像的种族属性是第一种族,则确定所述待识别图像中人脸所对应的种族属性为第一种族。
3.如权利要求1或2所述的方法,所述对待识别图像进行处理以获取待识别人脸图像的步骤包括:
对待识别图像进行人脸检测,以获取所述待识别图像中人脸对应的关键点位置信息集合;
通过所述关键点位置信息集合计算对应的凸包,基于所述凸包从该待识别图像中裁切出预设尺寸下的人脸矩形;
根据所述人脸矩形计算相应的人脸旋转角度,利用所述人脸旋转角度将所述人脸矩形旋转成水平正面,以获取所述待识别图像对应的待识别人脸图像。
4.如权利要求1-3中任一项所述的方法,其中:
所述第二卷积神经网络用于识别图像中的人脸对应的种族属性是第二种族还是第三种族。
5.如权利要求4所述的方法,所述第一种族为黑色人种,所述第二种族为白色人种,所述第三种族为黄色人种。
6.如权利要求1-5中任一项所述的方法,所述训练好的第一卷积神经网络通过以下方式获取:
构建第一卷积块,所述第一卷积块包括第一卷积层;
构建第一池化块,所述第一池化块包括第一池化层;
分别构建第二池化层、第一全连接层和第一分类器;
根据一个或多个第一卷积块、第一池化块和第二池化层,结合所述第一全连接层和第一分类器构建第一卷积神经网络,所述第一卷积神经网络以第一卷积块为输入、以所述第一分类器为输出;
根据预先获取的第一人脸图像数据集合对所述第一卷积神经网络进行训练,以便所述第一分类器的输出指示输入图像中人脸所对应的种族属性,所述第一人脸图像数据集合包括多个第一人脸图像信息,每个第一人脸图像信息包括第一人脸图像和对应图像中人脸的种族信息。
7.如权利要求6所述的方法,所述构建第一卷积块的步骤还包括:
构建第一激活层;
在所述第一卷积层之后添加所述第一激活层,以形成第一卷积块。
8.如权利要求6或7所述的方法,所述构建第一池化块的步骤还包括:
构建第一归一化层;
在所述第一池化层之后添加所述第一归一化层,以形成第一池化块。
9.一种移动终端,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1-8所述的方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由移动终端执行时,使得所述移动终端执行根据权利要求1-8所述的方法中的任一方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810343993.0A CN108537193A (zh) | 2018-04-17 | 2018-04-17 | 一种人脸属性中的种族属性识别方法及移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810343993.0A CN108537193A (zh) | 2018-04-17 | 2018-04-17 | 一种人脸属性中的种族属性识别方法及移动终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108537193A true CN108537193A (zh) | 2018-09-14 |
Family
ID=63480861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810343993.0A Pending CN108537193A (zh) | 2018-04-17 | 2018-04-17 | 一种人脸属性中的种族属性识别方法及移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108537193A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934132A (zh) * | 2019-02-28 | 2019-06-25 | 北京理工大学珠海学院 | 基于随机丢弃卷积数据的人脸识别方法、***及存储介质 |
CN110046571A (zh) * | 2019-04-15 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 用于识别年龄的方法和装置 |
CN110288020A (zh) * | 2019-06-19 | 2019-09-27 | 清华大学 | 基于声波传播方程的双路耦合深度学习的目标分类方法 |
CN110991412A (zh) * | 2019-12-20 | 2020-04-10 | 北京百分点信息科技有限公司 | 人脸识别的方法、装置、存储介质及电子设备 |
CN111027490A (zh) * | 2019-12-12 | 2020-04-17 | 腾讯科技(深圳)有限公司 | 人脸属性识别方法及装置、存储介质 |
CN111767760A (zh) * | 2019-04-01 | 2020-10-13 | 北京市商汤科技开发有限公司 | 活体检测方法和装置、电子设备及存储介质 |
CN111783752A (zh) * | 2020-08-21 | 2020-10-16 | 北京市商汤科技开发有限公司 | 人脸识别方法及装置、电子设备和存储介质 |
CN112613371A (zh) * | 2020-12-16 | 2021-04-06 | 上海大学 | 一种基于密集连接卷积神经网络高光谱图像道路提取方法 |
CN112801054A (zh) * | 2021-04-01 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 人脸识别模型的处理方法、人脸识别方法及装置 |
CN112825122A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 基于二维人脸图像的种族判断方法、装置、介质及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104036247A (zh) * | 2014-06-11 | 2014-09-10 | 杭州巨峰科技有限公司 | 基于脸部特征的人脸种族分类方法 |
CN105825191A (zh) * | 2016-03-23 | 2016-08-03 | 厦门美图之家科技有限公司 | 基于人脸多属性信息的性别识别方法、***及拍摄终端 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN107229942A (zh) * | 2017-04-16 | 2017-10-03 | 北京工业大学 | 一种基于多个分类器的卷积神经网络快速分类方法 |
-
2018
- 2018-04-17 CN CN201810343993.0A patent/CN108537193A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104036247A (zh) * | 2014-06-11 | 2014-09-10 | 杭州巨峰科技有限公司 | 基于脸部特征的人脸种族分类方法 |
CN105825191A (zh) * | 2016-03-23 | 2016-08-03 | 厦门美图之家科技有限公司 | 基于人脸多属性信息的性别识别方法、***及拍摄终端 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN107229942A (zh) * | 2017-04-16 | 2017-10-03 | 北京工业大学 | 一种基于多个分类器的卷积神经网络快速分类方法 |
Non-Patent Citations (1)
Title |
---|
WEI WANG, FEIXIANG HE, AND QIJUN ZHAO: "Facial Ethnicity Classification with Deep Convolutional Neural Networks", 《BIOMETRIC RECOGNITION》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934132A (zh) * | 2019-02-28 | 2019-06-25 | 北京理工大学珠海学院 | 基于随机丢弃卷积数据的人脸识别方法、***及存储介质 |
CN111767760A (zh) * | 2019-04-01 | 2020-10-13 | 北京市商汤科技开发有限公司 | 活体检测方法和装置、电子设备及存储介质 |
CN110046571A (zh) * | 2019-04-15 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 用于识别年龄的方法和装置 |
CN110288020A (zh) * | 2019-06-19 | 2019-09-27 | 清华大学 | 基于声波传播方程的双路耦合深度学习的目标分类方法 |
CN112825122A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 基于二维人脸图像的种族判断方法、装置、介质及设备 |
CN111027490A (zh) * | 2019-12-12 | 2020-04-17 | 腾讯科技(深圳)有限公司 | 人脸属性识别方法及装置、存储介质 |
CN111027490B (zh) * | 2019-12-12 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 人脸属性识别方法及装置、存储介质 |
CN110991412A (zh) * | 2019-12-20 | 2020-04-10 | 北京百分点信息科技有限公司 | 人脸识别的方法、装置、存储介质及电子设备 |
CN111783752A (zh) * | 2020-08-21 | 2020-10-16 | 北京市商汤科技开发有限公司 | 人脸识别方法及装置、电子设备和存储介质 |
CN112613371A (zh) * | 2020-12-16 | 2021-04-06 | 上海大学 | 一种基于密集连接卷积神经网络高光谱图像道路提取方法 |
CN112801054A (zh) * | 2021-04-01 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 人脸识别模型的处理方法、人脸识别方法及装置 |
CN112801054B (zh) * | 2021-04-01 | 2021-06-22 | 腾讯科技(深圳)有限公司 | 人脸识别模型的处理方法、人脸识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537193A (zh) | 一种人脸属性中的种族属性识别方法及移动终端 | |
US11380114B2 (en) | Target detection method and apparatus | |
CN107766787B (zh) | 人脸属性识别方法、装置、终端及存储介质 | |
US11514290B2 (en) | Convolutional neural network (CNN) processing method and apparatus | |
CN109299315B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
CN108197602A (zh) | 一种卷积神经网络生成方法及表情识别方法 | |
CN109284684B (zh) | 一种信息处理方法、装置以及计算机存储介质 | |
EP3540635B1 (en) | Method for identifying an object within an image and mobile device for executing the method | |
US9430766B1 (en) | Gift card recognition using a camera | |
CN107909016A (zh) | 一种卷积神经网络生成方法及车系识别方法 | |
CN108537283A (zh) | 一种图像分类方法及卷积神经网络生成方法 | |
US20200104567A1 (en) | Obstruction detection during facial recognition processes | |
WO2018153294A1 (zh) | 人脸跟踪方法、存储介质及终端设备 | |
CN111242090B (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
CN106295533A (zh) | 一种自拍图像的优化方法、装置和拍摄终端 | |
CN110929805B (zh) | 神经网络的训练方法、目标检测方法及设备、电路和介质 | |
CN107368810A (zh) | 人脸检测方法及装置 | |
CN107452025A (zh) | 目标跟踪方法、装置及电子设备 | |
EP3910507A1 (en) | Method and apparatus for waking up screen | |
CN109963072B (zh) | 对焦方法、装置、存储介质及电子设备 | |
CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
CN111881813B (zh) | 人脸识别终端的数据存储方法及*** | |
CN109118490A (zh) | 一种图像分割网络生成方法及图像分割方法 | |
US20200210754A1 (en) | Cloud device, terminal device, and method for classifyiing images | |
CN111914668A (zh) | 一种基于图像增强技术的行人重识别方法、装置及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180914 |
|
RJ01 | Rejection of invention patent application after publication |