CN111291604A - 面部属性识别方法、装置、存储介质及处理器 - Google Patents
面部属性识别方法、装置、存储介质及处理器 Download PDFInfo
- Publication number
- CN111291604A CN111291604A CN201811502128.2A CN201811502128A CN111291604A CN 111291604 A CN111291604 A CN 111291604A CN 201811502128 A CN201811502128 A CN 201811502128A CN 111291604 A CN111291604 A CN 111291604A
- Authority
- CN
- China
- Prior art keywords
- attribute
- facial
- attributes
- face
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 230000001815 facial effect Effects 0.000 claims abstract description 201
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 36
- 238000002372 labelling Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 239000011521 glass Substances 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 244000141353 Prunus domestica Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种面部属性识别方法、装置、存储介质及处理器。其中该方法包括:建立多种面部属性的数据集;将多种面部属性的数据集进行合并形成数据集集合;建立多任务的深度卷积网络对多种面部属性数据集集合进行训练,得到可以对多种面部属性进行识别的网络模型;运用得到训练好的多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性。采用减小网络参数的方法,改变网络模型中某些层如全连接层的参数的个数,减小网络显存占用率,且通过数据合并的方式,将多种属性的数据输入进卷积神经网络,使其在网络中对所有属性进行学习和训练,从而使同一网络快速高效完成所有面部属性的识别。
Description
【技术领域】
本发明涉及图像识别技术领域,更具体地说,涉及一种面部属性识别方法、装置、存储介质及处理器。
【背景技术】
随着计算机视觉技术以及深度学习的蓬勃发展,安防、智能视频监控、城市治安、事故预警等领域中需要不断地对面部进行识别。然而,随着任务需求的不断提高,人们不仅仅是局限于对面部身份的认证,更重要的对面部子属性进行识别认证。这样更加有利于对某人的身份进行识别,同时也更加有利于在安防领域中运用面部信息进行布控。另外,将面部识别和面部属性同时运用在安防领域中,使得任务需求变得更加清晰明了。
面部是一种非常重要的生物特征,具有结构复杂、细节变化多等特点,同时也蕴含了大量的信息,比如性别、种族、年龄、表情等。一个正常的成午人可以轻易的理解面部的信息,但将同样的能力赋予给计算机,并让其代替人类进行类脑思考成为研充学者亟待攻克的科学课题。
现有属性识别的方法中,有的采用训练多个深度卷积神经网络,然后进行分数融合或者特征融合进一步训练。这种方式工作任务繁重复杂,不利于实际应用的技术问题。如有将面部身份认证网络和属性识别网络进行融合形成一个融合网络,采用联合学***衡训练;且修改后的融合框架仅添加了少量参数,增加了额外计算负荷。
也有提出将多个属性融台进一个网络中完成的,但是其网络结构和损失函数函数过于复杂,不利于网络的训练且仅仅依赖面部属性识别来增加面部识别的准确率。虽然也是多属性网络结构,但其实是将带有多种属性标签的面部图像作为网络结构的输入,相当于是一张图片对应多种标签,不利于网络的训练和学习,同时使用的网络模型为深度残差网络结构,这样造成网络模型过大,对计算资源要求过高,实用性较差。
【发明内容】
本发明所要解决的技术问题是提供一种面部属性识别方法、装置、存储介质及处理器,能够采用减小网络参数的方法,改变网络模型中某些层如全连接层的参数的个数,减小网络显存占用率,且通过数据合并的方式,将多种属性的数据输入进卷积神经网络,使其在网络中对所有属性进行学习和训练,从而使同一网络快速高效完成所有面部属性的识别。
为解决上述技术问题,一方面,本发明一实施例提供了一种面部属性识别方法,其特征在于,包括:建立多种面部属性的数据集;将所述多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合;建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型;运用所述多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性。
优选地,所述建立多种面部属性的数据集包括:对所述多种面部属性的数据集进行预处理;对预处理后的所述多种面部属性的数据集进行归一化处理;对归一化处理后的所述多种面部属性进行标注。
优选地,所述将多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合包括:将每一个面部属性数据的输入格式设为数组形式D1[n,c,w,h];将所述多种面部属性的数据集按照输入数组的第一维,即图片的个数进行合并,假设面部属性的种类个数为m,则合并后生成的数据形式为D2[m×n,c,w,h];其中n、c、w、h分别为输入进深度卷积神经网络的所述多种面部属性的数据集图像的个数、通道数、宽度和高度。
优选地,所述建立多任务的深度卷积网络对多种面部属性数据集集合进行训练包括:采用深度残差网络的4个残差模块;
将待识别图像的面部属性数据输入进深度残差网络进行网络训练;
其中第一个残差模块采用两个小的残差模块表示,第一个小的残差模块结构采用64个卷积核大小为3×3的卷积层连接64个卷积核大小为3×3的卷积层,其恒等映射用64个1×1的卷积,二者做和之后输入第二个小的残差模块,第二个小的残差模块结构与所述第一个小的残差模块相同,第二个小的残差模块的恒等映射用第一个小的残差模块的输出表示,
另外三个残差模块结构和第一个残差模块结构一样,但是卷积核的个数分别为128、256、512。
优选地,建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型包括:
根据训练好的网络模型,在图片识别阶段一次性得到所述多种面部属性的面部各个属性的概率最高的识别结果,即面部属性的多属性值。
优选地,对所述多种面部属性的数据集进行预处理包括:使用多任务卷积神经网络算法对图片中的面部进行检测,获得面部图像。
优选地,所述使用多任务卷积神经网络算法对图片中的面部进行检测,获得面部图像包括:卷积神经网络采用全连接的方式,利用边界框向量微调候选窗体,从而对面部在图像中的坐标点进行检测,得到面部图像。
优选地,对所述多种面部属性的数据集进行归一化处理包括:对多种面部属性的数据集面部图像归一化宽高大小为128像素×128像素。
优选地,所述对面部属性进行标注包括:标注面部戴眼镜、戴口罩、发型、脸型、年龄、性别属性。
优选地:所述根据训练好的网络模型,在图片识别阶段一次性得到所述多种面部属性的面部各个属性的概率最高的识别结果包括:在网络训练计算损失函数时,按照每个数组的第一维度进行分割,并按照每个属性对应的图片个数将其切开,即最终的结果为每个属性的数组形式D3[n,c,w,h];在进行分割时,按照对应的图片个数进行并将每个属性数据输入对应的损失函数;损失函数采用概率形式,公式为:
其中,j代表面部属性中的一个属性的子属性的当前序号,k代表面部属性中的一个属性的子属性的序号,T代表面部属性中的一个属性的子属性的总个数,Sj代表面部属性中的一个属性的第j子属性的概率,k从1开始取值,T个子属性的概率之和为1,为数据的某一种属性的的指数形式,aj和ak代表面部属性中的某一个属性值标,分母表示将所有属性标签的指数相加,从而得到面部属性是具体属性标签的概率。
另一方面,本发明一实施例提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时执行上述的面部属性识别方法。
另一方面,本发明一实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述的面部属性识别方法。
另一方面,本发明一实施例提供了一种面部识别装置,所述装置包括依次电连接的数据建立模块、数据合并模块、训练模块和预测模块:数据建立模块用于建立多种面部属性的数据集;数据合并模块用于将所述多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合;训练模块用于建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型;预测模块用于运用所述多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性。
优选地,所述数据建立模块包括:数据预处理模块,所述数据预处理模块用于对面部图像数据进行预处理;数据归一化处理模块,所述数据归一化处理模块用于对面部图像数据进行归一化处理;数据标注模块,所述数据标注模块用于对面部属性进行标注。
优选地,所述数据合并模块包括:第一存储模块,所述第一存储模块用于存储每一种属性的面部图像。
优选地,所述训练模块包括深度残差网络,所述深度残差网络包括4个残差模块,其中第一个残差模块采用两个小的残差模块表示,第一个小的残差模块结构采用64个卷积核大小为3×3的卷积层连接64个卷积核大小为3×3的卷积层,其恒等映射用64个1×1的卷积,二者做和之后输入第二个小的残差模块,第二个小的残差模块结构与所述第一个小的残差模块相同,第二个小的残差模块的恒等映射用第一个小的残差模块的输出表示,另外三个残差模块结构和第一个残差模块结构一样,卷积核的个数分别为128、256、512。
优选地,所述预测模块包括第三存储模块,所述第三存储模块用于存储根据训练好的网络模型,从而一次性得到的面部各个属性的概率最高的识别结果,即面部属性的多属性值。
优选地,所述数据归一化处理模块用于对面部图像数据进行归一化处理包括:对多种面部属性的数据集面部图像归一化宽高大小为128像素×128像素。
与现有技术相比,上述技术方案具有以下优点:本发明采用减小网络参数的方法,即改变网络模型中某些层如全连接层的参数的个数,减小了网络显存占用率,且通过数据合并的方式,将多种属性的数据输入进卷积神经网络,使其在网络中对所有属性进行学习和训练,从而使同一网络快速高效完成所有面部属性的识别。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明面部属性识别方法的流程图。
图2是本发明面部属性识别方法中使用的残差网络的基础模块图。
图3是本发明一种面部属性识别方法的流程图的一实施例。
图4是面部形状类别图。
图5本发明一种面部属性识别装置结构图。
【具体实施方式】
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一
图1是本发明面部属性识别方法的流程图。如图1所述,本发明面部属性识别方法包括步骤:包括步骤:
S11、建立多种面部属性的数据集;
S12、将所述多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合;
S13、建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型;
S14、运用所述多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性。
具体实施时,步骤S11建立多种面部属性的数据集包括:对多种面部属性的数据集进行预处理、归一化处理、标注。
对多种面部属性的数据集进行预处理进一步包括:
使用多任务卷积神经网络算法对图片中的面部进行检测,获得面部图像。可以采取卷积神经网络全连接的方式,利用边界框向量微调候选窗体,对面部在图像中的坐标点进行检测,检测到面部之后把面部图像截取下来进行训练。
将图像归一化到某一大小,是由网络输入大小决定的。不同的网络有不同的输入大小。本发明作为一个实施例,对多种面部属性的数据集进行归一化处理包括:对多种面部属性的数据集面部图像归一化宽高大小为但是不限于128像素×128像素。
对面部属性进行标注包括但是不局限于:标注面部戴眼镜、戴口罩、发型、脸型、年龄、性别属性等。
具体实施时,步骤S12将多种面部属性的数据集进行合并,形成多种面部属性的数据集集合包括:
将每一个面部属性数据的输入格式设为数组形式D1[n,c,w,h];
将多种面部属性的数据集按照输入数组的第一维,即图片的个数进行合并,假设面部属性的种类个数为m,则合并后生成的数据形式为D2[m×n,c,w,h];
其中n、c、w、h分别为输入进深度卷积神经网络的所述多种面部属性的数据集图像的个数、通道数、宽度和高度。
具体实施时,步骤S13建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型包括:采用深度残差网络的4个残差模块,4个残差模块其中第一个残差模块采用两个小的残差模块表示,第一个小的残差模块结构采用64个卷积核大小为3×3的卷积层连接64个卷积核大小为3×3的卷积层,其恒等映射用64个1×1的卷积,二者做和之后输入第二个小的残差模块,第二个小的残差模块结构与所述第一个小的残差模块相同,第二个小的残差模块的恒等映射用第一个小的残差模块的输出表示,另外三个残差模块结构和第一个残差模块结构一样,但是卷积核的个数分别为128、256、512;将待识别图像的面部属性数据输入进深度残差网络进行网络训练。在具体实施过程中,残差模块的数量可以根据实际需要进行选取,此处以4个残差模块进行举例说明。
具体实施时,步骤S14运用所述多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性包括:根据训练好的网络模型,在图片识别阶段一次性得到所述多种面部属性的面部各个属性的概率最高的识别结果,即面部属性的多属性值。
在网络训练阶段,计算损失函数时,按照每个数组的第一维度进行分割,并按照每个属性对应的图片一个数将其切开,即最终的结果为每个属性的数组形式D3[n,c,w,h];
在进行分割时,按照对应的图片个数进行并将每个属性数据输入对应的损失函数;
损失函数采用概率形式,公式为:
其中,j代表面部属性中的一个属性的子属性的当前序号,k代表面部某一属性中的子属性的序号,T代表面部属性中的一个属性的子属性的总个数,Sj代表面部属性中的一个属性的第j子属性的概率,k从1开始取值,T个子属性的概率之和为1,为数据的某一种属性的的指数形式,aj和ak代表面部属性中的某一个属性值标,分母表示将所有属性标签的指数相加,从而得到面部属性是具体属性标签的概率。
比如面部属性中的一种脸型属性,脸型属性有三种子属性:圆脸、方脸、尖脸。则T=3,k从1开始取值。在一次判断中,所有子属性圆脸、方脸、尖脸的概率和加在一起为1。圆脸的概率计算:通过神经网络计算得到的网络输出值为a1=3。方脸的概率计算:通过神经网络计算得到的网络输出值为a2=1。尖脸的概率计算:通过神经网络计算得到的网络输出值为a3=-3。根据损失函数概率形式的公式:
根据此次判断为圆脸、方脸、尖脸的概率值S1、S2、S3型值大小,则此次判断脸型属性属于三种子属性中的圆脸属性。
由此可见,通过采用本发明面部属性识别方法,减小了深度卷积神经网络参数,即改变网络模型中某些层如全连接层的参数的个数,减小了网络显存占用率,且通过数据合并的方式,将多种属性的数据输入进卷积神经网络,使其在网络中对所有属性进行学习和训练,从而使同一网络快速高效完成所有面部属性的识别。
实施例二
本发明的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述的面部属性识别方法流程。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下面部属性识别方法流程的程序代码:
S11、建立多种面部属性的数据集;
S12、将所述多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合;
S13、建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型;
S14、运用所述多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由此可见,通过采用本发明存储介质,减小了存储容量,内置的面部属性识别方法流程的程序运行速度更快,从而快速高效完成所有面部属性的识别。
实施例三
本发明的实施例还提供了一种处理器,该处理器用于运行程序,其中,该程序运行时执行上述的面部属性识别方法中的步骤。
可选地,在本实施例中,上述程序用于执行以下步骤:
S11、建立多种面部属性的数据集;
S12、将所述多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合;
S13、建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型;
S14、运用所述多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性。
可选地,本实施例中的具体示例可以参考上述实施例及具体实施时所描述的示例,本实施例在此不再赘述。
由此可见,通过采用本发明处理器,减小了待处理数据量,内置的面部属性识别方法流程的程序运行速度更快,从而快速高效完成所有面部属性的识别。
实施例四
图2是本发明一种面部属性识别方法的流程图的一实施例。在如今社会,从业人员可以从各个渠道得到很多种数据。这为深度学习提供了很好的数据支持。为了更加方便的介绍本发明的具体实施例,以年龄、性别、脸型作为训练集介绍该发明的流程图。
假设已经收集到足够多各种姿态的年龄、性别、脸型样本,该样本作为训练数据预处理样本。面部属性识别开始,然后训练数据预处理。训练数据预处理的样本包括带午龄信息的数据图片、带性别信息的数据图片、带脸型信息的数据图片。
在构建网络输入的训练集要先对图片进行预处理,本方案的数据预处理步骤遵循如下步骤:
第一步:使用多任务卷积神经网络(mtcnn)算法对图片中的面部进行检测,该算法采用三个卷积神经网络级联对面部进行检测,首先采用全卷积神经网络获得面部的候选窗体和边界回归量,同时候选窗体根据边界框进行校准后,利用非极大值抑制方法去除重叠窗体;其次,该步骤的卷积神经网络采用全连接的方式,利用边界框向量微调候选窗体,对面部在图像中的坐标点进行检测,检测到面部之后把面部图像截取下来进行训练。最后采用比之前多一层的卷积神经网络继续优化面部检测框的位置。经过面部检测算法,得到归一化大小为128像素×128像素的面部图片。
第二步:对面部属性进行标注,标注的属性包括是否戴眼镜、是否戴口罩、发型、脸型、午龄、性别等。标注方法采用现有公共属性数据集Market1501训练一个初始模型后对面部检测得到的图片进行粗分类,每一个属性会给其一个数值标签,然后通过人为对分好的面部属性图片记性细分类,从而构建不同面部属性的数据集。例如:同一张图片中的不同属性可以将其放在不同的文件夹中。
进入进行训练数据合并和多任务训练数据准备阶段:采用多任务网络学习机制可以使网络共享到其他数据的特征。现如今很多深度学习网络仅专注于单一任务,会使很多具有相同共性的数据特性得不到共享。多任务学习的提出可以很好地解决这个问题,它是一种归纳迁移机制,主要目标是利用隐含在多个相关任务的训练信号的特定领域信息来提高泛化能力,多任务学习通过使用共享表示并行训练多个任务来完成这一目标,即可以在学习一个问题的同时,使用共享表示来获取其他相关问题的知识。因此多任务学习是一种专注于将解决一个问题的知识应用到其他相关问题的方法。本方案使用数据合并的方式实现多任务学习训练数据的准备。在数据合并的过程(以脸型、性别、午龄数据为例,其他属性均可按照此步骤进行)中需要遵循以下步骤:
a、数据进行合并的前提每个输入进网络的数据集中的每一副图像的通道数、宽度、高要保证一样,该步骤已经在数据预处理过程中完成。
b、在进行三种面部属性数据集合并时,每一个面部属性数据的输入格式为数组形式,由于其数据格式为:D1[n,c,w,h],其中n为输入进网络的图片的个数,c为图像的通道数(一般为3通道),w、h为图像的宽和高。在满足a的条件下,将数据集按照输入数组的第一维,即图片的个数进行合并,合并后生成的数据形式是D2[m×n,c,w,h];其中n、c、w、h分别为输入进深度卷积神经网络的所述多种面部属性的数据集图像的个数、通道数、宽度和高度。
以上两个步骤完成了多任务学习的数据准备阶段。通过合并的数据输入网络进行学习,使网络可以学习到每个数据集之间的相关性,达到了多任务学习的目的。
进入深度卷积神经网络训练阶段:本发明以深度残差网络为基础网络对网络输入数据进行特征提取。残差网络为2015午提出的网络,其性能优于其他深度网络,但是由于其网络结构过深、参数过多,导致其显存占用较大。本发明运用检测网络中的分类思想对深度残差网络进行修改,将网络中的残差模块减少、并丢弃全连接层,形成新的网络结构,使得网络结构变得简单,网络模型大大减小的同时,显存占用也大幅度减小。
本方案采用的深度残差网络结构比较简单,如图3所示,x为残差模块的输入,F(x)为卷积神经网络的原始映射。relu为深度残差模块中的激活函数,H(x)为深度残差模块的输出函数,深度残差模块采用原始映射F(x)和输入x构成行的网络输出函数。本方案采用深度残差网络的4个残差模块,其中第一个残差模块采用两个小的残差模块表示,第一个小的残差模块结构采用64个卷积核大小为3×3的卷积层连接64个卷积核大小为3×3的卷积层,其恒等映射用64个1×1的卷积,二者做和之后输入第二个小的残差模块,第二个小的残差模块结构与所述第一个小的残差模块相同,第二个小的残差模块的恒等映射用第一个小的残差模块的输出表示,另外三个残差模块结构和第一个残差模块结构一样,但是卷积核的个数分别为128、256、512。只采用深度残差网络中的四个残差模块,这样结构更小更有利于实现对网络输入数据进行特征提取。通过深度残差网络,可以很好的提取到图像的深度特征,从而可以便于更好进行分类。
进入网络输出阶段:在网络训练开始之前对数据进行了合并,以方便学习到数据的共享知识。经过网络的训练学习,网络学习到了较好的特征,且网络在学习的过程中,训练数据的图像的个数没有发生改变。因此,为了得到各个面部属性数据集的学习情况,在网络输出计算损失函数时,按照每个属数组的第一维度进行分割,并按照每个属性切开,即最终的结果依然是每个属性的数组形式为D3[n,c,w,h],并将每个属性数据输入对应的损失函数。
在进行数据合并时根据输入进网络的面部属性图片的个数进行合并。在进行数据分离时,按照每个数据集输入进网络的图片的个数进行切割,必须保证与原始个数相同。
切割之后的数据集输入进相对应的损失函数层,从而进行相应的损失函数计算,得到相应的权重更新,并得到对应的每一个面部属性数据集中的种类输出。
损失函数可以根据学习到共享特征计算各个属性数据相对应的损失函数,本方案采用的损失函数采用概率形式,公式为:
其中,为数据的某一种结果的指数形式,aj和ak代表面部属性中的某一个属性值标,分母表示将所有属性标签的指数相加,从而得到面部属性是具体属性标签的概率。根据网络损失函数,运用反向传播算法更新权重,使网络达到最优状态,从而得到输入样本对应的面部属性,如午龄识别集、性别识别集、脸型识别集。
以午龄为例,我们会将年龄标注为:少年、青年、中午、老年四个标签。网络最后的一层的输出会根据损失函数和对应的标签进行计算,得到四个概率,分别表示对应类别(少午、青年、中年、老午)的概率,如果少午的概率最高,则会被判定为少年。本发明在最后网络结构中会有每个属性对应的损失函数,所以每个属性都会根据自己对应的损失函数计算其对应的概率。根据概率的高低决定其属于哪一个属性。根据网络损失函数,运用反向传播算法更新权重,使网络达到最优状态,从而得到输入样本对应的面部属性。
以性别为例,我们会将性别标注为:男、女两个标签。网络最后的一层的输出会根据损失函数和对应的标签进行计算,得到两个概率,分别表示对应类别(男、女)的概率,如果男的概率最高,则会被判定为男。本发明在最后网络结构中会有每个属性对应的损失函数,所以每个属性都会根据自己对应的损失函数计算其对应的概率。根据概率的高低决定其属于哪一个属性。根据网络损失函数,运用反向传播算法更新权重,使网络达到最优状态,从而得到输入样本对应的面部属性。
图4是面部形状类别图。按照常见的多数面部型,我们大致可以划分为7种:圆脸、椭圆形脸、心形脸(倒三角脸)、菱形脸、方形脸、长形脸、梨形脸(正三角脸)。对脸型(脸型的种类为从业人员根据业务需求人为规定的,以上述七种脸型为例)的判断过程为:
第一步:经过数据预处理的过程,通过面部检测和数据标注过程建立训练网络和测试网络的数据集。
第二步:将各个属性的训练数据输入进网络,将数据合并(以性别、年龄、脸型为例),输入进网络模型中,对网络模型进行训练。
第三步:网络模型训练结束后,利用训练好的模型,将待识别的图片输入进网络模型,从而得到该图片包含的面部的性别、午龄、脸型的类别。
通过网络输出后的年龄识别集元素可以是以上午龄(少午、青年、中午、老午)中的任何一种。
通过网络输出后的脸型识别集元素可以是以上脸型(圆脸、椭圆形脸、心形脸(倒三角脸)、菱形脸、方形脸、长形脸、梨形脸(正三角脸))中的任何一种。
对于其他面部属性的识别,如戴眼镜、戴口罩、发型、肤色、表情情绪、有胡子、头发颜色、戴帽子、种族、魅力值等,则可以通过如上类似的方法来准确识别。
由此可见,通过采用本发明面部属性识别方法,减小了深度卷积神经网络参数,即改变网络模型中某些层如全连接层的参数的个数,减小了网络显存占用率,且通过数据合并的方式,将多种属性的数据输入进卷积神经网络,使其在网络中对所有属性进行学习和训练,从而使同一网络快速高效完成所有面部属性的识别。
实施例五
本发明的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行实施例四所述的面部属性识别方法流程。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由此可见,通过采用本发明存储介质,减小了存储容量,内置的面部属性识别方法流程的程序运行速度更快,从而快速高效完成所有面部属性的识别。
实施例六
本发明的实施例还提供了一种处理器,该处理器用于运行程序,其中,该程序运行时执行实施例四所述的面部属性识别方法中的步骤。
可选地,本实施例中的具体示例可以参考上述实施例及具体实施时所描述的示例,本实施例在此不再赘述。
由此可见,通过采用本发明处理器,减小了待处理数据量,内置的面部属性识别方法流程的程序运行速度更快,从而快速高效完成所有面部属性的识别。
实施例七
图5本发明一种面部属性识别装置结构图。所述装置包括:数据建立模块,所述数据建立模块用于建立多种面部属性的数据集;数据合并模块,所述数据合并模块用于将所述多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合;训练模块,所述训练模块用于建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型;预测模块,所述预测模块用于运用所述多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性。
其中,所述数据建立模块包括:数据预处理模块,所述数据预处理模块用于对面部图像数据进行预处理;数据归一化处理模块,所述数据归一化处理模块用于对面部图像数据进行归一化处理;数据标注模块,所述数据标注模块用于对面部属性进行标注。数据归一化处理模块包括:对多种面部属性的数据集面部图像归一化宽高大小为但是不限于128像素×128像素。对面部属性进行标注指的是:标注面部属性是否戴眼镜、是否戴口罩、是什么发型、是什么脸型、是什么午龄、是什么性别。
数据合并模块包括:第一存储模块;所述第一存储模块用于存储每一种属性的面部图像数据当面部属性识别装置上执行面部属性识别方法时,软件程序动态生成每一个面部属性数据的输入数组D1[n,c,w,h],将所述多种面部属性的数据集按照输入数组的第一维,即图片的个数进行合并,假设面部属性的种类个数为m,则合并后生成的数据数组D2[m×n,c,w,h],其中n为输入进深度卷积神经网络的图像的个数,c为输入进深度卷积神经网络的图像的通道数,w为输入进深度卷积神经网络的图像的宽度,h为输入进深度卷积神经网络的图像的高度。
训练模块包括深度残差网络,所述深度残差网络包括4个残差模块,其中第一个残差模块采用两个小的残差模块表示,第一个小的残差模块结构采用64个卷积核大小为3×3的卷积层连接64个卷积核大小为3×3的卷积层,其恒等映射用64个1×1的卷积,二者做和之后输入第二个小的残差模块,第二个小的残差模块结构与所述第一个小的残差模块相同,第二个小的残差模块的恒等映射用第一个小的残差模块的输出表示,另外三个残差模块结构和第一个残差模块结构一样,卷积核的个数分别为128、256、512。
预测模块包括第二存储模块,所述第二存储模块用于存储根据训练好的网络模型,从而一次性得到的面部各个属性的概率最高的识别结果,即面部属性的多属性值。
由此可见,通过采用本发明面部属性识别装置,减小了深度卷积神经网络参数,即改变网络模型中某些层如全连接层的参数的个数,减小了网络显存占用率,且通过数据合并的方式,将多种属性的数据输入进卷积神经网络,使其在网络中对所有属性进行学习和训练,从而使同一网络快速高效完成所有面部属性的识别。
利用原始的面部属性识别方法过程是:建立年龄、性别、脸型对应的数据集(包括训练和测试);将午龄、性别、脸型分别输入进其对应的网络模型(此时需要训练三个网络模型);将测试图片分别输入进训练好的三个网络模型,根据每个网络模型的最高概率对应的属性,从而得到每个网络模型对应的属性识别结果。
由此可见,采用多任务深度学习的识别方法进行面部识别,在深度卷积神经网络中,网络中的参数的个数决定了网络的大小,网络大小决定了网络占用显存的大小。采用减小网络参数的方法,即改变网络中某些层(例如全连接层)的参数的个数,从而减小网络显存占用,且通过数据合并的方式,将多种属性的数据输入进卷积神经网络,使其在网络中对所有属性进行学习和训练,从而使同一网络完成所有面部属性的识别。在原始的深度残差网络中,最后全连接层需要学习的参数为1000个,由于全连接层占用了网络参数中的大部分比例,因此本方案对网络进行剪枝,即将原始网络结构中的全连接层去掉,使得卷积层直接和损失层相连接,直接回归面部属性的概率,从而完成网络结构的修改和剪枝,这样的网络剪枝会使网络的计算参数的个数减少,使得网络大小和显存占用减小。
由上述说明可知,使用根据本发明的面部属性识别方法、装置、存储介质及处理器,减小了网络参数,即改变网络模型中某些层如全连接层的参数的个数,减小了网络显存占用率,且通过数据合并的方式,将多种属性的数据输入进卷积神经网络,使其在网络中对所有属性进行学习和训练,从而使同一网络快速高效完成所有面部属性的识别。
以上对本发明实施例进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (18)
1.一种面部属性识别方法,其特征在于,包括步骤:
建立多种面部属性的数据集;
将所述多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合;
建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别所述多种面部属性的多属性网络模型;
运用所述多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性。
2.根据权利要求1所述的面部属性识别方法,其特征在于,所述建立多种面部属性的数据集包括:
对所述多种面部属性的数据集进行预处理;
对预处理后的所述多种面部属性的数据集进行归一化处理;以及
对归一化处理后的所述多种面部属性进行标注。
3.根据权利要求1所述的面部属性识别方法,其特征在于,所述将多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合包括:
将每一个面部属性数据的输入格式设为数组形式D1[n,c,w,h];
将所述多种面部属性的数据集按照输入数组的第一维,即图片的个数进行合并,假设面部属性的种类个数为m,则合并后生成的数据形式为D2[m×n,c,w,h];
其中n、c、w、h分别为输入进深度卷积神经网络的所述多种面部属性的数据集图像的个数、通道数、宽度和高度。
4.根据权利要求1所述的面部属性识别方法,其特征在于,所述建立多任务的深度卷积网络对多种面部属性数据集集合进行训练包括:
采用深度残差网络的4个残差模块;
将待识别图像的面部属性数据输入进深度残差网络进行网络训练;
其中深度残差网络的第一个残差模块采用两个小的残差模块表示,第一个小的残差模块结构采用64个卷积核大小为3×3的卷积层连接64个卷积核大小为3×3的卷积层,其恒等映射用64个1×1的卷积,二者做和之后输入第二个小的残差模块,第二个小的残差模块结构与所述第一个小的残差模块相同,第二个小的残差模块的恒等映射用第一个小的残差模块的输出表示,
另外三个残差模块结构和第一个残差模块结构一样,卷积核的个数分别为128、256、512。
5.根据权利要求1所述的面部属性识别方法,其特征在于,所述建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型包括:
根据训练好的网络模型,在图片识别阶段一次性得到所述多种面部属性的面部各个属性的概率最高的识别结果,即面部属性的多属性值。
6.根据权利要求2所述面部属性识别方法,其特征在于,对所述多种面部属性的数据集进行预处理包括:
使用多任务卷积神经网络算法对图片中的面部进行检测,获得面部图像。
7.根据权利要求6所述面部属性识别方法,其特征在于,所述使用多任务卷积神经网络算法对图片中的面部进行检测,获得面部图像包括:
卷积神经网络采用全连接的方式,利用边界框向量微调候选窗体,从而对面部在图像中的坐标点进行检测,得到面部图像。
8.根据权利要求2所述面部属性识别方法,其特征在于,对所述多种面部属性的数据集进行归一化处理包括:对多种面部属性的数据集面部图像归一化宽高大小为128像素×128像素。
9.根据权利要求2所述面部属性识别方法,其特征在于,所述对面部属性进行标注,包括:标注面部戴眼镜、戴口罩、发型、脸型、年龄、性别属性。
10.根据权利要求5所述面部属性识别方法,其特征在于:所述根据训练好的网络模型,在图片识别阶段一次性得到所述多种面部属性的面部各个属性的概率最高的识别结果包括:
在网络训练计算损失函数时,按照每个数组的第一维度进行分割,并按照每个属性对应的图片个数将其切开,即最终的结果为每个属性的数组形式D3[n,c,w,h];
在进行分割时,按照对应的图片个数进行并将每个属性数据输入对应的损失函数;
损失函数采用概率形式,公式为:
11.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至10中任一项所述的面部属性识别方法。
12.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至10中任一项所述的面部属性识别方法。
13.一种面部识别装置,其特征在于,所述装置包括:依次电连接的数据建立模块、数据合并模块、训练模块和预测模块,
所述数据建立模块用于建立多种面部属性的数据集;
所述数据合并模块用于将所述多种面部属性的数据集进行合并,形成所述多种面部属性的数据集集合;
所述训练模块用于建立多任务的深度卷积神经网络对所述多种面部属性的数据集集合进行训练,得到可以识别多种面部属性的多属性网络模型;
所述预测模块用于运用得到的所述多属性网络模型对待识别图像的面部属性进行多属性预测,以识别所述待识别图像中的多种面部属性。
14.根据权利要求13所述的面部识别装置,其特征在于,所述数据建立模块包括:
数据预处理模块,所述数据预处理模块用于对面部图像数据进行预处理;
数据归一化处理模块,所述数据归一化处理模块用于对面部图像数据进行归一化处理;
数据标注模块,所述数据标注模块用于对面部属性进行标注。
15.根据权利要求13所述的面部识别装置,其特征在于,所述数据合并模块包括:第一存储模块,所述第一存储模块用于存储每一种属性的面部图像数据。
16.根据权利要求13所述的面部识别装置,其特征在于,所述训练模块包括深度残差网络,所述深度残差网络包括4个残差模块,
其中第一个残差模块采用两个小的残差模块表示,第一个小的残差模块结构采用64个卷积核大小为3×3的卷积层连接64个卷积核大小为3×3的卷积层,其恒等映射用64个1×1的卷积,二者做和之后输入第二个小的残差模块,第二个小的残差模块结构与所述第一个小的残差模块相同,第二个小的残差模块的恒等映射用第一个小的残差模块的输出表示,
另外三个残差模块结构和第一个残差模块结构一样,卷积核的个数分别为128、256、512。
17.根据权利要求13所述的面部识别装置,其特征在于,所述预测模块包括第二存储模块,所述第二存储模块用于存储根据训练好的网络模型,从而一次性得到的面部各个属性的概率最高的识别结果,即面部属性的多属性值。
18.根据权利要求14所述的面部识别装置,其特征在于,所述数据归一化处理模块用于对面部图像数据进行归一化处理包括:对多种面部属性的数据集面部图像归一化宽高大小为128像素×128像素。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811502128.2A CN111291604A (zh) | 2018-12-07 | 2018-12-07 | 面部属性识别方法、装置、存储介质及处理器 |
PCT/CN2019/112478 WO2020114118A1 (zh) | 2018-12-07 | 2019-10-22 | 面部属性识别方法、装置、存储介质及处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811502128.2A CN111291604A (zh) | 2018-12-07 | 2018-12-07 | 面部属性识别方法、装置、存储介质及处理器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111291604A true CN111291604A (zh) | 2020-06-16 |
Family
ID=70973734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811502128.2A Pending CN111291604A (zh) | 2018-12-07 | 2018-12-07 | 面部属性识别方法、装置、存储介质及处理器 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111291604A (zh) |
WO (1) | WO2020114118A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783574A (zh) * | 2020-06-17 | 2020-10-16 | 李利明 | 膳食图像识别方法、装置以及存储介质 |
CN112149601A (zh) * | 2020-09-30 | 2020-12-29 | 北京澎思科技有限公司 | 兼容遮挡的面部属性识别方法、装置和电子设备 |
CN114067488A (zh) * | 2021-11-03 | 2022-02-18 | 深圳黑蚂蚁环保科技有限公司 | 回收*** |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111695513B (zh) * | 2020-06-12 | 2023-02-14 | 长安大学 | 一种基于深度残差网络的人脸表情识别方法 |
CN111783619B (zh) * | 2020-06-29 | 2023-08-11 | 北京百度网讯科技有限公司 | 人体属性的识别方法、装置、设备及存储介质 |
CN112287966A (zh) * | 2020-09-21 | 2021-01-29 | 深圳市爱深盈通信息技术有限公司 | 一种人脸识别方法、装置及电子设备 |
CN112232231B (zh) * | 2020-10-20 | 2024-02-02 | 城云科技(中国)有限公司 | 行人属性的识别方法、***、计算机设备和存储介质 |
CN112783990B (zh) * | 2021-02-02 | 2023-04-18 | 贵州大学 | 一种基于图数据属性推理方法及*** |
CN113033310A (zh) * | 2021-02-25 | 2021-06-25 | 北京工业大学 | 一种基于视觉自注意力网络的表情识别方法 |
CN113128345A (zh) * | 2021-03-22 | 2021-07-16 | 深圳云天励飞技术股份有限公司 | 多任务属性识别方法及设备、计算机可读存储介质 |
CN113191201A (zh) * | 2021-04-06 | 2021-07-30 | 上海夏数网络科技有限公司 | 基于视觉的鸡雏公母智能鉴别方法及*** |
CN112906668B (zh) * | 2021-04-07 | 2023-08-25 | 上海应用技术大学 | 基于卷积神经网络的人脸信息识别方法 |
CN113657486B (zh) * | 2021-08-16 | 2023-11-07 | 浙江新再灵科技股份有限公司 | 基于电梯图片数据的多标签多属性分类模型建立方法 |
CN113705527B (zh) * | 2021-09-08 | 2023-09-22 | 西南石油大学 | 一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法 |
CN113947780B (zh) * | 2021-09-30 | 2024-06-21 | 吉林农业大学 | 一种基于改进卷积神经网络的梅花鹿面部识别方法 |
CN113963231A (zh) * | 2021-10-15 | 2022-01-21 | 中国石油大学(华东) | 基于图像增强与样本平衡优化的行人属性识别方法 |
CN114092759A (zh) * | 2021-10-27 | 2022-02-25 | 北京百度网讯科技有限公司 | 图像识别模型的训练方法、装置、电子设备及存储介质 |
CN113963426B (zh) * | 2021-12-22 | 2022-08-26 | 合肥的卢深视科技有限公司 | 模型训练、戴口罩人脸识别方法、电子设备及存储介质 |
CN114626527B (zh) * | 2022-03-25 | 2024-02-09 | 中国电子产业工程有限公司 | 基于稀疏约束再训练的神经网络剪枝方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228139A (zh) * | 2016-07-27 | 2016-12-14 | 东南大学 | 一种基于卷积网络的表观年龄预测算法及其*** |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
US20170154209A1 (en) * | 2015-12-01 | 2017-06-01 | Canon Kabushiki Kaisha | Image identification apparatus and image identification method |
CN107247947A (zh) * | 2017-07-07 | 2017-10-13 | 北京智慧眼科技股份有限公司 | 人脸属性识别方法及装置 |
CN108921029A (zh) * | 2018-06-04 | 2018-11-30 | 浙江大学 | 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法 |
CN108921022A (zh) * | 2018-05-30 | 2018-11-30 | 腾讯科技(深圳)有限公司 | 一种人体属性识别方法、装置、设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105825191B (zh) * | 2016-03-23 | 2020-05-15 | 厦门美图之家科技有限公司 | 基于人脸多属性信息的性别识别方法、***及拍摄终端 |
WO2018133034A1 (en) * | 2017-01-20 | 2018-07-26 | Intel Corporation | Dynamic emotion recognition in unconstrained scenarios |
-
2018
- 2018-12-07 CN CN201811502128.2A patent/CN111291604A/zh active Pending
-
2019
- 2019-10-22 WO PCT/CN2019/112478 patent/WO2020114118A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170154209A1 (en) * | 2015-12-01 | 2017-06-01 | Canon Kabushiki Kaisha | Image identification apparatus and image identification method |
CN106228139A (zh) * | 2016-07-27 | 2016-12-14 | 东南大学 | 一种基于卷积网络的表观年龄预测算法及其*** |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN107247947A (zh) * | 2017-07-07 | 2017-10-13 | 北京智慧眼科技股份有限公司 | 人脸属性识别方法及装置 |
CN108921022A (zh) * | 2018-05-30 | 2018-11-30 | 腾讯科技(深圳)有限公司 | 一种人体属性识别方法、装置、设备及介质 |
CN108921029A (zh) * | 2018-06-04 | 2018-11-30 | 浙江大学 | 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783574A (zh) * | 2020-06-17 | 2020-10-16 | 李利明 | 膳食图像识别方法、装置以及存储介质 |
CN111783574B (zh) * | 2020-06-17 | 2024-02-23 | 李利明 | 膳食图像识别方法、装置以及存储介质 |
CN112149601A (zh) * | 2020-09-30 | 2020-12-29 | 北京澎思科技有限公司 | 兼容遮挡的面部属性识别方法、装置和电子设备 |
CN114067488A (zh) * | 2021-11-03 | 2022-02-18 | 深圳黑蚂蚁环保科技有限公司 | 回收*** |
CN114067488B (zh) * | 2021-11-03 | 2024-06-11 | 深圳黑蚂蚁环保科技有限公司 | 回收*** |
Also Published As
Publication number | Publication date |
---|---|
WO2020114118A1 (zh) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291604A (zh) | 面部属性识别方法、装置、存储介质及处理器 | |
CN107491726B (zh) | 一种基于多通道并行卷积神经网络的实时表情识别方法 | |
Ren et al. | Sense Beauty by Label Distribution Learning. | |
CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
US11494616B2 (en) | Decoupling category-wise independence and relevance with self-attention for multi-label image classification | |
US9224071B2 (en) | Unsupervised object class discovery via bottom up multiple class learning | |
WO2019076227A1 (zh) | 人脸图像分类方法、装置及服务器 | |
CN111597870B (zh) | 一种基于注意力机制与多任务学习的人体属性识别方法 | |
CN103984948B (zh) | 一种基于人脸图像融合特征的软双层年龄估计方法 | |
CN107203775B (zh) | 一种图像分类的方法、装置和设备 | |
CN110781829A (zh) | 一种轻量级深度学习的智慧营业厅人脸识别方法 | |
CN109902912B (zh) | 一种基于性格特征的个性化图像美学评价方法 | |
CN112395442B (zh) | 移动互联网上的低俗图片自动识别与内容过滤方法 | |
US11093800B2 (en) | Method and device for identifying object and computer readable storage medium | |
US20200302169A1 (en) | Method and system for classifying an input data set within a data category using multiple data recognition tools | |
CN110188708A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
WO2022042043A1 (zh) | 机器学习模型的训练方法、装置和电子设备 | |
CN109902585A (zh) | 一种基于图模型的手指三模态融合识别方法 | |
CN113158815A (zh) | 一种无监督行人重识别方法、***及计算机可读介质 | |
CN104063721A (zh) | 一种基于语义特征自动学习与筛选的人类行为识别方法 | |
Gupta et al. | Single attribute and multi attribute facial gender and age estimation | |
CN114724224A (zh) | 一种用于医疗护理机器人的多模态情感识别方法 | |
CN112668486A (zh) | 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 | |
CN112116669B (zh) | 一种基于颜色和谐和平面构成的图像美学预测方法 | |
CN110675312B (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |