CN106909905B - 一种基于深度学习的多模态人脸识别方法 - Google Patents
一种基于深度学习的多模态人脸识别方法 Download PDFInfo
- Publication number
- CN106909905B CN106909905B CN201710122193.1A CN201710122193A CN106909905B CN 106909905 B CN106909905 B CN 106909905B CN 201710122193 A CN201710122193 A CN 201710122193A CN 106909905 B CN106909905 B CN 106909905B
- Authority
- CN
- China
- Prior art keywords
- modal
- face
- similarity
- mode
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的多模态人脸识别方法,包括(1)对RGB人脸图像进行人脸检测和对齐,根据模态之间的映射关系裁切制作RGB模态和其他模态的人脸数据集S0,S1,S2……;(2)设计一个多模态融合的深度卷积神经网络结构N1,并训练N1网络;(3)设计一个多模态共享的深度卷积神经网络结构N2,并训练N2网络;(4)提取特征阶段、(5)相似度计算阶段和(6)相似度融合阶段。本发明采用多模态***,通过进行多种人脸模态数据的采集,利用多种模态信息各自的优点,通过融合策略来克服单模态***的某些内在弱点,同时充分的利用多种模态信息,有效地提升了人脸识别***的性能,使得人脸识别更加快捷准确。
Description
技术领域
本发明涉及一种人脸识别方法,尤其涉及一种基于深度学习的多模态人脸识别方法。
背景技术
三维人脸识别相对于二维人脸识别,有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点,因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后,很多学者都将他们的研究投入到该领域中。
人脸不同模态的图像容易受到不同因素等的影响,这些因素在一定程度上影响了单模态人脸识别***的稳定性及准确性。CN104778441A提出了一种融合灰度信息和深度信息的多模态人脸识别装置及方法,其核心方法是通过提取多模态的人脸特征后(发明中所使用的特征为手工设计的特征),拼接起来形成一个特征池,为特征池的每一个特征构建一个弱分类器,然后利用Adaboost算法,在特征池中挑选出对于分类最为有效的特征,最后基于多模态特征层融合得到的特征,利用最近邻分类器计算出匹配分数,以此实现多模态人脸识别。但是该发明所使用的特征均为人工设计的特征,表达能力不够强;且该发明的特征利用Adaboost算法进行特征融合和特征选择,效率较低;且该发明是为特定两种模态设计的,具有局限性。
发明内容
为了解决上述问题中的不足之处,本发明提供了一种基于深度学习的多模态人脸识别方法。
为了解决以上技术问题,本发明采用的技术方案是:一种基于深度学习的多模态人脸识别方法,包括以下步骤:
(1)对RGB人脸图像进行人脸检测,特征点定位,对齐,裁切,制作裁切后的RGB模态人脸数据集S0;根据RGB模态和其他模态之间的坐标映射关系,找到其他模态人脸的特征点,并裁切制作其他模态的人脸数据集S1,S2……;
(2)设计一个多模态融合的深度卷积神经网络结构N1,在这个结构中,前半部分是几个独立的神经网络分支,每个分支的输入对应一个模态,然后用特定的网络结构把多个模态分支融合成一个分支,再连接一系列神经网络结构单元;然后将S0,S1,S2……送入到N1的不同分支中,训练N1网络,训练好的模型用M1来表示;
上述神经网络结构单元包括但不限于卷积层、归一化层、非线性层、池化层和全连接层和分布归一化层;模态包括但不限于RGB模态、深度模态和近红外模态;特定的网络结构中,每个分支有各自的分类损失作为各个模态各自的监督信号,结构融合方法采用特征拼接;
(3)设计一个多模态共享的深度卷积神经网络结构N2,将S0,S1,S2……不加区分的一起送入N2中,训练N2网络,训练好的模型用M2来表示;
(4)提取特征阶段,对于注册集和查询集的图像,其模态范围在训练集模态范围内。某图像的不同模态可以表示为I0,I1,I2……,然后把I0,I1,I2……分别在模型M1和M2上提取特征,特征可用F0,F0C,F1,F1C,F2,F2C……表示,C表示是从M2上提取的特征;
(5)分别计算GF0和PF0之间的相似度S00,GF1和PF1的相似度S11,GF2和PF2的相似度S22;计算GF0C和PF1C之间的相似度S01,类似的计算出跨模态相似度S02,S03,S12,S13,S23……;
上述GF0表示注册集图像的F0,PF0表示查询集图像的F0,GF0C表示注册集图像的F0C,PF1C表示查询集图像的F1C;
(6)对所有的注册集和查询集相似度进行加权求和融合,得到最终的融合相似度S,在融合相似度S构成的相似度矩阵上进行人脸识别和人脸确认。
步骤(2)中,训练N1网络的时候,损失层可以使用softmax with loss或者使用其他损失层。
步骤(3)中,将S0,S1,S2……不加区分的送入N2中的时候,如果它们的通道数不同,则可以采取全部变为单通道的方式归一化为相同通道,或者重复单通道至通道数相同,然后再送入网络结构中进行训练。
步骤(4)中,对于注册集和查询集的图像,其模态范围在训练集模态范围以内。
本发明采用多模态***,通过进行多种人脸模态数据的采集,利用多种模态信息各自的优点,通过融合策略来克服单模态***的某些内在弱点,同时充分的利用多种模态信息,有效地提升了人脸识别***的性能,使得人脸识别更加快捷准确。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明人脸识别算法的流程图。
图2是本发明多模态融合的深度卷积神经网络的结构框图。
图3是图2中Loss4的具体结构框图。
具体实施方式
如图1所示,本发明具体包括以下步骤:
(1)对RGB人脸图像进行人脸检测,特征点定位,对齐,裁切,制作裁切后的RGB模态人脸数据集S0;然后根据RGB模态和其他模态(如深度信息,近红外信息等)之间的坐标映射关系,找到其他模态人脸的特征点,并裁切制作其他模态的人脸数据集S1,S2……;
(2)设计一个多模态融合的深度神经网络结构N1,在这个结构中,前半部分是几个独立的神经网络分支,每个分支的输入对应一个模态(如RGB模态,深度模态,近红外模态等),然后用特定的网络结构把多个模态分支融合为一个合成的神经网络分支(例如把这些特征连接起来,或按通道堆叠起来,或其他的连接结构,例如附图3那样的结构等),再连接一系列神经网络结构单元(如卷积层、归一化层、非线性层、池化层、全连接层等);然后将S0,S1,S2……送入到N1的不同分支中,训练N1网络,训练好的模型用M1来表示;
(3)设计一个多模态共享的深度神经网络结构N2,将S0,S1,S2……不加区分的一起送入N2中,训练N2网络,训练好的模型用M2来表示;
(4)提取特征阶段,对于注册集和查询集的图像,其模态范围在训练集模态范围内,某图像的不同模态可以表示为I0,I1,I2……,然后把I0,I1,I2……分别在模型M1和M2上提取特征,特征可用F0,F0C,F1,F1C,F2,F2C……表示,C表示是从M2上提取的特征;
(5)计算GF0和PF0(分别表示注册集图像的F0和查询集图像的F0)之间的相似度S00,GF1和PF1的相似度S11,GF2和PF2的相似度S22;计算GF0C和PF1C(分别表示注册集图像的F0C和查询集图像的F1C)之间的相似度S01,类似的计算出跨模态相似度S02,S03,S12,S13,S23……;
(6)对所有的注册集和查询集的相似度进行加权求和融合,得到最终的融合相似度S,在融合相似度S构成的相似度矩阵上进行人脸识别和人脸确认。
上述加权求和融合的公式可以表示为:S=p1*S1+p2*S2+p3*S3……,其中p1:p2:p3可以是S1,S2,S3单独进行人脸识别实验得到的识别正确率(r1,r2,r3)的反比(1/r1:1/r2:1/r3)。
在步骤(2)中的深度神经网络结构N1中,网络结构单元可以包括但不限于卷积层,池化层,非线性函数层,全连接层,分布归一化层等,并且包括但不限于这些层的任意组合;网络结构单元的简单组合可以是全新设计的,也可以是基于已有的公开网络结构修改的,网络结构单元的简单组合本身不是保护的范围,但凡是符合本发明所叙述的,前半部分是几个独立的神经网络分支,通过特定结构融合为一个合成的分支,且特定结构中每个模态分支都有各自的独立监督信号,合成后的分支之后再接一系列神经网络结构单元的结构形式,则属于保护的范围。
如图2所示给出了一个基于谷歌Inception-v2(谷歌所提出的一种深度网络结构)依照上述规则修改而来的网络结构,在该网络结构中,若去掉Loss4损失结构,去掉深度模态和近红外模态分支,只剩下RGB分支直接接到3*Inception结构(*表示多个类似的结构串联,如此处,为3个Inception结构串联,Inception结构为谷歌定义的一种子网络结构,在[2]中的Figure 3中有对Inception结构的表示)上,则完全就是谷歌Inception-v2网络结构本身,[1]的Figure 5中,附图2的2*(卷积+池化)对应Figure 5的convolution(卷积层),max pool(最大池化层),convolution(卷积层),max pool(最大池化层)这四层,而从下向上的第一个3*Inception则对应[1]中的inception(3a),inception(3b),inception(3c),其上的4*Inception则对应[1]中的inception(4a),inception(4b),inception(4c),inception(4d),再其上的3*Inception则对应[1]中的inception(4e),inception(5a),inception(5b),Loss3池化层则对应[1]中的avg pool(平均池化层)。
在我们的网络结构中,我们先让不同模态的数据(RGB,深度信息,近红外信息等)通过一系列神经网络结构,学***均池化层池化区间为5*5,间隔步长为3;卷积层卷积核大小为1*1,间隔步长为1;训练集的总人数,是标签(label)的类别数量;+表示输入到其中的三个512结点的全连接层按结点求平均(fc3[i]=(fcc3[i]+fcd3[i]+fcn3[i])/3,i=1,2,3…512),显然得到的还是一个512结点的全连接层,也即fc3;FC2048即是三个模态的512全连接层和三模态融合的512全连接层串接起来以后得到的2048维的全连接层;
本发明训练N1网络的时候,损失层可以使用softmax with loss(经典的分类损失层),也可以使用其他损失层。训练所采用的算法是Back Propagation反向回传算法,通过回传损失层的误差来更新每一层的参数,使得网络参数得到更新,最终得到收敛。其具体的训练步骤,以本发明实验时所使用的数据集(非公开,与合作方合作采集的)为例,该数据集的训练集规模为约五十万样本,约五百人。使用32的batch(数据块)规模,基础学习率0.045,每6400迭代学习率乘以0.9,weight decay(权值衰减)为0.0002,momentum(动量参数)为0.9.训练约四十万次迭代。
本发明在深度神经网络结构N2中,同样的,网络结构单元可以包括但不限于卷积层,池化层,非线性函数层,全连接层,分布归一化层等,并且包括但不限于这些层的任意组合;在该步骤中,网络结构不是保护的范围,通过不区分模态的方式训练多模态公共特征空间的方法是保护的范围,网络结构可以全新设计,也可以使用学术界公开的网络结构如AlexNet,GoogleNet,ResNet等网络。将S0,S1,S2等不加区分的一起送入N2中的时候,如果它们的通道数不同,则可以采取全部变为单通道的方式归一化为相同通道(如RGB三通道变为灰度图单通道),或者重复单通道至通道数相同(如重复近红外单通道图三次至三通道),然后再送入网络结构中进行训练。
本实施例以RGB,深度信息,近红外信息为例,由于深度信息和近红外信息均为单通道,可以把所有样本的RGB图转为单通道灰度图,再送入N2网络中训练。以谷歌Inception-v2[1]为例,将五十万训练集的所有样本不分模态的看作一百五十万样本(RGB,深度,近红外三种模态,其中RGB在此转为灰度图),输入Inception-v2中进行训练学习,使用32的batch数据块规模,基础学习率0.045,每19200次迭代学习率乘以0.9,weight decay(权值衰减)为0.0002,momentum(动量参数)为0.9,训练约一百二十万次迭代。得到的模型设为M2。则对于模型的特征,可认为是跨模态的特征,一个样本的RGB(已转为灰度图)特征可与其深度信息特征相比,查询集的RGB特征可与注册集的深度信息特征进行相似度比较,这是本发明跨模态识别部分的基本算法。
在提取特征阶段,对于注册集和查询集图像的模态范围可以是训练集模态范围的全集,也可以是真子集,但不能超出训练集模态范围以外;提取特征的位置可以在模型M1和M2的顶层,也可以在非顶层(如中间的某一层等)。
在上述的步骤(5)中,计算相似度的距离度量方法可以是余弦距离,也可以是欧式距离,或者马氏距离等其他距离度量。本发明以余弦距离为例,对于两个特征向量x1,x2,其余弦距离d=x1’*x2/(|x1|*|x2|)。其中,假设x1,x2均为列向量,x1’为x1的转置,x1’*x2为x1’与x2的点乘,|x1|,|x2|为x1,x2的模长,其中模长满足|x1|2=x1’*x1。
本发明人脸识别实验指的是给定一个注册集,注册集中有一系列不同的人脸图像,当给定一张查询图像时,找到该查询图像是注册集中的哪一个人,方法可以是认为注册集图像与查询图像相似度最高的那个人;人脸确认实验指的是,给定两张查询图像,确定这两张图像是否是同一个人,方法可以是确定一个阈值,若两张图像相似度高于阈值,则认为是同一个人,否则认为不是同一个人。
本发明具有几个关键技术点:1)使用网络结构进行多模态融合,融合位置在网络的中部,既非底层输入位置也非顶层损失层位置,融合的模态数量可以是两个,也可以是多个,融合结构中为每个模态提供了单独的监督信号,以使得每个模态自身的特征可以被充分挖掘而不至于被其他模态特征湮没。因此可以获得对于人脸识别而言的最充分泛化性能的特征表达和融合效果,并且不局限于两个模态,可以适应多个模态,更加灵活。2)对于跨模态公共特征空间的学习方式,把多种模态的人脸图像数据不加区分的作为输入加入到深度神经网络中进行训练,模态数量可以是两个,也可以是多个,图像的标签是人的标签,不对模态做区分,训练得到的公共特征空间可以选取网络的顶层,也可以选择网络的非顶层;技术效果是可以获得多种人脸模态之间跨模态的识别效果。3)对所有多模态模态内部相似度和跨模态模态之间相似度进行加权求和融合的方式,得到最终两个图像的多模态融合相似度,对于测试图像而言模态可以完整也可以不完整,其模态类型集合可以是训练集合模态类型集合的全集也可以是真子集;技术效果是使得多模态人脸识别获得很强的灵活性和适用性,可以适用于多模态人脸识别的很多场景(如仅注册集多模态,查询图像单模态等)。
因此,本发明通过设计多模态和跨模态的深度学习网络,充分的挖掘和学习人脸多模态之间的互补特征,极大的提高了人脸识别的性能,并提供了很强的多模态和跨模态人脸识别应用的灵活性和适用性。
上述实施方式并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换,也均属于本发明的保护范围。
Claims (5)
1.一种基于深度学习的多模态人脸识别方法,其特征在于,包括以下步骤:
(1)对RGB人脸图像进行人脸检测,特征点定位,对齐,裁切,制作裁切后的RGB模态人脸数据集S0;根据RGB模态和其他模态之间的坐标映射关系,找到其他模态人脸的特征点,并裁切制作其他模态的人脸数据集S1,S2……;
(2)设计一个多模态融合的深度卷积神经网络结构N1,在这个结构中,前半部分是几个独立的神经网络分支,每个分支的输入对应一个模态,然后用特定的网络结构把多个模态分支融合成一个分支,再连接一系列神经网络结构单元;然后将S0,S1,S2……送入到N1的对应分支中,训练N1网络,训练好的模型用M1来表示;
上述模态包括但不限于RGB模态、深度模态和近红外模态;特定的网络结构中,每个分支有各自的分类损失作为各个模态各自的监督信号,结构融合方法采用特征拼接;
(3)设计一个多模态共享的深度卷积神经网络结构N2,将S0,S1,S2……不加区分的一起送入N2中,训练N2网络,训练好的模型用M2来表示;
(4)提取特征阶段,对于注册集和查询集的图像,其模态范围在训练集模态范围内,某图像的不同模态可以表示为I0,I1,I2……,然后把I0,I1,I2……分别在模型M1和M2上提取特征,特征可用F0,F0C,F1,F1C,F2,F2C……表示,C表示是从M2上提取的特征;
(5)分别计算GF0和PF0之间的相似度S00,GF1和PF1的相似度S11,GF2和PF2的相似度S22;计算GF0C和PF1C之间的相似度S01,类似的计算出跨模态相似度S02,S03,S12,S13,S23……;
上述GF0表示注册集图像的F0,PF0表示查询集图像的F0,GF0C表示注册集图像的F0C,PF1C表示查询集图像的F1C;
(6)对所有的注册集和查询集相似度进行加权求和融合,得到最终的融合相似度S,在融合相似度S构成的相似度矩阵上进行人脸识别和人脸确认。
2.根据权利要求1所述的基于深度学习的多模态人脸识别方法,其特征在于:所述神经网络结构单元包括但不限于卷积层、归一化层、非线性层、池化层和全连接层和分布归一化层。
3.根据权利要求1所述的基于深度学习的多模态人脸识别方法,其特征在于:所述步骤(2)中,训练N1网络的时候,损失层可以使用softmax with loss或者使用其他损失层。
4.根据权利要求1所述的基于深度学习的多模态人脸识别方法,其特征在于:所述步骤(3)中,将S0,S1,S2……不加区分的送入N2中的时候,如果它们的通道数不同,则可以采取全部变为单通道的方式归一化为相同通道,或者重复单通道至通道数相同,然后再送入网络结构中进行训练。
5.根据权利要求1所述的基于深度学习的多模态人脸识别方法,其特征在于:所述步骤(4)中,对于注册集和查询集的图像,其模态范围在训练集模态范围以内。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710122193.1A CN106909905B (zh) | 2017-03-02 | 2017-03-02 | 一种基于深度学习的多模态人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710122193.1A CN106909905B (zh) | 2017-03-02 | 2017-03-02 | 一种基于深度学习的多模态人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106909905A CN106909905A (zh) | 2017-06-30 |
CN106909905B true CN106909905B (zh) | 2020-02-14 |
Family
ID=59186347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710122193.1A Active CN106909905B (zh) | 2017-03-02 | 2017-03-02 | 一种基于深度学习的多模态人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106909905B (zh) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273872B (zh) * | 2017-07-13 | 2020-05-05 | 北京大学深圳研究生院 | 用于图像或视频中行人重识别的深度判别网络模型方法 |
CN107423701B (zh) * | 2017-07-17 | 2020-09-01 | 智慧眼科技股份有限公司 | 基于生成式对抗网络的人脸非监督特征学习方法及装置 |
CN112861760A (zh) * | 2017-07-25 | 2021-05-28 | 虹软科技股份有限公司 | 一种用于表情识别的方法和装置 |
CN107480206B (zh) * | 2017-07-25 | 2020-06-12 | 杭州电子科技大学 | 一种基于多模态低秩双线性池化的图像内容问答方法 |
CN107506822B (zh) * | 2017-07-26 | 2021-02-19 | 天津大学 | 一种基于空间融合池化的深度神经网络方法 |
CN108229497B (zh) * | 2017-07-28 | 2021-01-05 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
CN107844744A (zh) * | 2017-10-09 | 2018-03-27 | 平安科技(深圳)有限公司 | 结合深度信息的人脸识别方法、装置及存储介质 |
JP7467336B2 (ja) * | 2017-11-03 | 2024-04-15 | ゼネラル・エレクトリック・カンパニイ | 複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム |
CN108197587B (zh) * | 2018-01-18 | 2021-08-03 | 中科视拓(北京)科技有限公司 | 一种通过人脸深度预测进行多模态人脸识别的方法 |
CN108229440A (zh) * | 2018-02-06 | 2018-06-29 | 北京奥开信息科技有限公司 | 一种基于多传感器融合室内人体姿态识别方法 |
CN108509862B (zh) | 2018-03-09 | 2022-03-25 | 华南理工大学 | 抗角度与遮挡干扰的快速人脸识别方法 |
CN108875777B (zh) * | 2018-05-03 | 2022-03-15 | 浙江大学 | 基于双路神经网络的纺织面料中纤维种类及混纺比例识别方法 |
CN110110120B (zh) * | 2018-06-11 | 2021-05-25 | 北方工业大学 | 一种基于深度学习的图像检索方法和装置 |
CN108960337B (zh) * | 2018-07-18 | 2020-07-17 | 浙江大学 | 一种基于深度学习模型的多模态复杂活动识别方法 |
CN109284597A (zh) * | 2018-11-22 | 2019-01-29 | 北京旷视科技有限公司 | 一种人脸解锁方法、装置、电子设备和计算机可读介质 |
CN109583387A (zh) * | 2018-11-30 | 2019-04-05 | 龙马智芯(珠海横琴)科技有限公司 | 身份认证方法及装置 |
CN111369567B (zh) * | 2018-12-26 | 2022-12-16 | 腾讯科技(深圳)有限公司 | 三维图像中目标对象的分割方法、装置及电子设备 |
CN111401107B (zh) * | 2019-01-02 | 2023-08-18 | 上海大学 | 基于特征融合神经网络的多模态人脸识别方法 |
CN109815965B (zh) * | 2019-02-13 | 2021-07-06 | 腾讯科技(深圳)有限公司 | 一种图像过滤方法、装置及存储介质 |
CN110009003A (zh) * | 2019-03-14 | 2019-07-12 | 北京旷视科技有限公司 | 图像处理与图像比对模型的训练方法、装置和*** |
CN110046551B (zh) * | 2019-03-18 | 2021-04-20 | 中国科学院深圳先进技术研究院 | 一种人脸识别模型的生成方法及设备 |
CN109934198B (zh) * | 2019-03-22 | 2021-05-14 | 北京市商汤科技开发有限公司 | 人脸识别方法及装置 |
CN110674677A (zh) * | 2019-08-06 | 2020-01-10 | 厦门大学 | 一种多模态多层融合的用于人脸反欺骗的深度神经网络 |
CN110458828B (zh) * | 2019-08-12 | 2023-02-10 | 广东工业大学 | 一种基于多模态融合网络的激光焊接缺陷识别方法及装置 |
CN113642466B (zh) * | 2019-11-27 | 2022-11-01 | 马上消费金融股份有限公司 | 活体检测和模型训练方法、设备及介质 |
CN111611909A (zh) * | 2020-05-18 | 2020-09-01 | 桂林电子科技大学 | 多子空间域自适应人脸识别方法 |
CN111937005A (zh) * | 2020-06-30 | 2020-11-13 | 北京小米移动软件有限公司 | 生物特征识别方法、装置、设备及存储介质 |
CN112016524B (zh) * | 2020-09-25 | 2023-08-08 | 北京百度网讯科技有限公司 | 模型训练方法、人脸识别方法、装置、设备和介质 |
CN112149635A (zh) * | 2020-10-23 | 2020-12-29 | 北京百度网讯科技有限公司 | 跨模态人脸识别模型训练方法、装置、设备以及存储介质 |
CN112464741B (zh) * | 2020-11-05 | 2021-11-26 | 马上消费金融股份有限公司 | 人脸分类方法、模型训练方法、电子设备及存储介质 |
CN112926557B (zh) * | 2021-05-11 | 2021-09-10 | 北京的卢深视科技有限公司 | 一种训练多模态人脸识别模型的方法以及多模态人脸识别方法 |
CN113378984B (zh) * | 2021-07-05 | 2023-05-02 | 国药(武汉)医学实验室有限公司 | 一种医学图像分类方法、***、终端以及存储介质 |
CN113903053B (zh) * | 2021-09-26 | 2024-06-07 | 厦门大学 | 基于统一中间模态的跨模态行人重识别方法 |
CN114627431B (zh) * | 2022-02-22 | 2023-07-21 | 安徽新识智能科技有限公司 | 一种基于物联网的环境智能监控方法及*** |
CN114724041B (zh) * | 2022-06-02 | 2022-09-06 | 浙江天铂云科光电股份有限公司 | 基于深度学习的电力设备红外热图的识别方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530648A (zh) * | 2013-10-14 | 2014-01-22 | 四川空港知觉科技有限公司 | 一种基于多帧图像的人脸识别方法 |
CN104966093A (zh) * | 2015-05-25 | 2015-10-07 | 苏州珂锐铁电气科技有限公司 | 一种基于深度神经网络的动态纹理识别方法 |
CN105913025A (zh) * | 2016-04-12 | 2016-08-31 | 湖北工业大学 | 一种基于多特征融合的深度学习人脸识别方法 |
CN106339702A (zh) * | 2016-11-03 | 2017-01-18 | 北京星宇联合投资管理有限公司 | 一种基于多特征融合的人脸识别方法 |
CN106446754A (zh) * | 2015-08-11 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 图像识别方法、度量学习方法、图像来源识别方法及装置 |
-
2017
- 2017-03-02 CN CN201710122193.1A patent/CN106909905B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530648A (zh) * | 2013-10-14 | 2014-01-22 | 四川空港知觉科技有限公司 | 一种基于多帧图像的人脸识别方法 |
CN104966093A (zh) * | 2015-05-25 | 2015-10-07 | 苏州珂锐铁电气科技有限公司 | 一种基于深度神经网络的动态纹理识别方法 |
CN106446754A (zh) * | 2015-08-11 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 图像识别方法、度量学习方法、图像来源识别方法及装置 |
CN105913025A (zh) * | 2016-04-12 | 2016-08-31 | 湖北工业大学 | 一种基于多特征融合的深度学习人脸识别方法 |
CN106339702A (zh) * | 2016-11-03 | 2017-01-18 | 北京星宇联合投资管理有限公司 | 一种基于多特征融合的人脸识别方法 |
Non-Patent Citations (2)
Title |
---|
Exploiting Feature Hierarchies with Convolutional Neural Networks for Cultural Event Recognition;Mengyi Liu 等;《2015 IEEE International Conference on Computer Vision Workshops》;20151231;第274-279页 * |
Multimodal Deep Convolutional Neural Network for Multimodal Deep Convolutional Neural Network for Audio-Visual Emotion Recognition;Shiqing Zhang 等;《ICMR"16》;20160609;第281-284页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106909905A (zh) | 2017-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106909905B (zh) | 一种基于深度学习的多模态人脸识别方法 | |
CN109145939B (zh) | 一种小目标敏感的双通道卷积神经网络语义分割方法 | |
CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
CN110427877B (zh) | 一种基于结构信息的人体三维姿态估算的方法 | |
CN113657349B (zh) | 一种基于多尺度时空图卷积神经网络的人体行为识别方法 | |
CN110111340A (zh) | 基于多路割的弱监督实例分割方法 | |
CN111489358A (zh) | 一种基于深度学习的三维点云语义分割方法 | |
CN109241313A (zh) | 一种基于高阶深度哈希学习的图像检索方法 | |
CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
CN106203363A (zh) | 人体骨架运动序列行为识别方法 | |
CN111931505A (zh) | 一种基于子图嵌入的跨语言实体对齐方法 | |
CN109977972B (zh) | 一种基于step的智能特征识别方法 | |
CN105631416A (zh) | 采用新型密度聚类进行人脸识别的方法 | |
CN110263236A (zh) | 基于动态多视图学习模型的社交网络用户多标签分类方法 | |
CN112308115A (zh) | 一种多标签图像深度学习分类方法及设备 | |
CN109686403A (zh) | 基于不确定蛋白质相互作用网络中关键蛋白质识别方法 | |
CN110472495A (zh) | 一种基于图形推理全局特征的深度学习人脸识别方法 | |
CN110427890A (zh) | 基于深度级联网络和质心分化编码的多人姿态估计方法 | |
CN106203373B (zh) | 一种基于深度视觉词袋模型的人脸活体检测方法 | |
CN114299006A (zh) | 一种联合图对比学习的自适应多通道图卷积网络 | |
CN111259950A (zh) | 一种基于3d模型训练yolo神经网络的方法 | |
Xin et al. | Deep self-paced learning for semi-supervised person re-identification using multi-view self-paced clustering | |
CN114463812A (zh) | 基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法 | |
CN116932722A (zh) | 一种基于跨模态数据融合的医学视觉问答方法及*** | |
CN114254093A (zh) | 多空间知识增强的知识图谱问答方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |