CN110110126B - 查询人物的面部图像的方法、装置和服务器 - Google Patents

查询人物的面部图像的方法、装置和服务器 Download PDF

Info

Publication number
CN110110126B
CN110110126B CN201910357244.8A CN201910357244A CN110110126B CN 110110126 B CN110110126 B CN 110110126B CN 201910357244 A CN201910357244 A CN 201910357244A CN 110110126 B CN110110126 B CN 110110126B
Authority
CN
China
Prior art keywords
image
face image
extraction model
feature extraction
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910357244.8A
Other languages
English (en)
Other versions
CN110110126A (zh
Inventor
杨帆
李思萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910357244.8A priority Critical patent/CN110110126B/zh
Publication of CN110110126A publication Critical patent/CN110110126A/zh
Application granted granted Critical
Publication of CN110110126B publication Critical patent/CN110110126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种查询人物的面部图像的方法、装置和服务器,属于人脸识别技术领域,该方法包括基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型;基于所述第二图像特征提取模型,分别提取数据库中的各面部图像的特征信息,其中,所述特征信息包括身份特征值和状态特征值;当接收终端发送的携带有目标面部图像的图像查询请求时,基于所述第二图像特征提取模型,提取所述目标面部图像的特征信息;基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定与所述目标面部图像满足预设相似度条件的面部图像,发送给所述终端。采用本公开,可以提高查询面部图像的精细度。

Description

查询人物的面部图像的方法、装置和服务器
技术领域
本公开涉及人脸识别技术领域,尤其涉及查询人物的面部图像的方法、装置和服务器。
背景技术
互联网技术的快速发展,为人们的工作和生活提供了极大的方便,例如,用户可以通过互联网进行图像查询工作。
在一种应用场景中,当用户打算查询具有某一特征的面部图像时,可以在搜索引擎中输入该特征的信息,如瓜子脸、双眼皮等,服务器可以基于输入的特征信息,向终端返回查询结果。
相关技术中,查询人物的面部图像的方法,通过关键词进行查询,关键词往往只能粗略的反映面部图像的某种特征,所以,只能做到粗略的查询,无法做到精细的查询。
发明内容
本公开提供一种查询人物的面部图像的方法、装置和服务器,能够克服相关技术中,查询人物的面部图像的方法,只能做到粗略的查询,无法做到精细的查询的问题。
根据本公开实施例的第一方面,提供一种查询人物的面部图像的方法,所述方法包括:
基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型;
基于所述第二图像特征提取模型,分别提取数据库中的各面部图像的特征信息,其中,所述特征信息包括身份特征值和状态特征值;
当接收终端发送的携带有目标面部图像的图像查询请求时,基于所述第二图像特征提取模型,提取所述目标面部图像的特征信息;
基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定与所述目标面部图像满足预设相似度条件的面部图像,发送给所述终端。
可选的,所述基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型,包括:
逐个获取样本面部图像,每获取一个样本面部图像,基于第一图像特征提取模型,提取所述样本面部图像的特征信息,将所述特征信息输入预先训练的图像重建模型,得到所述样本面部图像的重建面部图像,基于所述样本面部图像和所述重建面部图像,确定图像重建损失,基于所述图像重建损失,对所述第一图像特征提取模型进行参数训练更新,直到满足循环结束条件时,将当前训练完毕的第一图像特征提取模型,确定为第二图像特征提取模型。
可选的,所述基于第一图像特征提取模型,提取所述样本面部图像的特征信息,包括:基于第一图像特征提取模型,提取所述样本面部图像的特征信息和预测分类标识;
所述方法还包括:基于所述预测分类标识和获取到的所述样本面部图像的实际分类标识,确定分类损失;
基于所述图像重建损失,对所述第一图像特征提取模型进行参数训练更新,包括:基于所述图像重建损失和所述分类损失,对所述第一图像特征提取模型进行参数训练更新。
可选的,基于所述图像重建损失和所述分类损失,对所述第一图像特征提取模型进行参数训练更新,包括:
基于公式L=a×L1+b×L2,确定总损失,其中,L为总损失,L1为分类损失,L2为图像重建损失,a为分类损失的权重系数,b为图像重建损失的权重系数;
基于所述总损失,对所述第一图像特征提取模型进行参数训练更新。
可选的,所述方法还包括:
获取多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识;
基于所述多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识,对初始图像特征提取模型进行训练,得到第一图像特征提取模型。
可选的,所述基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定与所述目标面部图像满足预设相似度条件的面部图像,发送给所述终端,包括:
基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
将大于相似度阈值的相似度对应的面部图像,发送给所述终端。
可选的,所述基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定与所述目标面部图像满足预设相似度条件的面部图像,发送给所述终端,包括:
基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
将最大的相似度对应的面部图像,发送给所述终端。
根据本公开实施例的第二方面,提供一种查询人物的面部图像的装置,包括:
训练模块,被配置为执行基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型;
第一提取模块,被配置为执行基于所述第二图像特征提取模型,分别提取数据库中的各面部图像的特征信息,其中,所述特征信息包括身份特征值和状态特征值;
第二提取模块,被配置为执行当接收终端发送的携带有目标面部图像的图像查询请求时,基于所述第二图像特征提取模型,提取所述目标面部图像的特征信息;
确定模块,被配置为执行基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定与所述目标面部图像满足预设相似度条件的面部图像,发送给所述终端。
可选的,所述的训练模块,具体被配置为执行:
逐个获取样本面部图像,每获取一个样本面部图像,基于第一图像特征提取模型,提取所述样本面部图像的特征信息,将所述特征信息输入预先训练的图像重建模型,得到所述样本面部图像的重建面部图像,基于所述样本面部图像和所述重建面部图像,确定图像重建损失,基于所述图像重建损失,对所述第一图像特征提取模型进行参数训练更新,直到满足循环结束条件时,将当前训练完毕的第一图像特征提取模型,确定为第二图像特征提取模型。
可选的,所述的训练模块,具体被配置为执行:基于第一图像特征提取模型,提取所述样本面部图像的特征信息和预测分类标识;
所述训练模块,还被配置为执行:基于所述预测分类标识和获取到的所述样本面部图像的实际分类标识,确定分类损失;
所述训练模块,具体被配置为执行:基于所述图像重建损失和所述分类损失,对所述第一图像特征提取模型进行参数训练更新。
可选的,所述的训练模块,具体被配置为执行:
基于公式L=a×L1+b×L2,确定总损失,其中,L为总损失,L1为分类损失,L2为图像重建损失,a为分类损失的权重系数,b为图像重建损失的权重系数;
基于所述总损失,对所述第一图像特征提取模型进行参数训练更新。
可选的,所述的装置还包括:
获取模块,被配置为执行获取多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识;
初始训练模块,被配置为执行基于所述多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识,对初始图像特征提取模型进行训练,得到第一图像特征提取模型。
可选的,所述的确定模块,包括:
确定单元,被配置为执行基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
发送单元,被配置为执行将大于相似度阈值的相似度对应的面部图像,发送给所述终端。
可选的,所述的确定模块,包括:
确定单元,被配置为执行基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
发送单元,被配置为执行将最大的相似度对应的面部图像,发送给所述终端。
根据本公开实施例的第三方面,提供一种服务器,包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的一个或多个存储器;
其中,所述一个或多个处理器被配置为执行上述所述的查询人物的面部图像的方法。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行上述所述的查询人物的面部图像的方法。
根据本公开实施例的第五方面,提供了一种计算机程序产品,包括一条或多条指令,该一条或多条指令可以由服务器的处理器执行,以完成上述第一方面所述的方法步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
在本公开实施例中,服务器查询与目标面部图像对应的人物相似的面部图像时,可以首先基于第二图像特征提取模型,提取目标面部图像的特征信息;然后基于目标面部图像的特征信息和数据库中各面部图像的特征信息,确定与目标面部图像满足预设相似度条件的面部图像。该方法在查询人物的面部图像时,将目标面部图像作为查询的基点,目标面部图像相对于相关技术中的关键词能够更细腻的反映想要查询的特征,显然可以提高面部图像查询的精细度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种查询人物的面部图像的方法的流程图;
图2是根据一示例性实施例示出的一种查询人物的面部图像的方法的流程图;
图3是根据一示例性实施例示出的一种查询人物的面部图像的方法的流程图;
图4是根据一示例性实施例示出的一种对第一图像特征提取模型进行训练的方法的流程图;
图5是根据一示例性实施例示出的一种对第一图像特征提取模型进行训练的方法的流程图;
图6是根据一示例性实施例示出的一种查询人物的面部图像的装置的框图;
图7是根据一示例性实施例示出的一种查询人物的面部图像的装置的框图;
图8是根据一示例性实施例示出的一种查询人物的面部图像的装置的框图;
图9是根据一示例性实施例示出的一种查询人物的面部图像的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种查询人物的面部图像的方法的流程图,如图1所示,该方法可以用于服务器中,包括以下步骤。
在步骤101中,服务器基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型。
其中,第一图像特征提取模型和第二图像特征提取模型均是技术人员预先通过机器学习训练出的,用于提取面部图像的特征信息的模型,其中,第一图像特征提取模型可以是在初始图像特征提取模型的基础上进行训练的模型,第二图像特征提取模型可以是在第一图像特征提取模型的基础上进行训练的模型,关于第一图像特征提取模型和第二图像特征提取模型的具体训练过程下文将会详细介绍。
在步骤102中,服务器基于第二图像特征提取模型,分别提取数据库中的各面部图像的特征信息。
其中,特征信息可以包括身份特征值和状态特征值,具体的,特征信息可以是特征向量,例如,可以是1024维度的特征向量,该特征向量中的多个元素中可以包括身份特征值和状态特征值。
其中,身份特征值可以是能够表示人物身份的面部属性的具体取值,身份特征也即是人物的面部长相特征,可以是眼型、两眼宽度、嘴型、眉型等面部上能够代表人物身份的特征,例如,眼型长度50毫米,眼型长度是身份特征,50毫米是眼型长度这一身份特征的取值。状态特征值可以是面部状态的具体取值,面部状态可以包括对应人物的表情情况、姿态情况以及面部图像的光照情况等,例如,一张微笑的面部图像,微笑即是面部的状态特征值。
在实施中,服务器可以预先将数据库中各面部图像分别输入到第二图像特征提取模型中,依次得到各个面部图像的特征信息,并进行存储,后续服务器需要用到各面部图像的特征信息时,可以再从数据库中获取。其中,第二图像特征提取模型提取出的特征信息中不仅包含了人物的面部长相特征,还包含了该人物当前的表情状态信息,例如,面部图像中的人物当前的表情状态信息,是深沉、微笑、大笑,还是大哭等,这些信息都可以由特征信息来表现出来。
在步骤103中,当接收终端发送的携带有目标面部图像的图像查询请求时,服务器基于第二图像特征提取模型,提取目标面部图像的特征信息。
在实施中,用户的终端上可以安装有用于查询人物的面部图像的应用程序,用户打开该应用程序,并登录之后,可以在查询界面上传一张目标面部图像,该目标面部图像可以是用户自己的面部图像,也可以是其他人物的面部图像等。这样,终端便可以向服务器发送携带有目标面部图像的图像查询请求,服务器接收到终端发送的图像查询请求时,可以基于第二图像特征提取模型,提取目标面部图像的特征信息。其中,图像查询请求中还可以携带有终端的账户标识,以便于向终端返回查询结果。
在步骤104中,服务器基于目标面部图像的特征信息和数据库中各面部图像的特征信息,确定与目标面部图像满足预设相似度条件的面部图像,发送给终端。
其中,特征信息可以使用特征向量来表示,相应的,目标面部图像与各面部图像之间的相似度可以通过两个特征向量之间的余弦距离来确定,也可以通过两个特征向量之间的欧氏距离等来计算,本实施例中对相似度的计算不做具体限定。
在实施中,服务器通过第二图像特征提取模型提取到目标面部图像的特征信息之后,首先,可以确定目标面部图像的特征信息分别与各面部图像的特征信息之间的相似度,然后,可以从所有相似度中确定与目标面部图像满足预设相似度条件的面部图像,最后,将确定出的面部图像,发送给终端。
在一种可能的应用中,服务器可以将一个或者多个查询到的面部图像发送给终端,例如,服务器可以将大于相似度阈值的相似度对应的面部图像,发送给终端,如服务器可以将大于85%的相似度对应的面部图像发送给终端。又例如,服务器也可以将所有相似度中位于预设名次之前的相似度对应的面部图像发送给终端,例如,可以将位于前十名的相似度对应的面部图像发送给终端。或者,又例如,服务器还可以将最大的相似度对应的面部图像,发送给终端。
这样,终端接收到服务器发送的与目标人物的面部图像的相似度满足预设相似度条件的面部图像之后,可以对面部图像进行显示。
在一种可能的应用中,服务器接收到携带有目标面部图像的图像查询请求之后,如图2所示,可以将目标面部图像输入到第二图像特征提取模型中,得到目标面部图像的特征信息,然后从储存的各面部图像的特征信息的数据库中,获取各面部图像的特征信息,之后,服务器将在目标面部图像的特征信息与各个面部图像的特征向量逐对输入到相似度计算模块中,得到目标面部图像分别与各个面部图像的相似度。
基于上述所述,使用上述根据目标面部图像来查找与之相似的面部图像的方法,与相关技术中将目标面部图像的特征使用文字描述出来,然后再通过关键词搜索与目标面部图像相似的面部图像相比,该方法将目标面部图像作为查询基点,目标面部图像相对于相关技术中的关键词能够更细腻的反映想要查询的特征,显然可以提高查询面部图像的精细度。
另外,使用上述方法查询人物的面部图像,不仅可以查找到与目标面部图像对应的人物长相相似的面部图像,而且还可查询到与目标面部图像中的人物的表情状态也相似的面部图像。例如,目标面部图像是一张人物1大笑的图像,使用上述方法可以查询到与人物1长相相似,且也处于大笑的面部图像。也即是,使用该方法可以查询到与目标面部图像对应的人物长相相似且表情状态也相似的面部图像。
以上部分是使用该方法查询人物的面部图像的过程,下面将分别介绍第二图像特征提取模型和第一图像特征提取模型的具体训练过程:
对第一图像特征提取模型进行训练,得到第二图像特征提取模型的过程可以如下:
如上述所述,第二图像特征提取模型可以是在第一图像特征提取模型的基础上训练而得的模型,具体的可以是,服务器逐个获取样本面部图像,每获取一个样本面部图像,对于每一个样本面部图像,可以按照如图3所示的流程执行以下操作,还可以参考如图4所示的流程示意图(图3和图4均是针对每一个样本面部图像所执行的流程)。
其中,以下步骤是循环训练过程,每次循环中,对于每一个样本面部图像均按照以下步骤执行。
在步骤1011中,服务器基于第一图像特征提取模型,提取样本面部图像的特征信息。
在实施中第一图像特征提取模型,服务器每获取一个样本面部图像之后,可以将该样本面部图像输入到预先训练的第一图像特征提取模型中,得到该样本面部图像的特征信息。
在步骤1012中,服务器将经由第一图像特征提取模型提取的特征信息,输入预先训练的图像重建模型,得到该样本面部图像的重建面部图像。
在实施中,服务器通过第一图像特征提取模型,得到样本面部图像的特征信息之后,可以再根据特征信息对样本面部图像进行重建,例如,将得到的特征信息输入到预先训练的图像重建模型中,可以得到样本面部图像的重建面部图像。
在步骤1013中,服务器基于该样本面部图像和其重建面部图像,确定图像重建损失。
其中,该样本面部图像指的是输入到第一图像特征提取模型的面部图像,也可以是称为原始面部图像;该样本面部图像输入到第一图像特征提取模型得到的特征信息,再输入到图像重建模型得到的面部图像称为该样本面部图像的重建面部图像。
在实施中,服务器可以基于样本面部图像和其重建面部图像,确定两者之间的图像重建损失,例如,可以以样本面部图像和其重建面部图像之间对应位置的像素值之间的差值作为两者之间的图像重建损失。其中,图像重建损失越小,表示重建面部图像与原来的样本面部图像越相似,相应的,也表明第一图像特征提取模型的精度越高,提取出的特征信息的准确度越高。
在步骤1014中,服务器基于图像重建损失,对第一图像特征提取模型进行参数训练更新,直到满足循环结束条件时,服务器再将将当前训练完毕的第一图像特征提取模型,确定为第二图像特征提取模型。
其中,满足循环结束条件可以是当图像重建损失满足预设条件,例如,图像重建损失小于预设数值;满足循环结束条件还可以是,循环次数满足条件,例如,服务器检测到对第一图像特征提取模型的参数训练更新的循环次数达到预设数值时。
在实施中,服务器确定样本面部图像和其重建面部图像之间的图像重建损失之后,可以基于图像重建损失,对第一图像特征提取模型进行参数调整,进行训练优化更新。当对第一图像特征提取模型优化到一定的程度时,也即是当满足循环结束条件时,服务器再将将当前训练完毕的第一图像特征提取模型,确定为第二图像特征提取模型,这样可以提高第二图像特征提取模型提取特征信息的精确度,进而可以提高查询人物的面部图像的精度。
可选的,服务器在对第一图像特征提取模型进行参数训练更新中,还可以基于分类损失对第一图像特征提取模型进行优化调整,相应的可以是,可以参考如图5所示,在步骤1011中,服务器不仅可以基于第一图像特征提取模型,提取样本面部图像的特征信息,还可以基于第一图像特征提取模型,提取样本面部图像的预测分类标识。相应的,在步骤1014之前,该方法还可以包括,服务器基于预测分类标识和获取到的样本面部图像的实际分类标识,确定分类损失。服务器确定样本面部图像的图像重建损失和分类损失之后,可以基于图像重建损失和分类损失,对第一图像特征提取模型进行参数训练更新。
其中,分类标识是样本面部图像对应的人物的标识,也即是,是某个人物的标识,是用于区分不同的人物的标识。每一个面部图像都唯一对应有一个分类标识,多个样本面部图像可以对应同一个分类标识,但是一个分类标识只能对应一个人物,这多个样本面部图像属于同一个人物。例如,样本面部图像的数量为50万,包含1万个人物的面部图像,每一个人物对应有50个面部图像,相应的,这些样本面部图像中有1万个分类标识,也即是样本面部图像涉及到多少个人物,就有多少个分类标识。
预测分类标识即是通过第一图像特征提取模型预测出的面部图像对应的人物的分类标识,实际分类标识即是某一个面部图像对应的人物的真实的实际的分类标识,预测分类标识实际分类标识可能相同,也可能不相同。
其中,分类损失也即是对于同一个样本面部图像,该样本面部图像的实际分类标识与预测分类标识之间的差值。实际分类标识与预测分类标识相同,则分类损失为0,实际分类标识与预测分类标识不相同,则分类损失为1。
在实施中,服务器可以基于公式L=a×L1+b×L2,确定总损失;之后,服务器便可以基于总损失,对第一图像特征提取模型进行参数训练更新。其中,L为总损失,L1为分类损失,L2为图像重建损失,a为分类损失的权重系数,b为图像重建损失的权重系数。其中,a和b的取值可以由技术人员根据实际需求而设定,例如,a可以取1,b可以取0.1等。
基于上述所述,可以再次参考图5所示,服务器每获取到一个样本面部图像,便使用前一次更新完的第一图像特征提取模型进行特征提取得到特征信息和预设分类标识。然后,服务器将第一图像特征提取模型提取的特征信息输入到图像重建模型中,得到重建面部图像,并计算样本面部图像与其重建面部图像之间的图像重建损失;服务器还基于预测分类标识和获取到的样本面部图像的实际分类标识,确定分类损失。之后,服务器基于图像重建损失和分类损失,确定样本面部图像的总损失,再基于样本面部图像的总损失,对第一图像特征提取模型进行参数优化。这样,服务器每获取一个样本面部图像便执行一次上述所述的操作,直到满足循环结束条件时,服务器再将将当前训练完毕的第一图像特征提取模型,确定为第二图像特征提取模型。
这样,服务器便可以基于图像重建和第一图像特征提取模型,得到第二图像特征提取模型。
以上是对第一图像特征提取模型进行训练,得到第二图像特征提取模型的过程,下面将介绍对初始图像特征提取模型进行训练,得到第一图像特征提取模型的过程:
首先,服务器获取多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识;然后,服务器基于多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识,对初始图像特征提取模型进行训练,得到第一图像特征提取模型。
其中,每对样本面部图像的参考相似度可以是技术人员根据这一对样本面部图像中两个人物的身份特征(也即是面部长相特征)和状态特征(也即是面部表情状态),对这对样本面部图像的相似程度的打分。
在实施中,服务器获取到多个样本面部图像之后,可以首先对每一张样本面部图像进行裁剪和对齐,得到固定分辨率的面部图像,例如,将样本面部图像统一成128×128分辨率的图像。技术人员还可以根据每一张样本面部图像中的人物,给每一张样本面部图像添加一个实际分类标识。之后,技术人员可以将多个样本面部图像进行两两组合,得到多对样本面部图像,对于每一对样本面部图像,技术人员根据这一对样本面部图像中两个人物的面部长相和表情状态,对这一对样本面部图像的相似度进行打分,给这两个样本面部图像一个参考相似度。最后,技术人员再根据多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识,对初始图像特征提取模型进行训练,得到第一图像特征提取模型。
这样,如图5所示,训练出的第一图像特征提取模型在应用中,通过向该第一图像特征提取模型输入面部图像,可以得到该面部图像对应的特征信息和预测分类标识。
可选的,在一种可能的应用中,用户根据该方法查询到面部图像之后,还可以获取面部图像对应的人物的身份识别信息,进一步可以根据身份识别信息,获取与目标面部图像对应的人物不是同一个人物的面部图像,相应的可以是,服务器可以基于目标面部图像的特征信息、身份识别信息和数据库中各面部图像的特征信息、身份识别信息,确定与目标面部图像满足预设相似度条件且身份识别信息不匹配的面部图像,发送给终端。
其中,身份识别信息可以是与面部图像对应的人物相关的信息,能够表示该人物的信息或者能够联系到该人物的信息,可以包括通讯信息、位置信息和终端型号信息。
其中,通讯信息可以是面部图像所在的社交网络的账户信息,面部图像对应的人物的姓名、通讯方式信息等;位置信息可以包括面部图像的上传时的位置信息,还可以包括面部图像拍摄时的位置信息;终端型号信息可以是拍摄面部图像所使用的终端的型号信息。
在实施中,服务器确定至少一个与目标面部图像满足预设相似度条件的面部图像之后,首先,获取这些面部图像中每一个面部图像对应的人物的身份识别信息以及目标面部图像的身份识别信息,然后,在与目标面部图像满足预设相似度条件的所有面部图像中,筛选出与目标面部图像的身份识别信息不匹配的面部图像,并将筛选出的面部图像和对应的身份识别信息,发送给终端。
其中,与目标面部图像的身份识别信息不匹配的面部图像,可以是身份识别信息所包含的信息中全部不匹配,也可以是身份识别信息所包含的信息中部分不匹配,具体情况可以由技术人员设定,也可以由用户自己选择。
例如,用户在查询的过程中,可以设置查询的级别,如果查询级别比较高(如高级查询),则可以是身份识别信息所包含的信息中全部不匹配,如果查询级别比较低(如简单查询),则可以是身份识别信息所包含的信息中部分不匹配。
在实施中,身份识别信息可以包括通讯信息、位置信息和终端型号信息,服务器确定与目标面部图像满足预设相似度条件的面部图像之后,例如,服务器确定五个面部图像,分别记为面部图像1、面部图像2、面部图像3、面部图像4和面部图像5。然后,服务器再获取这些面部图像的身份识别信息和目标面部图像的身份识别信息,例如,目标面部图像的身份识别信息记为身份识别信息0,上述面部图像的身份识别信息依次记为身份识别信息1、身份识别信息2、身份识别信息3、身份识别信息4和身份识别信息5。
如果身份识别信息0分别与身份识别信息1和身份识别信息2中信息全部不相同;身份识别信息0分别与身份识别信息3和身份识别信息4中的信息部分相同;身份识别信息0与身份识别信息5完全相同(目标面部图像和面部图像5属于同一个人物的概率比较大)。
在查询级别比较高的情况下,也即是限制条件比较严格的情况下,服务器确定的面部图像为身份识别信息1对应的面部图像1和身份识别信息2对应的面部图像2,然后,服务器便可以将面部图像1、身份识别信息1以及面部图像2、身份识别信息2发送给终端。
在查询级别比较低的情况下,也即是限制条件比较松的情况下,服务器确定的面部图像为身份识别信息1对应的面部图像1、身份识别信息2对应的面部图像2、身份识别信息3对应的面部图像3和身份识别信息4对应的面部图像4,然后,服务器便可以将面部图像1和身份识别信息1、面部图像2和身份识别信息2、面部图像3和身份识别信息3,以及面部图像4和身份识别信息4发送给终端。
这样,终端接收到服务器发送的与目标人物的面部图像的相似度满足预设相似度条件且身份识别信息不匹配的面部图像之后,可以对面部图像进行显示。用户可以再根据面部图像的身份识别信息,获取面部图像对应的人物的信息,进而可以与这些人物取得联系,进一步可以提高终端上用于查询面部图像的应用程序的娱乐性,从而可以该应用程序的留存率。
服务器将相似度满足预设相似度条件,但身份识别信息不匹配的面部图像筛选掉,这样能够将满足相似度条件的且与目标面部图像属于同一个人物的面部图像过滤掉,进而,这样查询到的面部图像与目标面部图像基本上不属于同一个人物,进而,用户可以使用该方法查找和自己长得比较相似的其他人物,进而可以增加娱乐的趣味性。
基于上述所述,在一种可能的应用环境中,当用户想要查询和自己长得比较相似的人物时,可以打开终端上安装的用于查询人物的面部图像的应用程序,并登录该应用程序,然后上传自己的面部图像,进而,终端向服务器发送携带有用户的面部图像的图像查询请求。服务器接收到终端发送的图像查询请求时,可以基于上述方法确定满足条件的面部图像,并将这些面部图像以及对应的身份识别信息发送给终端。终端接收到之后,可以进行显示,进而,用户可以获取和自己长得比较相似的面部图像。用户还可以再进一步基于这些面部图像对应的身份识别信息,获取对应人物的通讯方式,以与其他人物取得联系,扩大用户的社交圈。
在本公开实施例中,服务器查询与目标面部图像对应的人物相似的面部图像时,可以首先基于第二图像特征提取模型,提取目标面部图像的特征信息;然后,服务器基于目标面部图像的特征信息和数据库中各面部图像的特征信息,确定与目标面部图像满足预设相似度条件的面部图像。该方法在查询人物的面部图像时,将目标面部图像作为查询的基点,目标面部图像相对于相关技术中的关键词能够更细腻的反映想要查询的特征,显然可以提高面部图像查询的精细度。
图6是根据一示例性实施例示出的一种查询人物的面部图像的装置的框图。参照图6,该装置包括训练模块610、第一提取模块620、第二提取模块630和确定模块640。
该训练模块610被配置为执行基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型;
该第一提取模块620被配置为执行基于所述第二图像特征提取模型,分别提取数据库中的各面部图像的特征信息,其中,所述特征信息包括身份特征值和状态特征值;
该第二提取模块630被配置为执行当接收终端发送的携带有目标面部图像的图像查询请求时,基于所述第二图像特征提取模型,提取所述目标面部图像的特征信息;
该确定模块640被配置为执行基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定与所述目标面部图像满足预设相似度条件的面部图像,发送给所述终端。
可选的,该训练模块610,具体被配置为执行:
逐个获取样本面部图像,每获取一个样本面部图像,基于第一图像特征提取模型,提取所述样本面部图像的特征信息,将所述特征信息输入预先训练的图像重建模型,得到所述样本面部图像的重建面部图像,基于所述样本面部图像和所述重建面部图像,确定图像重建损失,基于所述图像重建损失,对所述第一图像特征提取模型进行参数训练更新,直到满足循环结束条件时,将当前训练完毕的第一图像特征提取模型,确定为第二图像特征提取模型。
可选的,该训练模块610,具体被配置为执行:基于第一图像特征提取模型,提取所述样本面部图像的特征信息和预测分类标识;
该训练模块610,还被配置为执行:基于所述预测分类标识和获取到的所述样本面部图像的实际分类标识,确定分类损失;
该训练模块610,具体被配置为执行:基于所述图像重建损失和所述分类损失,对所述第一图像特征提取模型进行参数训练更新。
可选的,该训练模块610,具体被配置为执行:
基于公式L=a×L1+b×L2,确定总损失,其中,L为总损失,L1为分类损失,L2为图像重建损失,a为分类损失的权重系数,b为图像重建损失的权重系数;
基于所述总损失,对所述第一图像特征提取模型进行参数训练更新。
可选的,如图7所示,该装置还包括获取模块608和初始训练模块609,其中:
该获取模块608,被配置为执行获取多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识;
该初始训练模块609,被配置为执行基于所述多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识,对初始图像特征提取模型进行训练,得到第一图像特征提取模型。
可选的,如图8所示,所述的确定模块640,包括:
确定单元641,被配置为执行基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
发送单元642,被配置为执行将大于相似度阈值的相似度对应的面部图像,发送给所述终端。
可选的,再次参考图8所示,所述的确定模块640,包括:
确定单元641,被配置为执行基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
发送单元642,被配置为执行将最大的相似度对应的面部图像,发送给所述终端。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图9是本公开实施例提供的一种计算机设备的结构示意图,该计算机设备900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)901和一个或一个以上的存储器902,其中,所述存储器902中存储有至少一条指令,所述至少一条指令由所述处理器901加载并执行以实现下述确定用户特征数据的方法步骤:
基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型;
基于所述第二图像特征提取模型,分别提取数据库中的各面部图像的特征信息,其中,所述特征信息包括身份特征值和状态特征值;
当接收终端发送的携带有目标面部图像的图像查询请求时,基于所述第二图像特征提取模型,提取所述目标面部图像的特征信息;
基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定与所述目标面部图像满足预设相似度条件的面部图像,发送给所述终端。
根据本公开实施例,还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行上述所述的查询人物的面部图像的方法。
根据本公开实施例,提供了一种计算机程序产品,包括一条或多条指令,该一条或多条指令可以由服务器的处理器执行,以完成上述所述的方法步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (16)

1.一种查询人物的面部图像的方法,其特征在于,所述方法包括:
基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型;
基于所述第二图像特征提取模型,分别提取数据库中的各面部图像的特征信息,其中,所述特征信息包括身份特征值和状态特征值;
当接收终端发送的携带有目标面部图像的图像查询请求时,基于所述第二图像特征提取模型,提取所述目标面部图像的特征信息;
基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定与所述目标面部图像满足预设相似度条件的至少一个面部图像,获取所述至少一个面部图像中每一个面部图像对应的人物的身份识别信息,以及所述目标面部图像对应的人物的身份识别信息,其中,所述身份识别信息指代能够联系到所述人物的信息;在所述至少一个面部图像中,筛选出与所述目标面部图像的身份识别信息不匹配的面部图像,并将筛选出的面部图像和对应的身份识别信息发送给所述终端。
2.根据权利要求1所述的方法,其特征在于,所述基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型,包括:
逐个获取样本面部图像,每获取一个样本面部图像,基于第一图像特征提取模型,提取所述样本面部图像的特征信息,将所述特征信息输入预先训练的图像重建模型,得到所述样本面部图像的重建面部图像,基于所述样本面部图像和所述重建面部图像,确定图像重建损失,基于所述图像重建损失,对所述第一图像特征提取模型进行参数训练更新,直到满足循环结束条件时,将当前训练完毕的第一图像特征提取模型,确定为第二图像特征提取模型。
3.根据权利要求2所述的方法,其特征在于,所述基于第一图像特征提取模型,提取所述样本面部图像的特征信息,包括:基于第一图像特征提取模型,提取所述样本面部图像的特征信息和预测分类标识;
所述方法还包括:基于所述预测分类标识和获取到的所述样本面部图像的实际分类标识,确定分类损失;
基于所述图像重建损失,对所述第一图像特征提取模型进行参数训练更新,包括:基于所述图像重建损失和所述分类损失,对所述第一图像特征提取模型进行参数训练更新。
4.根据权利要求3所述的方法,其特征在于,基于所述图像重建损失和所述分类损失,对所述第一图像特征提取模型进行参数训练更新,包括:
基于公式L=a×L1+b×L2,确定总损失,其中,L为总损失,L1为分类损失,L2为图像重建损失,a为分类损失的权重系数,b为图像重建损失的权重系数;
基于所述总损失,对所述第一图像特征提取模型进行参数训练更新。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识;
基于所述多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识,对初始图像特征提取模型进行训练,得到第一图像特征提取模型。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
将大于相似度阈值的相似度对应的面部图像,发送给所述终端。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
将最大的相似度对应的面部图像,发送给所述终端。
8.一种查询人物的面部图像的装置,其特征在于,包括:
训练模块,被配置为执行基于图像重建,对第一图像特征提取模型进行训练,得到第二图像特征提取模型;
第一提取模块,被配置为执行基于所述第二图像特征提取模型,分别提取数据库中的各面部图像的特征信息,其中,所述特征信息包括身份特征值和状态特征值;
第二提取模块,被配置为执行当接收终端发送的携带有目标面部图像的图像查询请求时,基于所述第二图像特征提取模型,提取所述目标面部图像的特征信息;
确定模块,被配置为执行基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定至少一个与所述目标面部图像满足预设相似度条件的面部图像之后,获取所述满足预设相似度条件的面部图像中每一个面部图像对应的人物的身份识别信息,以及所述目标面部图像对应的人物的身份识别信息,其中,所述身份识别信息表示能够联系到与面部图像对应的人物的信息;在所述满足预设相似度条件的所有面部图像中,筛选出与所述目标面部图像的身份识别信息不匹配的面部图像,并将筛选出的面部图像和对应的身份识别信息发送给所述终端。
9.根据权利要求8所述的装置,其特征在于,所述的训练模块,具体被配置为执行:
逐个获取样本面部图像,每获取一个样本面部图像,基于第一图像特征提取模型,提取所述样本面部图像的特征信息,将所述特征信息输入预先训练的图像重建模型,得到所述样本面部图像的重建面部图像,基于所述样本面部图像和所述重建面部图像,确定图像重建损失,基于所述图像重建损失,对所述第一图像特征提取模型进行参数训练更新,直到满足循环结束条件时,将当前训练完毕的第一图像特征提取模型,确定为第二图像特征提取模型。
10.根据权利要求9所述的装置,其特征在于,所述的训练模块,具体被配置为执行:基于第一图像特征提取模型,提取所述样本面部图像的特征信息和预测分类标识;
所述训练模块,还被配置为执行:基于所述预测分类标识和获取到的所述样本面部图像的实际分类标识,确定分类损失;
所述训练模块,具体被配置为执行:基于所述图像重建损失和所述分类损失,对所述第一图像特征提取模型进行参数训练更新。
11.根据权利要求10所述的装置,其特征在于,所述的训练模块,具体被配置为执行:
基于公式L=a×L1+b×L2,确定总损失,其中,L为总损失,L1为分类损失,L2为图像重建损失,a为分类损失的权重系数,b为图像重建损失的权重系数;
基于所述总损失,对所述第一图像特征提取模型进行参数训练更新。
12.根据权利要求10所述的装置,其特征在于,所述的装置还包括:
获取模块,被配置为执行获取多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识;
初始训练模块,被配置为执行基于所述多对样本面部图像、每对样本面部图像的参考相似度以及每个样本面部图像的实际分类标识,对初始图像特征提取模型进行训练,得到第一图像特征提取模型。
13.根据权利要求8-12任一项所述的装置,其特征在于,所述确定模块,包括:
确定单元,被配置为执行基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
发送单元,被配置为执行将大于相似度阈值的相似度对应的面部图像,发送给所述终端。
14.根据权利要求8-12任一项所述的装置,其特征在于,所述确定模块,包括:
确定单元,被配置为执行基于所述目标面部图像的特征信息和所述数据库中各面部图像的特征信息,确定所述目标面部图像分别与所述数据库中各面部图像的相似度;
发送单元,被配置为执行将最大的相似度对应的面部图像,发送给所述终端。
15.一种服务器,其特征在于,包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的一个或多个存储器;
其中,所述一个或多个处理器被配置为执行权利要求1-7任一项所述的查询人物的面部图像的方法。
16.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行权利要求1-7任一项所述的查询人物的面部图像的方法。
CN201910357244.8A 2019-04-29 2019-04-29 查询人物的面部图像的方法、装置和服务器 Active CN110110126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910357244.8A CN110110126B (zh) 2019-04-29 2019-04-29 查询人物的面部图像的方法、装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910357244.8A CN110110126B (zh) 2019-04-29 2019-04-29 查询人物的面部图像的方法、装置和服务器

Publications (2)

Publication Number Publication Date
CN110110126A CN110110126A (zh) 2019-08-09
CN110110126B true CN110110126B (zh) 2021-08-27

Family

ID=67487593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910357244.8A Active CN110110126B (zh) 2019-04-29 2019-04-29 查询人物的面部图像的方法、装置和服务器

Country Status (1)

Country Link
CN (1) CN110110126B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329797A (zh) * 2020-11-13 2021-02-05 杭州海康威视数字技术股份有限公司 目标对象的检索方法、装置、服务器和存储介质
CN114360008B (zh) * 2021-12-23 2023-06-20 上海清鹤科技股份有限公司 人脸认证模型的生成方法、认证方法、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824059B (zh) * 2014-02-28 2017-02-15 东南大学 一种基于视频图像序列的人脸表情识别方法
US10748062B2 (en) * 2016-12-15 2020-08-18 WaveOne Inc. Deep learning based adaptive arithmetic coding and codelength regularization
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法
CN108537743B (zh) * 2018-03-13 2022-05-20 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108875818B (zh) * 2018-06-06 2020-08-18 西安交通大学 基于变分自编码机与对抗网络结合的零样本图像分类方法

Also Published As

Publication number Publication date
CN110110126A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
US9514356B2 (en) Method and apparatus for generating facial feature verification model
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN108960331A (zh) 一种基于行人图像特征聚类的行人再识别方法
CN109213882A (zh) 图片排序方法及终端
CN101305368A (zh) 语义可视搜索引擎
CN106557728B (zh) 查询图像处理和图像检索方法和装置以及监视***
CN110110126B (zh) 查询人物的面部图像的方法、装置和服务器
CN111339812A (zh) 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质
US11749019B2 (en) Systems and methods for matching facial images to reference images
KR20210033940A (ko) 인간 안면 인식을 위하여 신경 네트워크를 트레이닝시키는 방법
CN110598097B (zh) 一种基于cnn的发型推荐***、方法、设备及存储介质
JP2020173562A (ja) 物体認識システム及び物体認識方法
CN106485220A (zh) 人脸识别方法、具有人脸识别功能的智能眼镜及服务器
CN114817655A (zh) 跨模态检索方法、网络训练方法、装置、设备及介质
CN111401193B (zh) 获取表情识别模型的方法及装置、表情识别方法及装置
CN109670423A (zh) 一种基于深度学习的图像识别***、方法及介质
CN110737885A (zh) 豢养物的身份认证方法及装置
CN111191065B (zh) 一种同源图像确定方法及装置
CN110427870B (zh) 眼部图片识别方法、目标识别模型训练方法及装置
JP4340860B2 (ja) 顔照合システム
CN110675312A (zh) 图像数据处理方法、装置、计算机设备以及存储介质
CN112364946B (zh) 图像确定模型的训练方法、图像确定的方法、装置和设备
US11783587B2 (en) Deep learning tattoo match system based
CN111738157B (zh) 面部动作单元数据集的构建方法、装置和计算机设备
KR101720685B1 (ko) 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant