CN117218358A - 一种模型确定方法和相关装置 - Google Patents

一种模型确定方法和相关装置 Download PDF

Info

Publication number
CN117218358A
CN117218358A CN202310033256.1A CN202310033256A CN117218358A CN 117218358 A CN117218358 A CN 117218358A CN 202310033256 A CN202310033256 A CN 202310033256A CN 117218358 A CN117218358 A CN 117218358A
Authority
CN
China
Prior art keywords
model
image
feature
sample
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310033256.1A
Other languages
English (en)
Inventor
许剑清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310033256.1A priority Critical patent/CN117218358A/zh
Publication of CN117218358A publication Critical patent/CN117218358A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种模型确定方法和相关装置,将同一个目标用户的生物学特征有部分遮挡和无遮挡的两张样本图像确定为样本对,通过初始提取子模型基于样本对提取的第一图像特征和第二图像特征,确定两者间的特征对齐损失函数,并根据正常图像样本和遮挡图像样本分别对应的用户识别结果,得到第一损失函数和第二损失函数。根据上述损失函数对初始提取子模型和初始识别子模型进行训练,由于该特征对齐损失函数能够标识出这两个图像特征在特征空间中的特征分布差异,可使模型学习到最小化该特征分布差异的知识,以让第一图像特征和第二图像特征在特征分布上更为接近,具有更好的相似度比对条件,从而训练得到适用于生物学特征遮挡场景的用户识别模型。

Description

一种模型确定方法和相关装置
技术领域
本申请涉及数据处理领域,特别是涉及一种模型确定方法和相关装置。
背景技术
生物学特征是用于标识用户身份的重要标识,例如人脸、指纹、掌纹等。终端设备采集包括用户的生物学特征的图像,然后通过识别模型识别图像中的生物学特征来确定用户的身份,从而有效应用于电子支付、打卡等场景中。
在一些情况下,所采集的图像中,用户的生物学特征出现了部分遮挡,例如戴口罩的人脸。生物学特征被遮挡会显著影响对用户身份识别的准确性,针对这一情况,在相关技术中,对识别模型采用多任务的方式进行训练,训练中采用生物学特征无遮挡的样本图像a和生物学特征部分遮挡的样本图像b,然后调整样本图像a与样本图像b之间的损失函数的权重,从而提升其识别的准确率。
然而,该权重为一个超参数,其最优值随着数据分布的变化而发生变化,通过人为经验难以快速的基于变化而调整权重值,故通过相关技术训练得到的识别模型对生物学特征出有部分遮挡的图像的识别准确性难以符合预期。
发明内容
为了解决上述技术问题,本申请提供了一种模型确定方法和相关装置,能够训练得到适用于生物学特征遮挡场景的用户识别模型,主要依靠对齐不同生物学遮挡下的特征分布来提升识别过程中的可比性,以此实现对模型识别精度的保证。
本申请实施例公开了如下技术方案:
一方面,本申请实施例提供了一种模型确定方法,所述方法包括:
从样本图像中确定样本对,所述样本对包括生物学特征无遮挡的正常样本图像和所述生物学特征被部分遮挡的遮挡样本图像,所述正常样本图像和所述遮挡样本图像具有相同的样本标签,用于标识同一个目标用户;
通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征;
根据所述第一图像特征和所述第二图像特征在特征空间中的特征分布差异,确定特征对齐损失函数;
根据所述第一图像特征,通过初始识别子模型得到所述正常样本图像对应的第一用户识别结果,根据所述第二图像特征,通过所述初始识别子模型得到所述遮挡样本图像对应的第二用户识别结果;
基于所述第一用户识别结果和所述第二用户识别结果分别与所述样本标签的差异,确定第一损失函数和第二损失函数;
通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,所述用户识别模型用于根据待识别图像中的生物学特征进行用户识别。
另一方面,本申请实施例提供了一种模型确定装置,所述装置包括确定单元、获取单元、识别单元和训练单元:
所述确定单元,用于从样本图像中确定样本对,所述样本对包括生物学特征无遮挡的正常样本图像和所述生物学特征被部分遮挡的遮挡样本图像,所述正常样本图像和所述遮挡样本图像具有相同的样本标签,用于标识同一个目标用户;
所述获取单元,用于通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征;
所述确定单元还用于根据所述第一图像特征和所述第二图像特征在特征空间中的特征分布差异,确定特征对齐损失函数;
所述识别单元,用于根据所述第一图像特征,通过初始识别子模型得到所述正常样本图像对应的第一用户识别结果,根据所述第二图像特征,通过所述初始识别子模型得到所述遮挡样本图像对应的第二用户识别结果;
所述确定单元还用于基于所述第一用户识别结果和所述第二用户识别结果分别与所述样本标签的差异,确定第一损失函数和第二损失函数;
所述训练单元,用于通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,所述用户识别模型用于根据待识别图像中的生物学特征进行用户识别。
另一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行以上方面所述的方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行以上方面所述的方法。
另一方面,本申请实施例提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行以上方面所述的方法。
由上述技术方案可以看出,为了提升生物学特征被部分遮挡的识别精度,将同一个目标用户的生物学特征有部分遮挡和无遮挡的两张样本图像确定为样本对,通过初始提取子模型基于样本对提取的第一图像特征和第二图像特征,确定两者间的特征对齐损失函数,并根据正常图像样本和遮挡图像样本分别对应的用户识别结果,得到对应样本标签的第一损失函数和第二损失函数。根据上述三个损失函数对初始提取子模型和初始识别子模型进行模型训练,由于该特征对齐损失函数能够标识出这两个图像特征在特征空间中的特征分布差异,通过训练可以使模型学习到最小化该特征分布差异的知识,以让第一图像特征和第二图像特征在特征分布上更为接近,从而具有更好的相似度比对条件,而基于第一损失函数和第二损失函数的训练可使模型学习到在生物学特征的不同遮挡条件下准确识别目标用户的知识。由此在上述三个损失函数的指导下,能够训练得到适用于生物学特征遮挡场景的用户识别模型,而且训练过程中几乎没有对超参数的依赖,主要依靠对齐不同生物学遮挡下的特征分布来提升识别过程中的可比性,以此实现对模型识别精度的保证。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型确定场景的示意图;
图2为本申请实施例提供的一种模型确定方法的方法流程图;
图3为本申请实施例提供的一种图像特征在特征空间的特征分布示意图;
图4为本申请实施例提供的一种基于初始提取子模型确定特征对齐损失函数的示意图;
图5为本申请实施例提供的一种结合模型结构的损失函数确定示意图;
图6为本申请实施例提供的一种模型预训练的流程图;
图7为本申请实施例提供的一种用户识别模型的训练流程图;
图8为本申请实施例提供的一种模型训练、部署阶段的示意图;
图9为本申请实施例提供的一种模型确定装置的装置结构图;
图10为本申请实施例提供的一种终端设备的结构图;
图11为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
在通过具有用户生物学特征的用户图像进行用户识别时,一些用户图像中的生物学特征有可能出现被部分遮挡的情况,例如佩戴口罩的人脸图像,为了提升针对这类生物学特征被部分遮挡的用户图像的用户识别精度。
相关技术中主要通过生物学特征无遮挡和有部分遮挡的样本图像进行多任务学习的模型训练,但是这种方式需要人为设置超参数作为不同损失函数间的权重,然而在训练过程中,超参数难以随着样本图像的数据分布变化而进行调整,使得训练得到的识别模型对生物学特征出有部分遮挡的图像的识别准确性难以符合预期。
为此,本申请实施例提供了一种模型确定方法,训练过程中几乎没有对超参数的依赖,主要依靠对齐不同生物学遮挡下的特征分布来提升识别过程中的可比性,以此实现对模型识别精度的保证。
本申请实施例所提供的模型确定方法可以通过计算机设备实施,该计算机设备可以是终端设备或服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请实施例可以应用于人工智能,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
本申请实施例主要涉及计算机视觉技术和机器学习/深度学习这几个方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
例如在本申请实施例中,初始提取子模型或者用户识别模型可以通过计算机视觉技术提取样本图像或者待识别图像中的图像特征。在本申请提供的模型训练阶段,可以基于样本对,结合特征对齐损失函数等多种损失函数进行针对用户识别模型的模型训练,使得用户识别模型学习到在生物学特征的不同遮挡条件下最小化特征分布差异的知识,以及准确识别目标用户的知识。
可以理解的是,在本申请的具体实施方式中,可能会涉及到用户的生物学特征等相关的数据,当本申请以上实施例运用到具体产品或技术中时,每一项数据均需要单独获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
图1为本申请实施例提供的一种模型确定场景的示意图,在本实施例中,以服务器100作为前述计算机设备进行说明。
为了提升生物学特征被部分遮挡的识别精度,将同一个目标用户的生物学特征有部分遮挡和无遮挡的两张样本图像确定为样本对,例如在图1中样本对里包括正常人脸图像(正常样本图像)和戴口罩人脸图像(遮挡样本图像)。
服务器100通过初始提取子模型基于样本对提取的第一图像特征和第二图像特征,确定两者间的特征对齐损失函数F3,服务器100并通过初始识别子模型得到正常人脸图像和戴口罩人脸图像分别对应的用户识别结果,服务器100根据第一用户识别结果(对应于正常人脸图像)和样本标签(指示目标用户)确定第一损失函数F1,以及根据第二用户识别结果(对应于戴口罩人脸图像)和样本标签(指示目标用户)确定第二损失函数F2。
服务器100根据上述三个损失函数(F1-F3)对初始提取子模型和初始识别子模型进行模型训练,由于该特征对齐损失函数F3能够标识出这两个图像特征在特征空间中的特征分布差异,通过训练可以使模型学习到最小化该特征分布差异的知识,以让第一图像特征和第二图像特征在特征分布上更为接近,从而具有更好的相似度比对条件。而基于第一损失函数F1和第二损失函数F2的训练可使模型学习到在生物学特征的不同遮挡条件下准确识别目标用户的知识。
由此在上述三个损失函数的指导下,服务器100能够训练得到适用于生物学特征遮挡场景的用户识别模型,而且训练过程中几乎没有对超参数的依赖,主要依靠对齐不同生物学遮挡下的特征分布来提升识别过程中的可比性,以此实现对模型识别精度的保证。
图2为本申请实施例提供的一种模型确定方法的方法流程图,在本实施例中,以服务器作为前述计算机设备进行说明。
所述方法包括:
S201:从样本图像中确定样本对。
样本图像中包括有用户的生物学特征,并标注有样本标签,该样本标签用于标识所对应样本图像中生物学特征所属用户。在一些场景中,样本标签可以是用户标识的形式。
样本图像的数量有多个,这些样本图像的样本标签可以标识不同的用户,即样本图像可以来自不同的用户,目标用户为这些用户中的任意一个。这些样本图像的样本标签也可以标识同一个用户,即目标用户。
在本申请实施例提出的模型训练方式中,不依据单个样本图像,而是采用样本对进行模型训练,该样本对包括生物学特征无遮挡的正常样本图像和所述生物学特征被部分遮挡的遮挡样本图像,正常样本图像和遮挡样本图像具有相同的样本标签,用于标识同一个目标用户。
需要说明的是,样本对里两个图像样本中的生物学特征是目标用户的同一种生物学特征,例如均为人脸,手掌等。区别在于正常样本图像中的生物学特征可以完全显示,没有被其他物体等遮挡,而遮挡样本图像中的生物学特征在图像显示层面被部分遮挡,使得通过遮挡样本图像仅能示出该生物学特征的一部分。例如正常样本图像为目标用户的完整无遮挡人脸,而样本对中对应的遮挡样本图像为该目标用户佩戴口罩的人脸,人脸的下半部分被口罩遮挡,或者样本对中对应的遮挡样本图像为该目标用户佩戴眼罩的人脸,人脸的上半部分被眼罩遮挡。
在一些场景下,样本对中的正常样本图像和遮挡样本图像中的生物学特征可以具有相同或者相似的显示形式,例如同一个用户的正面人脸图像(带口罩和不带口罩)。当生物学特征具有相同或者相似的显示形式时,其在特征空间中分别对应的特征分布可以具有一定的相关性,在后续特征分布的对齐上可以让模型学习到更准确的特征共同部分知识。
故在一种可能的实现方式中,所述生物学特征包括人脸、指纹或掌纹,当所述生物学特征包括人脸时,所述遮挡样本图像中的所述人脸被佩戴的口罩造成部分遮挡。
由于样本对中的正常样本图像和遮挡样本图像中的生物学特征均对应于同一个目标用户,故这两个样本图像可以共用一个样本标签,或者分别对应的样本标签是一致的。
需要注意的是,由于样本图像的收集情况不同,有可能出现在确定样本对时,只能找到一个样本图像,为了提升样本图像的利用效率,本申请实施例可以提供一种针对此情况下的样本对补全方式。
在一种可能的实现方式中,S201包括:
S2011:针对目标样本图像,响应于根据所述目标样本图像未能确定对应的样本对,当所述目标样本图像为所述正常样本图像时,通过在所述正常样本图像的所述生物学特征的区域生成遮挡蒙层,得到所述正常样本图像对应的遮挡样本图像,所述遮挡蒙层用于对所述生物学特征进行部分遮挡;
S2012:当所述目标样本图像为所述遮挡样本图像时,确定在所述遮挡样本图像中所述生物学特征的被遮挡区域和未被遮挡区域;根据所述未被遮挡区域中的所述生物学特征,通过在所述被遮挡区域模拟补全所述生物学特征,得到所述遮挡样本图像对应的正常样本图像。
目标样本图像为S201中样本图像里的一个,如果服务器在确定样本对中,从样本图像中未能找到一个与目标样本图像组成样本对的样本图像,可以通过数字化方式,基于该目标样本图像生成适配的样本图像。
当只有一个正常样本图像时,可以在正常样本图像的基础上没在正常样本图像的生物学特征上自动生成遮挡蒙层,从而形成遮挡样本图像,或者在遮挡样本图像的生物学特征上,基于未遮挡区域的生物学特征的内容,对遮挡区域进行模拟补全,模拟出与实际被遮挡区域近似的生物学特征,从而形成正常样本图像。
通过数字化的方式为无法确定出样本对的单独样本图像进行配对合成,可以有效提升样本图像的利用效率,也降低了前期收集样本图像的复杂度。
S202:通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征。
本步骤提及的初始提取子模型和后续提及的初始识别子模型,可以视为初始用户识别模型的两个模型功能部分,初始提取子模型的输入为样本对的两个样本图像,输出为提取的图像特征,该图像特征作为后续初始识别子模型的输入,初始识别子模型的输出为根据不同图像特征(例如第一图像特征和第二图像特征)分别输出的用户识别结果。
第一图像特征和第二图像特征均属于图像特征,图像特征携带有样本图像中生物学特征的相关信息,在特征空间中,图像特征表现形式为散布的多个特征点。初始识别子模型在进行用户识别时,可以基于特征之间的特征分布的相似度比较来确定可能属于哪一个用户的概率。
S203:根据所述第一图像特征和所述第二图像特征在特征空间中的特征分布差异,确定特征对齐损失函数。
由于正常样本图像和遮挡样本图像中生物学特征具有不同的遮挡情况,即一个没有遮挡,一个有部分遮挡,这导致初始提取子模型提取出分别对应的图像特征时,第一图像特征和第二图像特征在同一个特征空间中的特征分布是具有差异的。
例如图3的A部分所示的特征空间中,黑色的特征点为第二图像特征的特征点在特征空间中的位置,灰色的特征点为第一图像特征的特征点在特征空间中的位置。可以看出黑色特征点的特征分布与灰色特征点的特征分布具有较大的差异,由此导致之间不具有统一的相似度尺度,难以进行比较。
这种特征分布上的差异,使得模型在训练过程中无法学习到同一个目标用户在生物学特征有部分遮挡和无遮挡情况下的样本相关性知识。如果不进行相应处理,相当于模型训练中目标用户的正常样本图像和遮挡样本图像被完全隔离,模型需要为一个用户的两类遮挡情况分别维护一套对应的用户识别参数,非常占据存储资源以及运算成本。
在本申请实施例中,为了消除上述特征分布差异,提升两类样本图像间的关联性和在训练过程中为模型提供更多的有效知识,服务器基于特征分布差异确定了特征对齐损失函数,在后续进行模型训练时,将特征对齐损失函数也作为训练的一维指导要素,使得通过模型训练,可让用户识别模型针对同一个用户(例如目标用户)的生物学特征不同遮挡情况,学习到最小化不同遮挡情况下的图像特征中特征分布的知识,实现将特征分布上约束在相同或者近似的特征分布下,这两个特征(例如第一图像特征和第二图像特征)具有统一的相似度尺度,从而让用户识别模型能够在生物学特征被部分遮挡时依然保持较高的识别准确性。
将特征分布上约束在相同或者近似的特征分布下可以例如图3的B部分所示,类似图3的A部分的定义,其中黑色特征点为生物学特征被部分遮挡的图像的特征点在特征空间中的位置,灰色特征点为生物学特征无遮挡的图像的特征点在特征空间中的位置。可以看出,在模型训练后,同一个用户的生物学特征的不同遮挡情况的图像,通过用户识别模型的特征提取部分所提取的图像特征,在特征空间的特征分布差异性被显著缩小,从而能够有效提升模型的用户识别精度。
S204:根据所述第一图像特征,通过初始识别子模型得到所述正常样本图像对应的第一用户识别结果,根据所述第二图像特征,通过所述初始识别子模型得到所述遮挡样本图像对应的第二用户识别结果。
如前所述,用户识别模型可以至少实现对目标用户的识别,当用户识别模型还可以识别其他用户时,即可以对多个用户进行识别时,用户识别模型通过图像特征确定的用户识别结果可以包括该图像特征所对应图像中的生物学特征分别属于该多个用户的概率,例如识别为小王的概率20%,识别为小李的概率70%,识别为小张的概率10%。
在本步骤中,第一用户识别结果是基于第一图像特征确定的,用于标识正常样本图像中的生物学特征属于目标用户或分别属于多个用户的可能性,第二用户识别结果是基于第二图像特征确定的,用于标识遮挡样本图像中的生物学特征属于目标用户或分别属于多个用户的可能性。
S205:基于所述第一用户识别结果和所述第二用户识别结果分别与所述样本标签的差异,确定第一损失函数和第二损失函数。
由于样本标签标识了正常样本图像和遮挡样本图像中生物学特征所属的实际用户,即目标用户。故通过第一用户识别结果和第二用户识别结果与样本标签之间的差异,确定出的第一损失函数和第二损失函数可以标识出初始识别子模型在基于第一图像特征和第二图像特征分别进行用户识别的准确性。
S206:通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型。
在训练过程中,第一损失函数和第二损失函数主要用于指导模型学习到如何准确基于第一图像特征和第二图像特征准确识别出目标用户的知识,即使得用户识别模型在针对图像中生物学特征在不同遮挡情况下(属于同一个用户),依然能准确目标用户的能力。
而特征对齐损失函数主要用于指导模型学习到针对图像中生物学特征在不同遮挡情况下(属于同一个用户),如何提取出特征分布向相近的图像特征,即使得用户识别模型具备弱化生物学特征被部分遮挡所带来识别影响的能力,从而进一步的提升了用户识别模型对生物学特征被部分遮挡的图像的用户识别能力。
由此可见,为了提升生物学特征被部分遮挡的识别精度,将同一个目标用户的生物学特征有部分遮挡和无遮挡的两张样本图像确定为样本对,通过初始提取子模型基于样本对提取的第一图像特征和第二图像特征,确定两者间的特征对齐损失函数,并根据正常图像样本和遮挡图像样本分别对应的用户识别结果,得到对应样本标签的第一损失函数和第二损失函数。根据上述三个损失函数对初始提取子模型和初始识别子模型进行模型训练,由于该特征对齐损失函数能够标识出这两个图像特征在特征空间中的特征分布差异,通过训练可以使模型学习到最小化该特征分布差异的知识,以让第一图像特征和第二图像特征在特征分布上更为接近,从而具有更好的相似度比对条件,而基于第一损失函数和第二损失函数的训练可使模型学习到在生物学特征的不同遮挡条件下准确识别目标用户的知识。由此在上述三个损失函数的指导下,能够训练得到适用于生物学特征遮挡场景的用户识别模型,而且训练过程中几乎没有对超参数的依赖,主要依靠对齐不同生物学遮挡下的特征分布来提升识别过程中的可比性,以此实现对模型识别精度的保证。
为了能够更为准确的确定特征分布差异,本申请实施例从多个维度进行了响应改进。
在一种可能的实现方式中,该特征分布差异通过如下方式获得:
S11:将所述第一图像特征转换为特征空间的第一特征统计量,并将所述第二图像特征转换为所述特征空间的第二特征统计量;
S12:根据所述第一特征统计量和所述第二特征统计量,确定所述特征分布差异。
通过图像特征转换得到的特征统计量可以准确标识出图像特征在特征空间中的特征分布情况,从而根据第一特征统计量和第二特征统计量确定出的特征分布差异具有更高的精确性。
特征统计量和特征分布差异可以通过如下公式确定:
通过公式1可以确定出特征对齐损失函数F3,将第一图像特征和第二图像特征泛化至同一个特征空间中,其中,d为图像特征的特征维度,C为两个特征矩阵的协方差矩阵,即为特征空间中的特征统计量,属于二阶统计量,如公式(2)、(3)所示,而第一图像特征对应的协方差矩阵和第二图像特征对应的协方差矩阵之差可以记为特征分布差异。
nn和nc分别为每个训练批次(batch)中正常样本图像与遮挡样本图像的个数,D为初始提取子模型所提取的图像特征,其中Dn为第一图像特征,Dc为第二图像特征,1为单位矩阵。
通过将图像特征转换为特征空间中的特征统计量,可以更好的表达图像特征在特征空间中的特征分布,提升了特征分布差异的确定精度,从而加强了特征对齐损失函数的训练指导精度。
以上从特征分布差异的具体生成方式这一维度进行了说明,接下来将从用于确定特征分布差异的图像特征这一维度继续说明。
特征分布差异主要用于标识第一图像特征和第二图像特征在特征空间中特征分布上的区别。上面的实施例中,是基于第一图像特征和第二图像特征为例进行的说明,即如何转换为特征统计量,再如何确定特征分布差异。
而本实施例主要说明依据何种图像特征可以确定出该特征分布差异,上面实施例提及的第一图像特征和第二图像特征可以用于确定特征分布差异外,第一图像特征和第二图像特征为初始提取子模型的输出层所输出的图像特征,服务器在确定特征分布差异时,除了可以依据初始提取子模型的输出层所输出的图像特征外,还可以依据初始提取子模型的隐含层所输出的中间特征(也属于一种图像特征)。
在一种可能的实现方式中,所述特征分布差异通过如下方式获得:
S21:在通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征的过程中,通过神经架构搜索的方式获取所述初始提取子模型中隐含层和输出层的输出特征参数;
神经架构搜索(Neural Architecture Search,NAS)可以从初始提取子模型的隐含层和输出层中通过搜索的方式,依据各个层的输出特征参数定位出最优接入点,即确定最适用于用于体现正常样本图像和遮挡样本图像所对应特征分布的图像特征是由哪个层输出的。
S22:根据所述输出特征参数,从所述隐含层和所述输出层中确定用于确定所述特征分布差异的最优层;
S23:通过所述最优层输出的第一待处理特征和第二待处理特征确定所述特征分布差异,所述第一待处理特征为所述最优层根据所述正常图像样本输出的特征,所述第二待处理特征为所述最优层根据所述遮挡图像样本输出的特征。
该最优层可以是初始提取子模型的输出层,也可以是某一层隐含层,本申请不做限定,在不同场景或样本图像或网络结构下,基于神经架构搜索所确定的最优层可能会有所区别。
当最优层为初始提取子模型的输出层时,第一待处理特征为第一图像特征,第二待处理特征为第二图像特征。
需要说明的是,当最优层为初始提取子模型的隐含层(例如下述的目标隐含层)时,第一待处理特征(此时为第一中间特征)和第二待处理特征(此时为第二中间特征)也可以通过前述S11-S12的方式来转换特征统计量后确定特征分布差异。
通过神经架构搜索的方式,所确定出的最优层的输出特征最能够体现出特征分布,有助于特征分布差异的确定精度,从而提升了特征对齐损失函数的指导意义。
在一种可能的实现方式中,若所述最优层为所述初始提取子模型的多个隐含层中的目标隐含层,S23包括:
S231:从所述初始提取子模型的所述目标隐含层获取所述正常样本图像的第一中间特征和所述遮挡样本图像的第二中间特征;
S232:根据所述第一中间特征和所述第二中间特征,确定所述特征分布差异。
在此情况下,说明初始提取子模型的多个隐含层(也可以记为中间层)中的目标隐含层所输出特征更适用于确定特征分布差异。
初始提取子模型通常具有的结构为卷积神经网络(CNN),包含有卷积(convolution)层、非线性激活函数(Relu)层、池化(Pooling)层等模型层。初始提取子模型的模型结构可以如图4所示,其模型层包括输入层,输出层,以及在输入层和输出层之间的n层隐含层,n≥1,目标隐含层为这n层隐含层中的一层,可以记为第i层隐含层,i≤n。
第i层隐含层针对正常样本图像输出第一中间特征,针对遮挡样本图像输出第二中间特征,该第一中间特征用于作为第i+1层隐含层的输入(如果有的话),或者作为输出层的输入(如果第i层隐含层为最后一层隐含层的话)。
在图4示出的场景中,目标隐含层示例性的为第n层隐含层,服务器通过第n层隐含层针对正常样本图像输出的第一中间特征,以及针对遮挡样本图像输出的第二中间特征,确定第一图像特征和第二图像特征间的特征分布差异,进而生成特征对齐损失函数F3。
在初始识别子模型对输入的图像特征进行用户识别时,可以采用类中心比较的方式进行用户识别。
在一种可能的实现方式中,S204中的:根据所述第一图像特征,通过初始识别子模型得到所述正常样本图像对应的第一用户识别结果,包括:
S2041:获取所述初始识别子模型可识别的多个用户分别对应的正常类中心特征,所述多个用户中包括所述目标用户,所述目标用户对应的正常类中心特征是通过多个所述正常样本图像得到的;
S2042:根据所述第一图像特征和所述多个用户分别对应的正常类中心特征,通过所述初始识别子模型确定所述正常样本图像分别对应所述多个用户的第一识别概率;
S2043:根据所述第一识别概率确定所述第一用户识别结果。
在本实施例中,类与待识别的用户相关,针对一个待识别的用户,例如目标用户,会维护两个类中心特征,一个类中心特征用于标识目标用户的生物学特征未被遮挡时的图像特征,记为正常类中心特征。一个类中心特征用于标识目标用户的生物学特征被部分遮挡时的图像特征,记为遮挡类中心特征。
类中心特征一般是根据所对应全部样本图像的图像特征综合确定的。例如正常类中心特征是根据目标用户的全部正常样本图像的图像特征综合确定的,遮挡类中心特征是根据目标用户的全部遮挡样本图像的图像特征综合确定的。综合确定的方式可以是特征均值的方式等,本申请对此不做限定。
服务器在通过初始识别子模型进行用户识别时,可以将输入的图像特征与所维护的各个类中心特征进行特征相似性比对,以通过相似程度确定对应的用户识别概率。
在本实施例中,服务器维护了多个用户分别对应的正常类中心特征来进行用户识别,通过正常类中心特征可以有效提升生物学特征无遮挡的待识别图像的识别精度。
如前所述,由于正常类中心特征是根据目标用户的全部正常样本图像的图像特征综合确定的,故在训练阶段该正常类中心特征与正常样本图像的特征距离(即相似程度)比较接近,容易提高正常样本图像的识别精度,但是与遮挡样本图像的特征距离较远,根据该正常类中心特征对遮挡样本图像的图像特征进行用户识别时,容易导致对遮挡样本图像的识别出现错判、漏判的用户识别结果。
为了避免上述问题,在一种可能的实现方式中,所述方法还包括:根据所述第二图像特征和所述目标用户对应的正常类中心特征间的差异,确定第一类中心损失函数;
相应的,S206:通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,包括:
通过所述第一损失函数、所述第二损失函数、所述第一类中心损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到所述用户识别模型。
第二图像特征和正常类中心特征之间的差异可以通过特征距离计算得到,特征距离越大,两者的差异越大,特征距离越小,两者的差异越小。
基于该差异建立的第一类中心损失函数,将被服务器用于对初始提取子模型和初始识别子模型的模型训练中。在该第一类中心损失函数的指导下,用户识别模型将学习到最小化第二图像特征与正常类中心特征之间差异的知识,使得用户识别模型中的提取子模型(在模型训练中通过初始提取子模型得到)针对生物学特征被部分遮挡的图像,所提取的图像特征与正常类中心特征间的差异变小,从而更容易通过正常类中心特征得到正确的用户识别结果。
前述实施例中引入了正常类中心特征进行用户识别的方案,接下来说明遮挡类中心特征。
在一种可能的实现方式中,S204中的:根据所述第二图像特征,通过初始识别子模型得到所述正常样本图像对应的第二用户识别结果,包括:
S2044:获取所述初始识别子模型可识别的多个用户分别对应的遮挡类中心特征,所述多个用户中包括所述目标用户,所述目标用户对应的遮挡类中心特征是通过多个所述遮挡样本图像得到的;
S2045:根据所述第二图像特征和所述多个用户分别对应的类中心特征,通过所述初始识别子模型确定所述遮挡样本图像分别对应所述多个用户的第二识别概率;
S2046:根据所述第二识别概率确定所述第二用户识别结果。
虽然在步骤编号上,S2044-S2046晚于S2041-S2043,但是并不起到限定这两组实现方式的执行先后顺序的作用。
在本实施例中,类与待识别的用户相关,针对一个待识别的用户,例如目标用户,会维护两个类中心特征,一个类中心特征用于标识目标用户的生物学特征未被遮挡时的图像特征,记为正常类中心特征。一个类中心特征用于标识目标用户的生物学特征被部分遮挡时的图像特征,记为遮挡类中心特征。
类中心特征一般是根据所对应全部样本图像的图像特征综合确定的。例如正常类中心特征是根据目标用户的全部正常样本图像的图像特征综合确定的,遮挡类中心特征是根据目标用户的全部遮挡样本图像的图像特征综合确定的。综合确定的方式可以是特征均值的方式等,本申请对此不做限定。
服务器在通过初始识别子模型进行用户识别时,可以将输入的图像特征与所维护的各个类中心特征进行特征相似性比对,以通过相似程度确定对应的用户识别概率。
在本实施例中,服务器维护了多个用户分别对应的遮挡类中心特征来进行用户识别,通过遮挡类中心特征可以有效提升生物学特征有部分遮挡的待识别图像的识别精度。
如前所述,由于遮挡类中心特征是根据目标用户的全部遮挡样本图像的图像特征综合确定的,故在训练阶段该遮挡类中心特征与遮挡样本图像的特征距离(即相似程度)比较接近,容易提高遮挡样本图像的识别精度,但是与正常样本图像的特征距离较远,根据该遮挡类中心特征对正常样本图像的图像特征进行用户识别时,容易导致对正常样本图像的识别出现错判、漏判的用户识别结果。
为了避免上述问题,在一种可能的实现方式中,所述方法还包括:根据所述第一图像特征和所述目标用户对应的遮挡类中心特征间的差异,确定第二类中心损失函数;
相应的,S206:通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,包括:
通过所述第一损失函数、所述第二损失函数、所述第二类中心损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到所述用户识别模型。
第一图像特征和遮挡类中心特征之间的差异可以通过特征距离计算得到,特征距离越大,两者的差异越大,特征距离越小,两者的差异越小。
基于该差异建立的第二类中心损失函数,将被服务器用于对初始提取子模型和初始识别子模型的模型训练中。在该第二类中心损失函数的指导下,用户识别模型将学习到最小化第一图像特征与遮挡类中心特征之间差异的知识,使得用户识别模型中的提取子模型(在模型训练中通过初始提取子模型得到)针对生物学特征无遮挡的图像,所提取的图像特征与遮挡类中心特征间的差异变小,从而更容易通过遮挡类中心特征得到正确的用户识别结果。
为了便于说明清楚,以上实施例是将正常类中心特征和遮挡类中心特征分为不同的实现方式进行的说明,但这不能起到割裂这两个实现方式的作用,在本申请实施例中,可以同时为目标用户维护正常类中心特征和遮挡类中心特征,并在模型训练阶段同时基于第一类中心损失函数和第二类中心损失函数的指导进行模型训练。
在图5中示出了通过样本对中的正常样本图像和遮挡样本图像对初始提取子模型和初始识别子模型进行模型训练的过程。在训练过程中采用了第一损失函数F1、第二损失函数F2、第一类中心损失函数F5、第二类中心损失函数F4和特征对齐损失函数F3这五个损失函数。这些损失函数可以选用分类函数(如softmax、各类加margin类型的softmax),也可采用其他类型的损失函数。
其中,第一损失函数F1是根据第一用户识别结果与样本标签确定的,第二损失函数F2是根据第二用户识别结果与样本标签确定的,特征对齐损失函数F3是根据第一图像特征和第二图像特征确定的,第一类中心损失函数F5是根据第二图像特征和目标用户对应的正常类中心特征间的差异确定的,第二类中心损失函数F4是根据第一图像特征和目标用户对应的遮挡类中心特征间的差异确定的。
服务器根据上述F1-F5,基于梯度下降的方式(如随机梯度下降,带动量项的随机梯度下降,adam,adagard),对初始提取子模型和初始识别子模型构成的整个网络进行训练优化。直至训练的结果满足训练终止条件,训练终止条件一般设置迭代次数满足设定的值,或者损失函数计算的loss小于设定的值等。
当满足训练终止条件时,服务器通过初始提取子模型和初始识别子模型得到用户识别模型。
模型部署阶段主要是将模型训练阶段中所得到的用户识别模型进行部署,形成一个完整的解决方案。在本申请中,只需要将用户识别模型合入常规的用户识别***(例如针对戴口罩的用户识别***)中即可。域识别网络不参与部署阶段的流程。故本方案可以在不额外增加部署模块的条件下提升具有生物学特征被部分遮挡的用户识别场景的识别准确率。
为了提高用户识别模型的训练效率,在本申请实施例中还提供了一种预训练的方式,可以通过预训练得到质量较好的初始提取子模型和初始识别子模型,提升了后续用户识别模型的训练效率和模型质量,有效缩短训练耗时。
在一种可能的实现方式中,所述方法还包括:
S31:通过待训练提取子模型,获取所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征;
S32:根据所述第一图像特征,通过待训练识别子模型得到所述正常样本图像对应的第一初始用户识别结果,根据所述第二图像特征,通过所述待训练识别子模型得到所述遮挡样本图像对应的第二初始用户识别结果;
S33:基于所述第一初始用户识别结果和所述第二初始用户识别结果分别与所述样本标签的差异,确定第一预训练损失函数和第二预训练损失函数;
S34:通过所述第一预训练损失函数和所述预训练第二损失函数,对所述待训练提取子模型和所述待训练识别子模型进行模型训练,得到所述初始提取子模型和所述初始识别子模型。
服务器不需要额外收集用于预训练的样本图像,直接通过S201中的样本图像即可实施预训练。
服务器对待训练提取子模型和待训练识别子模型主要采取前述第一损失函数和第二损失函数的训练逻辑,即根据待训练识别子模型输出的初始用户识别结果与样本图像的样本标签之间的差异来确定预训练损失函数,再根据预训练损失函数训练得到初始提取子模型和初始识别子模型。
通过预训练的方式,使得初始提取子模型和初始识别子模型已经具备了一定的用户识别能力,模型参数也有了一定程度的收敛,相对于没有预训练来说,提升了后续用户识别模型的训练效率和模型质量,有效缩短了用户识别模型的训练耗时。
接下来通过模块化的方式说明上述预训练过程,如图6所示的场景中,正常样本图像为无遮挡的人脸图像,遮挡样本图像为戴口罩人脸的人脸图像。
(a)训练数据准备模块:该模块是在训练过程中,对人脸图像进行读取,将读取到的数据组合成一个批次(batch)送入深度网络单元中进行处理。
(b)识别网络单元模块:本模块的功能是对人脸图像进行图像特征的提取,输出的图像特征中保留着在特征空间中的空间结构信息,即特征分布信息。本模块通常具有的结构为卷积神经网络(CNN),包含有卷积(convolution)计算、非线性激活函数(Relu)计算、池化(Pooling)计算等操作。
(c)损失函数计算模块,该模块是将初始识别子模型所输出的概率值与人脸图像的标签信息作为输入,计算损失函数(如前述第一损失函数F1和第二损失函数F2)。损失函数可选用分类函数(如softmax、各类加margin类型的softmax),也可采用其他类型的损失函数。
(d)损失函数优化模块,本模块基于梯度下降的方式(如随机梯度下降,带动量项的随机梯度下降,adam,adagard),对整个网络进行训练优化。训练中重复(a)~(d),直至训练的结果满足训练终止条件,训练终止条件一般设置迭代次数满足设定的值,或者损失函数计算的loss小于设定的值等。当满足训练终止条件时,服务器通过初始提取子模型和初始识别子模型得到用户识别模型。
接下来通过模块化的方式说明上述预训练后的用户识别模型的训练过程,如图7所示的场景中,正常样本图像为无遮挡的人脸图像,遮挡样本图像为戴口罩人脸的人脸图像。
(a)训练数据准备模块,本模块同图6所对应实施例中的训练数据准备模块,这里不再赘述。
除了一致的部分外,在本模块引入数据增强功能,可对无口罩的人脸图像进行数字化合成口罩功能。
(b)识别网络单元模块:本模块同图6所对应实施例中的识别网络单元模块,这里不再赘述。
(c)损失函数计算模块1,其中计算F1和F2的功能同图6所对应实施例中的损失函数计算模块,这里不再赘述。
该模块还可以计算第一类中心损失函数F5和第二类中心损失函数F4。其中F4_loss为采用正常人脸特征(即第一图像特征)与戴口罩人脸的类中心(即第二类中心特征)做距离计算得到。而F5_loss为采用戴口罩人脸特征(即第二图像特征)与正常人脸的类中心(即第一类中心特征)做距离计算得到。
(d)损失函数计算模块2,该模块是将正常人脸特征泛化至与戴口罩人脸特征的特征空间中,具体可以采用前述的公式(1)和F3,这里不再赘述。
(e)损失函数优化模块,本模块同图6所对应实施例中的损失函数优化模块,这里不再赘述。
在图8中示出了网络模型训练阶段和网络模型部署阶段的流程示意。在图8示出的场景中,正常样本图像为无遮挡的人脸图像,遮挡样本图像为戴口罩人脸的人脸图像。
图8示出的场景主要分为两个阶段,网络模型训练阶段和网络模型部署阶段。在网络模型训练阶段首先是利用现有的人脸图像对识别网络进行训练。然后利用特征对齐损失函数进行模型微调,即对识别网络所提取的特征进行约束微调训练。通过特征对齐损失函数,可以实现基于对齐特征相关性对戴口罩人脸特征(第二图像特征)与正常人脸特征(第一图像特征)进行特征空间的泛化,使得模型学习到二者共同的分布信息,将正常人脸特征与戴口罩人脸特征约束至一致的特征空间,达到相似度尺度的一致性,从而提升戴口罩人脸图像的识别准确率。
在网络模块部署阶段,只需要导出识别网络进行部署即可。该方法无需对原有的识别网络进行改动,只需要对训练方法进行改进即可提升戴口罩人脸识别的准确率。
在前述图1-图8所对应实施例的基础上,图9为本申请实施例提供的一种模型确定装置的装置结构图,所述模型确定装置900包括确定单元901、获取单元902、识别单元903和训练单元904:
所述确定单元901,用于从样本图像中确定样本对,所述样本对包括生物学特征无遮挡的正常样本图像和所述生物学特征被部分遮挡的遮挡样本图像,所述正常样本图像和所述遮挡样本图像具有相同的样本标签,用于标识同一个目标用户;
所述获取单元902,用于通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征;
所述确定单元901还用于根据所述第一图像特征和所述第二图像特征在特征空间中的特征分布差异,确定特征对齐损失函数;
所述识别单元903,用于根据所述第一图像特征,通过初始识别子模型得到所述正常样本图像对应的第一用户识别结果,根据所述第二图像特征,通过所述初始识别子模型得到所述遮挡样本图像对应的第二用户识别结果;
所述确定单元901还用于基于所述第一用户识别结果和所述第二用户识别结果分别与所述样本标签的差异,确定第一损失函数和第二损失函数;
所述训练单元904,用于通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,所述用户识别模型用于根据待识别图像中的生物学特征进行用户识别。
在一种可能的实现方式中,所述确定单元还用于:
将所述第一图像特征转换为特征空间的第一特征统计量,并将所述第二图像特征转换为所述特征空间的第二特征统计量;
根据所述第一特征统计量和所述第二特征统计量,确定所述特征分布差异。
在一种可能的实现方式中,所述确定单元还用于:
在通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征的过程中,通过神经架构搜索的方式获取所述初始提取子模型中隐含层和输出层的输出特征参数;
根据所述输出特征参数,从所述隐含层和所述输出层中确定用于确定所述特征分布差异的最优层;
通过所述最优层输出的第一待处理特征和第二待处理特征确定所述特征分布差异,所述第一待处理特征为所述最优层根据所述正常图像样本输出的特征,所述第二待处理特征为所述最优层根据所述遮挡图像样本输出的特征。
在一种可能的实现方式中,若所述最优层为所述初始提取子模型的多个隐含层中的目标隐含层,所述确定单元还用于:
从所述初始提取子模型的所述目标隐含层获取所述正常样本图像的第一中间特征和所述遮挡样本图像的第二中间特征;
根据所述第一中间特征和所述第二中间特征,确定所述特征分布差异。
在一种可能的实现方式中,所述识别单元还用于:
获取所述初始识别子模型可识别的多个用户分别对应的正常类中心特征,所述多个用户中包括所述目标用户,所述目标用户对应的正常类中心特征是通过多个所述正常样本图像得到的;
根据所述第一图像特征和所述多个用户分别对应的正常类中心特征,通过所述初始识别子模型确定所述正常样本图像分别对应所述多个用户的第一识别概率;
根据所述第一识别概率确定所述第一用户识别结果。
在一种可能的实现方式中,所述确定单元还用于根据所述第二图像特征和所述目标用户对应的正常类中心特征间的差异,确定第一类中心损失函数;
所述训练单元还用于通过所述第一损失函数、所述第二损失函数、所述第一类中心损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到所述用户识别模型。
在一种可能的实现方式中,所述识别单元还用于:
获取所述初始识别子模型可识别的多个用户分别对应的遮挡类中心特征,所述多个用户中包括所述目标用户,所述目标用户对应的遮挡类中心特征是通过多个所述遮挡样本图像得到的;
根据所述第二图像特征和所述多个用户分别对应的类中心特征,通过所述初始识别子模型确定所述遮挡样本图像分别对应所述多个用户的第二识别概率;
根据所述第二识别概率确定所述第二用户识别结果。
在一种可能的实现方式中,所述确定单元还用于根据所述第一图像特征和所述目标用户对应的遮挡类中心特征间的差异,确定第二类中心损失函数;
所述训练单元还用于通过所述第一损失函数、所述第二损失函数、所述第二类中心损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到所述用户识别模型。
在一种可能的实现方式中,所述确定单元还用于:
针对目标样本图像,响应于根据所述目标样本图像未能确定对应的样本对,当所述目标样本图像为所述正常样本图像时,通过在所述正常样本图像的所述生物学特征的区域生成遮挡蒙层,得到所述正常样本图像对应的遮挡样本图像,所述遮挡蒙层用于对所述生物学特征进行部分遮挡;
当所述目标样本图像为所述遮挡样本图像时,确定在所述遮挡样本图像中所述生物学特征的被遮挡区域和未被遮挡区域;根据所述未被遮挡区域中的所述生物学特征,通过在所述被遮挡区域模拟补全所述生物学特征,得到所述遮挡样本图像对应的正常样本图像。
在一种可能的实现方式中,所述装置还包括预训练单元,所述预训练单元用于:
通过待训练提取子模型,获取所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征;
根据所述第一图像特征,通过待训练识别子模型得到所述正常样本图像对应的第一初始用户识别结果,根据所述第二图像特征,通过所述待训练识别子模型得到所述遮挡样本图像对应的第二初始用户识别结果;
基于所述第一初始用户识别结果和所述第二初始用户识别结果分别与所述样本标签的差异,确定第一预训练损失函数和第二预训练损失函数;
通过所述第一预训练损失函数和所述预训练第二损失函数,对所述待训练提取子模型和所述待训练识别子模型进行模型训练,得到所述初始提取子模型和所述初始识别子模型。
在一种可能的实现方式中,所述生物学特征包括人脸、指纹或掌纹,当所述生物学特征包括人脸时,所述遮挡样本图像中的所述人脸被佩戴的口罩造成部分遮挡。
由此可见,为了提升生物学特征被部分遮挡的识别精度,将同一个目标用户的生物学特征有部分遮挡和无遮挡的两张样本图像确定为样本对,通过初始提取子模型基于样本对提取的第一图像特征和第二图像特征,确定两者间的特征对齐损失函数,并根据正常图像样本和遮挡图像样本分别对应的用户识别结果,得到对应样本标签的第一损失函数和第二损失函数。根据上述三个损失函数对初始提取子模型和初始识别子模型进行模型训练,由于该特征对齐损失函数能够标识出这两个图像特征在特征空间中的特征分布差异,通过训练可以使模型学习到最小化该特征分布差异的知识,以让第一图像特征和第二图像特征在特征分布上更为接近,从而具有更好的相似度比对条件,而基于第一损失函数和第二损失函数的训练可使模型学习到在生物学特征的不同遮挡条件下准确识别目标用户的知识。由此在上述三个损失函数的指导下,能够训练得到适用于生物学特征遮挡场景的用户识别模型,而且训练过程中几乎没有对超参数的依赖,主要依靠对齐不同生物学遮挡下的特征分布来提升识别过程中的可比性,以此实现对模型识别精度的保证。
本申请实施例还提供了一种计算机设备,该计算机设备为前述介绍的计算机设备,可以包括终端设备或服务器,前述的模型确定装置可以配置在该计算机设备中。下面结合附图对该计算机设备进行介绍。
若该计算机设备为终端设备,请参见图10所示,本申请实施例提供了一种终端设备,以终端设备为手机为例:
图10示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图10,手机包括:射频(Radio Frequency,简称RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(简称WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解,图10中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体的介绍:
RF电路1410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1480处理;另外,将设计上行的数据发送给基站。
存储器1420可用于存储软件程序以及模块,处理器1480通过运行存储在存储器1420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1430可包括触控面板1431以及其他输入设备1432。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441。
手机还可包括至少一种传感器1450,比如光传感器、运动传感器以及其他传感器。
音频电路1460、扬声器1461,传声器1462可提供用户与手机之间的音频接口。
WiFi属于短距离无线传输技术,手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。
处理器1480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1420内的软件程序和/或模块,以及调用存储在存储器1420内的数据,执行手机的各种功能和处理数据。
手机还包括给各个部件供电的电源1490(比如电池)。
在本实施例中,该终端设备所包括的处理器1480还具有以下功能:
从样本图像中确定样本对,所述样本对包括生物学特征无遮挡的正常样本图像和所述生物学特征被部分遮挡的遮挡样本图像,所述正常样本图像和所述遮挡样本图像具有相同的样本标签,用于标识同一个目标用户;
通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征;
根据所述第一图像特征和所述第二图像特征在特征空间中的特征分布差异,确定特征对齐损失函数;
根据所述第一图像特征,通过初始识别子模型得到所述正常样本图像对应的第一用户识别结果,根据所述第二图像特征,通过所述初始识别子模型得到所述遮挡样本图像对应的第二用户识别结果;
基于所述第一用户识别结果和所述第二用户识别结果分别与所述样本标签的差异,确定第一损失函数和第二损失函数;
通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,所述用户识别模型用于根据待识别图像中的生物学特征进行用户识别。
若计算机设备为服务器,本申请实施例还提供一种服务器,请参见图11所示,图11为本申请实施例提供的服务器1500的结构图,服务器1500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(Central Processing Units,简称CPU)1522(例如,一个或一个以上处理器)和存储器1532,一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中,存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1522可以设置为与存储介质1530通信,在服务器1500上执行存储介质1530中的一系列指令操作。
服务器1500还可以包括一个或一个以上电源1526,一个或一个以上有线或无线网络接口1550,一个或一个以上输入输出接口1558,和/或,一个或一个以上操作***1541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于图11所示的服务器结构。
另外,本申请实施例还提供了一种存储介质,所述存储介质用于存储计算机程序,所述计算机程序用于执行上述实施例提供的方法。
本申请实施例还提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的方法。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:Read-only Memory,缩写:ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及***实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及***实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。而且本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (15)

1.一种模型确定方法,其特征在于,所述方法包括:
从样本图像中确定样本对,所述样本对包括生物学特征无遮挡的正常样本图像和所述生物学特征被部分遮挡的遮挡样本图像,所述正常样本图像和所述遮挡样本图像具有相同的样本标签,用于标识同一个目标用户;
通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征;
根据所述第一图像特征和所述第二图像特征在特征空间中的特征分布差异,确定特征对齐损失函数;
根据所述第一图像特征,通过初始识别子模型得到所述正常样本图像对应的第一用户识别结果,根据所述第二图像特征,通过所述初始识别子模型得到所述遮挡样本图像对应的第二用户识别结果;
基于所述第一用户识别结果和所述第二用户识别结果分别与所述样本标签的差异,确定第一损失函数和第二损失函数;
通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,所述用户识别模型用于根据待识别图像中的生物学特征进行用户识别。
2.根据权利要求1所述的方法,其特征在于,所述特征分布差异通过如下方式获得:
将所述第一图像特征转换为特征空间的第一特征统计量,并将所述第二图像特征转换为所述特征空间的第二特征统计量;
根据所述第一特征统计量和所述第二特征统计量,确定所述特征分布差异。
3.根据权利要求1所述的方法,其特征在于,所述特征分布差异通过如下方式获得:
在通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征的过程中,通过神经架构搜索的方式获取所述初始提取子模型中隐含层和输出层的输出特征参数;
根据所述输出特征参数,从所述隐含层和所述输出层中确定用于确定所述特征分布差异的最优层;
通过所述最优层输出的第一待处理特征和第二待处理特征确定所述特征分布差异,所述第一待处理特征为所述最优层根据所述正常图像样本输出的特征,所述第二待处理特征为所述最优层根据所述遮挡图像样本输出的特征。
4.根据权利要求3所述的方法,其特征在于,若所述最优层为所述初始提取子模型的多个隐含层中的目标隐含层,所述通过所述最优层输出的第一待处理特征和第二待处理特征确定所述特征分布差异,包括:
从所述初始提取子模型的所述目标隐含层获取所述正常样本图像的第一中间特征和所述遮挡样本图像的第二中间特征;
根据所述第一中间特征和所述第二中间特征,确定所述特征分布差异。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像特征,通过初始识别子模型得到所述正常样本图像对应的第一用户识别结果,包括:
获取所述初始识别子模型可识别的多个用户分别对应的正常类中心特征,所述多个用户中包括所述目标用户,所述目标用户对应的正常类中心特征是通过多个所述正常样本图像得到的;
根据所述第一图像特征和所述多个用户分别对应的正常类中心特征,通过所述初始识别子模型确定所述正常样本图像分别对应所述多个用户的第一识别概率;
根据所述第一识别概率确定所述第一用户识别结果。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据所述第二图像特征和所述目标用户对应的正常类中心特征间的差异,确定第一类中心损失函数;
所述通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,包括:
通过所述第一损失函数、所述第二损失函数、所述第一类中心损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到所述用户识别模型。
7.根据权利要求1所述的方法,其特征在于,所述根据所述第二图像特征,通过所述初始识别子模型得到所述遮挡样本图像对应的第二用户识别结果,包括:
获取所述初始识别子模型可识别的多个用户分别对应的遮挡类中心特征,所述多个用户中包括所述目标用户,所述目标用户对应的遮挡类中心特征是通过多个所述遮挡样本图像得到的;
根据所述第二图像特征和所述多个用户分别对应的类中心特征,通过所述初始识别子模型确定所述遮挡样本图像分别对应所述多个用户的第二识别概率;
根据所述第二识别概率确定所述第二用户识别结果。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据所述第一图像特征和所述目标用户对应的遮挡类中心特征间的差异,确定第二类中心损失函数;
所述通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,包括:
通过所述第一损失函数、所述第二损失函数、所述第二类中心损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到所述用户识别模型。
9.根据权利要求1所述的方法,其特征在于,所述从样本图像中确定样本对,包括:
针对目标样本图像,响应于根据所述目标样本图像未能确定对应的样本对,当所述目标样本图像为所述正常样本图像时,通过在所述正常样本图像的所述生物学特征的区域生成遮挡蒙层,得到所述正常样本图像对应的遮挡样本图像,所述遮挡蒙层用于对所述生物学特征进行部分遮挡;
当所述目标样本图像为所述遮挡样本图像时,确定在所述遮挡样本图像中所述生物学特征的被遮挡区域和未被遮挡区域;根据所述未被遮挡区域中的所述生物学特征,通过在所述被遮挡区域模拟补全所述生物学特征,得到所述遮挡样本图像对应的正常样本图像。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过待训练提取子模型,获取所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征;
根据所述第一图像特征,通过待训练识别子模型得到所述正常样本图像对应的第一初始用户识别结果,根据所述第二图像特征,通过所述待训练识别子模型得到所述遮挡样本图像对应的第二初始用户识别结果;
基于所述第一初始用户识别结果和所述第二初始用户识别结果分别与所述样本标签的差异,确定第一预训练损失函数和第二预训练损失函数;
通过所述第一预训练损失函数和所述预训练第二损失函数,对所述待训练提取子模型和所述待训练识别子模型进行模型训练,得到所述初始提取子模型和所述初始识别子模型。
11.根据权利要求1所述的方法,其特征在于,所述生物学特征包括人脸、指纹或掌纹,当所述生物学特征包括人脸时,所述遮挡样本图像中的所述人脸被佩戴的口罩造成部分遮挡。
12.一种模型确定装置,其特征在于,所述装置包括确定单元、获取单元、识别单元和训练单元:
所述确定单元,用于从样本图像中确定样本对,所述样本对包括生物学特征无遮挡的正常样本图像和所述生物学特征被部分遮挡的遮挡样本图像,所述正常样本图像和所述遮挡样本图像具有相同的样本标签,用于标识同一个目标用户;
所述获取单元,用于通过初始提取子模型,获取所述样本对中所述正常样本图像的第一图像特征和所述遮挡样本图像的第二图像特征;
所述确定单元还用于根据所述第一图像特征和所述第二图像特征在特征空间中的特征分布差异,确定特征对齐损失函数;
所述识别单元,用于根据所述第一图像特征,通过初始识别子模型得到所述正常样本图像对应的第一用户识别结果,根据所述第二图像特征,通过所述初始识别子模型得到所述遮挡样本图像对应的第二用户识别结果;
所述确定单元还用于基于所述第一用户识别结果和所述第二用户识别结果分别与所述样本标签的差异,确定第一损失函数和第二损失函数;
所述训练单元,用于通过所述第一损失函数、所述第二损失函数和所述特征对齐损失函数,对所述初始提取子模型和所述初始识别子模型进行模型训练,得到用户识别模型,所述用户识别模型用于根据待识别图像中的生物学特征进行用户识别。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-11中任意一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-11中任意一项所述的方法。
15.一种包括指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行权利要求1-11中任意一项所述的方法。
CN202310033256.1A 2023-01-10 2023-01-10 一种模型确定方法和相关装置 Pending CN117218358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310033256.1A CN117218358A (zh) 2023-01-10 2023-01-10 一种模型确定方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310033256.1A CN117218358A (zh) 2023-01-10 2023-01-10 一种模型确定方法和相关装置

Publications (1)

Publication Number Publication Date
CN117218358A true CN117218358A (zh) 2023-12-12

Family

ID=89039519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310033256.1A Pending CN117218358A (zh) 2023-01-10 2023-01-10 一种模型确定方法和相关装置

Country Status (1)

Country Link
CN (1) CN117218358A (zh)

Similar Documents

Publication Publication Date Title
CN111340013B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN111414946B (zh) 基于人工智能的医疗影像的噪声数据识别方法和相关装置
CN112926654A (zh) 预标注模型训练、证件预标注方法、装置、设备及介质
CN110866469B (zh) 一种人脸五官识别方法、装置、设备及介质
CN111126515B (zh) 基于人工智能的模型训练方法和相关装置
CN111401192B (zh) 基于人工智能的模型训练方法和相关装置
CN114722937B (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN113298197A (zh) 数据聚类方法、装置、设备及可读存储介质
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN113569607A (zh) 动作识别方法、装置、设备以及存储介质
CN114239805A (zh) 跨模态检索神经网络及训练方法、装置、电子设备、介质
CN112200772A (zh) 痘痘检测设备
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN111444906A (zh) 基于人工智能的图像识别方法和相关装置
CN116152938A (zh) 身份识别模型训练和电子资源转移方法、装置及设备
CN111429414B (zh) 基于人工智能的病灶影像样本确定方法和相关装置
CN116151965B (zh) 一种风险特征提取方法、装置、电子设备及存储介质
CN111652878A (zh) 图像检测方法、装置、计算机设备及存储介质
CN116246127A (zh) 图像模型训练方法、图像处理方法、装置、介质及设备
CN115935358A (zh) 一种恶意软件识别方法、装置、电子设备及存储介质
CN117218358A (zh) 一种模型确定方法和相关装置
CN115359296A (zh) 图像识别方法、装置、电子设备及存储介质
CN116259083A (zh) 一种图像质量识别模型的确定方法和相关装置
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质
CN117058498B (zh) 分割图评估模型的训练方法、分割图的评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication