CN117789275A - 模型优化方法、装置、电子设备及存储介质 - Google Patents
模型优化方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117789275A CN117789275A CN202311843499.8A CN202311843499A CN117789275A CN 117789275 A CN117789275 A CN 117789275A CN 202311843499 A CN202311843499 A CN 202311843499A CN 117789275 A CN117789275 A CN 117789275A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- images
- difficult
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims abstract description 28
- 230000003416 augmentation Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 45
- 238000011176 pooling Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 18
- 238000012800 visualization Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种模型优化方法、装置、电子设备及存储介质。获取待优化模型及所述待优化模型对应的图像数据集，其中，所述待优化模型用于识别人脸图像，所述图像数据集中包含多个样本人脸图像；在多个所述样本人脸图像中确定难例图像；针对每个难例图像，基于所述难例图像中包含的人脸部位对所述难例图像进行分割处理，得到多个人脸部位图像；基于多个所述人脸部位图像在所述难例图像上确定待处理区域，其中，所述待处理区域包含至少一个人脸部位；对所述待处理区域进行增广处理，得到对应的目标人脸图像；利用所有的所述目标人脸图像对所述待优化模型进行优化，得到对应的目标模型。从而提高模型的识别准确率。
Description
技术领域
本申请涉及模型训练技术领域，尤其涉及一种模型优化方法、装置、电子设备及存储介质。
背景技术
随着科技的不断进步，人脸识别技术得到了快速发展，人脸识别已经应用到了越来越多的领域。实际应用中，一般依赖于人脸图像识别模型实现人脸识别的过程。然而，由于目前的人脸图像识别模型，在训练过程中参与模型训练的样本数据大多数是清晰图像，模型在训练过程中往往会在简单样本的局部区域上产生过拟合(例如，眼部、嘴部、鼻子等)的情况。因此，在模型应用过程中，当遇到效果较差的图片(如清晰度低、存在各种噪声或存在畸变的图片)时，由于图片本身效果差加上模型过度关注局部区域，模型容易出现误检的情况。
发明内容
本申请实施例的目的在于提供一种模型优化方法、装置、电子设备及存储介质，以解决目前的人脸图像识别模型容易出现误检的问题。具体技术方案如下：
第一方面，本申请提供了一种模型优化方法，包括：
获取待优化模型及所述待优化模型对应的图像数据集，其中，所述待优化模型用于识别人脸图像，所述图像数据集中包含多个样本人脸图像；
在多个所述样本人脸图像中确定难例图像；
针对每个难例图像，基于所述难例图像中包含的人脸部位对所述难例图像进行分割处理，得到多个人脸部位图像；
基于多个所述人脸部位图像在所述难例图像上确定待处理区域，其中，所述待处理区域包含至少一个人脸部位；
对所述待处理区域进行增广处理，得到对应的目标人脸图像；
利用所有的所述目标人脸图像对所述待优化模型进行优化，得到对应的目标模型。
在一个可能的实施方式中，所述基于多个所述人脸部位图像在所述难例图像上确定待处理区域，包括：
针对每个人脸部位图像，提取所述人脸部位图像的初步图像特征，以及，对所述初步图像特征进行池化处理得到目标图像特征；
对所述难例图像对应的所有目标图像特征进行拼接处理，得到所述难例图像对应的全局特征；
基于所述全局特征确定每个人脸部位图像对应的拟合分数；
按照拟合分数由高到低的顺序对所有人脸部位图像进行排序；
将排序靠前的、预设数量的人脸部位图像确定为第一目标部位图像，并将所述第一目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
在一个可能的实施方式中，所述对所述初步图像特征进行池化处理得到目标图像特征，包括：
在空间维度对所述初步图像特征进行全局最大池化处理，得到第一图像特征；
在空间维度对所述初步图像特征进行全局平均池化处理，得到第二图像特征；
在通道维度将所述第一图像特征和所述第二图像特征进行融合处理，得到对应的融合特征；
对所述融合特征进行全连接处理，得到所述目标图像特征。
在一个可能的实施方式中，所述基于所述全局特征确定每个人脸部位图像对应的拟合分数，包括：
对所述全局特征进行全连接处理，得到待计算特征；
利用归一化指数函数对所述待计算特征进行计算，得到所述待计算特征中每个初步图像特征对应的权重分数；
针对每个人脸部位图像，将所述人脸部位图像对应的初步图像特征的权重分数，确定为所述人脸部位图像对应的拟合分数。
在一个可能的实施方式中，所述基于多个所述人脸部位图像在所述难例图像上确定待处理区域，包括：
通过可视化组件展示多个所述人脸部位图像；
接收用户基于多个所述人脸部位图像输入的第一选择信息；
将所述第一选择信息对应的人脸部位图像确定为第二目标部位图像；
将所述第二目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
在一个可能的实施方式中，所述在多个所述样本人脸图像中确定难例图像，包括：
获取每个所述样本人脸图像的图像标签，以及，获取所述待优化模型对每个所述样本人脸图像的识别结果；
针对每个样本人脸图像，在所述样本人脸图像对应的识别结果与所述样本人脸图像对应的图像标签不符的情况下，确定所述样本人脸图像为难例图像。
在一个可能的实施方式中，所述在多个所述样本人脸图像中确定难例图像，包括：
通过可视化组件展示多个所述样本人脸图像；
接收用户基于多个所述样本人脸图像输入的第二选择信息；
将所述第二选择信息对应的样本人脸图像确定为难例图像。
第二方面，本申请提供了一种模型优化装置，包括：
获取模块，用于获取待优化模型及所述待优化模型对应的图像数据集，其中，所述待优化模型用于识别人脸图像，所述图像数据集中包含多个样本人脸图像；
第一确定模块，用于在多个所述样本人脸图像中确定难例图像；
分割模块，用于针对每个难例图像，基于所述难例图像中包含的人脸部位对所述难例图像进行分割处理，得到多个人脸部位图像；
第二确定模块，用于基于多个所述人脸部位图像在所述难例图像上确定待处理区域，其中，所述待处理区域包含至少一个人脸部位；
处理模块，用于对所述待处理区域进行增广处理，得到对应的目标人脸图像；
优化模块，用于利用所有的所述目标人脸图像对所述待优化模型进行优化，得到对应的目标模型。
在一个可能的实施方式中，所述第二确定模块，进一步用于：
针对每个人脸部位图像，提取所述人脸部位图像的初步图像特征，以及，对所述初步图像特征进行池化处理得到目标图像特征；
对所述难例图像对应的所有目标图像特征进行拼接处理，得到所述难例图像对应的全局特征；
基于所述全局特征确定每个人脸部位图像对应的拟合分数；
按照拟合分数由高到低的顺序对所有人脸部位图像进行排序；
将排序靠前的、预设数量的人脸部位图像确定为第一目标部位图像，并将所述第一目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
在一个可能的实施方式中，所述第二确定模块，还用于：
在空间维度对所述初步图像特征进行全局最大池化处理，得到第一图像特征；
在空间维度对所述初步图像特征进行全局平均池化处理，得到第二图像特征；
在通道维度将所述第一图像特征和所述第二图像特征进行融合处理，得到对应的融合特征；
对所述融合特征进行全连接处理，得到所述目标图像特征。
在一个可能的实施方式中，所述第二确定模块，还用于：
对所述全局特征进行全连接处理，得到待计算特征；
利用归一化指数函数对所述待计算特征进行计算，得到所述待计算特征中每个初步图像特征对应的权重分数；
针对每个人脸部位图像，将所述人脸部位图像对应的初步图像特征的权重分数，确定为所述人脸部位图像对应的拟合分数。
在一个可能的实施方式中，所述第二确定模块，还用于：
通过可视化组件展示多个所述人脸部位图像；
接收用户基于多个所述人脸部位图像输入的第一选择信息；
将所述第一选择信息对应的人脸部位图像确定为第二目标部位图像；
将所述第二目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
在一个可能的实施方式中，所述第一确定模块，进一步用于：
获取每个所述样本人脸图像的图像标签，以及，获取所述待优化模型对每个所述样本人脸图像的识别结果；
针对每个样本人脸图像，在所述样本人脸图像对应的识别结果与所述样本人脸图像对应的图像标签不符的情况下，确定所述样本人脸图像为难例图像。
在一个可能的实施方式中，所述第一确定模块，还用于：
通过可视化组件展示多个所述样本人脸图像；
接收用户基于多个所述样本人脸图像输入的第二选择信息；
将所述第二选择信息对应的样本人脸图像确定为难例图像。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的模型优化方法。
本申请实施例有益效果：
本申请实施例提供了一种模型优化方法、装置、电子设备及存储介质，本申请实施例中，首先，获取待优化模型及待优化模型对应的图像数据集，然后，在多个样本人脸图像中确定难例图像，针对每个难例图像，基于该难例图像中包含的人脸部位对难例图像进行分割处理，得到多个人脸部位图像，并基于多个人脸部位图像在难例图像上确定待处理区域，进而，对待处理区域进行增广处理，得到对应的目标人脸图像，最后，利用所有目标人脸图像对待优化模型进行优化，得到对应的目标模型。通过该方案，可以确定待优化模型对难例图像处理过程中过度关注的待处理区域，通过对这些难例图像中的待处理区域进行增广处理，以及，利用增广处理后的图片对待优化模型进行调整优化，从而使新得到的目标模型能够抵抗在不同人脸图像局部区域上的过拟合效应，提高模型的识别准确率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本申请实施例提供的一种模型优化方法的流程图；
图2为本申请实施例提供的另一种模型优化方法的流程图；
图3为本申请实施例提供的另一种模型优化方法的流程图；
图4为本申请实施例提供的一种模型优化装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。
图1为本申请实施例提供的一种模型优化方法的流程示意图。本方法可以应用于智能手机、笔记本电脑、台式电脑、便携式计算机、服务器等一个或多个电子设备上。此外，本方法的执行主体可以是硬件，也可以是软件。当上述执行主体为硬件时，该执行主体可以为上述电子设备中的一个或多个。例如，单个电子设备可以执行本方法，或者，多个电子设备可以彼此配合来执行本方法。当上述执行主体为软件时，本方法可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不作具体限定。
如图1所示，该方法具体包括：
S101，获取待优化模型及所述待优化模型对应的图像数据集，其中，所述待优化模型用于识别人脸图像，所述图像数据集中包含多个样本人脸图像。
待优化模型，指预先训练好的、用于识别人脸图像的模型。
图像数据集，指包含多个样本人脸图像的集合。
本申请实施例中，可以将用户上传或指定的人脸识别模型作为待优化模型，以及，将用户上传或指定的图像集合作为图像数据集。
S102，在多个所述样本人脸图像中确定难例图像。
实际应用中，待优化模型对某些图像的检测结果较为准确，这些图像可以称为好例(goodcase)图像。相应地，该待优化模型可能对某些图像的检测结果不够准确，这些图像可以称为难例/坏例(badcase)图像。
作为本申请实施例的一种可能实现方式，在多个所述样本人脸图像中确定难例图像可以包括以下步骤：
获取每个所述样本人脸图像的图像标签，以及，获取所述待优化模型对每个所述样本人脸图像的识别结果，针对每个样本人脸图像，在所述样本人脸图像对应的识别结果与所述样本人脸图像对应的图像标签不符的情况下，确定所述样本人脸图像为难例图像。
通过该实施方式，可以直接将待优化模型识别错误的样本人脸图像(即识别结果与对应标签不符的样本人脸图像)，作为难例图像。后续可以针对性地对这部分难例图像进行处理，并基于处理后的图像优化待优化模型，从而改善模型的识别效果。
作为本申请实施例的另一种可能实现方式，在多个所述样本人脸图像中确定难例图像可以包括以下步骤：通过可视化组件展示多个所述样本人脸图像，接收用户基于多个所述样本人脸图像输入的第二选择信息，将所述第二选择信息对应的样本人脸图像确定为难例图像。通过该实施方式，用户可以根据实际需求灵活指定难例图像。
S103，针对每个难例图像，基于所述难例图像中包含的人脸部位对所述难例图像进行分割处理，得到多个人脸部位图像。
人脸部位图像，指仅包含对应人脸部位的图像。例如，难例图像1中包含人的眼睛、鼻子、嘴巴，则可以截取包含眼睛的部分图像作为眼睛对应的人脸部位图像，截取包含鼻子的部分图像作为鼻子对应的人脸部位图像，截取包含嘴巴的部分图像作为嘴巴对应的人脸部位图像。由此，从难例图像1中截取三个人脸部位图像。
S104，基于多个所述人脸部位图像在所述难例图像上确定待处理区域，其中，所述待处理区域包含至少一个人脸部位。
待处理区域，指待优化模型识别难例图像过程中过度关注的区域，该待处理区域可以是难例图像上某一个人脸部位所在的区域，也可以是多个人脸部位所在的区域。
至于具体如何基于多个所述人脸部位图像在所述难例图像上确定待处理区域，将通过后文进行详细的解释说明，这里先不详述。
S105，对所述待处理区域进行增广处理，得到对应的目标人脸图像。
S106，利用所有的所述目标人脸图像对所述待优化模型进行优化，得到对应的目标模型。
以下对S105和S106进行统一说明：
本申请实施例中，对于每个难例图像，可以通过对难例图像中的待处理区域进行遮挡、形变或者模糊等处理，实现对待处理区域的增广处理，得到对应的目标人脸图像。进而，利用所有目标人脸图像重新训练待优化模型，以实现对待优化模型的优化调整，得到对应的目标模型。
如此，可以使得到的目标模型更关注待处理区域以外的地方，从而能够抵抗在不同人脸图像局部区域上的过拟合效应，提高模型的识别准确率。
本申请实施例中，首先，获取待优化模型及待优化模型对应的图像数据集，然后，在多个样本人脸图像中确定难例图像，针对每个难例图像，基于该难例图像中包含的人脸部位对难例图像进行分割处理，得到多个人脸部位图像，并基于多个人脸部位图像在难例图像上确定待处理区域，进而，对待处理区域进行增广处理，得到对应的目标人脸图像，最后，利用所有目标人脸图像对待优化模型进行优化，得到对应的目标模型。通过该方案，可以确定待优化模型对难例图像处理过程中过度关注的待处理区域，通过对这些难例图像中的待处理区域进行增广处理，以及，利用增广处理后的图片对待优化模型进行调整优化，从而使新得到的目标模型能够抵抗在不同人脸图像局部区域上的过拟合效应，提高模型的识别准确率。
参见图2，为本申请实施例提供的另一种模型优化方法的实施例流程图。该图2所示流程在上述图1所示流程的基础上，描述如何基于多个所述人脸部位图像在所述难例图像上确定待处理区域。如图2所示，该流程可包括以下步骤：
S201，针对每个人脸部位图像，提取所述人脸部位图像的初步图像特征，以及，对所述初步图像特征进行池化处理得到目标图像特征。
本申请实施例中，首先，可以利用特征提取模型对各个人脸部位图像进行特征提取，得到相应的局部特征(即，初步图像特征)，这里，特征维度一般为4x4x128。应用中，特征提取模型可以是任意卷积神经网络(如resnext101模型)或注意力机制的序列模型。然后，对各个初步图像特征进行池化处理得到目标图像特征。
具体的，对所述初步图像特征进行池化处理得到目标图像特征可以包括以下步骤：在空间维度对所述初步图像特征进行全局最大池化处理，得到第一图像特征，在空间维度对所述初步图像特征进行全局平均池化处理，得到第二图像特征，在通道维度将所述第一图像特征和所述第二图像特征进行融合处理，得到对应的融合特征，对所述融合特征进行全连接处理，得到所述目标图像特征。
该方案中，首先，在空间维度并行使用全局最大池化和全局平均池化对初步图像特征进行池化处理，保留通道维度，得到池化后特征(即第一图像特征和第二图像特征)，这里，第一图像特征和第二图像特征的维度一般为1x1x128。然后，在池化后特征的基础上，利用concat函数在通道维度将通过两种池化方式得到的特征进行拼接，得到融合特征，这里融合特征的维度一般为1x1x(2x128)，进而，通过全连接将融合特征的维度保持在1x1x128维。
通过该方案，可以利用两种池化方式对初步图像特征进行处理，得到目标图像特征，由此增加特征的丰富性，提升特征的表征能力。
S202，对所述难例图像对应的所有目标图像特征进行拼接处理，得到所述难例图像对应的全局特征。
本申请实施例中，针对每个难例图像，通过拼接该难例图像对应的所有目标图像特征得到整个人脸的人脸特征(即，全局特征)，全局特征的维度一般为Nx128，这里的N指目标图像特征是数量。
S203，基于所述全局特征确定每个人脸部位图像对应的拟合分数。
拟合分数，用于表征待优化模型在识别难例图像时对人脸部位图像所在区域的关注程度，人脸部位图像对应的拟合分数越高，则意味着，待优化模型对该人脸部位图像所在区域的关注程度越高，存在过拟合情况的可能性越高。
本申请实施例中，基于所述全局特征确定每个人脸部位图像对应的拟合分数的具体实现可包括以下步骤：对所述全局特征进行全连接处理，得到待计算特征，利用归一化指数函数对所述待计算特征进行计算，得到所述待计算特征中每个初步图像特征对应的权重分数，针对每个人脸部位图像，将所述人脸部位图像对应的初步图像特征的权重分数，确定为所述人脸部位图像对应的拟合分数。
该实施例中，首先，通过全连接层对全局特征进行全连接处理，得到待计算特征，以使特征的维度符合softmax(归一化指数函数)的输入要求，进而，利用softmax对待计算特征进行计算，以得到每个人脸部位图像在整个难例图像中的权重得分，并将该权重得分确定为对应人脸部位图像的拟合分数。
S204，按照拟合分数由高到低的顺序对所有人脸部位图像进行排序。
S205，将排序靠前的、预设数量的人脸部位图像确定为第一目标部位图像，并将所述第一目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
以下对S204和S205进行统一说明：
其中，预设数量可以由用户根据实际需求设置，实际应用中，可以设置预设数量为1个或2个。
本申请实施例中，首先，按照拟合分数由高到低的顺序对所有人脸部位图像进行排序，如此，对于排序越靠前的人脸部位图像，待优化模型对该人脸部位图像所在区域的关注程度越高。在此基础上，将排序靠前的、预设数量的人脸部位图像确定为第一目标部位图像，并将第一目标部位图像在难例图像中对应的区域确定为待处理区域。也即，将待优化模型关注程度较高的、预设数量的人脸部位图像所在区域确定为待处理区域。
通过图2所示流程，可以将待优化模型关注程度较高的、预设数量的人脸部位图像所在区域确定为待处理区域，如此，在后续进行相应模型优化后，可以使新得到的目标模型能够抵抗在不同人脸图像局部区域上的过拟合效应，提高模型的识别准确率。
参见图3，为本申请实施例提供的另一种模型优化方法的实施例流程图。该图3所示流程在上述图1所示流程的基础上，描述如何基于多个所述人脸部位图像在所述难例图像上确定待处理区域。如图3所示，该流程可包括以下步骤：
S301，通过可视化组件展示多个所述人脸部位图像；
S302，接收用户基于多个所述人脸部位图像输入的第一选择信息；
S303，将所述第一选择信息对应的人脸部位图像确定为第二目标部位图像；
S304，将所述第二目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
以下对S301和S304进行统一说明：
本申请实施例中，对于每个难例图像，可以通过可视化组件向用户展示该难例图像对应的多个人脸部位图像，如此，用户可以根据实际经验或实际测试数据，在可视化组件展示的多个人脸部位图像中进行选择，即，输入对应的第一选择信息，在此基础上，将第一选择信息对应的人脸部位图像确定为第二目标部位图像，并将第二目标部位图像在难例图像中所在的区域确定为待处理区域。
通过图3所示流程，可以根据用户需求灵活设置待处理区域，如此，在后续进行相应模型优化后，可以使新得到的目标模型能够抵抗在不同人脸图像局部区域上的过拟合效应，提高模型的识别准确率。
基于相同的技术构思，本申请实施例还提供了一种模型优化装置，如图4所示，该装置包括：
获取模块401，用于获取待优化模型及所述待优化模型对应的图像数据集，其中，所述待优化模型用于识别人脸图像，所述图像数据集中包含多个样本人脸图像；
第一确定模块402，用于在多个所述样本人脸图像中确定难例图像；
分割模块403，用于针对每个难例图像，基于所述难例图像中包含的人脸部位对所述难例图像进行分割处理，得到多个人脸部位图像；
第二确定模块404，用于基于多个所述人脸部位图像在所述难例图像上确定待处理区域，其中，所述待处理区域包含至少一个人脸部位；
处理模块405，用于对所述待处理区域进行增广处理，得到对应的目标人脸图像；
优化模块406，用于利用所有的所述目标人脸图像对所述待优化模型进行优化，得到对应的目标模型。
在一个可能的实施方式中，所述第二确定模块，进一步用于：
针对每个人脸部位图像，提取所述人脸部位图像的初步图像特征，以及，对所述初步图像特征进行池化处理得到目标图像特征；
对所述难例图像对应的所有目标图像特征进行拼接处理，得到所述难例图像对应的全局特征；
基于所述全局特征确定每个人脸部位图像对应的拟合分数；
按照拟合分数由高到低的顺序对所有人脸部位图像进行排序；
将排序靠前的、预设数量的人脸部位图像确定为第一目标部位图像，并将所述第一目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
在一个可能的实施方式中，所述第二确定模块，还用于：
在空间维度对所述初步图像特征进行全局最大池化处理，得到第一图像特征；
在空间维度对所述初步图像特征进行全局平均池化处理，得到第二图像特征；
在通道维度将所述第一图像特征和所述第二图像特征进行融合处理，得到对应的融合特征；
对所述融合特征进行全连接处理，得到所述目标图像特征。
在一个可能的实施方式中，所述第二确定模块，还用于：
对所述全局特征进行全连接处理，得到待计算特征；
利用归一化指数函数对所述待计算特征进行计算，得到所述待计算特征中每个初步图像特征对应的权重分数；
针对每个人脸部位图像，将所述人脸部位图像对应的初步图像特征的权重分数，确定为所述人脸部位图像对应的拟合分数。
在一个可能的实施方式中，所述第二确定模块，还用于：
通过可视化组件展示多个所述人脸部位图像；
接收用户基于多个所述人脸部位图像输入的第一选择信息；
将所述第一选择信息对应的人脸部位图像确定为第二目标部位图像；
将所述第二目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
在一个可能的实施方式中，所述第一确定模块，进一步用于：
获取每个所述样本人脸图像的图像标签，以及，获取所述待优化模型对每个所述样本人脸图像的识别结果；
针对每个样本人脸图像，在所述样本人脸图像对应的识别结果与所述样本人脸图像对应的图像标签不符的情况下，确定所述样本人脸图像为难例图像。
在一个可能的实施方式中，所述第一确定模块，还用于：
通过可视化组件展示多个所述样本人脸图像；
接收用户基于多个所述样本人脸图像输入的第二选择信息；
将所述第二选择信息对应的样本人脸图像确定为难例图像。
本申请实施例中，首先，获取待优化模型及待优化模型对应的图像数据集，然后，在多个样本人脸图像中确定难例图像，针对每个难例图像，基于该难例图像中包含的人脸部位对难例图像进行分割处理，得到多个人脸部位图像，并基于多个人脸部位图像在难例图像上确定待处理区域，进而，对待处理区域进行增广处理，得到对应的目标人脸图像，最后，利用所有目标人脸图像对待优化模型进行优化，得到对应的目标模型。通过该方案，可以确定待优化模型对难例图像处理过程中过度关注的待处理区域，通过对这些难例图像中的待处理区域进行增广处理，以及，利用增广处理后的图片对待优化模型进行调整优化，从而使新得到的目标模型能够抵抗在不同人脸图像局部区域上的过拟合效应，提高模型的识别准确率。
基于相同的技术构思，本申请实施例还提供了一种电子设备，如图5所示，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序；
处理器111，用于执行存储器113上所存放的程序时，实现如下步骤：
获取待优化模型及所述待优化模型对应的图像数据集，其中，所述待优化模型用于识别人脸图像，所述图像数据集中包含多个样本人脸图像；
在多个所述样本人脸图像中确定难例图像；
针对每个难例图像，基于所述难例图像中包含的人脸部位对所述难例图像进行分割处理，得到多个人脸部位图像；
基于多个所述人脸部位图像在所述难例图像上确定待处理区域，其中，所述待处理区域包含至少一个人脸部位；
对所述待处理区域进行增广处理，得到对应的目标人脸图像；
利用所有的所述目标人脸图像对所述待优化模型进行优化，得到对应的目标模型。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一模型优化方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一模型优化方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种模型优化方法，其特征在于，所述方法包括：
获取待优化模型及所述待优化模型对应的图像数据集，其中，所述待优化模型用于识别人脸图像，所述图像数据集中包含多个样本人脸图像；
在多个所述样本人脸图像中确定难例图像；
针对每个难例图像，基于所述难例图像中包含的人脸部位对所述难例图像进行分割处理，得到多个人脸部位图像；
基于多个所述人脸部位图像在所述难例图像上确定待处理区域，其中，所述待处理区域包含至少一个人脸部位；
对所述待处理区域进行增广处理，得到对应的目标人脸图像；
利用所有的所述目标人脸图像对所述待优化模型进行优化，得到对应的目标模型。
2.根据权利要求1所述的方法，其特征在于，所述基于多个所述人脸部位图像在所述难例图像上确定待处理区域，包括：
针对每个人脸部位图像，提取所述人脸部位图像的初步图像特征，以及，对所述初步图像特征进行池化处理得到目标图像特征；
对所述难例图像对应的所有目标图像特征进行拼接处理，得到所述难例图像对应的全局特征；
基于所述全局特征确定每个人脸部位图像对应的拟合分数；
按照拟合分数由高到低的顺序对所有人脸部位图像进行排序；
将排序靠前的、预设数量的人脸部位图像确定为第一目标部位图像，并将所述第一目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
3.根据权利要求2所述的方法，其特征在于，所述对所述初步图像特征进行池化处理得到目标图像特征，包括：
在空间维度对所述初步图像特征进行全局最大池化处理，得到第一图像特征；
在空间维度对所述初步图像特征进行全局平均池化处理，得到第二图像特征；
在通道维度将所述第一图像特征和所述第二图像特征进行融合处理，得到对应的融合特征；
对所述融合特征进行全连接处理，得到所述目标图像特征。
4.根据权利要求2所述的方法，其特征在于，所述基于所述全局特征确定每个人脸部位图像对应的拟合分数，包括：
对所述全局特征进行全连接处理，得到待计算特征；
利用归一化指数函数对所述待计算特征进行计算，得到所述待计算特征中每个初步图像特征对应的权重分数；
针对每个人脸部位图像，将所述人脸部位图像对应的初步图像特征的权重分数，确定为所述人脸部位图像对应的拟合分数。
5.根据权利要求1所述的方法，其特征在于，所述基于多个所述人脸部位图像在所述难例图像上确定待处理区域，包括：
通过可视化组件展示多个所述人脸部位图像；
接收用户基于多个所述人脸部位图像输入的第一选择信息；
将所述第一选择信息对应的人脸部位图像确定为第二目标部位图像；
将所述第二目标部位图像在所述难例图像中对应的区域确定为所述待处理区域。
6.根据权利要求1所述的方法，其特征在于，所述在多个所述样本人脸图像中确定难例图像，包括：
获取每个所述样本人脸图像的图像标签，以及，获取所述待优化模型对每个所述样本人脸图像的识别结果；
针对每个样本人脸图像，在所述样本人脸图像对应的识别结果与所述样本人脸图像对应的图像标签不符的情况下，确定所述样本人脸图像为难例图像。
7.根据权利要求1所述的方法，其特征在于，所述在多个所述样本人脸图像中确定难例图像，包括：
通过可视化组件展示多个所述样本人脸图像；
接收用户基于多个所述样本人脸图像输入的第二选择信息；
将所述第二选择信息对应的样本人脸图像确定为难例图像。
8.一种模型优化装置，其特征在于，所述装置包括：
获取模块，用于获取待优化模型及所述待优化模型对应的图像数据集，其中，所述待优化模型用于识别人脸图像，所述图像数据集中包含多个样本人脸图像；
第一确定模块，用于在多个所述样本人脸图像中确定难例图像；
分割模块，用于针对每个难例图像，基于所述难例图像中包含的人脸部位对所述难例图像进行分割处理，得到多个人脸部位图像；
第二确定模块，用于基于多个所述人脸部位图像在所述难例图像上确定待处理区域，其中，所述待处理区域包含至少一个人脸部位；
处理模块，用于对所述待处理区域进行增广处理，得到对应的目标人脸图像；
优化模块，用于利用所有的所述目标人脸图像对所述待优化模型进行优化，得到对应的目标模型。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述模型优化方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述模型优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311843499.8A CN117789275A (zh) | 2023-12-28 | 2023-12-28 | 模型优化方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311843499.8A CN117789275A (zh) | 2023-12-28 | 2023-12-28 | 模型优化方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117789275A true CN117789275A (zh) | 2024-03-29 |
Family
ID=90398074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311843499.8A Pending CN117789275A (zh) | 2023-12-28 | 2023-12-28 | 模型优化方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117789275A (zh) |
-
2023
- 2023-12-28 CN CN202311843499.8A patent/CN117789275A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11348249B2 (en) | Training method for image semantic segmentation model and server | |
| CN108205655B (zh) | 一种关键点预测方法、装置、电子设备及存储介质 | |
| CN109740668B (zh) | 深度模型训练方法及装置、电子设备及存储介质 | |
| CN111860398B (zh) | 遥感图像目标检测方法、***及终端设备 | |
| CN108229673B (zh) | 卷积神经网络的处理方法、装置和电子设备 | |
| CN107886082B (zh) | 图像中数学公式检测方法、装置、计算机设备及存储介质 | |
| US20210390370A1 (en) | Data processing method and apparatus, storage medium and electronic device | |
| US10891471B2 (en) | Method and system for pose estimation | |
| CN109285105A (zh) | 水印检测方法、装置、计算机设备和存储介质 | |
| CN109740752B (zh) | 深度模型训练方法及装置、电子设备及存储介质 | |
| CN111738269B (zh) | 模型训练方法、图像处理方法及装置、设备、存储介质 | |
| CN112085056B (zh) | 目标检测模型生成方法、装置、设备及存储介质 | |
| CN110889437A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN114022748B (zh) | 目标识别方法、装置、设备及存储介质 | |
| CN112991281B (zh) | 视觉检测方法、***、电子设备及介质 | |
| CN111985488B (zh) | 一种基于离线高斯模型的目标检测分割方法及*** | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN111008604A (zh) | 预测图像获取方法、装置、计算机设备和存储介质 | |
| CN114494782B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
| CN117789275A (zh) | 模型优化方法、装置、电子设备及存储介质 | |
| CN113743448B (zh) | 模型训练数据获取方法、模型训练方法和装置 | |
| CN113886578A (zh) | 一种表单分类方法及装置 | |
| CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 | |
| CN117611600B (zh) | 一种图像分割方法、***、存储介质及设备 | |
| CN117788439A (zh) | 难例图像确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |