CN110991568B - 目标识别方法、装置、设备和存储介质 - Google Patents

目标识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110991568B
CN110991568B CN202010133440.XA CN202010133440A CN110991568B CN 110991568 B CN110991568 B CN 110991568B CN 202010133440 A CN202010133440 A CN 202010133440A CN 110991568 B CN110991568 B CN 110991568B
Authority
CN
China
Prior art keywords
network model
feature
module
enhancement
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010133440.XA
Other languages
English (en)
Other versions
CN110991568A (zh
Inventor
吴志伟
李德紘
张少文
冯琰一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xinke Jiadu Technology Co Ltd
PCI Technology Group Co Ltd
Original Assignee
Guangzhou Xinke Jiadu Technology Co Ltd
PCI Suntek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xinke Jiadu Technology Co Ltd, PCI Suntek Technology Co Ltd filed Critical Guangzhou Xinke Jiadu Technology Co Ltd
Priority to CN202010133440.XA priority Critical patent/CN110991568B/zh
Publication of CN110991568A publication Critical patent/CN110991568A/zh
Application granted granted Critical
Publication of CN110991568B publication Critical patent/CN110991568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种目标识别方法、装置、设备和存储介质，该方法包括将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型；将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型；基于小批量随机梯度下降算法对所述第二网络模型进行训练；将训练完毕的第二网络模型进行修改得到推理网络模型；将图像输入所述推理网络模型得到目标识别结果。本方案能够学习识别出更多细微特征，提高了目标识别的准确率。

Description

目标识别方法、装置、设备和存储介质
技术领域
本申请实施例涉及计算机领域，尤其涉及一种目标识别方法、装置、设备和存储介质。
背景技术
目标识别指一个特殊目标（或一种类型的目标）从其它目标（或其它类型的目标）中被区分出来的过程。它既包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别。随着计算机技术的不断发展，目标识别的应用范围也越来越广泛，如对汽车的车型、花草植物和鸟类等目标进行识别。
现有技术中，可通过对图像进行目标识别以得到对应的目标物，然而现有的目标识别方式中，针对细微特征较多的情况，如对包含多张人脸、多种车型的图像进行目标识别时，无法进行高效、准确的识别，由此也导致了一系列问题的产生，特别在社会突发状况例如疫情高发、公共安全事件等情况下，需要从众多图像中精准识别出高危人员例如确定疑似或确诊病人、重点车辆的行动轨迹进行预警和跟踪，此时如何高效、准确的进行目标识别至关重要。
发明内容
本发明实施例提供了一种目标识别方法、装置、设备和存储介质，能够学习识别出更多细微特征，提高了目标识别的准确率。
第一方面，本发明实施例提供了一种目标识别方法，该方法包括：
将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型；
将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型；
基于小批量随机梯度下降算法对所述第二网络模型进行训练；
将训练完毕的第二网络模型进行修改得到推理网络模型；
将图像输入所述推理网络模型得到目标识别结果。
可选的，将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型，包括：
通过通道特征重激活模块对神经网络结构中输出的特征图按通道重新分配权重；
通过细微特征自增强模块对通道特征重激活模块中输出的特征图的非显著特征进行增强，对显著特征进行抑制。
可选的，所述通过通道特征重激活模块对神经网络结构中输出的特征图按通道重新分配权重，包括：
对神经网络结构中输出的特征图在空间层面进行压缩得到压缩后的特征；
对所述压缩后的特征进行重激活，得到激活后的权重；
对输入的特征图按通道乘以所述激活后的权重。
可选的，所述细微特征自增强模块包括增强掩模和抑制掩模，所述通过细微特征自增强模块对通道特征重激活模块中输出的特征图的非显著特征进行增强，对显著特征进行抑制，包括：
根据增强掩模对通道特征重激活模块中输出的特征图的非显著特征对应的区域进行增强；
根据抑制掩模对通道特征重激活模块中输出的特征图的显著特征对应的区域进行抑制。
可选的，所述将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型，包括：
删除残差网络的全局池化层，将最后一层全连接层修改为卷积核大小为1x1、通道数为C的卷积层，得到特征图；
将所述特征图输入通道特征重激活模块；
将所述通道特征重激活模块输出的特征图输入细微特征自增强模块再连接全局池化层，生成第一网络模型。
可选的，所述将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型，包括：
通过梯度增强交叉熵损失函数中引入的损失调节因子调节样本的损失值，同时对满足预设条件的负样本进行运算生成第二网络模型。
可选的，所述将训练完毕的第二网络模型进行修改得到推理网络模型，包括：
删除所述训练完毕的第二网络模型中的细微特征自增强模块以及梯度增强交叉熵损失函数，在全局池化层后接入Softmax损失函数得到推理网络模型。
第二方面，本发明实施例还提供了一种目标识别装置，该装置包括：
第一处理模块，用于将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型；
第二处理模块，用于将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型；
训练模块，用于基于小批量随机梯度下降算法对所述第二网络模型进行训练；
第三处理模块，用于将训练完毕的第二网络模型进行修改得到推理网络模型；
识别模块，用于将图像输入所述推理网络模型得到目标识别结果。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所述的目标识别方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的目标识别方法。
本发明实施例中，将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型，将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型，基于小批量随机梯度下降算法对所述第二网络模型进行训练，将训练完毕的第二网络模型进行修改得到推理网络模型，将图像输入所述推理网络模型得到目标识别结果。通过引入通道特征重激活模块解决训练过程中样本类别不均衡导致的准确率下降问题，通过引入细微特征自增强模块和梯度增强交叉熵损失函数，能够使网络模型学习到更多细微特征，对于提升相似类别的识别准确率非常有效，尤其适用于细粒度目标的识别任务，如车型等细微特征的识别，可以在采集的复杂图像中快速准确识别出目标从而进一步确定目标行动轨迹，对于疫情防控等社会公共安全事件管控起到至关重要的作用。
附图说明
图1为本发明实施例提供的一种目标识别方法的流程图；
图2为本发明实施例提供的另一种目标识别方法的流程图；
图3为本发明实施例提供的另一种目标识别方法的流程图；
图4为本发明实施例提供的另一种目标识别方法的流程图；
图5为本发明实施例提供的第二网络模型的结构示意图；
图6为本发明实施例提供的推理网络模型的结构示意图；
图7为本发明实施例提供的另一种目标识别方法的流程图；
图8为本发明实施例提供的一种目标识别装置的结构框图；
图9为本发明实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
图1为本发明实施例提供的一种目标识别方法的流程图，本实施例可适用于目标识别，该方法可以由设备如电脑来执行，具体包括如下步骤：
步骤S101、将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型。
在一个实施例中，将预先设计的通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中，该神经网络结构可以是现有的神经网络结构。示例性的，如Resnet50神经网络结构。该通道特征重激活模块用于对神经网络结构中输出的特征图按通道重新分配权重，细微特征自增强模块对通道特征重激活模块中输出的特征图的非显著特征进行增强，对显著特征进行抑制。该细微特征自增强模块包括增强掩模和抑制掩模，用于根据增强掩模对通道特征重激活模块中输出的特征图的非显著特征对应的区域进行增强，根据抑制掩模对通道特征重激活模块中输出的特征图的显著特征对应的区域进行抑制。
步骤S102、将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型。
在一个实施例中，将预先设计的梯度增强交叉熵损失函数连接第一网络模型生成第二网络模型。其中，该梯度增强交叉熵损失函数用于监督网络的训练，使得网络模型能更加聚焦于难分样本，从而提升相似类别样本的识别率。
步骤S103、基于小批量随机梯度下降算法对所述第二网络模型进行训练。
在得到第二网络模型后，基于小批量随机梯度下降算法对第二网络模型进行训练，通过该基于小批量随机梯度下降算法训练神经网络模型，得到模型参数。在一个实施例中，还可以采用Adam优化器训练神经网络模型，得到模型参数，也可以采用其他深度学习中常用的优化算法，如SGD算法、RMSProp算法等。
步骤S104、将训练完毕的第二网络模型进行修改得到推理网络模型，将图像输入所述推理网络模型得到目标识别结果。
在一个实施例中，在第二网络模型训练完毕后，对其进行修改以得到推理网络模型。具体的，修改方式可以是删除所述训练完毕的第二网络模型中的细微特征自增强模块以及梯度增强交叉熵损失函数，在全局池化层后接入Softmax损失函数得到推理网络模型。
由上述方案可知，将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型，将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型，基于小批量随机梯度下降算法对所述第二网络模型进行训练，将训练完毕的第二网络模型进行修改得到推理网络模型，将图像输入所述推理网络模型得到目标识别结果。通过引入通道特征重激活模块解决训练过程中样本类别不均衡导致的准确率下降问题，通过引入细微特征自增强模块和梯度增强交叉熵损失函数，能够使网络模型学习到更多细微特征，对于提升相似类别的准确率非常有效，尤其适用于细粒度目标的识别任务，如车型识别、花草识别、鸟类识别等。
图2为本发明实施例提供的另一种目标识别方法的流程图，给出了一种具体的通道特征重激活模块进行数据处理的方法。如图2所示，技术方案具体如下：
步骤S201、将通道特征重激活模块嵌入神经网络结构中。
步骤S202、通过通道特征重激活模块对神经网络结构中输出的特征图在空间层面进行压缩得到压缩后的特征，对所述压缩后的特征进行重激活，得到激活后的权重，对输入的特征图按通道乘以所述激活后的权重。
在一个实施例中，定义以下共有变量：训练图像为I，类别标签为
Figure 100002_DEST_PATH_IMAGE001
，其中L是所有类别标签的集合，C为通道数，选择的神经网络结构（骨干网络）输出的特征图为
Figure 100002_DEST_PATH_IMAGE002
，表示成集合形式
Figure 100002_DEST_PATH_IMAGE003
，其中W、H为特征图的宽高，R为数学公式中的实数域。
具体的，该通道特征重激活模块的设计如下：
通道特征重激活模块的输入为特征图
Figure 100002_DEST_PATH_IMAGE004
，对
Figure 761318DEST_PATH_IMAGE004
在空间层面进行压缩，得到压缩后的特征
Figure 100002_DEST_PATH_IMAGE005
，压缩公式为：
Figure 100002_DEST_PATH_IMAGE006
，
Figure 100002_DEST_PATH_IMAGE007
，再对
Figure 100002_DEST_PATH_IMAGE008
进行重激活，得到激活后的权重
Figure 100002_DEST_PATH_IMAGE009
，重激活公式为：
Figure 100002_DEST_PATH_IMAGE010
，
Figure 100002_DEST_PATH_IMAGE011
，最后对输入特征图按通道乘以权重得到
Figure 100002_DEST_PATH_IMAGE012
，表示成集合形式
Figure 100002_DEST_PATH_IMAGE013
，计算公式为：
Figure 100002_DEST_PATH_IMAGE014
。
步骤S203、将细微特征自增强模块嵌入神经网络结构中，通过细微特征自增强模块对通道特征重激活模块中输出的特征图的非显著特征进行增强，对显著特征进行抑制，生成第一网络模型。
步骤S204、将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型。
步骤S205、基于小批量随机梯度下降算法对所述第二网络模型进行训练。
步骤S206、将训练完毕的第二网络模型进行修改得到推理网络模型，将图像输入所述推理网络模型得到目标识别结果。
由上述方案可知，将设计的通道特征重激活模块嵌入到神经网络结构中，对其输出的特征图按通道重新分配权重，以解决训练过程中样本类别不均衡导致的准确率下降问题。
图3为本发明实施例提供的另一种目标识别方法的流程图，给出了一种具体的细微特征自增强模块进行数据处理的方法。如图3所示，技术方案具体如下：
步骤S301、将通道特征重激活模块嵌入神经网络结构中。
步骤S302、通过通道特征重激活模块对神经网络结构中输出的特征图在空间层面进行压缩得到压缩后的特征，对所述压缩后的特征进行重激活，得到激活后的权重，对输入的特征图按通道乘以所述激活后的权重。
步骤S303、将细微特征自增强模块嵌入神经网络结构中，根据增强掩模对通道特征重激活模块中输出的特征图的非显著特征对应的区域进行增强，根据抑制掩模对通道特征重激活模块中输出的特征图的显著特征对应的区域进行抑制，生成第一网络模型。
在一个实施例中，细微特征自增强模块包括增强掩模和抑制掩模，该模块的具体设计如下：
细微特征自增强模块的输入为通道特征重激活模块的输出特征图
Figure 100002_DEST_PATH_IMAGE015
，定义细微特征自增强的输出为
Figure 100002_DEST_PATH_IMAGE016
。通过掩模来确定哪些区域需要增强，哪些区域需要抑制，掩模包括增强掩模和抑制掩模。定义增强掩模为
Figure 100002_DEST_PATH_IMAGE017
，
Figure 100002_DEST_PATH_IMAGE018
值为1或0，1表示需要增强，0表示不需要增强，增强因子为
Figure 100002_DEST_PATH_IMAGE019
，表示特征值的增强程度，抑制掩模为
Figure 100002_DEST_PATH_IMAGE020
，
Figure 100002_DEST_PATH_IMAGE021
值为1或0，1表示需要抑制，0表示不需要抑制，抑制因子为
Figure 100002_DEST_PATH_IMAGE022
，表示特征值的抑制程度。根据增强掩模和抑制掩模，增强或抑制输入特征图中的对应区域，当某个位置增强掩模为1时，将输入特征图对应位置乘以增强因子，当某个位置抑制掩模为1时，将输入特征图对应位置乘以抑制因子，其余位置保持不变。细微特征自增强模块的计算公式为：
Figure DEST_PATH_IMAGE023
其中，
Figure DEST_PATH_IMAGE024
和
Figure DEST_PATH_IMAGE025
不能同时为1。
其中，增强掩模用于计算需要增强的区域，输入特征图的峰值表示显著性特征，除峰值之外，还存在着很多非显著性特征，即细微特征，为了提高网络模型对细微特征的学习能力，需要增强非显著性特征。将输入特征图
Figure DEST_PATH_IMAGE026
划分为
Figure DEST_PATH_IMAGE027
块，定义第m行n列特征块为
Figure DEST_PATH_IMAGE028
，特征图按块表示成集合形式为
Figure DEST_PATH_IMAGE029
，同样地将增强掩模也划分为
Figure 816475DEST_PATH_IMAGE027
块，定义第m行n列掩模块为
Figure DEST_PATH_IMAGE030
，增强掩模按块表示成集合形式为
Figure DEST_PATH_IMAGE031
。特征块中的非峰值区域有一定概率是细微特征，故按概率p随机将掩模块中对应区域标记为1，其余地方为0，即：
Figure DEST_PATH_IMAGE032
其中，p表示概率值，服从伯努利分布，
Figure DEST_PATH_IMAGE033
表示特征块的最大值，如果概率值大于或等于0.5并且不是峰值位置，则增强掩模块对应位置为1，否则为0。
其中，抑制掩模用于计算需要抑制的区域，输入特征图中的峰值表示显著性特征，按一定概率随机抑制峰值区域能提高网络模型对非显著性区域或细微特征的注意力。抑制掩模的计算公式为：
Figure DEST_PATH_IMAGE034
其中，p表示概率值，服从伯努利分布，
Figure DEST_PATH_IMAGE035
表示特征图中的最大值，如果概率值大于或等于0.5并且是峰值位置，则抑制掩模对应位置为1，否则为0。
步骤S304、将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型。
步骤S305、基于小批量随机梯度下降算法对所述第二网络模型进行训练。
步骤S306、将训练完毕的第二网络模型进行修改得到推理网络模型，将图像输入所述推理网络模型得到目标识别结果。
由上述方案可知，通过设计的细微特征自增强模块，增强特征图中的非显著性特征，同时抑制显著性特征，以达到细微特征自增强的目的，该模块可灵活嵌入经典的神经网络结构的骨干网络模型中，来提升现有网络模型对相似样本的识别能力，提升相似类别样本的识别准确率。
图4为本发明实施例提供的另一种目标识别方法的流程图，给出了一种具体的生成第二网络模型的方法，如图4所示，具体包括如下步骤：
步骤S401、删除残差网络的全局池化层，将最后一层全连接层修改为卷积核大小为1x1、通道数为C的卷积层，得到特征图，将所述特征图输入通道特征重激活模块，将所述通道特征重激活模块输出的特征图输入细微特征自增强模块再连接全局池化层，生成第一网络模型。
在一个实施例中，删除残差网络的全局池化层和全连接层得到骨干网络，第一网络模型的结构图如图5所示，图5为本发明实施例提供的第二网络模型的结构示意图，如图所示，原始的训练数据输入该骨干网络（骨干网络为删除全局池化层和全连接层的残差网络），原残差网络的最后一层全连接层修改为卷积核大小为1x1、通道数为C的卷积层，将得到的特征图输入至通道特征重激活模块，通道特征重激活模块连接细微特征自增强模块，再连接全局池化层，得到第一网络模型。
步骤S402、将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型。
如图5所示，在细微特征自增强模块后接入全局池化层以得到特征图后连接梯度增强交叉熵损失函数以得到最终的第二网络模型，该第二网络模型为完整的训练网络模型。
步骤S403、基于小批量随机梯度下降算法对所述第二网络模型进行训练。
步骤S404、将训练完毕的第二网络模型进行修改得到推理网络模型，将图像输入所述推理网络模型得到目标识别结果。
在一个实施例中，如图6所示，图6为本发明实施例提供的推理网络模型的结构示意图，具体为，删除训练完毕的第二网络模型中的细微特征自增强模块以及梯度增强交叉熵损失函数，在全局池化层后接入Softmax损失函数得到推理网络模型。相应的，在得到推理模型后，测试数据可输入至该模型中，得到对应的目标识别结果。
由上述方案可知，通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型，将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型；基于小批量随机梯度下降算法对所述第二网络模型进行训练；将训练完毕的第二网络模型进行修改得到推理网络模型，将图像输入所述推理网络模型得到目标识别结果，本方案得到的网络模型能够学习识别出更多细微特征，提高了目标识别的准确率。
图7为本发明实施例提供的另一种目标识别方法的流程图，给出了一种具体的将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型的方法，如图7所示，具体包括如下步骤：
步骤S701、删除残差网络的全局池化层，将最后一层全连接层修改为卷积核大小为1x1、通道数为C的卷积层，得到特征图，将所述特征图输入通道特征重激活模块，将所述通道特征重激活模块输出的特征图输入细微特征自增强模块生成第一网络模型。
步骤S702、通过梯度增强交叉熵损失函数中引入的损失调节因子调节样本的损失值，同时对满足预设条件的负样本进行运算生成第二网络模型。
具体的，将细微特征自增强模块的输出
Figure DEST_PATH_IMAGE036
后接全局池化层，得到得分
Figure DEST_PATH_IMAGE037
，表示成集合形式
Figure DEST_PATH_IMAGE038
，传统的交叉熵损失函数为
Figure DEST_PATH_IMAGE039
，
Figure DEST_PATH_IMAGE040
，其中
Figure DEST_PATH_IMAGE041
为训练图像I的真实标签，从公式中可以看出，传统的交叉熵损失函数平等地对待所有类别，因此不能很好地处理细粒度目标识别任务中相似类别样本的识别问题。本方案提出的梯度增强交叉熵损失函数，在计算p(s,l)时，负样本只考虑得分最高的K（K<=C）类，并且引入损失调节因子
Figure DEST_PATH_IMAGE042
来调节难分样本的损失值，使得网络更加聚焦难分样本的识别，从而提升目标识别任务中的相似类别样本识别率。定义
Figure 970113DEST_PATH_IMAGE041
为正样本标签，所有负样本类的标签集合为
Figure DEST_PATH_IMAGE043
，所有负样本类的得分集合为
Figure DEST_PATH_IMAGE044
，将
Figure DEST_PATH_IMAGE045
按照得分从高到低排序，第k高得分为
Figure DEST_PATH_IMAGE046
，前k高得分所在类别的集合为
Figure DEST_PATH_IMAGE047
，那么GBCE的计算公式为：
Figure DEST_PATH_IMAGE048
Figure DEST_PATH_IMAGE049
其中k、
Figure DEST_PATH_IMAGE050
为超参数，k越小，
Figure 880169DEST_PATH_IMAGE050
越大，难分样本的相对损失值越大，易分样本的相对损失值越小，反之亦然。通过加大难分样本的相对损失值，降低易分样本的相对损失值，从而提升网络模型聚焦难分样本的能力。
步骤S703、基于小批量随机梯度下降算法对所述第二网络模型进行训练。
步骤S704、将训练完毕的第二网络模型进行修改得到推理网络模型，将图像输入所述推理网络模型得到目标识别结果。
由上述可知，通过引入设计的梯度增强交叉熵损失函数，能够很好地处理细粒度目标识别任务中相似类别样本的识别问题，使得网络更加聚焦难分样本的识别，从而提升目标识别任务中的相似类别样本识别率。
图8为本发明实施例提供的一种目标识别装置的结构框图，该装置用于执行上述实施例提供的目标识别方法，具备执行方法相应的功能模块和有益效果。如图8所示，该装置具体包括：第一处理模块101、第二处理模块102、训练模块103、第三处理模块104和识别模块105，其中，
第一处理模块101，用于将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型；第二处理模块102，用于将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型；训练模块103，用于基于小批量随机梯度下降算法对所述第二网络模型进行训练；第三处理模块104，用于将训练完毕的第二网络模型进行修改得到推理网络模型；识别模块105，用于将图像输入所述推理网络模型得到目标识别结果。
由上述方案可知，将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型，将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型，基于小批量随机梯度下降算法对所述第二网络模型进行训练，将训练完毕的第二网络模型进行修改得到推理网络模型，将图像输入所述推理网络模型得到目标识别结果。通过引入通道特征重激活模块解决训练过程中样本类别不均衡导致的准确率下降问题，通过引入细微特征自增强模块和梯度增强交叉熵损失函数，能够使网络模型学习到更多细微特征，对于提升相似类别的准确率非常有效，尤其适用于细粒度目标的识别任务，如车型识别、花草识别、鸟类识别等。
在一个可能的实施例中，所述第一处理模块101具体用于：
通过通道特征重激活模块对神经网络结构中输出的特征图按通道重新分配权重；
通过细微特征自增强模块对通道特征重激活模块中输出的特征图的非显著特征进行增强，对显著特征进行抑制。
在一个可能的实施例中，所述第一处理模块101具体用于：
对神经网络结构中输出的特征图在空间层面进行压缩得到压缩后的特征；
对所述压缩后的特征进行重激活，得到激活后的权重；
对输入的特征图按通道乘以所述激活后的权重。
在一个可能的实施例中，所述第一处理模块101具体用于：
根据增强掩模对通道特征重激活模块中输出的特征图的非显著特征对应的区域进行增强；
根据抑制掩模对通道特征重激活模块中输出的特征图的显著特征对应的区域进行抑制。
在一个可能的实施例中，所述第一处理模块101具体用于：
删除残差网络的全局池化层，将最后一层全连接层修改为卷积核大小为1x1、通道数为C的卷积层，得到特征图；
将所述特征图输入通道特征重激活模块；
将所述通道特征重激活模块输出的特征图输入细微特征自增强模块再连接全局池化层，生成第一网络模型。
在一个可能的实施例中，所述第二处理模块102具体用于：
通过梯度增强交叉熵损失函数中引入的损失调节因子调节样本的损失值，同时对满足预设条件的负样本进行运算生成第二网络模型。
在一个可能的实施例中，所述第三处理模块104具体用于：
删除所述训练完毕的第二网络模型中的细微特征自增强模块以及梯度增强交叉熵损失函数，在全局池化层后接入Softmax损失函数得到推理网络模型。
图9为本发明实施例提供的一种设备的结构示意图，如图9所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图9中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的目标识别方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的目标识别方法。
存储器202可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器202可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种目标识别方法，该方法包括：
将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型；
将梯度增强交叉熵损失函数连接所述第一网络模型生成第二网络模型；
基于小批量随机梯度下降算法对所述第二网络模型进行训练；
将训练完毕的第二网络模型进行修改得到推理网络模型；
将图像输入所述推理网络模型得到目标识别结果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory, ROM）、随机存取存储器（Random Access Memory, RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明实施例各个实施例所述的方法。
值得注意的是，上述目标识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
注意，上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明实施例不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明实施例构思的情况下，还可以包括更多其他等效实施例，而本发明实施例的范围由所附的权利要求范围决定。

Claims (7)

1.目标识别方法，其特征在于，包括：
将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型，其中，包括删除残差网络的全局池化层，将最后一层全连接层修改为卷积核大小为1x1、通道数为C的卷积层，得到特征图，将所述特征图输入通道特征重激活模块，将所述通道特征重激活模块输出的特征图输入细微特征自增强模块再连接全局池化层，生成第一网络模型，其中，所述细微特征自增强模块包括增强掩模和抑制掩模，所述增强掩模用于计算增强的区域，所述抑制掩模用于计算抑制的区域，具体包括将输入特征图
Figure DEST_PATH_IMAGE001
划分为
Figure DEST_PATH_IMAGE002
块，定义第m行n列特征块为
Figure DEST_PATH_IMAGE003
，特征图按块表示成集合形式为
Figure DEST_PATH_IMAGE004
，将增强掩模划分为
Figure 996350DEST_PATH_IMAGE002
块，定义第m行n列掩模块为
Figure DEST_PATH_IMAGE005
，增强掩模按块表示成集合形式为
Figure DEST_PATH_IMAGE006
，按概率p随机将掩模块中对应区域标记为1，其余为0，具体为
Figure DEST_PATH_IMAGE007
其中，p表示概率值，服从伯努利分布，
Figure DEST_PATH_IMAGE008
表示特征块的最大值，如果概率值大于或等于0.5并且不是峰值位置，则增强掩模块对应位置为1，否则为0，抑制掩模计算公式为
Figure DEST_PATH_IMAGE009
其中，
Figure DEST_PATH_IMAGE010
表示特征图中的最大值，如果概率值p大于或等于0.5并且是峰值位置，则抑制掩模对应位置为1，否则为0；
通过梯度增强交叉熵损失函数中引入的损失调节因子调节样本的损失值，同时对满足预设条件的负样本进行运算生成第二网络模型，具体包括定义
Figure DEST_PATH_IMAGE011
为正样本标签，所有负样本类的标签集合为
Figure DEST_PATH_IMAGE012
，所有负样本类的得分集合为
Figure DEST_PATH_IMAGE013
，将
Figure DEST_PATH_IMAGE014
按照得分从高到低排序，第k高得分为
Figure DEST_PATH_IMAGE015
，前k高得分所在类别的集合为
Figure DEST_PATH_IMAGE016
，计算公式为：
Figure DEST_PATH_IMAGE017
Figure DEST_PATH_IMAGE018
其中k、
Figure DEST_PATH_IMAGE019
为超参数，训练图像为I，类别标签为
Figure DEST_PATH_IMAGE020
，其中L是所有类别标签的集合，C为通道数，神经网络结构输出的特征图为
Figure DEST_PATH_IMAGE021
，表示成集合形式
Figure DEST_PATH_IMAGE022
，其中W、H为特征图的宽和高，R为数学公式中的实数域；
基于小批量随机梯度下降算法对所述第二网络模型进行训练；
将训练完毕的第二网络模型进行修改得到推理网络模型；
将图像输入所述推理网络模型得到目标识别结果。
2.根据权利要求1所述的方法，其特征在于，将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型，包括：
通过通道特征重激活模块对神经网络结构中输出的特征图按通道重新分配权重。
3.根据权利要求2所述的方法，其特征在于，所述通过通道特征重激活模块对神经网络结构中输出的特征图按通道重新分配权重，包括：
对神经网络结构中输出的特征图在空间层面进行压缩得到压缩后的特征；
对所述压缩后的特征进行重激活，得到激活后的权重；
对输入的特征图按通道乘以所述激活后的权重。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述将训练完毕的第二网络模型进行修改得到推理网络模型，包括：
删除所述训练完毕的第二网络模型中的细微特征自增强模块以及梯度增强交叉熵损失函数，在全局池化层后接入Softmax损失函数得到推理网络模型。
5.目标识别装置，其特征在于，包括：
第一处理模块，用于将通道特征重激活模块和细微特征自增强模块嵌入神经网络结构中生成第一网络模型，具体包括删除残差网络的全局池化层，将最后一层全连接层修改为卷积核大小为1x1、通道数为C的卷积层，得到特征图，将所述特征图输入通道特征重激活模块，将所述通道特征重激活模块输出的特征图输入细微特征自增强模块再连接全局池化层，生成第一网络模型，其中，所述细微特征自增强模块包括增强掩模和抑制掩模，所述增强掩模用于计算增强的区域，所述抑制掩模用于计算抑制的区域，具体包括将输入特征图
Figure 813331DEST_PATH_IMAGE001
划分为
Figure 317510DEST_PATH_IMAGE002
块，定义第m行n列特征块为
Figure 806393DEST_PATH_IMAGE003
，特征图按块表示成集合形式为
Figure 990470DEST_PATH_IMAGE004
，将增强掩模划分为
Figure 84295DEST_PATH_IMAGE002
块，定义第m行n列掩模块为
Figure 455454DEST_PATH_IMAGE005
，增强掩模按块表示成集合形式为
Figure 724194DEST_PATH_IMAGE006
，按概率p随机将掩模块中对应区域标记为1，其余为0，具体为
Figure 892081DEST_PATH_IMAGE007
其中，p表示概率值，服从伯努利分布，
Figure 694298DEST_PATH_IMAGE008
表示特征块的最大值，如果概率值大于或等于0.5并且不是峰值位置，则增强掩模块对应位置为1，否则为0，抑制掩模计算公式为
Figure 564472DEST_PATH_IMAGE009
其中，
Figure 561127DEST_PATH_IMAGE010
表示特征图中的最大值，如果概率值p大于或等于0.5并且是峰值位置，则抑制掩模对应位置为1，否则为0；
第二处理模块，用于通过梯度增强交叉熵损失函数中引入的损失调节因子调节样本的损失值，同时对满足预设条件的负样本进行运算生成第二网络模型，具体包括定义
Figure 715204DEST_PATH_IMAGE011
为正样本标签，所有负样本类的标签集合为
Figure 259627DEST_PATH_IMAGE012
，所有负样本类的得分集合为
Figure 228623DEST_PATH_IMAGE013
，将
Figure 345223DEST_PATH_IMAGE014
按照得分从高到低排序，第k高得分为
Figure 843553DEST_PATH_IMAGE015
，前k高得分所在类别的集合为
Figure 217126DEST_PATH_IMAGE016
，计算公式为：
Figure 502703DEST_PATH_IMAGE017
Figure 198827DEST_PATH_IMAGE018
其中k、
Figure 642483DEST_PATH_IMAGE019
为超参数，训练图像为I，类别标签为
Figure 546286DEST_PATH_IMAGE020
，其中L是所有类别标签的集合，C为通道数，神经网络结构输出的特征图为
Figure 601051DEST_PATH_IMAGE021
，表示成集合形式
Figure 930227DEST_PATH_IMAGE022
，其中W、H为特征图的宽和高，R为数学公式中的实数域；
训练模块，用于基于小批量随机梯度下降算法对所述第二网络模型进行训练；
第三处理模块，用于将训练完毕的第二网络模型进行修改得到推理网络模型；
识别模块，用于将图像输入所述推理网络模型得到目标识别结果。
6.一种目标识别设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的目标识别方法。
7.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-3中任一项所述的目标识别方法。
CN202010133440.XA 2020-03-02 2020-03-02 目标识别方法、装置、设备和存储介质 Active CN110991568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010133440.XA CN110991568B (zh) 2020-03-02 2020-03-02 目标识别方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010133440.XA CN110991568B (zh) 2020-03-02 2020-03-02 目标识别方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110991568A CN110991568A (zh) 2020-04-10
CN110991568B true CN110991568B (zh) 2020-07-31

Family

ID=70081512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010133440.XA Active CN110991568B (zh) 2020-03-02 2020-03-02 目标识别方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110991568B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797976B (zh) * 2020-06-30 2024-04-12 北京灵汐科技有限公司 神经网络的训练方法、图像识别方法、装置、设备及介质
CN112068004A (zh) * 2020-09-16 2020-12-11 北京嘀嘀无限科技发展有限公司 一种电池异常、电池充电剩余时间的确定方法及装置
CN112465026B (zh) * 2020-11-26 2022-06-24 深圳市对庄科技有限公司 用于翡翠镶嵌识别的模型训练方法及装置
CN113239965B (zh) * 2021-04-12 2023-05-02 北京林业大学 基于深度神经网络的鸟类识别方法及电子设备
CN113405527B (zh) * 2021-06-11 2022-07-22 湖北知寸航测科技有限公司 一种基于自适应算法的无人机测绘方法及***
CN113486977B (zh) * 2021-07-26 2022-03-22 广州邦鑫水利科技有限公司 一种基于深度学习的无人机测绘方法及***
CN115019151B (zh) * 2022-08-05 2022-10-21 成都图影视讯科技有限公司 非显著特征区域加速型神经网络构架、方法和设备
CN115570228B (zh) * 2022-11-22 2023-03-17 苏芯物联技术(南京)有限公司 一种焊接管道供气智能反馈控制方法与***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472732A (zh) * 2019-08-19 2019-11-19 杭州凝眸智能科技有限公司 优化特征提取方法及其神经网络结构
CN110533024A (zh) * 2019-07-10 2019-12-03 杭州电子科技大学 基于多尺度roi特征的双二次池化细粒度图像分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN109785344A (zh) * 2019-01-22 2019-05-21 成都大学 基于特征重标定的双通路残差网络的遥感图像分割方法
CN109871905A (zh) * 2019-03-14 2019-06-11 同济大学 一种基于注意力机制深度模型的植物叶片识别方法
CN110689056A (zh) * 2019-09-10 2020-01-14 Oppo广东移动通信有限公司 一种分类方法及装置、设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533024A (zh) * 2019-07-10 2019-12-03 杭州电子科技大学 基于多尺度roi特征的双二次池化细粒度图像分类方法
CN110472732A (zh) * 2019-08-19 2019-11-19 杭州凝眸智能科技有限公司 优化特征提取方法及其神经网络结构

Also Published As

Publication number Publication date
CN110991568A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991568B (zh) 目标识别方法、装置、设备和存储介质
EP3114540B1 (en) Neural network and method of neural network training
CN109302410B (zh) 一种内部用户异常行为检测方法、***及计算机存储介质
CN112598248B (zh) 负荷预测方法、装置、计算机设备和存储介质
CN115222946B (zh) 一种单阶段实例图像分割方法、装置以及计算机设备
CN111695604A (zh) 一种图像可信度的确定方法、装置及电子设备、存储介质
Xie et al. Autoencoder-based deep belief regression network for air particulate matter concentration forecasting
Alexeev et al. Self-adaptive intelligent system for mass evaluation of real estate market in cities
CN116628903A (zh) 一种城市风场环境监测传感器最优布置方法
Marjani et al. The large-scale wildfire spread prediction using a multi-kernel convolutional neural network
CN114595635A (zh) 火电机组主汽温度数据的特征选择方法、***及设备
CN117521063A (zh) 基于残差神经网络并结合迁移学习的恶意软件检测方法及装置
CN111582446B (zh) 用于神经网络剪枝的***和神经网络的剪枝处理方法
CN111598105A (zh) 一种专利地图构建方法及装置
CN111062477A (zh) 一种数据处理方法、装置及存储介质
CN116644438B (zh) 一种基于移动存储设备的数据安全管理方法及***
CN117786705B (zh) 一种基于异构图变换网络的语句级漏洞检测方法及***
CN117745423B (zh) 一种异常账户的识别方法
CN118094163B (zh) 一种基于多特征关联的数字物理模型管理***及方法
Cao et al. Detection and fine-grained classification of malicious code using convolutional neural networks and swarm intelligence algorithms
CN116739073B (zh) 一种基于进化偏差的在线后门样本检测方法及***
CN113886579B (zh) 行业资讯正负面模型构建方法和***、识别方法和***
CN117692187B (zh) 一种基于动态的漏洞修复优先级排序方法及装置
CN115293423A (zh) 基于自然灾害数据的处理方法、装置、设备及存储介质
CN117829899A (zh) 基于人工智能的需求预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 306, zone 2, building 1, Fanshan entrepreneurship center, Panyu energy saving technology park, No. 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Patentee after: Jiadu Technology Group Co.,Ltd.

Patentee after: GUANGZHOU XINKE JIADU TECHNOLOGY Co.,Ltd.

Address before: Room 306, zone 2, building 1, Fanshan entrepreneurship center, Panyu energy saving technology park, No. 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: PCI-SUNTEKTECH Co.,Ltd.

Patentee before: GUANGZHOU XINKE JIADU TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder