CN114266946A - 遮挡条件下的特征识别方法、装置、计算机设备及介质 - Google Patents
遮挡条件下的特征识别方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN114266946A CN114266946A CN202111676900.4A CN202111676900A CN114266946A CN 114266946 A CN114266946 A CN 114266946A CN 202111676900 A CN202111676900 A CN 202111676900A CN 114266946 A CN114266946 A CN 114266946A
- Authority
- CN
- China
- Prior art keywords
- shielding
- feature
- image
- features
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 67
- 238000004590 computer program Methods 0.000 claims description 17
- 238000005520 cutting process Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 13
- 238000005096 rolling process Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 14
- 208000006440 Open Bite Diseases 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种遮挡条件下的特征识别方法、装置及相关设备，应用于生物特征识别领域。本发明提供的方法包括：对遮挡图像进行图像预处理和对齐处理，得到对齐图像，将所述对齐图像输入到训练好的遮挡网络，并采用训练好的遮挡网络对所述对齐图像进行公共特征提取和遮挡区域特征提取，得到公共特征和遮挡区域特征对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征，将所述融合特征输入到识别网络，得到遮挡特征的识别结果，基于采用公共特征和遮挡区域特征的提取和融合，得到的融合特征进行识别，提高了遮挡特征识别的准确率。
Description
技术领域
本发明涉及生物特征识别领域，尤其涉及一种遮挡条件下的特征识别方法、装置、计算机设备及存储介质。
背景技术
遮挡给实际应用中的鲁棒生物特征识别方法带来了巨大的挑战。比如在人脸识别中，人脸识别***输入的人脸图像非常容易被口罩、墨镜、帽子和手等物体遮挡，造成人脸区域的部分遮挡，进而影响了***性能的稳定性和适用性。特别是新冠疫情的大环境下，带口罩是一个非常常见的场景了。如何提升遮挡下的生物特征识别是一个需要解决的问题。
遮挡环境下生物识别***中，传统的研究技术有子空间回归法和局部特征分析等相关算法，但识别的精度并不太高。深度学习方法由于其有强大的学习能力和自动挑选特征的能力，成有提升遮挡生物特征识别的一种较好的解决方案，目前的基于深度学习的方法可以分成两大类：
1)使用遮挡模型和非遮挡模型进行识别。首先由一个遮挡判断的模块，筛选出遮挡图像。对于正常的图像，采用单独的常规模型进行推理识别。而对于遮挡的图像，定位裁剪出非遮挡区域输入到另一个独立的遮挡模型进行识别。
2)使用图像修复方法进行识别。对遮挡造成的信息缺失进行补全修复或进行特征恢复，增强内容的连贯性。
传统方法的虽然简单，但提升的精度有限，而基于深度学习方法里的，1)使用多个模型进行识别，这不仅带来了计算成本的提升，而且性能受遮挡判断模块的影响。2)基于图像修复的方法，本质修复的信息是伪信息，这使得模型的稳定性欠佳，识别准确度不高。综上，现有的遮挡生物特征识别技术存在着计算成本过高、精度较低的技术缺陷。
发明内容
本发明提供一种遮挡条件下的特征识别方法、装置、计算机设备及存储介质，以提高针对遮挡特征的识别准确性。
一种遮挡条件下的特征识别方法，包括：
对遮挡图像进行图像预处理和对齐处理，得到对齐图像；
将所述对齐图像输入到训练好的遮挡网络，并采用所述训练好的遮挡网络对所述对齐图像进行公共特征提取和遮挡区域特征提取，得到公共特征和遮挡区域特征；
对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征；
将所述融合特征输入到识别网络，得到遮挡特征的识别结果。
可选地，所述训练好的遮挡网络包括公共特征提取层、遮挡区域监督分割层和识别层；
所述公共特征提取层包括特征压缩模块和特征扩展模块，其中特征压缩模块采用了基于ResNet的残差卷积块，包括N个卷积块，特征扩展模块包括对应的N个反卷积块；
所述遮挡区域监督分割层由至少三个连续的卷积层和一个Sigmoid层组成；
所述识别层由至少三个连续的卷积层、一个全连接层和一个Softmax层组成。
可选地，所述对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征包括：
通过指数相乘操作，对所述公共特征的输出特征图进行空间特征选择，得到增强特征；
采用所述增强特征与所述遮挡区域特征进行特征融合，得到所述融合特征。
可选地，所述对遮挡图像进行图像预处理和对齐处理，得到对齐图像包括：
对所述遮挡图像进行目标检测，确定待检测范围；
根据所述待检测范围进行图像裁剪，得到裁剪图像；
对所述裁剪图像中的目标对象进行对齐处理，的带所述对齐图像。
可选地，在所述将所述对齐图像输入到训练好的遮挡网络之前，所述方法还包括：
获取初始的遮挡网络；
获取初始训练数据，对所述初始训练数据进行数据预处理，并对预处理后的数据进行数据增强，得到目标训练数据；
采将所述目标训练数据输入到所述初始的遮挡网络之中进行训练识别，并基于所述目标训练数据中的正负样本，确定训练识别结果；
基于所述训练识别结果对所述初始的遮挡网络中的参数进行调整，并返回所述采将所述目标训练数据输入到所述初始的遮挡网络之中进行训练识别，并基于所述目标训练数据中的正负样本，确定训练识别结果的步骤继续执行，直到所述训练次数或者识别准确率达到预设条件为止；
将得到的遮挡网络作为所述训练好的遮挡网络。
一种遮挡条件下的特征识别装置，包括：
图像处理模块，用于对遮挡图像进行图像预处理和对齐处理，得到对齐图像；
特征提取模块，用于将所述对齐图像输入到训练好的遮挡网络，并采用所述训练好的遮挡网络对所述对齐图像进行公共特征提取和遮挡区域特征提取，得到公共特征和遮挡区域特征；
特征融合模块，用于对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征；
遮挡识别模块，用于将所述融合特征输入到识别网络，得到遮挡特征的识别结果。
可选地，所述特征融合模块包括：
特征增强单元，用于通过指数相乘操作，对所述公共特征的输出特征图进行空间特征选择，得到增强特征；
特征融合单元，用于采用所述增强特征与所述遮挡区域特征进行特征融合，得到所述融合特征。
可选地，所述图像处理模块包括：
目标检测单元，用于对所述遮挡图像进行目标检测，确定待检测范围；
图像裁剪单元，用于根据所述待检测范围进行图像裁剪，得到裁剪图像；
对齐处理单元，用于对所述裁剪图像中的目标对象进行对齐处理，的带所述对齐图像。
可选地，所述遮挡条件下的特征识别装置还包括：
初始网络获取模块，用于获取初始的遮挡网络；
数据增强模块，用于获取初始训练数据，对所述初始训练数据进行数据预处理，并对预处理后的数据进行数据增强，得到目标训练数据；
训练识别模块，用于采将所述目标训练数据输入到所述初始的遮挡网络之中进行训练识别，并基于所述目标训练数据中的正负样本，确定训练识别结果；
迭代模块，用于基于所述训练识别结果对所述初始的遮挡网络中的参数进行调整，并返回所述采将所述目标训练数据输入到所述初始的遮挡网络之中进行训练识别，并基于所述目标训练数据中的正负样本，确定训练识别结果的步骤继续执行，直到所述训练次数或者识别准确率达到预设条件为止；
网络模型确定模块，用于将得到的遮挡网络作为所述训练好的遮挡网络。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述遮挡条件下的特征识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述遮挡条件下的特征识别方法的步骤。
本发明提供的遮挡条件下的特征识别方法、人脸识别方法、装置、计算机设备及存储介质，通过对遮挡图像进行图像预处理和对齐处理，得到对齐图像，将所述对齐图像输入到训练好的遮挡网络，并采用所述训练好的遮挡网络对所述对齐图像进行公共特征提取和遮挡区域特征提取，得到公共特征和遮挡区域特征对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征，将所述融合特征输入到识别网络，得到遮挡特征的识别结果，基于采用公共特征和遮挡区域特征的提取和融合，得到的融合特征进行识别，提高了生物特征识别的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中遮挡条件下的特征识别方法的一应用环境示意图；
图2是本发明一实施例中遮挡条件下的特征识别方法的一流程图；
图3是本发明一实施例中遮挡条件下的特征识别装置的结构示意图；
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的遮挡条件下的特征识别方法，可应用在如图1的应用环境中，其中，终端设备通过网络与服务器进行通信。其中，终端设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
***框架100可以包括终端设备、网络和服务器。网络用以在终端设备和服务器之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备通过网络与服务器交互，以接收或者发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture EpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureEperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本发明实施例所提供的遮挡条件下的特征识别方法由服务器执行，相应地，遮挡条件下的特征识别装置设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，根据实现需要，可以具有任意数目的终端设备、网络和服务器，本发明实施例中的终端设备具体可以对应的是实际生产中的应用***。
在一实施例中，如图2所示，提供一种遮挡条件下的特征识别方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤S201至S204。
S201：对遮挡图像进行图像预处理和对齐处理，得到对齐图像。
可选地，所述对遮挡图像进行图像预处理和对齐处理，得到对齐图像包括：
对所述遮挡图像进行目标检测，确定待检测范围；
根据所述待检测范围进行图像裁剪，得到裁剪图像；
对所述裁剪图像中的目标对象进行对齐处理，的带所述对齐图像。
S202：将所述对齐图像输入到训练好的遮挡网络，并采用所述训练好的遮挡网络对所述对齐图像进行公共特征提取和遮挡区域特征提取，得到公共特征和遮挡区域特征。
可选地，所述训练好的遮挡网络包括公共特征提取层、遮挡区域监督分割层和识别层；
所述公共特征提取层包括特征压缩模块和特征扩展模块，其中特征压缩模块采用了基于ResNet的残差卷积块，包括N个卷积块，特征扩展模块包括对应的N个反卷积块；
所述遮挡区域监督分割层由至少三个连续的卷积层和一个Sigmoid层组成；
所述识别层由至少三个连续的卷积层、一个全连接层和一个Softmax层组成。
具体地，公共特征提取，是对于数据增强后的图像，输入到残差卷积模块所组成的U型网络的公共特征提取网络进行特征提取，生成特征图。由公共的对称的U型特征网络提取的特征图，不仅保留了局部的细微特征，同时集成了高层语义信息。为后续的非遮挡区域的有效分割及其后面的识别提供了足够的区分信息。
非遮挡区域提取网络模块的学习，非遮挡区域提取网络由三个连续的卷积层和一层Sigmod层组成，输出为一个单通道的空间Mask图，用于指示该目标区域是否遮挡。所使用的监督标签由的遮挡区域生成操作所生成，并采用随机梯度下降算法优化交叉熵损失函数训练该网络模块。该网络模块学习过程中，一直有着有监督标签组成的监督信号进行指导，此模块能稳定进行收敛学习。
进一步地，在步骤S202之前，该方法还包括：
获取初始的遮挡网络；
获取初始训练数据，对所述初始训练数据进行数据预处理，并对预处理后的数据进行数据增强，得到目标训练数据；
采将所述目标训练数据输入到所述初始的遮挡网络之中进行训练识别，并基于所述目标训练数据中的正负样本，确定训练识别结果；
基于所述训练识别结果对所述初始的遮挡网络中的参数进行调整，并返回所述采将所述目标训练数据输入到所述初始的遮挡网络之中进行训练识别，并基于所述目标训练数据中的正负样本，确定训练识别结果的步骤继续执行，直到所述训练次数或者识别准确率达到预设条件为止；
将得到的遮挡网络作为所述训练好的遮挡网络。
其中，数据增强具体为进行随机数据增强，扩充每个目标的学***移、旋转操作和颜色调整操作。同时采用了自动为目标生成遮挡区域的增强操作，比如为人脸戴口罩和墨镜等操作。且把生成的遮挡区域Mask作为非遮挡区域提取网络模块学习的监督信号。
S203：对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征。
具体地，对非遮挡区域提取结果，通过指数相乘操作把其作用到公共特征模块的输出特征图上进行空间特征选择，指数操作的进行强化了未遮挡区域目标特征区域，同时对遮挡区域进行了弱化，而并非把遮挡区域完全忽略，这进一步增强了融合的容错性和有效性。
可选地，所述对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征包括：
通过指数相乘操作，对所述公共特征的输出特征图进行空间特征选择，得到增强特征；
采用所述增强特征与所述遮挡区域特征进行特征融合，得到所述融合特征。
S204：将所述融合特征输入到识别网络，得到遮挡特征的识别结果。
本实施例中，识别网络模块采用三个连续的带pooling操作的卷积层、一个全连接层和一个Softmax层组成。通过pooling操作，不仅增加了特征图的通道数，而且这隐含的扩大视野域的作用可对目标的高层的语义进行了提取。最后采用随机梯度下降算法优化Softmax损失函数以获得训练后的网络模块参数。
本实施例中，对遮挡图像进行图像预处理和对齐处理，得到对齐图像，将所述对齐图像输入到训练好的遮挡网络，并采用所述训练好的遮挡网络对所述对齐图像进行公共特征提取和遮挡区域特征提取，得到公共特征和遮挡区域特征对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征，将所述融合特征输入到识别网络，得到遮挡特征的识别结果，基于采用公共特征和遮挡区域特征的提取和融合，得到的融合特征进行识别，提高了生物识别的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种遮挡条件下的特征识别装置，该遮挡条件下的特征识别装置与上述实施例中遮挡条件下的特征识别方法一一对应。如图3所示，该遮挡条件下的特征识别装置包括图像处理模块31、特征提取模块32、特征融合模块33和遮挡识别模块34，各模块详叙如下：
图像处理模块31，用于对遮挡图像进行图像预处理和对齐处理，得到对齐图像；
特征提取模块32，用于将对齐图像输入到训练好的遮挡网络，并采用训练好的遮挡网络对对齐图像进行公共特征提取和遮挡区域特征提取，得到公共特征和遮挡区域特征；
特征融合模块33，用于对公共特征和遮挡区域特征进行特征融合，得到融合特征；
遮挡识别模块34，用于将融合特征输入到识别网络，得到遮挡特征的识别结果。
可选地，特征融合模块33包括：
特征增强单元，用于通过指数相乘操作，对公共特征的输出特征图进行空间特征选择，得到增强特征；
特征融合单元，用于采用增强特征与遮挡区域特征进行特征融合，得到融合特征。
可选地，图像处理模块31包括：
目标检测单元，用于对遮挡图像进行目标检测，确定待检测范围；
图像裁剪单元，用于根据待检测范围进行图像裁剪，得到裁剪图像；
对齐处理单元，用于对裁剪图像中的目标对象进行对齐处理，的带对齐图像。
可选地，遮挡条件下的特征识别装置还包括：
初始网络获取模块，用于获取初始的遮挡网络；
数据增强模块，用于获取初始训练数据，对初始训练数据进行数据预处理，并对预处理后的数据进行数据增强，得到目标训练数据；
训练识别模块，用于采将目标训练数据输入到初始的遮挡网络之中进行训练识别，并基于目标训练数据中的正负样本，确定训练识别结果；
迭代模块，用于基于训练识别结果对初始的遮挡网络中的参数进行调整，并返回采将目标训练数据输入到初始的遮挡网络之中进行训练识别，并基于目标训练数据中的正负样本，确定训练识别结果的步骤继续执行，直到训练次数或者识别准确率达到预设条件为止；
网络模型确定模块，用于将得到的遮挡网络作为训练好的遮挡网络。
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。
关于遮挡条件下的特征识别装置的具体限定可以参见上文中对于遮挡条件下的特征识别方法的限定，在此不再赘述。上述遮挡条件下的特征识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储遮挡条件下的特征识别方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种遮挡条件下的特征识别方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中遮挡条件下的特征识别方法的步骤，例如图2所示的步骤S201至步骤S204及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中遮挡条件下的特征识别装置的各模块/单元的功能，例如图3所示模块31至模块34的功能。为避免重复，这里不再赘述。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中遮挡条件下的特征识别方法的步骤，例如图2所示的步骤S201至步骤S204及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中遮挡条件下的特征识别装置的各模块/单元的功能，例如图3所示模块31至模块34的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
Claims (10)
1.一种遮挡条件下的特征识别方法，其特征在于，所述方法包括：
对遮挡图像进行图像预处理和对齐处理，得到对齐图像；
将所述对齐图像输入到训练好的遮挡网络，并采用所述训练好的遮挡网络对所述对齐图像进行公共特征提取和遮挡区域特征提取，得到公共特征和遮挡区域特征；
对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征；
将所述融合特征输入到识别网络，得到遮挡特征的识别结果。
2.根据权利要求1所述的遮挡条件下的特征识别方法，其特征在于，所述训练好的遮挡网络包括公共特征提取层、遮挡区域监督分割层和识别层；
所述公共特征提取层包括特征压缩模块和特征扩展模块，其中特征压缩模块采用了基于ResNet的残差卷积块，包括N个卷积块，特征扩展模块包括对应的N个反卷积块；
所述遮挡区域监督分割层由至少三个连续的卷积层和一个Sigmoid层组成；
所述识别层由至少三个连续的卷积层、一个全连接层和一个Softmax层组成。
3.根据权利要求1所述的遮挡条件下的特征识别方法，其特征在于，所述对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征包括：
通过指数相乘操作，对所述公共特征的输出特征图进行空间特征选择，得到增强特征；
采用所述增强特征与所述遮挡区域特征进行特征融合，得到所述融合特征。
4.根据权利要求1所述的遮挡条件下的特征识别方法，其特征在于，所述对遮挡图像进行图像预处理和对齐处理，得到对齐图像包括：
对所述遮挡图像进行目标检测，确定待检测范围；
根据所述待检测范围进行图像裁剪，得到裁剪图像；
对所述裁剪图像中的目标对象进行对齐处理，得到所述对齐图像。
5.根据权利要求1至4任一项所述的遮挡条件下的特征识别方法，其特征在于，在所述将所述对齐图像输入到训练好的遮挡网络之前，所述方法还包括：
获取初始的遮挡网络；
获取初始训练数据，对所述初始训练数据进行数据预处理，并对预处理后的数据进行数据增强，包括遮挡图像合成，得到目标训练数据；
采将所述目标训练数据输入到所述初始的遮挡网络之中进行训练识别，并基于所述目标训练数据中的正负样本，确定训练识别结果；
基于所述训练识别结果对所述初始的遮挡网络中的参数进行调整，并返回所述采将所述目标训练数据输入到所述初始的遮挡网络之中进行训练识别，并基于所述目标训练数据中的正负样本，确定训练识别结果的步骤继续执行，直到所述训练次数或者识别准确率达到预设条件为止；
将得到的遮挡网络作为所述训练好的遮挡网络。
6.一种遮挡条件下的特征识别装置，其特征在于，所述遮挡条件下的特征识别装置包括：
图像处理模块，用于对遮挡图像进行图像预处理和对齐处理，得到对齐图像；
特征提取模块，用于将所述对齐图像输入到训练好的遮挡网络，并采用所述训练好的遮挡网络对所述对齐图像进行公共特征提取和遮挡区域特征提取，得到公共特征和遮挡区域特征；
特征融合模块，用于对所述公共特征和所述遮挡区域特征进行特征融合，得到融合特征；
遮挡识别模块，用于将所述融合特征输入到识别网络，得到遮挡特征的识别结果。
7.根据权利要求6所述的遮挡条件下的特征识别装置，其特征在于，所述特征融合模块包括：
特征增强单元，用于通过指数相乘操作，对所述公共特征的输出特征图进行空间特征选择，得到增强特征；
特征融合单元，用于采用所述增强特征与所述遮挡区域特征进行特征融合，得到所述融合特征。
8.根据权利要求6所述的遮挡条件下的特征识别装置，其特征在于，所述图像处理模块包括：
目标检测单元，用于对所述遮挡图像进行目标检测，确定待检测范围；
图像裁剪单元，用于根据所述待检测范围进行图像裁剪，得到裁剪图像；
对齐处理单元，用于对所述裁剪图像中的目标对象进行对齐处理，的带所述对齐图像。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述遮挡条件下的特征识别方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述遮挡条件下的特征识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111676900.4A CN114266946A (zh) | 2021-12-31 | 2021-12-31 | 遮挡条件下的特征识别方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111676900.4A CN114266946A (zh) | 2021-12-31 | 2021-12-31 | 遮挡条件下的特征识别方法、装置、计算机设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114266946A true CN114266946A (zh) | 2022-04-01 |
Family
ID=80832416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111676900.4A Pending CN114266946A (zh) | 2021-12-31 | 2021-12-31 | 遮挡条件下的特征识别方法、装置、计算机设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114266946A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693950A (zh) * | 2022-04-22 | 2022-07-01 | 北京百度网讯科技有限公司 | 一种图像特征提取网络的训练方法、装置及电子设备 |
| CN115631509A (zh) * | 2022-10-24 | 2023-01-20 | 智慧眼科技股份有限公司 | 一种行人再识别方法、装置、计算机设备及存储介质 |
| CN116563926A (zh) * | 2023-05-17 | 2023-08-08 | 智慧眼科技股份有限公司 | 一种人脸识别方法、***、设备及计算机可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805828A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN110659582A (zh) * | 2019-08-29 | 2020-01-07 | 深圳云天励飞技术有限公司 | 图像转换模型训练方法、异质人脸识别方法、装置及设备 |
| CN110738153A (zh) * | 2019-09-30 | 2020-01-31 | 汉王科技股份有限公司 | 异质人脸图像转换方法、装置、电子设备及存储介质 |
| CN111310718A (zh) * | 2020-03-09 | 2020-06-19 | 成都川大科鸿新技术研究所 | 一种遮挡人脸图像高准确率检测对比方法 |
| CN111539263A (zh) * | 2020-04-02 | 2020-08-14 | 江南大学 | 一种基于聚合对抗网络的视频人脸识别方法 |
| CN111814741A (zh) * | 2020-07-28 | 2020-10-23 | 四川通信科研规划设计有限责任公司 | 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法 |
| CN111914628A (zh) * | 2020-06-19 | 2020-11-10 | 北京百度网讯科技有限公司 | 人脸识别模型的训练方法和装置 |
| CN111915693A (zh) * | 2020-05-22 | 2020-11-10 | 中国科学院计算技术研究所 | 基于草图的人脸图像生成方法及*** |
| CN113392699A (zh) * | 2021-04-30 | 2021-09-14 | 深圳市安思疆科技有限公司 | 用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备 |
| CN113609900A (zh) * | 2021-06-25 | 2021-11-05 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
-
2021
- 2021-12-31 CN CN202111676900.4A patent/CN114266946A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805828A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN110659582A (zh) * | 2019-08-29 | 2020-01-07 | 深圳云天励飞技术有限公司 | 图像转换模型训练方法、异质人脸识别方法、装置及设备 |
| CN110738153A (zh) * | 2019-09-30 | 2020-01-31 | 汉王科技股份有限公司 | 异质人脸图像转换方法、装置、电子设备及存储介质 |
| CN111310718A (zh) * | 2020-03-09 | 2020-06-19 | 成都川大科鸿新技术研究所 | 一种遮挡人脸图像高准确率检测对比方法 |
| CN111539263A (zh) * | 2020-04-02 | 2020-08-14 | 江南大学 | 一种基于聚合对抗网络的视频人脸识别方法 |
| CN111915693A (zh) * | 2020-05-22 | 2020-11-10 | 中国科学院计算技术研究所 | 基于草图的人脸图像生成方法及*** |
| CN111914628A (zh) * | 2020-06-19 | 2020-11-10 | 北京百度网讯科技有限公司 | 人脸识别模型的训练方法和装置 |
| CN111814741A (zh) * | 2020-07-28 | 2020-10-23 | 四川通信科研规划设计有限责任公司 | 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法 |
| CN113392699A (zh) * | 2021-04-30 | 2021-09-14 | 深圳市安思疆科技有限公司 | 用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备 |
| CN113609900A (zh) * | 2021-06-25 | 2021-11-05 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 杨露菁等: "《智能图像处理及应用》", 31 March 2019, 中国铁道出版社 * |
| 董洪义: "《深度学习之PyTorch物体检测实战》", 31 January 2020, 机械工业出版社 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693950A (zh) * | 2022-04-22 | 2022-07-01 | 北京百度网讯科技有限公司 | 一种图像特征提取网络的训练方法、装置及电子设备 |
| CN114693950B (zh) * | 2022-04-22 | 2023-08-25 | 北京百度网讯科技有限公司 | 一种图像特征提取网络的训练方法、装置及电子设备 |
| CN115631509A (zh) * | 2022-10-24 | 2023-01-20 | 智慧眼科技股份有限公司 | 一种行人再识别方法、装置、计算机设备及存储介质 |
| CN115631509B (zh) * | 2022-10-24 | 2023-05-26 | 智慧眼科技股份有限公司 | 一种行人再识别方法、装置、计算机设备及存储介质 |
| CN116563926A (zh) * | 2023-05-17 | 2023-08-08 | 智慧眼科技股份有限公司 | 一种人脸识别方法、***、设备及计算机可读存储介质 |
| CN116563926B (zh) * | 2023-05-17 | 2024-03-01 | 智慧眼科技股份有限公司 | 一种人脸识别方法、***、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11710293B2 (en) | Target detection method and apparatus, computer-readable storage medium, and computer device | |
| US10936919B2 (en) | Method and apparatus for detecting human face | |
| US20200334830A1 (en) | Method, apparatus, and storage medium for processing video image | |
| CN114266946A (zh) | 遮挡条件下的特征识别方法、装置、计算机设备及介质 | |
| CN112926654B (zh) | 预标注模型训练、证件预标注方法、装置、设备及介质 | |
| JP7425147B2 (ja) | 画像処理方法、テキスト認識方法及び装置 | |
| CN114550241B (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
| CN112364799A (zh) | 一种手势识别方法及装置 | |
| CN113496208B (zh) | 视频的场景分类方法及装置、存储介质、终端 | |
| CN112016502B (zh) | 安全带检测方法、装置、计算机设备及存储介质 | |
| CN111507285A (zh) | 人脸属性识别方法、装置、计算机设备和存储介质 | |
| CN111931707A (zh) | 基于对抗补丁的人脸图像预测方法、装置、设备和介质 | |
| CN115082667A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113591751A (zh) | 变电站异常情况告警方法、装置、计算机设备及存储介质 | |
| CN113887527B (zh) | 人脸图像处理方法、装置、计算机设备及存储介质 | |
| CN114282258A (zh) | 截屏数据脱敏方法、装置、计算机设备及存储介质 | |
| CN113420203A (zh) | 对象推荐方法、装置、电子设备及存储介质 | |
| CN116129881A (zh) | 语音任务处理方法、装置、电子设备及存储介质 | |
| WO2022257433A1 (zh) | 图像的特征图的处理方法及装置、存储介质、终端 | |
| CN113011132A (zh) | 竖排文字识别方法、装置、计算机设备和存储介质 | |
| CN114093027A (zh) | 基于卷积神经网络的动态手势识别方法、装置及可读介质 | |
| CN113743448A (zh) | 模型训练数据获取方法、模型训练方法和装置 | |
| CN111291186A (zh) | 一种基于聚类算法的上下文挖掘方法、装置和电子设备 | |
| CN114241537B (zh) | 指静脉图像真伪识别方法、装置、计算机设备及存储介质 | |
| CN115631509B (zh) | 一种行人再识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220401 |