CN114120430B - 基于双分支权重融合同源性自监督的口罩人脸识别方法 - Google Patents

基于双分支权重融合同源性自监督的口罩人脸识别方法 Download PDF

Info

Publication number
CN114120430B
CN114120430B CN202210090466.XA CN202210090466A CN114120430B CN 114120430 B CN114120430 B CN 114120430B CN 202210090466 A CN202210090466 A CN 202210090466A CN 114120430 B CN114120430 B CN 114120430B
Authority
CN
China
Prior art keywords
model
mask
branch
face recognition
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210090466.XA
Other languages
English (en)
Other versions
CN114120430A (zh
Inventor
王东
肖传宝
王月平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Moredian Technology Co ltd
Original Assignee
Hangzhou Moredian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Moredian Technology Co ltd filed Critical Hangzhou Moredian Technology Co ltd
Priority to CN202210090466.XA priority Critical patent/CN114120430B/zh
Publication of CN114120430A publication Critical patent/CN114120430A/zh
Application granted granted Critical
Publication of CN114120430B publication Critical patent/CN114120430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于双分支权重融合同源性自监督的口罩人脸识别方法，其中，该方法包括：通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型，得到训练好的底层特征共享网络模型；通过双分支权重融合同源性监督损失函数和人脸识别Arcface loss损失函数，分别对人脸识别双分支模型中的左分支子模型与右分支子模型进行训练，并将训练好的左分支子模型与右分支子模型进行权重融合，得到高层语义融合网络模型；将训练好的底层特征共享网络模型与高层语义融合网络模型进行拼接，得到最终的人脸识别预测模型。通过本申请，解决了如何提升口罩人脸通过率的业界难题，大幅度提高了口罩人脸的识别通过率，提高了识别精度，降低了成本。

Description

基于双分支权重融合同源性自监督的口罩人脸识别方法
技术领域
本申请涉及人脸识别技术领域，特别是涉及基于双分支权重融合同源性自监督的口罩人脸识别方法。
背景技术
现如今，佩戴口罩作为重要的防疫手段之一已经成为人们生活和工作中的常态，在保证相同误识率的前提下，如何提升口罩人脸的通过率至今仍然是业界难题。例如，在口罩遮挡住大半部分人脸的情况下，通用的人脸识别***已经无法准确快速地满足机场实名检票、公司考勤或社区门禁等***的通行需求，给人脸识别技术相关的城市信息化***带来了新的挑战。因此，急需一种解决上述问题的方案。
实际上，佩戴口罩的人脸图像识别问题本质上属于视觉遮挡问题。在相关技术中，在解决这类遮挡问题时，一方面，从数据入手，粗暴地增加一定比例的相关样本，然而，采用这种方式虽然可以使得口罩人脸识别精度有所提升，但是数值却非常有限，并且会大幅度降低非口罩人脸的识别精度。除了上述数据方面，另一方面，技术人员在方法层面也进行了尝试，但是现有的深度学习注意力机制、加大网络计算量、多模型特征加权等手段在实践中皆被证明无法解决遮挡问题。因为，上述这些方法只能非常有限地提升口罩人脸的识别精度，距离目标精度还是存在较大的差距，同时对口罩人脸场景和非口罩人脸场景两者的识别精度的兼顾性较差；此外，如果采用上述方法，那么计算量很大，会导致边缘计算设备上的识别耗时增加，从而体感变差。
目前针对相关技术中，对口罩人脸进行识别时，存在的识别通过率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于双分支权重融合同源性自监督的口罩人脸识别方法，以至少解决相关技术中对口罩人脸进行识别时，存在的识别通过率低的问题。
第一方面，本申请实施例提供了一种基于双分支权重融合同源性自监督的口罩人脸识别方法，所述方法包括：
通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型，得到训练好的底层特征共享网络模型；
通过双分支权重融合同源性监督损失函数和人脸识别Arcface loss损失函数，分别对人脸识别双分支模型中的左分支子模型与右分支子模型进行训练，并将训练好的左分支子模型与右分支子模型进行权重融合，得到高层语义融合网络模型；
将所述训练好的底层特征共享网络模型与所述高层语义融合网络模型进行拼接，得到最终的人脸识别预测模型。
在其中一些实施例中，所述通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型包括：
将所述余弦曲线的学习率和在线口罩增广比例分为不同的阶段，并动态设置不同阶段的余弦曲线学习率和在线口罩增广比例的参数；
通过所述人脸识别Arcface loss损失函数训练所述基础人脸识别模型。
在其中一些实施例中，通过贴合手段对人脸图像进行口罩贴合，得到口罩人脸图像；
对所述人脸图像和所述口罩人脸图像进行不同比例的预设，得到所述在线口罩增广比例数据。
在其中一些实施例中，所述通过双分支权重融合同源性监督损失函数和人脸识别Arcface loss损失函数，分别对人脸识别双分支模型中的左分支子模型与右分支子模型进行训练包括：
通过所述人脸识别Arcface loss损失函数训练所述左分支子模型，得到训练好的左分支子模型，并固定所述左分支子模型的网络参数；
通过所述双分支权重融合同源性监督损失函数和所述人脸识别Arcface loss损失函数对所述右分支子模型进行训练，得到训练好的右分支子模型。
在其中一些实施例中，通过所述双分支权重融合同源性监督损失函数和所述人脸识别Arcface loss损失函数对所述右分支子模型进行训练包括：
获取所述训练好的左分支子模型的输出特征，通过所述双分支权重融合同源性监督损失函数对所述左分支子模型的输出特征以及所述右分支子模型的输出特征进行训练，同时通过人脸识别Arcface loss损失函数对所述右分支子模型的输出特征进行训练。
在其中一些实施例中，将训练好的左分支子模型与右分支子模型进行权重融合包括：
通过自定义加权参数，对训练好的左分支子模型与右分支子模型进行不同比例的权重融合，调节不同的场景优先级。
在其中一些实施例中，在得到最终的人脸识别预测模型之后，所述方法包括：
通过所述最终的人脸识别预测模型对口罩人脸进行预测识别，输出得到识别结果。
第二方面，本申请实施例提供了一种基于双分支权重融合同源性自监督的口罩人脸识别***，所述***包括：
基础训练模块，用于通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型，得到训练好的底层特征共享网络模型；
双分支训练融合模块，用于通过双分支权重融合同源性监督损失函数和人脸识别Arcface loss损失函数，分别对人脸识别双分支模型中的左分支子模型与右分支子模型进行训练，并将训练好的左分支子模型与右分支子模型进行权重融合，得到高层语义融合网络模型；
拼接模块，用于将所述训练好的底层特征共享网络模型与所述高层语义融合网络模型进行拼接，得到最终的人脸识别预测模型。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于双分支权重融合同源性自监督的口罩人脸识别方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于双分支权重融合同源性自监督的口罩人脸识别方法。
相比于相关技术，本申请实施例提供的基于双分支权重融合同源性自监督的口罩人脸识别方法，通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型，得到训练好的底层特征共享网络模型；通过双分支权重融合同源性监督损失函数和人脸识别Arcface loss损失函数，分别对人脸识别双分支模型中的左分支子模型与右分支子模型进行训练，并将训练好的左分支子模型与右分支子模型进行权重融合，得到高层语义融合网络模型；将训练好的底层特征共享网络模型与高层语义融合网络模型进行拼接，得到最终的人脸识别预测模型。
本申请首先基于余弦曲线交替优化的在线细粒度口罩人脸数据增广方法训练基础人脸识别模型，解决了相关技术中通过离线粗暴增加数据的方式进行人脸识别时，存在的口罩人脸和非口罩人脸识别精度的兼顾性比较差的问题。接着，本申请提出了一种双分支权重融合同源性监督训练损失函数，通过该损失函数可以约束两条分支的输出特征值保持较小的二范距离，保持两者的权重高层语义同源性，从而保证了在后续的权重融合环节的成功率，同时也提高了精度增益率。进一步地，本发明通过一种深度卷积网络模型权重加权融合的方法，在不增加任何计算量的前提下，实现兼顾口罩人脸和非口罩人脸两种场景的高精度识别，同时可以通过设置加权系数以调节场景优先级。最后，本申请将底层特征共享模型与高层语义融合网络模型进行拼接，得到最终的人脸识别预测模型，并通过底层特征共享，高层语义双分支的深度卷积网络训练方法训练拼接模型，以实现口罩人脸和非口罩人脸两种场景下模型的高效收敛，并且相较于其他多模型特征融合方式，本申请可以大幅度降低训练阶段的计算和时间成本，提高了效率。
因此，通过上述方案，本申请解决了如何提升口罩人脸的通过率的业界难题，大幅度提高了口罩人脸的识别通过率，也提高了识别精度，降低了成本。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于双分支权重融合同源性自监督的口罩人脸识别方法的应用环境示意图；
图2是根据本申请实施例的基于双分支权重融合同源性自监督的口罩人脸识别方法的流程图；
图3是根据本申请实施例的余弦曲线交替优化口罩人脸数据增广的曲线示意图；
图4是根据本申请实施例的在线口罩数据增广方法的效果示意图；
图5是根据本申请实施例的人脸识别双分支模型的网络结构示意图；
图6是根据本申请实施例的基于双分支权重融合同源性自监督的口罩人脸识别***的结构框图；
图7是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供的基于双分支权重融合同源性自监督的口罩人脸识别方法，可以应用于如图1所示的应用环境中，图1是根据本申请实施例的基于双分支权重融合同源性自监督的口罩人脸识别方法的应用环境示意图，如图1所示。其中，终端11与服务器10通过网络进行通信。服务器10通过余弦曲线交替优化的方法动态调整学***板电脑和便携式可穿戴设备，服务器10可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
需要说明的是，本申请可应用到不同的口罩防疫场景中，例如，地铁刷脸安检、社区门禁、防疫安检等场景，除此之外，还可以应用到其他人脸被遮挡的场景下，不仅仅局限于戴口罩遮挡人脸的情况。
优选的，以下实施例主要通过口罩人脸的场景对本申请进行具体说明。
本实施例提供了一种基于双分支权重融合同源性自监督的口罩人脸识别方法，图2是根据本申请实施例的基于双分支权重融合同源性自监督的口罩人脸识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型，得到训练好的底层特征共享网络模型；
图3是根据本申请实施例的余弦曲线交替优化口罩人脸数据增广的曲线示意图，如图3所示，优选的，本实施例将余弦曲线的学习率和在线口罩增广比例分为不同的阶段，并动态设置不同阶段的余弦曲线学习率和在线口罩增广比例的参数。具体地，可分为基础阶段(Enhance Baseline)、低口罩比例阶段(Low Mask Ratio)、高口罩比例阶段(HighMask Ratio)、均衡口罩比例阶段(Banlance&More Epoch)的四个连续阶段；其中，可根据经验依次设置上述四个阶段的学习率，如图3中的黑色粗线所示，基础阶段可设置为恒定0.01；低口罩比例阶段的起始学习率设置为0.075，然后经余弦曲线衰落至0.01；高口罩比例阶段的起始学习率设置为0.075，然后经余弦曲线增长至0.12；最后的均衡口罩比例阶段的学习率恒定设置为0.075。本实施例通过上述四个阶段设置的学习率对模型进行训练，能有效构建一个逐渐趋近全局最优的训练过程，其中，训练迭代总次数可进行自定义设置，本实施例中最优设置为60轮。
需要说明的是，本实施例中的余弦曲线的学习率和在线口罩增广比例中采用的余弦曲线函数如下式（1）所示：
Figure DEST_PATH_IMAGE001
（1）
其中，T为总训练步数，t为当前训练步数，cos为计算余弦值符号，value_start为 初始学习率或初始口罩贴合比例值，value_end为阶段目标学习率或阶段目标口罩贴合比 例值，
Figure 808117DEST_PATH_IMAGE002
表示所求得的当前学习率或口罩贴合比例值。
图4是根据本申请实施例的在线口罩数据增广方法的效果示意图，如图4所示，获取口罩图橡和人脸图像，其中，口罩图像来自于：对事先准备好的适量不同款式的口罩进行拍照，并将口罩照片制作成背景透明的图片；接着，通过贴合手段，例如ps手段，对人脸图像进行口罩图像的贴合，固定贴合到人脸眼部以下区域，近似模拟得到真实的戴口罩人脸图像，如图4中所示；最后，对人脸图像和模拟得到的口罩人脸图像进行不同比例的预设，可以得到上述不同的在线口罩增广比例数据。
进一步地，上述所有参数设置好之后，本实施例通过通用的人脸识别Arcfaceloss损失函数训练基础人脸识别模型Model_A，得到训练好的底层特征共享网络模型Shared_Net_Stage，其中，Arcface loss损失函数计算公式如下式（2）所示：
Figure DEST_PATH_IMAGE003
（2）
其中，i代表属于
Figure 646629DEST_PATH_IMAGE004
类的第i个样本，N代表批处理的数量，n代表类别数，m为角度惩 罚值，s为向量模长的尺度超参数，
Figure 691945DEST_PATH_IMAGE006
为特征向量与全连接层权重矩阵第i列的夹角。
需要说明的是，本实施例中采用的基础人脸识别模型可为几类经典的人脸识别模型，例如，卷积神经网络、残差网络和DenseNet网络等，本实施例中不做具体限定。
本实施例基于余弦曲线交替优化的在线细粒度口罩人脸数据增广方法训练基础人脸识别模型，解决了相关技术中通过离线粗暴增加数据的方式进行人脸识别时，存在的口罩人脸和非口罩人脸识别精度的兼顾性比较差的问题，有利于后续的模型训练；
步骤S202，通过双分支权重融合同源性监督损失函数和人脸识别Arcface loss损失函数，分别对人脸识别双分支模型中的左分支子模型与右分支子模型进行训练，并将训练好的左分支子模型与右分支子模型进行权重融合，得到高层语义融合网络模型；
图5是根据本申请实施例的人脸识别双分支模型的网络结构示意图，如图5所示，分叉点Branching Point以上的网络部分为步骤S201中对基础识别模型Model_A进行训练后，得到的训练好的网络模块，即底层特征共享网络模型Shared_Net_Stage，这部分网络模型在后续训练双分支模型的过程中，不参与网络的反向传播，即这部分网络模型的网络参数固定。分叉点Branching Point以下的网络部分即为双分支模型，分别包括适应非口罩场景的左分支子模型Sub_Model_nonMask、适应口罩场景的右分支子模型Sub_Model_Mask，其中，左右两条分支的网络结构完全相同。
优选的，如图5所示，在对上述两条分支模型进行训练时，需要对双分支分别进行first train和next train的先后两次训练，即先对左分支子模型进行训练，再用训练好的左分支子模型输出的特征向量参与到后面的右分子模型训练中。具体地，首先通过通用的人脸识别Arcface loss损失函数训练左分支子模型，此时需要关闭在线口罩增广比例，即将其比例值设为0.0，并自定义设置训练轮数，此时，由于是对分支模型进行微调，不需要很多的训练轮数，因此，这里的自定义训练轮数可设为步骤S201中训练轮数的1/n倍，例如上述步骤S201中最优设置为60轮，则此时最优训练轮数可设置为6轮，训练结束后可得到训练好的左分支子模型，并固定左分支子模型的网络参数；
接着，获取上述训练好的左分支子模型的输出特征，通过双分支权重融合同源性监督损失函数对左分支子模型的输出特征以及右分支子模型的输出特征进行训练，同时通过人脸识别Arcface loss损失函数对右分支子模型的输出特征进行训练，此时在线口罩增广比例值固定设置为0.1，训练轮数与左分支一样，训练结束后得到训练好的右分支子模型。
通过上述步骤训练双分支模型，可以约束两条分支的输出特征值Features_nonMask和Features_Mask保持较小的二范距离，保证两者的权重高层语义同源性，并保证了后续的权重融合环节的成功率，还提高了精度增益率。
需要说明的是，本实施例中采用的双分支权重融合同源性监督损失函数（Homology Supervised Loss）的计算公式如下式（3）所示：
L2 = ||Features_nonMask - Features_Mask|| （3）
其中，Features_nonMask为适应非口罩场景的左分支子模型的特征向量，Features_Mask为适应口罩场景的右分支子模型的特征向量，计算符||表示求两者的欧式距离。
此外，左分支子模型的训练损失函数的计算公式如公式（2）所示，右分支子模型的训练损失函数计算公式如下式（4）所示：
Figure DEST_PATH_IMAGE007
（4）
其中，λ为用于均衡学习偏向性的超参数。
进一步地，在对双分支模型训练完成之后，将训练好的左分支子模型Sub_Model_nonMask与右分支子模型Sub_Model_Mask进行权重融合，得到高层语义融合网络模型Merged_Net_Stage。其中，可以通过自定义加权参数，对训练好的左分支子模型与右分支子模型进行不同比例的权重融合，调节不同的场景优先级。例如，如果该模型应用于医院场景时，可将加权参数设置为大于0.5的值，从而提高适应口罩场景的右分支子模型的网络权重比例，提高戴口罩场景的优先级，达到适应医院场景的目的；反之，若模型应用于非口罩场景时，可将加权参数设置为小于0.5的值，达到适应非口罩场景的目的。本实施例中通过一种深度卷积网络模型权重加权融合的方法，在不增加任何计算量的前提下，实现兼顾口罩人脸和非口罩人脸两种场景的高精度识别，同时可以通过设置加权系数以调节场景优先级。
需要说明的是，本实施例中的权重融合计算公式如下式（5）所示：
Parmas_Merged
= (1-α) * Parmas_nonMask +α* Parmas_Mask，0.0<α<1.0 （5）
其中，Parmas_Merged为融合得到的高层语义融合网络模块的网络权重， Parmas_nonMask为适应非口罩场景的左分支子模型训练好的网络权重，Parmas_Mask为适应口罩场景的右分支子模型训练好的网络权重，α为加权参数。
步骤S203，将训练好的底层特征共享网络模型与高层语义融合网络模型进行拼接，得到最终的人脸识别预测模型。
优选的，本实施例中将步骤S201中训练好的基础人脸识别模型Model_A中的底层特征共享网络模型Shared_Net_Stage部分与步骤S202中得到的高层语义融合网络模型Merged_Net_Stage进行前后拼接，得到最终的人脸识别预测模型。
在其中一些实施例中，在得到最终的人脸识别预测模型之后，通过该最终的人脸识别预测模型对口罩人脸图像进行预测识别，输出得到识别结果，输出的识别结果即可用于表征一张戴口罩的人脸或者常规人脸。
通过上述步骤S201至步骤S203，本实施例集合多种算法和训练方法，解决了如何提升口罩人脸的通过率的业界难题，提高了口罩人脸的识别通过率，尤其是在医院、公共场所等大量防疫场景中的人脸识别实际产品运行中，本申请可大幅度提升口罩人脸的识别精度。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于双分支权重融合同源性自监督的口罩人脸识别***，该***用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的基于双分支权重融合同源性自监督的口罩人脸识别***的结构框图，如图6所示，该***包括基础训练模块61、双分支训练融合模块62和拼接模块63：
基础训练模块61，用于通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型，得到训练好的底层特征共享网络模型；双分支训练融合模块62，用于通过双分支权重融合同源性监督损失函数和人脸识别Arcface loss损失函数，分别对人脸识别双分支模型中的左分支子模型与右分支子模型进行训练，并将训练好的左分支子模型与右分支子模型进行权重融合，得到高层语义融合网络模型；拼接模块63，用于将训练好的底层特征共享网络模型与高层语义融合网络模型进行拼接，得到最终的人脸识别预测模型。
通过上述***，本实施例集合多种算法和训练方法，解决了如何提升口罩人脸的通过率的业界难题，提高了口罩人脸的识别通过率，尤其是在医院、公共场所等大量防疫场景中的人脸识别实际产品运行中，本申请可大幅度提升口罩人脸的识别精度。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
另外，结合上述实施例中的基于双分支权重融合同源性自监督的口罩人脸识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于双分支权重融合同源性自监督的口罩人脸识别方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于双分支权重融合同源性自监督的口罩人脸识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图7是根据本申请实施例的电子设备的内部结构示意图，如图7所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作***、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作***和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于双分支权重融合同源性自监督的口罩人脸识别方法，数据库用于存储数据。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于双分支权重融合同源性自监督的口罩人脸识别方法，其特征在于，所述方法包括：
通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型，得到训练好的底层特征共享网络模型；
通过双分支权重融合同源性监督损失函数和人脸识别Arcface loss损失函数，分别对人脸识别双分支模型中的左分支子模型与右分支子模型进行训练，具体步骤包括：首先通过人脸识别Arcface loss损失函数训练左分支子模型，获取训练好的左分支子模型的输出特征，通过双分支权重融合同源性监督损失函数对左分支子模型的输出特征以及右分支子模型的输出特征进行训练，同时通过人脸识别Arcface loss损失函数对右分支子模型的输出特征进行训练；将训练好的左分支子模型与右分支子模型进行权重融合，得到高层语义融合网络模型，其中，双分支模型分别包括适应非口罩场景的左分支子模型Sub_Model_nonMask、适应口罩场景的右分支子模型Sub_Model_Mask，且左右两条分支的网络结构完全相同；双分支权重融合同源性监督损失函数的计算公式如下式所示：
L2 = ||Features_nonMask - Features_Mask||
其中，Features_nonMask为适应非口罩场景的左分支子模型的特征向量，Features_Mask为适应口罩场景的右分支子模型的特征向量，计算符||表示求两者的欧式距离；
将所述训练好的底层特征共享网络模型与所述高层语义融合网络模型进行拼接，得到最终的人脸识别预测模型。
2.根据权利要求1所述的方法，其特征在于，所述通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型包括：
将余弦曲线的学习率和在线口罩增广比例分为不同的阶段，并动态设置不同阶段的余弦曲线学习率和在线口罩增广比例的参数；
通过所述人脸识别Arcface loss损失函数训练所述基础人脸识别模型。
3.根据权利要求2所述的方法，其特征在于，
通过贴合手段对人脸图像进行口罩贴合，得到口罩人脸图像；
对所述人脸图像和所述口罩人脸图像进行不同比例的预设，得到所述在线口罩增广比例数据。
4.根据权利要求1所述的方法，其特征在于，将训练好的左分支子模型与右分支子模型进行权重融合包括：
通过自定义加权参数，对训练好的左分支子模型与右分支子模型进行不同比例的权重融合，调节不同的场景优先级。
5.根据权利要求1所述的方法，其特征在于，在得到最终的人脸识别预测模型之后，所述方法包括：
通过所述最终的人脸识别预测模型对口罩人脸进行预测识别，输出得到识别结果。
6.一种基于双分支权重融合同源性自监督的口罩人脸识别***，其特征在于，所述***包括：
基础训练模块，用于通过余弦曲线交替优化的方法动态调整学习率和在线口罩增广比例，并训练基础人脸识别模型，得到训练好的底层特征共享网络模型；
双分支训练融合模块，用于通过双分支权重融合同源性监督损失函数和人脸识别Arcface loss损失函数，分别对人脸识别双分支模型中的左分支子模型与右分支子模型进行训练，具体步骤包括：通过人脸识别Arcface loss损失函数训练左分支子模型，获取训练好的左分支子模型的输出特征，通过双分支权重融合同源性监督损失函数对左分支子模型的输出特征以及右分支子模型的输出特征进行训练，同时通过人脸识别Arcface loss损失函数对右分支子模型的输出特征进行训练，将训练好的左分支子模型与右分支子模型进行权重融合，得到高层语义融合网络模型，其中，双分支模型分别包括适应非口罩场景的左分支子模型Sub_Model_nonMask、适应口罩场景的右分支子模型Sub_Model_Mask，且左右两条分支的网络结构完全相同；双分支权重融合同源性监督损失函数的计算公式如下式所示：
L2 = ||Features_nonMask - Features_Mask||
其中，Features_nonMask为适应非口罩场景的左分支子模型的特征向量，Features_Mask为适应口罩场景的右分支子模型的特征向量，计算符||表示求两者的欧式距离；
拼接模块，用于将所述训练好的底层特征共享网络模型与所述高层语义融合网络模型进行拼接，得到最终的人脸识别预测模型。
7.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的基于双分支权重融合同源性自监督的口罩人脸识别方法。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的基于双分支权重融合同源性自监督的口罩人脸识别方法。
CN202210090466.XA 2022-01-26 2022-01-26 基于双分支权重融合同源性自监督的口罩人脸识别方法 Active CN114120430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210090466.XA CN114120430B (zh) 2022-01-26 2022-01-26 基于双分支权重融合同源性自监督的口罩人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210090466.XA CN114120430B (zh) 2022-01-26 2022-01-26 基于双分支权重融合同源性自监督的口罩人脸识别方法

Publications (2)

Publication Number Publication Date
CN114120430A CN114120430A (zh) 2022-03-01
CN114120430B true CN114120430B (zh) 2022-04-22

Family

ID=80361485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210090466.XA Active CN114120430B (zh) 2022-01-26 2022-01-26 基于双分支权重融合同源性自监督的口罩人脸识别方法

Country Status (1)

Country Link
CN (1) CN114120430B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549938B (zh) * 2022-04-25 2022-09-09 广州市玄武无线科技股份有限公司 模型训练方法、图像信息管理方法、图像识别方法及装置
CN115116122B (zh) * 2022-08-30 2022-12-16 杭州魔点科技有限公司 一种基于双分支协同监督的口罩识别方法和***
CN117095447B (zh) * 2023-10-18 2024-01-12 杭州宇泛智能科技有限公司 一种跨域人脸识别方法、装置、计算机设备及存储介质
CN117576766B (zh) * 2024-01-16 2024-04-26 杭州魔点科技有限公司 一种跨时空兼容性无监督自学习人脸识别方法和***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质
CN111639535A (zh) * 2020-04-29 2020-09-08 深圳英飞拓智能技术有限公司 基于深度学习的人脸识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636681B2 (en) * 2018-11-21 2023-04-25 Meta Platforms, Inc. Anticipating future video based on present video
CN113537066B (zh) * 2021-07-16 2022-09-09 烽火通信科技股份有限公司 基于多粒度混合损失的戴口罩人脸识别方法与电子设备
CN113688785A (zh) * 2021-09-10 2021-11-23 深圳市同为数码科技股份有限公司 基于多监督的人脸识别方法、装置、计算机设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质
CN111639535A (zh) * 2020-04-29 2020-09-08 深圳英飞拓智能技术有限公司 基于深度学习的人脸识别方法及装置

Also Published As

Publication number Publication date
CN114120430A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN114120430B (zh) 基于双分支权重融合同源性自监督的口罩人脸识别方法
Chowdhury et al. Optimal feature extraction and classification-oriented medical insurance prediction model: machine learning integrated with the internet of things
WO2021169637A1 (zh) 图像识别方法、装置、计算机设备及存储介质
US11087199B2 (en) Context-aware attention-based neural network for interactive question answering
Li et al. Integrated CNN and federated learning for COVID-19 detection on chest X-ray images
CN111695415A (zh) 图像识别模型的构建方法、识别方法及相关设备
CN111178524A (zh) 基于联邦学习的数据处理方法、装置、设备及介质
CN109409125B (zh) 一种提供隐私保护的数据采集和回归分析方法
CN111080397A (zh) 信用评估方法、装置及电子设备
CN110378470B (zh) 神经网络模型的优化方法、装置以及计算机存储介质
US20240112359A1 (en) Methods and apparatus for orientation keypoints for complete 3d human pose computerized estimation
EP3696701A1 (en) System for evaluating useful work and method of operation thereof
US20230097391A1 (en) Image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
Tai et al. Smart fall prediction for elderly care using iPhone and apple watch
Bai et al. No panic in pandemic: The impact of individual choice on public health policy and vaccine priority
CN114881893B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN112116589A (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
Liang et al. Homogeneity tests and interval estimations of risk differences for stratified bilateral and unilateral correlated data
Debnath Application of intuitionistic neutrosophic soft sets in decision making based on game theory
Abdulmunem et al. Deep learning based masked face recognition in the era of the COVID-19 pandemic
CN116612849A (zh) 医疗方案推荐方法、装置、设备及存储介质
Artime Ríos et al. Genetic algorithm based on support vector machines for computer vision syndrome classification
CN115482928A (zh) 基于人工智能的数据预测方法、装置、设备及存储介质
CN114331540A (zh) 训练模型的方法、确定资产估值的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant