CN116758617B - 一种低光照度场景下的校园学生签到方法和校园签到*** - Google Patents
一种低光照度场景下的校园学生签到方法和校园签到*** Download PDFInfo
- Publication number
- CN116758617B CN116758617B CN202311027739.7A CN202311027739A CN116758617B CN 116758617 B CN116758617 B CN 116758617B CN 202311027739 A CN202311027739 A CN 202311027739A CN 116758617 B CN116758617 B CN 116758617B
- Authority
- CN
- China
- Prior art keywords
- low
- data set
- face
- image
- campus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000005286 illumination Methods 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 37
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 230000008485 antagonism Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种低光照度场景下的校园学生签到方法和校园签到***。签到方法包括以下步骤：利用自校准技术对校园人脸图像进行低光照度增强；利用转换器神经网络模型创建人脸签到编码器并对图像进行编码；利用梯度反转技术对编码器进行多尺度局部特征对齐和多尺度全局特征对齐；利用转换器神经网络模型创建解码器并实现低光照度检测头；使用无监督域自适应技术训练并保存模型，得到低光照度场景下的人脸签到结果。签到***包括处理单元、编码单元、对齐单元和识别单元，以实现上述签到方法。本发明可以通过无监督自适应有效地检测低照度图像中的对象，显著降低模型对样本的依赖性。能够对齐图像的整体属性，从而减少特征偏差。
Description
技术领域
本发明涉及人脸识别签到技术领域，具体而言，涉及一种低光照度场景下的校园学生签到方法和校园签到***。
背景技术
人脸识别签到是计算机视觉的一项基础任务，广泛应用于人脸签到、自动驾驶和场景理解等工业场景。尽管弱光环境是日常活动不可或缺的一部分，但低光照环境对计算机视觉构成了重大挑战。通常，在夜间或者雾天期间获得的图像具有低对比度、低亮度、噪声和因光线不足而产生的模糊等特点。这样的图像直接降低了现有人脸签到模型的性能，导致了显著的检测误差。尽管人脸识别领域取得了重大突破，但现有的研究涉及明亮的图像，而不是弱光。因此，适用于低照度图像的校园人脸签到方法对于人工智能在校园中的应用至关重要。目前低照度场景下的人脸识别***主要有：（1）基于图像增强的检测方法。为了在夜间或阴天等不利条件下获得可靠的检测，必须满足低照度图像增强的要求。这种方法需要对低照度图像进行预处理，以提高亮度和对比度，然后检测增强的图像。（2）基于端到端检测的方法。这一类别使用监督学习来建立检测模型，并且需要大量带注释的训练数据，收集这些数据既昂贵又耗时。（3）基于无监督领域的自适应检测方法。使用标记的数据集作为源域，使用未标记的数据集中作为目标域，有助于模型在域或类别级别上学习域不变特征表示。在没有标签或标签很少的正常照明数据集的情况下，该方法可以将从正常照明数据学习的特征应用于低照明图像检测。
发明内容
本发明旨在至少解决现有技术中存在的以下技术问题之一：
（1）无法处理低光照度场景。在现有的校园人脸签到***中，在雾天、夜间获得的图像具有低对比度、低亮度、噪声和因光线不足而产生的模糊等特点。这样的图像直接降低了现有对象检测模型的性能，导致了显著的检测误差。
（2）图像全局特征损失。意味着具有正常照明的源域图像和具有低照明的目标域图像的分布可能无法使用对抗性损失在全局图像级别上精确匹配，因为这两个域具有不同的场景布局和对象组合。
（3）图像局部特征丢失。是指完全匹配局部特征，例如具有正常照明的源域图像和具有低照明的目标域图像的纹理和颜色，这可能会因为两个图像的类级语义的偏差而失败。在目前的大多数方法中，研究人员只关注使用局部或全局特征对齐。
为此，本发明第一方面提供了一种低光照度场景下的校园学生签到方法。
本发明第二方面提供了一种校园签到***。
本发明提供了一种低光照度场景下的校园学生签到方法，包括以下步骤：
S1、利用自校准技术对校园人脸图像进行低光照度增强；
S2、利用转换器神经网络模型创建人脸签到编码器并对图像进行编码；
S3、利用梯度反转技术对编码器进行多尺度局部特征对齐和多尺度全局特征对齐；
S4、利用转换器神经网络模型创建解码器并实现低光照度检测头；
S5、使用无监督域自适应技术训练并保存模型，得到低光照度场景下的人脸签到结果。
根据本发明上述技术方案的一种低光照度场景下的校园学生签到方法，还可以具有以下附加技术特征：
在上述技术方案中，步骤S1包括：
S11、建立低光照度人脸识别数据集，抽取至少部分低光照度人脸识别数据集中的数据作为源域数据集，将低光照度人脸识别数据集中的剩余数据作为目标域数据集；
S12、使用同态滤波模型对源域数据集中的图像进行微光图像增强，学习低照度图像和期望的清晰图像之间的照度关系，在图像增强的同时进行照度估计，并通过去除所估计的照度获取增强后的输出亮度，再根据同态滤波理论建立照度学习关系式；
S13、对照度关系进行自校准；首先，定义自校准模块，使微光图像增强过程中每个阶段收敛到同一个状态；将每个前一阶段的输入定义为低光观察，桥接每个阶段的输入；然后，引入自校准映射并将其添加到低光观察中，在每个阶段中的输入和第一阶段之间呈现照度差异；最后，形成自校准模型。
在上述技术方案中，步骤S1还包括：
S14、训练自校准模型；采用无监督学习来增强网络学习能力，其中，将保真度定义为自校准模型的总损失。
在上述技术方案中，步骤S2包括：
S21、创建人脸签到编码器；所述编码器是基于转换器神经网络的双向编码结构，所述编码器包括多头注意力和前馈神经网络；
S22、将源域数据集中的图像划分为多个图像块；
S23、将每个图像块输入至人脸签到编码器进行向量计算，获得人脸图像多头注意力向量，创建多头注意力矩阵计算人脸图像多头注意力向量的注意力得分；
S24、将注意力得分进行归一化处理，得到归一化处理后的注意力得分；
S25、将经过归一化处理后的注意力得分输入到前馈神经网络FFN中进行线性变换，得到低照度人脸图像的浅层人脸图像特征向量。
在上述技术方案中，步骤S3中，所述进行多尺度局部特征对齐包括：
S31、将低照度人脸图像的浅层人脸图像特征向量送入到梯度反转层GRL中，并使用对抗性学习策略来减少前向传播过程中多尺度局部特征对齐模块的损失，而在反向传播过程中，梯度反转层GRL将输入误差乘以负标量以增加多尺度局部特征对齐模块损失，从而减少源域数据集和目标域数据集的低级特征差异；
S32、将S31生成的特征图馈送到不同通道大小的多个卷积层中；
S33、将经S32处理的特征图输入到相应的领域分类层中，并使用最小二乘法训练多尺度局部特征对齐模块的损失函数，所述多尺度局部特征对齐模块的损失函数包括源域数据集的局部特征对准损失和目标域数据集的局部特征对准损失。
在上述技术方案中，步骤S3中，所述多尺度全局特征对齐包括
S34、将进行了多尺度局部特征对齐后的输出向量送入到梯度反转层GRL中，使用对抗性学习策略，其中梯度反转层GRL在前向传播期间最小化多尺度全局特征对齐模块的损失，并通过在后向传播期间将输入误差乘以负标量来最大化多尺度全局特征对齐模块损失，从而减少源域数据集和目标域数据集之间的低级特征差异；
S35、将S34生成的特征图馈送到不同通道大小的多个卷积层中；
S36、将经S35处理的特征图输入到领域分类层中，使得域分类器无法区分特征来自源域数据集还是目标域数据集，并使用最小二乘法训练多尺度全局特征对齐模块的损失函数，所述多尺度全局特征对齐模块的损失函数包括源域数据集的全局特征对准损失和目标域数据集的全局特征对准损失。
在上述技术方案中，步骤S4包括：
S41、创建人脸签到解码器；所述解码器是基于转换器神经网络的双向编码结构；所述解码器包括多头注意力和前馈神经网络；
S42、将步骤S3获取到的特征向量送入到解码器中；
S43、遍历解码器，实现人脸检测头网络；
S44、创建人脸签到检测头网络，通过训练全连接神经网络，得到权重向量和偏差项；根据检测网络的预测结果，利用交叉熵损失函数计算人脸识别效果损失估计。
在上述技术方案中，步骤S43包括：
S431、依次遍历每一个解码器层以获得注意力得分；
S432、创建多头注意力矩阵，多头注意力矩阵包括查询矩阵、键矩阵和值矩阵；
S433、根据多头注意力矩阵，计算注意力得分；
S434、将注意力得分进行归一化处理，得到归一化处理后的注意力得分；
S435、将归一化处理后的注意力得分输入到前馈神经网络中，通过前馈神经网络输出图像语义向量。
在上述技术方案中，步骤S5包括：
S51、无监督域自适应训练；首先，使用源域数据集对模型进行训练，训练完成后保存模型并设定为源域；然后，将模型的学习到的知识进行迁移到目标域数据集并设定为目标域；最后，使用目标域数据集对模型进行测试；
S52、识别人脸签到；利用全连接神经网络对步骤S51模型的输出向量进行分类与回归处理，得到人脸识别的检测结果。
本发明还提供了一种校园签到***，采用如上述技术方案中任一项所述的方法实现低光照度场景下的校园学生签到，包括：
处理单元, 利用自校准技术对校园人脸图像进行低光照度增强，建立校园人脸图像数据预处理模块；
编码单元，利用转换器神经网络模型创建人脸签到编码器并对图像进行编码，建立校园人脸编码单元；
对齐单元，利用梯度反转技术对编码器进行多尺度局部特征对齐和多尺度全局特征对齐，建立校园人脸对齐单元；
识别单元，利用转换器神经网络模型创建解码器并实现低光照度检测头，使用无监督域自适应技术训练并保存模型，得到低光照度场景下的人脸签到结果。
综上所述，由于采用了上述技术特征，本发明的有益效果是：
（1） 本发明通过使用正常照明图像作为源域和使用低照明图像作为目标域来改进通用对象检测网络。本发明可以通过无监督自适应有效地检测低照度图像中的对象，显著降低模型对样本的依赖性。
（2） 本发明开发了一种新的域自适应多尺度局部特征对齐模块和多尺度全局特征对齐模块，该模块对特征图执行多尺度局部特性对齐，以对齐特征图中的感知场，从而减少低水平特征偏差。对特征图进行多尺度全局（图像级）特征对齐，以对齐图像的整体属性，从而减少背景、场景和目标布局等特征偏差。
（3） 基于与当前方法的综合评估和比较，本发明在低照度校园人脸签到中表现提高了其性能，证明了所提出的方法具有良好的泛化能力。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一个实施例提供的一种低光照度场景下的校园学生签到方法的流程示意图；
图2为本发明一个实施例提供的一种校园签到***的结构框图。
其中，图1至图2中附图标记与部件名称之间的对应关系为：
210、处理单元；220、编码单元；230、对齐单元；240、识别单元。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其它不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图2来描述根据本发明一些实施例提供的一种低光照度场景下的校园学生签到方法和校园签到***。
本申请的一些实施例提供了一种低光照度场景下的校园学生签到方法。
如图1所示，本发明第一个实施例提出了一种低光照度场景下的校园学生签到方法，种低光照度场景下的校园学生签到方法，包括以下步骤：
S1、利用自校准技术对校园人脸图像进行低光照度增强；具体地，步骤S1包括：
S11、建立低光照度人脸识别数据集，抽取至少部分低光照度人脸识别数据集中的数据作为源域数据集，将低光照度人脸识别数据集中的剩余数据作为目标域数据集；在一个具体实施例中，抽取低照度人脸识别数据集中的前80%数据设定为源域数据集XS; 然后，将低照度人脸识别数据集中剩余的20%数据抽取出来设定为目标域数据集XT；最后，将目标域数据集XT中的标签删除。
S12、使用同态滤波模型对源域数据集XS中的图像进行微光图像增强，学习低照度图像和期望的清晰图像之间的照度关系，公式为：c，其中，a为期望的清晰图像，y为低照度图像，c为可调整光；然后，在图像增强的同时进行照度估计，并通过去除所估计的照度获取增强后的输出亮度，再根据同态滤波理论建立照度学习关系式；其中，引入一个参数θ来映射照度关系/>；则照度学习关系式F为：
其中，ut表示第t阶段（t=0，…，T-1）的残差项，T为总阶段数，xt表示第t阶段（t=0，…，T-1）的照度，y为低照度图像；其中，采用了权重共享机制，即在每个阶段中具有相同的架构H和权重θ。
S13、对照度关系进行自校准；首先，定义自校准模块，使微光图像增强过程中每个阶段收敛到同一个状态；将每个前一阶段的输入定义为低光观察，桥接每个阶段的输入；然后，引入自校准映射s和v，并将其添加到低光观察中，在每个阶段中的输入和第一阶段之间呈现照度差异，公式为：
其中，为生成的自校准模型；t≥1，zt是每个阶段的清晰图像输入,vt是每个阶段的转换输入，st是每个阶段的映射输入，Kθ是引入的参数化运算符，且可学习的参数。
最后，形成自校准模型，即转换为基本第t阶段的单位（t≥1）的照度学习关系式可以写成：
。
在一些实施例中，步骤S1还包括：
S14、训练自校准模型；考虑到现有训练方法的不准确性，采用无监督学习来增强网络学习能力，其中，将模型的总损失定义为Lf，Lf表示保真度，则有：
其中，d为预测的照度结果，et-1为校准的结果输出。
S2、利用转换器神经网络模型创建人脸签到编码器并对图像进行编码；具体地，步骤S2包括：
S21、创建人脸签到编码器；所述编码器是基于转换器神经网络的双向编码结构，在一个具体实施例中，编码器的数量为12个，每个所述编码器包括多头注意力和前馈神经网络；
S22、将源域数据集Xs中的图像划分为多个图像块；
S23、将每个图像块输入至人脸签到编码器进行向量计算，获得人脸图像多头注意力向量，创建多头注意力矩阵计算人脸图像多头注意力向量的注意力得分；计算方法如下：
multihead = Concat(head1, …, headh)×WQ
其中，multihead表示图像多头注意力，Concat(•)表示图像注意力连接函数，headi表示第i个图像注意力，h表示向量大小，WQ表示权重向量，Q表示查询矩阵，Softmax(•)表示归一化函数，KT表示转置后的键矩阵，V表示值矩阵；dk表示键矩阵的维度。
S24、将注意力得分进行归一化处理，得到归一化处理后的注意力得分，方法为：
M=U+Sublayer(U)
其中，M表示经过残差连接后的注意力得分向量，U表示人脸图像注意力，Sublayer(•)表示残差连接。
S25、将经过归一化处理后的注意力得分向量M输入到前馈神经网络FFN中进行线性变换，得到低照度人脸图像的浅层人脸图像特征向量。具体地，采用以下公式：
FFN(M) = Max(0, W1+b1)×W2+b2
其中，Max(•)表示神经元的激活函数，0表示激活函数的梯度，W1表示第1层的权重，W2表示第2层的权重，b1表示第一层待学习的参数，b2表示第二层待学习的参数。
S3、利用梯度反转技术对编码器进行多尺度局部特征对齐和多尺度全局特征对齐；具体地，步骤S3中，所述进行多尺度局部特征对齐包括：
S31、将低照度人脸图像的浅层人脸图像特征向量送入到梯度反转层GRL中，并使用对抗性学习策略来最大限度地减少前向传播过程中多尺度局部特征对齐模块的损失，而在反向传播过程中，梯度反转层GRL将输入误差乘以负标量以最大限度地增加多尺度局部特征对齐模块损失，从而减少源域数据集和目标域数据集的低级特征差异；
S32、将S31生成的特征图馈送到不同通道大小的多个卷积层中，以提高特征提取网络获得的特征的域不变性；
S33、将经S32处理的特征图输入到相应的领域分类层DC中，并使用最小二乘法训练多尺度局部特征对齐模块的损失函数，所述多尺度局部特征对齐模块的损失函数包括源域数据集的局部特征对准损失和目标域数据集的局部特征对准损失。计算方法如下：
其中和/>是源域和目标域中的局部特征对齐损失，/>是源域输入的第i个图像，/>是目标域输入的第i个图像，/>是第j个多尺度局部特征提取器，/>是第j个多尺度域分类器层的输出，W和H分别是特征图的宽度和高度，w和h为代表特征图的宽度和高度取值的参数，/>和/>分别是正常照明图像的总数和低照明图像的总量。
步骤S3中，所述多尺度全局特征对齐包括
S34、将进行了多尺度局部特征对齐后的输出向量送入到梯度反转层GRL中，使用对抗性学习策略，其中梯度反转层GRL在前向传播期间最小化多尺度全局特征对齐模块的损失，并通过在后向传播期间将输入误差乘以负标量来最大化多尺度全局特征对齐模块损失，从而减少源域数据集和目标域数据集之间的低级特征差异；
S35、将S34生成的特征图馈送到不同通道大小的多个卷积层中；
S36、将经S35处理的特征图输入到领域分类层DC中，使得域分类器无法区分特征来自源域数据集还是目标域数据集，从而提高生成网络的域不变性；并使用最小二乘法训练多尺度全局特征对齐模块的损失函数，所述多尺度全局特征对齐模块的损失函数包括源域数据集的全局特征对准损失和目标域数据集的全局特征对准损失：
其中，是源域输入的第i个图像，/>是目标域输入的第i个图像，/>是第j个多尺度全局特征提取器，/>是第j个多尺度域分类层的输出，/>和/>分别是正常照明图像的总数和低照明图像的总量。
S4、利用转换器神经网络模型创建解码器并实现低光照度检测头；具体地，步骤S4包括：
S41、创建人脸签到解码器；所述解码器是基于转换器神经网络的双向编码结构；在一个具体实施例中，解码器的数量为12个，每个所述解码器包括多头注意力和前馈神经网络；
S42、将步骤S3获取到的特征向量送入到解码器中；
S43、遍历解码器，实现人脸检测头网络；具体包括以下步骤：
S431、依次遍历每一个解码器层以获得注意力得分；
S432、创建多头注意力矩阵，多头注意力矩阵包括查询矩阵Q、键矩阵K和值矩阵V；
S433、根据多头注意力矩阵，计算注意力得分；
S434、将注意力得分进行归一化处理，得到归一化处理后的注意力得分；
S435、将归一化处理后的注意力得分输入到前馈神经网络中，通过前馈神经网络输出图像语义向量。
S44、创建人脸签到检测头网络，通过训练全连接神经网络，得到权重向量和偏差项/>；对于全连接神经网络第一层的输入向量g，输入神经元数为768，输出神经元数为2；根据检测网络的预测结果，利用交叉熵损失函数计算人脸识别效果损失估计。其中，计算过程中使用的全连接网络的前向传播函数P、全连接网络的损失函数Lf1的公式如下：
其中，f为网络激活函数；g为人脸样本；S为样本的个数；为第i个样本的损失；/>表示样本i的标签，正值为1，负值为0；/>表示样本i被预测为正值的概率；N为类别个数。
S5、使用无监督域自适应技术训练并保存模型，得到低光照度场景下的人脸签到结果。具体地，步骤S5包括：
S51、无监督域自适应训练；首先，使用源域数据集对模型进行训练，训练完成后保存模型并设定为源域；然后，将模型的学习到的知识进行迁移到目标域数据集并设定为目标域；最后，使用目标域数据集对模型进行测试；无监督域自适应训练的公式为：
其中，为模型的最终输出向量，/>为在源域数据集中学习到的知识，/>为在目标域数据集上学习到的知识。
S52、识别人脸签到；利用全连接神经网络对步骤S51模型的输出向量进行分类与回归处理，得到人脸识别的检测结果。人脸识别分类Y的公式为：
Y = f(K)×X+h
其中，f(•)为网络激活函数，K表示权重矩阵，X为人脸图像语义表示向量，h为待学习的模型参数。
本发明第二个实施例提出了一种校园签到***，如图2所示，采用如上述实施例所述的方法实现低光照度场景下的校园学生签到，包括：
处理单元210, 利用自校准技术对校园人脸图像进行低光照度增强，建立校园人脸图像数据预处理模块；
编码单元220，利用转换器神经网络模型创建人脸签到编码器并对图像进行编码，建立校园人脸编码单元；
对齐单元230，利用梯度反转技术对编码器进行多尺度局部特征对齐和多尺度全局特征对齐，建立校园人脸对齐单元；
识别单元240，利用转换器神经网络模型创建解码器并实现低光照度检测头，使用无监督域自适应技术训练并保存模型，得到低光照度场景下的人脸签到结果。
在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种低光照度场景下的校园学生签到方法，其特征在于，包括以下步骤：
S1、利用自校准技术对校园人脸图像进行低光照度增强；
S2、利用转换器神经网络模型创建人脸签到编码器并对图像进行编码；
S3、利用梯度反转技术对编码器进行多尺度局部特征对齐和多尺度全局特征对齐；
S4、利用转换器神经网络模型创建解码器并实现低光照度检测头；
S5、使用无监督域自适应技术训练并保存模型，得到低光照度场景下的人脸签到结果；
其中，步骤S1包括：
S11、建立低光照度人脸识别数据集，抽取至少部分低光照度人脸识别数据集中的数据作为源域数据集，将低光照度人脸识别数据集中的剩余数据作为目标域数据集；
S12、使用同态滤波模型对源域数据集中的图像进行微光图像增强，学习低照度图像和期望的清晰图像之间的照度关系，在图像增强的同时进行照度估计，并通过去除所估计的照度获取增强后的输出亮度，再根据同态滤波理论建立照度学习关系式；
S13、对照度关系进行自校准；首先，定义自校准模块，使微光图像增强过程中每个阶段收敛到同一个状态；将每个前一阶段的输入定义为低光观察，桥接每个阶段的输入；然后，引入自校准映射并将其添加到低光观察中，在每个阶段中的输入和第一阶段之间呈现照度差异；最后，形成自校准模型；
S14、训练自校准模型；采用无监督学习来增强网络学习能力，其中，将保真度定义为自校准模型的总损失；
步骤S2包括：
S21、创建人脸签到编码器；所述编码器是基于转换器神经网络的双向编码结构，所述编码器包括多头注意力和前馈神经网络；
S22、将源域数据集中的图像划分为多个图像块；
S23、将每个图像块输入至人脸签到编码器进行向量计算，获得人脸图像多头注意力向量，创建多头注意力矩阵计算人脸图像多头注意力向量的注意力得分；
S24、将注意力得分进行归一化处理，得到归一化处理后的注意力得分；
S25、将经过归一化处理后的注意力得分输入到前馈神经网络FFN中进行线性变换，得到低照度人脸图像的浅层人脸图像特征向量；
步骤S4包括：
S41、创建人脸签到解码器；所述解码器是基于转换器神经网络的双向编码结构；所述解码器包括多头注意力和前馈神经网络；
S42、将步骤S3获取到的特征向量送入到解码器中；
S43、遍历解码器，实现人脸检测头网络；
S44、创建人脸签到检测头网络，通过训练全连接神经网络，得到权重向量和偏差项；根据检测网络的预测结果，利用交叉熵损失函数计算人脸识别效果损失估计；
步骤S43包括：
S431、依次遍历每一个解码器层以获得注意力得分；
S432、创建多头注意力矩阵，多头注意力矩阵包括查询矩阵、键矩阵和值矩阵；
S433、根据多头注意力矩阵，计算注意力得分；
S434、将注意力得分进行归一化处理，得到归一化处理后的注意力得分；
S435、将归一化处理后的注意力得分输入到前馈神经网络中，通过前馈神经网络输出图像语义向量。
2.根据权利要求1所述的一种低光照度场景下的校园学生签到方法，其特征在于，步骤S3中，所述进行多尺度局部特征对齐包括：
S31、将低照度人脸图像的浅层人脸图像特征向量送入到梯度反转层GRL中，并使用对抗性学习策略来减少前向传播过程中多尺度局部特征对齐模块的损失，而在反向传播过程中，梯度反转层GRL将输入误差乘以负标量以增加多尺度局部特征对齐模块损失，从而减少源域数据集和目标域数据集的低级特征差异；
S32、将S31生成的特征图馈送到不同通道大小的多个卷积层中；
S33、将经S32处理的特征图输入到相应的领域分类层中，并使用最小二乘法训练多尺度局部特征对齐模块的损失函数，所述多尺度局部特征对齐模块的损失函数包括源域数据集的局部特征对准损失和目标域数据集的局部特征对准损失。
3.根据权利要求2所述的一种低光照度场景下的校园学生签到方法，其特征在于，步骤S3中，所述多尺度全局特征对齐包括
S34、将进行了多尺度局部特征对齐后的输出向量送入到梯度反转层GRL中，使用对抗性学习策略，其中梯度反转层GRL在前向传播期间最小化多尺度全局特征对齐模块的损失，并通过在后向传播期间将输入误差乘以负标量来最大化多尺度全局特征对齐模块损失，从而减少源域数据集和目标域数据集之间的低级特征差异；
S35、将S34生成的特征图馈送到不同通道大小的多个卷积层中；
S36、将经S35处理的特征图输入到领域分类层中，使得域分类器无法区分特征来自源域数据集还是目标域数据集，并使用最小二乘法训练多尺度全局特征对齐模块的损失函数，所述多尺度全局特征对齐模块的损失函数包括源域数据集的全局特征对准损失和目标域数据集的全局特征对准损失。
4.根据权利要求3所述的一种低光照度场景下的校园学生签到方法，其特征在于，步骤S5包括：
S51、无监督域自适应训练；首先，使用源域数据集对模型进行训练，训练完成后保存模型并设定为源域；然后，将模型的学习到的知识进行迁移到目标域数据集并设定为目标域；最后，使用目标域数据集对模型进行测试；
S52、识别人脸签到；利用全连接神经网络对步骤S51模型的输出向量进行分类与回归处理，得到人脸识别的检测结果。
5.一种校园签到***，其特征在于，采用如权利要求1至4中任一项所述的方法实现低光照度场景下的校园学生签到，包括：
处理单元, 利用自校准技术对校园人脸图像进行低光照度增强，建立校园人脸图像数据预处理模块；
编码单元，利用转换器神经网络模型创建人脸签到编码器并对图像进行编码，建立校园人脸编码单元；
对齐单元，利用梯度反转技术对编码器进行多尺度局部特征对齐和多尺度全局特征对齐，建立校园人脸对齐单元；
识别单元，利用转换器神经网络模型创建解码器并实现低光照度检测头，使用无监督域自适应技术训练并保存模型，得到低光照度场景下的人脸签到结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311027739.7A CN116758617B (zh) | 2023-08-16 | 2023-08-16 | 一种低光照度场景下的校园学生签到方法和校园签到*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311027739.7A CN116758617B (zh) | 2023-08-16 | 2023-08-16 | 一种低光照度场景下的校园学生签到方法和校园签到*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116758617A CN116758617A (zh) | 2023-09-15 |
| CN116758617B true CN116758617B (zh) | 2023-11-10 |
Family
ID=87953595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311027739.7A Active CN116758617B (zh) | 2023-08-16 | 2023-08-16 | 一种低光照度场景下的校园学生签到方法和校园签到*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758617B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与*** |
| CN113052210A (zh) * | 2021-03-11 | 2021-06-29 | 北京工业大学 | 一种基于卷积神经网络的快速低光照目标检测方法 |
| CN113111947A (zh) * | 2021-04-16 | 2021-07-13 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
| CN113269903A (zh) * | 2021-05-24 | 2021-08-17 | 上海应用技术大学 | 人脸识别课堂考勤*** |
| CN113902915A (zh) * | 2021-10-12 | 2022-01-07 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及*** |
| CN114998145A (zh) * | 2022-06-07 | 2022-09-02 | 湖南大学 | 一种基于多尺度和上下文学习网络的低照度图像增强方法 |
| CN115861101A (zh) * | 2022-11-29 | 2023-03-28 | 福州大学 | 一种基于深度可分离卷积的低照度图像增强方法 |
| CN115880225A (zh) * | 2022-11-10 | 2023-03-31 | 北京工业大学 | 一种基于多尺度注意力机制的动态光照人脸图像质量增强方法 |
| WO2023092386A1 (zh) * | 2021-11-25 | 2023-06-01 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、终端设备及计算机可读存储介质 |
| CN116580243A (zh) * | 2023-05-24 | 2023-08-11 | 北京理工大学 | 一种掩码图像建模引导域适应的跨域遥感场景分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10997690B2 (en) * | 2019-01-18 | 2021-05-04 | Ramot At Tel-Aviv University Ltd. | Method and system for end-to-end image processing |
-
2023
- 2023-08-16 CN CN202311027739.7A patent/CN116758617B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与*** |
| CN113052210A (zh) * | 2021-03-11 | 2021-06-29 | 北京工业大学 | 一种基于卷积神经网络的快速低光照目标检测方法 |
| CN113111947A (zh) * | 2021-04-16 | 2021-07-13 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
| CN113269903A (zh) * | 2021-05-24 | 2021-08-17 | 上海应用技术大学 | 人脸识别课堂考勤*** |
| CN113902915A (zh) * | 2021-10-12 | 2022-01-07 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及*** |
| WO2023092386A1 (zh) * | 2021-11-25 | 2023-06-01 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、终端设备及计算机可读存储介质 |
| CN114998145A (zh) * | 2022-06-07 | 2022-09-02 | 湖南大学 | 一种基于多尺度和上下文学习网络的低照度图像增强方法 |
| CN115880225A (zh) * | 2022-11-10 | 2023-03-31 | 北京工业大学 | 一种基于多尺度注意力机制的动态光照人脸图像质量增强方法 |
| CN115861101A (zh) * | 2022-11-29 | 2023-03-28 | 福州大学 | 一种基于深度可分离卷积的低照度图像增强方法 |
| CN116580243A (zh) * | 2023-05-24 | 2023-08-11 | 北京理工大学 | 一种掩码图像建模引导域适应的跨域遥感场景分类方法 |
Non-Patent Citations (4)
| Title |
|---|
| Low-Light Image Enhancement Combined with Attention Map and U-Net Network;Weiji He等;《2020 IEEE 3rd International Conference on Information Systems and Computer Aided Education (ICISCAE)》;397-401 * |
| Multi-Scale Feature Guided Low-Light Image Enhancement;Lanqing Guo等;《2021 IEEE International Conference on Image Processing (ICIP)》;554-558 * |
| 低光照条件下的图像增强和识别关键技术研究;梁锦秀;《中国博士学位论文全文数据库 (信息科技辑)》(第01期);I138-97 * |
| 基于注意力机制和域适应的低照度目标检测方法研究;肖芸;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第02期);I138-3196 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116758617A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414462B (zh) | 一种无监督的跨域行人重识别方法及*** | |
| CN105447473B (zh) | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 | |
| CN108985268B (zh) | 基于深度迁移学习的归纳式雷达高分辨距离像识别方法 | |
| CN111898736B (zh) | 基于属性感知的高效行人重识别方法 | |
| Komorowski et al. | Minkloc++: lidar and monocular image fusion for place recognition | |
| CN114492574A (zh) | 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法 | |
| CN112381788B (zh) | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 | |
| CN111931814B (zh) | 一种基于类内结构紧致约束的无监督对抗域适应方法 | |
| CN109492610B (zh) | 一种行人重识别方法、装置及可读存储介质 | |
| CN113743544A (zh) | 一种跨模态神经网络构建方法、行人检索方法及*** | |
| CN114283325A (zh) | 一种基于知识蒸馏的水下目标识别方法 | |
| CN116486408A (zh) | 遥感图像跨域语义分割方法及装置 | |
| CN111242870A (zh) | 一种基于深度学习知识蒸馏技术的低光图像增强方法 | |
| CN116758617B (zh) | 一种低光照度场景下的校园学生签到方法和校园签到*** | |
| CN117372853A (zh) | 一种基于图像增强和注意力机制的水下目标检测算法 | |
| CN116246338B (zh) | 一种基于图卷积和Transformer复合神经网络的行为识别方法 | |
| CN116958700A (zh) | 一种基于提示工程和对比学习的图像分类方法 | |
| CN111578956A (zh) | 一种基于深度学习的视觉slam定位方法 | |
| Schenkel et al. | Domain adaptation for semantic segmentation using convolutional neural networks | |
| CN115761268A (zh) | 一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法 | |
| Xia et al. | Multi-RPN Fusion-Based Sparse PCA-CNN Approach to Object Detection and Recognition for Robot-Aided Visual System | |
| CN116895002B (zh) | 基于多重图对比学习的源自由域适应目标检测方法及*** | |
| CN117523549B (zh) | 基于深宽知识蒸馏的三维点云物体识别方法 | |
| CN116129198B (zh) | 一种多域轮胎花纹图像分类方法、***、介质及设备 | |
| CN117409264B (zh) | 基于transformer的多传感器数据融合机器人地形感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |