CN112131970A - 一种基于多通道时空网络和联合优化损失的身份识别方法 - Google Patents
一种基于多通道时空网络和联合优化损失的身份识别方法 Download PDFInfo
- Publication number
- CN112131970A CN112131970A CN202010926230.6A CN202010926230A CN112131970A CN 112131970 A CN112131970 A CN 112131970A CN 202010926230 A CN202010926230 A CN 202010926230A CN 112131970 A CN112131970 A CN 112131970A
- Authority
- CN
- China
- Prior art keywords
- gait
- network
- loss
- sequence
- joint optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000005457 optimization Methods 0.000 title claims abstract description 38
- 230000005021 gait Effects 0.000 claims abstract description 116
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000009499 grossing Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 47
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 15
- 230000000007 visual effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004791 biological behavior Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于多通道时空网络和联合优化损失的身份识别方法，包括多通道时空网络***和联合优化损失***，所述联合优化损失***包括改进三元损失函数、标签平滑正则化交叉熵损失函数两部分，所述标签平滑正则化交叉熵损失函数为针对传统分类网络在训练过程中交叉熵损失函数，计算所述交叉熵损失中融入标签平滑正则化。解决了基于传统图像方法步态识别跨视角准确度较低且基于模型的步态识别方法计算复杂、耗时长的等问题，为实时身份识别技术提供方法保证。
Description
技术领域
本发明涉及身份识别方法技术领域，具体涉及一种基于多通道时空网络和联合优化损失的身份识别方法。
背景技术
近年来，人工智能技术日趋成熟并逐渐走向应用，越来越多的行业开始进入智能技术革新阶段。身份认证领域也从传统的用户名/密码认证、IC卡认证、动态口令认证，逐渐发展成现有的人体生物特征识别认证。利用计算机技术与传感器技术相结合，根据每个人独特的生理特征或者行为特征来完成个人身份的鉴定，是目前安全系数最高的身份认证技术之一。步态识别作为一种新兴的生物特征识别技术，近年来也开始逐渐被挖掘。被识别者无需接触传感器，对步态图像的采集方向和图像质量要求也不高，远距离任意角度即可完成身份认证。虽然目前的步态识别技术还未能达到商用水平，但其独特优势及广泛的应用前景吸引了越来越多的学者参与研究。在新型建设智慧城市报告中，重点强调了公民数字身份认证和网络身份识别技术的安全性，因此发展步态识别技术也可以很好的与其他生物特征识别技术形成互补，为当代智能安防建设中身份认证提供新的思路。现有的CASIA-B数据库为中科院自动化所公开的大型步态数据库CASIA－B，CASIA－B数据库包含124人(男93人，女31人)，每人11个视角(0°,18°,36°,54°,72°，90°，108°，126°，144°，162°，180°)，每个视角下有3种行走状态(普通条件,穿大衣,携带包裹)。
基于步态骨架序列的步态识别在视角变化、携带物等场景下的鲁棒性更强，但细化后的骨架序列丢了大量有效特征，降低了不同个体间的差异性，其优缺点刚好和基于步态轮廓序列的方法形成互补，结合两类步态序列的优势，提出一种多通道时空网络和联合优化损失的步态识别方法，在保证有效特征相似度学习的同时，加快网络训练收敛速度，提高视角变化、携带物等场景下的身份识别准确率。
发明内容
为了解决现有技术中存在的某种或某些技术问题，本发明提供一种基于多通道时空网络和联合优化损失的身份识别方法，解决了基于传统图像方法步态识别跨视角准确度较低且基于模型的步态识别方法计算复杂、耗时长的等问题，为实时身份识别技术提供方法保证。
为解决上述现有的技术问题，本发明采用如下方案：
一种基于多通道时空网络和联合优化损失的身份识别方法，包括多通道时空网络***和联合优化损失***，所述联合优化损失***包括改进三元损失函数、标签平滑正则化交叉熵损失函数两部分，所述标签平滑正则化交叉熵损失函数为针对传统分类网络在训练过程中交叉熵损失函数，计算所述交叉熵损失中融入标签平滑正则化，实现该方法的步骤包括：
步骤一、步态序列预处理，通过步态图像预处理算法，将CASIA－B步态数据库中的步态图像，分别通过步态序列预处理成尺寸一致、中心对齐的步态轮廓序列和骨架序列；
步骤二、将步态序列预处理所得步态骨架序列和轮廓序列共同输入多通道时空网络***，以充分提取步态序列间时空特征；
步骤三、结合三元组网络建立步态身份识别模型；
步骤四、结合改进三元损失和优化交叉熵损失共同监督网络训练。
进一步地，所述多通道时空网络***为采用多通道浅层卷积神经网络串联长短时记忆神经网络的结构作为特征提取的主干网络，并将周期内一一对应的步态骨架、轮廓序列直接作为网络的输入，以充分挖掘步态序列间时空信息。
进一步地，所述改进三元损失为针对三元损失训练过程中正负样本的挑选方式进行改进，在正负样本的选择上增加更强的约束。
进一步地，所述三元损失值的计算方法为在训练过程每个Batch中计算所有样本的空间欧氏距离，并通过距离原样本最近的负样本和距离原样本最远的正样本来计算，其计算公式为：
其中，每个Batch中输入p个类别的原样本，并且每个类别的样本选择k帧不同的步态序列，组成p*k帧步态序列，Lth为最终三元损失值，a表示原样本，A为与原样本距离最远的正样本集合，B为与原样本距离最近的负样本集合。
进一步地，所述标签平滑正则化交叉熵损失函数中的标签平滑正则化方法的计算公式为：
其中，λ为平滑标签的权重，其取值范围为λ∈[0,1]，n为标签种类的个数。
进一步地，在交叉熵损失中融入LSR后的表达式为：
进一步地，联合改进三元损失函数和标签平滑正则化交叉熵损失函数，共同监督网络训练，融合后的所述联合优化损失***损失函数表达式为：
Ltotal＝k×LLSR-ce+Lth
其中，LLSR-ce为加入LSR的交叉熵损失函数，Lth为改进的三元损失函数，k为融合两种损失函数的权重系数。
进一步地，还包括注意力机制，通过所述多通道时空网络***可捕捉到关键帧并对其步态特征重点提取，以增加网络模型的准确率和鲁棒性。
进一步地，所述注意力机制中包含有步态序列的权重，所述步态序列的权重为每类步态序列的共有帧数与对应长短时记忆神经网络输出的分数进行归一化后所得，其计算公式为：
其中，Qj表示对应j帧步态序列的权重系数，cj表示长短时记忆神经网络第j帧步态序列融合特征的输出值。
进一步地，根据所得权重系数Qj进一步计算基于注意力机制的时空特征，其计算公式为：
其中，F表示基于注意力机制获得的时空特征，Qj为attention机制所得第j帧序列所得权重系数，
为对应j帧步态骨架、轮廓序列的融合特征。
相比现有技术，本发明的有益效果在于：
现有步态骨架相比步态轮廓在视角变化、携带物等场景下的鲁棒性更强，但细化后的骨架序列丢了大量有效特征，降低了不同个体间的差异性，其优缺点刚好和步态轮廓形成互补。通过联合优化损失***首先改进三元损失训练过程中正负样本的挑选方式，从而增强度量学***滑正则化，从而提高网络分类准确率，联合以上两类改进损失函数共同监督网络训练，在保证有效特征距离度量学习的同时，提高分类识别准确率，克服网络不易收敛的问题，有效的解决了基于传统图像方法步态识别跨视角准确度较低且基于模型的步态识别方法计算复杂、耗时长的等问题，为实时身份识别技术提供方法保证，同时提高现代生物行为特征识别技术，保证携带物、穿着等复杂场景下的身份识别的安全性同时，提高步态身份识别准确率。
附图说明
图1为基于多通道时空网络和联合优化损失的身份识别框架示意图；
图2为多通道时空网络***示意图；
图3为本发明联合优化损失方案示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
如图1～3所示，一种基于多通道时空网络和联合优化损失的身份识别方法，包括多通道时空网络***和联合优化损失***，所述联合优化损失***包括改进三元损失函数、标签平滑正则化交叉熵损失函数两部分，所述标签平滑正则化交叉熵损失函数为针对传统分类网络在训练过程中交叉熵损失函数，计算所述交叉熵损失中融入标签平滑正则化，实现该方法的步骤包括：
步骤一、步态序列预处理，通过步态图像预处理算法，将CASIA－B步态数据库中的步态图像，分别通过步态序列预处理成尺寸一致、中心对齐的步态轮廓序列和骨架序列；
步骤二、将步态序列预处理所得步态骨架序列和轮廓序列共同输入多通道时空网络***，以充分提取步态序列间时空特征；
步骤三、结合三元组网络建立步态身份识别模型；
步骤四、结合改进三元损失和优化交叉熵损失共同监督网络训练。
在通过步态序列预处理时，首先通过步态图像预处理算法，想步态视频集处理成一帧帧步态图像，并结合姿态估计和图像运动目标提取方法，获取步态骨架图和轮廓图，进一步结合二插值放大及图像质心对齐中心化算法，将步态骨架、轮廓图处理成尺寸一致，中心对齐的步态序列，为后续特征度量学习和分类网络提供实验样本。
所述多通道时空网络***为采用多通道浅层卷积神经网络串联长短时记忆神经网络的结构作为特征提取的主干网络，并将周期内一一对应的步态骨架、轮廓序列直接作为网络的输入，以充分挖掘步态序列间时空信息。
基于上述发明方法，与现有方法相比具有突出的区别和贡献在于：
涉及一种新的多通道时空网络***，通过多通道浅层卷积网络串联长短时记忆网络作为多通道时空网络的主干，以充分提取步态序列时空信息，为后续步态身份识别提高更具鉴别力的步态特征，具体结构如图2所示。
基于多通道时空网络和联合优化损失的步态身份识别方法框架如图1所示，该方法包括：(1)将步态骨架序列和步态轮廓序列共同作为多通道时空网络***的输入，结合注意力机制充分提取步态序列间时空特征，为后续特征度量学***滑正则化(label smoothingregularization,LSR)方法优化交叉熵损失函数，针对传统分类网络在训练过程中，交叉熵损失函数未能有效使用负样本的标签位置造成网络分类识别准确率低，为此选择在计算交叉熵损失中融入标签平滑正则化，从而提高网络分类准确率，联合以上两类优化损失函数共同监督网络训练，在保证有效特征距离度量学习的同时，提高分类识别准确率，克服网络不易收敛的问题；(3)在CASIA-B数据库进行大量对比实验，进一步验证了本发明的有效性。
采用多通道浅层卷积神经网络***串联长短时记忆神经网络的结构作为特征提取的主干网络，并将周期内一一对应的步态骨架、轮廓序列直接作为网络的输入，以充分挖掘步态序列间时空信息。
进一步地对三元损失函数进行改进，该部分主要针对三元损失训练过程中正负样本的挑选方式进行改进，在正负样本的选择上增加更强的约束，即选择异类视角差较小的步态序列作为负样本，同类视角差较大的步态序列作为正样本。通过选取合适的正、负样本，从而有效避免正负样本间欧氏距离过远，进一步增强度量学习网络的泛化性和鲁棒性。
其改进为：所述改进三元损失为针对三元损失训练过程中正负样本的挑选方式进行改进，在正负样本的选择上增加更强的约束；三元损失函数是目前常用特征距离度量学***滑正则化方法来优化计算交叉熵损失，以提高测试网络分类精度。联合以上两类改进损失函数共同监督网络训练，在保证有效特征距离度量学习的同时，提高分类识别准确率，克服网络不易收敛的问题。
所述三元损失值的计算方法为在训练过程每个Batch中计算所有样本的空间欧氏距离，并通过距离原样本最近的负样本和距离原样本最远的正样本来计算，具体的，在训练过程每个Batch中计算所有样本的空间欧氏距离，并通过距离原样本最近的负样本(高相似负样本)和距离原样本最远的正样本(低相似正样本)来计算最终的三元损失，使网络能够快速收敛的同时避免出现震荡的情况。例如：每个Batch中输入p个类别的原样本，并且每个类别的样本选择k帧不同的步态序列，组成p*k帧步态序列。则最终三损失可表示为：
其中，每个Batch中输入p个类别的原样本，并且每个类别的样本选择k帧不同的步态序列，组成p*k帧步态序列，Lth为最终三元损失值，a表示原样本，A为与原样本距离最远的正样本集合，B为与原样本距离最近的负样本集合。
更进一步地对标签平滑正则化交叉熵损失函数进行改进，本文中由于训练集中样本类别数量较多，从而增加了负标签的数量，而在使用传统Softmax计算分类概率的交叉熵损失函数中，采用one-hot标签的计算方式忽略了负样本的标签位置。最终导致网络可以对训练集中样本分类进行良好拟合，但是由于未能有效利用负样本的标签位置，从而造成测试网络的准确率降低。为此，本文通过加入标签平滑正则化(label smoothingregularization,LSR)方法来计算交叉熵损失函数，可使Softmax激活函数的计算结果更靠近正确的输出，从而提高测试网络分类识别准确率。所述标签平滑正则化交叉熵损失函数中的标签平滑正则化方法的计算公式为：
其中，λ为平滑标签的权重，其取值范围为λ∈[0,1]，n为标签种类的个数。在交叉熵损失中融入LSR后的表达式为：
再进一步地对联合优化损失进行改进，通过以上设计和分析，本文联合改进三元损失函数和标签平滑正则化交叉熵损失函数，共同监督网络训练，融合后的所述联合优化损失***损失函数表达式为：
Ltotal＝k×LLSR-ce+Lth
其中，LLSR-ce为加入LSR的交叉熵损失函数，Lth为改进的三元损失函数，k为融合两种损失函数的权重系数。作为网络的超参数其取值范围为[0,1]，可以根据网络的训练情况对其进行调整。
通过上述联合优化损失策略，将会有效控制所设置模型的网络收敛，使网络逼近优化曲线，从而达到有效相似性计量，提高个体细粒度分类准确率。
人的步态运动实质上可看作时序问题，因此周期内的每帧步态序列也有严格的先后次序，每帧步态轮廓、骨架图均代表步态周期内的某一瞬间的运动姿态。因此，在保证提取图像形状特征的基础上，能否充分挖掘步态序列间的时序信息，是进行特征距离相似度学习和提高身份识别准确率的关键。与卷积神经网络相比，循环神经网络则更擅长序列数据的特征学习，因此本文结合卷积神经网络和长短时记忆网络提出一种多通道时空网络，并融合注意力机制重复提取步态序列间时空信息，其具体结构如图2所示。
在图2多通道时空特征提取网络中，将一一对应轮廓序列和骨架序列共同作为输入，由于步态轮廓序列为二值图，骨架序列为RGB图，因此输入前首先两两类步态序列处理成尺寸一致。进一步分别输入双通道卷积网络提取步态序列空间特征，并以张量拼接的形式融合特征。长短时记忆网络层则采用包含256个隐含节点的双层网络，将卷积网络输出融合特征图按照时间顺序作为后层网络的输入，通过LSTM模块解码，从而提取其中时序特征。
在以上的基础上还引入了注意力机制(Attention)，该方法解决了传统的连续图像序列处理网络中只能对有限帧输入进行特征提取的缺点，从而最大程度地利用步态周期中不同帧之间的关联，减弱周期中无关帧对于网络输出结果的影响。通过多通道时空网络可捕捉到关键帧并对其步态特征重点提取，以增加网络模型的准确率和鲁棒性，若每类步态序列共有Z帧，则对应长短时记忆神经网络输出Z个分数。归一化后作为每帧序列的权重，其计算方法由式为：
其中，Qj表示对应j帧步态序列的权重系数，cj表示长短时记忆神经网络第j帧步态序列融合特征的输出值，因此，根据所得权重系数可进一步计算基于注意力机制的时空特征，其计算公式为：
其中，F表示基于注意力机制获得的时空特征，Qj为attention机制所得第j帧序列所得权重系数，
为对应j帧步态骨架、轮廓序列的融合特征。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：包括多通道时空网络***和联合优化损失***，所述联合优化损失***包括改进三元损失函数、标签平滑正则化交叉熵损失函数两部分，所述标签平滑正则化交叉熵损失函数为针对传统分类网络在训练过程中交叉熵损失函数，计算所述交叉熵损失中融入标签平滑正则化，实现该方法的步骤包括：
步骤一、步态序列预处理，通过步态图像预处理算法，将CASIA－B步态数据库中的步态图像，分别通过步态序列预处理成尺寸一致、中心对齐的步态轮廓序列和骨架序列；
步骤二、将步态序列预处理所得步态骨架序列和轮廓序列共同输入多通道时空网络***，以充分提取步态序列间时空特征；
步骤三、结合三元组网络建立步态身份识别模型；
步骤四、结合改进三元损失和优化交叉熵损失共同监督网络训练。
2.根据权利要求1所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述多通道时空网络***为采用多通道浅层卷积神经网络串联长短时记忆神经网络的结构作为特征提取的主干网络，并将周期内一一对应的步态骨架、轮廓序列直接作为网络的输入，以充分挖掘步态序列间时空信息。
3.根据权利要求1所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述改进三元损失为针对三元损失训练过程中正负样本的挑选方式进行改进，在正负样本的选择上增加更强的约束。
4.根据权利要求3所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述三元损失值的计算方法为在训练过程每个Batch中计算所有样本的空间欧氏距离，并通过距离原样本最近的负样本和距离原样本最远的正样本来计算，其计算公式为：
其中，每个Batch中输入p个类别的原样本，并且每个类别的样本选择k帧不同的步态序列，组成p*k帧步态序列，Lth为最终三元损失值，a表示原样本，A为与原样本距离最远的正样本集合，B为与原样本距离最近的负样本集合。
5.根据权利要求4所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述标签平滑正则化交叉熵损失函数中的标签平滑正则化方法的计算公式为：
其中，λ为平滑标签的权重，其取值范围为λ∈[0,1]，n为标签种类的个数。
6.根据权利要求5所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：在交叉熵损失中融入LSR后的表达式为：
7.根据权利要求6所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：联合改进三元损失函数和标签平滑正则化交叉熵损失函数，共同监督网络训练，融合后的所述联合优化损失***损失函数表达式为：Ltotal＝k×LLSR-ce+Lth
其中，LLSR-ce为加入LSR的交叉熵损失函数，Lth为改进的三元损失函数，k为融合两种损失函数的权重系数。
8.根据权利要求1～7任一项所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：还包括注意力机制，通过所述多通道时空网络***可捕捉到关键帧并对其步态特征重点提取，以增加网络模型的准确率和鲁棒性。
9.根据权利要求8所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述注意力机制中包含有步态序列的权重，所述步态序列的权重为每类步态序列的共有帧数与对应长短时记忆神经网络输出的分数进行归一化后所得，其计算公式为：
其中，Qj表示对应j帧步态序列的权重系数，cj表示长短时记忆神经网络第j帧步态序列融合特征的输出值。
10.根据权利要求9所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：根据所得权重系数Qj进一步计算基于注意力机制的时空特征，其计算公式为：
其中，F表示基于注意力机制获得的时空特征，Qj为attention机制所得第j帧序列所得权重系数，
为对应j帧步态骨架、轮廓序列的融合特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010926230.6A CN112131970A (zh) | 2020-09-07 | 2020-09-07 | 一种基于多通道时空网络和联合优化损失的身份识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010926230.6A CN112131970A (zh) | 2020-09-07 | 2020-09-07 | 一种基于多通道时空网络和联合优化损失的身份识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112131970A true CN112131970A (zh) | 2020-12-25 |
Family
ID=73848229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010926230.6A Pending CN112131970A (zh) | 2020-09-07 | 2020-09-07 | 一种基于多通道时空网络和联合优化损失的身份识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112131970A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906673A (zh) * | 2021-04-09 | 2021-06-04 | 河北工业大学 | 一种基于注意力机制的下肢运动意图预测方法 |
| CN113222775A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 融合多模态信息及权重张量的用户身份关联方法 |
| CN114511848A (zh) * | 2021-12-30 | 2022-05-17 | 广西慧云信息技术有限公司 | 一种基于改进标签平滑算法的葡萄物候期识别方法及*** |
| CN114879849A (zh) * | 2022-06-07 | 2022-08-09 | 吉林大学 | 一种多通道空中笔势识别方法 |
| CN114882593A (zh) * | 2022-05-18 | 2022-08-09 | 厦门市美亚柏科信息股份有限公司 | 一种鲁棒的时空混合步态特征学习方法和*** |
| CN115297441A (zh) * | 2022-09-30 | 2022-11-04 | 上海世脉信息科技有限公司 | 一种大数据环境下个体时空活动鲁棒性的计算方法 |
| CN115687934A (zh) * | 2022-12-30 | 2023-02-03 | 智慧眼科技股份有限公司 | 意图识别方法、装置、计算机设备及存储介质 |
| CN115841681A (zh) * | 2022-11-01 | 2023-03-24 | 南通大学 | 一种基于通道注意力的行人再识别对抗攻击方法 |
| JP2023523502A (ja) * | 2021-04-07 | 2023-06-06 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | モデルトレーニング方法、歩行者再識別方法、装置および電子機器 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016065534A1 (zh) * | 2014-10-28 | 2016-05-06 | 中国科学院自动化研究所 | 一种基于深度学习的歩态识别方法 |
| CN106778527A (zh) * | 2016-11-28 | 2017-05-31 | 中通服公众信息产业股份有限公司 | 一种基于三重损失的改进的神经网络行人再识别方法 |
| US10025950B1 (en) * | 2017-09-17 | 2018-07-17 | Everalbum, Inc | Systems and methods for image recognition |
| CN108960184A (zh) * | 2018-07-20 | 2018-12-07 | 天津师范大学 | 一种基于异构部件深度神经网络的行人再识别方法 |
| CN110059616A (zh) * | 2019-04-17 | 2019-07-26 | 南京邮电大学 | 基于融合损失函数的行人重识别模型优化方法 |
| CN110321862A (zh) * | 2019-07-09 | 2019-10-11 | 天津师范大学 | 一种基于紧致三元损失的行人再识别方法 |
| WO2020122985A1 (en) * | 2018-12-10 | 2020-06-18 | Interactive-Al, Llc | Neural modulation codes for multilingual and style dependent speech and language processing |
| CN111428658A (zh) * | 2020-03-27 | 2020-07-17 | 大连海事大学 | 一种基于模态融合的步态识别方法 |
-
2020
- 2020-09-07 CN CN202010926230.6A patent/CN112131970A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016065534A1 (zh) * | 2014-10-28 | 2016-05-06 | 中国科学院自动化研究所 | 一种基于深度学习的歩态识别方法 |
| CN106778527A (zh) * | 2016-11-28 | 2017-05-31 | 中通服公众信息产业股份有限公司 | 一种基于三重损失的改进的神经网络行人再识别方法 |
| US10025950B1 (en) * | 2017-09-17 | 2018-07-17 | Everalbum, Inc | Systems and methods for image recognition |
| CN108960184A (zh) * | 2018-07-20 | 2018-12-07 | 天津师范大学 | 一种基于异构部件深度神经网络的行人再识别方法 |
| WO2020122985A1 (en) * | 2018-12-10 | 2020-06-18 | Interactive-Al, Llc | Neural modulation codes for multilingual and style dependent speech and language processing |
| CN110059616A (zh) * | 2019-04-17 | 2019-07-26 | 南京邮电大学 | 基于融合损失函数的行人重识别模型优化方法 |
| CN110321862A (zh) * | 2019-07-09 | 2019-10-11 | 天津师范大学 | 一种基于紧致三元损失的行人再识别方法 |
| CN111428658A (zh) * | 2020-03-27 | 2020-07-17 | 大连海事大学 | 一种基于模态融合的步态识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| JUNYI WU等: "Improving Person Re-Identification Performance Using Body Mask Via Cross-Learning Strategy", 《 2019 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》, pages 1 - 4 * |
| 吴颖: "基于深度学习的步态识别研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 1, pages 138 - 2108 * |
| 张涛等: "一种基于全局特征的行人重识别改进算法", 《激光与光电子学进展》, vol. 57, no. 24, pages 324 - 330 * |
| 熊炜等: "基于全局特征拼接的行人重识别算法研究", 《计算机应用研究》, vol. 38, no. 1, pages 316 - 320 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023523502A (ja) * | 2021-04-07 | 2023-06-06 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | モデルトレーニング方法、歩行者再識別方法、装置および電子機器 |
| JP7403673B2 (ja) | 2021-04-07 | 2023-12-22 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | モデルトレーニング方法、歩行者再識別方法、装置および電子機器 |
| CN112906673A (zh) * | 2021-04-09 | 2021-06-04 | 河北工业大学 | 一种基于注意力机制的下肢运动意图预测方法 |
| CN113222775A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 融合多模态信息及权重张量的用户身份关联方法 |
| CN114511848A (zh) * | 2021-12-30 | 2022-05-17 | 广西慧云信息技术有限公司 | 一种基于改进标签平滑算法的葡萄物候期识别方法及*** |
| CN114511848B (zh) * | 2021-12-30 | 2024-05-14 | 广西慧云信息技术有限公司 | 一种基于改进标签平滑算法的葡萄物候期识别方法及*** |
| CN114882593A (zh) * | 2022-05-18 | 2022-08-09 | 厦门市美亚柏科信息股份有限公司 | 一种鲁棒的时空混合步态特征学习方法和*** |
| CN114879849A (zh) * | 2022-06-07 | 2022-08-09 | 吉林大学 | 一种多通道空中笔势识别方法 |
| CN115297441A (zh) * | 2022-09-30 | 2022-11-04 | 上海世脉信息科技有限公司 | 一种大数据环境下个体时空活动鲁棒性的计算方法 |
| CN115297441B (zh) * | 2022-09-30 | 2023-01-17 | 上海世脉信息科技有限公司 | 一种大数据环境下个体时空活动鲁棒性的计算方法 |
| CN115841681A (zh) * | 2022-11-01 | 2023-03-24 | 南通大学 | 一种基于通道注意力的行人再识别对抗攻击方法 |
| CN115687934A (zh) * | 2022-12-30 | 2023-02-03 | 智慧眼科技股份有限公司 | 意图识别方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112131970A (zh) | 一种基于多通道时空网络和联合优化损失的身份识别方法 | |
| CN110084156B (zh) | 一种步态特征提取方法及基于步态特征的行人身份识别方法 | |
| CN107832672B (zh) | 一种利用姿态信息设计多损失函数的行人重识别方法 | |
| CN106295568B (zh) | 基于表情和行为双模态结合的人类自然状态情感识别方法 | |
| CN108520216B (zh) | 一种基于步态图像的身份识别方法 | |
| CN111339990B (zh) | 一种基于人脸特征动态更新的人脸识别***和方法 | |
| CN111898736B (zh) | 基于属性感知的高效行人重识别方法 | |
| Cheng et al. | Cross-modality compensation convolutional neural networks for RGB-D action recognition | |
| CN109255289B (zh) | 一种基于统一式生成模型的跨衰老人脸识别方法 | |
| CN113516005B (zh) | 一种基于深度学习和姿态估计的舞蹈动作评价*** | |
| CN111401116B (zh) | 基于增强卷积和空时lstm网络的双模态情感识别方法 | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| CN116363712B (zh) | 一种基于模态信息度评估策略的掌纹掌静脉识别方法 | |
| CN113255602A (zh) | 基于多模态数据的动态手势识别方法 | |
| CN110210399A (zh) | 一种基于不确定性量化概率卷积神经网络的人脸识别方法 | |
| CN112084998A (zh) | 一种基于属性信息辅助的行人再识别方法 | |
| CN114511901B (zh) | 一种年龄分类辅助的跨年龄人脸识别算法 | |
| CN115797827A (zh) | 一种基于双流网络架构的ViT的人体行为识别方法 | |
| CN113095201B (zh) | 基于人脸不同区域间自注意力和不确定性加权多任务学习的au程度估计模型建立方法 | |
| CN114937298A (zh) | 一种基于特征解耦的微表情识别方法 | |
| CN114550270A (zh) | 一种基于双注意力机制的微表情识别方法 | |
| CN117636436A (zh) | 基于注意力机制的多人实时面部表情识别方法和*** | |
| Sun et al. | Deep Facial Attribute Detection in the Wild: From General to Specific. | |
| CN115830652A (zh) | 一种深度掌纹识别装置及方法 | |
| CN114360058A (zh) | 一种基于行走视角预测的跨视角步态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201225 |
|
| WD01 | Invention patent application deemed withdrawn after publication |