CN114882582A - 基于联邦学习模式的步态识别模型训练方法与*** - Google Patents
基于联邦学习模式的步态识别模型训练方法与*** Download PDFInfo
- Publication number
- CN114882582A CN114882582A CN202210355478.0A CN202210355478A CN114882582A CN 114882582 A CN114882582 A CN 114882582A CN 202210355478 A CN202210355478 A CN 202210355478A CN 114882582 A CN114882582 A CN 114882582A
- Authority
- CN
- China
- Prior art keywords
- local
- gait
- model parameters
- recognition model
- gait recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 162
- 238000012549 training Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006870 function Effects 0.000 claims abstract description 57
- 238000004891 communication Methods 0.000 claims abstract description 27
- 230000002776 aggregation Effects 0.000 claims abstract description 23
- 238000004220 aggregation Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 20
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于联邦学习模式的步态识别模型训练方法及***,方法包括步骤:对客户端本地步态数据进行预处理;服务器端初始化全局模型参数、当前通讯次数以及总通讯次数;客户端收到服务器端传送的对应本地步态识别模型的全局模型参数后,采用预处理后的本地步态数据对本地步态识别模型进行训练并将训练后的本地模型参数发送到服务器端;服务器端采用聚合函数对上传的所有本地模型参数进行聚合,更新全局模型参数并将本地模型参数分别发送至各对应的客户端;重复上述步骤直到总通讯次数达到规定阈值。实施本发明,实现了多方本地模型数据进行同时却不集中的训练,并且具有较强的鲁棒性和泛化性。
Description
技术领域
本发明涉及步态识别技术领域,特别涉及一种基于联邦学习模式的步态识别模型训练方法与***。
背景技术
步态识别是一种生物特征识别技术,可通过一个人的步态模式来识别他的身份。与其他生物特征识别技术(例如人脸、指纹、掌纹等)不同的是,步态识别具有独特的特点,包括远距离识别、非接触式以及难以伪造性。随着深度神经网络的发展,步态识别的性能有极大的提升。由于步态数据受多方因素的影响,如相机角度,服装,携带物等,基于深度学习的步态识别需要大量且多样的步态轮廓序列进行训练,以此获得泛化性强的深度学习模型。然而,目前各个国家都十分重视生物隐私,纷纷出台法规以保护公民隐私不受侵犯。《通用数据保护条例》(GDPR)是欧盟公布的一项隐私和数据保护法规。《通用数据保护条例》要求企业严格地保护用户的隐私,不可在用户不知情下对用户的信息进行泄露。《通用数据保护条例》保护的隐私信息包含了身份信息、网络数据、生物特征信息等。类似的法规还有《加州消费者隐私法案》以及《中国数据安全法》等。由于以上所述法规的提出,生物特征数据的收集存在一定的困难。
联邦学***均化各参与方的训练参数使得各参与方训练时能够能快地收敛并且训练的模型更具有泛化性。
但是,现在还没有一种避免用户隐私数据泄露的步态识别方案。
发明内容
在步态识别过程中,必然会获取用户的身份信息,如何在识别过程中,对识别出来的用户身份隐私数据进行保护,保障识别数据的安全性,避免出现法律风险,是当前亟待解决的一个问题。
针对上述问题,提出一种基于联邦学习模式的步态识别模型训练方法与***,通过利用客户端对获取的对应本地步态识别模型的全局模型参数对本地步态识别模型单元进行训练,对本地模型参数进行更新,并将更新后的本地模型参数发送到服务器端,并利用服务器对接收到的本地模型参数进行聚合,并对全局步态识别模型单元进行训练,对相应的全局模型参数进行更新,并将更新后的对应所述本地模型参数的全局模型参数分别发送到多个客户端,实现了多方本地模型数据进行同时却不集中的训练,并且具有较强的鲁棒性和泛化性。
第一方面,一种基于联邦学习模式的步态识别模型训练方法,包括:
步骤100、对客户端本地步态数据进行预处理;
步骤200、服务器端初始化全局模型参数、当前通讯次数以及总通讯次数;
步骤300、客户端收到服务器端传送的对应本地步态识别模型的全局模型参数后,采用预处理后的本地步态数据对本地步态识别模型进行训练并将训练后的本地模型参数发送到服务器端;
步骤400、服务器端采用聚合函数对上传的所有本地模型参数进行聚合,更新全局模型参数并将本地模型参数分别发送至各对应的客户端;
步骤500、重复步骤300-步骤400,直到总通讯次数达到规定阈值;
其中,所述全局模型参数用于与服务器端通讯的多个客户端本地步态识别模型参数的更新,当前通讯次数用于记录当前联邦通讯的次数,总通讯次数用于限制联邦通讯的次数。
结合本发明第一方面所述的基于联邦学习模式的步态识别模型训练方法,第一种可能的实施方式中,所述步骤100包括:
步骤110、对采集的步态视频进行目标检测;
步骤120、对目标检测框中的内容进行抠取,获得原始图像;
步骤130、对所述原始图像前后背景分离得到二值图像;
步骤140、将所述二值图像经过归一化得到t时刻步态轮廓图像xt;
步骤150、重复步骤110-步骤140,获取步态轮廓序列:
X={x1,x2,...,xt,...,xk} (1)
其中,k为步态轮廓序列的长度,优选地,k的取值范围为[24,32]。
结合本发明第一方面第一种可能的实施方式,第二种可能的实施方式中,所述步骤110包括:
步骤111、采用目标检测SSD算法对获取的步态视频进行目标检测,以获取目标检测框位置;
步骤112、使用所述目标检测框位置对检测到的行人图像信息进行标记。
结合本发明第一方面第一种可能的实施方式,第三种可能的实施方式中,所述步骤130包括:
步骤131、对所述原始图像进行灰度化处理,获取灰度图像;
步骤132、采用图像分割Ostu算法对灰度图进行前后背景分离,获取二值图像;
其中,背景置为黑色,行人前景置为白色。
结合本发明第一方面第一种可能的实施方式,第四种可能的实施方式中,所述步骤140包括:
步骤141、对所述二值图像进行像素检索,获取最顶端和最底端的白色像素的位置;
步骤142、对所述二值图像进行裁剪,去除最顶端以上的图像以及最底端以下的图像,获得裁剪后的二值图像;
步骤143、将裁剪后的二值图像缩放为固定比例,得到t时刻步态轮廓图像xt。
结合本发明第一方面所述的步态识别模型训练方法,第五种可能的实施方式中,所述步骤300包括:
步骤310、初始化本地训练迭代次数以及当前迭代次数;
步骤320、将全局模型参数前向输入到本地步态识别模型,得到步态特征和预测的步态特征类别;
步骤330、通过本地损失函数约束所述步态特征的生成和所述步态特征类别的判断;
步骤340、重复步骤310-步骤330对本地步态识别模型参数及当前迭代次数进行更新,直到当前迭代次数达到本地训练迭代次数阈值。
结合本发明第一方面第五种可能的实施方式,第六种可能的实施方式中,所述步骤330包括:
步骤331、根据不同的步态特征及设定的边界值获取三元组损失函数Ltriplet:
其中,N为三元组个数,优选地,N的取值范围为[8,32],i的取值范围是[1,N]fi a和fi p表示来自同一个人的不同序列提取的特征,fi a和fi n表示来自不同人的步态序列提取的特征,m为边界值,优选地,m的取值范围是[0.1,1];
步骤332、根据全连接层预测x属于yi的概率pi,获取交叉熵损失函数Lcross(x):
其中,K为类别数,跟训练数据集的类别数相关,i为临时变量,其取值范围为[1,K];x表示输入特征,yi表示输入特征的真实标签。
步骤333、将所述本地损失函数L配置为所述三元组损失函数Ltriplet与交叉熵损失函数Lcross(x)之和:
L=αLtriplet+βLcross (4)
其中,α,β分别为三元组损失函数和交叉熵损失函数的权重值,α和β的取值范围均为[0,1]。
结合本发明第一方面第五种可能的实施方式,第七种可能的实施方式中,所述步骤340包括:
步骤342、利用式子(5)对本地模型参数进行更新:
第二方面,一种基于联邦学习模式的步态识别模型训练***,采用第一方面所述的训练方法,包括:
多个客户端;
服务器端;
所述客户端包括:
本地步态识别模型单元;
训练单元;
所述服务器端包括
全局步态识别模型单元;
聚合单元;
所述训练单元用于根据从服务器端接收到的对应本地步态识别模型的全局模型参数对本地步态识别模型单元进行训练,对本地模型参数进行更新,并将更新后的本地模型参数发送到服务器端;
所述聚合单元用于对接收到的本地模型参数进行聚合,更新全局模型参数,并将更新后的相应的全局模型参数分别发送到多个对应的客户端。
结合本发明第二方面所述的基于联邦学习模式的步态识别模型训练***,第一种可能的实施方式中,所述训练单元包括:
确定单元;
所述确定单元用于根据三元组损失函数和交叉熵损失函数来计算本地损失函数,并根据所述本地损失函数来确定步态特征及所述步态特征所属类别;
所述聚合单元采用聚合函数对各个客户端的本地模型参数进行聚合,以获取全局模型参数,该全局模型参数表达式为:
其中,h=0,1,2,...,H,c表示客户端总数;表示第c个客户端上的数据与总的数据总量的比例;表示第c个客户端在第c次聚合前的本地模型参数;Wh+1表示在第h次聚合后的全局模型参数;H为总的聚合循环次数。
实施本发明所述的一种基于联邦学习模式的步态识别模型训练方法及***,通过利用客户端对获取的对应本地步态识别模型的全局模型参数对本地步态识别模型单元进行训练,对本地模型参数进行更新,并将更新后的本地模型参数发送到服务器端,并利用服务器对接收到的本地模型参数进行聚合,并对全局步态识别模型单元进行训练,对相应的全局模型参数进行更新,并将更新后的对应所述本地模型参数的全局模型参数分别发送到多个客户端,实现了多方本地模型数据进行同时却不集中的训练,并且具有较强的鲁棒性和泛化性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明中基于联邦学习模式的步态识别模型训练方法第一实施例逻辑连接示意图;
图2是本发明中基于联邦学习模式的步态识别模型训练方法第二实施例逻辑连接示意图;
图3是本发明中基于联邦学习模式的步态识别模型训练方法第三实施例逻辑连接示意图;
图4是本发明中基于联邦学习模式的步态识别模型训练方法第四实施例逻辑连接示意图;
图5是本发明中基于联邦学习模式的步态识别模型训练方法第五实施例逻辑连接示意图;
图6是本发明中基于联邦学习模式的步态识别模型训练方法第六实施例逻辑连接示意图;
图7是本发明中基于联邦学习模式的步态识别模型训练方法第七实施例逻辑连接示意图;
图8是本发明中基于联邦学习模式的步态识别模型训练方法第八实施例逻辑连接示意图;
图9是本发明中基于联邦学习模式的步态识别模型训练***第一实施例逻辑连接示意图;
图10是本发明中基于联邦学习模式的步态识别模型训练***第二实施例逻辑连接示意图;
附图中各数字所指代的部位名称为:10——客户端、11——本地步态识别模型单元、12——训练单元、20——服务器端。
具体实施方式
下面将结合发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例,都属于本发明保护的范围。
名称解释
SSD(Single Shot MultiBox Detector)算法是一个采用多尺度特征用于目标检测的网络。
Ostu算法,也被称作大津算法,是用于自动对基于聚类的图像进行二值化的算法。大津算法根据图像计算能够将图像分为两类像素(0和255)的最佳阈值,使得这两类像素的类内方差最小。
在步态识别过程中,必然会获取用户的身份信息,如何在识别过程中,对识别出来的用户身份隐私数据进行保护,保障识别数据的安全性,避免出现法律风险,是当前亟待解决的一个问题。
针对上述问题,提出一种基于联邦学习模式的步态识别模型训练方法与***。
第一方面,如图1,图1是本发明中基于联邦学习模式的步态识别模型训练方法第一实施例逻辑连接示意图,一种基于联邦学习模式的步态识别模型训练方法,包括:步骤100、对客户端10本地步态数据进行预处理;步骤200、服务器端20初始化全局模型参数、当前通讯次数以及总通讯次数;步骤300、客户端10收到服务器端20传送的对应本地步态识别模型的全局模型参数后,采用预处理后的本地步态数据对本地步态识别模型进行训练并将训练后的本地模型参数发送到服务器端20;步骤400、服务器端20采用聚合函数对上传的所有本地模型参数进行聚合,更新全局模型参数并将本地模型参数分别发送至各对应的客户端10;
全局模型参数表达式为:
其中,h=0,1,2,...,H,c表示客户端10总数;表示第c个客户端10上的数据与总的数据总量的比例;表示第c个客户端10在第c次聚合前的本地模型参数;Wh+1表示在第h次聚合后的全局模型参数;H为总的聚合循环次数。
步骤500、重复步骤300-步骤400,直到总通讯次数达到规定阈值;其中,全局模型参数用于与服务器端20通讯的多个客户端10本地步态识别模型参数的更新,当前通讯次数用于记录当前联邦通讯的次数,总通讯次数用于限制联邦通讯的次数。
服务器端20向各个客户端10发送对应该客户端10本地步态识别模型的初始参数,客户端10根据该初始参数初始化本地步态识别模型,并对本地步态识别模型循环训练,训练一轮后,将本地模型参数上传到服务器端20,服务器端20将接收到的客户端10本地模型参数利用聚合函数进行聚合,再一一对应地下发给各个客户端10。
优选地,如图2,图2是本发明中基于联邦学习模式的步态识别模型训练方法第二实施例逻辑连接示意图,步骤100包括:步骤110、对采集的步态视频进行目标检测;步骤120、对目标检测框中的内容进行抠取,获得原始图像;步骤130、对原始图像前后背景分离得到二值图像;步骤140、将二值图像经过归一化得到t时刻步态轮廓图像xt;步骤150、重复步骤110-步骤140,获取步态轮廓序列:
X={x1,x2,...,xt,...,xk} (1)
其中,k为步态轮廓序列的长度,优选地,k的取值范围为[24,32]。
通常优k=32为一个步态周期,步态轮廓图是由0,255组成的二值图像。
优选地,如图3,图3是本发明中基于联邦学习模式的步态识别模型训练方法第三实施例逻辑连接示意图,步骤110包括:步骤111、采用目标检测SSD算法对获取的步态视频进行目标检测,以获取目标检测框位置;步骤112、使用目标检测框位置对检测到的行人图像信息进行标记。
优选地,如图4,图4是本发明中基于联邦学习模式的步态识别模型训练方法第四实施例逻辑连接示意图,步骤130包括:步骤131、对原始图像进行灰度化处理,获取灰度图像;步骤132、采用图像分割Ostu算法对灰度图进行前后背景分离,获取二值图像;其中,背景置为黑色,行人前景置为白色。
优选地,如图5,图5是本发明中基于联邦学习模式的步态识别模型训练方法第五实施例逻辑连接示意图,步骤140包括:步骤141、对二值图像进行像素检索,获取最顶端和最底端的白色像素的位置;步骤142、对二值图像进行裁剪,去除最顶端以上的图像以及最底端以下的图像,获得裁剪后的二值图像;步骤143、将裁剪后的二值图像缩放为固定比例,得到t时刻步态轮廓图像xt。
优选地,如图6,图6是本发明中基于联邦学习模式的步态识别模型训练方法第六实施例逻辑连接示意图,步骤300包括:步骤310、初始化本地训练迭代次数以及当前迭代次数;步骤320、将全局模型参数前向输入到本地步态识别模型,得到步态特征和预测的步态特征类别;步骤330、通过本地损失函数约束步态特征的生成和步态特征类别的判断;步骤340、重复步骤310-步骤330对本地步态识别模型参数及当前迭代次数进行更新,直到当前迭代次数达到本地训练迭代次数阈值。
客户端10收到来自服务器端20传送的全局模型参数后,将全局模型参数赋予本地步态识别模型后作为本地模型参数,对本地步态识别模型进一步训练。本地步态识别模型是指客户端10本地的模型,不能与其他客户端10进行传输交流等操作,每个客户端10的本地步态识别模型都是一样的模型,本地步态识别模型可以为:基于神经网络的步态识别模型GaitSet、GaitPart。通过利用客户端10对获取的对应本地步态识别模型的全局模型参数对本地步态识别模型单元11进行训练,对本地模型参数进行更新,并将更新后的本地模型参数发送到服务器端20,并利用服务器对接收到的本地模型参数进行聚合,并对全局步态识别模型单元进行训练,对相应的全局模型参数进行更新,并将更新后的对应本地模型参数的全局模型参数分别发送到多个客户端10,实现了多方本地模型数据进行同时却不集中的训练,并且具有较强的鲁棒性和泛化性。
优选地,如图7,图7是本发明中基于联邦学习模式的步态识别模型训练方法第七实施例逻辑连接示意图,步骤330包括:步骤331、根据不同的步态特征及设定的边界值获取三元组损失函数Ltriplet:
其中,N为三元组个数,优选地,N的取值范围为[8,32],i的取值范围是[1,N]fi a和fi p表示来自同一个人的不同序列提取的特征,fi a和fi n表示来自不同人的步态序列提取的特征,m为边界值,优选地,m的取值范围是[0.1,1];
步骤332、根据全连接层预测x属于yi的概率pi,获取交叉熵损失函数Lcross(x):
其中,K为类别数,跟训练数据集的类别数相关,i为临时变量,其取值范围为[1,K];x表示输入特征,yi表示输入特征的真实标签。
步骤333、将本地损失函数L配置为三元组损失函数Ltriplet与交叉熵损失函数Lcross(x)之和:
L=αLtriplet+βLcross (4)
其中,α,β分别为三元组损失函数和交叉熵损失函数的权重值,α和β的取值范围均为[0,1]。
优选地,如图8,图8是本发明中基于联邦学习模式的步态识别模型训练方法第八实施例逻辑连接示意图;步骤340包括:步骤341、对本地损失函数L求导,以获取其导数函数步骤342、利用式子(5)对本地模型参数进行更新:
第二方面,如图9和图10,图9是本发明中基于联邦学习模式的步态识别模型训练***第一实施例逻辑连接示意图,图10是本发明中基于联邦学习模式的步态识别模型训练***第二实施例逻辑连接示意图;一种基于联邦学习模式的步态识别模型训练***,采用第一方面的训练方法,包括多个客户端10、服务器端20;客户端10包括本地步态识别模型单元11、训练单元12;服务器端20包括聚合单元;所述训练单元12用于根据从服务器端20接收到的对应本地步态识别模型的全局模型参数对本地步态识别模型单元11进行训练,对本地模型参数进行更新,并将更新后的本地模型参数发送到服务器端20;聚合单元用于对接收到的本地模型参数进行聚合,更新全局模型参数,并将更新后的相应的全局模型参数分别发送到多个对应的客户端10。
优选地,第一种可能的实施方式中,训练单元12包括:
确定单元;确定单元用于根据三元组损失函数和交叉熵损失函数来计算本地损失函数,并根据本地损失函数来确定步态特征及步态特征所属类别。
首先,根据不同的步态特征及设定的边界值获取三元组损失函数Ltriplet:
其中,N为三元组个数,N的取值范围为[8,32],i的取值范围是[1,N](公式中标明)fi a和fi p表示来自同一个人的不同序列提取的特征,fi a和fi n表示来自不同人的步态序列提取的特征,m为边界值,m的取值范围是[0.1,1]。
然后,根据全连接层预测x属于yi的概率pi,获取交叉熵损失函数Lcross(x):
其中,K为类别数,K的取值范围;pi中的i的取值范围(与式子3中i是否相同);x表示输入特征,yi表示输入特征的真实标签。
最后,将本地损失函数L配置为三元组损失函数Ltriplet与交叉熵损失函数Lcross(x)之和:
L=αLtriplet+βLcross (4)
其中,α,β分别为三元组损失函数和交叉熵损失函数的权重值。
聚合单元采用聚合函数对各个客户端的本地模型参数进行聚合,以获取全局模型参数,该全局模型参数表达式为:
其中,h=0,1,2,...,H,c表示客户端总数;表示第c个客户端上的数据与总的数据总量的比例;表示第c个客户端在第c次聚合前的本地模型参数;Wh+1表示在第h次聚合后的全局模型参数;H为总的聚合循环次数。
实施本发明所述的一种基于联邦学习模式的步态识别模型训练方法及***,通过利用客户端10对获取的对应本地步态识别模型的全局模型参数对本地步态识别模型单元11进行训练,对本地模型参数进行更新,并将更新后的本地模型参数发送到服务器端20,并利用服务器对接收到的本地模型参数进行聚合,并对全局步态识别模型单元进行训练,对相应的全局模型参数进行更新,并将更新后的对应所述本地模型参数的全局模型参数分别发送到多个客户端10,实现了多方本地模型数据进行同时却不集中的训练,并且具有较强的鲁棒性和泛化性。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于联邦学习模式的步态识别模型训练方法,其特征在于,包括:
步骤100、对客户端本地步态数据进行预处理;
步骤200、服务器端初始化全局模型参数、当前通讯次数以及总通讯次数;
步骤300、客户端收到服务器端传送的对应本地步态识别模型的全局模型参数后,采用预处理后的本地步态数据对本地步态识别模型进行训练并将训练后的本地模型参数发送到服务器端;
步骤400、服务器端采用聚合函数对上传的所有本地模型参数进行聚合,更新全局模型参数并将本地模型参数分别发送至各对应的客户端;
步骤500、重复步骤300-步骤400,直到总通讯次数达到规定阈值;
其中,所述全局模型参数用于与服务器端通讯的多个客户端本地步态识别模型参数的更新,当前通讯次数用于记录当前联邦通讯的次数,总通讯次数用于限制联邦通讯的次数。
2.根据权利要求1所述的步态识别模型训练方法,其特征在于,所述步骤100包括:
步骤110、对采集的步态视频进行目标检测,获取目标检测框;
步骤120、对目标检测框中的内容进行抠取,获得原始图像;
步骤130、将所述原始图像前后背景分离得到二值图像;
步骤140、将所述二值图像经过归一化得到t时刻步态轮廓图像xt;
步骤150、重复步骤110-步骤140,获取步态轮廓序列:
X={x1,x2,...,xt,...,xk} (1)
其中,k为步态轮廓序列的长度。
3.根据权利要求2所述的步态识别模型训练方法,其特征在于,所述步骤110包括:
步骤111、采用目标检测SSD算法对获取的步态视频进行目标检测,以获取目标检测框位置;
步骤112、使用所述目标检测框位置对检测到的行人图像信息进行标记。
4.根据权利要求2所述的步态识别模型训练方法,其特征在于,所述步骤130包括:
步骤131、对所述原始图像进行灰度化处理,获取灰度图像;
步骤132、采用图像分割Ostu算法对灰度图进行前后背景分离,获取二值图像;
其中,背景置为黑色,行人前景置为白色。
5.根据权利要求2所述的步态识别模型训练方法,其特征在于,所述步骤140包括:
步骤141、对所述二值图像进行像素检索,获取最顶端和最底端的白色像素的位置;
步骤142、对所述二值图像进行裁剪,去除最顶端以上的图像以及最底端以下的图像,获得裁剪后的二值图像;
步骤143、将裁剪后的二值图像缩放为固定比例,得到t时刻步态轮廓图像xt。
6.根据权利要求1所述的步态识别模型训练方法,其特征在于,所述步骤300包括:
步骤310、初始化本地训练迭代次数以及当前迭代次数;
步骤320、将全局模型参数前向输入到本地步态识别模型,得到步态特征和预测的步态特征类别;
步骤330、通过本地损失函数约束所述步态特征的生成和所述步态特征类别的判断;
步骤340、重复步骤310-步骤330对本地步态识别模型参数及当前迭代次数进行更新,直到当前迭代次数达到本地训练迭代次数阈值。
7.根据权利要求6所述的步态识别模型训练方法,其特征在于,所述步骤330包括:
步骤331、根据不同的步态特征及设定的边界值获取三元组损失函数Ltriplet:
其中,N为三元组个数,i的取值范围是[1,N],fi a和fi p表示来自同一个人的不同序列提取的特征,fi a和fi n表示来自不同人的步态序列提取的特征,m为边界值;
步骤332、根据全连接层预测x属于yi的概率pi,获取交叉熵损失函数Lcross(x):
其中,K为类别数,i为临时变量;x表示输入特征,yi表示输入特征的真实标签;
步骤333、将本地损失函数L配置为三元组损失函数Ltriplet与交叉熵损失函数Lcross(x)之和:
L=αLtriplet+βLcross (4)
其中,α,β分别为三元组损失函数和交叉熵损失函数的权重值,α和β的取值范围均为[0,1]。
9.一种基于联邦学习模式的步态识别模型训练***,采用权利要求1-8任一所述的训练方法,其特征在于,包括:
多个客户端;
服务器端;
所述客户端包括:
本地步态识别模型单元;
训练单元;
所述服务器端包括
全局步态识别模型单元;
聚合单元;
所述训练单元用于根据从服务器端接收到的对应本地步态识别模型的全局模型参数对本地步态识别模型单元进行训练,对本地模型参数进行更新,并将更新后的本地模型参数发送到服务器端;
所述聚合单元用于对接收到的本地模型参数进行聚合,更新全局模型参数,并将更新后的相应的全局模型参数分别发送到多个对应的客户端;
所述聚合单元采用聚合函数对各个客户端的本地模型参数进行聚合,以获取全局模型参数,该全局模型参数表达式为:
10.根据权利要求9所述的步态识别模型训练***,其特征在于,所述训练单元包括:
确定单元;
所述确定单元用于根据三元组损失函数和交叉熵损失函数来计算本地损失函数,并根据所述本地损失函数来确定步态特征及所述步态特征所属类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210355478.0A CN114882582A (zh) | 2022-04-06 | 2022-04-06 | 基于联邦学习模式的步态识别模型训练方法与*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210355478.0A CN114882582A (zh) | 2022-04-06 | 2022-04-06 | 基于联邦学习模式的步态识别模型训练方法与*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114882582A true CN114882582A (zh) | 2022-08-09 |
Family
ID=82668760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210355478.0A Pending CN114882582A (zh) | 2022-04-06 | 2022-04-06 | 基于联邦学习模式的步态识别模型训练方法与*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114882582A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117114148A (zh) * | 2023-08-18 | 2023-11-24 | 湖南工商大学 | 一种轻量级联邦学习训练方法 |
-
2022
- 2022-04-06 CN CN202210355478.0A patent/CN114882582A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117114148A (zh) * | 2023-08-18 | 2023-11-24 | 湖南工商大学 | 一种轻量级联邦学习训练方法 |
CN117114148B (zh) * | 2023-08-18 | 2024-04-09 | 湖南工商大学 | 一种轻量级联邦学习训练方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363183B (zh) | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 | |
CN109543640B (zh) | 一种基于图像转换的活体检测方法 | |
Dagnes et al. | Occlusion detection and restoration techniques for 3D face recognition: a literature review | |
CN108520216B (zh) | 一种基于步态图像的身份识别方法 | |
CN106951832B (zh) | 一种基于手写字符识别的验证方法及装置 | |
CN109410184B (zh) | 基于稠密对抗网络半监督学习的直播色情图像检测方法 | |
JP4098021B2 (ja) | シーン識別方法および装置ならびにプログラム | |
CN111179202A (zh) | 一种基于生成对抗网络的单幅图像去雾增强方法和*** | |
CN111783890A (zh) | 一种针对图像识别过程中的小像素对抗样本防御方法 | |
CN112381987A (zh) | 基于人脸识别的智能门禁防疫*** | |
CN114863499B (zh) | 一种基于联邦学习的指静脉与掌静脉识别方法 | |
CN111222447A (zh) | 基于神经网络及多通道融合lbp特征的活体检测方法 | |
CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
Tao et al. | Smoke vehicle detection based on robust codebook model and robust volume local binary count patterns | |
CN110414431B (zh) | 基于弹性上下文关系损失函数的人脸识别方法及*** | |
US20040022440A1 (en) | Method and apparatus for image processing | |
CN114882582A (zh) | 基于联邦学习模式的步态识别模型训练方法与*** | |
Omri et al. | Cloud-based mobile system for biometrics authentication | |
CN114582011A (zh) | 一种基于联邦学习与边缘计算的行人追踪方法 | |
CN111737688B (zh) | 基于用户画像的攻击防御*** | |
CN115546845B (zh) | 一种多视角牛脸识别方法、装置、计算机设备及存储介质 | |
CN110795995A (zh) | 数据处理方法、装置及计算机可读存储介质 | |
CN113205044B (zh) | 一种基于表征对比预测学习的深度伪造视频检测方法 | |
CN110858304A (zh) | 一种身份证图像识别的方法及其设备 | |
CN112818728B (zh) | 年龄识别的方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |