CN116977937A - 一种行人重识别的方法及*** - Google Patents
一种行人重识别的方法及*** Download PDFInfo
- Publication number
- CN116977937A CN116977937A CN202310999913.8A CN202310999913A CN116977937A CN 116977937 A CN116977937 A CN 116977937A CN 202310999913 A CN202310999913 A CN 202310999913A CN 116977937 A CN116977937 A CN 116977937A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- matching
- image
- data
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 15
- 238000007906 compression Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000002618 waking effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种行人重识别的方法及***,属于智能监控技术领域,该重识别方法具体步骤如下:(1)收集来自多组监控摄像头的影像数据;(2)对各组影像数据进行数据预处理;(3)依据处理后的影像数据提取相关行人图像;(4)对获取的各组行人图像进行智能匹配;(5)输出匹配结果并对匹配模型进行性能评估;(6)存储数据并对监控平台进行性能优化;本发明能够准确获取行人图像数据,提高检测效率,同时减少后续数据处理的工作量,减少等待时间,避免模型发生漏检情况,能够确保进行充分的跨相机匹配,同时有效地提高行人匹配精确性,并且降低操作难度,方便工作人员使用,节省工作人员时间。
Description
技术领域
本发明涉及智能监控技术领域,尤其涉及一种行人重识别的方法及***。
背景技术
随着城市的发展和监控技术的普及,监控摄像头的数量不断增加,因此行人重识别技术的需求也日益增长。行人重识别的目标是识别多个监控摄像头中的行人,使得在不同的监控场景下能够实时追踪和识别同一行人。然而,由于不同监控场景下光照、视角、姿态等因素的变化,行人重识别面临许多挑战。传统的行人重识别方法主要依赖手工设计的特征提取器,如SIFT、HOG等,然后使用传统机器学习方法进行行人匹配。但这些方法在复杂场景下的鲁棒性较差,难以满足实际应用的需求。近年来,深度学习方法的兴起为行人重识别带来了显著的进展,通过使用深度模型直接学习图像特征表示,取得了更好的性能。随着深度学习技术的不断发展,行人重识别方法不断创新,为行人重识别的应用提供了更多可能性。
经检索,中国专利号CN113255492A公开了行人重识别的方法及***,该发明虽然进一步提高了行人重识别的匹配准确度,但是无法准确获取行人图像数据,降低检测效率,且模型容易发生漏检情况;此外,现有的行人重识别的方法及***无法进行充分的跨相机匹配,降低行人匹配精确性,且操作难度较高,不方便使用;为此,我们提出一种行人重识别的方法及***。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷,而提出的一种行人重识别的方法及***。
为了实现上述目的,本发明采用了如下技术方案:
一种行人重识别的方法,该重识别方法具体步骤如下:
(1)收集来自多组监控摄像头的影像数据;
(2)对各组影像数据进行数据预处理;
(3)依据处理后的影像数据提取相关行人图像;
(4)对获取的各组行人图像进行智能匹配;
(5)输出匹配结果并对匹配模型进行性能评估;
(6)存储数据并对监控平台进行性能优化。
作为本发明的进一步方案,步骤(2)所述行人图像数据预处理具体步骤如下:
步骤一:将采集到的影像信息进行逐帧提取以获取多组图片数据,之后依据各组图片数据的显示比例对相应图片进行分块处理,再对分块后的图像数据通过傅里叶变换去除其中高频成分;
步骤二:通过高斯平滑滤波器对图片数据做平滑处理,将处理后的图像进行非线性变换,对非线性变换得到的结果之和进行加权处理以获取最终图片数据;
步骤三:选取满足条件的窗口在各组图片数据中移动,每移动一次计算此时窗口下的灰度共生矩阵,并从灰度共生矩阵中计算相关图像数据中的纹理特征,同时记录各像素点对应纹理特征。
作为本发明的进一步方案,步骤(2)所述纹理特征具体计算公式如下:
式中,P(i,j)代表图像像素点的值;L代表灰度级的数目;
作为本发明的进一步方案,步骤(3)所述行人图像提取具体步骤如下:
步骤1:通过图像金字塔对图片数据进行尺度归一化处理,并提取各组图片数据的特征,之后通过双向特征金字塔进行特征融合以获取目标检测框;
步骤2:依据目标检测框对各图片数据进行扩大化剪裁以获取目标图像,之后获取窗口滑动获取的纹理特征,当纹理特征满足预设条件时,则判断当前像素区域为目标行人,并将其标记为1,若不满足,则判断当前像素区域为背景区域,并依据判断结果对目标行人进行背景分离以提取行人图像;
步骤3:计算行人图像的形状因子,并选取形状因子趋向0的行人图像,并判断该行人图像存在粘连区域,同时估算各粘连区域行人数量,之后对粘连区域进行凸包区域填充,再依据凸包面积以及粘连区域面积获取粘连区域凸缺陷以获取该凸缺陷内的凹点信息;
步骤4:对于两个行人粘连,直接绘制经过两个凹点的直线分割粘连人体;对于多组个体的粘连,将检测到的凹点随机连线,且每个凹点只能连一次,每次连接后计算连通区域的个数和每个连通区域的面积,当每个连通区域的面积都小于最大面积时,则判断匹配完成,并依据匹配结果对粘连行人进行分割;
步骤5:通过采集网络多次ShuffleBlock以得到各组行人图像的全局姿态特征,再由反卷积操作使全局姿态特征回归至关键点特征图上,再对关键点特征图进行解码处理,并收集解码后生成的人体二维关键点;
步骤6:通过DeepsPose模型对行人图像进行处理并获取多组节点数据,之后依据各组节点数据生成相对应的热力图,并将热力图中概率值最大的位置确定为人体关键点位置,同时生成该关键点位置坐标信息;
步骤7:获取两组人体关键点数据,并进行对比,同时筛除其中存在异常的关键点信息。
作为本发明的进一步方案,步骤(4)所述智能匹配具体步骤如下:
步骤Ⅰ:获取数据库中存储的过往行人图像,同时将获取的各组数据整合归纳成验证数据集,之后将数据集划分为训练集和测试集,初始化卷积神经网络的权重和参数,之后将训练集导入该卷积神经网络中并计算对应输出,再分别衡量模型的预测结果与真实标签之间的损失值;
步骤Ⅱ:若损失值未满足预设条件,则重新训练该卷积神经网络,同时更新该卷积神经网络参数,当损失值满足预设条件时,使用测试集对训练好的卷积神经网络进行评估,计算卷积神经网络在测试集上的性能指标,并输出匹配模型;
步骤Ⅲ:对实际视频帧的间隔时间进行计算,之后记录计算出的实际视频帧的间隔时间,并建立运动模型,同时通过构建的运动模型实时获取跟踪目标的运动状态,匹配模型收集第i个监控摄像头采集的行人图像当前视频帧运动状态;
步骤Ⅳ:收集多目标实时检测算法计算出的第i个相机当前视频帧中所有目标的检测结果以及其在当前视频帧中的位置以生成相关集合,之后逐一提取外观特征向量以得到检测结果的外观特征向量集合;
步骤Ⅴ:匹配模型依据收集到的各组集合计算第i个相机的检测结果和跟踪目标的马氏距离矩阵,再计算检测结果与跟踪目标之间的余弦距离,并使用预设阈值进行过滤以得到余弦距离表征的代价矩阵;
步骤Ⅵ:根据马氏距离矩阵和相关约束条件对余弦距离表征的代价矩阵再次进行过滤,之后采用匈牙利算法对进行二分匹配求解以得到匹配结果集合,并将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中;
步骤Ⅶ:针对未成功匹配的检测结果,若连续多组视频帧中的待定跟踪目标都能与某个检测结果成功匹配,则认为该待定跟踪目标是一个新增的确定跟踪目标,并将对应行人图像预处理后存储至数据库中。
一种行人重识别的***,包括监控平台、监控摄像头、影像预处理模块、特征提取模块、行人匹配模块、参数更新模块、匹配反馈模块、影像数据库以及性能优化模块;
所述监控平台用于接收采集到的行人影像以及匹配结果以供工作人员查看;
所述监控摄像头用于采集当前环境内的行人影像信息;
所述影像预处理用于对采集到的影像信息进行图像预处理;
所述特征提取模块用于提取影像信息中的各组行人图像;
所述行人匹配模块用于对提取的行人图像进行图像匹配;
所述参数更新模块用于对行人匹配模块参数进行优化调整;
所述匹配反馈模块用于对匹配结果进行审核,并依据审核结果对行人匹配模块进行性能评估;
所述影像数据库用于存储匹配结果以及过往行人影像;
所述性能优化模块用于优化监控平台性能。
作为本发明的进一步方案,所述参数更新模块优化调整具体步骤如下:
步骤①:参数更新模块在卷积神经网络的规定区间内初始化网络连接权值,计算卷积神经网络的输出,再比较期望输出与实际输出,同时计算所有神经元的局部误差;
步骤②:当局部误差超出预设阈值后,依据学习规则方程对卷积神经网络的权值进行训练以及更新,并依据预设的学习率以及步长列出所有可能的数据结果,对于每一组数据,选取任意一个子集作为测试集,其余子集作为训练集,训练模型后对测试集进行检测,并统计检测结果的损失值;
步骤③:将测试集更换为另一子集,再取剩余子集作为训练集,再次计算损失值,直至对所有数据都进行一次预测,通过选取损失值最小时对应的组合参数作为数据区间内最优的参数并替换卷积神经网络原有参数。
作为本发明的进一步方案,所述性能优化模块优化监控平台具体步骤如下:
第一步:性能优化模块为监控平台的各组功能界面生成一个启动链表,并依据LRU链表顺序,将各组启动链表按照各功能界面被访问次数由少到多进行进一步链接;
第二步:依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新,并从LRU链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择,直至回收足够的受害页面后停止;
第三步:将选择的受害页面合并为一个块并进行标记,之后唤醒一个压缩驱动程序以解析被标记的块,并获得属于该块的物理页,再将该物理页复制到缓冲区中,然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中,并将压缩块存储至压缩区域中。
相比于现有技术,本发明的有益效果在于:
1、该行人重识别的方法该行人重识别的方法通过图像金字塔对图片数据进行尺度归一化处理,并提取各组图片数据的特征,之后通过双向特征金字塔进行特征融合以获取目标检测框,依据目标检测框对各图片数据进行扩大化剪裁以获取目标图像,之后获取窗口滑动获取的纹理特征进行背景分离以提取行人图像,获取行人图像存在粘连区域,同时估算各粘连区域行人数量,之后对粘连区域进行凸包区域填充,再依据凸包面积以及粘连区域面积获取粘连区域凸缺陷以获取该凸缺陷内的凹点信息,对于两个行人粘连,直接绘制经过两个凹点的直线分割粘连人体;对于多组个体的粘连,将检测到的凹点随机连线,且每个凹点只能连一次,每次连接后计算连通区域的个数和每个连通区域的面积,当每个连通区域的面积都小于最大面积时,则判断匹配完成,并依据匹配结果对粘连行人进行分割,能够准确获取行人图像数据,提高检测效率,同时减少后续数据处理的工作量,减少等待时间,避免模型发生漏检情况。
2、本发明通过获取数据库中存储的过往行人图像,并通过获取得行人图像对卷积神经网络进行训练测试以获取匹配模型,再对实际视频帧的间隔时间进行计算,之后记录计算出的实际视频帧的间隔时间,并建立运动模型,同时通过构建的运动模型实时获取跟踪目标的运动状态,匹配模型计算第i个相机的检测结果和跟踪目标的马氏距离矩阵,再计算检测结果与跟踪目标之间的余弦距离,并对余弦距离表征的代价矩阵再次进行过滤,之后采用匈牙利算法对进行二分匹配求解以得到匹配结果集合,并将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中,针对未成功匹配的检测结果,若连续多组视频帧中的待定跟踪目标都能与某个检测结果成功匹配,则认为该待定跟踪目标是一个新增的确定跟踪目标,并将对应行人图像预处理后存储至数据库中,能够确保进行充分的跨相机匹配,同时有效地提高行人匹配精确性,并且降低操作难度,方便工作人员使用,节省工作人员时间。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明提出的一种行人重识别的方法的流程框图;
图2为本发明提出的一种行人重识别的***的***框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例1
参照图1,本实施例公开了一种行人重识别的方法,该重识别方法具体步骤如下:
收集来自多组监控摄像头的影像数据。
对各组影像数据进行数据预处理。
具体的,将采集到的影像信息进行逐帧提取以获取多组图片数据,之后依据各组图片数据的显示比例对相应图片进行分块处理,再对分块后的图像数据通过傅里叶变换去除其中高频成分,通过高斯平滑滤波器对图片数据做平滑处理,将处理后的图像进行非线性变换,对非线性变换得到的结果之和进行加权处理以获取最终图片数据,选取满足条件的窗口在各组图片数据中移动,每移动一次计算此时窗口下的灰度共生矩阵,并从灰度共生矩阵中计算相关图像数据中的纹理特征,同时记录各像素点对应纹理特征。
需要进一步说明的是,纹理特征具体计算公式如下:
式中,P(i,j)代表图像像素点的值;L代表灰度级的数目;
依据处理后的影像数据提取相关行人图像。
具体的,通过图像金字塔对图片数据进行尺度归一化处理,并提取各组图片数据的特征,之后通过双向特征金字塔进行特征融合以获取目标检测框,依据目标检测框对各图片数据进行扩大化剪裁以获取目标图像,之后获取窗口滑动获取的纹理特征,当纹理特征满足预设条件时,则判断当前像素区域为目标行人,并将其标记为1,若不满足,则判断当前像素区域为背景区域,并依据判断结果对目标行人进行背景分离以提取行人图像,计算行人图像的形状因子,并选取形状因子趋向0的行人图像,并判断该行人图像存在粘连区域,同时估算各粘连区域行人数量,之后对粘连区域进行凸包区域填充,再依据凸包面积以及粘连区域面积获取粘连区域凸缺陷以获取该凸缺陷内的凹点信息,对于两个行人粘连,直接绘制经过两个凹点的直线分割粘连人体;对于多组个体的粘连,将检测到的凹点随机连线,且每个凹点只能连一次,每次连接后计算连通区域的个数和每个连通区域的面积,当每个连通区域的面积都小于最大面积时,则判断匹配完成,并依据匹配结果对粘连行人进行分割,通过采集网络多次ShuffleBlock以得到各组行人图像的全局姿态特征,再由反卷积操作使全局姿态特征回归至关键点特征图上,再对关键点特征图进行解码处理,并收集解码后生成的人体二维关键点,通过DeepsPose模型对行人图像进行处理并获取多组节点数据,之后依据各组节点数据生成相对应的热力图,并将热力图中概率值最大的位置确定为人体关键点位置,同时生成该关键点位置坐标信息,获取两组人体关键点数据,并进行对比,同时筛除其中存在异常的关键点信息。
对获取的各组行人图像进行智能匹配。
具体的,获取数据库中存储的过往行人图像,同时将获取的各组数据整合归纳成验证数据集,之后将数据集划分为训练集和测试集,初始化卷积神经网络的权重和参数,之后将训练集导入该卷积神经网络中并计算对应输出,再分别衡量模型的预测结果与真实标签之间的损失值,若损失值未满足预设条件,则重新训练该卷积神经网络,同时更新该卷积神经网络参数,当损失值满足预设条件时,使用测试集对训练好的卷积神经网络进行评估,计算卷积神经网络在测试集上的性能指标,并输出匹配模型,对实际视频帧的间隔时间进行计算,之后记录计算出的实际视频帧的间隔时间,并建立运动模型,同时通过构建的运动模型实时获取跟踪目标的运动状态,匹配模型收集第i个监控摄像头采集的行人图像当前视频帧运动状态,收集多目标实时检测算法计算出的第i个相机当前视频帧中所有目标的检测结果以及其在当前视频帧中的位置以生成相关集合,之后逐一提取外观特征向量以得到检测结果的外观特征向量集合,匹配模型依据收集到的各组集合计算第i个相机的检测结果和跟踪目标的马氏距离矩阵,再计算检测结果与跟踪目标之间的余弦距离,并使用预设阈值进行过滤以得到余弦距离表征的代价矩阵,根据马氏距离矩阵和相关约束条件对余弦距离表征的代价矩阵再次进行过滤,之后采用匈牙利算法对进行二分匹配求解以得到匹配结果集合,并将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中,针对未成功匹配的检测结果,若连续多组视频帧中的待定跟踪目标都能与某个检测结果成功匹配,则认为该待定跟踪目标是一个新增的确定跟踪目标,并将对应行人图像预处理后存储至数据库中。
输出匹配结果并对匹配模型进行性能评估。
存储数据并对监控平台进行性能优化。
实施例2
参照图2,本实施例公开了一种行人重识别的***,包括监控平台、监控摄像头、影像预处理模块、特征提取模块、行人匹配模块、参数更新模块、匹配反馈模块、影像数据库以及性能优化模块。
监控平台用于接收采集到的行人影像以及匹配结果以供工作人员查看;监控摄像头用于采集当前环境内的行人影像信息;影像预处理用于对采集到的影像信息进行图像预处理;特征提取模块用于提取影像信息中的各组行人图像。
行人匹配模块用于对提取的行人图像进行图像匹配;参数更新模块用于对行人匹配模块参数进行优化调整。
具体的,参数更新模块在卷积神经网络的规定区间内初始化网络连接权值,计算卷积神经网络的输出,再比较期望输出与实际输出,同时计算所有神经元的局部误差,当局部误差超出预设阈值后,依据学习规则方程对卷积神经网络的权值进行训练以及更新,并依据预设的学习率以及步长列出所有可能的数据结果,对于每一组数据,选取任意一个子集作为测试集,其余子集作为训练集,训练模型后对测试集进行检测,并统计检测结果的损失值,将测试集更换为另一子集,再取剩余子集作为训练集,再次计算损失值,直至对所有数据都进行一次预测,通过选取损失值最小时对应的组合参数作为数据区间内最优的参数并替换卷积神经网络原有参数。
匹配反馈模块用于对匹配结果进行审核,并依据审核结果对行人匹配模块进行性能评估;影像数据库用于存储匹配结果以及过往行人影像;性能优化模块用于优化监控平台性能。
具体的,性能优化模块为监控平台的各组功能界面生成一个启动链表,并依据LRU链表顺序,将各组启动链表按照各功能界面被访问次数由少到多进行进一步链接,依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新,并从LRU链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择,直至回收足够的受害页面后停止,将选择的受害页面合并为一个块并进行标记,之后唤醒一个压缩驱动程序以解析被标记的块,并获得属于该块的物理页,再将该物理页复制到缓冲区中,然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中,并将压缩块存储至压缩区域中。
Claims (8)
1.一种行人重识别的方法,其特征在于,该重识别方法具体步骤如下:
(1)收集来自多组监控摄像头的影像数据;
(2)对各组影像数据进行数据预处理;
(3)依据处理后的影像数据提取相关行人图像;
(4)对获取的各组行人图像进行智能匹配;
(5)输出匹配结果并对匹配模型进行性能评估;
(6)存储数据并对监控平台进行性能优化。
2.根据权利要求1所述的一种行人重识别的方法,其特征在于,步骤(2)所述行人图像数据预处理具体步骤如下:
步骤一:将采集到的影像信息进行逐帧提取以获取多组图片数据,之后依据各组图片数据的显示比例对相应图片进行分块处理,再对分块后的图像数据通过傅里叶变换去除其中高频成分;
步骤二:通过高斯平滑滤波器对图片数据做平滑处理,将处理后的图像进行非线性变换,对非线性变换得到的结果之和进行加权处理以获取最终图片数据;
步骤三:选取满足条件的窗口在各组图片数据中移动,每移动一次计算此时窗口下的灰度共生矩阵,并从灰度共生矩阵中计算相关图像数据中的纹理特征,同时记录各像素点对应纹理特征。
3.根据权利要求2所述的一种行人重识别的方法,其特征在于,步骤(2)所述纹理特征具体计算公式如下:
(1)
(2)
(3)
(4)
式中,P(i,j)代表图像像素点的值;L代表灰度级的数目;
4.根据权利要求2所述的一种行人重识别的方法,其特征在于,步骤(3)所述行人图像提取具体步骤如下:
步骤1:通过图像金字塔对图片数据进行尺度归一化处理,并提取各组图片数据的特征,之后通过双向特征金字塔进行特征融合以获取目标检测框;
步骤2:依据目标检测框对各图片数据进行扩大化剪裁以获取目标图像,之后获取窗口滑动获取的纹理特征,当纹理特征满足预设条件时,则判断当前像素区域为目标行人,并将其标记为1,若不满足,则判断当前像素区域为背景区域,并依据判断结果对目标行人进行背景分离以提取行人图像;
步骤3:计算行人图像的形状因子,并选取形状因子趋向0的行人图像,并判断该行人图像存在粘连区域,同时估算各粘连区域行人数量,之后对粘连区域进行凸包区域填充,再依据凸包面积以及粘连区域面积获取粘连区域凸缺陷以获取该凸缺陷内的凹点信息;
步骤4:对于两个行人粘连,直接绘制经过两个凹点的直线分割粘连人体;对于多组个体的粘连,将检测到的凹点随机连线,且每个凹点只能连一次,每次连接后计算连通区域的个数和每个连通区域的面积,当每个连通区域的面积都小于最大面积时,则判断匹配完成,并依据匹配结果对粘连行人进行分割;
步骤5:通过采集网络多次ShuffleBlock以得到各组行人图像的全局姿态特征,再由反卷积操作使全局姿态特征回归至关键点特征图上,再对关键点特征图进行解码处理,并收集解码后生成的人体二维关键点;
步骤6:通过DeepsPose模型对行人图像进行处理并获取多组节点数据,之后依据各组节点数据生成相对应的热力图,并将热力图中概率值最大的位置确定为人体关键点位置,同时生成该关键点位置坐标信息;
步骤7:获取两组人体关键点数据,并进行对比,同时筛除其中存在异常的关键点信息。
5.根据权利要求4所述的一种行人重识别的方法,其特征在于,步骤(4)所述智能匹配具体步骤如下:
步骤Ⅰ:获取数据库中存储的过往行人图像,同时将获取的各组数据整合归纳成验证数据集,之后将数据集划分为训练集和测试集,初始化卷积神经网络的权重和参数,之后将训练集导入该卷积神经网络中并计算对应输出,再分别衡量模型的预测结果与真实标签之间的损失值;
步骤Ⅱ:若损失值未满足预设条件,则重新训练该卷积神经网络,同时更新该卷积神经网络参数,当损失值满足预设条件时,使用测试集对训练好的卷积神经网络进行评估,计算卷积神经网络在测试集上的性能指标,并输出匹配模型;
步骤Ⅲ:对实际视频帧的间隔时间进行计算,之后记录计算出的实际视频帧的间隔时间,并建立运动模型,同时通过构建的运动模型实时获取跟踪目标的运动状态,匹配模型收集第i个监控摄像头采集的行人图像当前视频帧运动状态;
步骤Ⅳ:收集多目标实时检测算法计算出的第i个相机当前视频帧中所有目标的检测结果以及其在当前视频帧中的位置以生成相关集合,之后逐一提取外观特征向量以得到检测结果的外观特征向量集合;
步骤Ⅴ:匹配模型依据收集到的各组集合计算第i个相机的检测结果和跟踪目标的马氏距离矩阵,再计算检测结果与跟踪目标之间的余弦距离,并使用预设阈值进行过滤以得到余弦距离表征的代价矩阵;
步骤Ⅵ:根据马氏距离矩阵和相关约束条件对余弦距离表征的代价矩阵再次进行过滤,之后采用匈牙利算法对进行二分匹配求解以得到匹配结果集合,并将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中;
步骤Ⅶ:针对未成功匹配的检测结果,若连续多组视频帧中的待定跟踪目标都能与某个检测结果成功匹配,则认为该待定跟踪目标是一个新增的确定跟踪目标,并将对应行人图像预处理后存储至数据库中。
6.一种行人重识别的***,其特征在于,包括监控平台、监控摄像头、影像预处理模块、特征提取模块、行人匹配模块、参数更新模块、匹配反馈模块、影像数据库以及性能优化模块;
所述监控平台用于接收采集到的行人影像以及匹配结果以供工作人员查看;
所述监控摄像头用于采集当前环境内的行人影像信息;
所述影像预处理用于对采集到的影像信息进行图像预处理;
所述特征提取模块用于提取影像信息中的各组行人图像;
所述行人匹配模块用于对提取的行人图像进行图像匹配;
所述参数更新模块用于对行人匹配模块参数进行优化调整;
所述匹配反馈模块用于对匹配结果进行审核,并依据审核结果对行人匹配模块进行性能评估;
所述影像数据库用于存储匹配结果以及过往行人影像;
所述性能优化模块用于优化监控平台性能。
7.根据权利要求6所述的一种行人重识别的***,其特征在于,所述参数更新模块优化调整具体步骤如下:
步骤①:参数更新模块在卷积神经网络的规定区间内初始化网络连接权值,计算卷积神经网络的输出,再比较期望输出与实际输出,同时计算所有神经元的局部误差;
步骤②:当局部误差超出预设阈值后,依据学习规则方程对卷积神经网络的权值进行训练以及更新,并依据预设的学习率以及步长列出所有可能的数据结果,对于每一组数据,选取任意一个子集作为测试集,其余子集作为训练集,训练模型后对测试集进行检测,并统计检测结果的损失值;
步骤③:将测试集更换为另一子集,再取剩余子集作为训练集,再次计算损失值,直至对所有数据都进行一次预测,通过选取损失值最小时对应的组合参数作为数据区间内最优的参数并替换卷积神经网络原有参数。
8.根据权利要求6所述的一种行人重识别的***,其特征在于,所述性能优化模块优化监控平台具体步骤如下:
第一步:性能优化模块为监控平台的各组功能界面生成一个启动链表,并依据LRU链表顺序,将各组启动链表按照各功能界面被访问次数由少到多进行进一步链接;
第二步:依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新,并从LRU链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择,直至回收足够的受害页面后停止;
第三步:将选择的受害页面合并为一个块并进行标记,之后唤醒一个压缩驱动程序以解析被标记的块,并获得属于该块的物理页,再将该物理页复制到缓冲区中,然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中,并将压缩块存储至压缩区域中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310999913.8A CN116977937A (zh) | 2023-08-09 | 2023-08-09 | 一种行人重识别的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310999913.8A CN116977937A (zh) | 2023-08-09 | 2023-08-09 | 一种行人重识别的方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116977937A true CN116977937A (zh) | 2023-10-31 |
Family
ID=88474853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310999913.8A Pending CN116977937A (zh) | 2023-08-09 | 2023-08-09 | 一种行人重识别的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116977937A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274110A (zh) * | 2023-11-14 | 2023-12-22 | 吉林大学 | 一种基于生成式人工智能与图神经网络的影像优化方法 |
CN117389341A (zh) * | 2023-12-13 | 2024-01-12 | 深圳威洛博机器人有限公司 | 一种机器人模组传动的速度控制*** |
-
2023
- 2023-08-09 CN CN202310999913.8A patent/CN116977937A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274110A (zh) * | 2023-11-14 | 2023-12-22 | 吉林大学 | 一种基于生成式人工智能与图神经网络的影像优化方法 |
CN117274110B (zh) * | 2023-11-14 | 2024-02-13 | 吉林大学 | 一种基于生成式人工智能与图神经网络的影像优化方法 |
CN117389341A (zh) * | 2023-12-13 | 2024-01-12 | 深圳威洛博机器人有限公司 | 一种机器人模组传动的速度控制*** |
CN117389341B (zh) * | 2023-12-13 | 2024-02-23 | 深圳威洛博机器人有限公司 | 一种机器人模组传动的速度控制*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
CN111709311B (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
CN110781836A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN109190446A (zh) | 基于三元组聚焦损失函数的行人再识别方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN116977937A (zh) | 一种行人重识别的方法及*** | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
CN110991340B (zh) | 一种基于图像压缩的人体动作分析方法 | |
CN111582126B (zh) | 基于多尺度行人轮廓分割融合的行人重识别方法 | |
CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
CN110728694A (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN111027377A (zh) | 一种双流神经网络时序动作定位方法 | |
CN112966574A (zh) | 人体三维关键点预测方法、装置及电子设备 | |
CN116030396B (zh) | 一种用于视频结构化提取的精确分割方法 | |
CN113269070A (zh) | 融合全局和局部特征的行人重识别方法、存储器及处理器 | |
CN101320477B (zh) | 一种人体跟踪方法及其设备 | |
CN113780145A (zh) | ***形态检测方法、装置、计算机设备和存储介质 | |
CN116704490B (zh) | 车牌识别方法、装置和计算机设备 | |
CN113177439A (zh) | 一种行人翻越马路护栏检测方法 | |
CN112418262A (zh) | 车辆再识别的方法、客户端及*** | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
CN111862147A (zh) | 视频中多车辆和多行人目标的跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |