CN114596340A - 一种监控视频的多目标跟踪方法及*** - Google Patents
一种监控视频的多目标跟踪方法及*** Download PDFInfo
- Publication number
- CN114596340A CN114596340A CN202210220010.0A CN202210220010A CN114596340A CN 114596340 A CN114596340 A CN 114596340A CN 202210220010 A CN202210220010 A CN 202210220010A CN 114596340 A CN114596340 A CN 114596340A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- monitoring video
- tracked
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 238000009432 framing Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 208000034012 Acid sphingomyelinase deficiency Diseases 0.000 description 8
- 101000595674 Homo sapiens Pituitary homeobox 3 Proteins 0.000 description 8
- 102100036088 Pituitary homeobox 3 Human genes 0.000 description 8
- 208000026753 anterior segment dysgenesis Diseases 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种监控视频的多目标跟踪方法及***，涉及计算机视觉技术与民航交通运输工程技术领域，获取待跟踪实时监控视频；将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；将待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；根据目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定待跟踪实时监控视频中多个目标的跟踪轨迹；通过对YOLOv4神经网络和DeepSORT神经网络进行改进并训练得到，多目标识别模型和多目标跟踪模型，能够自动确定待跟踪实时监控视频中多个目标的跟踪轨迹，提高了视频监视的智能化水平。
Description
技术领域
本发明涉及计算机视觉技术与民航交通运输工程技术领域，特别是涉及一种监控视频的多目标跟踪方法及***。
背景技术
近些年，随着民用航空业的快速发展，机场区域日益扩大，跑道、滑行道、机坪等机场场面交通情况越来越复杂，飞机在场面上发生冲突的概率增加。北京、上海、西安等的大型机场均存在多条跑道，机场场面时常出现拥堵现象。此外，候机楼的视线遮挡造成机场停机坪、部分滑行道存在监视盲区，为机场场面的交通管制埋下了安全隐患。因此，使辅助管制人员有效掌握场面交通情况对机场场面实施监控非常必要。
由于当前自动化监控***的功能简单，依靠人工目视依然是国内大型机场主要采取的监控手段。目前，多数大流量国际机场(杭州萧山国际机场、重庆江北国际机场、深圳宝安国际机场等)采取半人工半自动化监控***，随着机场客流量持续增加，尤其是在航班高峰期，停机坪安全监控工作的监管难度加大，这对停机坪监控人员的工作能力提出了更高要求。由于场面车辆和人员较多，作业时限性高且环境相对恶劣，停机坪的安防监控普遍人手不足，传统的人工目视监控管理手段存在安全瓶颈，监管不力容易导致机场安全事故的发生。因此，传统的人工目视已经难以满足机场场面的监控需求，当前亟需提高场面视频监视***的智能化水平。
发明内容
本发明的目的是提供一种监控视频的多目标跟踪方法及***，能够对监控视频中的多个目标进行跟踪，提高视频监视的智能化水平。
为实现上述目的，本发明提供了如下方案：
一种监控视频的多目标跟踪方法，包括：
获取待跟踪实时监控视频；
将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；
将所述待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；目标信息组序列中任一目标信息组包括同一待跟踪视频帧中所有目标的坐标和种类；所述多目标识别模型是利用历史监控视频对YOLOv4-TS神经网络进行训练得到的；所述YOLOv4-TS神经网络是在YOLOv4神经网络中添加空间金字塔池化模块后得到的；
根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹；所述多目标跟踪模型是利用历史监控视频对DeepSORT神经网络进行训练得到的。
可选的，在所述获取待跟踪实时监控视频之前，还包括：
获取历史监控视频；
按照预设时长在所述历史监控视频中提取多张历史监控视频帧作为第一历史监控视频帧序列；
对第一历史监控视频帧序列中每张所述历史监控视频帧中的目标信息进行标注，得到标注历史监控视频帧序列；
确定标注历史监控视频帧序列的历史目标信息组序列；
以所述标注历史监控视频帧序列为输入，以所述历史目标信息组序列为期望输出，对所述YOLOv4-TS神经网络进行训练，得到所述多目标识别模型。
可选的，在所述获取待跟踪实时监控视频之前，还包括：
对DeepSORT神经网络的卷积层尺寸、残差模块和网络输出尺寸均进行放大处理，得到放大DeepSORT神经网络；
对放大DeepSORT神经网络的网络结构进行降维处理，得到改进后的DeepSORT神经网络；
对所述历史监控视频进行分帧处理，得到多张历史监控视频帧作为第二历史监控视频帧序列；
利用Darklabel标注工具对所述第二历史监控视频帧序列中的相同目标信息进行关联标注，得到多个目标的历史跟踪轨迹；
将多个所述历史目标信息组序列为输入，以多个目标的历史跟踪轨迹为期望输出，对改进后的DeepSORT神经网络进行训练，得到所述多目标跟踪模型。
可选的，在获取待跟踪实时监控视频之前，还包括：
获取与所述待跟踪实时监控视频的监控场景相同的历史监控视频为预训练视频；
利用所述预训练视频对所述多目标跟踪模型进行训练，获得监控场景中多条初始跟踪轨迹。
可选的，所述根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹，具体包括：
令迭代次数m等于1；
确定所述初始跟踪轨迹为第0次迭代时的跟踪轨迹；
利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组；
利用IoU匹配算法对第一未匹配目标组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第二目标-跟踪轨迹匹配组；
将第一目标-跟踪轨迹匹配组和第二目标-跟踪轨迹匹配组合并为总匹配组；
根据总匹配组中目标的坐标更新对应的跟踪轨迹，得到第m次迭代时的多条跟踪轨迹；
利用Kalman滤波算法对第m次迭代时的多条跟踪轨迹进行实时仿真显示；
令m的数值增加1并返回步骤“利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组”，直至遍历目标信息组序列，得到待跟踪实时监控视频所在时段的多个目标的跟踪轨迹。
可选的，所述利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组，具体包括：
确定第m个的目标信息组中任一目标为当前目标；
确定第m-1次迭代时的多条跟踪轨迹中任一跟踪轨迹为当前跟踪轨迹；
根据所述当前目标的坐标，利用公式
确定当前目标和当前跟踪轨迹的运动信息值；其中，d(1)(i,j)为第i个跟踪轨迹和第j个目标的运动信息值，Dj表示第j个目标的检测结果，Pi表示第i个跟踪轨迹，Si表示由卡尔曼滤波预测得到的平均轨迹位置与检测位置间的协方差矩阵；
根据所述运动信息值，确定当前目标和当前跟踪轨迹的第一匹配度量值；
根据所述当前目标的外观特征，利用公式
确定当前目标和当前跟踪轨迹的外观信息值；其中，d(2)(i,j)为第i个跟踪轨迹和第j个目标的外观信息值，rj T为第j个目标的外观特征矩阵rj的转置矩阵；
表示第i个跟踪轨迹k上的第i个特征；Ri表示第i个跟踪轨迹k上的特征集合；
根据所述外观信息值，确定当前目标和当前跟踪轨迹的第二匹配度量值；
根据所述第一匹配度量值和所述第二匹配度量值，利用公式
确定总匹配度量值；其中，bij为第i个跟踪轨迹和第j个目标的总匹配度量值；
表示第m匹配度量值；m为1或2；
判断总匹配度量值是否为1，得到第一判断结果；
若所述第一判断结果为是，则将当前目标和当前跟踪轨迹添加至第一目标-跟踪轨迹匹配组中；
若所述第一判断结果为否，则将当前目标添加至第一未匹配目标组中；
更新当前跟踪轨迹，并返回步骤“根据所述当前目标的坐标，利用公式
确定当前目标和当前跟踪轨迹的运动信息值”直至遍历第m-1次迭代时的多条跟踪轨迹，更新当前目标，并返回步骤“确定第m-1次迭代时的多条跟踪轨迹中任一跟踪轨迹为当前跟踪轨迹”直至遍历第m个的目标信息组，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组。
可选的，所述根据所述运动信息值，确定当前目标和当前跟踪轨迹的第一匹配度量值，具体包括：
判断所述运动信息值是否大于运动信息阈值，得到第二判断结果；
若第二判断结果为否，则令第一匹配度量值为1；
若第二判断结果为是，则令第一匹配度量值为0。
可选的，所述根据所述外观信息值，确定当前目标和当前跟踪轨迹的第二匹配度量值，具体包括：
判断所述外观信息值是否大于外观信息阈值，得到第三判断结果；
若第三判断结果为否，则令第一匹配度量值为1；
若第三判断结果为是，则令第一匹配度量值为0。
一种监控视频的多目标跟踪***，包括：
待跟踪实时监控视频获取模块，用于获取待跟踪实时监控视频；
分帧模块，用于将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；
目标信息组序列确定模块，用于将所述待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；目标信息组序列中任一目标信息组包括同一待跟踪视频帧中所有目标的坐标和种类；所述多目标识别模型是利用历史监控视频对YOLOv4-TS神经网络进行训练得到的；所述YOLOv4-TS神经网络是在YOLOv4神经网络中添加空间金字塔池化模块后得到的；
跟踪轨迹确定模块，用于根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹；所述多目标跟踪模型是利用历史监控视频对DeepSORT神经网络进行训练得到的。
可选的，所述***还包括：
历史监控视频获取模块，用于获取历史监控视频；
第一历史监控视频帧序列提取模块，用于按照预设时长在所述历史监控视频中提取多张历史监控视频帧作为第一历史监控视频帧序列；
第一历史监控视频帧序列确定模块，用于对第一历史监控视频帧序列中每张所述历史监控视频帧中的目标信息进行标注，得到第一历史监控视频帧序列；
历史目标信息组序列确定模块，用于确定标注历史监控视频帧序列的历史目标信息组序列；
多目标识别模型确定模块，用于以所述标注历史监控视频帧序列为输入，以所述历史目标信息组序列为期望输出，对所述YOLOv4-TS神经网络进行训练，得到所述多目标识别模型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过对YOLOv4神经网络和DeepSORT神经网络进行改进并训练得到，多目标识别模型和多目标跟踪模型，能够自动确定待跟踪实时监控视频中多个目标的跟踪轨迹，提高了视频监视的智能化水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种监控视频的多目标跟踪方法的流程图；
图2为本发明实施例中ASMD数据集的构建流程图；
图3为本发明实施例中YOLOv4-TS目标检测的流程图；
图4为本发明实施例中YOLOv4神经网络结构示意图；
图5为本发明实施例中YOLOv4-TS神经网络结构示意图；
图6为本发明实施例中PANet网络结构图；
图7为本发明实施例中多目标跟踪模型的运行流程图；
图8为本发明实施例中一种监控视频的多目标跟踪***的结构示意图；
图9为本发明实施例中数据采集模块的结构示意图；
图10为本发明实施例中基于YOLOv4-TS的机场场面目标检测模块的结构示意图；
图11为本发明实施例中基于改进的DeepSORT多目标跟踪模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种监控视频的多目标跟踪方法及***，能够对监控视频中的多个目标进行跟踪，提高视频监视的智能化水平。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提高了一种监控视频的多目标跟踪方法，包括：
获取待跟踪实时监控视频；
将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；
将待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；目标信息组序列中任一目标信息组包括同一待跟踪视频帧中所有目标的坐标和种类；多目标识别模型是利用历史监控视频对YOLOv4-TS神经网络进行训练得到的；YOLOv4-TS神经网络是在YOLOv4神经网络中添加空间金字塔池化模块后得到的；
根据目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定待跟踪实时监控视频中多个目标的跟踪轨迹；多目标跟踪模型是利用历史监控视频对DeepSORT神经网络进行训练得到的。
此外，本发明提供的监控视频的多目标跟踪方法，在获取待跟踪实时监控视频之前，还包括：
获取历史监控视频；
按照预设时长在历史监控视频中提取多张历史监控视频帧作为第一历史监控视频帧序列；
对第一历史监控视频帧序列中每张历史监控视频帧中的目标信息进行标注，得到标注历史监控视频帧序列；
确定标注历史监控视频帧序列的历史目标信息组序列；
以标注历史监控视频帧序列为输入，以历史目标信息组序列为期望输出，对YOLOv4-TS神经网络进行训练，得到多目标识别模型。
此外，本发明提供的监控视频的多目标跟踪方法，在获取待跟踪实时监控视频之前，还包括：
对DeepSORT神经网络的卷积层尺寸、残差模块和网络输出尺寸均进行放大处理，得到放大DeepSORT神经网络；
对放大DeepSORT神经网络的网络结构进行降维处理，得到改进后的DeepSORT神经网络；
对历史监控视频进行分帧处理，得到多张历史监控视频帧作为第二历史监控视频帧序列；
利用Darklabel标注工具对第二历史监控视频帧序列中的相同目标信息进行关联标注，得到多个目标的历史跟踪轨迹；
将多个历史目标信息组序列为输入，以多个目标的历史跟踪轨迹为期望输出，对改进后的DeepSORT神经网络进行训练，得到多目标跟踪模型。
此外，本发明提供的监控视频的多目标跟踪方法，在获取待跟踪实时监控视频之前，还包括：
获取与待跟踪实时监控视频的监控场景相同的历史监控视频为预训练视频；
利用预训练视频对多目标跟踪模型进行训练，获得监控场景中多条初始跟踪轨迹。
具体的，根据目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定待跟踪实时监控视频中多个目标的跟踪轨迹，具体包括：
令迭代次数m等于1；
确定初始跟踪轨迹为第0次迭代时的跟踪轨迹；
利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组；
利用IoU匹配算法对第一未匹配目标组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第二目标-跟踪轨迹匹配组；
将第一目标-跟踪轨迹匹配组和第二目标-跟踪轨迹匹配组合并为总匹配组；
根据总匹配组中目标的坐标更新对应的跟踪轨迹，得到第m次迭代时的多条跟踪轨迹；
利用Kalman滤波算法对第m次迭代时的多条跟踪轨迹进行实时仿真显示；
令m的数值增加1并返回步骤“利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组”，直至遍历目标信息组序列，得到待跟踪实时监控视频所在时段的多个目标的跟踪轨迹。
其中，利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组，具体包括：
确定第m个的目标信息组中任一目标为当前目标；
确定第m-1次迭代时的多条跟踪轨迹中任一跟踪轨迹为当前跟踪轨迹；
根据当前目标的坐标，利用公式
确定当前目标和当前跟踪轨迹的运动信息值；其中，d(1)(i,j)为第i个跟踪轨迹和第j个目标的运动信息值，Dj表示第j个目标的检测结果，Pi表示第i个跟踪轨迹，Si表示由卡尔曼滤波预测得到的平均轨迹位置与检测位置间的协方差矩阵；
根据运动信息值，确定当前目标和当前跟踪轨迹的第一匹配度量值；
根据当前目标的外观特征，利用公式
确定当前目标和当前跟踪轨迹的外观信息值；其中，d(2)(i,j)为第i个跟踪轨迹和第j个目标的外观信息值，rj T为第j个目标的外观特征矩阵rj的转置矩阵；
表示第i个跟踪轨迹k上的第i个特征；Ri表示第i个跟踪轨迹k上的特征集合；
根据外观信息值，确定当前目标和当前跟踪轨迹的第二匹配度量值；
根据第一匹配度量值和第二匹配度量值，利用公式
确定总匹配度量值；其中，bij为第i个跟踪轨迹和第j个目标的总匹配度量值；
表示第m匹配度量值；m为1或2；
判断总匹配度量值是否为1，得到第一判断结果；
若第一判断结果为是，则将当前目标和当前跟踪轨迹添加至第一目标-跟踪轨迹匹配组中；
若第一判断结果为否，则将当前目标添加至第一未匹配目标组中；
更新当前跟踪轨迹，并返回步骤“根据当前目标的坐标，利用公式
确定当前目标和当前跟踪轨迹的运动信息值”直至遍历第m-1次迭代时的多条跟踪轨迹，更新当前目标，并返回步骤“确定第m-1次迭代时的多条跟踪轨迹中任一跟踪轨迹为当前跟踪轨迹”直至遍历第m个的目标信息组，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组。
具体的，根据运动信息值，确定当前目标和当前跟踪轨迹的第一匹配度量值，具体包括：
判断运动信息值是否大于运动信息阈值，得到第二判断结果；
若第二判断结果为否，则令第一匹配度量值为1；
若第二判断结果为是，则令第一匹配度量值为0。
进一步地，其特征在于，根据外观信息值，确定当前目标和当前跟踪轨迹的第二匹配度量值，具体包括：
判断外观信息值是否大于外观信息阈值，得到第三判断结果；
若第三判断结果为否，则令第一匹配度量值为1；
若第三判断结果为是，则令第一匹配度量值为0。
如图1，以机场场面监控视频为例，对本发明提供的监控视频的多目标跟踪方法做具体说明，本发明包括以下步骤：
S100、构建机场场面多功能数据集：
构建ASMD数据集包括用于训练和评估YOLOv4-TS目标检测算法的训练集和测试集、用于评估改进的DeepSORT多目标跟踪算法的测试集及用于训练改进的Re-ID网络的训练集，如图2所示，在步骤S100中，可以包括：
S101、数据采集：
具体地，通过高清摄像机拍摄机场场面的监控视频，在不涉密的情况下，由相机接口远程接入部分机场场面相机获取原始图像信息。
S102、目标检测数据集构建：
具体地，按照每500ms截取一张图片，利用LabelImg标注工具对每张截图进行标注，构建用于训练和评估YOLOv4-TS目标检测算法的训练集和测试集。
S103、多目标跟踪数据集构建：
具体地，利用Darklabel标注工具对视频的每一帧进行标注，构建用于评估改进的DeepSORT多目标跟踪算法的测试集。
S104、Re-ID数据集构建：
具体地，利用构建好的数据集，根据不同类别目标检测框的位置，把各个标签图片从原图中分割出来，构建用于训练改进的Re-ID网络的训练集。
S110、构建基于YOLOv4-TS的机场场面目标检测模型：
具体地，通过在ASMD数据集上训练YOLOv4-TS的机场场面目标检测模型，输入机场场面监控图像，得到目标的检测框及坐标信息，如图3所示，步骤S110包括：
S111、特征提取：
具体地，采用CSPDarknet网络结构作为特征提取网络，对输入场面监控图像进行特征提取。其卷积层数有53层，即使用CSPDarknet53作为特征提取网络，改特征提取网络在MS-COCO数据集的预训练权重初始化，进行迁移学习。
S112、多尺度特征信息获取：
具体地，使用SPP网络获取多尺度特征信息。SPP(空间金字塔池化)模块实现了获取多尺度特征信息的能力，核心在于最大池化层中的三个不同尺寸的内核。其中，每个最大池化层步距尺寸大小设为s，内核尺寸设为d，则输出特征图尺寸大小Ysize可以用公式(1)表示。
其中，
为向下取整函数，Xsize为输入特征图尺寸，SPP模块在YOLOv4网络中步距s为1，p(pad)为图像填充的Padding，pad和Padding均表示在图片***填充一些像素点。
Padding大小取决于内核尺寸d，计算方法如公式(2)所示。
图4中，CBL为卷积块，由Conv(卷积层)、Batch Normalization(批归一化层)，Leakyrelu(激活函数)这三个网络层组成，CBLn代表由n个CBL模块相连组成；SPP代表空间金字塔池化层；Up sample和Down sample分别表示上采样和下采样。如图4-5，经过计算，得到输入Xsize和输出Ysize相等，即经过SPP模块处理后，输出的特征图尺寸和原始特征图保持一致。CNN的低层特征图中有较高的分辨率，因此含有更具体的细节信息，而高层特征图中有更大的感受野和更丰富的表达信息。SPP模块融合了更多尺度特征，吸收了低层和高层特征图的优点，得到了更抽象的信息，从而扩大了获取特征信息的范围，提高模型的预测性能。该发明将原本位于颈部网络19×19特征图后的SPP模块，分别在38×38和76×76相同位置处增加SPP模块，强化对中等尺度和小尺度目标的检测能力，更契合像机场场面这种存在多尺度目标的复杂环境。因原始YOLOv4网络中的SPP模块数量从一个增加至三个，故将改进后的网络命名为“YOLOv4-Triple SPP”，简称“YOLOv4-TS”。
S113、多尺度特征融合：
图6中，如图6，Class表示类别，box表示检测框，mask表示图像掩膜，一般用二维矩阵数组表示。具体地，使用PANet网络对不同尺度特征进行融合。实现的步骤如下：首先，在第(一)部分中，借鉴FPN结构，在同一网络阶段生成具有相同空间大小的特征图，使用{P2,P3,P4,P5}表示生成特征级别，用于优化传播路径。其次，第(二)部分借鉴ResNet架构的启发，用{N2,N3,N4,N5}表示{P2,P3,P4,P5}对应生成的特征映射，扩展路径从最低级别的N2开始，逐渐上升至N5。最后，每个模块采用未处理的特征图Pi和高分辨率的特征图Ni，通过横向连接的方式生成新的特征图。位于PANet第(三)部分的自适应特征池担任着把单层特征融合为多层特征的工作，利用特征融合使网络具有自适应能力，为自底向上路径扩充的架构提供了强有力的支撑。PANet的第(四)部分则是将第(三)部分融合成的特征层进行分类和回归。全连接层融合位于PANet第(五)部分，它主要承担语义分割的工作，起到预测和生成Mask的作用，两条支路融合并生成Mask，最终得到预测结果。
S114、YOLOv4-TS网络训练：
具体地，使用YOLOv4-TS目标检测算法的数据集训练网络，并调整网络超参数，选取最优的网络模型；
S115、YOLOv4-TS目标检测：
具体地，将机场场面监控图像送入YOLOv4-TS网络模型，进行多类别目标检测；
S120、构建基于改进的DeepSORT多目标跟踪模型；
具体地，通过在ASMD数据集上训练改进的深度外观模型，改善原始网络的重识别效果；再利用DeepSORT多目标跟踪算法，将步骤S110得到的检测值作为输入，得到视频中多个目标的跟踪轨迹。如图7所示，步骤S120包括：
S121、Kalman滤波状态预测：
具体地，使用Kalman滤波算法对场面多目标进行状态预测。其中，状态预测过程涉及的状态预测方程和协方差矩阵方程如公式(3)及(4)所示，状态更新涉及的增益方程、更新后的状态最优方程和最优估计协方差矩阵方程如公式(5)、(6)及(7)所示。其中，Xk,k和Xk-1,k-1分别表示k和k-1时刻对应的状态向量，Xk,k-1表示k-1时刻到k时刻的状态向量；Pk,k和Pk-1,k-1分别表示k和k-1时刻对应的协方差矩阵，Pk,k-1表示k-1时刻到k时刻的协方差矩阵；Zk表示观测向量，A表示k-1到k时刻的状态转移矩阵，B和Uk分别表示输入的增益矩阵和增益向量，H表示观测矩阵，设定***噪声和观测噪声的协方差矩阵为Q和R，Q和R不受***状态影响。
Xk,k-1＝AXk-1,k-1+BUk) (3)
Pk,k-1＝APk-1,k-1AT+Q (4)
Kk＝Pk,k-1HT(HPk,k-1HT+R)-1 (5)
Xk,k＝Xk,k-1+Kk(Zk-HXk,k-1) (6)
Pk,k＝Pk,k-1-KkHPk,k-1 (7)
S122、匈牙利匹配：
具体地，使用匈牙利算法进一步对检测值和预测轨迹进行匹配。其中，包括基于马氏距离的运动信息相似度匹配和基于改进的深度外观模型相似度匹配，并将两者进行数据关联融合，具体方法如下：
当目标运动状态存在不确定因素时，可使用马氏距离表达预测框和检测框之间的运动信息，计算表达式如公式(8)所示。其中d(1)(i,j)表示第i个预测框和第j个检测框运动匹配信息，Pi表示第i个预测框的预测结果，Dj表示第j个检测框的检测结果，Si表示由卡尔曼滤波预测得到的平均轨迹位置与检测位置间的协方差矩阵。此外，为确保筛除无效关联，通过卡方分布计算得到95％的置信区间来对马氏距离进行阈值化，定义如函数(9)所示。其中，针对四维预测空间(x,y,w,h)，给定阈值t(1)＝9.4877，当预测框与检测框成功关联时，结果为1。其中(x,y)表示目标中心点坐标，w表示目标边框的纵横比值，h表示目标边框的高度。
由于原始特征网络是在行人数据集上进行训练，特征提取对象主要为行人，输入尺寸仅为128×64，原始特征网络如表1所示。针对本发明构建的ASMD数据集中，存在车辆及飞机等大尺寸目标，原始算法的输入尺寸对大尺寸目标有一定的局限性。因此，本发明在原有网络模型的基础上进行了改进，对输入卷积层的尺寸和残差进行了放大，调整后的网络输入尺寸扩大为128×128，同时也加深了残差网络，对放大后的网络进行了降维，保证了训练模型的收敛速度，改进后的网络结构如表2所示。
表1 改进前的特征提取网络结构
表2 改进后的特征提取网络结构
加入的深度外观信息实现步骤如下，首先，求解出每个检测框Dj所对应的外观特征rj，给定约束条件||rj||＝1；其次，在跟踪轨迹k上建立特征集合Ri，每成功关联一百条外观特征，将其收录至特征集合Ri中；最后，引入最小余弦距离表达预测框Pi和检测框Dj的深度外观信息。通过改进后的网络模型训练，计算出预测框和检测框的外观信息，即余弦距离表达式(10)。此外，类比公式(8)定义的d(1)(i,j)同样进行阈值化处理，定义如函数(11)所示，通过改进后的网络模型训练得到阈值t(2)。
S123、级联匹配：
融合后的数据关联模型ci,j表达式如公式(12)所示。其中，λ表示模型的调控参数，取值区间为[0,1]，可通过调节λ来控制运动信息和外观信息在融合模型中的比重，如在目标被长期遮挡或摄像头运动幅度较大的情况下，卡尔曼滤波预测效果极差，不具有参考价值，此时融合模型放弃预测得到的运动信息，即令λ＝0。此外，加入了空间位置匹配的d(3)(i,j)，其作用是当匹配度量bij不符合规定值时，表示含义即没有匹配到轨迹，则用IoUσ度量来弥补这一损失，匹配度量bij表达式如公式(13)所示。
具体地，使用级联匹配算法对检测值和预测轨迹进行匹配。级联匹配算法将预测轨迹和检测框作为输入，通过计算匹配度量，输出成功匹配的集合和未成功匹配的集合，通过预测轨迹进行迭代运算，使得出现次数频繁的目标获得优先匹配权，有效改善因概率弥散造成的匹配错乱问题。此外，通过筛选得到满足要求的预测框进行匹配，可降低因目标被长时间遮挡而导致身份跳变的次数，有效提升算法的鲁棒性。
S124、匈牙利-级联联合匹配算法：
输入:预测轨迹集合P＝(1,...,n)，检测框集合D＝(1,...,m)，被遮挡的最大连续顿数Amax。
输出:已成功匹配的集合M和未成功匹配的集合U。
步骤1:用运动信息和外观信息相融合后的数据关联模型，即利用公式(12)计算得到的值赋予集合Cm＝{ci，j}；
步骤2:融合匹配度量。即利用公式(13)计算得到的值赋予集合Bm＝{bij}；
步骤3:算法的初始化，令集合M为空集；
步骤4:初始化未匹配的检测框集合，将检测框集合D赋予集合U；
步骤5:从匹配到目标的预测轨迹开始，一直遍历到Amax个未匹配目标的预测值，并求出已成功匹配的集合{xi,j}；
步骤6:更新集合，即将得到的{xi,j}与M求并，并将其值赋予到集合M，将集合U去掉已成功匹配的集合{xi,j}，并将求出的差集重新赋予给集合U，至此完成一轮算法；
步骤7:将M、U两个集合作为初始值返回步骤5，代入下一轮的迭代。
S125、IoU匹配：
具体地，对未确认状态的轨迹、未匹配的轨迹和未匹配的检测框，进行IoU匹配，如公式(12)所示，随后使用匈牙利算法进行下一次迭代。
S126、Kalman滤波参数更新：
具体地，使用Kalman滤波对参数进行更新及后续处理。
针对现有机场场面监控设备尚未完全满足对场面目标精确感知的问题，本发明实施例提供的一种基于机场场面监控视频的多目标跟踪方法及装置，解决了目前机场场面所使用目视监控的方法工作强度大、效率低等问题，利用深度学***，减少场面监控对人工判读的依赖。
此外，本发明还提供了一种监控视频的多目标跟踪***，包括：
待跟踪实时监控视频获取模块，用于获取待跟踪实时监控视频；
分帧模块，用于将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；
目标信息组序列确定模块，用于将待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；目标信息组序列中任一目标信息组包括同一待跟踪视频帧中所有目标的坐标和种类；多目标识别模型是利用历史监控视频对YOLOv4-TS神经网络进行训练得到的；YOLOv4-TS神经网络是在YOLOv4神经网络中添加空间金字塔池化模块后得到的；
跟踪轨迹确定模块，用于根据目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定待跟踪实时监控视频中多个目标的跟踪轨迹；多目标跟踪模型是利用历史监控视频对DeepSORT神经网络进行训练得到的。
历史监控视频获取模块，用于获取历史监控视频；
第一历史监控视频帧序列提取模块，用于按照预设时长在历史监控视频中提取多张历史监控视频帧作为第一历史监控视频帧序列；
第一历史监控视频帧序列确定模块，用于对第一历史监控视频帧序列中每张历史监控视频帧中的目标信息进行标注，得到第一历史监控视频帧序列；
历史目标信息组序列确定模块，用于确定标注历史监控视频帧序列的历史目标信息组序列；
多目标识别模型确定模块，用于以标注历史监控视频帧序列为输入，以历史目标信息组序列为期望输出，对YOLOv4-TS神经网络进行训练，得到多目标识别模型。
如图8，以机场场面监控视频为例，发明提供的监控视频的多目标跟踪***，包括以下模块：数据采集模块，读取本地磁盘ASMD数据集中的监控视频或图片；基于YOLOv4-TS的机场场面目标检测模块，通过在ASMD数据集上训练YOLOv4-TS的机场场面目标检测模型，输入机场场面监控图像，得到目标的检测框及坐标信息；基于改进的DeepSORT多目标跟踪模块，通过在ASMD数据集上训练改进的深度外观模型，改善原始网络的重识别效果；再利用DeepSORT多目标跟踪算法，将目标检测模块得到的检测值作为输入，得到视频中多个目标的跟踪轨迹。
进一步地，如图9所示，数据采集模块包括：目标检测算法的数据集单元，用于训练和评估YOLOv4-TS目标检测算法；多目标跟踪数据集单元，用于评估改进的DeepSORT多目标跟踪算法；Re-ID数据集单元，训练改进的Re-ID网络。
进一步地，如图10所示，基于YOLOv4-TS的机场场面目标检测模块包括：CSPDarknet53特征提取网络单元，用于对输入场面监控图像进行特征提取；空间金字塔池化单元，用于获取多尺度特征信息；路径聚合网络单元，用于对不同尺度特征进行融合。
如图11所示，基于改进的DeepSORT多目标跟踪模块：Kalman滤波模型构建单元，用于预测机场场面上的运动轨迹；匈牙利匹配单元，从运动信息和外观信息对检测值和预测轨迹进行匹配；级联匹配单元，用于对检测值和预测轨迹进行进一步匹配；moU匹配单元，对未匹配的值进行补充匹配；Kalman滤波参数更新单元；用于更新***状态。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种监控视频的多目标跟踪方法，其特征在于，所述方法包括：
获取待跟踪实时监控视频；
将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；
将所述待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；目标信息组序列中任一目标信息组包括同一待跟踪视频帧中所有目标的坐标和种类；所述多目标识别模型是利用历史监控视频对YOLOv4-TS神经网络进行训练得到的；所述YOLOv4-TS神经网络是在YOLOv4神经网络中添加空间金字塔池化模块后得到的；
根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹；所述多目标跟踪模型是利用历史监控视频对DeepSORT神经网络进行训练得到的。
2.根据权利要求1所述的监控视频的多目标跟踪方法，其特征在于，在所述获取待跟踪实时监控视频之前，还包括：
获取历史监控视频；
按照预设时长在所述历史监控视频中提取多张历史监控视频帧作为第一历史监控视频帧序列；
对第一历史监控视频帧序列中每张所述历史监控视频帧中的目标信息进行标注，得到标注历史监控视频帧序列；
确定标注历史监控视频帧序列的历史目标信息组序列；
以所述标注历史监控视频帧序列为输入，以所述历史目标信息组序列为期望输出，对所述YOLOv4-TS神经网络进行训练，得到所述多目标识别模型。
3.根据权利要求2所述的监控视频的多目标跟踪方法，其特征在于，在所述获取待跟踪实时监控视频之前，还包括：
对DeepSORT神经网络的卷积层尺寸、残差模块和网络输出尺寸均进行放大处理，得到放大DeepSORT神经网络；
对放大DeepSORT神经网络的网络结构进行降维处理，得到改进后的DeepSORT神经网络；
对所述历史监控视频进行分帧处理，得到多张历史监控视频帧作为第二历史监控视频帧序列；
利用Darklabel标注工具对所述第二历史监控视频帧序列中的相同目标信息进行关联标注，得到多个目标的历史跟踪轨迹；
将多个所述历史目标信息组序列为输入，以多个目标的历史跟踪轨迹为期望输出，对改进后的DeepSORT神经网络进行训练，得到所述多目标跟踪模型。
4.根据权利要求1所述的监控视频的多目标跟踪方法，其特征在于，在获取待跟踪实时监控视频之前，还包括：
获取与所述待跟踪实时监控视频的监控场景相同的历史监控视频为预训练视频；
利用所述预训练视频对所述多目标跟踪模型进行训练，获得监控场景中多条初始跟踪轨迹。
5.根据权利要求4所述的监控视频的多目标跟踪方法，其特征在于，所述根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹具体包括：
令迭代次数m等于1；
确定所述初始跟踪轨迹为第0次迭代时的跟踪轨迹；
利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组；
利用IoU匹配算法对第一未匹配目标组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第二目标-跟踪轨迹匹配组；
将第一目标-跟踪轨迹匹配组和第二目标-跟踪轨迹匹配组合并为总匹配组；
根据总匹配组中目标的坐标更新对应的跟踪轨迹，得到第m次迭代时的多条跟踪轨迹；
利用Kalman滤波算法对第m次迭代时的多条跟踪轨迹进行实时仿真显示；
令m的数值增加1并返回步骤“利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组”，直至遍历目标信息组序列，得到待跟踪实时监控视频所在时段的多个目标的跟踪轨迹。
6.根据权利要求5所述的监控视频的多目标跟踪方法，其特征在于，所述利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m-1次迭代时的多条跟踪轨迹进行匹配，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组具体包括：
确定第m个的目标信息组中任一目标为当前目标；
确定第m-1次迭代时的多条跟踪轨迹中任一跟踪轨迹为当前跟踪轨迹；
根据所述当前目标的坐标，利用公式
确定当前目标和当前跟踪轨迹的运动信息值；其中，d(1)(i,j)为第i个跟踪轨迹和第j个目标的运动信息值，Dj表示第j个目标的检测结果，Pi表示第i个跟踪轨迹，Si表示由卡尔曼滤波预测得到的平均轨迹位置与检测位置间的协方差矩阵；
根据所述运动信息值，确定当前目标和当前跟踪轨迹的第一匹配度量值；
根据所述当前目标的外观特征，利用公式
确定当前目标和当前跟踪轨迹的外观信息值；其中，d(2)(i,j)为第i个跟踪轨迹和第j个目标的外观信息值，rj T为第j个目标的外观特征矩阵rj的转置矩阵；
表示第i个跟踪轨迹k上的第i个特征；Ri表示第i个跟踪轨迹k上的特征集合；
根据所述外观信息值，确定当前目标和当前跟踪轨迹的第二匹配度量值；
根据所述第一匹配度量值和所述第二匹配度量值，利用公式
确定总匹配度量值；其中，bij为第i个跟踪轨迹和第j个目标的总匹配度量值；
表示第m匹配度量值；m为1或2；
判断总匹配度量值是否为1，得到第一判断结果；
若所述第一判断结果为是，则将当前目标和当前跟踪轨迹添加至第一目标-跟踪轨迹匹配组中；
若所述第一判断结果为否，则将当前目标添加至第一未匹配目标组中；
更新当前跟踪轨迹，并返回步骤“根据所述当前目标的坐标，利用公式
确定当前目标和当前跟踪轨迹的运动信息值”直至遍历第m-1次迭代时的多条跟踪轨迹，更新当前目标，并返回步骤“确定第m-1次迭代时的多条跟踪轨迹中任一跟踪轨迹为当前跟踪轨迹”直至遍历第m个的目标信息组，得到第一目标-跟踪轨迹匹配组和第一未匹配目标组。
7.根据权利要求6所述的监控视频的多目标跟踪方法，其特征在于，所述根据所述运动信息值，确定当前目标和当前跟踪轨迹的第一匹配度量值具体包括：
判断所述运动信息值是否大于运动信息阈值，得到第二判断结果；
若第二判断结果为否，则令第一匹配度量值为1；
若第二判断结果为是，则令第一匹配度量值为0。
8.根据权利要求6所述的监控视频的多目标跟踪方法，其特征在于，所述根据所述外观信息值，确定当前目标和当前跟踪轨迹的第二匹配度量值具体包括：
判断所述外观信息值是否大于外观信息阈值，得到第三判断结果；
若第三判断结果为否，则令第一匹配度量值为1；
若第三判断结果为是，则令第一匹配度量值为0。
9.一种监控视频的多目标跟踪***，其特征在于，所述***包括：
待跟踪实时监控视频获取模块，用于获取待跟踪实时监控视频；
分帧模块，用于将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；
目标信息组序列确定模块，用于将所述待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；目标信息组序列中任一目标信息组包括同一待跟踪视频帧中所有目标的坐标和种类；所述多目标识别模型是利用历史监控视频对YOLOv4-TS神经网络进行训练得到的；所述YOLOv4-TS神经网络是在YOLOv4神经网络中添加空间金字塔池化模块后得到的；
跟踪轨迹确定模块，用于根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹；所述多目标跟踪模型是利用历史监控视频对DeepSORT神经网络进行训练得到的。
10.根据权利要求9所述的监控视频的多目标跟踪***，其特征在于，所述***还包括：
历史监控视频获取模块，用于获取历史监控视频；
第一历史监控视频帧序列提取模块，用于按照预设时长在所述历史监控视频中提取多张历史监控视频帧作为第一历史监控视频帧序列；
第一历史监控视频帧序列确定模块，用于对第一历史监控视频帧序列中每张所述历史监控视频帧中的目标信息进行标注，得到第一历史监控视频帧序列；
历史目标信息组序列确定模块，用于确定标注历史监控视频帧序列的历史目标信息组序列；
多目标识别模型确定模块，用于以所述标注历史监控视频帧序列为输入，以所述历史目标信息组序列为期望输出，对所述YOLOv4-TS神经网络进行训练，得到所述多目标识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210220010.0A CN114596340A (zh) | 2022-03-08 | 2022-03-08 | 一种监控视频的多目标跟踪方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210220010.0A CN114596340A (zh) | 2022-03-08 | 2022-03-08 | 一种监控视频的多目标跟踪方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114596340A true CN114596340A (zh) | 2022-06-07 |
Family
ID=81808080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210220010.0A Pending CN114596340A (zh) | 2022-03-08 | 2022-03-08 | 一种监控视频的多目标跟踪方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114596340A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115464659A (zh) * | 2022-10-05 | 2022-12-13 | 哈尔滨理工大学 | 一种基于视觉信息的深度强化学习ddpg算法的机械臂抓取控制方法 |
| CN115880620A (zh) * | 2022-09-13 | 2023-03-31 | 中信重工开诚智能装备有限公司 | 一种应用在推车预警***中的人员计数方法 |
| CN116403162A (zh) * | 2023-04-11 | 2023-07-07 | 南京航空航天大学 | 一种机场场面目标行为识别方法、***及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158983A (zh) * | 2021-05-18 | 2021-07-23 | 南京航空航天大学 | 一种基于红外视频序列图像的机场场面活动行为识别方法 |
| CN113269098A (zh) * | 2021-05-27 | 2021-08-17 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于无人机的多目标跟踪定位与运动状态估计方法 |
| CN113420607A (zh) * | 2021-05-31 | 2021-09-21 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无人机多尺度目标检测识别方法 |
-
2022
- 2022-03-08 CN CN202210220010.0A patent/CN114596340A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158983A (zh) * | 2021-05-18 | 2021-07-23 | 南京航空航天大学 | 一种基于红外视频序列图像的机场场面活动行为识别方法 |
| CN113269098A (zh) * | 2021-05-27 | 2021-08-17 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于无人机的多目标跟踪定位与运动状态估计方法 |
| CN113420607A (zh) * | 2021-05-31 | 2021-09-21 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无人机多尺度目标检测识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| 周嘉麒等: "基于融合数据关联的无人机多目标跟踪算法", 《舰船电子工程》, pages 48 - 54 * |
| 蒋镕圻等: "嵌入scSE模块的改进YOLOv4小目标检测算法", 《图学学报》, pages 2 * |
| 赵朵朵;章坚武;傅剑峰;: "基于深度学习的实时人流统计方法研究", 传感技术学报, no. 08 * |
| 黄玉富等: "基于多尺度特征融合的水果图像识别算法研究", 《长春理工大学学报（自然科学版）》, pages 1 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880620A (zh) * | 2022-09-13 | 2023-03-31 | 中信重工开诚智能装备有限公司 | 一种应用在推车预警***中的人员计数方法 |
| CN115880620B (zh) * | 2022-09-13 | 2023-11-07 | 中信重工开诚智能装备有限公司 | 一种应用在推车预警***中的人员计数方法 |
| CN115464659A (zh) * | 2022-10-05 | 2022-12-13 | 哈尔滨理工大学 | 一种基于视觉信息的深度强化学习ddpg算法的机械臂抓取控制方法 |
| CN115464659B (zh) * | 2022-10-05 | 2023-10-24 | 哈尔滨理工大学 | 一种基于视觉信息的深度强化学习ddpg算法的机械臂抓取控制方法 |
| CN116403162A (zh) * | 2023-04-11 | 2023-07-07 | 南京航空航天大学 | 一种机场场面目标行为识别方法、***及电子设备 |
| CN116403162B (zh) * | 2023-04-11 | 2023-10-27 | 南京航空航天大学 | 一种机场场面目标行为识别方法、***及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059558B (zh) | 一种基于改进ssd网络的果园障碍物实时检测方法 | |
| CN109559320B (zh) | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及*** | |
| CN110660082B (zh) | 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法 | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN114596340A (zh) | 一种监控视频的多目标跟踪方法及*** | |
| CN111709416B (zh) | 车牌定位方法、装置、***及存储介质 | |
| JP6650657B2 (ja) | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム | |
| CN111626128A (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
| CN112052802B (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
| CN108022258B (zh) | 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 | |
| CN112101221A (zh) | 一种用于交通信号灯实时检测与识别的方法 | |
| Javadi et al. | Vehicle detection in aerial images based on 3D depth maps and deep neural networks | |
| CN110532937B (zh) | 基于识别模型与分类模型进行列车前向目标精准识别的方法 | |
| JP2014071902A5 (zh) | ||
| CN112991391A (zh) | 一种基于雷达信号和视觉融合的车辆检测与跟踪方法 | |
| CN105809716A (zh) | 融合超像素与三维自组织背景减除法的前景提取方法 | |
| CN116434088A (zh) | 基于无人机航拍图像的车道线检测及车道辅助保持方法 | |
| CN110567324A (zh) | 一种基于ds证据理论的多目标群威胁度预测装置及方法 | |
| CN113689459B (zh) | 动态环境下基于gmm结合yolo实时跟踪与建图方法 | |
| CN114332444A (zh) | 一种基于增量漂移聚类的复杂星空背景目标识别方法 | |
| Jiang et al. | Surveillance from above: A detection-and-prediction based multiple target tracking method on aerial videos | |
| Fan et al. | Covered vehicle detection in autonomous driving based on faster rcnn | |
| CN106650814B (zh) | 一种基于车载单目视觉室外道路自适应分类器生成方法 | |
| CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
| CN115100565A (zh) | 一种基于空间相关性与光流配准的多目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |