CN110555377B - 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 - Google Patents
一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 Download PDFInfo
- Publication number
- CN110555377B CN110555377B CN201910685541.5A CN201910685541A CN110555377B CN 110555377 B CN110555377 B CN 110555377B CN 201910685541 A CN201910685541 A CN 201910685541A CN 110555377 B CN110555377 B CN 110555377B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- detection
- head
- frame
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 71
- 241000251468 Actinopterygii Species 0.000 title abstract description 3
- 239000011159 matrix material Substances 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000011897 real-time detection Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法。用基于鱼眼相机俯视拍摄的行人头部检测数据集训练深度卷积神经网络;对视频图像中的行人头部进行检测,为首次检测到的行人头部创建卡尔曼滤波***。计算行人头部边框中心点即检测点的坐标;用***预测该帧图像中的检测点,生成预测点。根据各个检测点和预测点得出距离矩阵;然后根据距离矩阵使用匈牙利算法将行人头部边框和***进行匹配。如果行人头部边框匹配到***,则修正对应的跟踪点并更新该***;否则,为该行人头部边框创建新的***。重复上述过程实现行人检测和跟踪。本发明能实现单个相机对整个室内空间的无死角监控,实现行人头部检测和稳定地进行行人跟踪。
Description
技术领域
本发明主要涉及视频图像中的行人检测领域,具体而言,是一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法。
背景技术
近年来,随着信息产业的飞速发展和计算机性能的不断提高,利用计算机来检测视频图像中的行人信息已经是智能视频监控***发展的主要任务。随着监控范围的不断扩大,普通摄像机已经不能满足使用需求,由于鱼眼相机的视角范围比较大,可以达到180°甚至超过180°,其监控范围远大于普通相机,因此使用鱼眼相机进行对象检测可以减少相机的数目,节约监控成本。然而鱼眼相机所拍摄图片中的对象存在较大的畸变,使得行人检测比较困难;另外为了实现大范围的监控,将鱼眼相机安装在监控区域的中心的顶部,俯视拍摄也增加了行人检测的难度。现有的行人检测方法大致可以分为三类:(1)基于背景建模的方法,(2)基于统计学的方法,(3)基于深度学习的方法。背景建模的方法容易受天气、光照等因素的影响,鲁棒性不好,抗干扰能力较差。基于机器学习的方法在行人检测任务中取得了比较好的效果,然而这类方法的鲁棒性不好,很容易受到光照强度和背景等因素的干扰。基于深度学的方法在普通相机行人检测中取得了比较好的效果,是研究的热点,然而鱼眼相机俯视拍摄的状态下行人的在不同位置的姿态差别很大,因此这些基于普通相机行人检测的方法不能直接适用于鱼眼相机俯视拍摄的情况。
目前关于行人检测和对象识别的研究比较多,但是大部分的研究都是基于普通相机水平拍摄或者倾斜拍摄的行人检测,基于鱼眼相机俯视拍摄的行人检测研究非常少。哈尔滨工程大学汪冲的硕士论文《运动目标检测与跟踪在鱼眼相机图像中的应用》中虽然涉及到基于鱼眼相机的对象检测与跟踪,但是所采用的是背景差分与高斯模型相结合的运动目标检测方法来进行目标检测,这种单纯靠运动检测的方法对象检测方法鲁棒性不高,抗干扰能力较差;另外他采用的是基于对象面积和质心等几何特性来进行对象的跟踪,当出现遮挡时,很容易出现跟踪失败的情况。到目前为止,还没出现效果良好的基于鱼眼相机俯视拍摄的行人检测与跟踪方法。
发明内容
为了解决以上技术问题,本发明针对鱼眼相机俯视拍摄场景,提出了一种识别准确度高,抗干扰能力强的行人检测与跟踪方法。该方法将深度神经网络和卡尔曼滤波相结合,实现了鱼眼视频中行人的实时检测与跟踪。
本发明的目的至少通过如下技术方案之一实现。
一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法,包括以下步骤:
S1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集,并用该数据集训练用于行人头部检测的深度卷积神经网络,使用训练好的行人头部检测深度神经网络对视频中的行人头部进行检测,然后分别为每个首次检测到的行人头部创建一个卡尔曼滤波***;
S2、根据训练好的行人头部检测深度神经网络检测到的行人头部边框的中心点和卡尔曼滤波***预测的跟踪点计算距离矩阵;
S3、根据距离矩阵,使用匈牙利算法将检测到的行人头部边框和各个卡尔曼滤波***进行匹配;
S4、如果检测到的行人头部边框匹配到了卡尔曼滤波***,则根据该边框中心点对该卡尔曼滤波***预测的跟踪点进行修正,如果没有匹配到卡尔曼滤波***,则直接为其创建一个新的卡尔曼滤波***;
S5、逐帧读取视频图像,不断重复S2至S4的过程,从而实现鱼眼相机俯视拍摄场景下行人的实时检测与跟踪。
进一步地,步骤S1具体包括以下步骤:
S1.1、首先采集不同场景下的鱼眼相机俯视拍摄的视频,然后从视频中截取样本图像,并用方框手动标注出每张图像中出现的行人的头部,同时将标注框的左上角和右下角坐标写入到标注文件中,完成数据集的制作。此处标注框的左上角和右下角坐标用于S1.3的神经网络微调训练过程中计算损失,从而根据损失值优化网络参数,实现对行人头部边框的回归;
S1.2、基于单次检测器(Single Shot Detector,SSD)构建一个用于行人头部检测的深度神经网络即头部检测器,其特征提取部分使用VGG-16,该头部检测器的网络结构和损失函数与SSD框架相同,然后使用Pascal VOC数据集对头部检测器进行预训练;
S1.3、使用S1.1中制作的鱼眼相机俯视场景下行人头部检测数据集来对预训练后的头部检测器进行微调训练。在微调训练过程中,头部检测器的网络结构和损失函数与预训练过程相同,首先加载预训练得到的网络参数,然后采用批量梯度下降的方式进行训练,获得训练好的头部检测器;
S1.4、对于任意一帧读入的鱼眼相机采集到的视频图像,用训练好的头部检测器其进行行人头部检测,获得图像中的行人头部边框,并为每个首次检测到的行人头部创建一个卡尔曼滤波***。
进一步地,步骤S2具体包括以下步骤:
S2.1、计算每个检测到的行人头部边框的中心点坐标,该中心点为检测点;
S2.2、根据已创建的卡尔曼滤波***,通过卡尔曼滤波跟踪算法的预测过程来预测当前帧的跟踪点坐标,该跟踪点为预测点;
S2.3、分别计算当前帧各个检测点和各个预测点的距离,并根据这些距离构造检测点和预测点的距离矩阵D,矩阵D的每一列表示一个检测点和每个预测点的距离,矩阵D的每一行表示一个预测点和每个检测点的距离。
进一步地,步骤S4具体包括以下步骤:
S4.1如果检测点与某个卡尔曼滤波***匹配成功,则根据该检测点,通过卡尔曼滤波算法的修正过程对该卡尔曼滤波***预测的当前帧跟踪点进行修正;
S4.2完成修正过程之后,对误差协方差矩阵进行更新;
S4.3如果检测到的行人头部边框没有匹配到卡尔曼滤波***,则认为该边框对应的行人头部是首次检测到的,并为该行人头部创建一个新的卡尔曼滤波***。
进一步地,卡尔曼滤波跟踪算法的预测过程如下:
P′k=APk-1AT+Q (2)
其中,k为当前帧的编号k=1,...,J,J为最后一帧的编号,xk-1和Pk-1分别为前一帧的跟踪点坐标和误差协方差矩阵,和P′k分别为预测的当前帧的跟踪点坐标和误差协方差矩阵,A为状态转移矩阵,Q为过程噪声的协方差矩阵,由于卡尔曼滤波算法中假设过程噪声为白噪声,因此过程噪声的协方差矩阵/>状态转移矩阵以及跟踪点坐标和误差协方差矩阵的初始值需要根据实验过程的实际跟踪效果来确定;AT中的T表示矩阵转置。
进一步地,卡尔曼滤波算法的修正过程如下:
Kk=P′kHT(HP′kHT+R)-1 (3)
其中,为修正后的当前跟踪点的坐标;Kk为当前帧的卡尔曼增益;H为观测矩阵;R为测量噪声的协方差矩阵;Zk为当前帧的检测点坐标,由于卡尔曼滤波算法中假设测量噪声为白噪声,因此测量噪声的协方差矩阵/>在行人跟踪过程中的状态xk和观测值Zk都表示的是同一个量,即当前帧中行人的跟踪点的像素坐标,因此观测矩阵取值为
进一步地,根据Pk=(I-HKk)P′k对误差协方差矩阵进行更新。
与现有技术相比,本发明的优点和效果在于:
由于多相机之间的对象匹配非常复杂,本发明使用单个视角为180°的鱼眼相机实现了整个空间内的无死角监控,避免了使用多个相机时的跨相机对象匹配问题。本发明专门针对鱼眼相机俯视拍摄制作了行人头部检测数据集,并通过迁移学习的方式实现了使用深度神经网络来进行鱼眼相机俯视拍摄场景下的行人检测,与传统的鱼眼相机对象检测方法相比,本发明的行人检测方法能克服光照强度变化和复杂背景的干扰,具有良好的稳定性和鲁棒性。而且本文采用头部检测来代替全身检测,能克服遮挡问题对对象检测的影响。另外本文将卡尔曼滤波算法和深度卷积神经网络相结合,提高行人跟踪方法的稳定性。
附图说明
图1为一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法的流程图。
图2为鱼眼相机俯视拍摄场景下行人头部检测的效果示意图。
具体实施方式
下面将结合附图和实例对本发明的具体实施作进一步说明,但本发明的实施和保护不限于此。
实施例:
一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法,如图1所示,包括以下步骤:
S1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集,并用该数据集训练用于行人头部检测的深度卷积神经网络,使用训练好的行人头部检测深度神经网络对视频中的行人头部进行检测,然后分别为每个首次检测到的行人头部创建一个卡尔曼滤波***,具体包括以下步骤:
S1.1、首先采集不同场景下的鱼眼相机俯视拍摄的视频,然后从视频中截取样本图像,并用方框手动标注出每张图像中出现的行人的头部,同时将标注框的左上角和右下角坐标写入到标注文件中,完成数据集的制作。此处标注框的左上角和右下角坐标用于S1.3的神经网络微调训练过程中计算损失,从而根据损失值优化网络参数,实现对行人头部边框的回归;
S1.2、从第三方库GluonCV的Model Zoo中加载基于VGG-16的SSD模型ssd_512_vgg16_atrous_voc作为检测器,并加载在PascalVOC数据集上训练好的网络参数作为预训练参数;
S1.3、使用S1.1中制作的基于鱼眼相机俯视拍摄的行人头部检测数据集来对加载了预训练参数的检测器进行微调训练,获得训练好的头部检测器。此处微调训练采用批量梯度下降的方式训练头部检测器,批量大小设置为16,学习率设置为0.0005,训练次数设置为500epochs;
S1.4、对于任意一帧读入的鱼眼相机采集到的视频图像,用训练好的头部检测器其进行行人头部检测,从而获得图像中的行人头部边框,如图2所示,并为每个首次检测到的行人头部创建一个卡尔曼滤波***。
S2、根据训练好的行人头部检测深度神经网络检测到的行人头部边框的中心点和卡尔曼滤波***预测的跟踪点计算距离矩阵,具体包括以下步骤:
S2.1、计算每个检测到的行人头部边框的中心点坐标,该中心点为检测点;
S2.2、根据已创建的卡尔曼滤波***,通过卡尔曼滤波跟踪算法的预测过程来预测当前帧的跟踪点坐标,该跟踪点为预测点,卡尔曼滤波跟踪算法的预测过程,如下:
P′k=APk-1AT+Q (2)
其中,k为当前帧的编号k=1,...,J,J为最后一帧的编号,xk-1和Pk-1分别为前一帧的跟踪点坐标和误差协方差矩阵,和P′k分别为预测的当前帧的跟踪点坐标和误差协方差矩阵,A为状态转移矩阵,Q为过程噪声的协方差矩阵,由于卡尔曼滤波算法中假设过程噪声为白噪声,因此过程噪声的协方差矩阵/>状态转移矩阵以及跟踪点坐标和误差协方差矩阵的初始值需要根据实验过程的实际跟踪效果来确定,本实施例中,跟踪点坐标和误差协方差矩阵的初始值设为/>状态转移矩阵设置为
S2.3、分别计算当前帧各个检测点和各个预测点的距离,并根据这些距离构造检测点和预测点的距离矩阵D,矩阵D的每一列表示一个检测点和每个预测点的距离,矩阵D的每一行表示一个预测点和每个检测点的距离。
S3、根据距离矩阵,使用匈牙利算法将检测到的行人头部边框和各个卡尔曼滤波***进行匹配;
S3.1、以求得的距离矩阵D为输入参数,调用开源库Scipy中的linear_sum_assignment函数来实现检测器得到的检测点与***得到的预测点进行匹配;
S3.2、然后根据检测点和预测点之间的匹配关系,将检测点对应的行人头部边框和预测点对应的卡尔曼滤波***进行匹配。
S4、如果检测到的行人头部边框匹配到了卡尔曼滤波***,则根据该边框中心点对该卡尔曼滤波***预测的跟踪点进行修正,如果没有匹配到卡尔曼滤波***,则直接为其创建一个新的卡尔曼滤波***,具体包括以下步骤:
S4.1、如果检测点与某个卡尔曼滤波***匹配成功,则根据该检测点,通过卡尔曼滤波算法的修正过程对该卡尔曼滤波***预测的当前帧跟踪点进行修正;卡尔曼滤波算法的修正过程如下:
Kk=P′kHT(HP′kHT+R)-1 (3)
其中,为修正后的当前跟踪点的坐标;Kk为当前帧的卡尔曼增益;H为观测矩阵,R为测量噪声的协方差矩阵,Zk为当前帧的检测点坐标;由于卡尔曼滤波算法中假设测量噪声为白噪声,因此测量噪声的协方差矩阵/>在行人跟踪过程中的状态xk和观测值Zk都表示的是同一个量,即当前帧中行人的跟踪点的像素坐标,因此观测矩阵取值为
S4.2、完成修正过程之后,根据Pk=(I-HKk)P′k对误差协方差矩阵进行更新;
S4.3、如果检测到的行人头部边框没有匹配到卡尔曼滤波***,则认为该边框对应的行人头部是首次检测到的,并为该行人头部创建一个新的卡尔曼滤波***。
S5、逐帧读取鱼眼相机俯视拍摄的视频图像,不断重复S2至S4的过程,实现鱼眼相机俯视拍摄场景下行人的实时检测与跟踪。
Claims (6)
1.一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法,其特征在于,包括以下步骤:
S1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集,并用该数据集训练用于行人头部检测的深度卷积神经网络,使用训练好的行人头部检测深度神经网络对视频中的行人头部进行检测,然后分别为每个首次检测到的行人头部创建一个卡尔曼滤波***;具体包括以下步骤:
S1.1、首先采集不同场景下的鱼眼相机俯视拍摄的视频,然后从视频中截取样本图像,并用方框手动标注出每张图像中出现的行人的头部,同时将标注框的左上角和右下角坐标写入到标注文件中,完成数据集的制作,此处标注框的左上角和右下角坐标用于S1.3的神经网络微调训练过程中计算损失,从而根据损失值优化网络参数,实现对行人头部边框的回归;
S1.2、基于单次检测器构建一个用于行人头部检测的深度神经网络即头部检测器,其特征提取部分使用VGG-16,该头部检测器的网络结构和损失函数与单次检测器的框架相同,然后使用PascalVOC数据集对头部检测器进行预训练;
S1.3、使用S1.1中制作的鱼眼相机俯视场景下行人头部检测数据集来对预训练后的头部检测器进行微调训练;在微调训练过程中,头部检测器的网络结构和损失函数与预训练过程相同,首先加载预训练得到的网络参数,然后采用批量梯度下降的方式进行训练,获得训练好的头部检测器;
S1.4、对于任意一帧读入的鱼眼相机采集到的视频图像,用训练好的头部检测器其进行行人头部检测,从而获得各个行人头部的边框,并为每个首次检测到的行人头部创建一个卡尔曼滤波***;
S2、根据训练好的行人头部检测深度神经网络检测到的行人头部边框的中心点和卡尔曼滤波***预测的跟踪点计算距离矩阵;
S3、根据距离矩阵,使用匈牙利算法将检测到的行人头部边框和各个卡尔曼滤波***进行匹配;
S4、如果检测到的行人头部边框匹配到了卡尔曼滤波***,则根据该边框中心点对该卡尔曼滤波***预测的跟踪点进行修正,如果没有匹配到卡尔曼滤波***,则直接为其创建一个新的卡尔曼滤波***;
S5、逐帧读取视频图像,不断重复S2至S4的过程,从而实现鱼眼相机俯视拍摄场景下行人的实时检测与跟踪。
2.根据权利要求1所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法,其特征在于,所述步骤S2具体包括:
S2.1、计算每个检测到的行人头部边框的中心点坐标,该中心点为检测点;
S2.2、根据已创建的卡尔曼滤波***,通过卡尔曼滤波跟踪算法的预测过程来预测当前帧的跟踪点坐标,该跟踪点为预测点;
S2.3、分别计算当前帧各个检测点和各个预测点的距离,并根据这些距离构造检测点和预测点的距离矩阵D,矩阵D的每一列表示一个检测点和每个预测点的距离,矩阵D的每一行表示一个预测点和每个检测点的距离。
3.根据权利要求1所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法,其特征在于,所述步骤S4具体包括:
S4.1、如果检测点与某个卡尔曼滤波***匹配成功,则根据该检测点,通过卡尔曼滤波算法的修正过程对该卡尔曼滤波***预测的当前帧跟踪点进行修正;
S4.2、完成修正过程之后,对误差协方差矩阵进行更新;
S4.3、如果检测到的行人头部边框没有匹配到卡尔曼滤波***,则认为该边框对应的行人头部是首次检测到的对象,并为该行人头部创建一个新的卡尔曼滤波***。
6.根据权利要求3所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法,其特征在于,根据Pk=(I-HKk)P′k对误差协方差矩阵进行更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910685541.5A CN110555377B (zh) | 2019-07-27 | 2019-07-27 | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910685541.5A CN110555377B (zh) | 2019-07-27 | 2019-07-27 | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110555377A CN110555377A (zh) | 2019-12-10 |
CN110555377B true CN110555377B (zh) | 2023-06-23 |
Family
ID=68736547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910685541.5A Active CN110555377B (zh) | 2019-07-27 | 2019-07-27 | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110555377B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112166435A (zh) * | 2019-12-23 | 2021-01-01 | 商汤国际私人有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN111986231A (zh) * | 2020-08-10 | 2020-11-24 | 深思考人工智能科技(上海)有限公司 | 一种多目标跟踪方法及*** |
CN112215873A (zh) * | 2020-08-27 | 2021-01-12 | 国网浙江省电力有限公司电力科学研究院 | 用于对变电站内多目标跟踪定位的方法 |
CN113158731A (zh) * | 2020-12-31 | 2021-07-23 | 杭州拓深科技有限公司 | 一种俯卧撑计数方法、装置、电子装置和存储介质 |
CN112733677B (zh) * | 2020-12-31 | 2021-11-30 | 桂林海威科技股份有限公司 | 一种人流量统计***及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780542A (zh) * | 2016-12-29 | 2017-05-31 | 北京理工大学 | 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法 |
CN107274439A (zh) * | 2017-07-04 | 2017-10-20 | 西北工业大学 | 基于地基鱼眼相机阵列的无人机光学跟踪定位方法 |
CN108638999A (zh) * | 2018-05-16 | 2018-10-12 | 浙江零跑科技有限公司 | 一种基于360度环视输入的防碰撞预警***及方法 |
CN108682023A (zh) * | 2018-03-21 | 2018-10-19 | 南京理工大学 | 基于Elman神经网络的紧耦合无迹卡尔曼跟踪滤波算法 |
CN108694386A (zh) * | 2018-05-15 | 2018-10-23 | 华南理工大学 | 一种基于并联卷积神经网络的车道线检测方法 |
CN109785363A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第五十二研究所 | 一种无人机航拍视频运动小目标实时检测与跟踪方法 |
CN109919981A (zh) * | 2019-03-11 | 2019-06-21 | 南京邮电大学 | 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法 |
-
2019
- 2019-07-27 CN CN201910685541.5A patent/CN110555377B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780542A (zh) * | 2016-12-29 | 2017-05-31 | 北京理工大学 | 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法 |
CN107274439A (zh) * | 2017-07-04 | 2017-10-20 | 西北工业大学 | 基于地基鱼眼相机阵列的无人机光学跟踪定位方法 |
CN108682023A (zh) * | 2018-03-21 | 2018-10-19 | 南京理工大学 | 基于Elman神经网络的紧耦合无迹卡尔曼跟踪滤波算法 |
CN108694386A (zh) * | 2018-05-15 | 2018-10-23 | 华南理工大学 | 一种基于并联卷积神经网络的车道线检测方法 |
CN108638999A (zh) * | 2018-05-16 | 2018-10-12 | 浙江零跑科技有限公司 | 一种基于360度环视输入的防碰撞预警***及方法 |
CN109785363A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第五十二研究所 | 一种无人机航拍视频运动小目标实时检测与跟踪方法 |
CN109919981A (zh) * | 2019-03-11 | 2019-06-21 | 南京邮电大学 | 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
《基于深度神经网络的实时多物体检测》;杨强;《中国优秀硕士论文全文库》;20190115;全文 * |
一种邻帧匹配与卡尔曼滤波相结合的多目标跟踪算法;梅立雪等;《科学技术与工程》;20190528(第15期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110555377A (zh) | 2019-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555377B (zh) | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 | |
CN110866480B (zh) | 对象的跟踪方法及装置、存储介质、电子装置 | |
CN112836640B (zh) | 一种单摄像头多目标行人跟踪方法 | |
CN109299703B (zh) | 对鼠情进行统计的方法、装置以及图像采集设备 | |
CN104598883B (zh) | 一种多摄像机监控网络中目标再识别的方法 | |
CN107369159B (zh) | 基于多因素二维灰度直方图的阈值分割方法 | |
CN109685045B (zh) | 一种运动目标视频跟踪方法及*** | |
WO2020253618A1 (zh) | 一种视频抖动的检测方法及装置 | |
CN111860352B (zh) | 一种多镜头车辆轨迹全跟踪***及方法 | |
CN101860729A (zh) | 一种用于全方位视觉的目标跟踪方法 | |
JP2008501172A (ja) | 画像比較方法 | |
CN110930411B (zh) | 一种基于深度相机的人体分割方法及*** | |
CN111199556A (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
CN110991287A (zh) | 一种实时视频流人脸检测跟踪方法及检测跟踪*** | |
CN108647587B (zh) | 人数统计方法、装置、终端及存储介质 | |
CN110547803B (zh) | 一种适用于鱼眼相机俯视拍摄的行人身高估计方法 | |
CN113205138B (zh) | 人脸人体匹配方法、设备和存储介质 | |
JP2020149642A (ja) | 物体追跡装置および物体追跡方法 | |
CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
US20110304730A1 (en) | Pan, tilt, and zoom camera and method for aiming ptz camera | |
EP3432575A1 (en) | Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus | |
Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
CN115022549B (zh) | 拍摄构图方法、装置、计算机设备和存储介质 | |
CN113436256B (zh) | 拍摄装置状态识别方法、装置、计算机设备和存储介质 | |
CN116128919A (zh) | 基于极线约束的多时相图像异动目标检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |