CN106934338A - 一种基于相关滤波器的长期行人跟踪方法 - Google Patents
一种基于相关滤波器的长期行人跟踪方法 Download PDFInfo
- Publication number
- CN106934338A CN106934338A CN201710013229.2A CN201710013229A CN106934338A CN 106934338 A CN106934338 A CN 106934338A CN 201710013229 A CN201710013229 A CN 201710013229A CN 106934338 A CN106934338 A CN 106934338A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- target
- sample
- feature
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于相关滤波器的长期行人跟踪方法。本方法包括以下步骤:S1:读入监控视频,划定目标区域;S2:提取目标区域内行人特征;S3:判定目标是否被遮挡;S4:岭回归训练和检测;S5:将跟踪的行人加以标记输出到视频监控。本发明对目标区域内提取行人特征,先判断目标行人是否被遮挡,若被遮挡,则在遮挡后提取预测区域特征与已提取特征进行相似度匹配,达到一定阈值判定搜索到目标行人,再使用岭回归训练检测来跟踪;若无遮挡,则直接进行岭回归训练检测来跟踪。行人再识别提高了目标行人跟踪的准确性,傅立叶变换在岭回归训练检测的应用提高了跟踪的速度。
Description
技术领域
本发明涉及智能视频监控、计算机视觉、机器视觉领域,具体涉及一种基于相关滤波器的长期行人跟踪方法。
背景技术
行人跟踪在计算机视觉领域中是一个基础性分支,其应用非常广泛,如智能相机、自动驾驶、视频监控等等。在过去几十年里,行人跟踪的研究有了很大的进展,但是由于应用环境的限制,如光照的影响,行人在运动过程中发生的遮挡和形变这些因素,使得行人跟踪算法性能较低,强鲁棒性的算法难以实现。
行人跟踪是智能视频监控的一个重要分支,在机场、火车站、体育场、候车室和展览馆等大型公共场合的行人跟踪是智能视频监控***不可缺少的内容。目前已有的行人跟踪方法主要存在如下的问题:
行人与行人或者行人与环境的遮挡问题,运动行人发生的形变问题,随着时间的变化光照的变化问题等。行人在运动过程中由于受到上述因素的影响,对其跟踪的过程也变得越来越难,最终便会丢失目标。
所以如何提高在复杂环境下视频监控***中行人跟踪的鲁棒性是有待解决的问题。
发明内容
为了解决上述的技术问题,本发明的目的就在于提高行人跟踪的准确性和性能,提供一种基于相关滤波器的长期行人跟踪方法。
本发明所采用的技术方案是:
S10,读入监控视频,对目标划定目标区域。
S20,提取目标区域颜色特征和LBP特征。
S30,判定目标是否被遮挡。
S40,岭回归训练和检测。
S50,将跟踪到的行人加以标记输出到视频监控。
上述的技术方案,其中,所述步骤S10中读入监控视频,对目标划定目标区域包括如下步骤:
S11,使用鼠标对行人目标划定矩形区域,***初始化各类跟踪参数。
上述的技术方案,其中,所述步骤S20中提取目标区域颜色特征和LBP特征中包括如下步骤:
S21,把目标区域平均分成5个水平条带,每个水平条带的每种颜色空间的每个通道都提取16维颜色直方图特征。
S22,对于每个水平条带,分别提取LBP等价模式中邻域点数为8半径为1和邻域点数为16半径为2的特征,然后将所有的特征串联成行人特征。
S23,由于提取出的特征维数较大,使用PCA方法进行降维。
上述的技术方案,其中,所述步骤S30中判定目标是否被遮挡包括如下步骤:
S31,找到行人目标概率分布最大的位置和概率分布的最大值。
S32,在最大值的周围,找出满足大于某个概率分布阈值的所有点。
S33,计算上述所有点到概率分布最大值点的欧式距离和。
S34,若欧式距离和大于设定的阈值,则判定受到遮挡。
上述的技术方案,其中,所述步骤S40中岭回归训练如下步骤:
S41,对划定的目标区域扩大到原来的2.5倍成为一个候选块。
S42,对此候选块向四周循环移位采集负样本。
S43,利用岭回归器对采集的样本进行训练。
S44,当前帧中,对前一帧目标区域进行循环采样。
S45,利用前一帧训练的岭回归器计算样本的响应,响应最大值作为当前帧目标的位置。
本发明的长期行人跟踪方法产生以下几种良好的效果:
效果1:本发明采用跟踪目标的概率分布,计算目标区域与周围候选区域的欧式距离来判断是否发生遮挡,这一过程是算法后续过程的基础,提高了跟踪的准确性。
效果2:本发明采用提取行人多特征的方法,特征为颜色特征和LBP特征,行人一旦发生遮挡,就与已提取的特征进行匹配,相似度最高的为目标行人。行人再识别避免了目标行人在发生遮挡时目标的丢失,提高了行人跟踪的灵活性和准确性。
效果3:本发明采用傅立叶变换的性质进行快速的训练和检测,其训练样本通过目标区域的循环移位得到,利用前一帧训练的岭回归器计算当前帧样本的响应,响应最大值作为当前帧目标的位置。快速傅立叶变换和循环移位的操作是的算法的计算速度得到了很大的提升,满足了算法的实时性。
附图说明
图1是本方法的步骤图;
图2是行人目标跟踪的流程图。
具体实施方式
以下结合附图和具体实施对本发明进行详细描述,但不作为对本发明的限定。
一、方法
如图1和2,本方法的实现步骤如下:
A读入监控视频,对目标划定目标区域
利用摄像头获得监控视频图像数据,并且在第一帧图像中对目标行人划定区域,初始化高斯系数和对目标区域的放大倍数。
B提取目标区域颜色特征和LBP特征
为了提高表征性,将目标区域水平方向平均分成5个部分。先提取颜色特征,从RGB、HSV和YCbCr三种颜色空间中提取,将这三种颜色空间的特征进行融合能提高特征的鲁棒性。对于目标区域水平方向的每个部分都提取每种颜色空间每个颜色通道的16维颜色特征直方图特征,然后将每个直方图特征都串联成一个目标行人的颜色特征,最终得到的特征维数为(3×5×3×12)640维。颜色特征表示的是一种整体特征,为了对行人的表示更准确,提取目标区域的两种等价模式局部LBP特征,一种是采样点数为8半径为1,另一种是采样点数为16半径为2,同理,对每个水平方向部分都提取LBP两种模式的特征,最终将所有的LBP特征串联成行人的局部特征,其特征维数为((59+59)×5)590维。对于上面提取的两种特征,由于特征维数较大,使用PCA方法降维。
C判定目标是否被遮挡
设行人目标的概率分布为f(z),候选区域的坐标为pos(z),遮挡阈值为λ1,面积因子为λ2,样本的高度和宽度分别为height和width:
1.首先求f(z)取到最大值的位置posmax(z)和f(z)的最大值fmax(z)。
2.求取posmax(z)周围满足大于λ1·fmax(z)的所有点的位置pos(z)。
3.求取所有pos(z)点到posmax(z)的欧式距离
4.判断是否大于阈值λ2·width·height,如果大于阈值,则判断为受到遮挡;否则判断为未受到遮挡。
D岭回归训练和检测
在上一步的过程中,若行人发生遮挡,则不进行行人目标样本的训练和检测,直到行人目标再识别后进行此步骤。首先对划定的行人目标区域扩大到原来的2.5倍,然后向四周方向进行循环移位,移位的方式可以是每行像素的移动或者列像素的移动,由此获得大量的训练样本,此时循环移位得到的样本为负样本,原区域的样本为正样本,在当前帧中对于上述样本采用岭回归训练,在下一帧中对相同区域周围的样本,使用前一帧计算的岭回归器计算其响应,响应最大值对应的位置即行人目标的位置。
E将跟踪到的行人加以标记输出到视频监控
在上述过程中将跟踪到的行人以外接矩形框的形式显示在监控视频中。
Claims (5)
1.一种基于相关滤波器的长期行人跟踪方法,其特征在于:包括:
A、读入监控视频,对目标行人划定目标区域;
B、提取目标区域颜色特征和LBP特征;
C、判定目标是否被遮挡;
D、岭回归训练和检测;
E、将跟踪到的行人加以标记输出到视频监控。
2.根据权利要求1所述的一种基于相关滤波器的长期行人跟踪方法,其特征在于:所述步骤A包括如下步骤:
A1、利用摄像头获得监控视频图像数据,并且在第一帧图像中对目标行人划定一个矩形目标区域,该目标区域包括目标行人在内;
A2、初始化高斯系数和对矩形目标区域的放大倍数。
3.根据权利要求1所述的一种基于相关滤波器的长期行人跟踪方法,其特征在于:所述步骤B包括如下步骤:
B1、把目标区域平均分成5个水平条带;
B2、每个水平条带的每种颜色空间的每个通道都提取16维颜色直方图特征;
B3、将所有颜色直方图特征串联起来,特征维数较大,使用PCA降维;
B4、对于每个水平条带,分别提取LBP等价模式中邻域点数为8半径为1和邻域点数为16半径为2的特征,然后将所有LBP特征串联起来,使用PCA进行降维。
4.根据权利要求1所述的一种基于相关滤波器的长期行人跟踪方法,其特征在于:所述步骤C,其包括:
C1、求f(z)取到最大值的位置posmax(z)和f(z)的最大值fmax(z);
C2、求取posmax(z)周围满足大于λ1·fmax(z)的所有点的位置pos(z);
C3、求取所有pos(z)点到posmax(z)的欧式距离的和;
C4、判断C3中欧式距离的和是否大于阈值λ2·width·height,如果大于阈值,则判断为受到遮挡,此时提取预测区域特征与已提取特征进行相似度匹配,达到一定阈值判定搜索到目标行人,再进行步骤D;如果小于阈值,则直接进行步骤D;其中,f(z)表示候选区域为跟踪目标的概率分布,λ1表示遮挡阈值,λ2表示面积因子。
5.根据权利要求1所述的一种基于相关滤波器的长期行人跟踪方法,其特征在于:所述步骤D,其包括:
D1、对划定的目标区域扩大到原来的2.5倍成为一个候选块;
D2、对此候选块向四周循环移位采集样本,移位的方式是每行像素的移动或者每列像素的移动,由此获得训练样本;
D3、获得的训练样本中,循环移位得到的样本为负样本,原区域的样本为正样本,在当前帧中对于上述样本采用岭回归训练;
D4、在下一帧中对相同区域周围的样本,使用前一帧计算的岭回归器计算其响应,响应最大值对应的位置即行人目标的位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710013229.2A CN106934338B (zh) | 2017-01-09 | 2017-01-09 | 一种基于相关滤波器的长期行人跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710013229.2A CN106934338B (zh) | 2017-01-09 | 2017-01-09 | 一种基于相关滤波器的长期行人跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106934338A true CN106934338A (zh) | 2017-07-07 |
CN106934338B CN106934338B (zh) | 2020-11-24 |
Family
ID=59444188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710013229.2A Active CN106934338B (zh) | 2017-01-09 | 2017-01-09 | 一种基于相关滤波器的长期行人跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106934338B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480704A (zh) * | 2017-07-24 | 2017-12-15 | 南开大学 | 一种具有遮挡感知机制的实时视觉目标跟踪方法 |
CN107590820A (zh) * | 2017-08-25 | 2018-01-16 | 北京飞搜科技有限公司 | 一种基于相关滤波的视频对象追踪方法及其智能装置 |
WO2019037498A1 (zh) * | 2017-08-25 | 2019-02-28 | 腾讯科技(深圳)有限公司 | 主动跟踪方法、装置及*** |
CN109697385A (zh) * | 2017-10-20 | 2019-04-30 | 中移(苏州)软件技术有限公司 | 一种目标跟踪方法及装置 |
CN109934042A (zh) * | 2017-12-15 | 2019-06-25 | 吉林大学 | 基于卷积神经网络的自适应视频对象行为轨迹分析方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0824814B1 (en) * | 1995-04-18 | 2001-12-12 | Hewlett-Packard Company, A Delaware Corporation | Methods and apparatus for authenticating an originator of a message |
CN102663409A (zh) * | 2012-02-28 | 2012-09-12 | 西安电子科技大学 | 一种基于hog-lbp描述的行人跟踪方法 |
CN103955951A (zh) * | 2014-05-09 | 2014-07-30 | 合肥工业大学 | 基于正则化模板与重建误差分解的快速目标跟踪方法 |
CN106022231A (zh) * | 2016-05-11 | 2016-10-12 | 浙江理工大学 | 一种基于多特征融合的行人快速检测的技术方法 |
CN106203260A (zh) * | 2016-06-27 | 2016-12-07 | 南京邮电大学 | 基于多摄像机监控网络的行人识别与跟踪方法 |
-
2017
- 2017-01-09 CN CN201710013229.2A patent/CN106934338B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0824814B1 (en) * | 1995-04-18 | 2001-12-12 | Hewlett-Packard Company, A Delaware Corporation | Methods and apparatus for authenticating an originator of a message |
CN102663409A (zh) * | 2012-02-28 | 2012-09-12 | 西安电子科技大学 | 一种基于hog-lbp描述的行人跟踪方法 |
CN103955951A (zh) * | 2014-05-09 | 2014-07-30 | 合肥工业大学 | 基于正则化模板与重建误差分解的快速目标跟踪方法 |
CN106022231A (zh) * | 2016-05-11 | 2016-10-12 | 浙江理工大学 | 一种基于多特征融合的行人快速检测的技术方法 |
CN106203260A (zh) * | 2016-06-27 | 2016-12-07 | 南京邮电大学 | 基于多摄像机监控网络的行人识别与跟踪方法 |
Non-Patent Citations (3)
Title |
---|
LUN ZHANG等: "Face Detection Based on Multi-Block LBP Representation", 《ICB’07 PROCEEDINGS OF THE 2007 INTERNATIONAL CONFERENCE ON ADVANCES IN BIOMETRICS》 * |
余礼杨等: "改进的核相关滤波器目标跟踪算法", 《计算机应用》 * |
陈清梁: "复杂场景下的目标跟踪方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480704A (zh) * | 2017-07-24 | 2017-12-15 | 南开大学 | 一种具有遮挡感知机制的实时视觉目标跟踪方法 |
CN107480704B (zh) * | 2017-07-24 | 2021-06-29 | 无际智控(天津)智能科技有限公司 | 一种具有遮挡感知机制的实时视觉目标跟踪方法 |
CN107590820A (zh) * | 2017-08-25 | 2018-01-16 | 北京飞搜科技有限公司 | 一种基于相关滤波的视频对象追踪方法及其智能装置 |
WO2019037498A1 (zh) * | 2017-08-25 | 2019-02-28 | 腾讯科技(深圳)有限公司 | 主动跟踪方法、装置及*** |
CN107590820B (zh) * | 2017-08-25 | 2020-06-02 | 兰州飞搜信息科技有限公司 | 一种基于相关滤波的视频对象追踪方法及其智能装置 |
CN109697385A (zh) * | 2017-10-20 | 2019-04-30 | 中移(苏州)软件技术有限公司 | 一种目标跟踪方法及装置 |
CN109934042A (zh) * | 2017-12-15 | 2019-06-25 | 吉林大学 | 基于卷积神经网络的自适应视频对象行为轨迹分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106934338B (zh) | 2020-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Luo et al. | A vision methodology for harvesting robot to detect cutting points on peduncles of double overlapping grape clusters in a vineyard | |
Hamuda et al. | Automatic crop detection under field conditions using the HSV colour space and morphological operations | |
CN106934338A (zh) | 一种基于相关滤波器的长期行人跟踪方法 | |
Wang et al. | Image segmentation of overlapping leaves based on Chan–Vese model and Sobel operator | |
CN108898085B (zh) | 一种基于手机视频的道路病害智能检测方法 | |
CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
CN107292252B (zh) | 一种自主学习的身份识别方法 | |
WO2018023916A1 (zh) | 一种彩色图像去阴影方法和应用 | |
CN103295016B (zh) | 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法 | |
CN109635768B (zh) | 一种图像帧中停车位状态检测方法、***及相关设备 | |
CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
CN106991370B (zh) | 基于颜色和深度的行人检索方法 | |
CN110120042B (zh) | 一种基于slic超像素和自动阈值分割的农作物图像病虫害区域提取方法 | |
CN107944403B (zh) | 一种图像中的行人属性检测方法及装置 | |
CN105389581B (zh) | 一种胚芽米胚芽完整度智能识别***及其识别方法 | |
CN109766887A (zh) | 一种基于级联沙漏神经网络的多目标检测方法 | |
CN105512618B (zh) | 视频跟踪方法 | |
CN106203237A (zh) | 集装箱拖车编号的识别方法和装置 | |
CN104239886A (zh) | 基于图像分析的草坪与背景分界线的提取方法 | |
CN103106409A (zh) | 一种针对头肩检测的混合特征提取方法 | |
CN106683098B (zh) | 一种重叠叶片图像的分割方法 | |
CN113283408A (zh) | 基于监控视频的社交距离监测方法、装置、设备和介质 | |
CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN105404682B (zh) | 一种基于数字图像内容的图书检索方法 | |
CN104050674A (zh) | 一种显著性区域检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |