CN108846345B - 一种监控场景中的运动目标尺度估计方法 - Google Patents
一种监控场景中的运动目标尺度估计方法 Download PDFInfo
- Publication number
- CN108846345B CN108846345B CN201810575278.XA CN201810575278A CN108846345B CN 108846345 B CN108846345 B CN 108846345B CN 201810575278 A CN201810575278 A CN 201810575278A CN 108846345 B CN108846345 B CN 108846345B
- Authority
- CN
- China
- Prior art keywords
- target
- scene
- scale
- height
- bounding box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012544 monitoring process Methods 0.000 title claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种监控场景中的运动目标尺度估计方法,获取某特定监控场景的少量视频;检测该视频场景中的所有目标,以行人目标为例,获得目标的包围盒;对包围盒数据进行线性拟合,获得场景中目标平均尺度的分布;利用场景中的几何特性分析目标在图像平面上移动时高度的变化规律;利用得到的平均尺度分布和高度的变化规律,得到该特定场景中目标从位置A移动到位置B的高度变化规律;获取某特定目标在该场景图像中的一个位置和对应位置的尺度;利用尺度预测模型及目标的位置和尺度,求得该目标在场景中的尺度分布。利用监控场景的几何特性对场景中目标的尺度进行分析,不依赖于目标的外观,在含有复杂挑战的监控场景下实现鲁棒的尺度自适应跟踪。
Description
技术领域
本发明涉及一种监控***和计算机视觉技术,尤其涉及的是一种监控场景中的运动目标尺度估计方法。
背景技术
目前,对目标进行尺度估计时,通常包括如下方法:1.根据不同尺度的目标外观置信度选择置信度最高的尺度。例如:暴力搜索各种尺度下与目标最相似的目标对应的尺度;在基础尺度上按一定比例放大或缩小尺度来进行多尺度检测,寻找最佳尺度;利用尺度相关滤波器检测目标的尺度变化,进行当前帧目标尺度的估计。
2.根据目标自身特征获得尺度。例如:匹配目标关键点来确定目标尺度。
3.将目标尺度作为运动模型中的一个状态。例如:利用粒子滤波进行跟踪。上述方法均是基于目标进行的尺度估计。
现有技术的缺点是基于目标进行尺度估计,依赖于目标外观,在含有较复杂的挑战(如:噪声,遮挡等)的监控场景下目标尺度估计不够鲁棒。
发明内容
本发明所要解决的技术问题在于:如何不依赖目标的外观,在含有复杂挑战的监控场景下实现鲁棒的尺度自适应跟踪,提供了一种监控场景中的运动目标尺度估计方法。
本发明是通过以下技术方案解决上述技术问题的,本发明包括以下步骤:
(1)获取某特定监控场景的少量视频;
(2)检测该视频场景中的所有目标,以行人目标为例,获得目标的包围盒;
(3)对包围盒数据进行线性拟合,获得场景中目标平均尺度的分布;
(4)利用场景中的几何特性分析目标在图像平面上移动时高度的变化规律;
(5)利用得到的平均尺度分布和高度的变化规律,得到该特定场景中目标从位置A移动到位置B的高度变化规律,即该场景的尺度预测模型;
(6)获取某特定目标在该场景图像中的一个位置和对应位置的尺度;
(7)利用尺度预测模型及目标的位置和尺度,求得该目标在场景中的尺度分布。
所述步骤(2)中,检测视频帧中的行人目标,获得大量目标的包围盒数据(x,y,w,h),其中(x,y)为目标包围盒中心在图像中的坐标,w为包围盒宽度,h为包围盒高度。
所述步骤(3)中,对检测框的中心位置和高度进行拟合,获得该场景中目标位置p与高度h的关系θ,从而获得场景中不同位置的目标平均高度分布,即h(p)=θTp,其中p为齐次坐标,θ为参数向量,T为矩阵的转置操作。
所述步骤(7)中,给定图像中的任意位置p,在该位置p上求得目标的高度;假定目标在图像中具有相同的高宽比,根据获取的尺度计算目标高宽比,从而获得目标在图像中位置p的宽度,则可得到该目标在场景中任意位置的尺度。
本发明相比现有技术具有以下优点:本发明基于目标所在的监控场景对目标进行尺度估计,并将本方法结合到八个基准跟踪方法(MEEM,KCF,STRUCK,BIT,ECO,BACF,CREST,CFWCR)中,辅助跟踪做到了对目标进行尺度自适应跟踪。其中结合四个无尺度处理基准跟踪方法(MEEM,KCF,STRUCK,BIT)得到的跟踪精度和准确度均优于基准跟踪方法;另外将四个较为先进的多尺度基准跟踪方法(ECO,BACF,CREST,CFWCR)中的尺度搜索方式替换为本发明所提供的方案后,本发明得到的跟踪精度和准确度优于基准跟踪方法或与其具有竞争性,且跟踪速度明显提高。
附图说明
图1是本发明的流程示意图;
图2是目标移动时高度变化示意图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本实施例包括以下步骤:
(1)获取某特定监控场景的少量视频;
将获取某个特定监控场景的少量视频,拆分成视频帧,可以采用但不限于R-FCN的检测方法检测视频帧中的目标,包括行人、机动车和非机动车,本实施例以行人目标为例详述操作步骤,由检测得到行人目标的包围盒数据。
(2)检测该视频场景中的所有目标,以行人目标为例,获得目标的包围盒;
可以采用但不限于R-FCN检测方法检测视频帧中的行人目标,获得大量目标的包围盒数据(x,y,w,h),其中(x,y)为目标包围盒中心在图像中的坐标,w为包围盒宽度,h为包围盒高度。
(3)对包围盒数据进行线性拟合,获得场景中目标平均尺度的分布;
由包围盒数据获得所有目标的中心位置和对应的高度,重点分析高度来探索目标尺度变化规律;
可以采用但不限于最小二乘方法对检测框的中心位置和高度进行拟合,获得该场景中目标位置与高度的关系,此关系用参数θ表示,获得场景中不同位置的目标平均高度分布;
(4)利用场景中的几何特性分析目标在图像平面上移动时高度的变化规律;
分析场景中的几何特性并得到目标从位置pA移动到位置pB后对应的高度hA和hB在图像平面上的关系,即:
(5)利用得到的平均尺度分布和高度的变化规律,得到该特定场景中目标从位置A移动到位置B的高度变化规律,即该场景的尺度预测模型;
分析可得高度变化规律与场景的几何特性有关,即由平均尺度分布中的参数θ决定;
将步骤(3)得到的平均尺度分布中的参数θ代入步骤(4)的高度变化规律中,得到该场景下的目标尺度预测模型,即
(6)获取某特定目标在该场景图像中的一个位置和对应位置的尺度;
(7)利用尺度预测模型及目标的位置和尺度,求得该目标在场景中的尺度分布;
给定图像中的任意位置p,步骤(5)中的公式代入步骤(6)获取的目标位置及高度,在该位置p上求得目标的高度;
假定目标在图像中具有相同的高宽比,根据步骤(6)获取的尺度计算目标高宽比,从而获得目标在图像中位置p的宽度,则可得到该目标在场景中任意位置的尺度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种监控场景中的运动目标尺度估计方法,其特征在于,包括以下步骤:
(1)获取某特定监控场景的少量视频;
(2)检测该视频场景中的所有目标,所述目标为行人,获得目标的包围盒;
(3)对包围盒数据进行线性拟合,获得场景中目标平均尺度的分布;
(4)利用场景中的几何特性分析目标在图像平面上移动时高度的变化规律;
(5)利用得到的平均尺度分布和高度的变化规律,得到该特定场景中目标从位置A移动到位置B的高度变化规律,即该场景的尺度预测模型;
(6)获取某特定目标在该场景图像中的一个位置和对应位置的尺度;
(7)利用尺度预测模型及目标的位置和尺度,求得该目标在场景中的尺度分布。
2.根据权利要求1所述的一种监控场景中的运动目标尺度估计方法,其特征在于,所述步骤(2)中,检测视频帧中的行人目标,获得大量目标的包围盒数据(x,y,w,h),其中(x,y)为目标包围盒中心在图像中的坐标,w为包围盒宽度,h为包围盒高度。
3.根据权利要求2所述的一种监控场景中的运动目标尺度估计方法,其特征在于,所述步骤(3)中,对包围盒的中心位置和高度进行拟合,获得该场景中目标位置p与高度h的关系θ,从而获得场景中不同位置的目标平均高度分布,即h(p)=θTp,其中p为齐次坐标,θ为参数向量,T为矩阵的转置操作。
6.根据权利要求5所述的一种监控场景中的运动目标尺度估计方法,其特征在于,所述步骤(7)中,给定图像中的任意位置p,在该位置p上求得目标的高度;假定目标在图像中具有相同的高宽比,根据获取的尺度计算目标高宽比,从而获得目标在图像中位置p的宽度,则可得到该目标在场景中任意位置的尺度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810575278.XA CN108846345B (zh) | 2018-06-06 | 2018-06-06 | 一种监控场景中的运动目标尺度估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810575278.XA CN108846345B (zh) | 2018-06-06 | 2018-06-06 | 一种监控场景中的运动目标尺度估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108846345A CN108846345A (zh) | 2018-11-20 |
CN108846345B true CN108846345B (zh) | 2021-09-17 |
Family
ID=64210268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810575278.XA Active CN108846345B (zh) | 2018-06-06 | 2018-06-06 | 一种监控场景中的运动目标尺度估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108846345B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440486A (zh) * | 2013-08-29 | 2013-12-11 | 方正国际软件有限公司 | 一种图像中标牌尺度的检测方法及*** |
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN107358238A (zh) * | 2017-03-01 | 2017-11-17 | 郑州云海信息技术有限公司 | 一种提取图像特征信息的方法及*** |
CN107679250A (zh) * | 2017-11-01 | 2018-02-09 | 浙江工业大学 | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8842163B2 (en) * | 2011-06-07 | 2014-09-23 | International Business Machines Corporation | Estimation of object properties in 3D world |
-
2018
- 2018-06-06 CN CN201810575278.XA patent/CN108846345B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440486A (zh) * | 2013-08-29 | 2013-12-11 | 方正国际软件有限公司 | 一种图像中标牌尺度的检测方法及*** |
CN107358238A (zh) * | 2017-03-01 | 2017-11-17 | 郑州云海信息技术有限公司 | 一种提取图像特征信息的方法及*** |
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN107679250A (zh) * | 2017-11-01 | 2018-02-09 | 浙江工业大学 | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108846345A (zh) | 2018-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240203139A1 (en) | Systems and methods for depth map sampling | |
JP7167397B2 (ja) | 点群データを処理するための方法及び装置 | |
EP2798611B1 (en) | Camera calibration using feature identification | |
JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
KR101551026B1 (ko) | 차량 검출 방법 | |
CN108140291A (zh) | 烟雾检测装置、方法以及图像处理设备 | |
CN106952294B (zh) | 一种基于rgb-d数据的视频跟踪方法 | |
JPWO2009099022A1 (ja) | 周辺監視装置及び周辺監視方法 | |
KR20150027291A (ko) | 광류 추적 방법 및 장치 | |
WO2007036823A2 (en) | Method and apparatus for determining the shot type of an image | |
CN108345823B (zh) | 一种基于卡尔曼滤波的障碍物跟踪方法和装置 | |
CN110599489A (zh) | 一种目标空间定位方法 | |
CN104156932A (zh) | 一种基于光流场聚类的运动目标分割方法 | |
KR20210043628A (ko) | 장애물 감지 방법, 지능형 주행 제어 방법, 장치, 매체, 및 기기 | |
JP6116765B1 (ja) | 物体検出装置及び物体検出方法 | |
CN103077536B (zh) | 时空变尺度运动目标检测方法 | |
JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
CN108846345B (zh) | 一种监控场景中的运动目标尺度估计方法 | |
JP2017033556A (ja) | 画像処理方法及び電子機器 | |
Xu | Study on moving objects by video monitoring system of recognition and tracing scheme | |
JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
JP2016004382A (ja) | 動き情報推定装置 | |
KR102672992B1 (ko) | 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치 | |
Le et al. | Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired | |
Menéndez García et al. | A new strategy of detecting traffic information based on traffic camera: modified inverse perspective mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |