CN105279771B - 一种视频中基于在线动态背景建模的运动目标检测方法 - Google Patents
一种视频中基于在线动态背景建模的运动目标检测方法 Download PDFInfo
- Publication number
- CN105279771B CN105279771B CN201510696087.5A CN201510696087A CN105279771B CN 105279771 B CN105279771 B CN 105279771B CN 201510696087 A CN201510696087 A CN 201510696087A CN 105279771 B CN105279771 B CN 105279771B
- Authority
- CN
- China
- Prior art keywords
- pixel
- background model
- moving target
- background
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims abstract description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 13
- 230000000877 morphologic effect Effects 0.000 abstract 1
- 238000007689 inspection Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种视频中基于在线动态背景建模的运动目标检测方法，包括以下步骤：采集图像并进行预处理；判读图像帧是否为第一帧，如果是则初始化背景模型，否则转到下一步；利用动态背景模型生成背景图像；在当前帧图像和背景图像中提取匹配点对；筛选精确匹配对并利用RANSAC计算校正参数；将动态背景模型校正到当前图像帧的坐标系；利用校正后的背景模型将当前帧图像的像素分为运动像素和背景像素；用背景像素对背景模型进行动态更新；对运动像素进行形态学处理、连通域分析及面积约束得到运动目标。本发明可以将固定平台下先进的基于背景建模的运动目标检测算法方便的用于航拍平台上，更精确的对运动目标进行检测。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种航拍视频中的运动目标检测方法。
背景技术
目前，传统的运动目标检测方法主要有基于帧间差分的方法，基于背景建模的方法及基于光流的方法。对于静止平台下的运动目标检测，背景建模方法由于其鲁棒性和提取运动信息的精确性是应用最为广泛的。但对于运动平台下的运动目标检测，运动的背景增加了背景建模的难度，而计算稠密光流的方法[H.Yalcin，M.Hebert，R.Collins，andM.Black.A flowbased approach to vehicle detection and background mosaickingin airborne video.In Proceedings of Computer Vision and Pattern Recognition，volume 2，page 1202.IEEE Computer Society，2005]在没有硬件加速的情况下很难达到实时性的要求，因此目前航拍视频中的运动目标检测大部分工作都是基于帧间差分的。即使在帧间差分方面做了很多的工作[S.Bhattacharya，H.Idrees，I.Saleemi，S.Ali，andM.Shah.Moving object detection and tracking in forward looking infraredaerial imagery，volume 1，chapter 10，pages 221-252.Springer Berlin Heidelberg，2011；Z.Yin and R.Collins.Moving object localization in thermal imagery byforward-backward motion history images，pages 271-291.Springer London，2009；H.Shen，S.Li，J.Zhang，and H.Chang.Tracking-based moving object detection.InProceedings of International Conference on Image Processing，pages 3093-3097.IEEE，2013.]，基于帧间差分的方法还是不能很好的解决鬼影和空洞的问题。
Ratheesh[A.Colombari，A.Fusiello，V.Murino，Segmentation and tracking ofmultiple video objects，Pattern Recognition，40(4)(2007)，1307-1317]等利用对应点的颜色均值来将整个视频信息拼接为全局背景图像。此类方法需要整个视频信息，因此多用于离线处理，而且需要将整个视频以级联方式矫正在同一坐标系下，容易产生累计误差。
Chang[Y.Chang，G.Medioni，K.Jinman，I.Cohen，Detecting motion regions inthe presence of a strong parallax from a moving camera by multiview geometricconstraints，IEEE Transaction on Pattern Analysis and Machine Intelligence，29(9)(2007)，1627-1641]等将当前时刻前后45副图像校正到当前时刻图像的坐标系来建立背景模型，若逐个计算则计算复杂度太高不能实时，若以级联方式计算则容易产生累计误差。
发明内容
有鉴于此，本发明的目的在于克服现有技术不足，提出一种新的背景建模方法来更精确的进行航拍视频下的运动目标检测。
为达到上述目的，本发明提出了一种视频中基于在线动态背景建模的运动目标检测方法，其特征在于，该方法包括步骤：
步骤1：读入视频帧，对其进行预处理；
步骤2：判断当前帧是否为第一帧，如果是则利用所述第一帧或者继续读入N帧后利用读入的N帧初始化形成动态背景模型；如果不是则直接转到步骤3；其中，N为大于1的整数；
步骤3：利用所述动态背景模型生成背景图像；
步骤4：从当前帧和背景图像中提取匹配点对；
步骤5：利用所述匹配点对计算当前帧与背景图像之间的放射变换参数；
步骤6：利用所述仿射变换参数，计算出动态背景模型中每个像素模型在当前帧坐标系下的位置并调整所述动态背景模型中的每个像素模型的位置，以将所述动态背景模型校正到当前帧的坐标系下；
步骤7：利用校正后的所述动态背景模型将当前帧的像素集分为运动像素集和背景像素集；
步骤8：利用所述背景像素集对所述动态背景模型进行更新；
步骤9：对所述运动像素集进行后处理得到运动目标。
本发明的有益效果是：一方面不需要整个视频信息来建立背模型，因此可以在线的进行运动目标检测；另一方面不需要对每一时刻利用前后N帧来重新建立背景模型，而是利用当前时刻图像动态的更新背景模型，因此可以实时处理并避免校正误差的累积。利用本发明，可以将固定平台下先进的基于背景建模的运动目标检测算法方便的用于航拍平台上的运动目标检测，从而更精确的提取运动信息和目标。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的技术方案流程图；图2为本发明中采集图像的示例图；
图3为本发明中由背景模型生成的背景图像的示例图；
图4为本发明中经过后处理得到的运动图像示例图；
图5为本发明中最终目标检测结果的示例图；
具体实施方式
下面将参照附图对本发明做进一步地详细说明。背景建模方法我们选用Vibe作为示例进行说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
如图1所示，本发明提出了一种航拍视频中基于在线动态背景建模的运动目标检测方法，该方法包括步骤：
步骤1、读入视频帧，并做相应的预处理。所述预处理可根据实际的应用进行选择；例如，如果应用涉及灰度图像，则进行将图像转换为灰度图像等相应的预处理；图2是读入的航拍视频图像帧的示例；
步骤2、判断图像帧是否为第一帧，如果是则继续读入N帧或者利用本帧建立初始的动态背景模型，具体根据不同的背景建模方法选择不同的策略；否则直接跳转到步骤3。例如如果用Vibe作为背景建模的方法，对于一个像素点，随机选取其邻居点像素值作为模型的样本值对样本集进行填充；
步骤3、利用动态背景模型生成背景图像。例如对于Vibe模型，取每个模型样本集中像素的平均值或者中值来生成背景图像，图3是用Vibe模型样本集中像素的平均值生成的背景图像示例；
步骤4、在当前帧图像和背景图像之间提取匹配点对。首先在当前图像中提取一定数量的特征点(Fast或者Harris等)，然后利用Kande-Lucas-Tomasi Feature Tracker(KLT)跟踪到背景图像来寻找匹配点对。KLT可采用Pyramid KLT来提升效果；
步骤5、筛选精确的匹配点对并利用RANSAC来计算当前帧和背景图像之间的仿射变换参数。筛选过程可首先求得匹配点对间的偏移距离，然后找到大多数点对的偏移距离，去除不在此偏移距离一定范围内的点对。由于对于航拍视频，目标距离相机的距离远远大于相机焦距，所以可利用RANSAC计算具有6个参数的仿射模型来对图像进行校正；如果匹配点对过少则认为匹配失败，把当前帧设为第一帧转到步骤2对背景模型初始化，否则转到步骤6继续；
步骤6、利用步骤5得到的仿射变换参数，计算出动态背景模型中每个像素模型在当前图像帧坐标系的位置并调整像素模型的位置，将动态背景模型校正到当前图像帧的坐标系。C++/C语言实现将背景模型校正到当前图像帧坐标系过程中，如果直接校正每个像素背景模型的位置，赋值操作会很耗时，本发明采用校正指向每个像素背景模型的指针的位置而不直接校正每个像素背景模型的位置来加快校正速度。比如在位置(0，0)上的像素背景模型经仿射变换参数计算出的在当前图像帧坐标系的位置为(1，1)，则将指向这个像素背景模型的指针放到(1，1)的位置，而不是将整个像素背景模型复制到(1，1)位置，复制一个指针(4字节)的操作要远远快于复制整个像素背景模型(通常远大于4字节)的操作。；
步骤7、用校正后的动态背景模型把当前帧图像中的每个像素分为运动目标或背景。以Vibe背景模型为例，比较当前图像中的像素与对应的背景模型像素集中的像素在颜色空间中的距离，如果像素集中有2个像素与当前图像中像素的距离都小于某一阈值，则判定该像素为背景像素，否则将此像素归为前景像素，即运动像素；
步骤8、用当前图像中归类为背景的像素对动态背景模型进行动态更新。对于Vibe建模方法，对标记为背景的像素，以的概率去替换该像素背景模型样本集中的元素进行更新，其中被替换的元素是在样本集中随机选取的，同时以同样的方法以的概率去更新其邻居点的背景模型样本值，通常设为16；
步骤9、对当前图像中归类为运动目标的像素进行后处理得到运动目标。首先使用形态学中的闭运算进行处理，得到运动图像，如图4所示；然后对处理后的运动图像进行连通域分析，最后利用面积约束来去除面积过大和面积过小的区域进一步提升检测结果，得到最终的运动目标。图5是得到的最终运动目标的示例图，矩形框表示的检测结果。其中面积约束所用面积范围由得到的最终运动目标的平均面积不断的进行更新。
尽管已参照本发明的特定优选实施例表示和描述了本发明，但本领域的技术人员应该明白，可以在形式上和细节上对本发明的技术思想和相关方法做各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。
Claims (9)
1.一种视频中基于在线动态背景建模的运动目标检测方法，其特征在于，该方法包括步骤：
步骤1：读入视频帧，对其进行预处理；
步骤2：判断当前帧是否为第一帧，如果是则利用所述第一帧或者继续读入N帧后利用读入的N帧初始化形成动态背景模型；如果不是则直接转到步骤3；其中，N为大于1的整数；
步骤3：利用所述动态背景模型生成背景图像；
步骤4：从当前帧和背景图像中提取匹配点对；
步骤5：利用所述匹配点对计算当前帧与背景图像之间的仿射变换参数；
步骤6：利用所述仿射变换参数，计算出动态背景模型中每个像素模型在当前帧坐标系下的位置并调整所述动态背景模型中的每个像素模型的位置，以将所述动态背景模型校正到当前帧的坐标系下；
步骤7：利用校正后的所述动态背景模型将当前帧的像素集分为运动像素集和背景像素集；
步骤8：利用所述背景像素集对所述动态背景模型进行更新；
步骤9：对所述运动像素集进行后处理得到运动目标；
其中，步骤4具体包括：
从当前帧中提取预定数量的特征点；
利用KLT跟踪所述背景图像获取所述特征点的匹配点，形成匹配点对。
2.根据权利要求1所述的运动目标检测方法，其中，所述视频为航拍视频。
3.根据权利要求1所述的运动目标检测方法，其中，动态生成的背景图像和当前图像配准，其中，步骤2中利用Vibe初始化动态背景模型，具体包括对于图像帧中的每一个像素点，随机选取其邻居点像素值作为所述动态背景模型的样本值对所述动态背景模型中的样本集进行填充。
4.根据权利要求1所述的运动目标检测方法，其中，步骤5中在计算所仿射变换参数之前，还包括：
计算匹配点对之间的偏移距离，确定多数匹配点对的偏移距离范围；
筛除偏移距离不在所述偏移距离范围之内的匹配点对。
5.根据权利要求4所述的运动目标检测方法，其中，步骤5中，如果筛除得到的匹配点对少于预定值，则将当前帧设置为第一帧，并转至步骤2。
6.根据权利要求1所述的运动目标检测方法，其中，步骤6中在将所述动态背景模型校正到当前坐标系下的过程中，采用将指向所述动态背景模型中每个像素模型的指针指向校正位置的方式。
7.根据权利要求1所述的运动目标检测方法，其中，步骤7中通过比较当前帧的像素与所述动态背景模型中的像素在颜色空间中的距离，将小于预定阈值的当前帧像素判定为背景像素，否则为运动像素。
8.根据权利要求1所述的运动目标检测方法，其特征在于，步骤8中通过以预定的概率替换所述动态背景模型中随机选取的像素模型实现所述动态背景模型的更新。
9.根据权利要求1所述的运动目标检测方法，其中，步骤9中对运动像素的后处理包括形态学闭运算、连通域分析及面积约束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510696087.5A CN105279771B (zh) | 2015-10-23 | 2015-10-23 | 一种视频中基于在线动态背景建模的运动目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510696087.5A CN105279771B (zh) | 2015-10-23 | 2015-10-23 | 一种视频中基于在线动态背景建模的运动目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105279771A CN105279771A (zh) | 2016-01-27 |
| CN105279771B true CN105279771B (zh) | 2018-04-10 |
Family
ID=55148722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510696087.5A Active CN105279771B (zh) | 2015-10-23 | 2015-10-23 | 一种视频中基于在线动态背景建模的运动目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105279771B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3246874B1 (en) | 2016-05-16 | 2018-03-14 | Axis AB | Method and apparatus for updating a background model used for background subtraction of an image |
| KR102631964B1 (ko) * | 2016-11-23 | 2024-01-31 | 엘지이노텍 주식회사 | 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체 |
| CN109325962B (zh) * | 2017-07-31 | 2022-04-12 | 株式会社理光 | 信息处理方法、装置、设备以及计算机可读存储介质 |
| CN109102530B (zh) | 2018-08-21 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 运动轨迹绘制方法、装置、设备和存储介质 |
| CN110060278B (zh) * | 2019-04-22 | 2023-05-12 | 新疆大学 | 基于背景减法的运动目标的检测方法及装置 |
| CN110798634B (zh) * | 2019-11-28 | 2020-10-09 | 东北大学 | 图像自适应合成方法、装置及计算机可读存储介质 |
| CN112734791B (zh) * | 2021-01-18 | 2022-11-29 | 烟台南山学院 | 一种基于正则误差建模的在线视频前景背景分离方法 |
| CN115442668B (zh) * | 2022-07-21 | 2024-04-12 | 浙江大华技术股份有限公司 | 目标状态识别方法、设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621615A (zh) * | 2009-07-24 | 2010-01-06 | 南京邮电大学 | 一种自适应背景建模及运动目标检测方法 |
| CN103700116A (zh) * | 2012-09-27 | 2014-04-02 | 中国航天科工集团第二研究院二O七所 | 一种用于运动目标检测的背景建模方法 |
| CN104835179A (zh) * | 2015-03-30 | 2015-08-12 | 复旦大学 | 基于动态背景自适应的改进ViBe背景建模算法 |
-
2015
- 2015-10-23 CN CN201510696087.5A patent/CN105279771B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621615A (zh) * | 2009-07-24 | 2010-01-06 | 南京邮电大学 | 一种自适应背景建模及运动目标检测方法 |
| CN103700116A (zh) * | 2012-09-27 | 2014-04-02 | 中国航天科工集团第二研究院二O七所 | 一种用于运动目标检测的背景建模方法 |
| CN104835179A (zh) * | 2015-03-30 | 2015-08-12 | 复旦大学 | 基于动态背景自适应的改进ViBe背景建模算法 |
Non-Patent Citations (3)
| Title |
|---|
| 《Bayesian Modeling of Dynamic Scenes for Object Detection》;Yaser Sheikh et al;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20051130;第27卷(第11期);1778-1792 * |
| 《Detection of Moving Targets with a Moving Camera》;Dongxiang Zhou et al;《Proceedings of the 2009 IEEE International Conference on Robotics and Biomimetics》;20091219;677-681 * |
| 《基于SIFT 特征匹配和动态更新背景模型的运动目标检测算法》;王亮芬等;《计算机应用与软件》;20100228;第27卷(第2期);267-270 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105279771A (zh) | 2016-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105279771B (zh) | 一种视频中基于在线动态背景建模的运动目标检测方法 | |
| US8406510B2 (en) | Methods for evaluating distances in a scene and apparatus and machine readable medium using the same | |
| WO2017080102A1 (zh) | 飞行装置、飞行控制***及方法 | |
| JP2018522348A (ja) | センサーの３次元姿勢を推定する方法及びシステム | |
| CN109658433B (zh) | 图像背景建模和前景提取方法、装置和电子设备 | |
| JP2015181042A (ja) | 移動オブジェクトの検出及び追跡 | |
| WO2014072737A1 (en) | Cloud feature detection | |
| CN103886107A (zh) | 基于天花板图像信息的机器人定位与地图构建*** | |
| CN114067197B (zh) | 一种基于目标检测及双目视觉的管道缺陷识别与定位方法 | |
| CN107146239A (zh) | 卫星视频运动目标检测方法及*** | |
| CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
| CN112700502B (zh) | 双目相机***和双目相机空间标定方法 | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和*** | |
| CN113312973B (zh) | 一种手势识别关键点特征提取方法及*** | |
| CN106846367B (zh) | 一种基于运动约束光流法的复杂动态场景的运动物体检测方法 | |
| CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
| Zou et al. | Microarray camera image segmentation with Faster-RCNN | |
| KR20100007506A (ko) | 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법 | |
| Li et al. | Gyroflow: Gyroscope-guided unsupervised optical flow learning | |
| CN114463619B (zh) | 基于集成融合特征的红外弱小目标检测方法 | |
| CN116309686A (zh) | 游泳运动员视频定位测速方法、装置、设备及存储介质 | |
| CN113096016A (zh) | 一种低空航拍图像拼接方法和*** | |
| CN116883897A (zh) | 一种低分辨率目标识别方法 | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及*** | |
| CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Lan Xiaosong Inventor after: Chang Hongxing Inventor after: Li Shuxiao Inventor after: Zhu Chengfei Inventor before: Chang Hongxing Inventor before: Lan Xiaosong Inventor before: Li Shuxiao Inventor before: Zhu Chengfei |
|
| CB03 | Change of inventor or designer information |