CN105023278B - 一种基于光流法的运动目标跟踪方法及*** - Google Patents

一种基于光流法的运动目标跟踪方法及*** Download PDF

Info

Publication number
CN105023278B
CN105023278B CN201510378628.XA CN201510378628A CN105023278B CN 105023278 B CN105023278 B CN 105023278B CN 201510378628 A CN201510378628 A CN 201510378628A CN 105023278 B CN105023278 B CN 105023278B
Authority
CN
China
Prior art keywords
image
template
target
optical flow
pretreatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510378628.XA
Other languages
English (en)
Other versions
CN105023278A (zh
Inventor
程德强
满广毅
陈刚
王睿
刘洋
郭星歌
李雷达
张剑英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Qiurei Intelligent Technology Co ltd
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201510378628.XA priority Critical patent/CN105023278B/zh
Publication of CN105023278A publication Critical patent/CN105023278A/zh
Priority to US15/739,779 priority patent/US10217229B2/en
Priority to PCT/CN2015/094146 priority patent/WO2017000466A1/zh
Application granted granted Critical
Publication of CN105023278B publication Critical patent/CN105023278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于光流法的运动目标跟踪方法及***，所述方法包括提供视频图像并对所述图像进行预处理生成预处理图像；对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点；创建模板图像并进行模板图像匹配对运动目标进行跟踪。本发明实施例的基于光流法的运动目标跟踪方法及***具有运动目标提取准确完整，并且能够实现长时间的稳定跟踪的优点。

Description

一种基于光流法的运动目标跟踪方法及***
技术领域
本发明涉及视频图像处理领域，特别是一种基于光流法的运动目标跟踪方法及***。
背景技术
煤炭安全高效开采中，发展以实现无人化开采为目标的智能技术与装备对我国煤炭开采产业的发展具有重要意义。其中，随着煤矿视频监控***的大量应用，重大事故的发生次数随之减少。但是，传统的煤矿视频监控***一般只简单地记录监控场景的视频录像，再借助操作人员来观察场景中潜在的危险。这种视频监控***需要耗费巨大的人力和物力资源，才能实现对海量数据的观察和处理，而实际应用中急需一种能够实现全天候的实时智能监控***。检测和实时跟踪井下人员，一方面可以及时准确掌握井下人员的分布情况，另一方面对于煤矿的安全生产、报警及联动处理和事故后的报布情况都有重要意义，因此矿井运动目标跟踪是煤矿视频监控中一个十分重要的问题。
煤矿井下视频图像在特殊的工矿环境下，采集到的图像照度低、变化大，背景噪声大且噪声分布不均匀，此外，部分煤矿井下视频既包含固定摄像机拍摄的视频图像也包括车载摄像机(摄像机移动)摄录的视频图像。
现有的设计大多采用光流法进行目标提取，虽然也能够提取运动目标，但是目标轮廓并不完整。
同时，现有技术通过光流法通过当前帧估计出下一帧图像，但是由于噪声的存在，会出现错误的匹配，造成目标提取错误，最终使得目标跟踪失败。
因此，如何设计出一种目标提取效果好且目标跟踪稳定的运动目标跟踪方法是业界亟需解决的课题。
发明内容
为了解决上述现有的技术问题，本发明提供基于光流法的运动目标跟踪方法及***利用边缘检测以及利用光流法对预处理图像进行提取目标信息且创建模板图像并进行模板图像匹配对目标进行跟踪以使得对运动目标进行准确稳定的跟踪。
本发明提供一种基于光流法的运动目标跟踪方法，包括步骤：
提供视频图像并对所述图像进行预处理生成预处理图像；所述预处理采用包括基于Retinex的低照度图像增强和基于小波阈值的图像降噪的方法；
对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法剔除由于光照产生的错误匹配点；
创建模板图像并进行模板图像匹配对运动目标进行跟踪。
优选地，所述利用光流法对预处理图像进行提取目标信息时，先采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算光流。
优选地，所述融合生成完整的运动目标的步骤中还包括步骤：
对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理。
优选地，所述生成完整的运动目标的步骤还包括：
将边缘信息与目标信息通过“与”运算进行融合，计算公式为：
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流二值化后的信息，(i,j)表示图像的像素点坐标。
优选地，所述创建模板图像并进行模板图像匹配对目标进行跟踪的步骤包括：
创建用于目标跟踪时的初始模板；首先将提取的运动目标经处理后的质心作为模板中心，选择大小不同的区域计算方差最大者即为模板；
判断模板中的每一点到图像中的每一点的相似性程度；
采用可变系数对模板进行更新。具体实现如下：
其中，Tk表示当前所用模板，Ik表示在当前帧中找到的最优匹配子图，Tk+1表示更新后所用模板，S(x)和Ts分别对应有效匹配点数量和及数量和阈值，所述H(A，B)为特征点集A和B之间的Hausdorff距离，其中A为当前所用模板Tk的特征点集，B为在当前帧中找到的最优匹配子图Ik的特征点集，n为特征点集B中的特征点个数。
本发明还提供一种基于光流法的运动目标跟踪***，包括：
图像预处理模块，用于提供视频图像并对所述图像进行预处理生成预处理图像；所述预处理采用包括基于Retinex的低照度图像增强和基于小波阈值的图像降噪的方法；
目标提取模块，用于对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
目标估计模块，用于利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法剔除由于光照产生的错误匹配点；
目标跟踪模块，用于创建模板图像并进行模板图像匹配对目标进行跟踪。
优选地，所述目标提取模块利用光流法对预处理图像进行提取目标信息时，采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算光流。
优选地，所述目标提取模块还包括：
二值化处理模块，用于对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理。
优选地，所述目标提取模块还包括：
数据融合模块，用于将边缘信息与目标信息通过“与”运算进行融合，用于融合的计算公式为：
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流二值化后的信息，(i,j)表示图像的像素点坐标。
优选地，所述目标跟踪模块包括：
初始模板创建模块，用于创建用于目标跟踪时的初始模板；首先将提取的运动目标经处理后的质心作为模板中心，选择大小不同的区域计算方差最大者即为模板；
模板匹配模块，用于判断模板中的每一点到图像中的每一点的相似性程度；
模板更新模块，用于采用可变系数对模板进行更新。具体实现如下：
其中，Tk表示当前所用模板，Ik表示在当前帧中找到的最优匹配子图，Tk+1表示更新后所用模板，S(x)和Ts分别对应有效匹配点数量和及数量和阈值，所述H(A，B)为特征点集A和B之间的Hausdorff距离，其中A为当前所用模板Tk的特征点集，B为在当前帧中找到的最优匹配子图Ik的特征点集，n为特征点集B中的特征点个数。
相较于现有技术，本发明实施例的基于光流法的运动目标跟踪方法及***通过对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标能够准确完整的提取运动目标，并通过创建模板图像并进行模板图像匹配对运动目标进行跟踪能够实现长时间的对运动目标稳定的跟踪。
因此，本发明实施例的基于光流法的运动目标跟踪方法具有运动目标提取准确完整，并且能够实现长时间的稳定跟踪的优点。
附图说明
图1为本发明优选实施例的基于光流法的运动目标跟踪方法的方框图；
图2为基于特征点轨迹的向前向后误差算法示意图；
图3为本发明优选实施例的基于光流法的运动目标跟踪***的方框示意图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进进一步说明。
请参阅图1，图1为本发明优选实施例的基于光流法的运动目标跟踪方法的方框图。本发明基于光流法的运动目标跟踪方法包括步骤：
S1：提供视频图像并对所述图像进行预处理生成预处理图像；
本步骤用于去除外部场景对图像的影响，主要采用包括基于Retinex的低照度图像增强和基于小波阈值的图像降噪的方法。
S2：对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
本步骤中，首先采用SUSAN角点检测算法对预处理图像进行角点检测且在多尺度下计算光流。由于光流法对预处理图像的每一个像素点进行估计获取运动矢量从而达到提取目标的目的，这样就使得计算量很大。本发明首先采用SUSAN角点检测算法对预处理图像进行角点检测，只针对角点进行光流估计，从而减小了计算量。
而当预处理图像中运动目标运动位移较大时，传统的光流法无法获取准确的光流估计，本发明采用金字塔顶的思想在多尺度下计算光流，从而提高光流计算的准确性。本发明设定金字塔层数N＝5，最顶层初始光流估计向量为0。
由于场景的光照可能实时变化的，而且光照对光流法的准确性有一定的影响，所以在运用光流法计算时可能获取到错误的光流矢量。
然后，本发明采用基于特征点轨迹的向前向后误差(Forward-Backward Error)对光流估计进行可信度评估，剔除不可靠的光流估计点。该算法如图2所示。图2中I＝(It，It+1...,It+k)为图像序列，xt为t时刻某点的位置，xt+k为xt向前估计k帧的匹配点，为xt+k向后估计k帧的匹配点。同时为了计算简单，前后特征点光流估计轨迹误差距离为向前特征点估计轨迹初始点xt与向后特征点估计轨迹终点之间的欧式距离：
另外，在对运动目标进行边缘检测采用Prewitt算子对图像进行处理。
本步骤还包括对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理。具体地，最大类间方差法简称OTSU法具有较广泛的适应性，对图像进行分割的效果也较好，所以本发明采用OTSU算法对图像进行二值化处理。二值图像是指图像中只有黑(灰度值为0)白(灰度值为1)二值的图像，二值图像不仅信息量小计算速度快，而且可以进行后续的使用几何学中的概念对其进行分析与特征描述，相比较灰度图像来说方便得多。
最后，本发明通过将边缘信息与目标信息通过“与”运算进行融合，计算公式为：
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流二值化后的信息，(i,j)表示图像的像素点坐标。
在完成将边缘信息与目标信息通过“与”运算进行融合后，填充数据融合后图像中小的空洞和去除由于受外界环境因素的影响可能存在一些非运动物体小面积的区域，具体采用最基本的开运算即可实现。
S3：利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法剔除由于光照产生的错误匹配点；
本步骤中，结合S2的方法利用光流法在获取运动场提取运动目标的同时，也估计出了目标在下一帧的位置，同时采用基于特征点轨迹的向前向后误差算法剔除由于光照产生的错误匹配点，更加准确的确定目标的位置。
S4：创建模板图像并进行模板图像匹配对运动目标进行跟踪。
本步骤中，虽然采用光流法便可以实现跟踪运动目标的目的，但是考虑到实际环境，由于存在遮挡与目标重叠等因素，容易导致运动目标长时间连续被跟踪的可能性变小。为了克服遮挡等因素，本发明采用结合模板更新与基于特征光流的运动目标跟踪算法进行解决。
对运动目标跟踪首先利用上述S2中提取的运动目标通过比较图像灰度方差确定初始模板，根据Hausdorff距离判断模板相似度进行模板匹配，对于偏差较大的模板采用自适应加权模板更新法进行模板更新。具体步骤如下：
创建用于对运动目标跟踪时的初始模板；
判断模板中的每一点到图像中的每一点的相似性程度；
采用可变系数对模板进行更新。
首先，创建目标跟踪时的初始模板。对运动目标跟踪所使用的模板质量对匹配跟踪的精度和稳定性有着决定性的作用。当模板选择合适、目标所占比例恰当时可以取得很好的匹配效果，而当模板位置选取不恰当，比如前景像素即目标所占比例较小时，背景元素就会对匹配结果造成很大的影响，削弱了目标对匹配的影响，这时就易产生跟踪漂移现象。图像方差可以体现出一个图像内容的复杂程度，当选取图像区域的灰度一样时，方差则为0，此时选择的区域可能是均匀的背景或者目标表面。当选取区域目标和背景都存在时，这时该区域的方差能够达到最大值，所以选择区域方差的大小可以体现该区域目标和背景是否选择合适。因此本发明在确定初始模板时就是采用的这种方法，首先将提取的运动目标经处理后的质心作为模板中心，选择大小不同的区域计算方差最大者即为模板。
判断模板中的每一点到图像中的每一点的相似性程度。本发明实施例采用Hausdorff距离对模板与当前帧图像进行相似度判断。上述S2中已经对图像进行了特征点提取，此时只需对模板与当前帧图像中的特征点进行匹配即可，这样就大大减少了计算量。
对于有限点集A＝{a1,a2,...,am}和B＝{b1,b2,...,bn}，则A、B之间的Hausdorff距离定义如下：
H(A,B)＝max[h(A,B),h(B,A)]
其中，
式中，||·||表示点集A,B之间的某种距离范数。函数h(A,B)称为点集A到B的有向Hausdorff距离，函数h(B,A)称为点集B到A的有向Hausdorff距离。
本发明实施例提出模板与当前帧搜索区域的有效匹配点数量和作为匹配准则，假设光流估计出的运动区域为c，由于存在遮挡等问题，采用1.2*c的搜索区域进行匹配来确保被遮挡物体的跟踪情况：
其中，i的取值范围为(1，L)，L为模板内特征点个数。当模板与当前帧图像中相应区域内的对应特征点的Hausdorff距离小于门限d0时，该匹配点为有效匹配点并将S(x)累计；反之则为无效匹配点。最后判断S(x)大小，当S(x)小于有效匹配点数量和即阈值Ts时，如果继续使用原来的模板将会导致跟踪目标丢失，因此考虑使用模板更新策略，本发明取d0＝3，Ts＝45。
最后，采用可变系数对模板进行更新。传统自适应模板更新的方法采用固定系数α对模板进行更新，不能适应环境的变化。本发明实施例采用可变系数对模板进行更新。本发明将α设置为Hausdorff距离(其中n为特征点集B中的特征点个数)，以实现自适应的模板更新。具体实现如下：
其中，Tk表示当前所用模板，Ik表示在当前帧中找到的最优匹配子图，Tk+1表示更新后所用模板，S(x)和Ts分别对应上一步骤中有效匹配点数量和及数量和阈值。这样，相比于传统的α更新方式，本发明可以根据特征点的实际偏移量进行模板更新，在保留了图像运动目标真实信息的同时提高了目标的自适应抗遮挡能力。
相较于现有技术，本发明实施例的基于光流法的运动目标跟踪方法通过对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标能够准确完整的提取运动目标，并通过创建模板图像并进行模板图像匹配对运动目标进行跟踪能够实现长时间的对运动目标稳定的跟踪。
因此，本发明实施例的基于光流法的运动目标跟踪方法具有运动目标提取准确完整，并且能够实现长时间的稳定跟踪。
请参阅图3，图3是本发明优选实施例的基于光流法的运动目标跟踪***的方框示意图。本发明还提供一种使用上述基于光流法的运动目标跟踪方法的***，所述基于光流法的运动目标跟踪***包括图像预处理模块11、目标提取模块13、目标估计模块15和目标跟踪模块17。
图像预处理模块11用于提供视频图像并对所述图像进行预处理生成预处理图像。；
目标提取模块13用于对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标。
目标估计模块15用于利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法剔除由于光照产生的错误匹配点；
目标跟踪模块17用于创建模板图像并进行模板图像匹配对目标进行跟踪。
进一步的，所述边缘检测采用Prewitt算子对图像进行。
进一步的，目标提取模块13利用光流法对预处理图像进行提取目标信息时，采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算光流。
进一步，所述目标提取模块还包括：
二值化处理模块131，用于对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理。
数据融合模块133，用于将边缘信息与目标信息通过“与”运算进行融合，用于融合的计算公式为：
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流二值化后的信息，(i,j)表示图像的像素点坐标。
进一步的，所述目标跟踪模块17包括：
初始模板创建模块171，用于创建用于目标跟踪时的初始模板；
模板匹配模块173，用于判断模板中的每一点到图像中的每一点的相似性程度；
模板更新模块175，用于采用可变系数对模板进行更新。
相较于现有技术，本发明实施例的基于光流法的运动目标跟踪***通过目标提取模块13对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标能够准确完整的提取运动目标，并通过标跟踪模块17创建模板图像并进行模板图像匹配对运动目标进行跟踪能够实现长时间的对运动目标稳定的跟踪。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (2)

1.一种基于光流法的运动目标跟踪方法，其特征在于，包括步骤：
提供视频图像并对所述图像进行预处理生成预处理图像；所述预处理采用包括基于Retinex的低照度图像增强和基于小波阈值的图像降噪的方法；
对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法剔除由于光照产生的错误匹配点；
创建模板图像并进行模板图像匹配对运动目标进行跟踪；
所述利用光流法对预处理图像进行提取目标信息时，先采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算光流；
所述融合生成完整的运动目标的步骤中还包括步骤：
对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理；
所述生成完整的运动目标的步骤还包括：
将边缘信息与目标信息通过“与”运算进行融合，计算公式为：
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流二值化后的信息，(i,j)表示图像的像素点坐标；
所述创建模板图像并进行模板图像匹配对目标进行跟踪的步骤包括：
创建用于目标跟踪时的初始模板；首先将提取的运动目标经处理后的质心作为模板中心，选择大小不同的区域计算方差最大者即为模板；
判断模板中的每一点到图像中的每一点的相似性程度；
采用可变系数对模板进行更新，具体实现如下：
其中，Tk表示当前所用模板，Ik表示在当前帧中找到的最优匹配子图，Tk+1表示更新后所用模板，S(x)和Ts分别对应有效匹配点数量和及数量和阈值，所述H(A，B)为特征点集A和B之间的Hausdorff距离，其中A为当前所用模板Tk的特征点集，B为在当前帧中找到的最优匹配子图Ik的特征点集，n为特征点集B中的特征点个数。
2.一种基于光流法的运动目标跟踪***，其特征在于，包括：
图像预处理模块，用于提供视频图像并对所述图像进行预处理生成预处理图像；所述预处理采用包括基于Retinex的低照度图像增强和基于小波阈值的图像降噪的方法；
目标提取模块，用于对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
目标估计模块，用于利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法剔除由于光照产生的错误匹配点；
目标跟踪模块，用于创建模板图像并进行模板图像匹配对目标进行跟踪；
所述目标提取模块利用光流法对预处理图像进行提取目标信息时，采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算光流；
所述目标提取模块还包括：
二值化处理模块，用于对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理；
数据融合模块，用于将边缘信息与目标信息通过“与”运算进行融合，用于融合的计算公式为：
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流二值化后的信息，(i,j)表示图像的像素点坐标；
所述目标跟踪模块包括：
初始模板创建模块，用于创建用于目标跟踪时的初始模板；首先将提取的运动目标经处理后的质心作为模板中心，选择大小不同的区域计算方差最大者即为模板；
模板匹配模块，用于判断模板中的每一点到图像中的每一点的相似性程度；
模板更新模块，用于采用可变系数对模板进行更新，具体实现如下：
其中，Tk表示当前所用模板，Ik表示在当前帧中找到的最优匹配子图，Tk+1表示更新后所用模板，S(x)和Ts分别对应有效匹配点数量和及数量和阈值，所述H(A，B)为特征点集A和B之间的Hausdorff距离，其中A为当前所用模板Tk的特征点集，B为在当前帧中找到的最优匹配子图Ik的特征点集，n为特征点集B中的特征点个数。
CN201510378628.XA 2015-07-01 2015-07-01 一种基于光流法的运动目标跟踪方法及*** Active CN105023278B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510378628.XA CN105023278B (zh) 2015-07-01 2015-07-01 一种基于光流法的运动目标跟踪方法及***
US15/739,779 US10217229B2 (en) 2015-07-01 2015-11-09 Method and system for tracking moving objects based on optical flow method
PCT/CN2015/094146 WO2017000466A1 (zh) 2015-07-01 2015-11-09 一种基于光流法的运动目标跟踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510378628.XA CN105023278B (zh) 2015-07-01 2015-07-01 一种基于光流法的运动目标跟踪方法及***

Publications (2)

Publication Number Publication Date
CN105023278A CN105023278A (zh) 2015-11-04
CN105023278B true CN105023278B (zh) 2019-03-05

Family

ID=54413219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510378628.XA Active CN105023278B (zh) 2015-07-01 2015-07-01 一种基于光流法的运动目标跟踪方法及***

Country Status (3)

Country Link
US (1) US10217229B2 (zh)
CN (1) CN105023278B (zh)
WO (1) WO2017000466A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023278B (zh) * 2015-07-01 2019-03-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及***
CN106803899B (zh) * 2015-11-26 2019-10-01 华为技术有限公司 合并图像的方法和装置
CN105578034A (zh) 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及***
CN106210449B (zh) * 2016-08-11 2020-01-07 上海交通大学 一种多信息融合的帧率上变换运动估计方法及***
US10430671B2 (en) 2017-04-22 2019-10-01 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
CN108871291A (zh) * 2017-05-12 2018-11-23 北京中天易观信息技术有限公司 一种空中三角测量中大数据匹配点智能压缩方法
CN109214245B (zh) * 2017-07-03 2022-02-18 株式会社理光 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN108257149A (zh) * 2017-12-25 2018-07-06 翟玉婷 一种基于光流场的舰船目标实时跟踪检测方法
CN110400332B (zh) * 2018-04-25 2021-11-05 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN109389072B (zh) * 2018-09-29 2022-03-08 北京字节跳动网络技术有限公司 数据处理方法和装置
US10789728B2 (en) * 2018-11-15 2020-09-29 Denso International America, Inc. Machine learning framework for visual tracking
CN109727273B (zh) * 2018-12-29 2020-12-04 北京茵沃汽车科技有限公司 一种基于车载鱼眼相机的移动目标检测方法
CN109741387A (zh) * 2018-12-29 2019-05-10 北京旷视科技有限公司 立体匹配方法、装置、电子设备及存储介质
US11037303B2 (en) 2019-01-31 2021-06-15 Sony Corporation Optical flow based detection and tracking of multiple moving objects in successive frames
CN110570360B (zh) * 2019-05-30 2022-07-19 昆明理工大学 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
CN110191324B (zh) * 2019-06-28 2021-09-14 Oppo广东移动通信有限公司 图像处理方法、装置、服务器及存储介质
CN110853074B (zh) * 2019-10-09 2023-06-27 天津大学 一种利用光流增强目标的视频目标检测网络***
CN111209798B (zh) * 2019-12-23 2023-05-23 广州网文三维数字技术有限公司 一种基于神经网络的特种承压设备仪表识别方法
CN111325135B (zh) * 2020-02-17 2022-11-29 天津中科智能识别产业技术研究院有限公司 一种基于深度学习特征模板匹配的在线实时行人跟踪新方法
CN111524094A (zh) * 2020-03-24 2020-08-11 西安交通大学 一种用尺度直方图匹配方法获取目标检测模型的方法
CN112233252B (zh) * 2020-10-23 2024-02-13 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及***
CN112492196B (zh) * 2020-10-29 2022-01-07 贝壳技术有限公司 一种直播进行中主播跟踪方法、装置及***
CN112288767A (zh) * 2020-11-04 2021-01-29 成都寰蓉光电科技有限公司 一种基于目标自适应投影的自动检测与跟踪方法
CN112614153A (zh) * 2020-11-26 2021-04-06 北京理工大学 一种基于差分前后向光流的地面运动目标跟踪方法
CN113112460A (zh) * 2021-03-29 2021-07-13 湖南千盟工业智能***股份有限公司 一种基于图像处理的捣固焦炉煤饼高度检测方法
CN113158904B (zh) * 2021-04-23 2022-07-29 天津大学 一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置
CN113487646A (zh) * 2021-07-22 2021-10-08 合肥英睿***技术有限公司 一种运动目标检测方法、装置、设备及存储介质
CN114743125B (zh) * 2022-03-02 2024-02-27 上海应用技术大学 基于yolo和改进模板匹配的杠铃识别与跟踪控制方法
CN114973175B (zh) * 2022-05-24 2024-06-25 深圳市航盛电子股份有限公司 运动物体检测方法、装置、终端设备以及存储介质
CN115690150B (zh) * 2022-09-30 2023-11-03 浙江大学 一种基于视频的多目标位移跟踪监测方法及装置
CN115527154A (zh) * 2022-10-21 2022-12-27 西安科技大学 基于煤矸动态化识别的顶煤放煤口精准闭合控制方法
CN115937263B (zh) * 2023-02-27 2023-06-09 南昌理工学院 基于视觉的目标跟踪方法、***、电子设备及存储介质
CN116188533B (zh) * 2023-04-23 2023-08-08 深圳时识科技有限公司 特征点跟踪方法与装置、电子设备
CN116205940B (zh) * 2023-05-05 2023-08-01 武汉大学人民医院（湖北省人民医院） 基于医学检验的数字图像目标检测方法及***
CN117474959B (zh) * 2023-12-19 2024-03-08 北京智汇云舟科技有限公司 基于视频数据的目标对象运动轨迹处理方法及***
CN117854011B (zh) * 2024-03-07 2024-05-03 福建南亿智能科技有限公司 一种智能ai摄像头识别对比方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499571B1 (en) * 2003-11-17 2009-03-03 Vidient Systems, Inc Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
CN101493944A (zh) * 2009-03-06 2009-07-29 北京中星微电子有限公司 一种运动目标检测与跟踪的方法和***
CN101673404A (zh) * 2009-10-19 2010-03-17 北京中星微电子有限公司 一种目标检测的方法和装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526156B1 (en) * 1997-01-10 2003-02-25 Xerox Corporation Apparatus and method for identifying and tracking objects with view-based representations
WO2005081178A1 (en) * 2004-02-17 2005-09-01 Yeda Research & Development Co., Ltd. Method and apparatus for matching portions of input images
US20060245500A1 (en) * 2004-12-15 2006-11-02 David Yonovitz Tunable wavelet target extraction preprocessor system
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US8818024B2 (en) * 2009-03-12 2014-08-26 Nokia Corporation Method, apparatus, and computer program product for object tracking
JP5469899B2 (ja) * 2009-03-31 2014-04-16 株式会社トプコン 自動追尾方法及び測量装置
CN102074017B (zh) * 2009-11-23 2012-11-28 北京工业大学 一种杠铃中心点检测及跟踪的方法和装置
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
TWI530913B (zh) * 2012-04-25 2016-04-21 鴻海精密工業股份有限公司 移動物體偵測系統及方法
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
US20140210857A1 (en) 2013-01-28 2014-07-31 Tencent Technology (Shenzhen) Company Limited Realization method and device for two-dimensional code augmented reality
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US9208578B2 (en) * 2013-06-28 2015-12-08 Hulu, LLC Local binary pattern-based optical flow
CN103426184B (zh) * 2013-08-01 2016-08-10 华为技术有限公司 一种光流跟踪方法和装置
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
CN104574435B (zh) * 2014-09-24 2016-03-02 中国人民解放军国防科学技术大学 基于块聚类的运动相机前景分割方法
WO2016050290A1 (en) * 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
US9373174B2 (en) * 2014-10-21 2016-06-21 The United States Of America As Represented By The Secretary Of The Air Force Cloud based video detection and tracking system
CN105023278B (zh) 2015-07-01 2019-03-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及***
CN105574894B (zh) * 2015-12-21 2018-10-16 天津远度科技有限公司 一种运动物体特征点跟踪结果的筛选方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499571B1 (en) * 2003-11-17 2009-03-03 Vidient Systems, Inc Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
CN101493944A (zh) * 2009-03-06 2009-07-29 北京中星微电子有限公司 一种运动目标检测与跟踪的方法和***
CN101673404A (zh) * 2009-10-19 2010-03-17 北京中星微电子有限公司 一种目标检测的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于Kirsch算子和光流法的运动目标检测";孙向聚;《中国优秀硕士学位论文全文数据库信息科技辑》;20111115(第11期);第27-28页第4章，第35页第4.5节，图4-1 *
"基于分层光流的煤矿井下运动目标跟踪算法";程德强;《工矿自动化》;20150331;第41卷(第3期);第77页第2节-第78页第3节，图2 *

Also Published As

Publication number Publication date
WO2017000466A1 (zh) 2017-01-05
CN105023278A (zh) 2015-11-04
US10217229B2 (en) 2019-02-26
US20180365843A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
CN105023278B (zh) 一种基于光流法的运动目标跟踪方法及***
CN104134222B (zh) 基于多特征融合的车流监控图像检测和跟踪***及方法
CN103268480B (zh) 一种视觉跟踪***及方法
CN103116896B (zh) 一种基于视觉显著性模型的自动检测跟踪方法
CN104217428B (zh) 一种融合特征匹配和数据关联的视频监控多目标跟踪方法
CN101701818B (zh) 远距离障碍的检测方法
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN102043953A (zh) 一种实时鲁棒的针对特定场景的行人检测方法
CN102999920A (zh) 基于最近邻分类器和均值漂移的目标跟踪方法
CN110569785B (zh) 一种融合跟踪技术的人脸识别方法
CN104992453A (zh) 基于极限学习机的复杂背景下目标跟踪方法
CN104036523A (zh) 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN102629385A (zh) 一种基于多摄像机信息融合的目标匹配与跟踪***及方法
Kothiya et al. A review on real time object tracking in video sequences
Wang et al. An overview of 3d object detection
Karpagavalli et al. Estimating the density of the people and counting the number of people in a crowd environment for human safety
CN103824305A (zh) 一种改进的Meanshift目标跟踪方法
Al-Heety Moving vehicle detection from video sequences for traffic surveillance system
Arróspide et al. On-board robust vehicle detection and tracking using adaptive quality evaluation
Wang et al. Hand posture recognition from disparity cost map
CN103996207A (zh) 一种物体跟踪方法
Nie et al. Multiple person tracking by spatiotemporal tracklet association
CN104574435A (zh) 基于块聚类的运动相机前景分割方法
CN104537690B (zh) 一种基于最大值‑时间索引联合的运动点目标检测方法
CN111275733A (zh) 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240103

Address after: 230000 Room 804, Building A3, Binhu Holiday Garden, Dongtinghu Road 3086, Binhu District, Hefei City, Anhui Province

Patentee after: Anhui Qiurei Intelligent Technology Co.,Ltd.

Address before: 221116 School of Information and Telecommunications, China University of Mining and Technology, Xuzhou City, Jiangsu Province

Patentee before: CHINA University OF MINING AND TECHNOLOGY

TR01 Transfer of patent right