CN109064490A - 一种基于MeanShift的运动目标跟踪方法 - Google Patents

一种基于MeanShift的运动目标跟踪方法 Download PDF

Info

Publication number
CN109064490A
CN109064490A CN201810800979.9A CN201810800979A CN109064490A CN 109064490 A CN109064490 A CN 109064490A CN 201810800979 A CN201810800979 A CN 201810800979A CN 109064490 A CN109064490 A CN 109064490A
Authority
CN
China
Prior art keywords
target
pixel
center
color
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810800979.9A
Other languages
English (en)
Other versions
CN109064490B (zh
Inventor
陈超
潘九宝
王玮
赫春晓
石善球
孙长奎
沈泉飞
丁婷
黄明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PROVINCIAL GEOMATICS CENTRE OF JIANGSU
Original Assignee
PROVINCIAL GEOMATICS CENTRE OF JIANGSU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PROVINCIAL GEOMATICS CENTRE OF JIANGSU filed Critical PROVINCIAL GEOMATICS CENTRE OF JIANGSU
Publication of CN109064490A publication Critical patent/CN109064490A/zh
Application granted granted Critical
Publication of CN109064490B publication Critical patent/CN109064490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于MeanShift的运动目标跟踪方法，将视频帧从RGB空间转入CN空间，在CN空间内结合了目标的颜色信息与目标区域颜色分布的空间信息，并加入了通过无符号距离函数表示的形状轮廓信息，通过结合高斯混合模型计算跟踪目标区域内每个颜色的质心位置来确定候选目标中心的位置，完成MeanShift跟踪。本发明的方法改善了传统MeanShift算法中丢失像素点空间信息的不足，提高了算法的跟踪效率。

Description

一种基于MeanShift的运动目标跟踪方法
技术领域
本发明属于数字图像处理技术领域，具体涉及一种基于MeanShift的运动目标跟踪方法。
背景技术
目标跟踪是计算机视觉和图像处理领域的重要研究方向之一，在许多领域有着广泛应用。Comaniciu等人将MeanShift引入到目标跟踪算法中，MeanShift算法原理简单，易于实现，实时性好，有较好的跟踪性能。但是经典MeanShift算法只使用了目标颜色直方图，并不包含目标的空间位置、纹理特征等其它信息。因此当目标被遮挡、或目标和背景颜色相似时，容易跟踪失败。
发明内容
本发明的目的在于提供一种改进的基于MeanShift的运动目标跟踪方法，当跟踪目标与背景颜色相似时，依旧能够很好的跟踪目标。
为实现上述技术目的，本发明采用如下技术方案：
一种基于MeanShift的运动目标跟踪方法，将视频帧RGB图像映射入CN空间，结合高斯混合模型获取CN空间内每个颜色单元的质心位置，利用颜色直方图、空间信息与形状轮廓信息计算得到新的候选区域的中心位置，完成目标跟踪。
进一步的，本发明的运动目标跟踪方法具体包括如下步骤：
S100读取视频序列，获取初始帧；
S200将初始帧RGB图像映射入CN空间；
S300在初始帧图像中选取目标与背景样本数据，基于高斯混合模型分别获取目标、背景的概率密度函数pf、pb；之后在初始帧图像中框选矩形目标区域，分别计算获取目标模型的概率密度qu、跟踪目标在初始帧图像的中心位置y1和核函数窗口大小h；
S400获取下一帧，将前一帧的目标中心位置y1作为当前帧的中心位置，获取当前帧的候选区域；之后利用Canny算子获取候选区域图像的边缘特征，计算边缘特征的无符号距离函数φ(x)并对其归一化；将候选区域像素分别带入pf、pb，得到当前帧每个像素分别属于目标和背景的概率pF、pB；基于无符号距离函数φ(x)、每个像素分别属于目标和背景的概率pF、pB计算获取目标像素权值αi，计算候选区域每一个颜色质心点位置
S500结合目标像素权值αi和候选区域每一个颜色质心点位置基于下式获取跟踪目标在当前帧图像的中心位置；
S600重复步骤S400-S500，直至视频序列读取结束。
进一步的，所述S200中，将初始帧图像映射入CN空间，步骤如下：
S210将像素点的R、G、B数值分别以1，32，32*32的权值之和规划为单层数据；
S220将单层数据映射入11个色彩标签的CN空间，以11个色彩表示；
S230将数据恢复至原有尺寸。
CN空间比RGB空间对人类视觉来说更接近实际看到的色彩，利用映射图将RGB空间映射入由黑、蓝、棕、灰、绿、橙、粉、紫、红、白、黄11种色彩表示的CN色彩标签。
进一步的，所述S300中，核函数选用Epanechikov函数。
进一步的，所述S400中，基于下式，通过与阈值比较标记目标像素获取目标像素权值αi：
式中，Ti为1的像素为目标像素，反之则为背景像素；阈值ε取值0.5。
进一步的，所述S400中，基于下式获取候选区域每一个颜色质心点位置：
式中，表示第k帧图像中每个颜色单元的质心位置，nk表示第k帧的像素数；表示以目标中心为原点的归一化像素位置，(x0,y0)为目标中心坐标；K为核函数；δ[b(zi)-u]表示当像素zi处的灰度值等于u时为1，否则为0。
本发明通过结合高斯混合模型计算跟踪目标区域内每个颜色的质心位置来确定候选目标中心的位置，完成MeanShift跟踪。改进后的算法首先将传统的RGB空间转入CN空间，在CN空间内结合了目标的颜色信息与目标区域颜色分布的空间信息，并加入了通过无符号距离函数表示的形状轮廓信息，改善了传统MeanShift算法中丢失像素点空间信息的不足，提高了算法的跟踪效率，能在跟踪目标与背景颜色相似的情况下获得良好的跟踪效果。
具体实施方式
下面结合具体实施例，对本发明的技术方案作进一步描述。
本发明的方法具体包括如下步骤：
S100读取视频序列，获取初始帧；
S200将初始帧RGB图像映射入CN空间；
S210将像素点的R、G、B数值分别以1，32，32*32的权值之和规划为单层数据；
S220将单层数据映射入11个色彩标签的CN空间，以11个色彩表示；
S230将数据恢复至原有尺寸。
后续步骤基于CN空间的图像帧进行进一步图像处理。
S300在初始帧图像中选取目标与背景样本数据，基于高斯混合模型分别获取目标、背景的概率密度函数pf、pb；
式中K是单高斯模型的个数，N(x|μk,Σk)是第k个单高斯模型的概率密度函数，αk是样本中第k个单高斯模型被选中的概率；
之后在初始帧图像中框选矩形目标区域，分别计算获取目标模型的概率密度qu、跟踪目标在初始帧图像的中心位置y1和核函数窗口大小h；
式中zi表示像素位置，i＝1,2…n，表示以目标中心为原点的归一化像素位置，(x0,y0)为目标中心坐标，K为核函数，本实施例中选用Epanechikov函数；b(zi)表示zi处像素属于哪个直方图区间，u为直方图的颜色索引；δ[b(zi)-u]表示当像素zi处的灰度值等于u时，为1，否则为0；C为归一化系数。
S400获取下一帧(第k帧)，将k-1的目标中心位置作为当前帧(第k帧)的中心位置，获取当前帧的候选区域；则候选模型的概率密度pu(f)为：
式中，h表示核函数窗口大小。
之后利用Canny算子获取候选区域图像的边缘特征，计算边缘特征的无符号距离函数φ(x)并对其归一化；为了获得轮廓的无符号距离，用1表示轮廓上的像素，0表示非轮廓像素。φ为无符号距离函数，φ(x)表示点x与轮廓间的最小欧氏距离。具体实施时，首先利用Canny算子获取图像的边缘特征，边缘轮廓用1表示，非边缘特征用0表示。
将候选区域像素分别带入pf、pb，得到当前帧每个像素分别属于目标和背景的概率pF、pB；通过与阈值比较标记目标像素，基于无符号距离函数φ(x)、每个像素分别属于目标和背景的概率pF、pB计算获取目标像素权值αi；
Ti为1的像素为目标像素，反之则为背景像素。本实施例中阈值ε取值0.5。
根据下式计算候选区域每一个颜色质心点位置
式中nk表示第k帧的像素数；
S500结合目标像素权值αi和候选区域每一个颜色质心点位置基于下式获取跟踪目标在当前帧图像的中心位置；
S600重复步骤S400-S500，直至视频序列读取结束。
实验结果表明，当跟踪目标与背景颜色相似时，依旧能够很好的跟踪目标。

Claims (6)

1.一种基于MeanShift的运动目标跟踪方法，其特征在于，将视频帧RGB图像映射入CN空间，结合高斯混合模型获取CN空间内每个颜色单元的质心位置，利用颜色直方图、空间信息与形状轮廓信息计算得到新的候选区域的中心位置，完成目标跟踪。
2.根据权利要求1所述的方法，其特征在于，包括如下步骤：
S100读取视频序列，获取初始帧；
S200将初始帧RGB图像映射入CN空间；
S300在初始帧图像中选取目标与背景样本数据，基于高斯混合模型分别获取目标、背景的概率密度函数pf、pb；之后在初始帧图像中框选矩形目标区域，分别计算获取目标模型的概率密度qu、跟踪目标在初始帧图像的中心位置y1和核函数窗口大小h；
S400获取下一帧，将前一帧的目标中心位置y1作为当前帧的中心位置，获取当前帧的候选区域；之后利用Canny算子获取候选区域图像的边缘特征，计算边缘特征的无符号距离函数φ(x)并对其归一化；将候选区域像素分别带入pf、pb，得到当前帧每个像素分别属于目标和背景的概率pF、pB；基于无符号距离函数φ(x)、每个像素分别属于目标和背景的概率pF、pB计算获取目标像素权值αi，计算候选区域每一个颜色质心点位置
S500结合目标像素权值αi和候选区域每一个颜色质心点位置基于下式获取跟踪目标在当前帧图像的中心位置；
S600重复步骤S400-S500，直至视频序列读取结束。
3.根据权利要求1所述的方法，其特征在于，所述S200中，将初始帧图像映射入CN空间，步骤如下：
S210将像素点的R、G、B数值分别以1，32，32*32的权值之和规划为单层数据；
S220将单层数据映射入11个色彩标签的CN空间，以11个色彩表示；
S230将数据恢复至原有尺寸。
4.根据权利要求1所述的方法，其特征在于，所述S300中，核函数选用Epanechikov函数。
5.根据权利要求1-4所述的方法，其特征在于，所述S400中，基于下式，通过与阈值比较标记目标像素获取目标像素权值αi：
式中，Ti为1的像素为目标像素，反之则为背景像素；阈值ε取值0.5。
6.根据权利要求1-5所述的方法，其特征在于，所述S400中，基于下式获取候选区域每一个颜色质心点位置：
式中，表示第k帧图像中每个颜色单元的质心位置，nk表示第k帧的像素数；表示以目标中心为原点的归一化像素位置，(x0,y0)为目标中心坐标；K为核函数；δ[b(zi)-u]表示当像素zi处的灰度值等于u时为1，否则为0。
CN201810800979.9A 2018-04-12 2018-07-20 一种基于MeanShift的运动目标跟踪方法 Active CN109064490B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018103245668 2018-04-12
CN201810324566 2018-04-12

Publications (2)

Publication Number Publication Date
CN109064490A true CN109064490A (zh) 2018-12-21
CN109064490B CN109064490B (zh) 2021-09-28

Family

ID=64817558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810800979.9A Active CN109064490B (zh) 2018-04-12 2018-07-20 一种基于MeanShift的运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109064490B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539993A (zh) * 2020-04-13 2020-08-14 中国人民解放军军事科学院国防科技创新研究院 基于分割的空间目标视觉跟踪方法
CN111724418A (zh) * 2020-06-19 2020-09-29 马鞍山职业技术学院 基于OpenCV的运动物体跟踪方法
CN112634356A (zh) * 2020-12-30 2021-04-09 欧普照明股份有限公司 跟踪方法及***、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
KR20090111044A (ko) * 2008-04-21 2009-10-26 중앙대학교 산학협력단 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
JP2010122734A (ja) * 2008-11-17 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> 対象物追跡装置、対象物追跡方法及び対象物追跡プログラム
CN102324030A (zh) * 2011-09-09 2012-01-18 广州灵视信息科技有限公司 一种基于图像块特征的目标跟踪方法及跟踪***
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090111044A (ko) * 2008-04-21 2009-10-26 중앙대학교 산학협력단 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
JP2010122734A (ja) * 2008-11-17 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> 対象物追跡装置、対象物追跡方法及び対象物追跡プログラム
CN102324030A (zh) * 2011-09-09 2012-01-18 广州灵视信息科技有限公司 一种基于图像块特征的目标跟踪方法及跟踪***
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张铁明: "基于MeanShift的视频目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539993A (zh) * 2020-04-13 2020-08-14 中国人民解放军军事科学院国防科技创新研究院 基于分割的空间目标视觉跟踪方法
CN111724418A (zh) * 2020-06-19 2020-09-29 马鞍山职业技术学院 基于OpenCV的运动物体跟踪方法
CN112634356A (zh) * 2020-12-30 2021-04-09 欧普照明股份有限公司 跟踪方法及***、电子设备

Also Published As

Publication number Publication date
CN109064490B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN108986140B (zh) 基于相关滤波和颜色检测的目标尺度自适应跟踪方法
CN106570486B (zh) 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
Bai et al. Crop segmentation from images by morphology modeling in the CIE L* a* b* color space
CN105989611B (zh) 带有阴影去除的分块感知哈希跟踪方法
CN109360206A (zh) 基于深度学习的大田稻穗分割方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN109064490A (zh) 一种基于MeanShift的运动目标跟踪方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN108537239A (zh) 一种图像显著性目标检测的方法
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN110827304B (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和***
CN104715251A (zh) 一种基于直方图线性拟合的显著目标检测方法
CN114266958A (zh) 一种基于云平台的红树林遥感快速精准提取方法
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN104866853A (zh) 一种足球比赛视频中的多运动员的行为特征提取方法
Lu et al. Color constancy using 3D scene geometry
CN110084821B (zh) 一种多实例交互式图像分割方法
CN108090914A (zh) 基于统计建模与像素分类的彩色图像分割方法
CN112365517A (zh) 一种基于图像颜色和密度特征的超像素分割方法
Schulz et al. Object-class segmentation using deep convolutional neural networks
CN101231693A (zh) 由视频重建复原的面部图像的***和方法
CN116129278A (zh) 一种基于遥感影像的土地利用分类识别***
CN113920391B (zh) 一种基于生成尺度自适应真值图的目标计数方法
CN109672874A (zh) 一种时空一致的立体视频颜色校正方法
CN109785367A (zh) 三维模型追踪中外点滤除方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant