CN100393486C - 一种基于物体表面颜色的快速跟踪方法 - Google Patents

一种基于物体表面颜色的快速跟踪方法 Download PDF

Info

Publication number
CN100393486C
CN100393486C CNB2004100688713A CN200410068871A CN100393486C CN 100393486 C CN100393486 C CN 100393486C CN B2004100688713 A CNB2004100688713 A CN B2004100688713A CN 200410068871 A CN200410068871 A CN 200410068871A CN 100393486 C CN100393486 C CN 100393486C
Authority
CN
China
Prior art keywords
image
objects
video camera
color
tracking method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100688713A
Other languages
English (en)
Other versions
CN1721144A (zh
Inventor
赵晓光
谭民
杜欣
汪建华
徐德
李原
梁自泽
景奉水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CNB2004100688713A priority Critical patent/CN100393486C/zh
Publication of CN1721144A publication Critical patent/CN1721144A/zh
Application granted granted Critical
Publication of CN100393486C publication Critical patent/CN100393486C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于物体表面颜色的快速跟踪方法与装置，在计算机中安装图像采集卡，通过摄像机和图像采集卡，将运动物体的图像采集到计算机中。然后采用特定的图像处理算法，根据物体表面颜色块的特性，选取出需要的物体，给出物体图像的质心位置。将物体图像质心的位置与给定图像点位置的差作为反馈控制量，控制机器人运动，从而带动摄像机运动，实现对物体的快速跟踪。本发明图像处理方法简洁，速度快，独立成为一个单元，适应性强，移植性强。图像处理中采用了基于颜色信息的学习方法，对物体变化、环境光线的改变有很好的适应性。能够始终保持物体在摄像机的视野内。本发明适合于智能监控、工业产品自动检测、流水线视觉控制等领域。

Description

一种基于物体表面颜色的快速跟踪方法
技术领域
本发明属于机器人领域中的视觉跟踪技术领域，具体地说是用于获得运动物体的表面图像，根据图像的颜色特征，选取出特定物体并实现快速跟踪的方法和装置。
背景技术
目前，在基于视觉的快速运动物体跟踪研究中，需要被跟踪的物体具有明显的颜色特征，所以，都采用在物体表面粘贴单一颜色色标的方法(其典型结构见“胡英、赵姝颖、徐心和，色标设计与辨识算法研究，中国图像图形学报，第7卷(A版)，12期，2002年12月，1291~1295页”)。粘贴色标的方法有一定局限性，不能适用于智能监控、流水线零件跟踪等场合。
发明内容
本发明的目的是提供一种基于物体表面颜色的快速跟踪方法，可适用于视觉跟踪的简单、快速、有效的图像处理方法。
本发明的另一个目的是提供一种实现基于物体表面颜色的快速跟踪方法的装置。
为了实现上述目的，本发明的技术方案是提供一种基于物体表面颜色的快速跟踪方法，其在物体运动过程中，按照如下步骤进行图像识别：
第一步：首先将需要进行识别和跟踪的物体从背景中分离出来，然后实时采集图像，对每一幅图像，经过与计算出的HSV的阈值比较，将符合颜色范围的象素区域保留下来，其余部分作为背景剔除，将物体图像分割出来：
F(x，y)＝1(t1＜＝F(x，y)＜＝t2)
F(x，y)＝0(其它)；
第二步：将已经分割的物体二值化，生成二值化的黑白图像，并对该二值图像滤波处理，得到平滑的黑白图像；
第三步：用Canny算子锐化边缘，并用膨胀算法以达到去除小孔的效果；
第四步：使用边缘提取算法，得到物体的轮廓；
第五步：基于形状特征的图像识别，根据被跟踪物体的几何模型，剔除不符合几何模型的像素区域，找到被跟踪物体图像的质心；
第六步：确定物体图像的质心后，将物体图像质心的位置与给定图像点位置的差作为反馈控制量，控制机器人带动摄像机运动，将物体的图像始终保持在摄像机的视野内，跟踪该运动物体。
所述的快速跟踪方法，其所述第五步：基于形状特征的图像识别，是使用形状参数，形状参数F在一定程度上描述了区域的紧凑性，它是根据区域的周长B和区域的面积A计算出来的：
F＝B*B/(4*PI*A)
其中，形状参数对圆形区域取到最小值1，而当区域为其它形状时F总大于1。
所述的快速跟踪方法，其还包括在运动跟踪之前，进行学习，其采用在线学习的方法：a)在进行跟踪任务之前，经过图象采集卡，得到一幅数字化的RGB彩色图像；b)用户使用鼠标选择需要跟踪的物体的矩形区域；c)操作***将选取的局部图像以BMP文件形式存储在计算机上，作为后面识别所需要的阈值和对实时采集的图像进行分割的依据；d)将该局部彩色图像转化为HSV模型，对其H、S两个分量分别做直方图，得到选定区域的H、S阈值。
所述的快速跟踪方法，其所述H、S阈值，在随后的实时图像识别中，该阈值作为物体分割的标准不会变化，直到用户重新进行学习。
所述的快速跟踪方法，其在不对摄像机进行标定的情况下，利用图像中的给定点与物体质心的误差为控制反馈量，实现快速、准确的视觉跟踪。
所述的快速跟踪方法，其以物体表面颜色信息为依据，识别物体，进行视觉跟踪。
一种实现基于物体表面颜色的快速跟踪方法的装置，包括机器人、机器人控制***，视觉处理***组成，其机器人控制***由主控计算机和机器人控制器组成，视觉处理***由摄像机、图像采集卡及图像处理计算机组成，其中，摄像机安装在机器人末端，摄像机输出端接图像采集卡，图像采集卡置于图像处理计算机内，机器人与机器人控制器电连接，机器人控制器与图像处理计算机分别和主计算机电连接。
所述的装置，其所述机器人为五自由度机器人，是由一个三自由度的直角坐标机器人和一个两自由度的旋转手腕组成，旋转手腕安装在直角坐标机器人垂直轴的末端，该旋转手腕上固接有摄像机；机器人由一台主控计算机和机器人控制器控制。
所述的装置，其所述图像采集卡及图像处理计算机，是选用PCI总线图象采集卡，将图像卡安装在主频为≥2.8G的通用PC机中，构成图像处理***。
本发明的突出特点是摄像机不需要标定，不需要粘贴色标，能够对表面覆盖多种颜色的物体进行快速跟踪。
本发明图像处理方法简洁，速度快，效果好，独立成为一个单元，适应性强，移植性强。图像处理中采用了基于颜色信息的学习方法，对物体变化、环境光线的改变有很好的适应性。在不对摄像机进行标定的情况下，使用摄像机和图像采集卡，得到运动物体的图像，采用特别的图像处理算法，对物体表面的颜色特征和颜色块的面积进行学习，学习的结果作为运动物体跟踪过程中，识别物体和界定物体的标准。得到被跟踪物体的图像后，计算出图像质心位置c(uc，vc)，以物体图像质心位置c(uc，vc)与图像中给定点s(us，vs)之间的像素差e，作为视觉反馈量，控制机器人带动摄像机运动，利用机器人的旋转关节跟踪运动物体，反映迅速，跟踪速度快，能够始终保持物体的图像在摄像机的视野内。本发明阐述的视觉处理方法，对环境光线的变化不敏感，而且适用于表面多种颜色覆盖的运动物体跟踪。
本发明适合于智能监控、工业产品自动检测、流水线视觉控制等领域。
附图说明
图1为本发明实现基于物体表面颜色的快速跟踪方法的装置的原理图；
图2为本发明基于物体表面颜色的快速跟踪方法对运动图像处理过程示意图。
具体实施方式
一种实现基于物体表面颜色的快速跟踪方法的装置，包括机器人、机器人控制***，视觉处理***组成，整体装置的原理如图1所示。机器人控制***装置由主控计算机和机器人控制器组成，视觉处理***由摄像机、图像采集卡，以及图像处理计算机组成。其中，本发明将摄像机安装在机器人末端，摄像机输出端接图像采集卡，图像采集卡置于图像处理计算机内，机器人与机器人控制器电连接，机器人控制器与图像处理计算机分别和主计算机电连接。
在图像处理算法中，采用在线学习的方法，在进行跟踪任务之前，经过图象采集卡，得到一幅数字化的RGB彩色图像。用户使用鼠标选择需要跟踪的物体的矩形区域。***将选取的局部图像以BMP文件形式存储在计算机上，作为后面识别需要的阈值和对实时采集的图像进行分割的依据。将该局部彩色图像转化为HSV模型，对其H、S两个分量分别做直方图，得到选定区域的H、S阈值。在随后的实时图像识别中，该阈值作为物体分割的标准不会变化，直到用户重新进行学习。
这种学习过程的好处是在跟踪物体变化的情况下，无需对程序内部进行任何改动，每次当条件变化，比如光线发生明显变化，被跟踪物体变化的情况下，只要在跟踪前，拍摄一幅当前图片，用鼠标选中被跟踪物体就完成了学习的过程。
跟踪开始时，程序首先读取物体的区部图片BMP文件，对该BMP文件生成跟踪物体的HSV直方图以及阈值，图像卡以并行工作的方式实时采集图像，每幅图像都与该阈值进行比较，剔除背景，分割物体，找到物体的图像边缘和中心点。在被跟踪物体没有发生变化，光线也没有强烈变化的情况下，都不需要进行重新学习，直至跟踪过程完成。完整的处理过程如图2所示。
在运动物体跟踪时，机器人带动摄像机运动，使运动物体始终处于摄像机的视野范围内，这个过程中，物体图象识别的步骤如下：
第一步：首先将需要进行识别和跟踪的物体从背景中分离出来。背景即图像上静止不动的象素的集合，它不属于任何在摄像机前运动的物体。然后实时采集图像，对每一幅图像，经过与刚才计算出的HSV的阈值比较，将符合颜色范围内的象素区域保留下来，其余部分作为背景剔除，将物体得图像分割出来。
F(x，y)＝1(t1＜＝F(x，y)＜＝t2)
F(x，y)＝0(其它)
第二步：将已经分割的物体二值化，生成二值化的黑白图像，并对该二值图像滤波处理，得到平滑的黑白图像；
第三步：用Canny算子锐化边缘，并用膨胀算法以达到去除小孔的效果；
第四步：使用边缘提取算法，得到物体的轮廓；
第五步：基于形状特征的图像识别，根据物体的几何模型，找到物体的中心点。使用形状参数，形状参数F在一定程度上描述了区域的紧凑性，它是根据区域的周长B和区域的面积A计算出来的：
F＝B*B/(4*PI*A)
其中，形状参数对圆形区域取到最小值1，而当区域为其它形状时，F总大于1。例如在识别球状物体的时候，首先通过面积阈值将面积过小的噪音虑除。然后考虑F最接近1的区域，可以将图片中规则的圆与其它形状区别出来。如果需要识别的其它规则形状，比如正方形，可以通过正方形的特征得到正方形的F值接近于4/PI(＝1.3)。
第六步：确定物体的中心点后，控制机器人带动摄像机运动，将物体的图像始终保持在摄像机的视野内，跟踪该运动物体。
下面给出本发明的一个实例。实例中，将摄像机安装在一台五自由度的机器人末端，机器人是由一个三自由度的直角坐标机器人和一个两自由度的旋转手腕组成，旋转手腕安装在直角坐标机器人垂直轴的末端，机器人由一台主控制计算机和控制器控制。将一台工业用标准彩色摄像机固定在旋转手腕上，选用OK系列PCI总线图象采集卡，将图像卡安装在主频为2.8G的通用PC机中，构成图像处理***。整个装置的工作原理如图1所示。
应用实例***，在自然采光照射下，对一台遥控小汽车进行跟踪。遥控车表面为黄绿相间的颜色，前后车窗为黑色，使用本发明中描述的学习方法，在运动跟踪之前，进行学习，得到遥控车表面颜色的H、S阈值。使用遥控器控制小车运动，按照图2所示的流程，采用第一步到第六步的图像识别方法，实现了遥控小车的运动跟踪。
可见，本发明中的方法和装置，能够在摄像机无标定情况下，不需要粘贴色标，对表面颜色复杂的物体，实现快速视觉跟踪。

Claims (6)

1.一种基于物体表面颜色的快速跟踪方法，其特征在于：在物体运动过程中，按照如下步骤进行图像识别：
第一步：首先将需要进行识别和跟踪的物体从背景中分离出来，然后实时采集图像，对每一幅图像，经过与计算出的HSV的阈值比较，将符合颜色范围的象素区域保留下来，其余部分作为背景剔除，将物体图像分割出来，这一步会分割出多个颜色相近的物体：
F(x，y)＝1(t1＜＝F(x，y)＜＝t2)
F(x，y)＝0(其它)；
第二步：将已经分割的物体图像二值化，生成二值化的黑白图像，并对该二值图像滤波处理，得到平滑的黑白图像；
第三步：用Canny算子锐化边缘，并用膨胀算法以达到去除小孔的效果；
第四步：使用边缘提取算法，得到物体的轮廓；
第五步：基于形状特征的图像识别，根据被跟踪物体的几何模型，剔除不符合几何模型的像素区域，找到被跟踪物体图像的质心；
第六步：确定物体图像的质心后，将物体图像质心的位置与给定图像点位置的差作为反馈控制量，控制机器人带动摄像机运动，将物体的图像始终保持在摄像机的视野内，跟踪该运动物体。
2.如权利要求1所述的快速跟踪方法，其特征在于：所述第五步：基于形状特征的图像识别，是使用形状参数，形状参数F在一定程度上描述了区域的紧凑性，它是根据区域的周长B和区域的面积A计算出来的：
F＝B*B/(4*PI*A)
其中，形状参数对圆形区域取到最小值1，而当区域为其它形状时F总大于1。
3.如权利要求1所述的快速跟踪方法，其特征在于：还包括在运动跟踪之前，进行学习，其采用在线学习的方法：a)在进行跟踪任务之前，经过图象采集卡，得到一幅数字化的RGB彩色图像；b)用户使用鼠标选择需要跟踪的物体的矩形区域；c)操作***将选取的局部图像以BMP文件形式存储在计算机上，作为后面识别所需要的阈值和对实时采集的图像进行分割的依据；d)将该局部彩色图像转化为HSV模型，对其H、S两个分量分别做直方图，得到选定区域的H、S阈值。
4.如权利要求3所述的快速跟踪方法，其特征在于：所述H、S阈值，在随后的实时图像识别中，该阈值作为物体分割的标准不会变化，直到用户重新进行学习。
5.如权利要求1所述的快速跟踪方法，其特征在于：在不对摄像机进行标定的情况下，利用图像中的给定点与物体质心的误差为控制反馈量，实现快速、准确的视觉跟踪。
6.如权利要求1所述的快速跟踪方法，其特征在于：以物体表面颜色信息为依据，识别物体，进行视觉跟踪。
CNB2004100688713A 2004-07-13 2004-07-13 一种基于物体表面颜色的快速跟踪方法 Expired - Fee Related CN100393486C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2004100688713A CN100393486C (zh) 2004-07-13 2004-07-13 一种基于物体表面颜色的快速跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2004100688713A CN100393486C (zh) 2004-07-13 2004-07-13 一种基于物体表面颜色的快速跟踪方法

Publications (2)

Publication Number Publication Date
CN1721144A CN1721144A (zh) 2006-01-18
CN100393486C true CN100393486C (zh) 2008-06-11

Family

ID=35911929

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100688713A Expired - Fee Related CN100393486C (zh) 2004-07-13 2004-07-13 一种基于物体表面颜色的快速跟踪方法

Country Status (1)

Country Link
CN (1) CN100393486C (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030244B (zh) * 2006-03-03 2010-08-18 中国科学院自动化研究所 基于人体生理图像中排序测度特征的自动身份识别方法
CN101453660B (zh) * 2007-12-07 2011-06-08 华为技术有限公司 一种视频目标跟踪方法和装置
CN101685309B (zh) * 2008-09-24 2011-06-08 中国科学院自动化研究所 多机器人协调队形控制方法
CN101587591B (zh) * 2009-05-27 2010-12-08 北京航空航天大学 基于双参数阈值分割的视觉精确跟踪方法
CN101783964A (zh) * 2010-03-18 2010-07-21 上海乐毅信息科技有限公司 基于图像识别技术的色盲或色弱者辅助驾驶***
CN101913147B (zh) * 2010-07-12 2011-08-17 中国科学院长春光学精密机械与物理研究所 高精度全自动大型转载***
CN101964114B (zh) * 2010-09-16 2013-02-27 浙江吉利汽车研究院有限公司 一种红绿色盲驾驶员交通信号灯辅助识别***
CN102096927A (zh) * 2011-01-26 2011-06-15 北京林业大学 自主林业机器人目标跟踪方法
CN102431034B (zh) * 2011-09-05 2013-11-20 天津理工大学 基于颜色识别的机器人追踪方法
CN102917171B (zh) * 2012-10-22 2015-11-18 中国南方电网有限责任公司超高压输电公司广州局 基于像素的小目标定位方法
CN103056864A (zh) * 2013-01-24 2013-04-24 上海理工大学 轮式运动机器人位置与角度的实时检测装置及方法
CN103177259B (zh) * 2013-04-11 2016-05-18 中国科学院深圳先进技术研究院 色块识别方法
CN104281832A (zh) * 2013-07-04 2015-01-14 上海高威科电气技术有限公司 视觉识别工业机器人
CN103895023B (zh) * 2014-04-04 2015-08-19 中国民航大学 一种基于编码方位装置的机械臂末端跟踪测量***的跟踪测量方法
AU2015357284B2 (en) * 2014-12-05 2019-11-21 Ars S.R.L. Device for orienting parts, particularly for gripping by robots, automation means and the like
CN106934813A (zh) * 2015-12-31 2017-07-07 沈阳高精数控智能技术股份有限公司 一种基于视觉定位的工业机器人工件抓取实现方法
CN107305378A (zh) * 2016-04-20 2017-10-31 上海慧流云计算科技有限公司 一种图像处理追踪物体的机器人及追踪物体的方法
CN106096599B (zh) * 2016-04-28 2019-03-26 浙江工业大学 一种基于涂色块的内部集卡定位方法
CN107403437A (zh) * 2016-05-19 2017-11-28 上海慧流云计算科技有限公司 机器人跟踪物体的方法、装置及机器人
CN106863332B (zh) * 2017-04-27 2023-07-25 广东工业大学 一种机器人视觉定位方法及***
CN107564037A (zh) * 2017-08-07 2018-01-09 华南理工大学 一种基于局部特征的多机器人检测与跟踪方法
CN108032313B (zh) * 2018-01-04 2019-05-03 北京理工大学 基于仿生原理自动完成智能终端触屏游戏的机械手
CN110666801A (zh) * 2018-11-07 2020-01-10 宁波赛朗科技有限公司 一种复杂工件匹配定位的抓取工业机器人
CN113103256A (zh) * 2021-04-22 2021-07-13 达斯琪(重庆)数字科技有限公司 一种服务机器人视觉***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2715931Y (zh) * 2004-07-13 2005-08-10 中国科学院自动化研究所 一种实现基于物体表面颜色的快速跟踪方法的装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2715931Y (zh) * 2004-07-13 2005-08-10 中国科学院自动化研究所 一种实现基于物体表面颜色的快速跟踪方法的装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
微尺寸视觉精密检测***设计. 廖强，米林，周忆，徐宗俊.重庆大学学报(自然科学版)，第25卷第12期. 2002 *
机器视觉中的摄像机定标方法综述. 吴文琪，孙增圻.计算机应用研究，第2期. 2004 *
色标设计与辨识算法研究. 胡英，赵姝颖，徐心和.中国图象图形学报，第7卷第12期. 2002 *

Also Published As

Publication number Publication date
CN1721144A (zh) 2006-01-18

Similar Documents

Publication Publication Date Title
CN100393486C (zh) 一种基于物体表面颜色的快速跟踪方法
Malima et al. A fast algorithm for vision-based hand gesture recognition for robot control
CN111360780A (zh) 一种基于视觉语义slam的垃圾捡拾机器人
CN104217428B (zh) 一种融合特征匹配和数据关联的视频监控多目标跟踪方法
CN100544446C (zh) 用于视频监控的实时运动检测方法
CN107038424A (zh) 一种手势识别方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN103325126A (zh) 一种在尺度变化和遮挡情况下的视频目标跟踪方法
CN106056053A (zh) 基于骨骼特征点提取的人体姿势识别方法
CN103226701B (zh) 一种视频语义事件建模方法
CN104036523A (zh) 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN106981075A (zh) 仿人运动拟态的人体骨骼点参数采集装置及其识别方法
CN106326860A (zh) 基于视觉的手势识别方法
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN104239886A (zh) 基于图像分析的草坪与背景分界线的提取方法
CN108734172A (zh) 基于直线边缘特征的目标识别方法、***
CN107392941A (zh) 一种飞机起降跟踪***与方法
CN109117838A (zh) 应用于无人船感知***的目标检测方法及装置
CN108453739A (zh) 基于自动形状拟合的立体视觉定位机械臂抓取***及方法
CN104299246A (zh) 基于视频的生产线物品部件运动检测与跟踪方法
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
CN2715931Y (zh) 一种实现基于物体表面颜色的快速跟踪方法的装置
CN108089695A (zh) 一种控制可移动设备的方法和装置
CN115816460A (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
Foresti Object detection and tracking in time-varying and badly illuminated outdoor environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080611

Termination date: 20190713

CF01 Termination of patent right due to non-payment of annual fee