CN109146927B - 一种基于机器视觉的图像追踪定位方法及*** - Google Patents

一种基于机器视觉的图像追踪定位方法及*** Download PDF

Info

Publication number
CN109146927B
CN109146927B CN201811038421.8A CN201811038421A CN109146927B CN 109146927 B CN109146927 B CN 109146927B CN 201811038421 A CN201811038421 A CN 201811038421A CN 109146927 B CN109146927 B CN 109146927B
Authority
CN
China
Prior art keywords
image
transfer matrix
frame difference
tracking
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811038421.8A
Other languages
English (en)
Other versions
CN109146927A (zh
Inventor
赵定金
朱正辉
张常华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Baolun Electronics Co ltd
Original Assignee
Guangzhou Baolun Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baolun Electronics Co Ltd filed Critical Guangzhou Baolun Electronics Co Ltd
Priority to CN201811038421.8A priority Critical patent/CN109146927B/zh
Publication of CN109146927A publication Critical patent/CN109146927A/zh
Application granted granted Critical
Publication of CN109146927B publication Critical patent/CN109146927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像跟踪领域，具体涉及一种基于机器视觉的图像追踪定位方法及***。将全景摄像头拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分，获得帧差图像；对帧差图像用第一内核进行形态学腐蚀，得到腐蚀后的图像,用第二内核对腐蚀后的图像进行形态学膨胀，获得帧差图像；检测帧差图像中所有的外轮廓取最大的轮廓，作为检测出来的运动目标；用坐标转移矩阵对外接矩形中心进行坐标转换，得到云台摄像头的移动位置；用变焦转移矩阵对外接矩形中心进行转换，得到变焦系数；将前一帧的灰度图像替换为当前帧的灰度图像，重复第一步。通过本发明方法和***，可以实现图像跟踪算法计算复杂度低，处理效率高，而且还提高了产品的可拓展性。

Description

一种基于机器视觉的图像追踪定位方法及***
技术领域
本发明涉及图像跟踪领域，具体涉及一种基于机器视觉的图像追踪定位方法及***。
背景技术
图像跟踪技术，是指通过某种方式(如机器视觉、红外、超声波等)将摄像头中拍摄到的物体进行定位，并指挥摄像头对该物体进行跟踪，让该物体一直被保持在摄像头视野范围内的技术。图像跟踪***被广泛应用在教育、会议、医疗、庭审以及安防监控等各个行业。其中，应用于教育以及会议方面的全自动跟踪拍摄方案，更是引领了国内外全自动跟踪拍摄的技术潮流，为精品课程、视频会议的全自动摄制打下了坚实的技术基础。
现有的图像跟踪技术，大多采用机器视觉方法，即运动目标检测。常用的运动目标检测算法有帧间差分法、背景差分法、光流法等等。这些方法都是根据视频帧的上下文信息进行识别与检测。其中，帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法。该方法原理简单，而且由于相邻帧的时间间隔比较小，对缓慢变化的环境光不敏感。
目前市面上的相关产品，大多采用将运动目标检测算法运行在嵌入式设备上的方案。但由于检测算法较高的计算复杂度和嵌入式CPU的计算负载瓶颈，运动目标检测算法会有较高的CPU占用率，大大影响了产品的开发成本和产品效果。
不仅如此，如今大多数产品的图像跟踪功能会跟固定的摄像头进行捆绑，用户无法自行选择摄像头型号，产品缺乏一定的可拓展性。
发明内容
鉴于以上现有技术中图像跟踪方法CPU耗费高、产品拓展性差的问题缺陷，本发明提供一种基于机器视觉的图像追踪定位方法及***，可以实现对目标图像进行追踪定位以及跟踪拍摄。
本发明具体通过以下技术方案实现：
一种基于机器视觉的图像追踪定位方法，所述方法具体包括如下步骤：
步骤S01：将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分，获得帧差图像；
步骤S02：对帧差图像用第一内核进行形态学腐蚀，得到腐蚀后的图像,用第二内核对腐蚀后的图像进行形态学膨胀，获得了膨胀后的帧差图像；
所述的内核为图像形态学处理中的概念，一般为一个领域范围，比如3*3的矩形领域范围，8*8的矩形领域范围。
步骤S03：检测膨胀后的帧差图像中所有的外轮廓，得到一系列连续轮廓，取其中最大的轮廓，作为检测出来的运动目标；
步骤S04：取最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；用变焦转移矩阵对外接矩形中心进行转换，得到变焦系数；
步骤S05：将前一帧的灰度图像替换为当前帧的灰度图像，重复步骤S01。
进一步的，于步骤S01中，所述的进行帧间差分，具体如下：
Figure BDA0001791486830000021
其中，Id(x，y)为帧差图像；thr为差分阈值，abs为取绝对值；Ip(x，y)为前一帧灰度图像；Ic(x，y)为当前帧的灰度图像；所述的差分阈值用于控制算法的敏感度。
进一步的，于步骤S02中，所述的第二内核的大小比第一内核大，也就是说，要结合实际场景进行调试，内核大或小范围需要通过根据实际调试效果进行选取。
所述的形态学腐蚀，具体如下：
Figure BDA0001791486830000031
所述的形态学膨胀，具体如下：
Figure BDA0001791486830000032
其中：Idc(x，y)为腐蚀后的图像；Idd(x，y)为膨胀后的帧差图像；进一步的，于步骤S03中，还包括如下轮廓检测的步骤:
步骤S31，逐行扫描膨胀后的帧差图像，直至找到非0点，设置该点为边界起点；
步骤S32，以逆时针方向扫描相邻非0点，将新的非零点作为扫描起点；
步骤S33，重复步骤S32，直至回到边界起点，获得一个完整轮廓。
步骤S34，将膨胀后的帧差图像中所有处于轮廓内的像素置为0，重复步骤S31，直到膨胀后的帧差图像中不存在非0点。
进一步的，于步骤S04中，所述的坐标转移矩阵为3*3的矩阵，设坐标转移矩阵
Figure BDA0001791486830000033
则pm(v，w)的计算公式具体为：
Figure BDA0001791486830000034
Figure BDA0001791486830000035
其中：v代表pm的横坐标，w代表pm的纵坐标；
所述的变焦转移矩阵为1*3的矩阵，设变焦转移矩阵S＝[s1 s2 s3]，则变焦系数β的计算公式具体为：
β＝s1*x+s2*v+s3 (6)。
进一步的，于步骤S04中，所述的坐标转移矩阵M和变焦转移矩阵S是通过对全景摄像头和云台摄像头进行标定产生，具体步骤如下：
步骤S41，选取全景摄像头的图像跟踪区域的四个顶点，分别为
pc1(x1，y1),pc2(x2，y2),pc3(x3，y3),pc4(x4，y4)；
步骤S42，调整云台摄像头的拍摄位置，分别将拍摄焦点对准pc1,pc2,pc3，pc4，获得对应这四个点的云台拍摄位置pm1(v1，w1),pm2(v2，w2),pm3(v3，w3)，pm4(v4，w4)和变焦系数β1，β2，β3，β4；
步骤S43，将图像跟踪区域的四个顶点pc1(x1，y1),pc2(x2，y2),pc3(x3，y3)，pc4(x4，y4)和这四个点的云台拍摄位置pm1(v1，w1),pm2(v2，w2),pm3(v3，w3)，pm4(v4，w4)代入如下透视变换公式：
Figure BDA0001791486830000041
可得到线性方程组，求解可得坐标转移矩阵
Figure BDA0001791486830000042
的值；
将变焦系数β1，β2，β3，β4和图像跟踪区域的四个顶点pc1(x1，y1),pc2(x2，y2),pc3(x3，y3)，pc4(x4，y4)代入如下变换公式：
Figure BDA0001791486830000043
可得到线性方程组，求解可得变焦转移矩阵S＝[s1 s2 s3]的值。
为实现上述目的，本发明还提供了一种基于机器视觉的图像追踪定位***，所述的***包括：
全景摄像头单元，用于获取拍摄视频图像数据，并传送至控制单元；
所述的全景摄像头单元中设置有全景摄像头，所述的全景摄像头为不可变焦和移动，可进行全景拍摄，并将拍摄得到的视频图像实时传输给控制单元；
云台摄像头单元，用于获取跟踪拍摄目标数据，并进行目标跟踪拍摄；
所述的云台摄像头单元中设置有云台摄像头，所述的云台摄像头为可变焦和移动，由控制***通过控制协议进行控制，进行目标跟踪拍摄；
控制单元，用于获取视频图像数据，并将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分；对帧差图像通过第一内核进行形态学腐蚀，用第二内核对腐蚀后的图像进行形态学膨胀；
检测膨胀后的帧差图像中所有的外轮廓，取其中最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；再通过变焦转移矩阵对外接矩形中心进行转换，得到变焦系数，进而将前一帧的灰度图像替换为当前帧的灰度图像，同时将检测出来的跟踪目标移动位置和变焦系数传输至云台摄像头单元，具体地，控制单元将检测出来的跟踪目标位置和变焦系数通过通信协议，传输至云台摄像头单元，从而让云台摄像头单元对目标进行跟踪拍摄。
也就是说，用于接收全景摄像头单元的视频图像数据，进行图像跟踪，并将检测出来的跟踪目标位置和变焦系数传输给云台摄像头单元，使其进行目标跟踪拍摄。
具体地，通过本发明可具备以下有益效果：
通过本发明方法和***，对跟踪图像目标无特殊要求，图像目标也无需佩戴定位设备即可实现追踪定位；而且本发明的图像跟踪算法计算复杂度低，处理效率高，可在嵌入式CPU计算负载有限的情况下满足实时跟踪定位的需求；通过本发明方法及***，对摄像头的型号与规格也没有特殊要求，大大提高了产品的可拓展性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于机器视觉的图像追踪定位方法流程示意图；
图2为本发明一种基于机器视觉的图像追踪定位方法标定流程示意图；
图3为本发明一种基于机器视觉的图像追踪定位方法图像跟踪流程图示意图；
图4为本发明一种基于机器视觉的图像追踪定位***单元示意图；
图5为本发明一种基于机器视觉的图像追踪定位***图像跟踪***结构图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为便于更好的理解本发明的目的、技术方案和优点更加清楚，下面结合附图和具体的实施方式对本发明作进一步说明，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。
本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。其次，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
一种基于机器视觉的图像追踪定位方法，所述方法具体包括如下步骤：
步骤S01：将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分，获得帧差图像；
步骤S02：对帧差图像用第一内核进行形态学腐蚀，得到腐蚀后的图像,用第二内核对腐蚀后的图像进行形态学膨胀，获得了膨胀后的帧差图像；
步骤S03：检测膨胀后的帧差图像中所有的外轮廓，得到一系列连续轮廓，取其中最大的轮廓，作为检测出来的运动目标；
步骤S04：取最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；用变焦转移矩阵对外接矩形中心进行转换，得到变焦系数；
步骤S05：将前一帧的灰度图像替换为当前帧的灰度图像，重复步骤S01。
具体地，于步骤S01中，所述的进行帧间差分，具体如下：
Figure BDA0001791486830000071
其中，Id(x，y)为帧差图像；thr为差分阈值，abs为取绝对值；也就是说abs()在数学公式中代表取绝对值；Ip(x，y)为前一帧灰度图像；Ic(x，y)为当前帧的灰度图像；所述的差分阈值用于控制算法的敏感度。
于步骤S02中，所述的第二内核的大小比第一内核大，也就是说，要结合实际场景进行调试，内核大或小范围需要通过根据实际调试效果进行选取。
所述的形态学腐蚀，具体如下：
Figure BDA0001791486830000081
所述的形态学膨胀，具体如下：
Figure BDA0001791486830000082
其中：Idc(x，y)为腐蚀后的图像；Idd(x，y)为膨胀后的帧差图像；
于步骤S03中，还包括如下轮廓检测的步骤:
步骤S31，逐行扫描膨胀后的帧差图像，直至找到非0点，设置该点为边界起点；
步骤S32，以逆时针方向扫描相邻非0点，将新的非零点作为扫描起点；
步骤S33，重复步骤S32，直至回到边界起点，获得一个完整轮廓。
步骤S34，将膨胀后的帧差图像中所有处于轮廓内的像素置为0，重复步骤S31，直到膨胀后的帧差图像中不存在非0点。
于步骤S04中，所述的坐标转移矩阵为3*3的矩阵，设坐标转移矩阵
Figure BDA0001791486830000083
则pm(v，w)的计算公式具体为：
Figure BDA0001791486830000084
Figure BDA0001791486830000085
其中：v代表pm的横坐标，w代表pm的纵坐标；
所述的变焦转移矩阵为1*3的矩阵，设变焦转移矩阵S＝[s1 s2 s3]，则变焦系数β的计算公式具体为：
β＝s1*x+s2*y+s3 (6)。
较佳地，于步骤S04中，所述的坐标转移矩阵M和变焦转移矩阵S是通过对全景摄像头和云台摄像头进行标定产生，具体步骤如下：
步骤S41，选取全景摄像头的图像跟踪区域的四个顶点，分别为
pc1(x1，y1),pc2(x2，y2),pc3(x3，y3),pc4(x4，y4)；
步骤S42，调整云台摄像头的拍摄位置，分别将拍摄焦点对准pc1,pc2,pc3，pc4，获得对应这四个点的云台拍摄位置pm1(v1，w1),pm2(v2，w2),pm3(v3，w3)，
pm4(v4，w4)和变焦系数β1，β2，β3，β4；
步骤S43，将图像跟踪区域的四个顶点pc1(x1，y1),pc2(x2，y2),pc3(x3，y3)，pc4(x4，y4)和这四个点的云台拍摄位置pm1(v1，w1),pm2(v2，w2),pm3(v3，w3)，pm4(v4，w4)代入如下透视变换公式：
Figure BDA0001791486830000091
可得到线性方程组，求解可得坐标转移矩阵
Figure BDA0001791486830000092
的值；
将变焦系数β1，β2，β3，β4和图像跟踪区域的四个顶点pc1(x1，y1),pc2(x2，y2),pc3(x3，y3)，pc4(x4，y4)代入如下变换公式：
Figure BDA0001791486830000093
可得到线性方程组，求解可得变焦转移矩阵S＝[s1 s2 s3]的值。
也就是说，在进行图像追踪定位之前，需要先获得坐标转移矩阵M和变焦转移矩阵S，如图2所示，本发明的标定流程如下：
步骤S010：选择全景摄像头的图像跟踪区域的四个顶点，分别为：
pc1(x1，y1),pc2(x2，y2),pc3(x3，y3),pc4(x4，y4)
步骤S020：调整云台摄像头的拍摄位置，分别将拍摄焦点对准pc1,pc2,pc3，pc4，获得对应这四个点的云台拍摄位置pm1(v1，w1),pm2(v2，w2),pm3(v3，w3)，pm4(v4，w4)和变焦系数β1，β2，β3，β4。
步骤S030：将图像跟踪区域的四个顶点pc1(x1，y1),pc2(x2，y2),pc3(x3，y3)，pc4(x4，y4)和这四个点的云台拍摄位置pm1(v1，w1),pm2(v2，w2),pm3(v3，w3)，pm4(v4，w4)代入如下透视变换公式：
Figure BDA0001791486830000101
可得到线性方程组，求解可得坐标转移矩阵
Figure BDA0001791486830000102
将变焦系数β1，β2，β3，β4和图像跟踪区域的四个顶点pc1(x1，y1),pc2(x2，y2),pc3(x3，y3)，pc4(x4，y4)代入如下变焦转移公式：
Figure BDA0001791486830000103
可得线性方程组，求解可得变焦转移矩阵S＝[s1 s2 s3]。
以上所述标定流程只需在***初始化的时候执行一次，以获取变换矩阵。完成摄像头标定后，可以进行图像跟踪。如图3所示，其为本发明的图像跟踪流程图，具体如下：
步骤S001：通过全景摄像头拍摄全景灰度图像(即当前帧的灰度图像)Ic(x，y)，并将其发送给控制中心。
步骤S002：控制中心接收到全景灰度图像Ic(x，y)后，对全景灰度图像Ic(x，y执行图像跟踪算法，获取到移动位置pm和变焦系数β，并将其发送给云台摄像头。
步骤S003：云台摄像头接收到移动位置pm和变焦系数β后，即可进行跟踪定位拍摄。
具体的，所述步骤S002中，图像跟踪算法具体步骤如下：
步骤S0021，将全景摄像头拍摄得到的前一帧灰度图像Ip(x，y)与当前帧的灰度图像Ic(x，y)进行帧间差分，获得帧差图像Id(x，y)。采用的帧间差分公式为：
Figure BDA0001791486830000111
其中thr是差分阈值，用于控制算法的敏感度。
步骤S0022，根据公式
Figure BDA0001791486830000112
用第一内核ec对帧差图像Id(x，y)进行形态学腐蚀，得到腐蚀后的图像Idc(x，y)；根据公式：
Figure BDA0001791486830000113
用第一内核ed对腐蚀后的图像Idc(x，y)进行形态学膨胀，获得了膨胀后的帧差图像Idd(x，y)。要求第二内核ed的大小比第一内核ec大，具体的大小范围需要根据实际调试效果进行选取。
步骤S0023，检测膨胀后的帧差图像Idd(x，y)中所有的外轮廓，得到一系列连续轮廓。取其中最大的轮廓cmax，作为检测出来的运动目标。其中轮廓检测的步骤包括:
步骤S00231，逐行扫描膨胀后的帧差图像Idd(x，y)，直至找到非0点，设置该点为边界起点。
步骤S00232，以逆时针方向扫描相邻非0点，将新的非零点作为扫描起点。
步骤S00233，重复步骤S00232，直至回到边界起点，获得一个完整轮廓ci。
步骤S00234，将膨胀后的帧差图像Idd(x，y)中所有处于轮廓ci内的像素置为0，重复步骤S00231，直到膨胀后的帧差图像Idd(x，y)中不存在非0点。
步骤S0024，取最大的轮廓cmax的外接矩形中心pc(x，y)，用坐标转移矩阵
Figure BDA0001791486830000121
对pc(x，y)进行坐标转换，得到云台摄像头的移动位置pm(v，w)，计算公式为：
Figure BDA0001791486830000122
Figure BDA0001791486830000123
其中：v代表pm的横坐标，w代表pm的纵坐标；
用变焦转移矩阵S＝[s1 s2 s3]对pc(x，y)进行转换，得到变焦系数β，计算公式为：
β＝s1*x+s2*y+s3 (6)
步骤S0025，将前一帧的灰度图像Ip(x，y)替换为当前帧的灰度图像Ic(x，y)，重复步骤S0021。
为实现上述目的，如图4所示，本发明还提供了一种基于机器视觉的图像追踪定位***，所述的***包括：
全景摄像头单元，用于获取拍摄视频图像数据，并传送至控制单元；
所述的全景摄像头单元中设置有全景摄像头，所述的全景摄像头为不可变焦和移动，可进行全景拍摄，并将拍摄得到的视频图像实时传输给控制单元；
云台摄像头单元，用于获取跟踪拍摄目标数据，并进行目标跟踪拍摄；
所述的云台摄像头单元中设置有云台摄像头，所述的云台摄像头为可变焦和移动，由控制***通过控制协议进行控制，进行目标跟踪拍摄；
控制单元，用于获取视频图像数据，并将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分；对帧差图像通过第一内核进行形态学腐蚀，用第二内核对腐蚀后的图像进行形态学膨胀；
检测膨胀后的帧差图像中所有的外轮廓，取其中最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；再通过变焦转移矩阵对外接矩形中心进行转换，得到变焦系数，进而将前一帧的灰度图像替换为当前帧的灰度图像，同时将检测出来的跟踪目标移动位置和变焦系数传输至云台摄像头单元，具体地，控制单元将检测出来的跟踪目标位置和变焦系数通过通信协议，传输至云台摄像头单元，从而让云台摄像头单元对目标进行跟踪拍摄。
也就是说，用于接收全景摄像头单元的视频图像数据，进行图像跟踪，并将检测出来的跟踪目标位置和变焦系数传输给云台摄像头单元，使其进行目标跟踪拍摄。
具体地，如图5所示，其为本发明的一种图像跟踪***结构图：
所述的全景摄像头，具体为不可变焦和移动，可进行全景拍摄，并将拍摄得到的视频图像传输给控制单元***。
所述的云台摄像头，具体为可变焦和移动，由控制***通过控制协议进行控制，进行目标跟踪拍摄。
所述的控制模块，具体为可接收全景摄像头的视频图像，进行图像跟踪，并将检测出来的跟踪目标位置和变焦系数传输给云台摄像头，进行跟踪拍摄。
通过本发明方法和***，可以搭建一个图像跟踪定位***，实现对目标实时跟踪拍摄的功能，而且对跟踪图像目标无特殊要求，图像目标也无需佩戴定位设备即可实现追踪定位；本发明的图像跟踪算法计算复杂度低，处理效率高，可在嵌入式CPU计算负载有限的情况下满足实时跟踪定位的需求；通过本发明方法及***，对摄像头的型号与规格也没有特殊要求，大大提高了产品的可拓展性。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于机器视觉的图像追踪定位方法，其特征在于，所述方法具体包括如下步骤：
步骤S01：将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分，获得帧差图像；
步骤S02：对帧差图像用第一内核进行形态学腐蚀，得到腐蚀后的图像，用第二内核对腐蚀后的图像进行形态学膨胀，获得了膨胀后的帧差图像；
步骤S03：检测膨胀后的帧差图像中所有的外轮廓，得到一系列连续轮廓，取其中最大的轮廓，作为检测出来的运动目标；
步骤S04：取最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；用变焦转移矩阵对外接矩形中心进行转换，得到变焦系数；
步骤S05：将前一帧的灰度图像替换为当前帧的灰度图像，重复步骤S01；
于步骤S04中，所述的坐标转移矩阵M和变焦转移矩阵S是通过对全景摄像头和云台摄像头进行标定产生，具体包括如下步骤：
步骤S41，选取全景摄像头的图像跟踪区域的四个顶点，分别为pc1(x1，y1)，pc2(x2，y2)，pc3(x3，y3)，pc4(x4，y4)；
步骤S42，调整云台摄像头的拍摄位置，分别将拍摄焦点对准pc1，pc2，pc3，pc4，获得对应这四个点的云台拍摄位置pm1(V1，w1)，pm2(V2，w2)，Pm3(V3，w3)，pm4(V4，w4)和变焦系数β1，β2，β3，β4；
步骤S43，将图像跟踪区域的四个顶点pc1(x1，y1)，pc2(x2，y2)，pc3(x3，y3)，pc4(x4，y4)和这四个点的云台拍摄位置pm1(V1，w1)，Pm2(V2，w2)，pm3(v3，w3)，pm4(v4，w4)代入如下透视变换公式：
Figure FDA0003153865820000021
可得到线性方程组，求解可得坐标转移矩阵
Figure FDA0003153865820000022
的值；
将变焦系数β1，β2，β3，β4和图像跟踪区域的四个顶点pc1(x1，y1)，pc2(x2，y2)，pc3(x3，y3)，pc4(x4，y4)代入如下变换公式：
Figure FDA0003153865820000023
可得到线性方程组，求解可得变焦转移矩阵S＝[s1 s2 s3]的值。
2.根据权利要求1所述的一种基于机器视觉的图像追踪定位方法，其特征在于，于步骤S01中，所述的进行帧间差分，具体如下：
Figure FDA0003153865820000024
其中，Id(x，y)为帧差图像；thr为差分阈值；abs为取绝对值。
3.根据权利要求1所述的一种基于机器视觉的图像追踪定位方法，其特征在于，于步骤S02中，所述的第二内核的大小比第一内核大，
所述的形态学腐蚀，具体如下：
Figure FDA0003153865820000025
所述的形态学膨胀，具体如下：
Figure FDA0003153865820000026
4.根据权利要求1所述的一种基于机器视觉的图像追踪定位方法，其特征在于，于步骤S03中，还包括如下轮廓检测的步骤：
步骤S31，逐行扫描膨胀后的帧差图像，直至找到非0点，设置该点为边界起点；
步骤S32，以逆时针方向扫描相邻非0点，将新的非零点作为扫描起点；
步骤S33，重复步骤S32，直至回到边界起点，获得一个完整轮廓；
步骤S34，将膨胀后的帧差图像中所有处于轮廓内的像素置为O，重复步骤S31，直到膨胀后的帧差图像中不存在非0点。
5.根据权利要求1所述的一种基于机器视觉的图像追踪定位方法，其特征在于，于步骤S04中，所述的坐标转移矩阵为3*3的矩阵，设坐标转移矩阵
Figure FDA0003153865820000031
则移动位置pm(v，w)的计算公式具体为：
Figure FDA0003153865820000032
Figure FDA0003153865820000033
所述的变焦转移矩阵为1*3的矩阵，设变焦转移矩阵S＝[s1 s2 s3]，则变焦系数β的计算公式具体为：
β＝s1*x+s2*y+s3 (6)。
6.一种基于机器视觉的图像追踪定位***，其特征在于，所述的***包括：
全景摄像头单元，用于获取拍摄视频图像数据，并传送至控制单元；
云台摄像头单元，用于获取跟踪拍摄目标数据，并进行目标跟踪拍摄；
控制单元，用于获取视频图像数据，并将拍摄得到的前一帧的灰度图像与当前帧的灰度图像进行帧间差分；对帧差图像通过第一内核进行形态学腐蚀，用第二内核对腐蚀后的图像进行形态学膨胀；
检测膨胀后的帧差图像中所有的外轮廓，取其中最大的轮廓的外接矩形中心，用坐标转移矩阵对外接矩形中心进行坐标转换，得到所需移动位置；再通过变焦转移矩阵对外接矩形中心进行转换，得到变焦系数，进而将前一帧的灰度图像替换为当前帧的灰度图像，同时将检测出来的跟踪目标移动位置和变焦系数传输至云台摄像头单元；
所述的坐标转移矩阵M和变焦转移矩阵S是通过对全景摄像头和云台摄像头进行标定产生，具体包括如下步骤：
步骤S41，选取全景摄像头的图像跟踪区域的四个顶点，分别为pc1(x1，y1)，pc2(x2，y2)，pc3(x3，y3)，pc4(x4，y4)；
步骤S42，调整云台摄像头的拍摄位置，分别将拍摄焦点对准pc1，pc2，pc3，pc4，获得对应这四个点的云台拍摄位置pm1(v1，w1)，pm2(v2，w2)，Pm3(v3，w3)，pm4(V4，w4)和变焦系数β1，β2，β3，β4；
步骤S43，将图像跟踪区域的四个顶点pc1(x1，y1)，pc2(x2，y2)，pc3(x3，y3)，pc4(x4，y4)和这四个点的云台拍摄位置pm1(v1，w1)，Pm2(v2，w2)，pm3(v3，w3)，pm4(v4，w4)代入如下透视变换公式：
Figure FDA0003153865820000041
可得到线性方程组，求解可得坐标转移矩阵
Figure FDA0003153865820000042
的值；
将变焦系数β1，β2，β3，β4和图像跟踪区域的四个顶点pc1(x1，y1)，
pc2(x2，y2)，pc3(x3，y3)，pc4(x4，y4)代入如下变换公式：
Figure FDA0003153865820000043
可得到线性方程组，求解可得变焦转移矩阵S＝[s1 s2 s3]的值。
7.根据权利要求6所述的一种基于机器视觉的图像追踪定位***，其特征在于，
所述的全景摄像头单元中设置有全景摄像头，所述的全景摄像头为不可变焦和移动，可进行全景拍摄；
所述的云台摄像头单元中设置有云台摄像头，所述的云台摄像头为可变焦和移动。
CN201811038421.8A 2018-09-06 2018-09-06 一种基于机器视觉的图像追踪定位方法及*** Active CN109146927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811038421.8A CN109146927B (zh) 2018-09-06 2018-09-06 一种基于机器视觉的图像追踪定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811038421.8A CN109146927B (zh) 2018-09-06 2018-09-06 一种基于机器视觉的图像追踪定位方法及***

Publications (2)

Publication Number Publication Date
CN109146927A CN109146927A (zh) 2019-01-04
CN109146927B true CN109146927B (zh) 2021-08-27

Family

ID=64827457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811038421.8A Active CN109146927B (zh) 2018-09-06 2018-09-06 一种基于机器视觉的图像追踪定位方法及***

Country Status (1)

Country Link
CN (1) CN109146927B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462186B (zh) * 2020-04-03 2022-04-15 天津理工大学 一种基于可拓免疫的红外目标检测跟踪一体化算法
CN111525957B (zh) * 2020-05-12 2021-12-17 浙江大学 基于机器视觉的可见光通信自动捕获、追踪和瞄准方法及***
WO2022082711A1 (zh) * 2020-10-23 2022-04-28 中科传启（苏州）科技有限公司 电子设备的防近视方法、防近视电子设备及防近视平板
CN114897762B (zh) * 2022-02-18 2023-04-07 众信方智(苏州)智能技术有限公司 一种煤矿工作面采煤机自动定位方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626489A (zh) * 2008-07-10 2010-01-13 苏国政 无人值守目标智能识别与自动跟踪的方法及其***
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控***
CN102902945A (zh) * 2012-09-28 2013-01-30 南京汇兴博业数字设备有限公司 基于快速响应矩阵码外轮廓的畸变校正方法
CN103024276A (zh) * 2012-12-17 2013-04-03 沈阳聚德视频技术有限公司 一种云台摄像机的定位、变焦方法
CN104574359A (zh) * 2014-11-03 2015-04-29 南京邮电大学 一种基于主从摄像机的学生跟踪定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8000555B2 (en) * 2006-05-15 2011-08-16 Seiko Epson Corporation Defective image detection method and storage medium storing program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626489A (zh) * 2008-07-10 2010-01-13 苏国政 无人值守目标智能识别与自动跟踪的方法及其***
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控***
CN102902945A (zh) * 2012-09-28 2013-01-30 南京汇兴博业数字设备有限公司 基于快速响应矩阵码外轮廓的畸变校正方法
CN103024276A (zh) * 2012-12-17 2013-04-03 沈阳聚德视频技术有限公司 一种云台摄像机的定位、变焦方法
CN104574359A (zh) * 2014-11-03 2015-04-29 南京邮电大学 一种基于主从摄像机的学生跟踪定位方法

Also Published As

Publication number Publication date
CN109146927A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109146927B (zh) 一种基于机器视觉的图像追踪定位方法及***
CN107659774B (zh) 一种基于多尺度相机阵列的视频成像***及视频处理方法
CN111862296B (zh) 三维重建方法及装置、***、模型训练方法、存储介质
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
Mueggler et al. Continuous-time trajectory estimation for event-based vision sensors
CN109040575B (zh) 全景视频的处理方法、装置、设备、计算机可读存储介质
CN111062326B (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
TW202101371A (zh) 視訊流的處理方法和裝置
CN105141841B (zh) 摄像设备及其方法
CN110458753B (zh) 一种全景环带图像的自适应分割与无畸变展开***及方法
JP5068732B2 (ja) ３次元形状生成装置
CN108830861A (zh) 一种混合光学运动捕捉方法及***
CN113610835B (zh) 看护摄像机的人形检测方法
US20120076368A1 (en) Face identification based on facial feature changes
JP3822482B2 (ja) 顔向き計算方法及びその装置
CN112465702B (zh) 一种多路超高清视频同步自适应拼接显示处理方法
JP2010506482A (ja) ビデオストリームの視差回復方法及びフィルタ
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
CN117372657A (zh) 关键点旋转模型的训练方法及装置、电子设备和存储介质
CN111696143A (zh) 一种事件数据的配准方法与***
CN106780406A (zh) 一种快速鱼眼图像去模糊方法
CN114184127B (zh) 一种基于单相机无标靶的建筑物全局位移监测方法
CN113177901B (zh) 一种机器人视觉的多帧运动图像融合方法及***
Babu et al. Robust tracking with motion estimation and kernel-based color modelling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhao Dingjin

Inventor after: Zhu Zhenghui

Inventor after: Zhang Changhua

Inventor before: Zhao Dingjin

Inventor before: Zhu Zhenghui

Inventor before: Zhang Changhua

Inventor before: Ming De

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 56 Nanli East Road, Shiqi Town, Panyu District, Guangzhou City, Guangdong Province, 510000

Patentee after: Guangdong Baolun Electronics Co.,Ltd.

Address before: 510000 Building 1, industrial zone B, Zhongcun street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU ITC ELECTRONIC TECHNOLOGY Co.,Ltd.