CN107093188A - 一种基于全景摄像机和高速球机的智能联动与跟踪方法 - Google Patents
一种基于全景摄像机和高速球机的智能联动与跟踪方法 Download PDFInfo
- Publication number
- CN107093188A CN107093188A CN201710237138.7A CN201710237138A CN107093188A CN 107093188 A CN107093188 A CN 107093188A CN 201710237138 A CN201710237138 A CN 201710237138A CN 107093188 A CN107093188 A CN 107093188A
- Authority
- CN
- China
- Prior art keywords
- target
- forming machine
- speed ball
- ball
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明为一种基于全景摄像机和高速球机的智能联动与跟踪方法,其涉及计算机视觉领域。利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球摄像机的旋转角度的映射关系,通过该映射关系完成了全景摄像机和高速球机的智能联动;针对全景端的跟踪,结合帧差法和Surendra自适应背景更新方法进行运动目标检测,通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪,得到目标的运动轨迹;通过鼠标选取的感兴趣的目标,通过智能联动方法高速球能迅速转到目标区域并锁定目标,再结合Kalman滤波和Mean Shift算法进行运动目标检测。实现全局与局部的一体化监控、及多目标的跟踪和高清抓拍。
Description
技术领域
本发明涉及计算机视觉领域,特指一种基于全景摄像机和高速球机的智能联动与跟踪方法。
背景技术
在安防领域,视频监控作为社会安全防控的极其重要措施,广泛应用于金融、交通、教育、卫生、体育、能源、通讯、公安、军事以及居民社区等各类领域。当前,视频监控的应用需求逐渐由“看得见”向“看得清”和“看得广”的方向发展。然而监控***的监控能力离监控需求仍然需求很大的间距,监控中存在监控盲区、无法看清目标、反应时间不够快等问题亟需解决。
全景成像技术能够采集覆盖大范围、宽视角场景的视屏,其凭借能够实现无盲区监控优势,在视频监控领域得到了广泛的关注和应用。由于总分辨率有限,全景摄像机在观察局部场景时分辨率太低,不能够提供目标的高清图像信息,使其应用范围受到严重限制。同时,当重点目标在监控视野中较小时,监控***不能够完整地获取目标的特征信息,不能够高清对其进行抓拍和跟踪。然而,高速球机能利用其高速旋转及变倍的功能实现对场景中任意局部的高清拍摄,但高速球的观察范围有限,不能兼顾多个不同场景,因此单一的高速球摄像机也无法满足侦查需求。
为实现全局与局部的一体化监控技术,提出一种基于全景摄像机与高速球机的智能联动与跟踪方法。
发明内容
本发明要解决的技术问题为提出一种能够实现全局与局部的一体化监控的基于全景摄像机和高速球机的智能联动与跟踪方法。
针对上述技术问题,本发明的具体技术方案包括如下步骤:
步骤1)利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球机的旋转角度的映射关系,根据监控***的鼠标所选取的感兴趣的目标,高速球机通过所述映射关系迅速转到目标区域并锁定目标,完成全景摄像机和高速球机的智能联动;
步骤2)全景端的目标跟踪:结合帧差法和Surendra自适应背景更新方法进行运动目标检测,通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪,得到目标的运动轨迹,完成了全局化监控;
步骤3)高速球端目标跟踪:利用步骤1)中方法进行全景摄像机和高速球机的智能联动,针对感兴趣的目标通过步骤1)中的方法求得全景摄像机与高速球机之间的映射关系来转动高速球,并通过目标特征匹配的方式获得目标在高速球画面中的精确位置,再结合Kalman滤波算法和Mean Shift算法进行运动目标检测,通过高速球端目标跟踪完成了目标的局部监控。
作为本发明技术方案的进一步改进,所述步骤1)具体包括:
1.1)采用摄像机的内参模型将图像映射至三维球面上,包括将全景图像转换到三维球面上和将高速球机图像转换到三维球面上,将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系;
1.2)求解全景摄像机和高速球机之间的映射关系:根据步骤1.1)所得的旋转关系,采用SIFT算法对全景图像与高速球机图像进行特征点匹配,并利用RANSAC算法剔除错误特征点对,再通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵,最后利用LM(Levenberg-Marquard)算法初步估计映射关系;
1.3)利用步骤1.2)中求得的映射关系采集多幅高速球机图像,根据映射关系将高速球机图像反投影到全景图像平面上,重新对全景图像和反投影的高速球机图像进行特征点匹配,并利用LM算法重新估算映射关系;
1.4)利用步骤1.1)-1.3)求得全景摄像机和高速球机之间的映射关系后,根据全景图像感兴趣目标的像素点可求得高速球机的旋转角度,从而控制高速球机进行转动到相应位置,完成全景摄像机和高速球机之间的联动。
作为本发明技术方案的进一步改进,所述步骤1)中,通过采用基于RANSAC算法和SIFT算法进行全景图像和高速球机图像特征点匹配,采用像素拟合方法来求解旋转矩阵,即针对全景图像的每个位置都求解不同的旋转矩阵,得到更为理想的旋转矩阵R12,并利用LM算法初步估计映射关系。
作为本发明技术方案的进一步改进,所述步骤2)包括运动目标检测和多目标跟踪;
所述运动目标检测包括利用帧差法来辨识图像的前景区域即运动目标,采用Surendra背景法对运动区域内的背景保持不变,而非运动区域的背景用当前帧进行替换更新,经过一段时间后就可以提取背景图像;
所述多目标跟踪包括:
(1)跟踪窗口的设置;
(2)跟踪特征值的选择;
(3)Kalman跟踪中的运动模型估计;
(4)模型更新和建立目标匹配矩阵。
作为本发明技术方案的进一步改进,所述步骤3)中,利用步骤1)中的全景摄像机和高速球机之间的智能联动方法将监控任务转交给高速球,通过目标特征匹配的方式获得目标在高速球画面中的精确位置,结合Kalman滤波算法和Mean Shift算法进行运动目标跟踪,高速球端的目标跟踪可获得高清的图像序列,实现对感兴趣的目标进行高清抓拍。
作为本发明技术方案的进一步改进,所述步骤3)中高速球端目标跟踪步骤如下:
3.1)初始化Kalman滤波器,根据设定的跟踪窗口中目标的质心位置作为初始位置;
3.2)根据前一时刻的Kalman滤波的***状态量,由Kalman滤波器获得当前时刻目标的预测位置;
3.3)根据前一时刻的Kalman滤波的***状态量,由Mean Shift跟踪算法获得当前时刻的观测位置;
3.4)根据之前由Kalman滤波器求得的预测位置和由Mean Shift算法求得的观测位置,采用Kalman滤波法估算当前时刻目标的估计位置;
3.5)由第四步求得的目标的估计位置再应用前面第3.2)和3.3)步同理推出下一时刻运动目标的预测位置和观测位置;
3.6)重复上面的3.2)、3.3)和3.4)步骤,最终获得稳定的目标跟踪算法。与现有技术相比,本发明具有以下有益效果:
1、采用基于RANSAC和SIFT算法的进行全景图像和高速球机图像特征点匹配,针对全景摄像机和高速球摄像机的参数模型与实际情况存在一定误差问题,采用逐像素拟合方法来求解旋转矩阵,即针对全景图像的每个位置都求解不同的旋转矩阵,得到更为理想的旋转矩阵R12,并利用LM方法初步估计映射关系。
2、根据映射关系将高速球机图像反投影到全景图像平面上,重新对全景图像和反投影的高速球机图像进行精确的特征点匹配,避免了全景摄像机和高速球机的成像模型差异性和两者图像之间的差异性对特征点匹配造成了不良影响,再利用LM算法重新估算旋转矩阵。
3、结合帧差法和Surendra自适应背景更新方法进行运动目标检测,通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪,综合考虑了多目标跟踪过程的目标遮挡、目标消失和新目标出现的问题;
4、利用全景摄像机和高速球机之间的智能联动方法将监控任务转交给高速球,结合Kalman滤波和Mean Shift算法进行运动目标跟踪,高速球端的目标跟踪可获得高清的图像序列,对感兴趣的目标进行高清抓拍。
附图说明
图1是实施案例所述算法整体算法流程图。
图2是实施案例所述全景图像到三维球面的映射关系图。
图3是实施案例所述高速球图像到三维球面的映射关系图。
图4是实施案例所述全景端目标跟踪算法流程图。
图5是实施案例所述目标在高速球画面的精确定位的流程图。
图6是实施案例所述高速球端的目标跟踪算法流程图图。
具体实施方式
现结合附图对本发明做进一步详细说明,本具体实施方式为一种基于全景摄像机和高速球机的智能联动与跟踪方法,如图1所示,该方法主要包括全景端和高速球端,以及它们两者之间的智能联动,具体包括以下步骤:
步骤S1利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球摄像机的旋转角度的映射关系,通过此映射关系,针对鼠标选取的感兴趣的目标,高速球能迅速转到目标区域并锁定目标,完成了全景摄像机和高速球机的智能联动,其包括:
S1.1采用摄像机的内参模型将图像映射至三维球面上;
(1)将全景图像转换到三维球面上;
根据如公式(1)所示的鱼眼图像的等距模型,将鱼眼式全景图像的像素点映射至三维球面上。如图2所示鱼眼图像坐标系为Of-xfyf,以全景摄像机光心O为原点、摄像机主轴方向为zs1轴建立三维坐标系O-xs1ys1zs1,鱼眼图像上每个像素都可对应三维球面上的一点,假定三维球面半径为1。假设鱼眼式全景图像点mf坐标为mf=(xf,yf)T,其对应球面上的Xs1的坐标为Xs1=(xs1,ys1,zs1)T,根据公式(1)的等距模型,可推导得到坐标的全景图像像素点和其对应的三维球面坐标点的变换关系,如公式(2)所示。
rf=fθ (1)
其中,θ为O Xs1与摄像机光轴O zs1之间的夹角;为全景图像像素点mf与图像中心点Of之间的距离;f为摄像机的等效焦距。
(2)将高速球机图像转换到三维球面上。
如图3所示,高速球机图像平面上建立图像,坐标系Op-xpyp,以摄像机光心Os为原点建立三维世界坐标系Os-xs2ys2zs2,其中xs2轴为高速球摄像机Pan(偏航角)旋转角度为90度、Tilt(俯仰角)旋转角度为0度时的主轴方向上,ys2轴为高速球摄像机Tilt(俯仰角)旋转角度为90度、Pan(偏航角)旋转角度为0度时的主轴方向上。假设图像像素点mp的坐标为mp=(xp,yp)T,其对应的三维球面上的坐标点为Xs2=(xs2,ys2,zs2)T,两者之间关系满足:
其中,矩阵P=K(R 0)为摄像机矩阵,K为摄像机内参矩阵,其值可以通过经典的张正友的摄像机内参标定方法得到。R为高速球机的云台模型对应的旋转矩阵,(R 0)为摄像机的外参数矩阵,R可以用Pan旋转角度α和Tilt旋转角度β表示为:
若高速球摄像机的拍摄方向朝向三维球面坐标上的点Xs2,则高速球机的旋转角度(α,β)为:
S1.2求解全景摄像机和高速球机之间的映射关系:通过步骤S1.1将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系,采用SIFT方法对全景图像与高速球机图像进行特征点匹配,利用RANSAC算法剔除错误特征点对,再通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵,最后利用LM(Levenberg-Marquard)方法初步估计映射关系;
(1)采用SIFT方法和RANSAC算法进行特征点匹配,通过特征匹配点求解全景摄像机和高速球机之间的映射关系,得到旋转矩阵;
采用步骤S1.1将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系,假设坐标系O-xs1ys1zs1依次绕Y,X,Z轴分别旋转α12,β12,γ12角度可与Os-xs2ys2zs2重合,那么坐标系O-xs1ys1zs1上的任一点Xs1与该点Xs1在坐标系Os-xs2ys2zs2上相匹配的点之间的关系可表示为:
Xs1=R12Xs2 (6)
其中,R12为旋转矩阵,可表示为:
为求得全景摄像机与高速球机之间的映射关系,即求得旋转矩阵R12,需要对三维球面点进行特征点匹配。本发明中采用SIFT方法进行特征点匹配,得到全景图像与高速球机图像的N组匹配点对其中α(i)和β(i)分别为对应特征点所在图像的高速球机的Pan旋转角和Tilt旋转角。为了提高匹配精度,利用RANSAC算法剔除错误的球面匹配点
由于模型等方面的误差,不存在旋转矩阵R12使得公式(6)对所有匹配点对都严格满足,因此本发明采用最小化映射误差来求解全景摄像机和高速球机之间的映射关系α12,β12,γ12,即有α12,β12,γ12组成的旋转矩阵R12,求解公式如公式(8)所示。
(2)通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵,利用LM方法初步估计映射关系。
假定的全景摄像机和高速球摄像机的参数模型与实际情况存在一定误差,整幅全景图像都采用一个旋转矩阵R12并不能非常高精度的结果。为了得到更为理想的结果,本发明中采用逐像素拟合方法来求解旋转矩阵,即针对全景图像的每个位置都求解不同的旋转矩阵,从而求解旋转矩阵R12的公式(8)变为:
其中SK(mf)为离全景图像像素点mf最接近的K组特征点集合,利用LM算法求解公式(9)得到旋转矩阵R12;
S1.3利用S1.2中求得的映射关系采集多幅高速球机图像,根据映射关系将高速球机图像反投影到全景图像平面上,重新对全景图像和反投影的高速球机图像进行特征点匹配,利用LM算法重新估算映射关系;
(1)根据映射关系将高速球机图像反投影到全景图像平面上;
全景摄像机和高速球机的成像模型存在较大的差异,两幅图像也存在差异,这些差异包括缩放、平移、旋转和畸变。为了得到更为精确的特征点匹配对来求解旋转矩阵R12,本发明中利用S1.2中求得的映射关系将高速球机图像反投影到全景图像平面上,其步骤为:1)采用公式(2)求得Xs1;2)根据S1.2中映射关系,利用公式(6)求得Xs2;3)利用公式(3)求得mp。
(2)重新利用步骤S1.2特征点匹配方法对全景图像和反投影的高速球机图像进行特征点匹配得到新的匹配点,将新的匹配点对运用到公式(9)中重新估算映射关系。
S1.4利用S1.1、S1.2和S1.3求得映射关系,根据全景图像感兴趣目标的像素点可求得高速球机的旋转角度,从而控制高速球机进行转动到相应位置,完成全景摄像机和高速球机之间的联动。
步骤S2全景端的目标跟踪:结合帧差法和Surendra自适应背景更新方法进行运动目标检测,通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪,得到目标的运动轨迹,完成了全局化监控,如图4---全景端目标跟踪流程图所示,其包括,
S2.1运动目标检测;
利用帧差法来辨识图像的前景区域即运动目标,采用Surendra背景法对运动区域内的背景保持不变,而非运动区域的背景用当前帧进行替换更新,经过一段时间后就可以提取背景图像。运动目标检测的步骤为:
(1)将首帧图像I0作为初始背景B0(x,y);(2)求当前帧的灰度差分图Di(x,y);(3)利用Otsu算法二值化差分图Di(x,y);(3)利用Surendra背景法更新当前帧背景Bi(x,y),更新背景方法如公示(10)所示;(4)利用背景差分法得到运动目标区域的二值化图像;(5)对(4)中的二值化图像进行膨胀和腐蚀操作;(6)再利用8邻域连通域标识法分割出运动目标。
其中,Bi-1(x,y)为前一帧背景,(x,y)为图像像素点,c为更新系数,取值为0.05。
S2.2多目标跟踪。
(1)跟踪窗口的设置:针对S2.1中提取的运动目标,设定运动目标的跟踪窗口,即用矩形窗包围运动目标,窗口的不宜过大,略大于目标图像,这样不但可以减少噪声干扰,还能减少跟踪过程中处理图像的大小,减少跟踪运算量,提高运算速度。
(2)跟踪特征值的选择:设跟踪窗口区域的零阶矩为m00,沿水平方向和垂直方向的一阶矩阵分别为m10和m01,目标图像的灰度值用f(i,j)表示,那么可以通过下面的公式求取跟踪窗口中质心坐标(x,y):
(3)Kalman跟踪中的运动模型估计:利用Kalman滤波进行运动估计,可以有效地减少噪声干扰,只需检测当前跟踪窗口,大大减少了计算量。假设Kalman滤波过程中***在k时刻的状态向量为Xk,它由k-1时刻的状态Xk-1和动态噪声共同决定,状态方程如公式(13)所示。而观测向量Zk也由两部分决定,即由k时刻状态向量Xk的观测函数和观测噪声组成,观测方程如公式(14)所示。
Xk=AXk-1+Wk-1 (13)
Zk=HXk+Vk (14)
式中,A为状态转移矩阵;H为观测矩阵;Wk-1、Vk为动态噪声和观测噪声;状态向量Xk是一个四维向量:
Xk=[xk,yk,vx,k,vy,k]T (15)
其中,xk,yk分别为目标质心坐标,vx,k,vy,k分别为质心坐标在x,y方向上的速度。
(4)模型更新和建立目标匹配矩阵:采用Kalman滤波器为运动目标建立运动模型,利用检测到的当前目标信息对下一帧目标进行预测,缩小了搜索范围和搜索时间,运动目标跟踪是确定统一运动目标在不同帧中的位置的过程,即对相邻帧之间的各目标正确匹配的过程,在各目标建立对应关系之前,需要一个衡量匹配程度的原则,匹配完成之后,得到新的***参数更新模型,反复迭代即可实现运动目标的连续跟踪。
视频图像相邻帧间的时间间隔很短,同一目标在前后帧间位置变化不会很大,即统一目标在相邻帧间有大部分是重叠区域,并且通过Kalman滤波器对上一帧运动目标轨迹进行了一个可靠的估计,则可利用当前帧中目标的外接矩形与上一帧中目标的预测矩形的相交面积建立对应关系,即使用前后两帧目标的重叠区域所包含的像素数进行目标匹配度判断,如公式(16)所示:
其中,表示k-1时刻目标i的预测值,表示k时刻目标j的测量值,为k时刻目标j所占的像素个数,为k-1时刻目标i与k时刻目标j重叠像素的个数,mij表示k-1时刻目标i与k时刻目标j匹配的程度。
视频序列中出现的目标可能会不止一个,同时出现多个目标后,目标间就会变得复杂起来目标互相遮挡,目标遮挡后分离,目标被背景物体遮挡而暂时消失,不断有新目标出现和目标消失。为处理多目标跟踪中复杂情况,利用公式(17)来建立相邻帧间目标的匹配矩阵来表示前后两帧间的匹配关系,匹配矩阵为:
其中,m为k-1时刻的目标总数,n为k时刻的目标总数,M即为相邻帧间的匹配矩阵,大小为m*n(m行n列),mij是上一帧目标i与当前帧目标j的匹配度。
匹配矩阵M中的值为0或1。匹配矩阵的每一行是表示上一帧里的目标与当前帧的每一个目标的匹配状态,所以通过对匹配矩阵的行扫描可以判断出上一帧的目标在当前帧时发生的变化。如果第k行每一个元素皆为0,则表示上一帧的第k个目标消失,这说明目标可能永久消失也可能是被背景这单而暂时消失;如果第k行只有p列一个元素为1,则说明上一帧第k个目标与当前帧的第p个目标匹配;如果第k行有多个元素为1,则表示上一帧中的第k个目标在当前帧中被分离为多个目标,这说明可能是上一帧的遮挡发生了分离,也可能是上一帧目标在当前帧中产生了目标碎片,此时需合并碎片,再重新建立匹配矩阵和重新分析矩阵。匹配矩阵的每一列是表示当前帧的目标与上一帧的每一个目标的匹配状态,则通过对匹配矩阵的列扫描可以判断出当前帧目标的目标状态。如果第k列的元素皆为0,则表示当前帧的第k个目标是新出现的目标;如果第k列只有第h行的一个元素为1,这说明当前帧的第k个目标与上一帧的第h个目标匹配;如果第k列存在一个以上的元素为1,这表示上一帧的目标在当前帧中发生了遮挡。
步骤S3高速球端目标跟踪:利用S1中方法进行全景摄像机和高速球机的智能联动,针对感兴趣的目标通过S1中的方法求得全景摄像机与高速球机之间的映射关系来转动高速球,通过目标特征匹配的方式获得目标在高速球画面中的精确位置,再结合Kalman滤波和Mean Shift算法进行运动目标检测,通过高速球端目标跟踪完成了目标的局部监控。
目标在高速球画面的精确定位的流程图如图5所示。
高速球端目标跟踪步骤:
3.1)利用步骤S2中Kalman跟踪方法初始化Kalman滤波器,根据设定的跟踪窗口中目标的质心位置作为初始位置y0;
3.2)根据前一时刻的Kalman滤波的***状态量,由Kalman滤波器获得当前时刻目标的预测位置;
3.3)根据前一时刻的Kalman滤波的***状态量,由Mean Shift跟踪算法获得当前时刻的观测位置;
3.4)根据之前由Kalman滤波器求得的预测位置和由Mean Shift算法求得的观测位置,采用Kalman滤波法估算当前时刻目标的估计位置;
3.5)由第四步求得的目标的估计位置再应用前面第2)和3)步同理推出下一时刻运动目标的预测位置和观测位置;
3.6)重复上面的3.2)、3.3)和3.4)步骤,最终获得稳定的目标跟踪算法。
图6为高速球端的目标跟踪流程图。
通过本发明中全景摄像机和高速球机的智能联动方法、全景摄像机的运动目标跟踪方法和高速球机的方法能够完成全局与局部的、全方位无死角的视频监控效果。
本发明中提出的方法实际上可嵌入FPGA实现,应用于视频监控***中。以上实施例仅起到解释本发明技术方案的作用,本发明所要求的保护范围并不局限于上述实施例所述的实现***和具体实施步骤。因此,仅对上述实施例中具体的公式及算法进行简单替换,但其实质内容仍与本发明所述方法相一致的技术方案,均应属于本发明的保护范围。
Claims (6)
1.基于全景摄像机和高速球机的智能联动与跟踪方法,其特征是,包括如下步骤:
步骤1)利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球机的旋转角度的映射关系,根据鼠标选取的感兴趣的目标,高速球机通过所述映射关系能迅速转到目标区域并锁定目标,完成了全景摄像机和高速球机的智能联动;
步骤2)全景端的目标跟踪:结合帧差法和Surendra自适应背景方法进行运动目标检测,通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪,得到目标的运动轨迹,完成了全局化监控;
步骤3)高速球端目标跟踪:利用步骤1)中方法进行全景摄像机和高速球机的智能联动,针对感兴趣的目标通过步骤1)中的方法求得全景摄像机与高速球机之间的映射关系来转动高速球,并通过目标特征匹配的方式获得目标在高速球画面中的精确位置,再结合Kalman滤波算法和Mean Shift算法进行运动目标检测,通过高速球端目标跟踪完成了目标的局部监控。
2.根据权利要求1所述的一种基于全景摄像机和高速球机的智能联动与跟踪方法,所述步骤1)具体包括:
1.1)采用摄像机的内参模型将图像映射至三维球面上,包括将全景图像转换到三维球面上和将高速球机图像转换到三维球面上,将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系;
1.2)求解全景摄像机和高速球机之间的映射关系:根据步骤1.1)所得的旋转关系,采用SIFT算法对全景图像与高速球机图像进行特征点匹配,并利用RANSAC算法剔除错误特征点对,再通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵,最后利用LM(Levenberg-Marquard)算法初步估计映射关系;
1.3)利用步骤1.2)中求得的映射关系采集多幅高速球机图像,根据映射关系将高速球机图像反投影到全景图像平面上,重新对全景图像和反投影的高速球机图像进行特征点匹配,并利用LM算法重新估算映射关系;
1.4)利用步骤1.1)-1.3)求得全景摄像机和高速球机之间的映射关系后,根据全景图像感兴趣目标的像素点可求得高速球机的旋转角度,从而控制高速球机进行转动到相应位置,完成全景摄像机和高速球机之间的联动。
3.根据权利要求2所述的一种基于全景摄像机和高速球机的智能联动与跟踪方法,所述步骤1)中,通过采用基于RANSAC算法和SIFT算法进行全景图像和高速球机图像特征点匹配,采用像素拟合方法来求解旋转矩阵,即针对全景图像的每个位置都求解不同的旋转矩阵,得到更为理想的旋转矩阵R12,并利用LM算法初步估计映射关系。
4.根据权利要求1的一种基于全景摄像机和高速球机的智能联动与跟踪方法,所述步骤2)包括运动目标检测和多目标跟踪;
所述运动目标检测包括利用帧差法来辨识图像的前景区域即运动目标,采用Surendra背景法对运动区域内的背景保持不变,而非运动区域的背景用当前帧进行替换更新,经过一段时间后就可以提取背景图像;
所述多目标跟踪包括:
(1)跟踪窗口的设置;
(2)跟踪特征值的选择;
(3)Kalman跟踪中的运动模型估计;
(4)模型更新和建立目标匹配矩阵。
5.根据权利要求1的一种基于全景摄像机和高速球机的智能联动与跟踪方法,所述步骤3)中,利用步骤1)中的全景摄像机和高速球机之间的智能联动方法将监控任务转交给高速球,通过目标特征匹配的方式获得目标在高速球画面中的精确位置,结合Kalman滤波算法和Mean Shift算法进行运动目标跟踪,高速球端的目标跟踪可获得高清的图像序列,实现对感兴趣的目标进行高清抓拍。
6.根据权利要求1的一种基于全景摄像机和高速球机的智能联动与跟踪方法,所述步骤3)中高速球端目标跟踪步骤如下:
3.1)初始化Kalman滤波器,根据设定的跟踪窗口中目标的质心位置作为初始位置;
3.2)根据前一时刻的Kalman滤波的***状态量,由Kalman滤波器获得当前时刻目标的预测位置;
3.3)根据前一时刻的Kalman滤波的***状态量,由Mean Shift跟踪算法获得当前时刻的观测位置;
3.4)根据之前由Kalman滤波器求得的预测位置和由Mean Shift算法求得的观测位置,采用Kalman滤波法估算当前时刻目标的估计位置;
3.5)由第四步求得的目标的估计位置再应用前面第3.2)和3.3)步同理推出下一时刻运动目标的预测位置和观测位置;
3.6)重复上面的3.2)、3.3)和3.4)步骤,最终获得稳定的目标跟踪算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710237138.7A CN107093188A (zh) | 2017-04-12 | 2017-04-12 | 一种基于全景摄像机和高速球机的智能联动与跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710237138.7A CN107093188A (zh) | 2017-04-12 | 2017-04-12 | 一种基于全景摄像机和高速球机的智能联动与跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107093188A true CN107093188A (zh) | 2017-08-25 |
Family
ID=59636854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710237138.7A Pending CN107093188A (zh) | 2017-04-12 | 2017-04-12 | 一种基于全景摄像机和高速球机的智能联动与跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107093188A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107742305A (zh) * | 2017-10-17 | 2018-02-27 | 张家港全智电子科技有限公司 | 一种基于时空约束的轨迹提取方法 |
CN107845105A (zh) * | 2017-10-24 | 2018-03-27 | 深圳市圆周率软件科技有限责任公司 | 一种基于全景枪球联动的监控方法、智能设备及存储介质 |
CN108174152A (zh) * | 2017-12-28 | 2018-06-15 | 深圳英飞拓科技股份有限公司 | 一种目标监控方法及目标监控*** |
CN108449545A (zh) * | 2018-03-29 | 2018-08-24 | 北京环境特性研究所 | 一种监控***及其应用方法 |
CN108521554A (zh) * | 2018-03-01 | 2018-09-11 | 西安电子科技大学 | 大场景多目标协同跟踪方法、智能监控***、交通*** |
CN108833782A (zh) * | 2018-06-20 | 2018-11-16 | 广州长鹏光电科技有限公司 | 一种基于视频自动跟踪拍摄的定位装置及方法 |
CN108848304A (zh) * | 2018-05-30 | 2018-11-20 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标跟踪方法、装置和全景相机 |
CN109413319A (zh) * | 2018-12-20 | 2019-03-01 | 北京伊神华虹***工程技术有限公司 | 一种全感知物联网联动摄像机 |
CN109543496A (zh) * | 2017-09-22 | 2019-03-29 | 杭州海康威视数字技术股份有限公司 | 一种图像采集方法、装置、电子设备及*** |
CN110177256A (zh) * | 2019-06-17 | 2019-08-27 | 北京影谱科技股份有限公司 | 一种追踪视频数据获取方法和装置 |
CN110824468A (zh) * | 2019-11-18 | 2020-02-21 | 湖南纳雷科技有限公司 | 基于雷达控制球机跟踪多目标的方法及*** |
CN110941795A (zh) * | 2019-12-16 | 2020-03-31 | 中科新松有限公司 | 乒乓球旋转角度获取方法、获取装置及存储介质 |
CN110969097A (zh) * | 2019-11-18 | 2020-04-07 | 浙江大华技术股份有限公司 | 监控目标联动跟踪控制方法、设备及存储装置 |
CN111083358A (zh) * | 2019-12-05 | 2020-04-28 | 浙江大华技术股份有限公司 | 一种目标抓拍方法、装置及*** |
CN111144406A (zh) * | 2019-12-22 | 2020-05-12 | 复旦大学 | 一种太阳能面板清扫机器人自适应目标roi定位方法 |
CN111355926A (zh) * | 2020-01-17 | 2020-06-30 | 高新兴科技集团股份有限公司 | 全景摄像机与ptz摄像机的联动方法、存储介质及设备 |
CN111565299A (zh) * | 2020-05-06 | 2020-08-21 | 苏州新舟锐视信息技术科技有限公司 | 一种车载多个枪机一个球机联动抓拍目标的方法 |
CN113592917A (zh) * | 2021-07-28 | 2021-11-02 | 清华大学 | 一种摄像机目标交接方法和交接*** |
CN113794818A (zh) * | 2021-09-01 | 2021-12-14 | 浙江大华技术股份有限公司 | 抓拍对象的确定方法、装置、存储介质及电子装置 |
CN114419097A (zh) * | 2021-12-30 | 2022-04-29 | 西安天和防务技术股份有限公司 | 目标跟踪的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101707671A (zh) * | 2009-11-30 | 2010-05-12 | 杭州普维光电技术有限公司 | 一种全景摄像机与ptz摄像机联动控制方法和装置 |
CN105120242A (zh) * | 2015-09-28 | 2015-12-02 | 北京伊神华虹***工程技术有限公司 | 一种全景摄像机与高速球机智能联动方法和装置 |
-
2017
- 2017-04-12 CN CN201710237138.7A patent/CN107093188A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101707671A (zh) * | 2009-11-30 | 2010-05-12 | 杭州普维光电技术有限公司 | 一种全景摄像机与ptz摄像机联动控制方法和装置 |
CN105120242A (zh) * | 2015-09-28 | 2015-12-02 | 北京伊神华虹***工程技术有限公司 | 一种全景摄像机与高速球机智能联动方法和装置 |
Non-Patent Citations (4)
Title |
---|
叶克秋: "基于全景机的智能视频监控***研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
彭雅芳: "交通事件视频检测***中图像处理算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
程婷: "基于Mean Shift算法的目标跟踪在安防***中的应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
赖世铭: "全景凝视***中的关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543496A (zh) * | 2017-09-22 | 2019-03-29 | 杭州海康威视数字技术股份有限公司 | 一种图像采集方法、装置、电子设备及*** |
CN107742305A (zh) * | 2017-10-17 | 2018-02-27 | 张家港全智电子科技有限公司 | 一种基于时空约束的轨迹提取方法 |
CN107845105A (zh) * | 2017-10-24 | 2018-03-27 | 深圳市圆周率软件科技有限责任公司 | 一种基于全景枪球联动的监控方法、智能设备及存储介质 |
CN107845105B (zh) * | 2017-10-24 | 2021-09-10 | 深圳市圆周率软件科技有限责任公司 | 一种基于全景枪球联动的监控方法、智能设备及存储介质 |
CN108174152A (zh) * | 2017-12-28 | 2018-06-15 | 深圳英飞拓科技股份有限公司 | 一种目标监控方法及目标监控*** |
CN108521554A (zh) * | 2018-03-01 | 2018-09-11 | 西安电子科技大学 | 大场景多目标协同跟踪方法、智能监控***、交通*** |
CN108521554B (zh) * | 2018-03-01 | 2021-03-26 | 西安电子科技大学 | 大场景多目标协同跟踪方法、智能监控***、交通*** |
CN108449545B (zh) * | 2018-03-29 | 2020-10-30 | 北京环境特性研究所 | 一种监控***及其应用方法 |
CN108449545A (zh) * | 2018-03-29 | 2018-08-24 | 北京环境特性研究所 | 一种监控***及其应用方法 |
JP7048764B6 (ja) | 2018-05-30 | 2022-05-16 | 影石創新科技股▲ふん▼有限公司 | パノラマビデオのターゲット追跡方法及びパノラマカメラ |
WO2019228196A1 (zh) * | 2018-05-30 | 2019-12-05 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标跟踪方法和全景相机 |
JP7048764B2 (ja) | 2018-05-30 | 2022-04-05 | 影石創新科技股▲ふん▼有限公司 | パノラマビデオのターゲット追跡方法及びパノラマカメラ |
US11509824B2 (en) | 2018-05-30 | 2022-11-22 | Arashi Vision Inc. | Method for tracking target in panoramic video, and panoramic camera |
JP2021527865A (ja) * | 2018-05-30 | 2021-10-14 | 影石創新科技股▲ふん▼有限公司Arashi Vision Inc. | パノラマビデオのターゲット追跡方法及びパノラマカメラ |
CN108848304A (zh) * | 2018-05-30 | 2018-11-20 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标跟踪方法、装置和全景相机 |
CN108848304B (zh) * | 2018-05-30 | 2020-08-11 | 影石创新科技股份有限公司 | 一种全景视频的目标跟踪方法、装置和全景相机 |
CN108833782A (zh) * | 2018-06-20 | 2018-11-16 | 广州长鹏光电科技有限公司 | 一种基于视频自动跟踪拍摄的定位装置及方法 |
CN109413319A (zh) * | 2018-12-20 | 2019-03-01 | 北京伊神华虹***工程技术有限公司 | 一种全感知物联网联动摄像机 |
CN110177256A (zh) * | 2019-06-17 | 2019-08-27 | 北京影谱科技股份有限公司 | 一种追踪视频数据获取方法和装置 |
CN110824468B (zh) * | 2019-11-18 | 2021-08-13 | 湖南纳雷科技有限公司 | 基于雷达控制球机跟踪多目标的方法及*** |
CN110969097A (zh) * | 2019-11-18 | 2020-04-07 | 浙江大华技术股份有限公司 | 监控目标联动跟踪控制方法、设备及存储装置 |
CN110969097B (zh) * | 2019-11-18 | 2023-05-12 | 浙江大华技术股份有限公司 | 监控目标联动跟踪控制方法、设备及存储装置 |
CN110824468A (zh) * | 2019-11-18 | 2020-02-21 | 湖南纳雷科技有限公司 | 基于雷达控制球机跟踪多目标的方法及*** |
CN111083358A (zh) * | 2019-12-05 | 2020-04-28 | 浙江大华技术股份有限公司 | 一种目标抓拍方法、装置及*** |
CN110941795B (zh) * | 2019-12-16 | 2023-05-12 | 上海创屹科技有限公司 | 乒乓球旋转角度获取方法、获取装置及存储介质 |
CN110941795A (zh) * | 2019-12-16 | 2020-03-31 | 中科新松有限公司 | 乒乓球旋转角度获取方法、获取装置及存储介质 |
CN111144406A (zh) * | 2019-12-22 | 2020-05-12 | 复旦大学 | 一种太阳能面板清扫机器人自适应目标roi定位方法 |
CN111144406B (zh) * | 2019-12-22 | 2023-05-02 | 复旦大学 | 一种太阳能面板清扫机器人自适应目标roi定位方法 |
CN111355926A (zh) * | 2020-01-17 | 2020-06-30 | 高新兴科技集团股份有限公司 | 全景摄像机与ptz摄像机的联动方法、存储介质及设备 |
CN111355926B (zh) * | 2020-01-17 | 2022-01-11 | 高新兴科技集团股份有限公司 | 全景摄像机与ptz摄像机的联动方法、存储介质及设备 |
CN111565299A (zh) * | 2020-05-06 | 2020-08-21 | 苏州新舟锐视信息技术科技有限公司 | 一种车载多个枪机一个球机联动抓拍目标的方法 |
CN113592917A (zh) * | 2021-07-28 | 2021-11-02 | 清华大学 | 一种摄像机目标交接方法和交接*** |
CN113794818A (zh) * | 2021-09-01 | 2021-12-14 | 浙江大华技术股份有限公司 | 抓拍对象的确定方法、装置、存储介质及电子装置 |
CN114419097A (zh) * | 2021-12-30 | 2022-04-29 | 西安天和防务技术股份有限公司 | 目标跟踪的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107093188A (zh) | 一种基于全景摄像机和高速球机的智能联动与跟踪方法 | |
Kueng et al. | Low-latency visual odometry using event-based feature tracks | |
Kong et al. | Counting Pedestrians in Crowds Using Viewpoint Invariant Training. | |
Schwarz et al. | Driveahead-a large-scale driver head pose dataset | |
Li et al. | Fa-harris: A fast and asynchronous corner detector for event cameras | |
Bhat et al. | Motion detection and segmentation using image mosaics | |
Zheng et al. | Deep learning for event-based vision: A comprehensive survey and benchmarks | |
Feng et al. | Fine-grained change detection of misaligned scenes with varied illuminations | |
CN105913455A (zh) | 基于局部图像增强的目标跟踪方法 | |
CN108521554A (zh) | 大场景多目标协同跟踪方法、智能监控***、交通*** | |
Zoidi et al. | Stereo object tracking with fusion of texture, color and disparity information | |
Tian et al. | Absolute head pose estimation from overhead wide-angle cameras | |
Savitha et al. | Motion detection in video surviellance: A systematic survey | |
CN115116132A (zh) | 一种物联网边缘服务环境下深度感知的人体行为分析方法 | |
Gejguš et al. | Face tracking in color video sequences | |
CN112465702A (zh) | 一种多路超高清视频同步自适应拼接显示处理方法 | |
Ba et al. | Probabilistic head pose tracking evaluation in single and multiple camera setups | |
Shibata et al. | Unified image fusion framework with learning-based application-adaptive importance measure | |
Xu et al. | Moving target detection and tracking in FLIR image sequences based on thermal target modeling | |
Al-Mukhtar | Tracking and Blurring the face in a video file | |
Bosch | Deep learning for robust motion segmentation with non-static cameras | |
Haritaoglu et al. | Active outdoor surveillance | |
CN113361400A (zh) | 一种头部姿态估计方法、装置及存储介质 | |
Wu et al. | FlyTracker: Motion tracking and obstacle detection for drones using event cameras | |
Xu et al. | Dynamic object detection using improved vibe for RGB-D SLAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170825 |