CN102291569A - 双摄像机自动协同多目标鹰眼观测***及其观测方法 - Google Patents

双摄像机自动协同多目标鹰眼观测***及其观测方法 Download PDF

Info

Publication number
CN102291569A
CN102291569A CN2011102115491A CN201110211549A CN102291569A CN 102291569 A CN102291569 A CN 102291569A CN 2011102115491 A CN2011102115491 A CN 2011102115491A CN 201110211549 A CN201110211549 A CN 201110211549A CN 102291569 A CN102291569 A CN 102291569A
Authority
CN
China
Prior art keywords
target
tilt
pan
zoom camera
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102115491A
Other languages
English (en)
Other versions
CN102291569B (zh
Inventor
胡士强
孙卓金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN 201110211549 priority Critical patent/CN102291569B/zh
Publication of CN102291569A publication Critical patent/CN102291569A/zh
Application granted granted Critical
Publication of CN102291569B publication Critical patent/CN102291569B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种双摄像机自动协同多目标鹰眼观测***及其观测方法,该***包括硬件平台、广角摄像机、PTZ摄像机,处理机和多通道视频采集卡,观测方法包括以下步骤:标定两台摄像机,得到运动摄像机旋转对准广角摄像机图像任一位置的角度;从广角摄像机中检测出运动目标,并进行跟踪标识;选择目标,若目标运动较快,则控制PTZ摄像机进行缩放跟踪,若目标运动较慢,则放大目标,然后定位感兴趣特征,二次放大观测感兴趣区域。本发明具有成本低,实现简单等优点,可广泛应用于机器人、智能交通、视频监控等多目标视频跟踪领域。

Description

双摄像机自动协同多目标鹰眼观测***及其观测方法
技术领域
本发明涉及视频监控,特别是一种双摄像机自动协同多目标鹰眼观测***及其观测方法,该方法是通过双摄像机的自动协同控制获取大范围场景信息的同时得到指定目标的清晰细节的方法。
背景技术
传统视频监控的缺点在于目标距离摄像机较远并且不断移动时,仅仅通过改变焦距的方式不能得到大范围场景内感兴趣目标的清晰图像;多摄像机的视频监控***结构复杂,成本很高。发明专利200410016455.9用多摄像机进行视频监控,采用一台全景摄像机和多台跟踪摄像机获取异常目标的全局信息和细节信息,其实现技术依赖人工干预和手动分配。中国专利200910097012.X用多摄像机实现跨摄像机的自动跟踪,每台摄像机都对目标进行跟踪聚焦。这两个专利技术采用了多摄像机的模式,多摄像机自动智能监控中的难题在于匹配摄像机视野的重叠区域并标定摄像机,在这方面,前述发明没有相关的论述。视频智能监控中,直接自动获取运动目标的感兴趣区域清晰图像难度较大,例如,获取快速行走行人的脸部图像,行驶过程中车辆的车牌的图像。难点主要在三个方面:
由于运动图像的失真,很难检测出目标的局部特征,并对其定位;
目标快速运动时,如果同时放大其局部特征,则目标很快就脱离摄像机视野;
跟踪放大后的目标,要求PTZ摄像机快速移动,普通设备不能满足这一要求。
发明内容
本发明的目的在于克服上述难点,提供一种双摄像机自动协同多目标鹰眼观测***及其观测方法。该观测***及其观测方法既保证目标始终处于监控场景中,同时又能在适当的时候获取最有价值的目标细节信息。当多个目标出现时,则根据目标的标识,自动选择目标进行观测。
本发明的技术解决方案如下:
一种双摄像机自动协同多目标鹰眼观测***,其特点在于包括硬件平台、广角摄像机、PTZ摄像机,处理机和多通道视频采集卡,所述的广角摄像机和PTZ摄像机位于所述的硬件平台上且位置相对固定不变,所述的PTZ摄像机经控制线与所述的处理机相连,所述的广角摄像机的图像和PTZ摄像机的图像经过所述的多通道视频采集卡和视频线进入所述的处理机并进行数据处理,根据数据处理结果所述的处理机对所述的PTZ摄像机实现在线协同控制。
所述的PTZ摄像机是具有云台全方位(上下、左右)移动及镜头变倍、变焦控制的摄像机,
所述的双摄像机自动协同多目标鹰眼观测***的观测方法,该方法包括如下步骤:
1)采用静止广角摄像机和PTZ摄像机主从式结构,所述的广角摄像机和PTZ摄像机两台摄像机相对位置固定后,设定广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域;通过标定,得到PTZ摄像机对准广角摄像机图像中重点监控区域内任一位置M(x,y)对应的要旋转角度(α,β)并存入所述的处理机。
2)用改进的码本(以下称为CodeBook,参见文献:Kyungnam Kim,Thanarat H.Chalidabhongse,David Harwood,Larry Davis.Real time foreground backgroundsegmentation using codebook model[J].Realtime Imaging.2005,11,(3):172-185.中所述的codebook模型,本发明是在其基础上的改进。)的背景减法,从广角摄像机中检测前景目标,并对观测目标进行跟踪、数据关联和标识,选择特定目标。
3)对所选特定的目标,根据目标当前状态进行分类处理:广角摄像机对快速运动的目标进行缩放跟踪,获取合适大小的图像;对慢速运动的目标定位感兴趣区域并随时将摄取的有关图像输入所述的处理机,该处理机根据感兴趣区域的位置M(x,y)驱动所述的PTZ摄像机旋转角度(α,β),将感兴趣区域置于所述的PTZ摄像机的图像中心,然后对该区域进行放大观测,获取清晰图像,存入所述的处理机称为查找表。
一般情况下,步骤1)中一次标定可以长期使用,对广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域的设定,也可长期使用,除非观测目标的类型和相应的感兴趣区域需要改变。因此观测目标仅需在启动观测***后反复执行步骤2)和步骤3)即可。
所述的标定是在两台摄像机相对位置固定后,将所述的广角摄像机图像按网格划分,控制所述的PTZ摄像机旋转对准网格交点,记录网格交点的位置M(x,y)和PTZ摄像机对应的要旋转角度(α,β),对非网格交点处做插值,建立对准广角摄像机中图像任一位置M(x,y)和PTZ摄像机对应的要旋转角度(α,β)存入所述的处理机,形成查找表。
所述的改进的CodeBook是指检测出codebook中的误检测区域,并对其进行修正,在对codebook的背景模型更新过程中加入8-邻域部分。
所述的目标跟踪、数据关联和标识,所述目标跟踪是用卡尔曼滤波或粒子滤波算法预测目标下一时刻可能出现的区域;所述数据关联是指在预测区域检测到目标则认为是同一目标;所述标识是为目标分配唯一的标识符进行区分。
所述的选择目标是根据目标的标识或图像位置选定图像中要跟踪检测的目标,称为特定目标。
所述的快速运动目标,是指目标的质心位置变化范围较大,所述的缩放跟踪,是指根据目标的位置,通过PTZ摄像机的旋转对准目标,根据目标尺寸大小,调整PTZ摄像机的焦距,使目标的成像的大小有利于跟踪。
所述的慢速运动目标是指目标的质心位置变化范围较小;所述的感兴趣区域定位,是指从PTZ摄像机中检测特定目标的感兴趣区域的锁定。
本发明采用二级模式:对快速运动目标进行放大跟踪,对慢速/静止目标进行反馈放大识别感兴趣区域。具体为当包含感兴趣目标快速移动时,对其进行缩放跟踪;当目标慢速/静止时,再定位感兴趣区域进行反馈放大识别,直至感兴趣区域充满整个视场。
与现有技术相比本发明具有以下特点:
1、本发明采用建立查找表的方法标定广角静止摄像机和窄角运动摄像机,操作方便,宜于实现。并且在两台摄像机初始相对位置固定的情况下,只需要一次标定就可以在不同场景下进行使用,通用性十分好。
2、本发明采用二级模式:目标快速运动时跟踪-目标慢速运动时放大观测感兴趣区域,当目标在快速运动根据目标在广角摄像机中成像大小调节PTZ摄像机对目标进行缩放跟踪,可增强PTZ摄像机对目标的捕捉能力,避免目标从PTZ摄像机视野中消失。目标慢速运动时定位目标中包含的感兴趣区域,并对感兴趣区域进行放大观测,可降低获取感兴趣区域图像的难度,同时对设备的要求降低,从而成本下降。
3、本发明具有成本低,实现简单等优点,可广泛应用于机器人、智能交通、公共安全、视频监控等多目标视频跟踪领域。
附图说明
图1是本发明双摄像机自动协同多目标鹰眼观测***结构示意图。
图中:1-PTZ摄像机;2-广角摄像机;3-视频数据线;4-控制数据线;5-处理机。
图2是本发明双摄像机自动协同多目标鹰眼观测***的标定方法示意图。
图3是本发明双摄像机自动协同多目标鹰眼观测***对室外运动目标检测结果示意图。
图4是本发明双摄像机自动协同多目标鹰眼观测***的工作流程。
图5是本发明双摄像机自动协同多目标鹰眼观测***对室内行人观测的结果示意图。
图6是本发明双摄像机自动协同多目标鹰眼观测***对室外行人观测的结果示意图。
具体实施方式
下面结合附图对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
先请参阅图1,图1是本发明双摄像机自动协同多目标鹰眼观测***结构示意图,由图可见,本发明双摄像机自动协同多目标鹰眼观测***,包括硬件平台、广角摄像机2、PTZ摄像机1,处理机5和多通道视频采集卡,所述的广角摄像机2和PTZ摄像机1位于所述的硬件平台上且位置相对固定不变,所述的PTZ摄像机1经控制线4与所述的处理机5相连,所述的广角摄像机的图像和PTZ摄像机的图像经过所述的多通道视频采集卡和视频线3进入所述的处理机并进行数据处理,根据数据处理结果所述的处理机对所述的PTZ摄像机实现在线协同控制。
利用双摄像机自动协同多目标鹰眼观测***的观测方法,该方法包括如下步骤:
1)采用静止广角摄像机和PTZ摄像机主从式结构,所述的广角摄像机和PTZ摄像机两台摄像机相对位置固定后,设定广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域;通过标定,得到PTZ摄像机对准广角摄像机图像中重点监控区域内任一位置M(x,y)对应的要旋转角度(α,β)并存入所述的处理机;
所述标定是指获取运动的PTZ摄像机对准观察所述广角摄像机ROI区域某一位置的旋转角度,所谓广角摄像机ROI区域是指人为选择的目标可能会出现图像的像素区域。
具体实现方法为:
①选定广角摄像机视频监控区域中需要用PTZ摄像机重点监控的ROI区域,如图2所示;
②选择合适的间隔,将所述的广角摄像机图像ROI区域划分为网格状,得到网格交点处的像素坐标:M11(x1,y1),M12(x1,y2),M21(x2,y1),M22(x2,y2).
③控制所述的PTZ摄像机旋转,直到PTZ摄像机的图像中心与M11重合,读取所述的PTZ摄像机当前水平方向和垂直方向的旋转角度(α,β)11,记录一组数据:L[M11(x1,y1)]=(α,β)11
④对剩下广角图像ROI区域的交点处重复步骤③的操作,记录所有的L[M12(x1,y2)]=(α,β)12;L[M21(x2,y1)]=(α,β)21;L[M22(x2,y2)]=(α,β)22;统称为即L(M(x,y))=(α,β);
⑤对广角图像ROI区域的非网格交点S(x,y),查找包含它的最小矩形M11M12M21M22,用双线性插值公式(1),求取PTZ摄像机旋转的角度:
( α , β ) s = 1 ( x 2 - x 1 ) ( y 2 - y 1 ) [ L ( M 11 ) ( x 2 - x ) ( y 2 - y ) + L ( M 12 ) ( x 2 - x ) ( y - y 1 ) + L ( M 21 ) ( x - x 1 ) ( y 2 - y ) ]
+ L ( M 22 ) ( x - x 1 ) ( y - y 1 ) ] - - - ( 1 )
⑥综合步骤③④⑤中的数据,建立对准广角摄像机图像ROI区域任一位置M(x,y)所示的PTZ摄像机旋转的角度(α,β);
2)用改进的CodeBook的背景减法,从广角摄像机中检测前景目标,并对观测目标进行跟踪、数据关联和标识,选择特定目标。
从广角摄像机检测运动目标,首先改进基于codebook的运动检测方法,实现对运动目标的快速有效分割,以获取多目标在视频图像中所在的前景区域,并提取目标的位置和大小:
所述codebook运动检测算法是指文献Kyungnam Kim,Thanarat H. Chalidabhongse,David Harwood,Larry Davis.Real time foreground background segmentation usingcodebook model[J].Realtime Imaging.2005,11,(3):172-185.中用于检测运动目标的方法。所述改进后的基于codebook的运动检测方法,是指在基本的Codebook上对其进行改进:修正误检测区域;更新的过程引入8-邻域像素。所述运动目标分割是指建立和待处理图像等大的模版灰度图,把运动目标区域标记为白色(255),背景区域标记为黑色(0),所述提取目标位置和大小是指获取模版灰度图中运动目标连通区(白色)的图像的质心位置和尺寸;
所述的对目标进行跟踪,并进行数据关联和标记:
所述目标跟踪,是指用卡尔曼滤波或粒子滤波跟踪算法,预测运动目标下一步可能会出现的区域,并在该区域中量测运动目标;所述数据关联,是指在预测区域中检测到目标,则认为该目标和预测前的目标是同一目标;所述标记,是指给跟踪到的目标分别分配唯一的标识符进行区分;
所述的选择目标,PTZ摄像机对目标进行跟踪缩放,并在目标机动较小时对感兴趣特征进行定位放大观测的。
所述选择目标,是指根据目标的标识或位置指定目标;所述PTZ摄像机对目标跟踪缩放是指获取选择目标的位置M(x,y),根据步骤二中所得到的结果,查找PTZ摄像机对准选择目标所要旋转的角度,即L(M(x,y))=(α,β),并由处理机控制PTZ摄像机旋转角度(α,β),对准目标;所述缩放,是指根据目标在广角摄像机中的大小,调节PTZ摄像机的焦距,使得目标在PTZ摄像机中有合适的大小能够满足摄像机的跟踪要求;所述目标机动较小,是指目标运动缓慢或停止运动,即广角摄像机中检测到的目标位置集中在一小块区域;所述感兴趣特征,是指目标的显著特征和或价值的区域,如行人的人脸,车辆的车牌等。所述定位,是指用检测算法从PTZ摄像机图像中获取特征区域的位置,控制PTZ摄像机使特征区域处于PTZ摄像机图像的中心。所述放大观测是指调节PTZ摄像机的焦距,使特征区域得到较大的分辨率。
本实施例是在真实环境下对室内和室外环境进行实验,并以行人作为目标,人脸为感兴趣区域。所用的广角摄像机为SONY 453P,外加广角镜头。PTZ摄像机为EVI-D70P,水平方向旋转角为160度,垂直方向仰角90度俯角30度,18倍光学调焦,构建的双摄像机平台如图1所示。处理平台是HP xw6400Workstation。
本实施例实现过程包括如下流程:
步骤一、标定两台摄像机。如图2所示,选择广角视野中的一片区域作为ROI区域,对ROI区域按网格划分,控制窄角PTZ摄像机旋转,使得PTZ摄像机的视野中心和广角图像网格的交点处重合,记录PTZ摄像机当前水平方向与垂直方向角度和广角图像网格交点的位置。对所有网格交点重复上述操作,对应记录所有网格交点处的位置及PTZ摄像机对准交点处时水平方向与垂直方向角度;对非交点处,用包含它的最小矩形框的四个点进行线性插值得到PTZ摄像机的旋转角度,最终得到PTZ摄像机对准广角摄像机ROI区域任一位置所要旋转的角度;
步骤二、用基于CodeBook的背景减法检测广角摄像机中的运动目标。
Codebook为图像的每个像素建立起Codebook模型τ={c1,c2,c3...cL}包含L个codeword ci,ci由匹配像素的均值向量
Figure BDA0000078873660000071
及一个6元组的变量
Figure BDA0000078873660000072
组成,其中
Figure BDA0000078873660000073
分别表示匹配像素的最小亮度和最大亮度,fi,λi分别为匹配次数和最长未匹配时间,pi,qi表示首次匹配时间和末次匹配时间。为了建立Codebook的初始模型,选择场景中未包含目标的一段序列,对模型初始化。建立背景Codebook和更新模型。t时刻像素
Figure BDA0000078873660000074
与背景Codebook匹配进行前景分割,矢量是否与codeword匹配由颜色畸变和亮度范围决定。
其中颜色畸变由式(2)表示
colordist ( x &rho; t , v &rho; t ) = | | x &rho; t | | 2 - < x &rho; t , v &rho; i > 2 | | v &rho; i | | 2 < &epsiv; 1 - - - ( 2 )
其中||·||表示向量2-范数,表示向量内积,ε1为给定的阈值。
亮度范围由式(3)表示
其中:α∈[0.3,0.7],β>1为根据环境给定的参数。若匹配条件其中之一不满足,则该像素与当前的code-word不匹配,若对背景Codebook中所有的codeword都不匹配,则认为该处为前景。建立和待处理图像同等大小的模版灰度图像,将前景区域标记为白色(255),背景区域标记为黑色(0)。
以p×p为最小单元对Code-book检测结果改进:
1)统计p×p区域M前景点数f;
2)如果f/p2<0.2,M为候选误检测区,进入步骤3)确认,否则执行步骤5);
3)统计M四邻域前景点fi:f1/p2<0.2,Fake++,i=0,1,2,3,若Fake>=3,执行步骤4),否则执行步骤5);
4)前M中前景点修正为背景,并加入到背景codebook中;
5)返回步骤1)对下一个p×p进行检测。
为了改进codebook方法,在匹配codebook更新过程中加入邻域的变化。算法如下:
1)随机读取匹配点8-邻域中像素,
Figure BDA0000078873660000081
2)随机选择匹配点中的
Figure BDA0000078873660000082
按式(4),(5)更新:
v &rho; r = v &rho; r &theta; + x &rho; n ( 1 - &theta; ) - - - ( 4 )
θ∈(0,1)为更新参数
Figure BDA0000078873660000084
室外运动目标检测结果如图3所示。
步骤三、在图像中跟踪标记运动目标:
对步骤二中得到的灰度图像先去噪再对其进行连通域分析以获取目标量测(质心坐标,尺寸)。首先利用形态学方法对图像进行处理,采用了一次开运算(先腐蚀再膨胀)。再通过连通域分析去除小区域亮块。最后对可能的目标斑块(blob)进行连通域分析获取其质心位置和尺寸等参数进行记录。对找到目标的质心和尺寸用卡尔曼滤波预测下一刻的位置和尺寸,在下一次步骤二中得到灰度图中进行连通域分析,获取该目标的质心位置尺寸和原记录作为同组,并认为是同一目标。持续几秒检测到该目标,为该组记录的目标分配一个唯一的标识;
步骤四、选择目标,并根据目标状态进行观测。用鼠标点击广角视频图像中标记的目标或输入标识的方式选择某一运动目标。处理机根据所选目标在广角视频图像中的位置,根据步骤一的结果查找PTZ摄像机旋转角度,发送相应指令给PTZ摄像机进行旋转对准目标。根据选择目标最近记录下的质心位置,判断当前所选目标的状态,即:
1)获取目标最新的40个位置信息T={p1,p2,...pi},i=40,pi=(cx i,cy i,wi,hi),cx,cy为目标中心位置横向和纵向坐标,w,h为目标宽度和高度;
2)计算目标中心坐标和目标宽度及高度的均值:
( c x &OverBar; , c y &OverBar; , w &OverBar; , h &OverBar; ) = &Sigma; i = 1 40 ( c x i , c y i , w i , h i )
3)For i=1∶40
Figure BDA0000078873660000092
End;
if(static>16) 目标慢速运动;
else           目标快速运动;
4)返回步骤1)
若目标快速运动,则缩放目标至四分之一视野大小,每600ms传送目标质心位置,通过查找表得到PTZ摄像机对准目标所要旋转的角度,并发送相应指令跟踪观察目标。
若目标慢速运动,则一次性对缩放行人至视野的四分之三,用Adaboost加肤色模型检测人脸,得到人脸的准确位置和大小,用数据PID控制PTZ摄像机转动,使人脸处于摄像机视野中心,并逐渐放大得到清晰图像。
步骤如下:
a.对准人脸
1)获取第k帧图像人脸的位置(xf,yf),其中xf,yf表示人脸中心在图像中的坐标。
2)计算偏差e(k)x=xf-u,e(k)y=yf-v,其中u,v为PTZ摄像机图像中心X方向和Y方向像素坐标。
3)if(e(k)x>20||e(k)y>20)
ΔUx=KP[e(k)x-e(k-1)x]+KIe(k)x
ΔUy=KP[e(k)y-e(k-1)y]+KIe(k)y
ΔUx,ΔUy分别为PTZ摄像机水平方向和垂直方向的旋转角度。
4)重复前面的步骤,直到满足偏差e(k)x<20且e(k)y<20。
b.放大人脸
在a步骤完成后,调速PTZ摄像机焦距,将人脸放大至视野四分之一左右。
以目标为行人,感兴趣区域为人脸***的整体工作流程如图4所示,图5和图6分别是室内和室外场景下在目标小机动情况下获得的人脸清晰图像和大场景图像。
实验表明,本发明具有成本低,实现简单等优点,可广泛应用于机器人、智能交通、视频监控等多目标视频跟踪领域。

Claims (8)

1.一种双摄像机自动协同多目标鹰眼观测***,其特征在于包括硬件平台、广角摄像机、PTZ摄像机,处理机和多通道视频采集卡,所述的广角摄像机和PTZ摄像机位于所述的硬件平台上且位置相对固定不变,所述的PTZ摄像机经控制线与所述的处理机相连,所述的广角摄像机的图像和PTZ摄像机的图像经过所述的多通道视频采集卡和视频线进入所述的处理机并进行数据处理,根据数据处理结果所述的处理机对所述的PTZ摄像机实现在线协同控制。
2.权利要求1所述的双摄像机自动协同多目标鹰眼观测***的观测方法,其特征在于,该方法包括如下步骤:
1)采用静止广角摄像机和PTZ摄像机主从式结构,所述的广角摄像机和PTZ摄像机两台摄像机相对位置固定后,设定广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域;通过标定,得到PTZ摄像机对准广角摄像机图像中重点监控区域内任一位置M(x,y)对应的要旋转角度(α,β)并存入所述的处理机形成查找表;
2)用改进的CodeBook的背景减法,从广角摄像机中检测前景目标,并对观测目标进行跟踪、数据关联和标识,选择特定目标;
3)对所选的特定目标,根据目标当前状态进行分类处理:
PTZ摄像机对快速运动的目标,根据目标的质心位置M(x,y),所述的处理机根据所述的查找表得到对应要旋转角度(α,β),驱动所述的PTZ摄像机旋转对准目标,并将所述的快速运动的目标进行缩放跟踪,获取合适大小的图像;
PTZ摄像机对慢速运动的目标,首先根据目标的质心位置M(x,y),所述的处理机根据所述的查找表得到对应要旋转角度(α,β),驱动所述的PTZ摄像机旋转对准目标,然后将慢速运动的目标一次放大至PTZ摄像机视野的四分之三,再定位目标的感兴趣区域,并随时将摄取的有关图像输入所述的处理机,该处理机根据感兴趣区域的位置M′(x,y),驱动所述的PTZ摄像机旋转,将感兴趣区域置于所述的PTZ摄像机的图像中心,然后对该区域进行放大,获取清晰图像,存入所述的处理机。
3.根据权利要求2所述的观测方法,其特征在于所述的标定是在两台摄像机相对位置固定后,将所述的广角摄像机图像按网格划分,控制所述的PTZ摄像机旋转对准网格交点,记录网格交点的位置M(x,y)和PTZ摄像机对应的要旋转角度(α,β),对非网格交点处做插值,建立对准广角摄像机中图像任一位置M(x,y)和PTZ摄像机对应的要旋转角度(α,β)存入所述的处理机,形成查找表。
4.根据权利要求2所述的观测方法,其特征在于所述的改进的CodeBook是指检测出codebook中的误检测区域并对其进行修正,在对codebook的背景模型更新过程中加入8-邻域部分。
5.根据权利要求2所述的观测方法,其特征在于所述的目标跟踪、数据关联和标识,所述目标跟踪是用卡尔曼滤波或粒子滤波算法预测目标下一时刻可能出现的区域;所述数据关联是指在预测区域检测到目标则认为是同一目标;所述标识是为目标分配唯一的标识符进行区分。
6.根据权利要求2所述的观测方法,其特征在于所述的选择目标是所述的处理机根据目标的标识或图像位置与处理机内设定的观测目标的类型和相应的感兴趣区域相比对,相似则选定为要跟踪检测的目标。
7.根据权利要求2所述的观测方法,其特征在于所述的快速运动目标,是指目标的质心位置变化范围较大,所述的缩放跟踪,是指根据目标的位置,通过PTZ摄像机的旋转对准目标,根据目标尺寸大小,调整PTZ摄像机的焦距,使目标的成像的大小有利于跟踪。
8.根据权利要求2所述的观测方法,其特征在于所述的慢速运动目标是指目标的质心位置变化范围较小;所述的定位感兴趣区域是指PTZ摄像机检测到特定目标的感兴趣区域,采用自动控制的技术对感兴趣区域进行锁定跟踪。
CN 201110211549 2011-07-27 2011-07-27 双摄像机自动协同多目标鹰眼观测***及其观测方法 Expired - Fee Related CN102291569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110211549 CN102291569B (zh) 2011-07-27 2011-07-27 双摄像机自动协同多目标鹰眼观测***及其观测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110211549 CN102291569B (zh) 2011-07-27 2011-07-27 双摄像机自动协同多目标鹰眼观测***及其观测方法

Publications (2)

Publication Number Publication Date
CN102291569A true CN102291569A (zh) 2011-12-21
CN102291569B CN102291569B (zh) 2013-04-10

Family

ID=45337641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110211549 Expired - Fee Related CN102291569B (zh) 2011-07-27 2011-07-27 双摄像机自动协同多目标鹰眼观测***及其观测方法

Country Status (1)

Country Link
CN (1) CN102291569B (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903028A (zh) * 2012-09-28 2013-01-30 中国人民解放军国防科学技术大学 一种面向应急的多飞艇对地观测任务协同分配方法
CN103079059A (zh) * 2013-01-27 2013-05-01 中国科学技术大学 一种基于网格结合插值的单枪机—多球机联动方法
CN103260009A (zh) * 2012-02-15 2013-08-21 株式会社日立制作所 影像监视装置、监视***及监视***构建方法
CN103888731A (zh) * 2014-03-24 2014-06-25 公安部第三研究所 枪机-球机混合视频监控的结构化描述装置及***
CN103929624A (zh) * 2014-04-29 2014-07-16 金三立视频科技(深圳)有限公司 枪机、球机协同跟踪监控方法
CN104184986A (zh) * 2013-05-28 2014-12-03 华为技术有限公司 一种视频监控方法、装置及***
CN104424631A (zh) * 2013-08-23 2015-03-18 浙江大华技术股份有限公司 一种基于枪球联动***的坐标关联方法及装置
CN104574443A (zh) * 2015-01-15 2015-04-29 西安理工大学 一种全景摄像机间运动目标的协同跟踪方法
CN104867155A (zh) * 2015-06-02 2015-08-26 阔地教育科技有限公司 一种基于联合标定的目标跟踪方法及装置
CN105262971A (zh) * 2015-11-30 2016-01-20 浙江宇视科技有限公司 一种鱼眼摄像机录像的回放方法及装置
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及***
CN105407283A (zh) * 2015-11-20 2016-03-16 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
CN105516661A (zh) * 2015-12-10 2016-04-20 吴健辉 鱼眼相机与ptz相机相结合的主从目标监控***及方法
CN105898107A (zh) * 2016-04-21 2016-08-24 北京格灵深瞳信息技术有限公司 一种目标物体抓拍方法及***
CN105931409A (zh) * 2016-05-30 2016-09-07 重庆大学 一种基于红外与可见光摄像机联动的森林火灾监测方法
CN106454283A (zh) * 2016-12-14 2017-02-22 中国人民解放军军械工程学院 一种仿生鹰眼智能漫游跟踪装置及跟踪方法
CN106488115A (zh) * 2015-08-28 2017-03-08 佳能株式会社 控制装置和图像传感设备的控制方法
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像***的无人机检测与识别方法
CN106875403A (zh) * 2017-01-12 2017-06-20 北京航空航天大学 一种用于空中加油的仿鹰眼视觉运动目标检测方法
CN106888349A (zh) * 2017-03-30 2017-06-23 努比亚技术有限公司 一种拍摄方法及装置
CN107438152A (zh) * 2016-05-25 2017-12-05 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉方法及***
CN107578031A (zh) * 2017-09-26 2018-01-12 华东交通大学 一种基于主从摄像机的行人头肩检测与外貌捕捉方法
CN107621694A (zh) * 2017-09-15 2018-01-23 长春市求非光学科技有限公司 电子式天文望远镜跟踪星体的方法及电子式天文望远镜
CN107808400A (zh) * 2017-10-24 2018-03-16 上海交通大学 一种摄像机标定***及其标定方法
CN107862703A (zh) * 2017-10-31 2018-03-30 天津天地伟业信息***集成有限公司 一种多目联动ptz跟踪方法
CN108111818A (zh) * 2017-12-25 2018-06-01 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置
CN108304001A (zh) * 2018-02-09 2018-07-20 成都新舟锐视科技有限公司 一种人脸检测跟踪方法、球机头部转动控制方法及球机
CN109613935A (zh) * 2018-12-05 2019-04-12 苏州博众机器人有限公司 一种全景监控方法、***、设备和存储介质
CN110225226A (zh) * 2019-05-10 2019-09-10 华中科技大学 一种视觉跟踪***及方法
CN110532870A (zh) * 2019-07-24 2019-12-03 中国铁路上海局集团有限公司 一种轨道式门吊识别集装箱箱号的方法
CN111010506A (zh) * 2019-11-15 2020-04-14 华为技术有限公司 一种拍摄方法及电子设备
CN111145558A (zh) * 2019-12-27 2020-05-12 北京容联易通信息技术有限公司 一种基于高点视频监控的违法行为识别方法
CN111243028A (zh) * 2018-11-09 2020-06-05 杭州海康威视数字技术股份有限公司 一种电子设备及镜头关联方法、装置
CN112673621A (zh) * 2020-03-20 2021-04-16 深圳市大疆创新科技有限公司 自动对焦方法、装置、云台、设备和存储介质
CN113132627A (zh) * 2021-03-26 2021-07-16 张碧辉 Ptz相机的双级视场动态多目标检测与跟踪***及方法
CN113139986A (zh) * 2021-04-30 2021-07-20 东风越野车有限公司 一种集成式环境感知与多目标跟踪***
US11361543B2 (en) 2019-12-10 2022-06-14 Caterpillar Inc. System and method for detecting objects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040017386A1 (en) * 2002-07-26 2004-01-29 Qiong Liu Capturing and producing shared multi-resolution video
JP2006191411A (ja) * 2005-01-07 2006-07-20 Canon Inc カメラ制御装置、画像表示装置、カメラ制御方法、画像表示方法及びプログラム
CN101707671A (zh) * 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置
CN101969548A (zh) * 2010-10-15 2011-02-09 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置
KR101061012B1 (ko) * 2009-05-13 2011-09-01 (주)프로브디지털 광각영상을 이용한 이동물체추적 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040017386A1 (en) * 2002-07-26 2004-01-29 Qiong Liu Capturing and producing shared multi-resolution video
JP2006191411A (ja) * 2005-01-07 2006-07-20 Canon Inc カメラ制御装置、画像表示装置、カメラ制御方法、画像表示方法及びプログラム
KR101061012B1 (ko) * 2009-05-13 2011-09-01 (주)프로브디지털 광각영상을 이용한 이동물체추적 방법
CN101707671A (zh) * 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置
CN101969548A (zh) * 2010-10-15 2011-02-09 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103260009A (zh) * 2012-02-15 2013-08-21 株式会社日立制作所 影像监视装置、监视***及监视***构建方法
CN103260009B (zh) * 2012-02-15 2016-04-27 株式会社日立制作所 影像监视装置、监视***及监视***构建方法
CN102903028A (zh) * 2012-09-28 2013-01-30 中国人民解放军国防科学技术大学 一种面向应急的多飞艇对地观测任务协同分配方法
CN102903028B (zh) * 2012-09-28 2016-01-20 中国人民解放军国防科学技术大学 一种面向应急的多飞艇对地观测任务协同分配方法
CN103079059A (zh) * 2013-01-27 2013-05-01 中国科学技术大学 一种基于网格结合插值的单枪机—多球机联动方法
CN103079059B (zh) * 2013-01-27 2015-10-28 中国科学技术大学 一种基于网格结合插值的单枪机—多球机联动方法
CN104184986B (zh) * 2013-05-28 2018-06-05 华为技术有限公司 一种视频监控方法、装置及***
CN104184986A (zh) * 2013-05-28 2014-12-03 华为技术有限公司 一种视频监控方法、装置及***
WO2014190851A1 (zh) * 2013-05-28 2014-12-04 华为技术有限公司 一种视频监控方法、装置及***
US10412345B2 (en) 2013-05-28 2019-09-10 Huawei Technologies Co., Ltd. Video surveillance method, apparatus and system
CN104424631A (zh) * 2013-08-23 2015-03-18 浙江大华技术股份有限公司 一种基于枪球联动***的坐标关联方法及装置
CN103888731A (zh) * 2014-03-24 2014-06-25 公安部第三研究所 枪机-球机混合视频监控的结构化描述装置及***
CN103929624A (zh) * 2014-04-29 2014-07-16 金三立视频科技(深圳)有限公司 枪机、球机协同跟踪监控方法
CN103929624B (zh) * 2014-04-29 2017-07-04 深圳金三立视频科技股份有限公司 枪机、球机协同跟踪监控方法
CN104574443A (zh) * 2015-01-15 2015-04-29 西安理工大学 一种全景摄像机间运动目标的协同跟踪方法
CN104867155A (zh) * 2015-06-02 2015-08-26 阔地教育科技有限公司 一种基于联合标定的目标跟踪方法及装置
US10979614B2 (en) 2015-08-28 2021-04-13 Canon Kabushiki Kaisha Control apparatus, method of controlling imaging device, and non-transitory computer-readable storage medium that control an imaging device for tracking a tracking target
US10257402B2 (en) 2015-08-28 2019-04-09 Canon Kabushiki Kaisha Control apparatus, method of controlling image sensing device, and non-transitory computer-readable storage medium that controls an image sensing device for tracking and sensing a tracking target
CN106488115A (zh) * 2015-08-28 2017-03-08 佳能株式会社 控制装置和图像传感设备的控制方法
CN106488115B (zh) * 2015-08-28 2019-08-30 佳能株式会社 用于追踪并传感追踪目标的图像传感设备的控制装置及方法
CN105407283B (zh) * 2015-11-20 2018-12-18 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
CN105338248B (zh) * 2015-11-20 2018-08-28 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及***
CN105407283A (zh) * 2015-11-20 2016-03-16 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及***
CN105262971B (zh) * 2015-11-30 2018-11-13 浙江宇视科技有限公司 一种鱼眼摄像机录像的回放方法及装置
CN105262971A (zh) * 2015-11-30 2016-01-20 浙江宇视科技有限公司 一种鱼眼摄像机录像的回放方法及装置
CN105516661A (zh) * 2015-12-10 2016-04-20 吴健辉 鱼眼相机与ptz相机相结合的主从目标监控***及方法
CN105516661B (zh) * 2015-12-10 2019-03-29 吴健辉 鱼眼相机与ptz相机相结合的主从目标监控方法
CN105898107B (zh) * 2016-04-21 2019-01-25 北京格灵深瞳信息技术有限公司 一种目标物体抓拍方法及***
CN105898107A (zh) * 2016-04-21 2016-08-24 北京格灵深瞳信息技术有限公司 一种目标物体抓拍方法及***
CN107438152A (zh) * 2016-05-25 2017-12-05 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉方法及***
CN107438152B (zh) * 2016-05-25 2023-04-07 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉方法及***
CN105931409A (zh) * 2016-05-30 2016-09-07 重庆大学 一种基于红外与可见光摄像机联动的森林火灾监测方法
CN106454283B (zh) * 2016-12-14 2019-05-07 中国人民解放军陆军工程大学 一种仿生鹰眼智能漫游跟踪装置及跟踪方法
CN106454283A (zh) * 2016-12-14 2017-02-22 中国人民解放军军械工程学院 一种仿生鹰眼智能漫游跟踪装置及跟踪方法
CN106707296B (zh) * 2017-01-09 2019-03-05 华中科技大学 一种基于双孔径光电成像***的无人机检测与识别方法
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像***的无人机检测与识别方法
CN106875403A (zh) * 2017-01-12 2017-06-20 北京航空航天大学 一种用于空中加油的仿鹰眼视觉运动目标检测方法
CN106875403B (zh) * 2017-01-12 2018-05-11 北京航空航天大学 一种用于空中加油的仿鹰眼视觉运动目标检测方法
CN106888349A (zh) * 2017-03-30 2017-06-23 努比亚技术有限公司 一种拍摄方法及装置
CN107621694A (zh) * 2017-09-15 2018-01-23 长春市求非光学科技有限公司 电子式天文望远镜跟踪星体的方法及电子式天文望远镜
CN107578031A (zh) * 2017-09-26 2018-01-12 华东交通大学 一种基于主从摄像机的行人头肩检测与外貌捕捉方法
CN107808400B (zh) * 2017-10-24 2021-11-26 上海交通大学 一种摄像机标定***及其标定方法
CN107808400A (zh) * 2017-10-24 2018-03-16 上海交通大学 一种摄像机标定***及其标定方法
CN107862703A (zh) * 2017-10-31 2018-03-30 天津天地伟业信息***集成有限公司 一种多目联动ptz跟踪方法
CN107862703B (zh) * 2017-10-31 2022-02-08 天地伟业技术有限公司 一种多目联动ptz跟踪方法
CN108111818A (zh) * 2017-12-25 2018-06-01 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置
CN108304001A (zh) * 2018-02-09 2018-07-20 成都新舟锐视科技有限公司 一种人脸检测跟踪方法、球机头部转动控制方法及球机
CN111243028A (zh) * 2018-11-09 2020-06-05 杭州海康威视数字技术股份有限公司 一种电子设备及镜头关联方法、装置
CN111243028B (zh) * 2018-11-09 2023-09-08 杭州海康威视数字技术股份有限公司 一种电子设备及镜头关联方法、装置
CN109613935A (zh) * 2018-12-05 2019-04-12 苏州博众机器人有限公司 一种全景监控方法、***、设备和存储介质
CN110225226B (zh) * 2019-05-10 2020-09-08 华中科技大学 一种视觉跟踪***及方法
CN110225226A (zh) * 2019-05-10 2019-09-10 华中科技大学 一种视觉跟踪***及方法
CN110532870A (zh) * 2019-07-24 2019-12-03 中国铁路上海局集团有限公司 一种轨道式门吊识别集装箱箱号的方法
CN114915726A (zh) * 2019-11-15 2022-08-16 华为技术有限公司 一种拍摄方法及电子设备
US11831977B2 (en) 2019-11-15 2023-11-28 Huawei Technologies Co., Ltd. Photographing and processing method and electronic device
CN111010506A (zh) * 2019-11-15 2020-04-14 华为技术有限公司 一种拍摄方法及电子设备
US11361543B2 (en) 2019-12-10 2022-06-14 Caterpillar Inc. System and method for detecting objects
CN111145558A (zh) * 2019-12-27 2020-05-12 北京容联易通信息技术有限公司 一种基于高点视频监控的违法行为识别方法
CN112673621A (zh) * 2020-03-20 2021-04-16 深圳市大疆创新科技有限公司 自动对焦方法、装置、云台、设备和存储介质
WO2021184338A1 (zh) * 2020-03-20 2021-09-23 深圳市大疆创新科技有限公司 自动对焦方法、装置、云台、设备和存储介质
CN113132627A (zh) * 2021-03-26 2021-07-16 张碧辉 Ptz相机的双级视场动态多目标检测与跟踪***及方法
CN113139986A (zh) * 2021-04-30 2021-07-20 东风越野车有限公司 一种集成式环境感知与多目标跟踪***

Also Published As

Publication number Publication date
CN102291569B (zh) 2013-04-10

Similar Documents

Publication Publication Date Title
CN102291569B (zh) 双摄像机自动协同多目标鹰眼观测***及其观测方法
Held et al. Precision tracking with sparse 3d and dense color 2d data
CN101969548B (zh) 基于双目摄像的主动视频获取方法及装置
CN103716595B (zh) 全景拼接摄像机和球机联动控制方法及装置
CN106447680B (zh) 动态背景环境下雷达与视觉融合的目标检测与跟踪方法
CN104754302A (zh) 一种基于枪球联动***的目标检测跟踪方法
CN102917171B (zh) 基于像素的小目标定位方法
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析***及方法
US20080263592A1 (en) System for video control by direct manipulation of object trails
AU2021255130B2 (en) Artificial intelligence and computer vision powered driving-performance assessment
CN112699839B (zh) 一种动态背景下视频目标自动锁定及跟踪方法
CN104125433A (zh) 基于多球机联动结构的视频运动目标监控方法
CN102867311A (zh) 目标跟踪方法和目标跟踪设备
CN104166137A (zh) 一种基于雷达告警态势图显示的目标综合参数跟踪测量方法
CN105830426A (zh) 一种视频生成***的视频生成方法及装置
CN102819847A (zh) 基于ptz移动摄像头的运动轨迹提取方法
CN104217428A (zh) 一种融合特征匹配和数据关联的视频监控多目标跟踪方法
CN103581614A (zh) 基于ptz的视频中目标跟踪方法及***
Linger et al. Aerial image registration for tracking
Panev et al. Road curb detection and localization with monocular forward-view vehicle camera
Kimber et al. Trailblazing: Video playback control by direct object manipulation
CN103729861A (zh) 一种多目标跟踪方法
CN101894380A (zh) 一种全景视频中目标物体的自动跟踪方法
CN100496122C (zh) 利用单个摄像机进行主从视频跟踪的方法
Morita et al. Panoramic view-based navigation in outdoor environments based on support vector learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130410

Termination date: 20160727

CF01 Termination of patent right due to non-payment of annual fee