CN113487683A - 一种基于三目视觉的目标跟踪*** - Google Patents
一种基于三目视觉的目标跟踪*** Download PDFInfo
- Publication number
- CN113487683A CN113487683A CN202110800524.9A CN202110800524A CN113487683A CN 113487683 A CN113487683 A CN 113487683A CN 202110800524 A CN202110800524 A CN 202110800524A CN 113487683 A CN113487683 A CN 113487683A
- Authority
- CN
- China
- Prior art keywords
- ptz
- camera
- image
- module
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000004422 calculation algorithm Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000002789 length control Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于三目视觉的目标跟踪***,***包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块;提出了一种通过移动枪机构建虚拟双目视觉***的方法来提前估计得到场景深度信息,并以目标的接地点的深度约束来估计其空间位置,达到唯一确定PTZ控制参数的目的,从而提高了跟踪的准确性。
Description
技术领域
本发明涉及目标跟踪***,具体涉及一种基于三目视觉的目标跟踪***。
背景技术
在一些军事或民用设施的重点要害部位,如机场场坪、油库、化工厂等,人们对智能视频监控的性能有着更高的要求。
现有技术中通常采用双目视觉的方法进行目标跟踪,采用枪机或全向摄像机结合PTZ球机实现的双目视觉***,先使用枪机或全向摄像机检测运动目标,再用PTZ球机实现跟踪和放大抓拍。
利用PTZ球机对运动目标进行跟踪,是近年来一个研究热点,现有技术仅由目标在图像上的二维坐标进行PTZ控制参数的估算,未考虑目标与PTZ球机的距离信息,在场景深度变化较大的场合会产生较大的跟踪误差。虽然考虑了Z坐标给目标定位带来的影响,并利用消隐点等信息估计目标的深度信息,但这些特殊的约束条件对场景内容提出了附加要求,仅适用于场景内容存在可供参考的约束信息的情况。
综上所述,现有的目标跟踪方法估算存在跟踪结果不准确的问题。
发明内容
本发明的目的在于提供一种基于三目视觉的目标跟踪***,用以解决现有技术中的目标跟踪方法存在跟踪结果不准确的问题。
为了实现上述任务,本发明采用以下技术方案:
一种基于三目视觉的目标跟踪***,其特征在于,所述的***包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块;
所述的三目视觉模块用于采集包含有运动目标的图像,所述的三目视觉模块包括一个枪机和一对PTZ球机,所述的枪机和PTZ球机安装在滑轨上,所述的枪机沿着所述的滑轨在所述的两个PTZ球机中间移动;所述的PTZ球机零位时的光轴与枪机的朝向相同;一对PTZ球机的参数相同;
所述的三目视觉模块用于采集包含有同一运动目标的图像,获得枪机图像、第一PTZ球机图像和第二PTZ球机图像;
所述的相机标定模块用于对所述的枪机和两个PTZ球机进行内外参数标定,获得枪机内参、枪机外参、第一PTZ球机内部参数第一PTZ球机初始旋转矩阵R0_1、第一PTZ球机平移向量t0_1、第二PTZ球机内部参数第二PTZ球机初始旋转矩阵R0_2以及第二PTZ球机平移向量t0_2;
所述的目标位置获取模块用于根据所述的枪机图像进行预处理,获得目标区域坐标,所述的目标区域坐标为目标外接矩阵的坐标,所述的目标区域坐标包括矩形4个顶点以及1个中心点的坐标,mi(ui,vi),i=1,2,3,4,5;
所述的目标位置预测模块用于根据所述的目标区域坐标进行预测,获得目标区域预测坐标,所述目标区域预测坐标与所述的目标区域坐标一一对应,所述的目标区域预测坐标中包括2个接地点m3与m4,所述的2个接地点为矩形的顶点,所述的2个接地点连成的线平行于地面且与地面之间的距离小于目标区域预测坐标中其他2个接地点连成的线与地面之间的距离;
所述的虚拟枪机双目视觉标定模块存储有第一计算机程序,所述的第一计算机程序在被处理器执行时实现以下步骤:
步骤A、保持标定板位置固定,控制枪机移动至第一抓拍点上,拍摄一副含有标定板的图像,获得第一标定板图像PA;
步骤B、控制所述的枪机固定在第一抓拍点上,拍摄含有运动目标的图像,获得第一枪机图像;
步骤C、控制枪机移动至第二抓拍点后拍摄含有运动目标的图像,获得第二枪机图像;
步骤D、控制枪机固定在所述的第二抓拍点上,拍摄一副含有标定板的图像,获得第二标定板图像PB,,所述的标定板在拍摄获得第二标定板图像PB与拍摄获得第一标定板图像PA时均在所述枪机(3)的视场中部;
步骤E、利用所述的第一标定板图像PA与第二标定板图像PB进行标定,获得所述枪机的旋转向量RAB以及平移向量tAB;
所述的视差图获得模块中存储有第二计算机程序,所述的第二计算机程序在被处理器执行时实现以下步骤:
步骤a、根据所述的枪机(3)的旋转向量RAB以及平移向量tAB,采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正,获得重投影转换矩阵Q和枪机的旋转矩阵R;获得采集第一枪机图像时枪机(3)的第一内参矩阵KA和第一投影矩阵PA;
步骤b、采用式I将第一枪机图像的T点图像坐标(uA,vA)映射至摄像机坐标中,获得T点第一摄像机坐标(x′A,y′A);
步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换,采用式II获得枪机坐标系的T点第一观测坐标(xA,yA);
步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后,利用立体匹配算法,获得视差图;
步骤e、采用式III获得T点在视差图的图像坐标(u′A,v′A);
步骤f、根据所述的T点在视差图的图像坐标(u′A,v′A),获得图像中T点的深度信息;
所述的场景深度信息获取模块用于将枪机图像中的接地点m3与m4分别作为T点输入至视差图获得模块中,获得接地点m3与m4的视差值d3与d4;
所述的目标位置预测模块还用于根据所述的近似视差值d0,获得目标区域预测坐标中中心点坐标对应在枪机坐标系下的三维坐标XW(5)=(XW(5),YW(5),ZW(5));
所述的PT参数获取模块用于采用式IV获得第一PTZ球机的P向转动角度θP_1和第一PTZ球机的T向转动角度的值θT_1以及第二PTZ球机的P向转动角度θP_2和第二PTZ球机的T向转动角度θT_2:
其中XC_1=(XC_1,YC_1,ZC_1)为中心点在第一PTZ球机中的三维坐标,XC_1=R0_1XW(5)+t0_1;XC_2=(XC_2,YC_2,ZC_2)为中心点在第二PTZ球机中的三维坐标,XC_2=R0_2XW(5)+t0_2;
所述的Z参数获取模块中存储有第三计算机程序,所述的第三计算机程序在被处理器执行时实现以下步骤:
步骤1、采用式V获得第一PTZ球机旋转矩阵RPT_1以及第二PTZ球机旋转矩阵RPT_2;
步骤2、获得目标区域预测坐标中矩形的4个顶点经过PTZ球机光轴投影后的坐标(-Xmax,Ymax),(Xmax,Ymax),(Xmax,-Ymax)和(-Xmax,-Ymax);
步骤3、若矩形的长宽比例大于等于球机长宽比例时,设置X轴为主方向,否则Y轴为主方向;
其中k为比例系数,k为常数,ZE表示球机的变焦控制参数,ZE为常数,W1表示第一PTZ球机的分辨率的长,W1为常数,W2表示第二PTZ球机的分辨率的长,W2为常数;H1表示第一PTZ球机的分辨率的宽,H1为常数,H2表示第二PTZ球机的分辨率的宽,H2为常数;
步骤5、当步骤3中设置主方向为X轴时,采用牛顿法求解式VII,获得控制参数Z:
当步骤3中设置主方向为Y轴时,采用牛顿法求解式VIII,获得PTZ球机焦距控制参数值Z:
所述fx_1(Z)、fx_2(Z)、fy_1(Z)与fy_2(Z)均为相机标定模块标定得到的拟合函数;
所述的跟踪模块用于利用PT参数获取模块获得的第一PTZ球机的P向转动角度θP_1和第一PTZ球机的T向转动角度的值θT_1以及第二PTZ球机的P向转动角度θP_2和第二PTZ球机的T向转动角度θT_2控制第一PTZ球机和第二PTZ球机的PT角度;
用于利用Z参数获取模块分别获得第一PTZ球机和第二PTZ球机的焦距控制参数值后,控制第一PTZ球机和第二PTZ球机的焦距参数后,完成跟踪。
进一步地,视差图获得模块的步骤a中的立体校正算法为Bouguet立体校正算法。
进一步地,所述的相机标定模块以及虚拟枪机双目视觉标定模块中均采用张正友标定算法进行标定。
进一步地,所述的目标位置获取模块采用DACB前景检测算法对枪机图像进行处理,获得包含阴影和运动目标的前景区域后,利用阴影消除算法,获得目标区域坐标。
进一步地,目标位置预测模块用于利用Kalman预测算法对目标区域坐标进行预测,获得目标区域预测坐标。
本发明与现有技术相比具有以下技术效果:
1、本发明提供的基于三目视觉的目标跟踪***,提出了一种通过移动枪机构建虚拟双目视觉***的方法来提前估计得到场景深度信息,并以目标的接地点的深度约束来估计其空间位置,达到唯一确定PTZ控制参数的目的,从而提高了目标跟踪的准确性;
2、本发明提供的基于三目视觉的目标跟踪***,实现虚拟双目视觉***下的场景深度获取,并获得了实时图像和视差图的坐标对应关系,提高了场景深度获取的准确性,从而提高了目标跟踪的准确性;
3、本发明提供的基于三目视觉的目标跟踪***,充分利用作为主摄像机的枪机参数稳定的特性,结合***初始化阶段得到的场景深度信息,实现运动目标的三维坐标估计,并以此实现PTZ控制参数的计算,达到精确计算的目的;
4、本发明提供的基于三目视觉的目标跟踪***,利用场景深度信息和目标预测位置接地点计算得到PTZ球机的跟踪控制参数,从而提高了控制参数计算的准确性及便捷性。
附图说明
图1为本发明提供的三目视觉模块的结构示意图;
图2为本发明的一个实施例中提供的枪机在滑轨上的移动路径示意图;
图3为本发明的一个实施例中提供的PTZ控制参数计算流程示意图;
图4为本发明的一个实施例中提供的平行双目视觉***示意图;
图5为本发明的一个实施例中提供的预测目标位置与PT角度的几何关系示意图;
图6为本发明的一个实施例中提供的枪机图像中的运动目标描述示意图;
图7为本发明的一个实施例中提供的PT控制参数与实际转动角度的最小二乘拟合中P方向角度拟合结果图;
图8为本发明的一个实施例中提供的PT控制参数与实际转动角度的最小二乘拟合中T方向角度拟合结果图;
图9为本发明的一个实施例中提供的PTZ球机PT转动后目标位置示意图;
图10为本发明的一个实施例中提供的坐标系中的目标矩形重建示意图。
图中的标号代表:1-导轨,2-PTZ球机,3-枪机。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
以下对本发明涉及的定义或概念内涵做以说明:
枪机:枪机是监控类摄像机中一种。枪机外观长方体,前面是C/CS镜头接口。
PTZ球机:Pan-Tilt-Zoom球机,在安防监控应用中是Pan/Tilt/Zoom的简写,代表云台全方位(左右/上下)移动及镜头变倍、变焦控制的球型监控摄像机。
实施例
在实施例中公开了一种基于三目视觉的目标跟踪***,***包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块;
如图1所示,本发明提供的三目视觉模块用于采集包含有运动目标的图像,所述的三目视觉模块包括一个枪机3和两个PTZ球机2,所述的枪机3和PTZ球机2安装在滑轨1上,滑轨1平行于水平面设置,所述的枪机3沿着所述的滑轨1在所述的两个PTZ球机2中间移动;所述的PTZ球机2零位时的光轴与枪机3的朝向相同;一对PTZ球机的参数完全相同;
本发明利用枪机内部参数恒定的特性,如图1所示,通过将其固定在导轨1上的两个不同位置来实现虚拟的双目视觉***,并同时得到两个位置的标定模板图像以及场景图像。图2为枪机3在导轨1上的移动路径示意图。B位置枪机相对于A位置枪机之间的位置关系用旋转向量rAB和平移向量tAB描述。
所述的三目视觉模块用于采集包含有同一运动目标的图像,获得枪机图像、第一PTZ球机图像和第二PTZ球机图像;
所述的相机标定模块用于对所述的枪机和两个PTZ球机进行内外参数标定,获得枪机内参、枪机外参、第一PTZ球机内部参数第一PTZ球机初始旋转矩阵R0_1、第一PTZ球机平移向量t0_1、第二PTZ球机内部参数第二PTZ球机初始旋转矩阵R0_2以及第二PTZ球机平移向量t0_2;
本发明提供的PTZ参数获取方法如图3所示。
所述的目标位置获取模块用于根据所述的枪机图像进行预处理,获得目标区域坐标,所述的目标区域坐标为目标外接矩阵的坐标,所述的目标区域坐标包括矩形4个顶点以及1个中心点的坐标,mi(ui,vi),i=1,2,3,4,5;
在本实施例中,要得到目标预测位置处PTZ参数的精确控制参数,控制PTZ球机运动使得其光轴正对目标中心,则需要通过坐标变换得到目标在PTZ球机坐标系的三维坐标。
可选地,所述的目标位置获取模块采用DACB前景检测算法对枪机图像进行处理,获得包含阴影和运动目标的前景区域后,利用阴影消除算法,获得目标区域坐标。
在本实施例中,首先由DACB前景检测算法得到包含阴影和运动目标的前景区域,再由阴影消除算法剔除阴影成分得到运动目标的区域描述,获得目标区域坐标。
所述的目标位置预测模块用于根据所述的目标区域坐标进行预测,获得目标区域预测坐标,所述目标区域预测坐标与所述的目标区域坐标一一对应,所述的目标区域预测坐标中包括2个接地点m3与m4,所述的2个接地点为矩形的顶点,所述的2个接地点连成的线平行于地面且与地面之间的距离小于目标区域预测坐标中其他2个接地点连成的线与地面之间的距离;
可选地,目标位置预测模块用于利用Kalman预测算法对目标区域坐标进行预测,获得目标区域预测坐标。
理论上,通过背景建模算法得到目标在当前帧的图像位置,结合Kalman预测算法就可得到该目标在ΔT时间后的预测位置,如下式。
其中dx,dy为Kalman预测算法基于历史信息给出的物体在X、Y两个方向上的运动速度预测,ΔT为视频延时、控制延时等一系列延时的总和,如下式。
ΔT=TQJ+ΔTVISCA+ΔTPT
ΔTPT是PTZ球机将光轴从当前PT角度转动至目标中心所需的时间,转动角度越大,ΔTPT越大。而转动角度又受延迟总时间ΔT影响,即目标在ΔT延时内的移动会对PTZ球机跟踪精度带来影响。可以看出,PT转动角度和延迟时间是相互影响,互相制约的,因而难以同时得到两个参数的精确解。为此,本发明对该问题做了如下处理:
(1)以目标当前位置代替预测位置计算PZ控制需要转动的角度,得到PT延时;
(2)将PT延时代入上式,得到总延时ΔT,并利用其进一步计算各项控制参数。
采用这种类似迭代的处理方法,可以快速得到各项控制参数的近似解,并对PTZ球机实施跟踪控制。
在本实施例中,利用结合直方图统计信息的Kalman预测算法,即可得到目标在一定延时后的位置预测。并将结果用一个矩形表示,如图5、6所示,图5中标号3代表枪机,标号2代表PTZ球机,并以矩形中心点C为运动目标的中心位置,设这五点在枪机图像中的坐标为mi(ui,vi),i=1,2,3,4,5。其中3、4两点可以视为ΔT时间后目标运动至预测矩形与地面的接触点,称其为接地点。在本实施例中将借助这两个接地点近似估计目标矩形四个顶点以及中心点C的三维坐标。
所述的虚拟枪机双目视觉标定模块存储有第一计算机程序,所述的第一计算机程序在被处理器执行时实现以下步骤:
步骤A、保持标定板位置固定,控制枪机3移动至第一抓拍点上,拍摄一副含有标定板的图像,获得第一标定板图像PA;
步骤B、控制所述的枪机3固定在第一抓拍点上,拍摄含有运动目标的图像,获得第一枪机图像;
步骤C、控制枪机3移动至第二抓拍点后拍摄含有运动目标的图像,获得第二枪机图像;
步骤D、控制枪机3固定在所述的第二抓拍点上,拍摄一副含有标定板的图像,获得第二标定板图像PB,,所述的标定板在拍摄获得第二标定板图像PB与拍摄获得第一标定板图像PA时均在所述枪机3的视场中部;
步骤E、利用所述的第一标定板图像PA与第二标定板图像PB进行标定,获得所述枪机3的旋转向量RAB以及平移向量tAB;
为了简化操作,减少误差,本发明采用如下四步操作来实现标定和场景图像的抓拍:
(1)将枪机固定于B点,抓拍一幅场景图像SB,并保存;
(2)保持枪机位置不变,并将一张标定模板固定放置于枪机视野中部稍偏左(保证枪机移至A点后,模板仍能位于枪机的视场中部),抓拍一幅标定模板图像PB;
(3)保持标定模板位置不变,将枪机移至A点并可靠固定(作为最终的工作位置),抓拍第二幅标定模板图像PA;
(4)移走标定模板,抓拍第二幅场景图像SA。
不同于通常意义上的双目视觉***,本发明提供的双目***中的双目实为位于两不同位置的同一摄像机,故其内部参数完全一致且精确已知,因而仅需标定它们之间的相互位置关系。因此,仅使用两张标定模板图像也能取得较好的标定结果,得到足够精度的rAB和tAB。此处,标定使用GML MatLab Camera Calibration Toolbox工具箱。
可选地,步骤E中采用张正友标定算法进行标定。
在本实施中对枪机3进行了标定,标定得到是经罗德里格斯变换后的的旋转向量rAB和平移向量tAB,标定结果为:
需要说明的是,rAB向量的所有元素值以及tAB中的ty和tz分量理论上应全为0,而实际得到的向量元素并不为0而是三个较小的数值,这说明移动过程中产生了微小的偏差。它们的值越小,在立体校正时对图像的投影修正越少,最终获取的场景深度信息精度越高。
所述的视差图获得模块中存储有第二计算机程序,所述的第二计算机程序在被处理器执行时实现以下步骤:
步骤a、根据所述的枪机3的旋转向量RAB以及平移向量tAB,采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正,获得重投影转换矩阵Q和枪机的旋转矩阵R;获得采集第一枪机图像时枪机(3)的第一内参矩阵KA和第一投影矩阵PA;
在本发明中,如图2、4所示,由于A点位置的摄像机与B点摄像机为同一个摄像机,也就是双目摄像机中的两个摄像机完全相同,因此内参矩阵、投影矩阵等也完全相同,因此无需多次计算,仅采用左摄像机即可获得视差图。或者采用同样地方法对B点位置的摄像机(双目中的右相机),获得第二内参矩阵KB和第二投影矩阵PB,也可仅采用右摄像机获得视差图。
因此,A点或B点获得的第一内参矩阵KA或第二内参矩阵KB,第一投影矩阵PA或第二投影矩阵PB如下:
可选地,所述的步骤a中的立体校正算法为Bouguet立体校正算法。
在本实施例中,得到RAB和tAB以后,利用Bouguet立体校正算法对场景图像SA和SB进行立体校正,得到校正所需的投影矩阵(由于事先已经完成畸变校正,因此该校正时不考虑畸变参数,畸变向量所有元素值为0)。对两幅图像进行重投影就可完成图像的行对齐操作,再通过立体匹配算法即可得到视差图。
在本实施例中,校正后的左右摄像机矩阵KA和KB,与投影矩阵PA和PB如下式,其中A点位置上的枪机3为双目相机中的左相机,B点位置上的枪机3为双目相机中的右相机:
(其中,αA=αB=0,αA与αB均是像素畸变比例,由于生产工艺的改进,目前市场上的摄像机该参数都可以认为是0)。
投影矩阵可通过将齐次坐标中的3D点转换至齐次坐标系下的2D点,可得屏幕坐标为(x/w,y/w)。如果给定屏幕坐标和摄像机内参矩阵数矩阵,则可将二维点进行重投影得到三维坐标,重投影矩阵Q如下:。
式中除c′x外的所有参数都来自于第一枪机图像,c′x是主点在第二枪机图像上的x坐标。如果主光线在无穷远处相交,那么c′x=cx,并且右下角的项为0。
给定一个二维齐次坐标和对应的视差d,则可用下式将此点投影到三维坐标系中,得到其空间坐标(X/W,Y/W,Z/W),该坐标包含了空间点的深度信息。
通过上述Bouguet校正算法,可以得到重投影所需的各转换矩阵,如下式,实现图像对的立体校正,虚拟出一个如图4所示的平行双目立体视觉***,为后续的沿极线的匹配搜索和深度求取打下基础。
在本实施例中,由于在立体匹配过程,算法需要对两幅图像进行极线校正,因此得到的场景视差图和枪机实时图像之间的图像坐标并非一一对应,而是存在一个映射转换关系。在本发明中视A点位置摄像机为双目中的左摄像机,设摄像机内参矩阵为KQJ,畸变向量为dQJ,Bouguet立体校正算法得到第一旋转矩阵RA和第一投影矩阵PA。枪机图像已经提前完成畸变校正,故此处的dQJ用全0填充。
步骤b、采用式I将第一枪机图像的T点图像坐标(uA,vA)映射至摄像机坐标中,获得T点第一摄像机坐标(x′A,y′A);
在本实施例中,获得T点第一摄像机坐标(x′A,y′A)和T点第二摄像机坐标(x′B,y′B)如下式:
步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换,采用式II获得枪机坐标系的T点第一观测坐标(xA,yA);
在本实施例中,获得枪机坐标系的T点第一观测坐标(xA,yA)和T点第二观测坐标(xB,yB):
步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后,利用立体匹配算法,获得视差图;
步骤e、采用式III获得T点在视差图的图像坐标(u′A,v′A);
在本实施例中,获得T点在视差图的图像坐标(u′A,v′A)和(u′B,v′B):
步骤f、根据所述的T点在视差图的图像坐标(u′A,v′A),获得图像中T点的深度信息;
在本实施例中,可以根据视差图的图像坐标(u′A,v′A)或(u′B,v′B),获得图像中T点的深度信息,给定一个二维齐次坐标和对应的视差d,则可用将此点投影到三维坐标系中,得到其空间坐标(X/W,Y/W,Z/W),该坐标包含了空间点的深度信息。
所述的场景深度信息获取模块用于将枪机图像中的接地点m3与m4分别作为T点输入至视差图获得模块中,获得接地点m3与m4的视差值d3与d4;
在本实施例中,首先得到接地点m3与m4在视差图中的坐标位置md_3(ud_3,vd_3)和md_4(ud_4,vd_4),并从场景视差图中查询得到两点的视差值记为d3、d4,取它们的平均值d0作为整个目标矩形的四个顶点及中心点C的近似视差值,再根据式即可求得四个顶点及C点在枪机坐标系下的三维坐标XW(i)=(XW(i),YW(i),ZW(i))i=1,2,3,4,5。
所述的目标位置预测模块还用于根据所述的近似视差值d0,获得目标区域预测坐标中中心点坐标对应在枪机坐标系下的三维坐标XW(5)=(XW(5),YW(5),ZW(5));
所述的PT参数获取模块用于采用式I获得第一PTZ球机的P向转动角度θP_1和第一PTZ球机的T向转动角度的值θT_1以及第二PTZ球机的P向转动角度θP_2和第二PTZ球机的T向转动角度θT_2:
其中XC_1=(XC_1,YC_1,ZC_1)为中心点在第一PTZ球机中的三维坐标,XC_1=R0_1XW(5)+t0_1;XC_2=(XC_2,YC_2,ZC_2)为中心点在第二PTZ球机中的三维坐标,XC_2=R0_2XW(5)+t0_2;
在本实施例中,利用枪机坐标系与两PTZ球机坐标的初始关系R0_s和t0_s(s=1,2分别代表两个PTZ球机),计算C点在第一PTZ球机第二PTZ球机的摄像机坐标系中的坐标。
在本实施例中,还提供了实际PT参数求解的方法,采用下式获得:
根据PT参数的拟合公式,利用式计算PT实际所需的控制参数。
为了提高PTZ球机主动跟踪时的控制精度,本发明提出了一种时间加权的PT控制参数最小二乘拟合算法。
本发明对PT控制参数与角度之间采用如式数学模型:
PTZ球机工作一段时间以后,可以得到N组θ与θ′的对应数据,根据最小二乘法,可以得到参数a和b在最小二乘意义下的最优解,如下式。
对于PT控制参数,近期的数据变化趋势更能反映PT控制***的当前状态,对未来能提供更有用的信息,而早期数据的作用则小一些。因此,本实施例中根据数据的时间先后设置权值,权值采用指数权重法。为了防止长时间运行带来数据量过大的问题,本实施例设置了一个数据有效周期,即仅保留最近N组数据,对过期的数据不参与最小二乘运算。同时为了防止野点的干扰,本发明将判断误差过大的数据(即控制参数值与实际求解得到的精确值存在较大偏差的数据对)并将其忽略。本发明取N=20,根据N的取值,对1与权值总和的差值叠加到最新一组数据上,保证权值总和为1。
具体方法为:先假设最新数据(第N组)的权重为wN=s(0<s<1),第t组数据的权重为wt=s(1-s)N-t。由于这N个权值之和小于1,因此本发明将剩余的权值进行N等分再叠加到已有的N个权值上,得到归一化的N组数据权值如下式。表1为N取20时各组数据的权值计算结果(取s=0.2,有wRest=0.011529),使用权值后的参数求解公式如式所示。
表1 N=20时的权值分布(s=0.2)
图7、8所示为左PTZ球机20次跟踪实验后的加权最小二乘法参数拟合效果,图7为P方向角度拟合结果,图8为T方向角度拟合结果。下式为得到的拟合函数。需要说明的是,该拟合函数的参数会随着跟踪的次数增多、拟合数据的更新而不断变化。这种在线更新拟合函数的机制可以有效地适应不断变化的PTZ球机转动角度误差,保证控制参数拟合的准确性和可持续性。
所述的Z参数获取模块中存储有第一计算机程序,所述的第一计算机程序在被处理器执行时实现以下步骤:
步骤a、采用式V获得第一PTZ球机旋转矩阵RPT_1以及第二PTZ球机旋转矩阵RPT_2;
步骤b、获得目标区域预测坐标中矩形的4个顶点经过PTZ球机光轴投影后的坐标(-Xmax,Ymax),(Xmax,Ymax),(Xmax,-Ymax)和(-Xmax,-Ymax);
步骤c、若矩形的长宽比例大于等于球机长宽比例时,设置X轴为主方向,否则Y轴为主方向;
其中k为比例系数,k为常数,ZE表示球机的变焦控制参数,ZE为常数,W1表示第一PTZ球机的分辨率的长,W1为常数,W2表示第二PTZ球机的分辨率的长,W2为常数;H1表示第一PTZ球机的分辨率的宽,H1为常数,H2表示第二PTZ球机的分辨率的宽,H2为常数;
步骤e、当步骤c中设置的主方向为X轴时,采用牛顿法求解式VII,获得控制参数Z:
当步骤c中设置的主方向为Y轴时,采用牛顿法求解式VIII,获得控制参数Z:
所述fx_1(Z)、fx_2(Z)、fy_1(Z)与fy_2(Z)均为相机标定模块标定得到的拟合函数。
在本实施例中,为了计算Z控制参数,利用得到的PT控制参数,将以如下五个步骤介绍Z参数的计算过程。由于两PTZ球机控制参数计算过程相同,故此处不考虑PTZ球机1、2的区别。
(1)计算PT运动后目标在PTZ球机坐标系中的三维坐标下式描述了利用PTZ球机的PT动作生成的旋转矩阵RPT(摄像机作纯旋转运动,故不考虑t向量),将PTZ球机坐标系中目标矩形四个顶点进行旋转变换得到其在PTZ球机坐标系中的三维坐标的过程。
(2)目标矩形重构
得到如图9所示的PT跟踪结果后,就可以认为PTZ球机的光轴穿过目标的中心,原来定义的矩形由于投射的影响而不再是一个矩形(此处不考虑各点在Z轴坐标上的差异),如图10中的P′1P′2P′3P′4。因此,本发明选取X,Y两个方向上的最大坐标值Xmax和Ymax,如式,并以它们为参数重新构建矩形P″1P″2P″3P″4。重构后,P″1P″2P″3P″4四个顶点的X、Y方向坐标分别为(-Xmax,Ymax),(Xmax,Ymax),(Xmax,-Ymax)和(-Xmax,-Ymax)。
(3)主方向选取
在本实施例中,PTZ球机成像分辨率为704×576,即有长宽比例q=W/H=704/576=1.222。定义矩形中长宽比例高于q时X为主方向,否则Y为主方向,如下式。
(4)理论焦距求解
在本实施例中期望最终成像大小在整个PTZ球机图像占据一个合适的比例,该比例由主方向上的长或宽确定,如图10。设该比例为k(k<1),因此在确定主方向后,就可以根据小孔成像模型中的三角几何关系,求出实现主方向上成像大小占PTZ球机图像大小比例为k时的最佳焦距,式为以主方向为X时的焦距计算过程。
(5)Z控制参数求解
根据PTZ球机标定时得到的fx(或fy)拟合函数fx(Z),构造等式,并利用牛顿法求解使等式成立时的Z值,该值即为PTZ球机的焦距控制参数值。当主方向为Y时,步骤(4)、(5)中的焦距则用fy代替,式中的W=704用H=576代替。
在本实施例中利用三目视觉***灵活的***架构,实现了场景深度的估计,并结合运动目标的预测位置得到PTZ球机的跟踪控制参数,提高PTZ控制参数获取的准确性。
跟踪模块用于利用PT参数获取模块获得的第一PTZ球机的P向转动角度θP_1和第一PTZ球机的T向转动角度的值θT_1以及第二PTZ球机的P向转动角度θP_2和第二PTZ球机的T向转动角度θT_2控制第一PTZ球机和第二PTZ球机的PT角度;
用于利用Z参数获取模块分别获得第一PTZ球机和第二PTZ球机的焦距控制参数值后,控制第一PTZ球机和第二PTZ球机的焦距参数后,完成跟踪。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法。
Claims (5)
1.一种基于三目视觉的目标跟踪***,其特征在于,所述的***包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块;
所述的三目视觉模块用于采集包含有运动目标的图像,所述的三目视觉模块包括一个枪机(3)和一对PTZ球机(2),所述的枪机(3)和PTZ球机(2)安装在滑轨(1)上,所述的滑轨(1)平行于水平面设置,所述的枪机(3)沿着所述的滑轨(1)在所述的一对PTZ球机(2)中间移动;所述的PTZ球机(2)零位时的光轴与枪机(3)的朝向相同;所述的一对PTZ球机(2)的参数相同;
所述的三目视觉模块用于采集包含有同一运动目标的图像,获得枪机图像、第一PTZ球机图像和第二PTZ球机图像;
所述的相机标定模块用于对所述的枪机和两个PTZ球机进行内外参数标定,获得枪机内参、枪机外参、第一PTZ球机内部参数第一PTZ球机初始旋转矩阵R0_1、第一PTZ球机平移向量t0_1、第二PTZ球机内部参数第二PTZ球机初始旋转矩阵R0_2以及第二PTZ球机平移向量t0_2;
所述的目标位置获取模块用于根据所述的枪机图像进行预处理,获得目标区域坐标,所述的目标区域坐标为目标外接矩阵的坐标,所述的目标区域坐标包括矩形4个顶点以及1个中心点的坐标,mi(ui,vi),i=1,2,3,4,5;
所述的目标位置预测模块用于根据所述的目标区域坐标进行预测,获得目标区域预测坐标,所述目标区域预测坐标与所述的目标区域坐标一一对应,所述的目标区域预测坐标中包括2个接地点m3与m4,所述的2个接地点为矩形的顶点,所述的2个接地点连成的线平行于地面且与地面之间的距离小于目标区域预测坐标中其他2个接地点连成的线与地面之间的距离;
所述的虚拟枪机双目视觉标定模块存储有第一计算机程序,所述的第一计算机程序在被处理器执行时实现以下步骤:
步骤A、保持标定板位置固定,控制枪机(3)移动至第一抓拍点上,拍摄一副含有标定板的图像,获得第一标定板图像PA;
步骤B、控制所述的枪机(3)固定在第一抓拍点上,拍摄含有运动目标的图像,获得第一枪机图像;
步骤C、控制枪机(3)移动至第二抓拍点后拍摄含有运动目标的图像,获得第二枪机图像;
步骤D、控制枪机(3)固定在所述的第二抓拍点上,拍摄一副含有标定板的图像,获得第二标定板图像PB,,所述的标定板在拍摄获得第二标定板图像PB与拍摄获得第一标定板图像PA时均在所述枪机(3)的视场中部;
步骤E、利用所述的第一标定板图像PA与第二标定板图像PB进行标定,获得所述枪机(3)的旋转向量RAB以及平移向量tAB;
所述的视差图获得模块中存储有第二计算机程序,所述的第二计算机程序在被处理器执行时实现以下步骤:
步骤a、根据所述的枪机(3)的旋转向量RAB以及平移向量tAB,采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正,获得重投影转换矩阵Q和枪机的旋转矩阵R;获得采集第一枪机图像时枪机(3)的第一内参矩阵KA和第一投影矩阵PA;
步骤b、采用式I将第一枪机图像的T点图像坐标(uA,vA)映射至摄像机坐标中,获得T点第一摄像机坐标(x′A,y′A);
步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换,采用式II获得枪机坐标系的T点第一观测坐标(xA,yA);
步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后,利用立体匹配算法,获得视差图;
步骤e、采用式III获得T点在视差图的图像坐标(u′A,v′A);
步骤f、根据所述的T点在视差图的图像坐标(u′A,v′A),获得图像中T点的深度信息;
所述的场景深度信息获取模块用于将枪机图像中的接地点m3与m4分别作为T点输入至视差图获得模块中,获得接地点m3与m4的视差值d3与d4;
所述的目标位置预测模块还用于根据所述的近似视差值d0,获得目标区域预测坐标中中心点坐标对应在枪机坐标系下的三维坐标XW(5)=(XW(5),YW(5),ZW(5));
所述的PT参数获取模块用于采用式IV获得第一PTZ球机的P向转动角度θP_1和第一PTZ球机的T向转动角度的值θT_1以及第二PTZ球机的P向转动角度θP_2和第二PTZ球机的T向转动角度θT_2:
其中XC_1=(XC_1,YC_1,ZC_1)为中心点在第一PTZ球机中的三维坐标,XC_1=R0_1XW(5)+t0_1;XC_2=(XC_2,YC_2,ZC_2)为中心点在第二PTZ球机中的三维坐标,XC_2=R0_2XW(5)+t0_2;
所述的Z参数获取模块中存储有第三计算机程序,所述的第三计算机程序在被处理器执行时实现以下步骤:
步骤1、采用式V获得第一PTZ球机旋转矩阵RPT_1以及第二PTZ球机旋转矩阵RPT_2;
步骤2、获得目标区域预测坐标中矩形的4个顶点经过PTZ球机光轴投影后的坐标(-Xmax,Ymax),(Xmax,Ymax),(Xmax,-Ymax)和(-Xmax,-Ymax);
步骤3、若矩形的长宽比例大于等于球机长宽比例时,设置X轴为主方向,否则Y轴为主方向;
其中k为比例系数,k为常数,ZE表示球机的变焦控制参数,ZE为常数,W1表示第一PTZ球机的分辨率的长,W1为常数,W2表示第二PTZ球机的分辨率的长,W2为常数;H1表示第一PTZ球机的分辨率的宽,H1为常数,H2表示第二PTZ球机的分辨率的宽,H2为常数;
步骤5、当步骤3中设置主方向为X轴时,采用牛顿法求解式VII,获得控制参数Z:
当步骤3中设置主方向为Y轴时,采用牛顿法求解式VIII,获得PTZ球机焦距控制参数值Z:
所述fx_1(Z)、fx_2(Z)、fy_1(Z)与fy_2(Z)均为相机标定模块标定得到的拟合函数;
所述的跟踪模块用于利用PT参数获取模块获得的第一PTZ球机的P向转动角度θP_1和第一PTZ球机的T向转动角度的值θT_1以及第二PTZ球机的P向转动角度θP_2和第二PTZ球机的T向转动角度θT_2控制第一PTZ球机和第二PTZ球机的PT角度;
用于利用Z参数获取模块分别获得第一PTZ球机和第二PTZ球机的焦距控制参数值后,控制第一PTZ球机和第二PTZ球机的焦距参数后,完成跟踪。
2.如权利要求1所述的基于三目视觉的目标跟踪***,其特征在于,视差图获得模块的步骤a中的立体校正算法为Bouguet立体校正算法。
3.如权利要求1所述的基于三目视觉的目标跟踪***,其特征在于,所述的相机标定模块以及虚拟枪机双目视觉标定模块中均采用张正友标定算法进行标定。
4.如权利要求1所述的基于三目视觉的目标跟踪***,其特征在于,所述的目标位置获取模块采用DACB前景检测算法对枪机图像进行处理,获得包含阴影和运动目标的前景区域后,利用阴影消除算法,获得目标区域坐标。
5.如权利要求1所述的基于三目视觉的目标跟踪***,其特征在于,目标位置预测模块用于利用Kalman预测算法对目标区域坐标进行预测,获得目标区域预测坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110800524.9A CN113487683B (zh) | 2021-07-15 | 2021-07-15 | 一种基于三目视觉的目标跟踪*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110800524.9A CN113487683B (zh) | 2021-07-15 | 2021-07-15 | 一种基于三目视觉的目标跟踪*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113487683A true CN113487683A (zh) | 2021-10-08 |
CN113487683B CN113487683B (zh) | 2023-02-10 |
Family
ID=77939756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110800524.9A Active CN113487683B (zh) | 2021-07-15 | 2021-07-15 | 一种基于三目视觉的目标跟踪*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113487683B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115713565A (zh) * | 2022-12-16 | 2023-02-24 | 盐城睿算电子科技有限公司 | 一种双目伺服相机目标定位方法 |
WO2023115561A1 (zh) * | 2021-12-24 | 2023-06-29 | 深圳市大疆创新科技有限公司 | 一种可移动平台的移动控制方法、装置以及可移动平台 |
CN117788781A (zh) * | 2024-02-28 | 2024-03-29 | 深圳市易检车服科技有限公司 | 标定物识别方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102497543A (zh) * | 2012-01-06 | 2012-06-13 | 合肥博微安全电子科技有限公司 | 一种基于dsp的多目标跟踪方法及*** |
WO2012151777A1 (zh) * | 2011-05-09 | 2012-11-15 | 上海芯启电子科技有限公司 | 多目标跟踪特写拍摄视频监控*** |
CN103024350A (zh) * | 2012-11-13 | 2013-04-03 | 清华大学 | 一种双目ptz视觉***的主从跟踪方法及应用该方法的*** |
CN106709953A (zh) * | 2016-11-28 | 2017-05-24 | 广东非思智能科技股份有限公司 | 一种用于多目标自动跟踪监控***中的单点定标方法 |
CN110415278A (zh) * | 2019-07-30 | 2019-11-05 | 中国人民解放***箭军工程大学 | 直线移动ptz相机辅助双目ptz视觉***的主从跟踪方法 |
WO2021004548A1 (zh) * | 2019-07-08 | 2021-01-14 | 中原工学院 | 一种基于双目立体视觉***的车辆智能测速方法 |
-
2021
- 2021-07-15 CN CN202110800524.9A patent/CN113487683B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012151777A1 (zh) * | 2011-05-09 | 2012-11-15 | 上海芯启电子科技有限公司 | 多目标跟踪特写拍摄视频监控*** |
CN102497543A (zh) * | 2012-01-06 | 2012-06-13 | 合肥博微安全电子科技有限公司 | 一种基于dsp的多目标跟踪方法及*** |
CN103024350A (zh) * | 2012-11-13 | 2013-04-03 | 清华大学 | 一种双目ptz视觉***的主从跟踪方法及应用该方法的*** |
CN106709953A (zh) * | 2016-11-28 | 2017-05-24 | 广东非思智能科技股份有限公司 | 一种用于多目标自动跟踪监控***中的单点定标方法 |
WO2021004548A1 (zh) * | 2019-07-08 | 2021-01-14 | 中原工学院 | 一种基于双目立体视觉***的车辆智能测速方法 |
CN110415278A (zh) * | 2019-07-30 | 2019-11-05 | 中国人民解放***箭军工程大学 | 直线移动ptz相机辅助双目ptz视觉***的主从跟踪方法 |
Non-Patent Citations (4)
Title |
---|
YUNPENG MA ET AL: "An Intelligent Object Detection and Measurement System based on Trinocular Vision", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSRTEMS FOR VIDEO TECHNOLOGY》 * |
ZHIGAO CUI ET AL: "Cooperative object tracking using dual-pan-tilt-zoom cameras based on planar ground assumption", 《IET COMPUTER VIS.》 * |
崔智高等: "采用地平面约束的双目PTZ主从跟踪方法", 《红外与激光工程》 * |
翁翔宇: "三目混合立体视觉***检测技术研究", 《中国知网》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023115561A1 (zh) * | 2021-12-24 | 2023-06-29 | 深圳市大疆创新科技有限公司 | 一种可移动平台的移动控制方法、装置以及可移动平台 |
CN115713565A (zh) * | 2022-12-16 | 2023-02-24 | 盐城睿算电子科技有限公司 | 一种双目伺服相机目标定位方法 |
CN117788781A (zh) * | 2024-02-28 | 2024-03-29 | 深圳市易检车服科技有限公司 | 标定物识别方法、装置、电子设备及存储介质 |
CN117788781B (zh) * | 2024-02-28 | 2024-06-07 | 深圳市易检车服科技有限公司 | 标定物识别方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113487683B (zh) | 2023-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113487683B (zh) | 一种基于三目视觉的目标跟踪*** | |
CN113534737B (zh) | 一种基于多目视觉的ptz球机控制参数获取*** | |
EP2913796B1 (en) | Method of generating panorama views on a mobile mapping system | |
WO2018076154A1 (zh) | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 | |
CN112288826B (zh) | 双目相机的标定方法、装置及终端 | |
US20200334842A1 (en) | Methods, devices and computer program products for global bundle adjustment of 3d images | |
CN112215880B (zh) | 一种图像深度估计方法及装置、电子设备、存储介质 | |
AU2011312140A1 (en) | Rapid 3D modeling | |
KR20220113781A (ko) | 환경의 지형을 측정하는 방법 | |
KR20130121290A (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
CN112837207A (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
CA3131980A1 (en) | Processing of depth maps for images | |
CN112396663A (zh) | 一种多深度相机的可视化标定方法、装置、设备和介质 | |
WO2019045722A1 (en) | METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR 3D CARTOGRAPHY ESTIMATION AND 3D IMAGE POSES | |
CN108898550B (zh) | 基于空间三角面片拟合的图像拼接方法 | |
Bastanlar | A simplified two-view geometry based external calibration method for omnidirectional and PTZ camera pairs | |
CN111627048B (zh) | 多摄像机的协同目标搜索方法 | |
CN113763480A (zh) | 一种多镜头全景摄像机组合标定方法 | |
CN113470118B (zh) | 一种基于三目视觉的目标尺寸估计*** | |
JP7033294B2 (ja) | 撮像システム、撮像方法 | |
CN113240749B (zh) | 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法 | |
CN113489964B (zh) | 一种基于三目视觉的场景深度信息获取*** | |
CN114935316A (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
CN110300991A (zh) | 表面图形确定方法和装置 | |
WO2019045725A1 (en) | METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR CREATING TEXTURED 3D IMAGES |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |