CN117152243A - 一种基于ptz相机单目变焦的告警定位方法 - Google Patents

一种基于ptz相机单目变焦的告警定位方法 Download PDF

Info

Publication number
CN117152243A
CN117152243A CN202311145105.1A CN202311145105A CN117152243A CN 117152243 A CN117152243 A CN 117152243A CN 202311145105 A CN202311145105 A CN 202311145105A CN 117152243 A CN117152243 A CN 117152243A
Authority
CN
China
Prior art keywords
camera
coordinate system
coordinates
target
longitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311145105.1A
Other languages
English (en)
Inventor
徐逸飘
郭烨静
席慧颖
魏国廷
宋振波
袁夏
陆建峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202311145105.1A priority Critical patent/CN117152243A/zh
Publication of CN117152243A publication Critical patent/CN117152243A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种基于PTZ相机单目变焦的告警定位方法。首先建立像素坐标系，图像坐标系；再利用PTZ相机采集图像信息，并对目标进行图像匹配，通过理想变焦模型条件修正获取匹配点坐标；将像素坐标转换为图像坐标，根据变焦模型计算出目标在相机坐标系下的三维坐标，利用三维距离公式可求得目标距离；最后将目标在相机坐标系下的坐标转换到世界坐标系下，并将ECEF坐标转换为LLA坐标。本发明在图像匹配的基础上，根据目标投影匹配点的像素位置可以在无需知道目标经纬高的前提下，直接计算出目标相对于相机的坐标，实现测距；同时，利用相机位置信息可以进一步推算出目标的经纬度，实现单目定位。

Description

一种基于PTZ相机单目变焦的告警定位方法
技术领域
本发明属于单目相机定位领域，具体为一种基于PTZ相机单目变焦的告警定位方法。
背景技术
近年来，各个领域对安全防范和现场记录报警***的需求不断增强。针对异常情况，如果监控***能准确定位与识别异常目标，从而有效实施后续的应急救援方案，可以减少后续可能导致的人力、物力和财力损失。
传统的静态视觉***由于摄像机是固定的且不能控制，其实用性大大降低。而PTZ摄像机可以全方位移动以及变倍，为用户提供更大的自由度，具备更多的优势。
目前基于机器视觉进行距离测算的方法大致分为双目测距和单目测距。双目测距精度较高，但存在对摄像头安装和协同性要求较高、处理计算量大、对处理器性能要求较高以及测距实时性能不好的问题。而单目视觉测距***可以比较好地解决上述问题，其适用范围广、操作简单、安装成本低、计算量较小、处理单幅图像速度快，可以较好地保证处理的实时性。
常见的单目PTZ相机定位方法有四种，分别是视觉特征提取和匹配方法，运动估计和跟踪方法，深度学习方法和多视角信息融合。视觉特征提取和匹配方法通常使用静态图像测距模型来估计物体的距离；在提取目标物体的视觉特征后，通过匹配这些特征，推算出物体的位置，进而得到物体距离。运动估计和跟踪方法一般利用连续多帧图像测距模型来实现；通过分析相邻帧之间物体的运动信息和视差变化等特征估计物***置；但算法的精度和稳定性会受到噪声和运动模型的影响。深度学习方法虽然可以直接从图像中预测目标的位置，但其训练和推理过程需要大量的计算资源。多视角信息融合利用不同视角下的图像信息来推断物体的距离，但其涉及到跨视角的特征匹配、立体视觉等复杂技术，对计算资源和算法复杂度要求较高。
发明内容
为了克服现有技术的不足，本发明提出了一种基于PTZ相机单目变焦的告警定位方法。
实现本发明目的的技术方案为：一种基于PTZ相机单目变焦的告警定位方法，具体步骤为：
步骤1：建立像素坐标系，图像坐标系；
步骤2：在固定视角，利用PTZ相机拍摄一组在不同放大倍数下告警目标所在场景图像；
步骤3：对不同放大倍数下拍摄的图像的公共区域进行图像匹配，并进行修正，获得匹配点像素坐标；
步骤4：将匹配点像素坐标转化为图像坐标；
步骤5：建立相机坐标系，相机初始坐标系，相机原始坐标系；
步骤6：计算目标点在相机坐标系的三维坐标；
步骤7：将目标点三维坐标从相机坐标系转换到相机初始坐标系；
步骤8：建立初始坐标系到相机原始坐标系的转换关系；
步骤9：建立相机原始坐标系到世界坐标系的转换关系；
步骤10：建立世界坐标系到经纬高坐标系的转换关系；
步骤11：利用告警目标真实坐标求解PTZ相机的初始朝向，将求解出的初始朝向角代入步骤8，利用步骤8至步骤10建立的转换关系，利用迭代法求解出告警目标的经纬高坐标。
优选地，将匹配点像素坐标转化为图像坐标的转换公式为：
其中，dx为每个像素在x轴方向上的物理尺寸，dy为每个像素在y轴方向上的物理尺寸，u0,v0分别为图像坐标系的原点o在像素坐标系中的横坐标和纵坐标，(u1,v1),(u2,v2)分别为两个匹配点的像素坐标，(i,j),(k,n)点的图像坐标。
优选地，步骤5中采用图像坐标系原点o作为相机坐标系的原点，相机光轴指向的方向为Zc轴正方向，建立相机坐标系；
构建PTZ相机的参数P＝0,T＝0时相机所处方位的坐标系作为相机初始坐标系；
设定相机原始坐标系X'Y'Z'：Z'轴指向北极，Y'轴垂直于地面指向地心的反方向，则根据右手法则，构建相机原始坐标系X'Y'Z'。
优选地，计算目标点在相机坐标系的三维坐标的具体方法为：
计算不同放大倍数下的焦距：
f1＝fmin*Z1,f2＝fmin*Z2,
其中fmin是相机的最小焦距，Z1、Z2分别为一组图像的放大倍数；
根据变焦定位模型计算目标点s在相机坐标系XcYcZc下的三维坐标(xc,yc,zc)，变换公式如下：
式中，(i,j),(k,n)分别为匹配点的图像坐标。
优选地，将目标点三维坐标从相机坐标系转换到相机初始坐标系的具体公式为：
式中，(xc,yc,zc)为目标点三维坐标，(x0,y0,z0)为目标初始坐标，P为相机相机在水平平面上的旋转角度，T为相机在垂直平面上的旋转角度。
优选地，初始坐标系到相机原始坐标系的转换关系具体为：
式中，(yaw,pitch,roll)为PTZ相机的初始朝向角，(x0,y0,z0)为目标初始坐标，(x',y',z')为目标原始坐标。
优选地，相机原始坐标系到世界坐标系的转换关系具体为：
式中，(x',y',z')为目标原始坐标，(xw,yw,zw)为目标世界坐标，R为旋转矩阵，Tt为平移矩阵，是相机原点在世界坐标系下的坐标。
优选地，世界坐标系到经纬高坐标系的转换关系的具体公式为：
式中，(xw,yw,zw)为目标世界坐标，N为基准椭圆体的曲率半径，(lon,lat,alt)为目标的经纬高坐标，f为极扁率。由上式可知，经度lon可以由xw,yw直接求得，而纬度lat和高度alt后续需要采用迭代法进行计算。
优选地，利用告警目标真实坐标求解PTZ相机的初始朝向的具体方法为：
利用PTZ相机在当前视角已知告警目标真实经纬高坐标的一组图像，重复步骤3至步骤7，获得匹配点在相机初始坐标系X0Y0Z0下的坐标(xypr0,yypr0,zypr0)；
将告警目标真实经纬高坐标(lont,latt,altt)反推到相机原始坐标系X'Y'Z'下，转换后的坐标为(xt',yt',zt')，反推公式为
其中，(lont,latt,altt)为告警目标真实经纬高坐标，(lonc,latc),altc)为相机经纬高坐标，N为基准椭圆体的曲率半径，f为极扁率，a为长轴长，H＝altc+h，alt为相机海拔，h为相机距地高度；
利用如下方程求解初始朝向角(yaw,pitch,roll)：
优选地，根据步骤10的世界坐标系到经纬高坐标系的转换公式，采用迭代法计算纬度和高度的具体方法为：
初次迭代时，初始化纬度为零，得
具体迭代公式如下，
Δalt＝alti-alti-1,Δlat＝lati-alti-1,
利用以上迭代公式不断循环迭代，当Δalt<0.001m,Δlat<0.001rad时，即可停止迭代，获得最终的告警目标的经纬高坐标(lon,lat,alt)。
本发明与现有技术相比，其显著优点为：
1、本发明可以在无需知道目标物体高度的前提下测得目标距离，进行目标定位。
2、本发明只需要一个变焦相机，成本更低，且相机不包含运动机械结构，对空间要求更低，可以在更多的场景下安装使用，有利于普及推广。
3、本发明提供的方法简单易行，可移植性高，同时计算量适中，满足实时性测距定位需求。
附图说明
图1是本发明的变焦定位方法流程示意图。
图2是本发明的变焦定位模型示意图。
图3是本发明的像素坐标系示意图。
图4是本发明的变焦定位模型在相机坐标系下的示意图。
图5是本发明的一对变焦图像。
图6是本发明的相机原始坐标系和世界坐标系的示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，一种基于PTZ相机单目变焦的告警定位方法，首先建立像素坐标系，图像坐标系；再利用PTZ相机采集图像信息，并对目标进行图像匹配，通过理想变焦模型条件修正获取匹配点坐标；将像素坐标转换为图像坐标，根据变焦模型计算出目标在相机坐标系下的三维坐标，利用三维距离公式可求得目标距离；最后将目标在相机坐标系下的坐标转换到世界坐标系下，并将ECEF坐标转换为LLA坐标。本发明包括以下步骤：
步骤1：建立像素坐标系，图像坐标系；
在传统的相机中，光线从被摄物体通过透镜***进入相机，然后在图像传感器上形成倒立的实时图像，所以相机拍摄后的图像一般经过水平翻转来保持视觉一致性。
一般地，都是以图像的左上角点作为像素坐标系的原点o'，竖直向下方向为v轴正方向，水平向右方向为u轴正方向，如图3(a)所示；
同理，在相机的图像传感器上，以相机成像平面的左下角点为像素坐标系的原点o'，竖直向上方向为v轴正方向，水平向右方向为u轴正方向，建立像素坐标系o'-uv，如图3(b)所示。
以单目相机光轴所在的直线和单目相机成像平面的交点作为图像坐标系的原点o，竖直向上方向为y轴正方向，水平向右方向为x轴正方向，建立图像坐标系o-xy，如图2所示。
步骤2：PTZ相机发现异常情况时，相机自主对准告警目标s所在场景并固定视角，保证相机参数P、T不变(P为相机相机在水平平面上的旋转角度，T为相机在垂直平面上的旋转角度)，在不同放大倍数Z1,Z2下分别进行拍摄(假设Z1<Z2)，作为一组图像进行保存。
如图5所示，abcd表示像平面的大小，a'b'c'd'则表示成像1和成像2的公共场景；所以成像1与成像2相比，成像1包含更广的空间，而成像2包含更多的细节。
步骤3：利用LightGlue算法对不同放大倍数下拍摄的图像的公共区域a'b'c'd'区域进行图像匹配，再利用“变焦前后成像点在同一直线上”的条件进行修正，获得匹配点s1、s2的坐标(u1,v1),(u2,v2)。
步骤4：将匹配点像素坐标(u1,v1),(u2,v2)转换为图像坐标(i,j),(k,n)；
坐标转换公式为
其中，dx为每个像素在x轴方向上的物理尺寸，dy为每个像素在y轴方向上的物理尺寸，u0,v0分别为图像坐标系的原点o在像素坐标系中的横坐标和纵坐标。
步骤5：建立相机坐标系，相机初始坐标系，相机原始坐标系；
当相机进行变焦时，相机中的透镜组或反射镜等光学元件会发生一定的移动和调整，导致光心位置发生变化，而图像传感器的位置通常是固定不变的；
所以采用图像坐标系原点o作为相机坐标系的原点，相机光轴指向的方向为Zc轴正方向，建立相机坐标系XcYcZc，如图2所示；
同时构建PTZ相机的参数P＝0,T＝0时相机所处方位的坐标系——相机初始坐标系X0Y0Z0；
设定相机原始坐标系X'Y'Z'：Z'轴指向北极，Y'轴垂直于地面指向地心的反方向，则根据右手法则，可以构建相机原始坐标系X'Y'Z'，如图6所示。
步骤6：计算目标点在相机坐标系的三维坐标；
如图2所示，根据本发明提出的变焦定位模型计算目标点s在相机坐标系XcYcZc下的三维坐标(xc,yc,zc)，具体原理如下：
图2所示的基于单目相机变焦测距原理图是基于针孔成像模型进行几何分析。
步骤2中固定相机对同一空间分别在焦距f1、f2下各成像一次，告警目标s在焦距等于f1时的成像为s1，在焦距等于f2时的成像为s2。
f1＝fmin*Z1,f2＝fmin*Z2, (2)
其中fmin是相机的最小焦距。
将两次成像的模型画在同一坐标系中进行分析，理想模型下像点s1、s2都在直线om上，ss1是过焦距f1下透镜中心o1的直线，ss2是过焦距f2下透镜中心o2的直线，其中oo1＝f1,oo2＝f2。平面som是过Zc轴的平面，且垂直于像平面xoy。
截取平面som单独分析，如图4所示，
r1、r2为像点s1、s2到图像中心的距离，θ为直线om与Xc轴的夹角，易得
过点s作平行于om的直线交Zc轴于点m'，设sm'＝q，设点s在相机坐标系XcYcZc下的坐标为(xc,yc,zc)，易知xc＝qcosθ,yc＝qsinθ,zc＝om'。
如图4所示，由于△so1m'～△s1o1o,△so2m'～△s2o2o，可得
由式(5)得，
将(7)代入(6)得，
再将(8)代入(7)得，
由(3,4,9)式和公式
可得点在相机坐标系XcYcZc下的坐标为
还可以利用式(12)计算告警目标距相机的距离，
步骤7：将目标点三维坐标从相机坐标系XcYcZc转换到相机初始坐标系X0Y0Z0；
利用相机的P、T参数，将步骤6计算出的三维坐标转换到相机初始坐标系X0Y0Z0下(即P＝0,T＝0的坐标系)，旋转变换过程如下，
其中，P为相机相机在水平平面上的旋转角度，T为相机在垂直平面上的旋转角度。
步骤8：建立相机初始坐标系X0Y0Z0到相机原始坐标系X'Y'Z'的转换关系；
利用该台PTZ相机的初始朝向角(yaw,pitch,roll)将坐标(x0,y0,z0)转换到相机原始坐标系X'Y'Z'下，
步骤9：建立相机原始坐标系X'Y'Z'到世界坐标系XwYwZw的转换关系；
如图6所示，本发明采取的世界坐标系XwTwZw是ECEF坐标系，也叫地心地固直角坐标系；其原点为地球的质心，Xw轴延伸通过本初子午线(0度经度)和赤道的交点，Zw轴延伸通过北极(与地球旋转轴重合)，根据右手坐标系法则，Yw轴穿过赤道和90度经度的交点。
原始坐标系X'Y'Z'到世界坐标系XwYwZw的变换为刚性变换，是旋转变换加上平移变换，变换方程如下：
其中，R为旋转矩阵，平移矩阵Tt为相机原始坐标系X'Y'Z'原点o在世界坐标系XwYwZw下的坐标，
由相机的纬度为经度为λ，海拔为alt，挂高为h可知，相机在世界坐标系下的坐标为：
其中，N为基准椭圆体的曲率半径，f为极扁率，a为长轴长，H＝alt+h，alt为相机海拔，h为相机距地高度。
考虑到本发明的实验数据采集于中国地区，所以采用更适合中国地区的西安80模型参数，长轴a＝6378137.000m，扁率f＝1/298.257223563。
将原始坐标系X'Y'Z'的三条轴分别投影到XwYwZw坐标系上，可知它们的旋转矩阵为
将(16,17)代入(15)，得
步骤10：建立世界坐标系(ECEF)到经纬高坐标系的转换关系；
坐标(xw,yw,zw)为ECEF坐标，为了便于理解，需要将其转换为经纬高坐标(即LLA坐标)，
式中，(xw,yw,zw)为目标世界坐标，N为基准椭圆体的曲率半径，(lon,lat,alt为目标的经纬高坐标，f为极扁率。由上式可知，经度lon可以由xw,yw直接求得，而纬度lat和高度alt后续需要采用迭代法进行计算，具体计算方法见步骤11。
步骤11：利用告警目标真实坐标求解PTZ相机的初始朝向；
利用该台PTZ相机已知告警目标真实经纬高坐标的一组图像，重复步骤3至步骤7，获得匹配点在相机初始坐标系X0Y0Z0下的坐标(xypr0,yypr0,zypr0)；
然后将告警目标真实经纬高坐标(lont,latt,altt)反推到相机原始坐标系X'Y'Z'下，转换后的坐标为(xt',yt',zt')，利用式(22)求解初始朝向角(yaw,pitch,roll)；
由告警目标真实经纬高坐标进行反推的具体过程如下：
相机LLA坐标为(lonc,latc,altc)，相机挂高为h，告警地点真实LLA坐标为(lont,latt,altt)，
由式(16)可知，告警地点在ECEF坐标系的坐标(xwt,ywt,zwt)如下，
相机在ECEF坐标系的坐标(xwc,ywc,zwc)如下，
回顾步骤9，反推原始坐标系X'Y'Z'到世界坐标系XwYwZw的变换方程(15)可得
其中，R'＝R-1＝RT，Tt'为世界坐标系原点在相机原始坐标系下的坐标，Tt'＝-R-1*Tt＝-RT*Tt。
将式(25)中的数据都换成真值数据，则
将(26,27,28)代入(25)，得
由式(22,23,24,29)，可以解得该台PTZ相机的初始朝向角(yaw,pitch,roll)，将该台PTZ相机的初始朝向角(yaw,pitch,roll)代入步骤8，由步骤8至步骤10进行后续的坐标转换，最终推算出告警目标的经纬高坐标。
由式(19)可知，经度lon可以由xw,yw直接求得，而纬度lat和高度alt需要采用迭代法进行计算，计算方法如下：
初次迭代时，先令纬度初始化为零，得
具体迭代公式如下，
Δalt＝alti-alti-1,Δlat＝lati-lati-1,
利用以上迭代公式不断循环迭代，当Δalt<0.001m(,Δlat<0.001rad时，即可停止迭代，获得最终的告警目标的经纬高坐标(lon,lat,alt)。
此外，导入该台PTZ相机的其他数据，逐步实施步骤1至步骤10，即可推出相应的告警目标经纬高坐标。
本发明在图像匹配的基础上，根据目标投影匹配点的像素位置可以在无需知道目标经纬高的前提下，直接计算出目标相对于相机的坐标，实现测距；同时，利用相机位置信息可以进一步推算出目标的经纬度，实现单目定位。本发明操作简便，部署便捷，可移植性高；同时测距定位精度理想，环境适应性较高。
实施例：
1、如图2所示，建立像素坐标系，图像坐标系，
图像坐标系o-xy主要用来记录目标成像的位置信息；
2、相机变焦拍摄远景图和近景图；
3、利用LightGlue算法对一组图像进行图像匹配，获得匹配点的像素坐标(u1,v1),(u2,v2)，并将其转换为图像坐标(i,j),(k,n)；
4、再建立相机坐标系，相机初始坐标系，相机原始坐标系；
5、利用图3的变焦定位模型将图像坐标转换为相机坐标系XcYcZc下的三维坐标(xc,yc,zc)，并计算目标距离，
6、最后通过旋转平移将相机坐标系坐标(xc,yc,zc)转到世界坐标系下，
7、为了便于理解，需要将其转换为经纬高坐标(即LLA坐标)，
8、对模型的准确性进行检测，
采用海康、大华的PTZ云台相机拍摄到的告警目标变焦图像，获得的部分实验结果如表1、表2所示：
表1目标测距实验结果
表2目标定位实验结果
一般的激光测距误差控制在4％以内，远距离测距时误差会更大；由表1可知，本发明在远距离测距下误差基本控制在3.6％以内，平均误差率为0.029，精度较为理想。
由表2可知，经纬度平均误差均控制在0.0001级，经度误差最低能达到E-06级，纬度误差最低能达到E-05级。
实验证明，该变焦定位模型具有可行性。

Claims (10)

1.一种基于PTZ相机单目变焦的告警定位方法，其特征在于，具体步骤为：
步骤1：建立像素坐标系，图像坐标系；
步骤2：在固定视角，利用PTZ相机拍摄一组在不同放大倍数下告警目标所在场景图像；
步骤3：对不同放大倍数下拍摄的图像的公共区域进行图像匹配，并进行修正，获得匹配点像素坐标；
步骤4：将匹配点像素坐标转化为图像坐标；
步骤5：建立相机坐标系，相机初始坐标系，相机原始坐标系；
步骤6：计算目标点在相机坐标系的三维坐标；
步骤7：将目标点三维坐标从相机坐标系转换到相机初始坐标系；
步骤8：建立初始坐标系到相机原始坐标系的转换关系；
步骤9：建立相机原始坐标系到世界坐标系的转换关系；
步骤10：建立世界坐标系到经纬高坐标系的转换关系；
步骤11：利用告警目标真实坐标求解PTZ相机的初始朝向，将求解出的初始朝向角代入步骤8，利用步骤8至步骤10建立的转换关系，求解出告警目标的经纬高坐标。
2.根据权利要求1所述的基于PTZ相机单目变焦的告警定位方法，其特征在于，将匹配点像素坐标转化为图像坐标的转换公式为：
其中，dx为每个像素在x轴方向上的物理尺寸，dy为每个像素在y轴方向上的物理尺寸，u0,v0分别为图像坐标系的原点o在像素坐标系中的横坐标和纵坐标，u1,v1),(u2,v2)分别为两个匹配点的像素坐标，(i,j),(k,n)点的图像坐标。
3.根据权利要求1所述的基于PTZ相机单目变焦的告警定位方法，其特征在于，步骤5中采用图像坐标系原点o作为相机坐标系的原点，相机光轴指向的方向为Zc轴正方向，建立相机坐标系；
构建PTZ相机的参数P＝0,T＝0时相机所处方位的坐标系作为相机初始坐标系；
设定相机原始坐标系X'Y'Z'：Z'轴指向北极，Y'轴垂直于地面指向地心的反方向，则根据右手法则，构建相机原始坐标系X'Y'Z'。
4.根据权利要求1所述的基于PTZ相机单目变焦的告警定位方法，其特征在于，计算目标点在相机坐标系的三维坐标的具体方法为：
计算不同放大倍数下的焦距：
f1＝fmin*Z1,f2＝fmin*Z2,
其中fmin是相机的最小焦距，Z1、Z2分别为一组图像的放大倍数；
根据变焦定位模型计算目标点s在相机坐标系XcYcZc下的三维坐标(xc,yc,zc)，变换公式如下：
式中，(i,j),(k,n)分别为匹配点的图像坐标。
5.根据权利要求1所述的基于PTZ相机单目变焦的告警定位方法，其特征在于，将目标点三维坐标从相机坐标系转换到相机初始坐标系的具体公式为：
式中，(xc,yc,zc)为目标点三维坐标，(x0,y0,z0)为目标初始坐标，P为相机相机在水平平面上的旋转角度，T为相机在垂直平面上的旋转角度。
6.根据权利要求1所述的基于PTZ相机单目变焦的告警定位方法，其特征在于，初始坐标系到相机原始坐标系的转换关系具体为：
式中，(yaw,pitch,roll)为PTZ相机的初始朝向角，(x0,y0,z0)为目标初始坐标，(x',t',z')为目标原始坐标。
7.根据权利要求1所述的基于PTZ相机单目变焦的告警定位方法，其特征在于，相机原始坐标系到世界坐标系的转换关系具体为：
式中，(x',y',z')为目标原始坐标，(xw,yw,zw)为目标世界坐标，R为旋转矩阵，Tt为平移矩阵，是相机原点在世界坐标系下的坐标。
8.根据权利要求1所述的基于PTZ相机单目变焦的告警定位方法，其特征在于，世界坐标系到经纬高坐标系的转换关系的具体公式为：
式中，(xw,yw,zw)为目标世界坐标，N为基准椭圆体的曲率半径，(lon,lat,alt)为目标的经纬高坐标，f为极扁率。
9.根据权利要求1所述的基于PTZ相机单目变焦的告警定位方法，其特征在于，利用告警目标真实坐标求解PTZ相机的初始朝向的具体方法为：
利用PTZ相机在当前视角已知告警目标真实经纬高坐标的一组图像，重复步骤3至步骤7，获得匹配点在相机初始坐标系X0Y0Z0下的坐标(xypr0,yypr0,zypr0)；
将告警目标真实经纬高坐标(lont,latt,altt)反推到相机原始坐标系X'Y'Z'下，转换后的坐标为(xt',yt',zt')，反推公式为
其中，(lont,ltt,saltt)为告警目标真实经纬高坐标，(lonc,latc,altc)为相机经纬高坐标，N为基准椭圆体的曲率半径，f为极扁率，a为长轴长，H＝altc+h，alt为相机海拔，h为相机距地高度；
利用如下方程求解初始朝向角(yaw,pitch,roll)：
10.根据权利要求1所述的基于PTZ相机单目变焦的告警定位方法，其特征在于，经度lon根据世界坐标系到经纬高坐标系的转换关系直接求得，纬度lat和高度alt采用迭代法进行计算，具体过程为：
初次迭代时，初始化纬度为零，得
具体迭代公式如下，
Δalt＝alti-alti-1,Δlat＝lati-alti-1,
利用以上迭代公式不断循环迭代，当Δalt<0.001m,Δlat<0.001rad时，即可停止迭代，获得最终的告警目标的经纬高坐标(lon,lat,alt)。
CN202311145105.1A 2023-09-06 2023-09-06 一种基于ptz相机单目变焦的告警定位方法 Pending CN117152243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311145105.1A CN117152243A (zh) 2023-09-06 2023-09-06 一种基于ptz相机单目变焦的告警定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311145105.1A CN117152243A (zh) 2023-09-06 2023-09-06 一种基于ptz相机单目变焦的告警定位方法

Publications (1)

Publication Number Publication Date
CN117152243A true CN117152243A (zh) 2023-12-01

Family

ID=88902221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311145105.1A Pending CN117152243A (zh) 2023-09-06 2023-09-06 一种基于ptz相机单目变焦的告警定位方法

Country Status (1)

Country Link
CN (1) CN117152243A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315035A (zh) * 2023-11-30 2023-12-29 武汉未来幻影科技有限公司 一种车辆朝向的处理方法、装置以及处理设备
CN118209081A (zh) * 2024-05-16 2024-06-18 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种带转台的多光电联动对目标进行测距和定位的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315035A (zh) * 2023-11-30 2023-12-29 武汉未来幻影科技有限公司 一种车辆朝向的处理方法、装置以及处理设备
CN117315035B (zh) * 2023-11-30 2024-03-22 武汉未来幻影科技有限公司 一种车辆朝向的处理方法、装置以及处理设备
CN118209081A (zh) * 2024-05-16 2024-06-18 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种带转台的多光电联动对目标进行测距和定位的方法

Similar Documents

Publication Publication Date Title
US10871258B2 (en) Method and system for controlling gimbal
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN117152243A (zh) 一种基于ptz相机单目变焦的告警定位方法
CN110782394A (zh) 全景视频快速拼接方法及***
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN103198488B (zh) Ptz监控摄像机实时姿态快速估算方法
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN110415278B (zh) 直线移动ptz相机辅助双目ptz视觉***的主从跟踪方法
CN109272570A (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
WO2019164498A1 (en) Methods, devices and computer program products for global bundle adjustment of 3d images
CN106934809A (zh) 基于双目视觉的无人机空中自主加油快速对接导航方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、***及装置
CN107038714B (zh) 多型视觉传感协同目标跟踪方法
CN113379801B (zh) 一种基于机器视觉的高空抛物监测定位方法
CN206611521U (zh) 一种基于多传感器的车载环境识别***及全方位视觉模块
CN112949478A (zh) 基于云台相机的目标检测方法
CN113534737B (zh) 一种基于多目视觉的ptz球机控制参数获取***
CN110602376B (zh) 抓拍方法及装置、摄像机
US11703820B2 (en) Monitoring management and control system based on panoramic big data
CN112767480A (zh) 一种基于深度学习的单目视觉slam定位方法
CN108900775A (zh) 一种水下机器人实时电子稳像方法
CN113743286A (zh) 一种多源信号融合的目标监测***及方法
CN111627048A (zh) 多摄像机的协同目标搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination