CN116202487A - 一种基于三维建模的实时目标姿态测量方法 - Google Patents
一种基于三维建模的实时目标姿态测量方法 Download PDFInfo
- Publication number
- CN116202487A CN116202487A CN202310181016.6A CN202310181016A CN116202487A CN 116202487 A CN116202487 A CN 116202487A CN 202310181016 A CN202310181016 A CN 202310181016A CN 116202487 A CN116202487 A CN 116202487A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- coordinate system
- dimensional model
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 11
- 238000004088 simulation Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000013178 mathematical model Methods 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 239000003637 basic solution Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于三维建模的实时目标姿态测量方法，包括：根据近景拍摄或其他先验条件，建立飞行目标的三维模型；以航迹预测提供姿态初值，以姿态初值驱动三维模型，获得初始模拟图像；通过射影几何关系，建立三维模型与真实图像的3D‑2D特征关联；通过EPnP算法求解试探性的目标姿态，依据代理损失进行粗匹配阶段的迭代寻优；定义基于泛轮廓点的重合偏差距离，进行精匹配阶段的迭代寻优，输出飞行目标相对于相机坐标系的姿态最佳值；并进一步得到飞行目标在测站坐标系下的姿态信息。本发明给出了求解无标注飞行目标的三维姿态的数学模型，具有精度高、实时性强、鲁棒性高的特性，将本方法从单目视觉拓展到双目或多目时，将得到更高精度的姿态信息。
Description
技术领域
本发明属于计算机视觉领域，特别涉及一种基于三维建模的实时目标姿态测量方法。
背景技术
飞行目标的探测跟踪技术是航空航天、交通运输、靶场测量等领域的一项关键技术。广泛应用于空间光通信、飞行器跟踪控制和空中管控等方面。为了满足对目标上难以直接测量的参考点的跟踪需求，跟踪场景从点目标转变为扩展目标。基于点目标跟踪的研究进展，使得目标飞行过程的位置参数(X,Y,Z)τ的测量发展成熟，但飞行目标的姿态测量一直是摄影测量中的一个难题。然而三维姿态的测量与估计是实现扩展目标高精度跟踪与测量的关键。
光电经纬仪的序列图像记录了目标的运动情况、外形形状和姿态情况，具有能够表征目标更多细节信息，以及前后影像关联性强(>20帧/秒)等特点，为飞行目标探测识别和运动参数的测量和估计提供有效的数据支撑。因此通过充分挖掘图像的隐藏信息以确定目标的三维姿态具有实际的任务驱动。
目前，基于单幅图像求解无标注飞行目标的三维姿态可大致分为三大类。其一为基于基础几何结构的方法，该方法只适用于具有圆柱体特征的目标。其二为基于真值库的方法，该方法精度受限于模版数量，而模版数量的增加会显著降低算法速度，而且该方法没有严格的数学关系式，只能得到目标姿态的估计值。其三为基于三维模型的方法，通过建立本地三维模型，将非合作目标转换为合作目标，以中心投影为理论依据，可以获得较高精度的姿态值。因此研究一种基于三维建模的实时目标姿态测量方法具有重要的研究价值。
发明内容
本发明提供了一种基于三维建模的实时目标姿态测量方法，具体地解决无标注飞行目标的姿态测量与估计问题。经典的姿态测量与估计的基本求解思路是：首先确定目标姿态估计的初值，接着依据重投影误差获得最精确的姿态值。然而对于逐像素的误差求解与迭代，需要很大的时间成本。因此，本发明针对实时性问题，提出粗匹配迭代和精匹配迭代的双迭代环策略。提出的飞行目标姿态测量方法具有精度高、实时性强和鲁棒性高的特点。
本发明提出的技术方案如下：一种基于三维建模的实时目标姿态测量方法，包括：
步骤一、以航迹预测提供姿态初值；
获取光电经纬仪所拍摄的真实图像序列，根据所述真实图像序列，由光电经纬仪和激光测距仪提供飞行目标的空间位置，依据航迹预测，以速度方向代替飞行目标中轴线方向，得到所述飞行目标在相机坐标系中的姿态初值A；
步骤二、以姿态初值获取三维模型的初始图像；
根据所述姿态初值，驱动模拟成像***中的三维模型，获取所述模拟成像***所拍摄的模拟图像数据，从所述模拟图像数据中得到在指定姿态下的三维模型的图像；
步骤三、建立三维模型与真实图像的特征关联；
根据所述飞行目标的图像(真实图像)和三维模型的图像(模拟图像)，通过图像分割和轮廓提取技术确定飞行目标的轮廓特征和三维模型的轮廓特征，并进一步以三维模型的图像为中介，构建泛轮廓点在模型机体坐标系和真实图像坐标系中的3D-2D特征关联；
步骤四、粗匹配阶段迭代寻优；
根据所述泛轮廓点的3D-2D特征关联，建立基于4个特征点对的中心投影方程，通过EPnP算法得到所述三维模型相对于相机坐标系的试探性姿态值B；根据所述的姿态初值A和试探性姿态值B，得到所述真实图像与模拟图像的偏差；对所述偏差进行迭代，直到偏差值小于设定阈值，输出所述粗匹配阶段的姿态估计值C；
步骤五、精匹配阶段定义重合偏差距离；
根据所述粗匹配阶段的姿态估计值C，得到与真实图像最匹配的模拟图像，定义所述真实图像与模拟图像的泛轮廓点距离为重合偏差距离；其中，距离越小，对应精匹配阶段姿态值越精确；对所述距离进行迭代，直到距离值小于设定阈值，得到所述飞行目标相对于相机坐标系的姿态最佳值D；
步骤六、计算在测站坐标系下的姿态值；
根据所述飞行目标相对于所述相机坐标系的姿态最佳值D，以及相机随光电经纬仪的转动参数信息，得到所述飞行目标相对于所述测站坐标系的最佳姿态信息E。
此外，在其中一个应用实例中，还包括：获取飞机航行的序列图像，建立飞机的高精度三维模型，获取三维模型的投影图像；
所述飞机航行的序列图像由光电经纬仪拍摄获得，是飞机航行过程中所采集的真实图像；所述高精度的三维模型通过近景拍摄或其他先验知识获得；所述三维模型的投影图像通过在OpenGL中搭建模拟成像***获得，是飞机姿态测量与估计中的模拟图像；
利用航迹预测方法，依据卡尔曼(Kalman)滤波原理，通过跟踪点的位置信息计算飞机的速度矢量。以速度矢量代替飞机中轴线方向，得到所述飞机在相机坐标系中的姿态初值A，所述姿态初值精度在10°以内。根据姿态初值A，驱动模拟成像***中的三维模型，得到在姿态初值下的三维模型的图像；
根据所述的真实图像、模拟图像和三维模型的点对关系，以模拟图像为中介，建立真实图像与三维模型的特征关联，包括：
根据二维特征提取算法提取图像轮廓，所述算法为Sobel算子或Canny算子。提取两幅图像中轮廓点的ORB特征并进行特征匹配，建立所述真实图像与模拟图像的2Drel-2Dimag转换关系。所述飞机三维模型由三角网组成。根据反投影关系，建立所述模拟图像与三维模型的2Dimag-3Dimag对应关系；所述反投影关系为颜色索引的快速哈希算法，以及光线与空间三角形的快速求交算法。并以所述模拟图像为中介，建立所述真实图像与三维模型的2Drel-3Dimag特征关联。
根据所述真实图像与三维模型的2Drel-3Dimag特征关联，建立中心投影方程
其中f表示相机焦距，(x,y)表示二维图像坐标，(X,Y,Z)表示相机坐标系下的三维坐标，τ表示转置，将多个特征点对应的投影方程联立，通过EPnP算法得到所述三维模型相对于相机坐标系的试探性姿态值B；
根据所述姿态初值A和试探性姿态值B，得到所述真实图像与模拟图像的偏差为
其中ω是横滚角，κ是俯仰角，/>
是偏航角；/>
为姿态初值A，/>
为试探性姿态值B。根据所述偏差值迭代优化，当/>
取最小值时，得到粗匹配阶段的姿态估计值C，记为/>
根据所述粗匹配阶段的姿态估计值，得到与真实图像最匹配的模拟图像，所述模拟图像的二维轮廓点坐标为：
其中
表示相似比，f表示相机焦距，(x0,y0)τ表示主点偏心；(x,y)τ表示二维图像的观测值；(XC,YC,ZC)τ表示飞机上任意点在相机坐标系下的坐标；(XT,YT,ZT)τ表示飞机上任意点在目标坐标系下的坐标；F表示非线性模型；
所述RA2C表示光电经纬仪坐标系转换到相机坐标系的旋转矩阵，通过光电经纬仪中编码器记录方位角α和俯仰角β，得到所述的RA2C旋转矩阵为：
所述RT2A表示目标坐标系转换到相机坐标系的旋转矩阵，由待求参数ω、κ、
的方向余弦和坐标轴转换矩阵构成，数学模型为：
所述(XT0,YT0,ZT0)τ表示目标坐标系中心在光电经纬仪坐标系下的坐标，根据编码器记录的方位角α和俯仰角β以及激光测距仪测量的距离值D，则飞机跟踪点在光电经纬仪坐标系下的坐标为：
根据所述模拟图像的二维轮廓点坐标的解析式进行线性化后得到：
根据所述线性化后的模拟图像轮廓点与真实图像轮廓点的距离，设真实轮廓上第i个点的横坐标和第j个点的纵坐标分别记为
和/>
则定义模拟图像轮廓上第m个点与真实图像轮廓点的水平距离和垂直距离分别为：
根据所述的水平距离和垂直距离，定义二者的最大值为第m个点与真实图像轮廓点的距离，记为
根据所述第m个点与真实图像轮廓点的距离，定义所述轮廓的重合偏差距离为/>
对所述重合偏差进行迭代，直到满足迭代收敛条件，输出此时的姿态最佳值/>
进行坐标系转化，得到在测站坐标系下的姿态最佳值E。
本发明与现有技术相比的优点在于：
(1)本发明具备精度高、鲁棒性强的特点。具体地，本发明提供依据真实图像求解三维姿态的完备的解析形式，区别于基于模式识别的姿态检测与估计，解决了姿态测量精度受限于模板库大小的局限性。此外，本发明定义基于轮廓像素点的重合偏差距离，以整体轮廓点来平滑由单个轮廓点带来的提取和匹配误差，为姿态寻优提供高精度、高鲁棒性的评估函数，相较于只使用代理损失函数评估优化效果的方法，提高了姿态测量结果的准确性和稳定性。
(2)本发明具备实时性强的特点。一方面，采用卡尔曼滤波算法，为飞行目标的姿态测量提供10°以内的姿态初值，有效地减小了姿态求解的寻优空间。另一方面，采用基于四对特征点的EPnP的姿态求解算法，构造基于真实图像与模拟图像的姿态角度残差值的代理损失函数，相比于直接使用重投影误差构造优化目标函数的方法，有效地提高了姿态测量的计算效率。
(3)本发明具备适用性强的特点。一方面，不同于椭圆度法、长宽比法和螺旋线法，本发明对于飞行目标的姿态求解不需要人工添加标志线并且不限制目标的几何形状，提高了姿态求解算法的适应性。另一方面，将本方法从单目视觉拓展到双目或多目时，将得到更高精度的姿态信息，因此该方法对于姿态测量具有广泛的应用前景。
附图说明
图1为本发明用于具体实施介绍的一个应用实例的场景示意图。
图2为一个应用实例中的本方法中定义的坐标系与运动参数的示意图。
图3为一个应用实例中的本发明所提出的姿态测量方法的流程图。
图4为一个应用实例中本方法所定义的重合偏差距离的示意图。
图5为俯仰角在真值为15°附近的重合偏差距离变化情况图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及应用实例，对本发明进行进一步详细说明。应当理解，此处描述的应用实例仅仅用以解释本申请，并不用于限定本发明。
本发明提供的三维建模的实时目标姿态测量方法，可以应用于如图1所示的应用环境中。其中光电经纬仪上载有相机和激光测距仪，获取目标飞机的跟踪点位置和序列图像，通过本方法得到目标飞机相对于光电经纬仪坐标系的三维姿态信息，本方法的流程图如图3所示。
本发明的具体实施步骤如下：
步骤一、以航迹预测提供姿态初值；
获取光电经纬仪单目相机102-A所拍摄的真实图像序列，根据所述真实图像序列，由光电经纬仪水平轴编码器102-B、垂直轴编码器102-C和激光测距仪103提供飞行目标的空间位置，依据航迹预测，以速度方向代替飞行目标中轴线方向，得到所述飞行目标在相机坐标系中的姿态初值A；
步骤二、以姿态初值获取三维模型的初始图像；
根据所述姿态初值，驱动模拟成像***中的三维模型，获取所述模拟成像***所拍摄的模拟图像数据，从所述模拟图像数据中得到在指定姿态下的三维模型的图像；
步骤三、建立三维模型与真实图像的特征关联；
根据所述飞行目标的图像(真实图像)和三维模型的图像(模拟图像)，通过图像分割和轮廓提取技术确定飞行目标的轮廓特征和三维模型的轮廓特征，并进一步以三维模型的图像为中介，构建泛轮廓点在模型机体坐标系和真实图像坐标系中的3D-2D特征关联；
步骤四、粗匹配阶段迭代寻优；
根据所述泛轮廓点的3D-2D特征关联，建立基于4个特征点对的中心投影方程，通过EPnP算法得到所述三维模型相对于相机坐标系的试探性姿态值B；根据所述的姿态初值A和试探性姿态值B，得到所述真实图像与模拟图像的偏差；对所述偏差进行迭代，直到偏差值小于设定阈值，输出所述粗匹配阶段的姿态估计值C；
步骤五、精匹配阶段定义重合偏差距离；
根据所述粗匹配阶段的姿态估计值C，得到与真实图像最匹配的模拟图像，如图4所示，定义所述真实图像与模拟图像的泛轮廓点距离为重合偏差距离；其中，距离越小，对应精匹配阶段姿态值越精确；对所述距离进行迭代，直到距离值小于设定阈值，得到所述飞行目标相对于相机坐标系的姿态最佳值D；
步骤六、计算在测站坐标系下的姿态值；
根据所述飞行目标相对于所述相机坐标系的姿态最佳值D，以及相机随光电经纬仪的转动参数信息，得到所述飞行目标相对于所述测站坐标系的最佳姿态信息E。
此外，在其中一个应用实例中，还包括：获取飞机航行的序列图像，建立飞机的高精度三维模型，获取三维模型的投影图像；
所述飞机航行的序列图像由光电经纬仪拍摄获得，是飞机航行过程中所采集的真实图像；所述高精度的三维模型通过近景拍摄或其他先验知识获得；所述三维模型的投影图像通过在OpenGL中搭建模拟成像***获得，是飞机姿态测量与估计中的模拟图像；
利用航迹预测方法，依据卡尔曼(Kalman)滤波原理，通过跟踪点的位置信息计算飞机的速度矢量。以速度矢量代替飞机中轴线方向，得到所述飞机在相机坐标系中的姿态初值A，所述姿态初值精度在10°以内。根据姿态初值A，驱动模拟成像***中的三维模型，得到在姿态初值下的三维模型的图像；
根据所述的真实图像、模拟图像和三维模型的点对关系，以模拟图像为中介，建立真实图像与三维模型的特征关联，包括：
根据二维特征提取算法提取图像轮廓，所述算法为Sobel算子或Canny算子。提取两幅图像中轮廓点的ORB特征并进行特征匹配，建立所述真实图像与模拟图像的2Drel-2Dimag转换关系。所述飞机三维模型由三角网组成。根据反投影关系，建立所述模拟图像与三维模型的2Dimag-3Dimag对应关系；所述反投影关系为颜色索引的快速哈希算法，以及光线与空间三角形的快速求交算法。并以所述模拟图像为中介，建立所述真实图像与三维模型的2Drel-3Dimag特征关联。
根据所述真实图像与三维模型的2Drel-3Dimag特征关联，建立中心投影方程
其中f表示相机焦距，(x,y)表示二维图像坐标，(X,Y,Z)表示相机坐标系下的三维坐标，τ表示转置，将多个特征点对应的投影方程联立，通过EPnP算法得到所述三维模型相对于相机坐标系的试探性姿态值B；
图2定义了本方法中涉及的坐标系与运动参数。根据所述姿态初值A和试探性姿态值B，得到所述真实图像与模拟图像的偏差为
其中ω是横滚角，κ是俯仰角，/>
是偏航角；/>
为姿态初值A，/>
为试探性姿态值B。根据所述偏差值迭代优化，当/>
取最小值时，得到粗匹配阶段的姿态估计值C，记为/>
根据所述粗匹配阶段的姿态估计值，得到与真实图像最匹配的模拟图像，所述模拟图像的二维轮廓点坐标为：
其中，
表示相似比，f表示相机焦距，(x0,y0)τ表示主点偏心；(x,y)τ表示二维图像的观测值；(XC,YC,ZC)τ表示飞机上任意点在相机坐标系下的坐标；(XT,YT,ZT)τ表示飞机上任意点在目标坐标系下的坐标；F表示非线性模型；
所述RA2C表示光电经纬仪坐标系转换到相机坐标系的旋转矩阵，通过光电经纬仪中编码器记录方位角α和俯仰角β，得到所述的RA2C旋转矩阵为：
所述RT2A表示目标坐标系转换到相机坐标系的旋转矩阵，由待求参数ω、κ、
的方向余弦坐标轴转换矩阵构成，数学模型为：/>
所述(XT0,YT0,ZT0)τ表示目标坐标系中心在光电经纬仪坐标系下的坐标，根据编码器记录的方位角α和俯仰角β以及激光测距仪测量的距离值D，则飞机跟踪点在光电经纬仪坐标系下的坐标为：
根据所述模拟图像的二维轮廓点坐标的解析式进行线性化后得到：
根据所述线性化后的模拟图像轮廓点与真实图像轮廓点的距离，设真实轮廓上第i个点的横坐标和第j个点的纵坐标分别记为
和/>
则定义模拟图像轮廓上第m个点与真实图像轮廓点的水平距离和垂直距离分别为：
根据所述的水平距离和垂直距离，定义二者的最大值为第m个点与真实图像轮廓点的距离，记为
根据所述第m个点与真实图像轮廓点的距离，定义所述轮廓的重合偏差距离为/>
对所述重合偏差进行迭代，直到满足迭代收敛条件，输出此时的姿态最佳值/>
进行坐标系转化，得到在测站坐标系下的姿态最佳值E。
图5展示了俯仰角真值为15°时，泛轮廓像素点重合偏差距离随俯仰角偏差的变化情况。横坐标表示俯仰角的偏差值，根据航迹预测的数据，其取值范围限制在±5°之间。俯仰角偏差绝对值越小，泛轮廓点的重合偏差距离越短。在不考虑误差的影响时，当俯仰角偏差值为0时，泛轮廓点的偏差距离等于0。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (7)
1.一种基于三维建模的实时目标姿态测量方法，其特征在于：包括如下步骤：
步骤一、以航迹预测提供姿态初值；
获取光电经纬仪所拍摄的真实图像序列，根据所述真实图像序列，依据航迹预测，以速度方向代替飞行目标中轴线方向，得到所述飞行目标在相机坐标系中的姿态初值A；
步骤二、以姿态初值获取三维模型的初始图像；
根据所述姿态初值，驱动模拟成像***中的三维模型，获取所述模拟成像***所拍摄的模拟图像数据；
步骤三、建立三维模型与真实图像的特征关联；
根据所述飞行目标的图像即真实图像和三维模型的图像即模拟图像，通过图像分割和轮廓提取技术确定飞行目标的轮廓特征和三维模型的轮廓特征，并进一步以三维模型的图像为中介，构建泛轮廓点在模型机体坐标系和真实图像坐标系中的3D-2D特征关联；
步骤四、粗匹配阶段迭代寻优；
根据所述泛轮廓点的3D-2D特征关联，建立基于4个特征点对的中心投影方程，通过EPnP算法得到所述三维模型相对于相机坐标系的试探性姿态值B；根据所述的姿态初值A和试探性姿态值B，得到所述真实图像与模拟图像的偏差；对所述偏差进行迭代，直到偏差值小于设定阈值，输出所述粗匹配阶段的姿态估计值C；
步骤五、精匹配阶段定义重合偏差距离；
根据所述粗匹配阶段的姿态估计值C，得到与真实图像最匹配的模拟图像，定义所述真实图像与模拟图像的泛轮廓点距离为重合偏差距离；其中，距离越小，对应精匹配阶段姿态值越精确；对所述距离进行迭代，直到距离值小于设定阈值，得到所述飞行目标相对于相机坐标系的姿态最佳值D；
步骤六、计算在测站坐标系下的姿态值；
根据所述飞行目标相对于所述相机坐标系的姿态最佳值D，以及相机随光电经纬仪的转动参数信息，得到所述飞行目标相对于所述测站坐标系的最佳姿态信息E，所述测站坐标系为光电经纬仪坐标系。
2.根据权利要求1所述的方法，其特征在于，获取光电经纬仪所拍摄的真实图像序列，根据航迹预测根据航迹预测从所述真实图像序列中得到飞行目标的图像和姿态初值A；获取模拟成像***所输出的模拟图像信息，从所述模拟图像信息中得到三维模型的图像，包括：
利用航迹预测方法，依据卡尔曼(Kalman)滤波原理，通过跟踪点的位置信息计算飞行目标的速度矢量，以速度矢量代替飞行目标中轴线方向，得到所述飞行目标在相机坐标系中的姿态初值A，根据姿态初值A，驱动模拟成像***中的三维模型，得到在姿态初值下的三维模型的图像；所述模拟成像***由OpenGL搭建。
3.根据权利要求2所述的方法，其特征在于，根据所述飞行目标的图像和三维模型的图像，建立真实图像与三维模型的特征关联，包括：
根据二维特征提取算法提取图像轮廓，所述算法为Sobel算子或Canny算子，提取两幅图像中轮廓点的ORB特征并进行特征匹配，建立所述真实图像与模拟图像的2Drel-2Dimag转换关系，根据反投影关系，建立所述模拟图像与三维模型的2Dimag-3Dimag对应关系；所述反投影关系为颜色索引的快速哈希算法，以及光线与空间三角形的快速求交算法，并以所述模拟图像为中介，建立所述真实图像与三维模型的2Drel-3Dimag特征关联。
4.根据权利要求3所述的方法，其特征在于，根据所述真实图像与三维模型的2Drel-3Dimag特征关联，建立中心投影方程
其中f表示相机焦距，(x,y)表示二维图像坐标，(X,Y,Z)表示相机坐标系下的三维坐标，τ表示转置，通过EPnP算法得到所述三维模型相对于相机坐标系的试探性姿态值B。
5.根据权利要求4所述的方法，其特征在于，根据所述姿态初值A和试探性姿态值B，得到所述真实图像与模拟图像的偏差为
其中ω是横滚角，κ是俯仰角，/>
是偏航角；/>
表示姿态初值A，/>
表示试探性姿态值B，根据所述偏差值迭代优化，当/>
取最小值时，得到粗匹配阶段的姿态估计值C，记为/>
6.根据权利要求5所述的方法，其特征在于，根据所述粗匹配阶段的姿态估计值，得到与真实图像最匹配的模拟图像，所述模拟图像的二维轮廓点坐标为：
其中，
表示相似比，f表示相机焦距，(x0,y0)τ表示主点偏心；(x,y)τ表示二维图像的观测值；(XC,YC,ZC)τ表示飞行目标上任意点在相机坐标系下的坐标；(XT,YT,ZT)τ表示飞行目标上任意点在目标坐标系下的坐标；F表示非线性模型；所述RA2C表示光电经纬仪坐标系转换到相机坐标系的旋转矩阵，通过光电经纬仪中编码器记录方位角α和俯仰角β，得到所述的RA2C旋转矩阵为：
所述RT2A表示目标坐标系转换到相机坐标系的旋转矩阵，由待求参数ω、κ、
的方向余弦和坐标轴转换矩阵构成，数学模型为：
所述(XT0,YT0,ZT0)τ表示目标坐标系中心在光电经纬仪坐标系下的坐标，根据编码器记录的方位角α和俯仰角β以及激光测距仪测量的距离值D，则飞行目标跟踪点在光电经纬仪坐标系下的坐标为：
7.根据权利要求6所述的方法，其特征在于，根据所述模拟图像的二维轮廓点坐标的解析式进行线性化后得到：
根据所述线性化后的模拟图像轮廓点与真实图像轮廓点的距离，设真实轮廓上第i个点的横坐标和第j个点的纵坐标分别记为
和/>
则定义模拟图像轮廓上第m个点与真实图像轮廓点的水平距离和垂直距离分别为：
根据所述的水平距离和垂直距离，定义二者的最大值为第m个点与真实图像轮廓点的距离，记为
根据所述第m个点与真实图像轮廓点的距离，定义所述轮廓的重合偏差距离为/>
对所述重合偏差进行迭代，直到满足迭代收敛条件，输出此时的姿态最佳值/>
进行坐标系转化，得到在测站坐标系下的姿态最佳值E。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310181016.6A CN116202487A (zh) | 2023-02-28 | 2023-02-28 | 一种基于三维建模的实时目标姿态测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310181016.6A CN116202487A (zh) | 2023-02-28 | 2023-02-28 | 一种基于三维建模的实时目标姿态测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116202487A true CN116202487A (zh) | 2023-06-02 |
Family
ID=86516936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310181016.6A Pending CN116202487A (zh) | 2023-02-28 | 2023-02-28 | 一种基于三维建模的实时目标姿态测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116202487A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117116113A (zh) * | 2023-10-19 | 2023-11-24 | 中国科学院长春光学精密机械与物理研究所 | 舰载光电经纬仪模拟训练器 |
-
2023
- 2023-02-28 CN CN202310181016.6A patent/CN116202487A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117116113A (zh) * | 2023-10-19 | 2023-11-24 | 中国科学院长春光学精密机械与物理研究所 | 舰载光电经纬仪模拟训练器 |
| CN117116113B (zh) * | 2023-10-19 | 2024-01-02 | 中国科学院长春光学精密机械与物理研究所 | 舰载光电经纬仪模拟训练器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Balm: Bundle adjustment for lidar mapping | |
| CN102722697B (zh) | 一种无人飞行器视觉自主导引着陆的目标跟踪方法 | |
| He et al. | Non-cooperative spacecraft pose tracking based on point cloud feature | |
| Zhang et al. | Vision-based pose estimation for textureless space objects by contour points matching | |
| CN114419147A (zh) | 一种救援机器人智能化远程人机交互控制方法及*** | |
| Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
| CN112580683B (zh) | 一种基于互相关的多传感器数据时间对齐***及其方法 | |
| Olson et al. | Wide-baseline stereo vision for Mars rovers | |
| CN116202487A (zh) | 一种基于三维建模的实时目标姿态测量方法 | |
| Guan et al. | Minimal cases for computing the generalized relative pose using affine correspondences | |
| CN117367427A (zh) | 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法 | |
| Guan et al. | Minimal solvers for relative pose estimation of multi-camera systems using affine correspondences | |
| Dubbelman et al. | Bias reduction for stereo based motion estimation with applications to large scale visual odometry | |
| Cai et al. | Dynamic illumination optical flow computing for sensing multiple mobile robots from a drone | |
| Guan et al. | Relative pose estimation for multi-camera systems from affine correspondences | |
| CN112907633A (zh) | 动态特征点识别方法及其应用 | |
| Zhang et al. | Hybrid iteration and optimization-based three-dimensional reconstruction for space non-cooperative targets with monocular vision and sparse lidar fusion | |
| CN115239899B (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
| Rozsa et al. | Immediate vehicle movement estimation and 3D reconstruction for Mono cameras by utilizing epipolar geometry and direction prior | |
| CN115830116A (zh) | 一种鲁棒视觉里程计方法 | |
| CN113379915B (zh) | 一种基于点云融合的行车场景构建方法 | |
| CN111784798B (zh) | 地图生成方法、装置、电子设备和存储介质 | |
| Zheng et al. | Integrated navigation system with monocular vision and LIDAR for indoor UAVs | |
| Zhang et al. | Pose estimation of space objects based on hybrid feature matching of contour points | |
| Simon et al. | A Comparison of Feature Extraction Methods for Terrain Relative Navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |