CN113674353B - 一种空间非合作目标精确位姿测量方法 - Google Patents

一种空间非合作目标精确位姿测量方法 Download PDF

Info

Publication number
CN113674353B
CN113674353B CN202110948038.1A CN202110948038A CN113674353B CN 113674353 B CN113674353 B CN 113674353B CN 202110948038 A CN202110948038 A CN 202110948038A CN 113674353 B CN113674353 B CN 113674353B
Authority
CN
China
Prior art keywords
dimensional
cooperative target
straight line
space non
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110948038.1A
Other languages
English (en)
Other versions
CN113674353A (zh
Inventor
刘海波
刘子宾
宋俊尧
张进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110948038.1A priority Critical patent/CN113674353B/zh
Publication of CN113674353A publication Critical patent/CN113674353A/zh
Application granted granted Critical
Publication of CN113674353B publication Critical patent/CN113674353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种空间非合作目标精确位姿测量方法，其包括利用TOF相机和彩色相机实现空间非合作的精确相对位姿估计：利用TOF获取空间非合作目标的三维点云，根据ICP算法拼接得到空间非合作目标的完整三维点云；从空间非合作目标完整的三维点云中提取三维特征点、三维直线；利用彩色相机获取空间非合作目标的序列二维图像，从中提取出二维特征点、二维直线，根据2D‑3D特征点、直线对应关系求解空间非合作目标的相对位姿。本发明结合TOF相机、彩色相机的成像优势，能够精确求解空间非合作目标的位姿，可应用于深空探测和态势感知等空间任务中。

Description

一种空间非合作目标精确位姿测量方法
技术领域
本发明涉及图像测量领域，具体说是一种空间非合作目标精确位姿测量方法。
背景技术
随着科技的进步与航天事业的发展，深空探测、态势感知成为人类探索太空道路上的重要环节。在空间探索中，越来越多的任务对象是空间非合作目标，他们缺乏合作标志，无法提供有效的先验信息。因此，在复杂的太空环境下，完全未知的空间目标的精确位姿估计问题引起学者们的广泛关注，具有重要的研究价值和工程实践意义。
常用的空间目标位姿测量设备包括彩色相机、双目相机、激光雷达等等。彩色相机无法直接获取目标深度信息；双目相机测量精度受基线制约；激光三维成像受工艺水平制约，分辨率不高。因此，使用多传感器融合测量的方法，可以有效地结合各个传感器的成像技术优势，弥补单一传感器的固有缺陷。本发明提出一种基于TOF和彩色相机的空间非合作目标精确位姿测量方案，能够充分利用TOF、彩色相机的成像优势，实现空间非合作目标的精确位姿测量。
发明内容
针对上述问题，本发明提供一种空间非合作目标精确位姿测量方法。
本发明解决上述技术问题所采用的技术方案为：一种空间非合作目标精确位姿测量方法，包括以下步骤：
步骤1，利用TOF相机获取空间非合作目标的完整三维点云；
步骤2，从获取的空间非合作目标的完整三维点云中提取三维特征点、直线；
步骤3，利用彩色相机对运动中的空间非合作目标进行图像数据采集，得到空间非合作目标的序列二维图像；
步骤4，从得到的序列二维图像中提取空间非合作目标的二维特征点、二维直线；
步骤5，将三维特征点、三维直线投影到二维平面上，根据特征点、直线的对应关系求解空间非合作目标的位姿参数。
作为优选，所述步骤5具体为：
步骤5.1，对彩色相机进行标定，获取彩色相机的等效焦距fx,fy；
步骤5.2，假设空间非合作目标的位姿初值已知，根据位姿初值将三维直线投影到二维平面上，与提取的空间非合作目标二维直线进行匹配，三维直线端点P与投影点p＝(px,py)的关系可以通过针孔相机模型描述：
Figure BDA0003217437090000021
其中，旋转矩阵R和平移向量t描述了从世界坐标系到相机坐标系的刚性变换，三维直线方程可以用极坐标表示为：
pxcosθ+pysinθ-ρd＝0 (9)
步骤5.3，计算三维直线端点到二维直线的距离，联合等式(8)和(9)得到：
Figure BDA0003217437090000022
N＝(fxcosθ,fysinθ,-ρd)T (11)
其中N是投影平面的法向量，三维直线端点投影到对应平面与二维直线的距离d表示为：
Figure BDA0003217437090000023
步骤5.4，2D-3D直线对对应的距离表示为
Figure BDA0003217437090000024
其中dl1,dl2分别表示从三维直线投影到平面的两个端点p1,p2到二维直线的距离；
步骤5.5，根据位姿初值将三维特征点投影到二维平面上，设三维点和投影到平面的二维特征点分别表示为Q，q＝[qx,qy]，二者之间的投影关系可以表示为：
Figure BDA0003217437090000031
步骤5.6，将三维特征点投影到二维平面上，与图像上对应的二维特征点q′＝[q′x,q′y]进行匹配，设投影点与二维特征点的距离表示为dq：
Figure BDA0003217437090000032
步骤5.7，将空间非合作目标的特征点、直线特征全部投影到二维平面上，设第i对2D-3D对应点对距离为
Figure BDA0003217437090000033
共有N对对应点对，设第j对2D-3D对应直线对距离为
Figure BDA0003217437090000034
共有M对2D-3D对应直线对，则通过最小化公式16求解目标位姿：
Figure BDA0003217437090000035
通过最小二乘法求解公式(16)，以求解空间非合作目标的位姿：旋转矩阵R和平移向量t。
与现有技术相比，本发明具有以下有益效果：
1、本发明将TOF相机、彩色相机联合起来，利用彩色相机获取清晰序列二维图像，TOF相机直接获取目标深度信息的优势，实现空间非合作目标的精确位姿估计，具体为利用TOF相机获取目标点云，实现目标的三维重构，可以获取空间非合作目标的三维结构信息，利用彩色相机获取目标运动状态下的高分辨率序列二维图像，从中提取二维特征点、二维直线信息，与三维特征点、三维直线信息联合求解空间非合作目标运动位姿；
2、本发明针对完全未知的空间非合作目标，实现空间非合作目标的精确位姿估计，可应用于深空探测和态势感知等空间任务中，可为后续抓捕、攻防等空间任务提供有效信息。
3、本发明与论文《Relative pose estimation of uncooperative spacecraftusing 2D–3D line correspondences》相比，不仅利用了直线特征，而且利用了空间非合作目标的点特征，优势在于充分利用目标结构和边缘的点、线特征，空间非合作目标在遮挡、背景干扰等条件下，直线特征难以稳定提取，位姿结算困难时，利用对应关键特征点仍可以进行位姿求解。本发明还优化了目标函数，赋予了关键点、直线不同权重，使得位姿测量更加精确。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面将结合图1详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。
一种空间非合作目标精确位姿测量方法，其包括以下步骤：
步骤1，利用TOF相机获取空间非合作目标的完整三维点云，具体包括如下步骤：
步骤1.1，采用张正友标定法(《A flexible new technique for cameracalibration》，2000年发表于《IEEE Transactions on Pattern Analysis and MachineIntelligence》)对TOF相机进行标定，可利用棋盘格标定板来进行标定，获取TOF相机的内参数K；
步骤1.2，利用TOF相机围绕空间非合作目标各个角度进行拍摄，得到序列深度图；
步骤1.3，根据相机的内参数，将深度图映射到空间中获取空间非合作目标的局部点云；
步骤1.4，对空间非合作目标点云进行去噪处理，去除噪点，得到空间非合作目标的精细局部点云；
步骤1.5，利用快速点特征直方图(FPFH)算法给局部点云配准提供初值；
步骤1.6，在获取初值后，利用ICP算法将空间非合作目标相邻两帧的点云匹配，假设待匹配的相邻点集分别表示为A,B：
A＝{a1,...,ai,...,an},B＝{b1,...,bj,...,bm}
其中，ai,bj分别表示点集A,B中的三维点，n,m分别表示点集A,B的数量，ICP算法通过最小化两个点集之间的距离，实现点云的匹配，用旋转矩阵Rt和平移向量Tt描述了从点集A到点集B的刚性变换，具体步骤如下：
步骤1.6.1，寻找相邻点集A和B中三维点的对应关系，ICP方法将欧氏距离最近的两个三维点作为对应点，对应点对记为ai，bi，
步骤1.6.2，通过最小化点集中对应点对的距离，求解旋转矩阵Rt和平移向量Tt：
Figure BDA0003217437090000051
步骤1.6.3，计算点集A和B的质心坐标：
Figure BDA0003217437090000052
步骤1.6.4，计算点集A和B中各点的去质心坐标：
ai′＝ai-μa，bi′＝bi-μb (3)
步骤1.6.5，利用SVD方法求解出旋转矩阵Rt：
Figure BDA0003217437090000053
W＝UΣVT (5)
Rt＝UVT (6)
步骤1.6.6，求解平移向量Tt：
Tt＝μb-Rtμa (7)
重复步骤1.6.1-1.6.6，直到距离满足阈值要求，得到最优的旋转矩阵Rt和平移向量Tt，将两帧点云拼接；
步骤1.7，重复步骤1.6，将所有点云拼接得到空间非合作目标的完整三维点云；
步骤2，从获取的空间非合作目标的完整三维点云中提取三维特征点、三维直线；
步骤3，利用彩色相机对运动中的空间非合作目标进行图像数据采集，得到空间非合作目标的序列二维图像；
步骤4，利用EDlines二维直线检测算法和SIFT特征点提取算法从得到的序列二维图像中提取空间非合作目标的二维特征点和二维直线；
步骤5，根据求解的二维特征点、二维直线与三维特征点、三维直线进行匹配，利用2D-3D直线对应求解空间非合作目标的位姿参数，具体步骤如下：
步骤5.1，采用张正友标定法对彩色相机进行标定，获取彩色相机的等效焦距fx,fy；
步骤5.2，假设空间非合作目标的位姿初值已知，根据位姿初值将三维直线投影到二维平面上，与提取的空间非合作目标二维直线进行匹配，三维直线端点P与投影点p＝(px,py)的关系可以通过针孔相机模型描述：
Figure BDA0003217437090000061
其中，旋转矩阵R和平移向量t描述了从世界坐标系到相机坐标系的刚性变换，三维直线方程可以用极坐标表示为：
pxcosθ+pysinθ-ρd＝0 (9)
步骤5.3，计算三维直线端点到二维直线的距离，联合等式(8)和(9)得到：
Figure BDA0003217437090000062
N＝(fxcosθ,fysinθ,-ρd)T (11)
其中N是投影平面的法向量，三维直线端点投影到对应平面与二维直线的距离d表示为：
Figure BDA0003217437090000063
步骤5.4，2D-3D直线对对应的距离表示为
Figure BDA0003217437090000064
其中dl1,dl2分别表示从三维直线投影到平面的两个端点p1,p2到二维直线的距离；
步骤5.5，根据位姿初值将三维特征点投影到二维平面上，设三维特征点和投影到平面的二维特征点分别表示为Q，q＝[qx,qy]，二者之间的投影关系可以表示为：
Figure BDA0003217437090000071
步骤5.6，将三维特征点投影到二维平面上，与图像上对应的二维特征点q′＝[q′x,q′y]进行匹配，设投影点与二维特征点的距离表示为dq:
Figure BDA0003217437090000072
步骤5.7，将空间非合作目标的特征点、直线特征全部投影到二维平面上，设第i对2D-3D对应点对距离为
Figure BDA0003217437090000073
共有N对对应点对，设第j对2D-3D对应直线对距离为
Figure BDA0003217437090000074
共有M对2D-3D对应直线对，则通过最小化公式16求解目标位姿：
Figure BDA0003217437090000075
通过最小二乘法求解公式(16)，以求解空间非合作目标的位姿：旋转矩阵R和平移向量t。
以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (1)

1.一种空间非合作目标精确位姿测量方法，其特征在于，包括以下步骤：
步骤1，利用TOF相机获取空间非合作目标的完整三维点云；
步骤2，从获取的空间非合作目标的完整三维点云中提取三维特征点、三维直线；
步骤3，利用彩色相机对运动中的空间非合作目标进行图像数据采集，得到空间非合作目标的序列二维图像；
步骤4，从得到的序列二维图像中提取空间非合作目标的二维特征点、二维直线；
步骤5，根据求解的2D-3D特征点、直线分别进行匹配，利用对应关系求解空间非合作目标的位姿参数：
步骤5.1，对彩色相机进行标定，获取彩色相机的等效焦距fx,fy；
步骤5.2，假设空间非合作目标的位姿初值已知，根据位姿初值将三维直线投影到二维平面上，与提取的空间非合作目标二维直线进行匹配，三维直线端点P与投影点p＝(px,py)的关系可以描述为：
其中，用旋转矩阵R和平移向量t描述目标的位姿，即从世界坐标系到相机坐标系的刚性变换，三维直线方程可以用极坐标表示为：
pxcosθ+pysinθ-ρd＝0 (2)
步骤5.3，计算三维直线端点到二维直线的距离，联合等式(1)和(2)得到：
N＝(fxcosθ,fysinθ,-ρd)T (4)
其中N是投影平面的法向量，三维直线端点投影到对应平面与二维直线的距离d表示为：
步骤5.4，2D-3D直线对对应的距离表示为
其中，dl1,dl2分别表示从三维直线投影到平面的两个端点p1,p2到二维直线的距离；
步骤5.5，根据位姿初值将三维特征点投影到二维平面上，设三维特征点和投影到平面的二维特征点分别表示为Q，q＝[qx,qy]，二者之间的投影关系可以表示为：
步骤5.6，将三维特征点投影到二维平面上，与图像上对应的二维特征点q′＝[q′x,q′y]进行匹配，设投影点与二维特征点的距离表示为dq：
步骤5.7，将空间非合作目标的特征点、直线特征全部投影到二维平面上，设第i对2D-3D对应点对距离为共有N对对应点对，设第j对2D-3D对应直线对距离为共有M对2D-3D对应直线对，则通过最小化公式(9)求解目标位姿：
通过最小二乘法求解公式(9)，以求解空间非合作目标的位姿：旋转矩阵R和平移向量t。
CN202110948038.1A 2021-08-18 2021-08-18 一种空间非合作目标精确位姿测量方法 Active CN113674353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110948038.1A CN113674353B (zh) 2021-08-18 2021-08-18 一种空间非合作目标精确位姿测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110948038.1A CN113674353B (zh) 2021-08-18 2021-08-18 一种空间非合作目标精确位姿测量方法

Publications (2)

Publication Number Publication Date
CN113674353A CN113674353A (zh) 2021-11-19
CN113674353B true CN113674353B (zh) 2023-05-16

Family

ID=78543640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110948038.1A Active CN113674353B (zh) 2021-08-18 2021-08-18 一种空间非合作目标精确位姿测量方法

Country Status (1)

Country Link
CN (1) CN113674353B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661493B (zh) * 2022-12-28 2023-07-04 航天云机(北京)科技有限公司 一种对象位姿的确定方法及装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242873A (zh) * 2018-08-22 2019-01-18 浙江大学 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法
CN112179357A (zh) * 2020-09-25 2021-01-05 中国人民解放军国防科技大学 基于单目相机的平面运动目标视觉导航方法及***
CN112284293A (zh) * 2020-12-24 2021-01-29 中国人民解放军国防科技大学 一种空间非合作目标精细三维形貌测量方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242873A (zh) * 2018-08-22 2019-01-18 浙江大学 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法
CN112179357A (zh) * 2020-09-25 2021-01-05 中国人民解放军国防科技大学 基于单目相机的平面运动目标视觉导航方法及***
CN112284293A (zh) * 2020-12-24 2021-01-29 中国人民解放军国防科技大学 一种空间非合作目标精细三维形貌测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
单目相机位姿估计的稳健正交迭代方法;张雄锋，刘海波，尚洋;光学学报;第39卷(第9期);262-267 *
基于多级直线表述和M-估计的三维目标位姿跟踪优化算法;张跃强,苏昂 刘海波,尚洋,于起峰;光学学报;第35卷(第1期);256-265 *
基于广义成像模型的Scheimpflug相机标定方法;孙聪，刘海波，陈圣义，尚洋;光学学报;第38卷(第8期);114-122 *
多星近距离绕飞观测任务姿轨耦合控制研究;徐影，张进，于沫尧，许丹丹;中国空间科学技术;第39卷(第6期);21-29 *

Also Published As

Publication number Publication date
CN113674353A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN109035320B (zh) 基于单目视觉的深度提取方法
RU2609434C2 (ru) Выявление расположения и местоположения объектов
Alismail et al. Automatic calibration of a range sensor and camera system
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN107729893B (zh) 一种合模机的视觉定位方法、***和存储介质
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN109559355B (zh) 一种基于相机组的无公共视场的多相机全局标定装置及方法
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
CN108362205B (zh) 基于条纹投影的空间测距方法
CN108171715B (zh) 一种图像分割方法及装置
CN104880176A (zh) 基于先验知识模型优化的运动物位姿测量方法
CN103971378A (zh) 一种混合视觉***中全景图像的三维重建方法
CN109255818B (zh) 一种新型标靶及其亚像素级角点的提取方法
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定***及标定方法
Nagy et al. Online targetless end-to-end camera-LiDAR self-calibration
CN112365545B (zh) 基于大平面复合靶标的激光雷达与可见光相机的标定方法
CN111524174A (zh) 一种动平台动目标双目视觉三维构建方法
CN113674353B (zh) 一种空间非合作目标精确位姿测量方法
CN104504691A (zh) 基于低秩纹理的摄像机位置和姿态测量方法
WO2020133080A1 (zh) 物体定位方法、装置、计算机设备及存储介质
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
Miled et al. Hybrid online mobile laser scanner calibration through image alignment by mutual information
Xiao et al. A new three-dimensional laser scanner design and its performance analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant