CN116109706B - 基于先验几何约束的空间目标反演方法、装置和设备 - Google Patents

基于先验几何约束的空间目标反演方法、装置和设备 Download PDF

Info

Publication number
CN116109706B
CN116109706B CN202310393217.2A CN202310393217A CN116109706B CN 116109706 B CN116109706 B CN 116109706B CN 202310393217 A CN202310393217 A CN 202310393217A CN 116109706 B CN116109706 B CN 116109706B
Authority
CN
China
Prior art keywords
feature points
semantic feature
coordinate system
space
space target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310393217.2A
Other languages
English (en)
Other versions
CN116109706A (zh
Inventor
王壮
王粲雨
蒋李兵
杨庆伟
任笑圆
许兆胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310393217.2A priority Critical patent/CN116109706B/zh
Publication of CN116109706A publication Critical patent/CN116109706A/zh
Application granted granted Critical
Publication of CN116109706B publication Critical patent/CN116109706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/24—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for cosmonautical navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904—SAR modes
    • G01S13/9064—Inverse SAR [ISAR]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Astronomy & Astrophysics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了基于先验几何约束的空间目标反演方法、装置和设备，通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点，根据空间目标图像中空间目标的结构信息，从语义特征点中选择多个与结构信息关联的语义特征点，其中，语义特征点至少包含当前特征点在空间目标图像中的位置信息以及空间信息。将语义特征点代入由结构信息构建的关键点深度解算方程，得到三维语义特征点，根据预先构建的参考坐标系，将三维语义特征点转化至参考坐标系中，并建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演。采用本方法提高了空间目标的特征提取和三维信息反演的稳定性与精确度。

Description

基于先验几何约束的空间目标反演方法、装置和设备
技术领域
本申请涉及空间目标反演技术领域，特别是涉及一种基于先验几何约束的空间目标反演方法、装置和设备。
背景技术
随着航空航天技术的发展，对于空间目标的探测与识别技术是发掘和利用空间的重要基础，主流空间目标识别技术有雷达目标识别和光学目标识别，利用外部传感器对空间目标进行在轨姿态与结构尺寸分析，确定可能对航天***构成的威胁的目标的尺寸、形状和轨道参数等重要目标特性。在军事航天领域，需要获取空间目标的三维姿态来确定其在轨工作状态和传感器指向等信息，同时需要获取空间目标的三维结构以判断目标载荷性能与作战能力。在民用领域，对于失效的航天器进行状态分析、陨落预报以及在轨捕获和修复等任务的开展都需要目标三维信息做支撑。
传统空间目标三维信息分析方式，通常基于多视图几何原理解析二维图像获取目标三位信息，提取目标特征进行匹配关联，进而利用对极几何或者矩阵分解的方法获得目标关键点三维坐标。然而在空间监视图像中，由于成像条件限制，在光学图像和雷达图像中提取的特征质量模糊且匹配困难，其中先验模型算法对于成像过程中空间目标受遮挡的情况会造成误匹配，ISAR成像过程中的散射点角闪烁、角度敏感性等特点将极大地影响ISAR图像特征提取性能，且噪声点较多，导致后续反演空间目标的三维信息精确度降低。
基于以上空间目标三维信息分析过程中的问题，需要一种能够精确、稳定的提取空间目标三维信息的特征点，并且解决光学和雷达两种传感器获取的图像特征匹配不稳定的方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够稳定提取空间目标在轨姿态与结构尺寸的基于先验几何约束的空间目标反演方法、装置和设备。
一种基于先验几何约束的空间目标反演方法，该方法包括如下步骤：
通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点。
语义特征点至少包含当前特征点在空间目标图像中的位置信息以及空间信息，其中，多尺度卷积神经网络中不同尺度分别提取位置信息和空间信息。
根据空间目标图像中空间目标的结构信息，从语义特征点中选择多个与结构信息关联的语义特征点。
根据结构信息，构建关键点深度解算方程，将语义特征点代入关键点深度解算方程，得到三维语义特征点。
获取空间目标图像的成像平面，根据预先构建的参考坐标系，确定成像平面向参考坐标系的转化的转换矩阵，根据转换矩阵，将三维语义特征点转化至参考坐标系中。
根据参考坐标系中的语义特征点，建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演。
在其中一个实施例中，还包括：通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点。
多尺度卷积神经网络包括：沙漏网络、预处理网络和预测网络。
预处理网络用于对空间目标图像进行预处理后得到空间目标图像的特征图，根据沙漏网络中不同尺度对空间目标图像的特征图提取像素级的语义特征点、语义特征点的位置信息以及空间信息，并将其聚合成空间目标图像的语义特征点，通过预测网络对语义特征点进行概率排布形成概率图像；概率图像是由包含位置信息以及空间信息的语义特征点构成。
在其中一个实施例中，还包括：将空间目标图像的特征图分别输入沙漏网络中不同尺度的通道，分别输出像素级的语义特征点的位置信息以及空间信息。
将语义特征点位置信息以及空间信息进行上采样或下采样为相同尺度的特征，并聚合为包含位置信息以及空间信息的语义特征点。
根据沙漏网络中不同尺度对空间目标图像的特征图提取像素级语义特征点。
在其中一个实施例中，还包括：根据空间目标图像中空间目标的结构信息，构建空间目标的几何结构约束关系。
结构信息表示空间目标在轨道运行过程中结构关系保持不变。
根据几何结构约束关系在语义特征点中筛选出多组对应的显著语义特征点。
在其中一个实施例中，还包括：根据几何结构约束关系中的轴线分配深度值，采取两视图重建几何原理确定轴线的深度矩阵。
从多幅空间目标图像中提取显著语义特征点，根据显著语义特征点的坐标，构建航迹矩阵。
根据深度矩阵与航迹矩阵，构建关键点深度解算方程，通过最小二乘法和随机抽样一致性检验方法求解关键点深度解算方程，得到语义特征点的三维坐标。
在其中一个实施例中，还包括：当采用光学传感器拍摄空间目标图像时，根据光学传感器的底片提取投影矢量，以及确定视线方向矢量，根据投影矢量、视线方向矢量以及光学传感器所在测量站的测量信息，确定成像平面在测量站坐标系的坐标表示。
根据传感器拍摄时刻与其相邻时刻两张空间目标图像，确定LVLH参考坐标系在测量站坐标系下的坐标转换矩阵。
当采用ISAR传感器拍摄所述空间目标图像时，根据雷达波束的俯仰角、方位角以及雷达和目标间距的测量信息，确定所在ISAR成像的有效转动量在los向量上的投影矢量，根据有效转动量和坐标转换矩阵确定参考系下的有效旋转矢量，根据有效旋转矢量、距离维投影矢量以及横向投影矢量，确定成像平面在参考坐标系下的坐标表示。
根据光学传感器确定的成像平面的坐标和坐标转换矩阵，将三维语义特征点转换至参考坐标系中；根据ISAR传感器确定的成像平面在参考坐标系下的坐标，将三维语义特征点转换至参考坐标系中。
在其中一个实施例中，还包括：通过设置的一致性门限值对整体航迹矩阵分解得到随机子矩阵，利用最小二乘法求解随机子矩阵对应的关键点深度解算方程，得到随机子矩阵对应的子失配量和子深度值，根据迭代次数将子深度值代入整体航迹矩阵，保留整体失配量矩阵中小于一致性门限值的有效元素，并记录其对应的子深度值，根据预设的迭代次数得到有效元素组成的有效航迹矩阵，进而得到语义特征点的三维坐标。
在其中一个实施例中，还包括：根据参考坐标系中的三维语义特征点、语义特征点的位置信息以及空间信息，确定空间目标的本体系，通过空间目标的本体系相对LVLH参考坐标系的旋转矩阵得到三维欧拉角，根据所述三维欧拉角按照旋转顺序将三维语义特征点转化至轨道坐标系中，唯一确定本体系中语义特征点的在轨姿态。
分析本体系中的语义特征点的相对位置和相对距离，结合本体系中语义特征点的在轨姿态，从而得到空间目标的姿态以及结构尺寸。
一种基于先验几何约束的空间目标反演装置，所述装置包括：
语义特征点提取模块，用于通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点。
语义特征点至少包含当前特征点在空间目标图像中的位置信息以及空间信息，其中，多尺度卷积神经网络中不同尺度分别提取位置信息和空间信息。
语义特征点优化模块，用于根据空间目标图像中空间目标的结构信息，从语义特征点中选择多个与结构信息关联的语义特征点。
三维转换模块，用于根据结构信息，构建关键点深度解算方程，将语义特征点代入关键点深度解算方程，得到三维语义特征点。
坐标系转换模块，用于获取空间目标图像的成像平面，根据预先构建的参考坐标系，确定成像平面向参考坐标系的转化的转换矩阵，根据转换矩阵，将三维语义特征点转化至参考坐标系中。
空间目标反演模块：用于根据参考坐标系中的语义特征点，建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演。
一种基于先验几何约束的空间目标反演的计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点。
语义特征点至少包含当前特征点在空间目标图像中的位置信息以及空间信息，其中，多尺度卷积神经网络中不同尺度分别提取位置信息和空间信息。
根据空间目标图像中空间目标的结构信息，从语义特征点中选择多个与结构信息关联的语义特征点。
根据结构信息，构建关键点深度解算方程，将语义特征点代入关键点深度解算方程，得到三维语义特征点。
获取空间目标图像的成像平面，根据预先构建的参考坐标系，确定成像平面向参考坐标系的转化的转换矩阵，根据转换矩阵，将三维语义特征点转化至参考坐标系中。
根据参考坐标系中的语义特征点，建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演。
相对于现有技术，本发明能够获得以下技术效果：
上述基于先验几何约束的空间目标反演方法、装置和设备，通过构建多尺度卷积神经网络从空间目标图像中提取语义特征点，利用多尺度卷积神经网络对多幅空间目标图像在不同尺度下进行语义特征的提取，确保提取到的空间目标图像中的语义特征点中包含该点的位置信息和结构信息，相较于传统的特征算子，本发明提取到的语义特征点反映了空间目标的结构信息，相对本体的位置固定不变，受图像中目标区域纹理与光照影响较小，且无需匹配关联，作为后续反演过程输入的数据稳定性更高。进一步的，空间目标的结构形态决定其特有的结构信息，基于空间目标本身固有结构信息，对语义特征点进行进一步筛选，可以提高语义特征点提取过程的精度。其次，引入深度值参数，根据空间目标的结构信息构建关键点深度求解方程，获取对应的语义特征点的三维数据信息，将二维语义特征点的平面坐标矩阵转换成三维坐标系，进而反映出空间目标的三维结构特性，降低了对特征点的数量要求的同时，即使空间目标收到局部遮挡，也可以利用结构信息获取包含位置信息和空间信息的语义特征点的三维坐标，从而保障三维语义特征点数据具备良好的精度和较高的鲁棒性。然后，通过构建的参考坐标系，将三维语义特征点转化至参考坐标系中，使本发明可以同时应用在光学传感器和ISAR传感器设备上，同时对雷达和光学图像皆适用，对于极大光学监视设备的焦径比具备更好的适用性。输入经参考坐标系转换后的三维语义特征点包括其位置信息和三维坐标数据信息，根据结构信息分析三维语义特征点，得到三维目标的结构尺寸，通过分析本体系得到三维目标的在轨姿态。由此可见，在反演过程中，基于语义特征点包含的数据具备较高的准确性和鲁棒性，因此可以更精确的反演出空间目标的三维姿态和结构尺寸。由此可见，与现有的空间目标姿态与尺寸估计算法相比，本发明可以更精确的反演出空间目标的三维姿态和结构尺寸，且提高了空间目标反演结果的稳定性与精确度。
附图说明
图1为一个实施例中基于先验几何约束的空间目标反演方法的流程示意图；
图2为一个实施例中多尺度卷积神经网络结构的示意图；
图3为一个实施例中空间目标几何约束示意图；
图4为一个实施例中一个实施例中先验几何约束在两视图成像序列图像的示意图，其中图4（a）为视图成像序列图像结果1，图4（b）为视图成像序列图像结果2；
图5为一个实施例中随机一致性抽样算法的示意图；
图6为一个实施例中空间目标成像平面参考坐标系及其在轨姿态示意图，其中图6（a）为空间目标监视任务中的坐标系，图6（b）为空间目标俯仰的在轨姿态，图6（c）为空间目标滚转的在轨姿态，图6（d）为空间目标偏航的在轨姿态；
图7为一个实施例中光学传感器成像平面计算模型的示意图；
图8为一个实施例中ISAR成像平面计算模型及等效旋转矢量的示意图，其中图8（a）为ISAR成像平面计算模型，图8（b）为ISAR成像等效旋转矢量示意图；
图9为一个实施例中仿真的天宫一号空间站可观测弧段示意图，其中图9（a）为传感器俯仰角可观测弧段，图9（b）为传感器方位角可观测弧段，图9（c）为目标距离可观测弧段；
图10为一个实施例中天宫一号空间站可观测弧段内光学图像的仿真结果；
图11为一个实施例中天宫一号空间站可观测弧段内ISAR图像的仿真结果；
图12为一个实施例中基于先验几何约束的空间目标反演装置的结构框图；
图13为一个实施例中基于先验几何约束的空间目标反演的计算机设备的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在实际场景下，存在测量站、空间目标、捕获空间目标图像的传感器以及计算机终端设备组成的基地***，其中，空间目标可以是在空轨道运行的卫星、空间站、载人飞船等航天器，也可以是定向轨道运行的飞行器、导弹等，该基地***至少包括空间目标监视***、空间目标探测***以及空间目标跟踪***，利用测量站内的传感器在当前时刻下，对空间目标的光波或者雷达回波的信号感知，生成反映空间目标当前时刻的轮廓结构和主体结构信息的二维图像，在不同时刻下，同一个特征点随着目标姿态的变动，其相对轨道位置和相对目标本体的位置均发生了改变。基于此场景下，实现准确、稳定的反演出空间目标三维结构信息和三维姿态，需要采取本发明基于先验几何约束的空间目标反演方法，具体实施步骤如下：
进一步的，根据参考坐标系中的语义特征点，建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演。值得说明的是，利用坐标转换得到的参考坐标系下的语义特征点的三维坐标构建本体坐标系，可见，本体坐标系包括语义特征点的位置信息和空间信息，计算本体坐标系与参考坐标系之间的相对旋转矩阵，其中，旋转矩阵体现了空间目标的三维语义特征点的在轨姿态，旋转矩阵里的每一个元素表示对应三维语义特征点在该方向上的旋转角度，因此，将本体坐标系中的语义特征点数据输入后，可以反演出空间目标的在轨姿态，结合几何约束条件，分析本体坐标系中的语义特征点相对空间目标主体的位置信息和彼此的距离信息。
在一个实施例中，如图1所示，提供了一种基于先验几何约束的空间目标反演方法，以该方法应用于上述场景中，包括以下步骤：
步骤102，通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点。
通过预先构建的多尺度卷积神经网络，在当前时刻下，测量站中传感器捕获到的空间目标二维图像中的语义特征点进行数据提取。
语义特征点至少包含当前特征点在空间目标图像中的位置信息以及空间信息，其中，多尺度卷积神经网络中不同尺度分别提取位置信息和空间信息。
同一个特征点随着目标姿态的变动，其相对轨道位置和相对目标本体的位置均会发生改变，相较于传统特征算子而言，本发明提取到的语义特征点对应着目标三维结构上具有实际意义的点，反映了目标的结构信息，相对本体的位置固定不变，受图像中目标区域纹理与光照影响较小，且无需匹配关联，作为后续反演过程的输入数据稳定性更高。
步骤104，根据空间目标图像中空间目标的结构信息，从语义特征点中选择多个与结构信息关联的语义特征点。
空间目标的结构受其功能用途等因素存在多种结构形态，然而空间目标的结构形态决定其特有的结构信息，引入结构信息对语义特征点进行进一步限定，可以提高语义特征点提取过程的精度。
步骤106，根据结构信息构建关键点深度解算方程，将语义特征点代入关键点深度解算方程，得到三维语义特征点。
引入深度值参数，将二维语义特征点的平面坐标矩阵转换成三维坐标系，进而反映出空间目标的三维结构特性。
步骤108，获取空间目标图像的成像平面，根据预先构建的参考坐标系，确定成像平面向参考坐标系的转化的转换矩阵，根据转换矩阵，将三维语义特征点转化至所述参考坐标系中。
空间目标的成像平面为传感器在测量站坐标系下的矢量坐标构成的，三维语义特征点需要通过参考系坐标转换，得到包含轨道坐标系的三维语义特征点，因此，选定参考坐标系才可以确定成像平面向参考坐标系的转化的转换矩阵，其中，参考坐标系可以为惯性系（ECI）、地心地固系（ECEF）以及轨道坐标系（LVLH）。由此可见，参考坐标系作为三维语义特征点坐标与传感器的成像平面坐标的转化媒介，在实际场景应用中，由于成像方式不同，本发明可以同时应用在光学传感器和ISAR传感器设备上，同时对雷达和光学图像皆适用，对于极大光学监视设备的焦径比，本发明具备更好的适用性。
步骤110，根据参考坐标系中的语义特征点，建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演。
输入经参考坐标系转换后的三维语义特征点包括其位置信息和三维坐标数据信息，根据结构信息分析三维语义特征点，得到三维目标的结构尺寸，通过分析本体系得到三维目标的在轨姿态。由此可见，在反演过程中，基于语义特征点包含的数据具备较高的准确性和鲁棒性，因此可以更精确的反演出空间目标的三维姿态和结构尺寸。
上述基于先验几何约束的空间目标反演方法、装置和设备，通过构建多尺度卷积神经网络从空间目标图像中提取语义特征点，利用多尺度卷积神经网络对多幅空间目标图像在不同尺度下进行语义特征的提取，确保提取到的空间目标图像中的语义特征点中包含该点的位置信息和结构信息，相较于传统的特征算子，本发明提取到的语义特征点反映了空间目标的结构信息，相对本体的位置固定不变，受图像中目标区域纹理与光照影响较小，且无需匹配关联，作为后续反演过程输入的数据稳定性更高。进一步的，空间目标的结构形态决定其特有的结构信息，基于空间目标本身固有结构信息，对语义特征点进行进一步筛选，可以提高语义特征点提取过程的精度。其次，引入深度值参数，根据空间目标的结构信息构建关键点深度求解方程，获取对应的语义特征点的三维数据信息，将二维语义特征点的平面坐标矩阵转换成三维坐标系，进而反映出空间目标的三维结构特性，降低了对特征点的数量要求的同时，即使空间目标收到局部遮挡，也可以利用结构信息获取包含位置信息和空间信息的语义特征点的三维坐标，从而保障三维语义特征点数据具备良好的精度和较高的鲁棒性。然后，通过构建的参考坐标系，将三维语义特征点转化至参考坐标系中，使本发明可以同时应用在光学传感器和ISAR传感器设备上，同时对雷达和光学图像皆适用，对于极大光学监视设备的焦径比具备更好的适用性。输入经参考坐标系转换后的三维语义特征点包括其位置信息和三维坐标数据信息，根据结构信息分析三维语义特征点，得到三维目标的结构尺寸，通过分析本体系得到三维目标的在轨姿态。由此可见，在反演过程中，基于语义特征点携带数据具备较高的准确性和鲁棒性，因此可以更精确的反演出空间目标的三维姿态和结构尺寸。由此可见，与现有的空间目标姿态与尺寸估计算法相比，本发明可以更精确的反演出空间目标的三维姿态和结构尺寸，且提高了空间目标反演结果的稳定性与精确度。
在其中一个实施例中，通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点。多尺度卷积神经网络包括：沙漏网络、预处理网络和预测网络。预处理网络用于对空间目标图像进行预处理后得到空间目标图像的特征图，根据沙漏网络中不同尺度对空间目标图像的特征图提取像素级的语义特征点、语义特征点的位置信息以及空间信息，并将其聚合成空间目标图像的语义特征点，通过预测网络对语义特征点进行概率排布形成概率图像。进一步的说明，概率图像是由包含位置信息以及空间信息的语义特征点构成。
值得说明的是，对于ISAR传感器获取到的空间目标图像可以通过预处理网络做归一化以及其他预处理，然后将预处理后的图像传输至沙漏网络中，在沙漏网络中构建残差网络（Residual Network，以下简称ResNet）作为像素级的特征提取器，用于提取像素级语义特征点及其二维信息，将沙漏网络提取到的语义特征点及其二维信息聚合并调整到不同的分辨率下，得到空间目标图像的语义特征点及其二维信息，预测网络接收到将以上特征聚合为语义特征点可能出现的概率分布，形成包含位置信息以及空间信息的语义特征点构成的概率图像。
具体的，如图2所示，在训练多尺度卷积神经网络时，输入未经过定标的ISAR传感器捕捉到的空间目标图像，首先采用物理光学法仿真空间目标3D模型的宽带回波信号，进而利用距离-多普勒算法对回波进行成像，采用均方根误差作为训练损失，表示为：
Figure SMS_1
；
其中，
Figure SMS_2
、/>
Figure SMS_3
分别代表第i个提取到的像素级语义特征点的横坐标与纵坐标，/>
Figure SMS_4
与/>
Figure SMS_5
表示第i个提取到的像素级语义特征点对应的空间目标真值，N表示像素级语义特征点的数量。
由此可见，由传感器捕捉到的空间目标图像中每一层图像尺度包含不同语义特征点对应的位置信息和空间信息，其中，尺度越小提取到的语义特征点对应的位置信息越精确，并且空间目标的语义特征点与目标整体结构的相对位置存储在多个层级的线索中，需要利用多尺度卷积神经网络在不同尺度下认知变量信息，从而保留了语义特征点的位置信息和空间信息，使得语义特征点不论空间目标在轨如何运动，都可以精准而稳定的从传感器获取的空间目标图像中，提取到当前时刻下语义特征点的位置信息和空间信息。
在其中一个实施例中，将空间目标图像的特征图分别输入所述沙漏网络中不同尺度的通道，分别输出所述像素级的语义特征点的位置信息以及空间信息。将语义特征点位置信息以及空间信息进行上采样或下采样为相同尺度的特征，并聚合为包含位置信息以及空间信息的语义特征点。根据沙漏网络中不同尺度对空间目标图像的特征图提取像素级语义特征点。
值得说明的是，如图2所示，沙漏网络主要由残差模块、最大池化层以及上采样层组成，网络的拓扑结构是对称的，每一个下采样层都对应一个上采样层，其中，最大池化层内上方与下方的值分别代表输入与输出通道，最大池化层外底部的“K”与“S”值分别表示该池化核的尺寸与步长，上采样层下方的“K”值代表上采样倍数。在每次最大池化之前，网络中将会引出另一条支路，利用额外的卷积层对空间目标图像的特征图进行处理，以此旁路结构可以防止沙漏网络在特征提取过程中过度拟合，并将之与后续处理中具有相同分辨率的特征图连接起来。因此，为了将相邻分辨率下的像素级的语义特征点、语义特征点的位置信息以及空间信息聚合起来得到空间目标图像的语义特征点，对低分辨率特征图进行最近邻插值，并与之前尺度下得到的相同分辨率特征图进行组合，可以更高效且稳定的提取到像素级的语义特征点。
由此可见，相比于传统ISAR图像散射点，语义特征点携带其位置信息和空间信息，能够对应目标结构上的具体实际的点，可以避免因电磁特性造成的一系列特征提取模糊与匹配跟踪误差大的问题，使得多尺度卷积神经网络成为一种有潜力的ISAR图像语义特征点提取方法。
在其中一个实施例中，根据空间目标图像中空间目标的结构信息，构建空间目标的几何结构约束关系。结构信息表示空间目标在轨道运行过程中结构关系保持不变。根据几何结构约束关系在语义特征点中筛选出多组对应的显著语义特征点。
进一步的，如图3所示，对于绝大多数的空间目标都具有6个语义特征点，即帆板的四个角点以及主体的两个端点，可见，空间目标存在固定的几何结构约束关系，即空间目标的主体对称轴以及帆板转轴是相互垂直的，基于多尺度卷积神经网络提取到的语义特征点为帆板的四个角点、主体的顶点以及主体的底短点，其中帆板短边的两个角点的中心点来等效帆板轴两个端点，将两个端点与主体的顶底端点组成显著语义特征点，如图3所示，显著语义特征点指P1、P2、P3、P4，根据几何结构约束关系对多幅概率图像筛选出多组显著语义特征点。
由此可见，相对于对极几何五点算法而言，降低了对语义特征点的数量需求，使得显著语义特征点在三维重构过程适应更多应用场景，加之从传感器获取的多幅空间目标图像中挑选出符合几何约束条件的语义特征点，并同时获取其对应的位置信息和空间信息，筛选掉不符合其几何形态的语义特征点，确保提取出来的语义特征点的唯一性和稳定性，对于局部受遮挡的空间目标获取的轮廓不清晰的目标图像，可以借此类语义特征点实现空间目标结构形态的重构，从而提高后续空间目标反演过程中，输入的语义特征点数据信息的准确度。
在其中一个实施例中，根据几何结构约束关系中的轴线分配深度值，采取两视图重建几何原理确定轴线的深度矩阵。从多幅空间目标图像中提取显著语义特征点，根据显著语义特征点的坐标，构建航迹矩阵。根据深度矩阵与航迹矩阵，构建关键点深度解算方程，通过最小二乘法和随机抽样一致性检验方法求解关键点深度解算方程，得到语义特征点的三维坐标。
具体的，基于多视图几何原理中的两视图重建方法，如图4所示，在两张光学图像中同时提取四个显著语义特征点，四个点可以构成空间中表示主轴与表示帆板轴的两个向量，则目标的两个轴存在的几何结构约束等量关系表示为：
Figure SMS_6
；
其中，
Figure SMS_7
分别为图4（a）中所示目标图像与图4（b）中所示目标图像中提取到的目标主轴与帆板轴在空间中的真实数值向量值，通过给每一个轴线分配一个深度值，用/>
Figure SMS_8
表示，将深度值与结构约束关系以矩阵方程的形式表示，得到等量约束关系/>
Figure SMS_9
，通过求解目标的深度值d，将图像中提取到的轴线与空间中实际的轴对应起来，利用最小二乘算法求解伪逆，可得到目标的深度值，为了提高关键点深度解算方程的求解过程的鲁棒性，在最小二乘法基础上结合随机一致性抽样检验原理，估算出目标的深度矩阵，进而获得目标语义特征点的三维坐标/>
Figure SMS_10
。
由此可见，基于空间目标的结构信息存在的几何约束条件，将几何约束条件作为先验几何约束等量关系引入到对极几何五点法上，构建关于语义特征点的深度方程组，简化运算的同时，结合随机一致性抽样检验原理，提高了方法的可靠性，可以更加稳定的求解到每幅图像中语义特征点的三维坐标。
在其中一个实施例中，当采用光学传感器拍摄空间目标图像时，根据光学传感器的底片提取投影矢量，以及确定视线方向矢量，根据投影矢量、视线方向矢量以及光学传感器所在测量站的测量信息，确定成像平面在测量站坐标系的坐标表示。
根据传感器拍摄时刻与其相邻时刻两张空间目标图像，确定LVLH（localvertical-local horizontal，局部垂直-局部水平）参考坐标系在测量站坐标系下的坐标转换矩阵。
当采用ISAR传感器拍摄所述空间目标图像时，根据雷达波束的俯仰角、方位角以及雷达和目标间距的测量信息，确定所在ISAR成像的有效转动量在los向量上的投影矢量，根据有效转动量和坐标转换矩阵确定参考系下的等效旋转矢量，根据等效旋转矢量、距离维投影矢量以及横向投影矢量，确定成像平面在参考坐标系下的坐标表示。
根据光学传感器确定的成像平面的坐标和坐标转换矩阵，将三维语义特征点转换至参考坐标系中；根据ISAR传感器确定的成像平面在参考坐标系下的坐标，将三维语义特征点转换至参考坐标系中。值得说明的是，考虑到实际应用场景，当前大部分重点监视的低轨卫星都采用对地定向姿控模式，因此本发明采用LVLH坐标系，如图6（a）所示，空间目标坐标系原点位于航天器重心，y轴由地心指向目标，z轴平行于轨道平面法向，x方向由右手定则决定，对近圆轨道，x方向可视为运行方向。
值得说明的是，由于受成像机理不同的影响，对于成像平面的计算方式存在差异。对于光学传感器而言，如图7所示，光学传感器成像平面与车站坐标系相对关系中，相机的成像平面坐标系由
Figure SMS_12
、/>
Figure SMS_15
、/>
Figure SMS_19
三个矢量构成，其中/>
Figure SMS_11
和/>
Figure SMS_16
矢量分别表示传感器底片两条边对应的投影横向矢量和纵向矢量，/>
Figure SMS_20
表示视线方向的法向量，在实际中，可认为视线方向始终由相机光心指向目标。/>
Figure SMS_23
、/>
Figure SMS_14
、/>
Figure SMS_17
三个矢量分别表示测量站当地的正东、正北及天顶方向，即ENZ坐标系下的三个矢量，光学成像望远镜的俯仰角/>
Figure SMS_21
定义为/>
Figure SMS_24
与水平面的夹角，方位角/>
Figure SMS_13
则定义为/>
Figure SMS_18
在水平面上的投影与正北方向的夹角。由此可以推导出，在t时刻捕捉到空间目标的图像的成像平面法向量/>
Figure SMS_22
可表示为：
Figure SMS_25
；
则纵向矢量表示为：
Figure SMS_26
；
横向矢量表示为：
Figure SMS_27
；
因此，光学传感器成像平面坐标系三个基向量在测量站坐标系下的坐标转换矩阵为：
Figure SMS_28
；
进一步的，根据t时刻和相邻
Figure SMS_29
时刻的两幅目标图像，得到两个相邻时刻的目标位置和对应的测量站位置，根据两个位置信息确定目标轨道平面，其中/>
Figure SMS_30
是一个很小的时间间隔。如图6（a）所示，LVLH参考坐标系的在测量站ENZ坐标系下的y轴坐标表示为：
Figure SMS_31
；
其中，
Figure SMS_32
为ENZ坐标系下目标的位置，即los矢量，/>
Figure SMS_33
为t时刻目标到测量站的位置，/>
Figure SMS_34
为地心位置，/>
Figure SMS_35
为地球半径，对上式归一化即可得到目标LVLH参考坐标系的y轴矢量/>
Figure SMS_36
，LVLH参考坐标系的y轴表示目标到地心的连线方向。通过两个相邻时刻的目标位置差分得到测量站坐标系下t时刻目标的运行方向/>
Figure SMS_37
，即：
Figure SMS_38
；
因此，t时刻下，LVLH参考坐标系的法向量
Figure SMS_39
和x轴的矢量/>
Figure SMS_40
分别表示为：
Figure SMS_41
；
Figure SMS_42
；
其中z轴为轨道平面的负法线方向，故LVLH参考坐标系在测量站坐标系下的坐标转换矩阵表示为：
Figure SMS_43
；
由此可见，成像平面坐标系到参考坐标系的坐标转换公式表示为：
Figure SMS_44
；
根据获取到的目标在像平面坐标系下的语义关键点三维坐标为
Figure SMS_45
，则在参考坐标系下的三维语义特征点坐标表示为：
Figure SMS_46
；
另外进一步的，ISAR成像平面的反演与空间目标的运动状态相关，对于大多数低轨空间目标而言，其在轨姿态方式为对地定向，即其本体结构上的某一个轴始终指向地心，基于此情况下，空间目标相对于LVLH参考坐标系保持相对稳定。参考坐标系到测量站坐标系的转换矩阵推导方法与光学传感器的坐标转换方法相同，如图8（a）所示，ISAR在t时刻的测量信息包含雷达波束的俯仰角、方位角以及雷达和目标间的距离，分别被表示为
Figure SMS_47
、
Figure SMS_48
以及/>
Figure SMS_49
，根据ISAR成像原理，为了计算成像平面，需要推导目标ISAR成像的有效转动量。如图8（b）所示，对t时刻ISAR获取的图像而言，其成像平面由距离维投影矢量与方位维投影矢量张成，其中，距离维投影矢量与雷达视线平行，即/>
Figure SMS_50
，横向投影矢量可记作
Figure SMS_51
。有效转动量是空间目标与雷达的相对旋转在los方向上的投影，根据雷达视线相对于目标的旋转，将los转换至LVLH参考坐标系，得到：
Figure SMS_52
；
在目标LVLH参考坐标系下，los的旋转角速度可以被表示为：
Figure SMS_53
；
总的相对旋转角速度
Figure SMS_54
可以表示为：
Figure SMS_55
；
等效旋转角速度是
Figure SMS_56
在los上的投影分量，可以表示为：
Figure SMS_57
；
由上述对地定向假设，认为目标在参考坐标系下处于稳定状态，因此其自旋轴参数
Figure SMS_58
可认为等于0，那么t时刻ISAR成像平面坐标系在LVLH参考坐标系下，可表示为：/>
Figure SMS_59
；
则在LVLH参考坐标系下目标的语义特征点三维坐标可表示为：
Figure SMS_60
;
在其中一个实施例中，通过设置的一致性门限值对整体航迹矩阵分解得到随机子矩阵，利用最小二乘法求解随机子矩阵对应的关键点深度解算方程，得到随机子矩阵对应的子失配量和子深度值，根据迭代次数将子深度值代入整体航迹矩阵，保留整体失配量矩阵中小于一致性门限值的有效元素，并记录其对应的子深度值，根据预设的迭代次数得到有效元素组成的有效航迹矩阵，进而得到语义特征点的三维坐标。值得说明的是，如图5所示，对一致性门限
Figure SMS_61
以及小于门限/>
Figure SMS_62
的数据数量/>
Figure SMS_63
将被赋予初始值，算法迭代次数被设为I，利用多尺度卷积神经网络提取到的语义特征点，根据几何结构约束关系，将筛选出来的显著语义特征点的点集坐标组成初始的航迹矩阵/>
Figure SMS_64
，对最小二乘法求解关键点深度解算方程进行迭代运算。
具体的，首先在
Figure SMS_65
中随机选择m幅图像中的航迹数据并组成子矩阵/>
Figure SMS_66
。例如，第m1幅、第m2幅、以及第mm幅图像被选中，子矩阵可以表示为：
Figure SMS_67
；
其中，
Figure SMS_69
中的元素是/>
Figure SMS_79
中具有对应下标的元素，进而利用式/>
Figure SMS_86
分解计算
Figure SMS_71
，得到失配量/>
Figure SMS_80
，在第i次迭代中优化得到的参数记为/>
Figure SMS_87
，i为迭代次数。进一步的，在第i次迭代中，解出的深度值参数/>
Figure SMS_92
进行全局一致性检验。将/>
Figure SMS_68
代入由整体航迹矩阵
Figure SMS_75
构成的约束关系矩阵函数/>
Figure SMS_81
，计算整体失配量/>
Figure SMS_88
，/>
Figure SMS_72
中小于
Figure SMS_76
的元素个数被记为/>
Figure SMS_83
，将/>
Figure SMS_90
与/>
Figure SMS_73
进行比较，如果/>
Figure SMS_78
，则用/>
Figure SMS_85
替换/>
Figure SMS_91
，其他相关参数也将被一并记录。因此，迭代运算和一致性检验运算被迭代I次，/>
Figure SMS_74
对应/>
Figure SMS_82
中大于/>
Figure SMS_89
的元素的行将被删除，剩下的行将被组成有效航迹矩阵/>
Figure SMS_93
，最终选出符合程度最高的数据/>
Figure SMS_70
确定所对应的那一组参数/>
Figure SMS_77
的深度值矩阵，利用/>
Figure SMS_84
计算得到语义特征点的三维坐标。
由此可见，随机一致性抽样检验原理的引入，在提高基于先验几何约束的空间目标反演方法的精确度的同时，还提升了方法在实际应用上的运行效率。
在其中一个实施例中，根据参考坐标系中的三维语义特征点、语义特征点的位置信息以及空间信息，确定空间目标的本体系，通过空间目标的本体系相对LVLH参考坐标系的旋转矩阵得到三维欧拉角，根据所述三维欧拉角按照旋转顺序将三维语义特征点转化至轨道坐标系中，唯一确定本体系中语义特征点的在轨姿态。
分析本体系中的语义特征点的相对位置和相对距离，结合本体系中语义特征点的在轨姿态在轨姿态，从而得到空间目标的姿态以及结构尺寸。值得说明的是，如图6（b）、图6（c）、图6（d）所示，采用欧拉角的向量反应空间目标的在轨姿态，按照滚转-俯仰-偏航的旋转顺序，分别求解欧拉角在LVLH参考坐标系下的x轴、y轴与z轴的旋转角，即滚转角、俯仰角、偏航角。根据空间目标的尾部到顶部轴线与参考坐标系的x轴重合以及帆板轴与参考坐标系y轴重合，设定的空间目标的初始姿态，因此，可以直观且唯一地确定目标姿态。进而根据帆板的左右语义特征点，可以判断目标帆板的长度，而根据主体顶部与底部的关键点，可以确定目标主体的长度。
在具体的实施例中，基于本发明仿真了一个真实的空间目标成像场景，选取天宫一号空间站作为空间目标，利用其轨道根数仿真了一段可观测区间，如图9（a）、图9（b）和图9（c）所示，进而根据该观测区间内目标相对于传感器的姿态变化，如图10与图11所示，分别结合光学与ISAR成像原理，仿真了一组序列图像。在进行实验时，采用SIFT特征、对极几何的方法与主散射点以及因子分解法结合的方法作为传统技术方法，将本发明反演结果和传统技术方法反演结果分别与天宫一号当前观测时段三维姿态和尺寸进行误差比对，如表（1）所示：
表（1）不同方法对天宫一号的空间姿态和尺寸的反演的误差评估结果
Figure SMS_94
由此可见，相较于SIFT特征而言，语义特征点包含三维位置信息和在轨姿态信息，故而本发明输入的反演数据相对精准；相较于对极几何方法与主散射点对空间目标图像的处理，先验几何约束与随机一致性抽样的处理过程更加高效精确；相较于因子分解法，三维语义特征点在参考系下的坐标转换处理方法更为简便，数据处理较为稳定，进而获得的天宫一号的三维姿态和尺寸结果鲁棒性较好，因此，本发明在具体场景应用中，其稳定性和精度上要远高于传统技术手段。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图12所示，提供了一种基于先验几何约束的空间目标反演装置，包括：语义特征点提取模块1202、语义特征点优化模块1204、三维转换模块1206、坐标系转换模块1208和空间目标反演模块1210，其中：
语义特征点提取模块1202，用于通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点；所述语义特征点至少包含当前特征点在空间目标图像中的位置信息以及空间信息，其中，多尺度卷积神经网络中不同尺度分别提取位置信息和语义信息。
语义特征点优化模块1204，用于根据空间目标图像中空间目标的结构信息，从语义特征点中选择多个与结构信息关联的语义特征点。
三维转换模块1206，用于根据结构信息，构建关键点深度解算方程，将语义特征点代入关键点深度解算方程，得到三维语义特征点。
坐标系转换模块1208，用于获取空间目标图像的成像平面，根据预先构建的参考坐标系，确定成像平面向参考坐标系的转化的转换矩阵，根据转换矩阵，将三维语义特征点转化至参考坐标系中。
空间目标反演模1210，用于根据参考坐标系中的语义特征点，建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演。
关于基于先验几何约束的空间目标反演装置的具体限定可以参见上文中对于基于先验几何约束的空间目标反演方法的限定，在此不再赘述。上述基于先验几何约束的空间目标反演装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种基于先验几何约束的空间目标反演的计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于先验几何约束的空间目标反演方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12-13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种基于先验几何约束的空间目标反演的计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点；语义特征点至少包含当前特征点在空间目标图像中的位置信息以及空间信息，其中，多尺度卷积神经网络中不同尺度分别提取位置信息和空间信息。
根据空间目标图像中空间目标的结构信息，从语义特征点中选择多个与结构信息关联的语义特征点。
根据结构信息，构建关键点深度解算方程，将语义特征点代入关键点深度解算方程，得到三维语义特征点。
获取空间目标图像的成像平面，根据预先构建的参考坐标系，确定成像平面向参考坐标系的转化的转换矩阵，根据转换矩阵，将三维语义特征点转化至参考坐标系中。
根据参考坐标系中的语义特征点，建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (8)

1.基于先验几何约束的空间目标反演方法，其特征在于，所述方法包括：
通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点；所述语义特征点至少包含当前特征点在所述空间目标图像中的位置信息以及空间信息，其中，所述多尺度卷积神经网络中不同尺度分别提取所述位置信息和所述空间信息；
根据所述空间目标图像中空间目标的结构信息，从所述语义特征点中选择多个与所述结构信息关联的语义特征点；
根据所述结构信息，构建关键点深度解算方程，将与所述结构信息关联的语义特征点代入所述关键点深度解算方程，得到三维语义特征点；
获取所述空间目标图像的成像平面，根据预先构建的参考坐标系，确定所述成像平面向参考坐标系的转化的转换矩阵，根据所述转换矩阵，将所述三维语义特征点转化至所述参考坐标系中；
根据所述参考坐标系中的语义特征点，建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演；
根据所述空间目标图像中空间目标的结构信息，构建所述空间目标的几何结构约束关系；所述结构信息表示空间目标在轨道运行过程中结构关系保持不变；
根据所述几何结构约束关系在所述语义特征点中筛选出多组对应的显著语义特征点；
根据所述几何结构约束关系中的轴线分配深度值，采取两视图重建几何原理确定所述轴线的深度矩阵；
从多幅所述空间目标图像中提取所述显著语义特征点，根据所述显著语义特征点的坐标，构建航迹矩阵；
根据所述深度矩阵与所述航迹矩阵，构建关键点深度解算方程；
通过最小二乘法和随机抽样一致性检验方法求解所述关键点深度解算方程，得到所述三维语义特征点。
2.根据权利要求1所述的方法，其特征在于，通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点，包括：
通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点；所述多尺度卷积神经网络包括：沙漏网络、预处理网络和预测网络；
所述预处理网络用于对所述空间目标图像进行预处理后得到所述空间目标图像的特征图，根据所述沙漏网络中不同尺度对所述空间目标图像的特征图提取像素级的语义特征点、语义特征点的位置信息以及空间信息，并将其聚合成空间目标图像的语义特征点，通过所述预测网络对所述语义特征点进行概率排布形成概率图像；所述概率图像是由包含所述位置信息以及空间信息的语义特征点构成。
3.根据权利要求2所述的方法，其特征在于，根据所述沙漏网络中不同尺度对所述空间目标图像的特征图提取像素级语义特征点，还包括：
将所述空间目标图像的特征图分别输入所述沙漏网络中不同尺度的通道，分别输出所述像素级的语义特征点的位置信息以及空间信息；
将所述语义特征点位置信息以及空间信息进行上采样或下采样为相同尺度的特征，并聚合为包含位置信息以及空间信息的语义特征点；
根据所述沙漏网络中不同尺度对所述空间目标图像的特征图提取像素级语义特征点。
4.根据权利要求1所述的方法，其特征在于，获取所述空间目标图像的成像平面，根据预先构建的参考坐标系，确定所述成像平面向参考坐标系的转化的转换矩阵，根据所述转换矩阵，将所述三维语义特征点转化至所述参考坐标系中的步骤包括：
当采用光学传感器拍摄所述空间目标图像时，根据所述光学传感器的底片提取投影矢量，以及确定视线方向矢量，根据所述投影矢量、所述视线方向矢量以及所述光学传感器所在测量站的测量信息，确定成像平面在测量站坐标系的坐标表示；
根据传感器拍摄时刻与其相邻时刻两张空间目标图像，确定LVLH参考坐标系在测量站坐标系下的坐标转换矩阵；
当采用ISAR传感器拍摄所述空间目标图像时，根据雷达波束的俯仰角、方位角以及雷达和目标间距的测量信息，确定所在ISAR成像的有效转动量在los向量上的投影矢量，根据所述有效转动量和所述坐标转换矩阵确定所述参考坐标系下的等效旋转矢量，根据等效旋转矢量、距离维投影矢量以及横向投影矢量，确定成像平面在参考坐标系下的坐标表示；
根据光学传感器确定的成像平面的坐标和所述坐标转换矩阵，将所述三维语义特征点转换至参考坐标系中；根据ISAR传感器确定的成像平面在参考坐标系下的坐标，将所述三维语义特征点转换至参考坐标系中。
5.根据权利要求4所述的方法，其特征在于，通过最小二乘法和随机抽样一致性检验方法求解所述关键点深度解算方程，得到所述三维语义特征点的步骤包括：
通过设置的一致性门限值对整体航迹矩阵分解得到随机子矩阵，利用最小二乘法求解所述随机子矩阵对应的关键点深度解算方程，得到所述随机子矩阵对应的子失配量和子深度值，根据迭代次数将子深度值代入整体航迹矩阵，保留整体失配量矩阵中小于所述一致性门限值的有效元素，并记录其对应的子深度值，根据预设的迭代次数得到有效元素组成的有效航迹矩阵，进而得到所述三维语义特征点。
6.根据权利要求4所述的方法，其特征在于，根据光学传感器确定的成像平面的坐标和所述坐标转换矩阵，将所述三维语义特征点转换至参考坐标系下；根据ISAR传感器确定的成像平面在参考坐标系下的坐标，将所述三维语义特征点转换至参考坐标系中的步骤包括：
根据所述参考坐标系中的三维语义特征点、语义特征点的位置信息以及语义信息，确定空间目标的本体系，通过所述空间目标的本体系相对LVLH参考坐标系的旋转矩阵得到三维欧拉角，根据所述三维欧拉角按照旋转顺序将所述三维语义特征点转化至轨道坐标系中，唯一确定本体系中语义特征点的在轨姿态；
分析所述本体系中的语义特征点的相对位置和相对距离，结合所述本体系中语义特征点的在轨姿态在轨姿态，从而得到所述空间目标的姿态以及结构尺寸。
7.一种基于先验几何约束的空间目标反演装置，其特征在于，所述装置包括：
语义特征点提取模块，用于通过预先构建的多尺度卷积神经网络提取空间目标图像的语义特征点；所述语义特征点至少包含当前特征点在所述空间目标图像中的位置信息以及空间信息，其中，所述多尺度卷积神经网络中不同尺度分别提取所述位置信息和所述空间信息；
语义特征点优化模块，用于根据所述空间目标图像中空间目标的结构信息，从所述语义特征点中选择多个与所述结构信息关联的语义特征点；根据所述空间目标图像中空间目标的结构信息，构建所述空间目标的几何结构约束关系；所述结构信息表示空间目标在轨道运行过程中结构关系保持不变；
根据所述几何结构约束关系在所述语义特征点中筛选出多组对应的显著语义特征点；
三维转换模块，用于根据所述结构信息，构建关键点深度解算方程，将与所述结构信息关联的语义特征点代入所述关键点深度解算方程，得到三维语义特征点；根据所述几何结构约束关系中的轴线分配深度值，采取两视图重建几何原理确定所述轴线的深度矩阵；
从多幅所述空间目标图像中提取所述显著语义特征点，根据所述显著语义特征点的坐标，构建航迹矩阵；
根据所述深度矩阵与所述航迹矩阵，构建关键点深度解算方程；
通过最小二乘法和随机抽样一致性检验方法求解所述关键点深度解算方程，得到所述三维语义特征点；
坐标系转换模块，用于获取所述空间目标图像的成像平面，根据预先构建的参考坐标系，确定所述成像平面向参考坐标系的转化的转换矩阵，根据所述转换矩阵，将所述三维语义特征点转化至所述参考坐标系中；
空间目标反演模块：用于根据所述参考坐标系中的语义特征点，建立空间目标的本体系，基于本体系中的语义特征点，进行三维目标姿态以及尺寸的反演。
8.一种基于先验几何约束的空间目标反演的计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
CN202310393217.2A 2023-04-13 2023-04-13 基于先验几何约束的空间目标反演方法、装置和设备 Active CN116109706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310393217.2A CN116109706B (zh) 2023-04-13 2023-04-13 基于先验几何约束的空间目标反演方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310393217.2A CN116109706B (zh) 2023-04-13 2023-04-13 基于先验几何约束的空间目标反演方法、装置和设备

Publications (2)

Publication Number Publication Date
CN116109706A CN116109706A (zh) 2023-05-12
CN116109706B true CN116109706B (zh) 2023-06-23

Family

ID=86258357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310393217.2A Active CN116109706B (zh) 2023-04-13 2023-04-13 基于先验几何约束的空间目标反演方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116109706B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363217B (zh) * 2023-06-01 2023-08-11 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN116908852B (zh) * 2023-09-06 2023-12-08 中国人民解放军国防科技大学 一种雷达目标语义信息快速标注方法、***及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475422A (en) * 1993-06-21 1995-12-12 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104748750B (zh) * 2013-12-28 2015-12-02 华中科技大学 一种模型约束下的在轨三维空间目标姿态估计方法及***
CN109214980B (zh) * 2017-07-04 2023-06-23 阿波罗智能技术(北京)有限公司 一种三维姿态估计方法、装置、设备和计算机存储介质
CN109636905B (zh) * 2018-12-07 2023-01-24 东北大学 基于深度卷积神经网络的环境语义建图方法
DE102019100011B4 (de) * 2019-01-02 2022-10-06 Gritworld GmbH Verfahren zur 3D-Rekonstruktion eines Objekts
CN112946646B (zh) * 2021-01-29 2023-03-21 西安电子科技大学 基于isar图像解译的卫星目标姿态和尺寸估计方法
TWI768776B (zh) * 2021-03-19 2022-06-21 國立臺灣大學 室內定位系統及室內定位方法
CN115409910A (zh) * 2021-05-28 2022-11-29 阿里巴巴新加坡控股有限公司 一种语义地图构建方法、视觉定位方法及相关设备
GB2610410B (en) * 2021-09-02 2023-10-04 Slamcore Ltd Incremental dense 3-D mapping with semantics
CN114114267B (zh) * 2022-01-24 2022-04-26 中国人民解放军32035部队 一种基于自旋空间目标模型投影匹配的目标姿态估计方法
CN114663593B (zh) * 2022-03-25 2023-04-07 清华大学 三维人体姿态估计方法、装置、设备及存储介质
CN114942431A (zh) * 2022-04-29 2022-08-26 西安电子科技大学 光雷同步观测的空间目标瞬时姿态估计方法
CN115760944A (zh) * 2022-11-29 2023-03-07 长春理工大学 融合多尺度特征的无监督单目深度估计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475422A (en) * 1993-06-21 1995-12-12 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects

Also Published As

Publication number Publication date
CN116109706A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN116109706B (zh) 基于先验几何约束的空间目标反演方法、装置和设备
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
Sharma et al. Pose estimation for non-cooperative rendezvous using neural networks
US9466143B1 (en) Geoaccurate three-dimensional reconstruction via image-based geometry
Sharma Comparative assessment of techniques for initial pose estimation using monocular vision
US10438408B2 (en) Resolution adaptive mesh for performing 3-D metrology of an object
CN111862126A (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
MX2013003853A (es) Modelado tridimensional rápido.
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
US20220309708A1 (en) System and method for automated estimation of 3d orientation of a physical asset
Tang et al. Surveying, geomatics, and 3D reconstruction
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN115423863A (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN111721283B (zh) 定位算法的精度检测方法、装置、计算机设备和存储介质
Hu et al. Planetary3D: A photogrammetric tool for 3D topographic mapping of planetary bodies
Bechini et al. Robust Monocular Pose Initialization via Visual and Thermal Image Fusion
Kim et al. Digital surface model generation for drifting Arctic sea ice with low-textured surfaces based on drone images
Maestrini et al. COMBINA: relative navigation for unknown uncooperative resident space object
Lu et al. Satmvs: A novel 3d reconstruction pipeline for remote sensing satellite imagery
Su et al. Accurate Pose Tracking for Uncooperative Targets via Data Fusion of Laser Scanner and Optical Camera
Xiong et al. An SRTM assisted image matching algorithm for long-strip satellite imagery
US20220188996A1 (en) Feature-free photogrammetric 3d imaging with cameras under unconstrained motion
Villa et al. Robust Landmark and Hazard Detection on Small Body Surfaces Using Shadow Imagery
Haitz et al. The Potential of Neural Radiance Fields and 3D Gaussian Splatting for 3D Reconstruction from Aerial Imagery
Zhong et al. Application of Photogrammetric Computer Vision and Deep Learning in High-Resolution Underwater Mapping: A Case Study of Shallow-Water Coral Reefs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant