CN116363217B - 空间非合作目标位姿测量方法、装置、计算机设备及介质 - Google Patents

空间非合作目标位姿测量方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN116363217B
CN116363217B CN202310638984.5A CN202310638984A CN116363217B CN 116363217 B CN116363217 B CN 116363217B CN 202310638984 A CN202310638984 A CN 202310638984A CN 116363217 B CN116363217 B CN 116363217B
Authority
CN
China
Prior art keywords
semantic key
key point
cooperative target
semantic
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310638984.5A
Other languages
English (en)
Other versions
CN116363217A (zh
Inventor
王梓
余英建
李璋
苏昂
于起峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310638984.5A priority Critical patent/CN116363217B/zh
Publication of CN116363217A publication Critical patent/CN116363217A/zh
Application granted granted Critical
Publication of CN116363217B publication Critical patent/CN116363217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/24—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for cosmonautical navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种空间非合作目标位姿测量方法、装置、计算机设备及介质，其涉及空间相对导航定位、计算机视觉领域中的非合作目标位姿测量领域选择空间非合作目标上的语义关键点，构建训练数据集，然后搭建深度神经网络预测语义关键点集合，使用训练数据集训练深度神经网络，完成深度神经网络训练后使用训练好的深度神经网络预测输入图像中的语义关键点集合，最后基于该预测建立带权重的N点透视问题，求解该问题得到输入图像中的非合作目标在相机坐标系下的位置和姿态。本发明能够适应复杂的空间非控制环境，实现可靠的空间非合作目标在相机坐标系下的位置和姿态预测。

Description

空间非合作目标位姿测量方法、装置、计算机设备及介质
技术领域
本发明主要涉及到雷达成像遥感技术领域，尤其是一种空间非合作目标位姿测量方法、装置、计算机设备及介质。
背景技术
随着空间技术的快速发展，例如编队飞行、失效卫星与空间碎片清除等任务中要求测量目标航天器相对于服务航天器的位置和姿态，现有方法通过预测在目标航天器上定义语义关键点在图像上位置，然后通过求解N点透视问题得到相对位置和姿态。
但是已有方法将每个关键点作为一个独立的目标，训练深度神经网络预测每个关键点在图像中的位置，缺少对航天器的整体建模，难以适应复杂的空间非控制环境。
发明内容
针对现有技术存在的技术问题，本发明提出一种空间非合作目标位姿测量方法、装置、计算机设备及介质。
为实现上述目的，本发明采用的技术方案如下：
一方面，本发明提供一种空间非合作目标位姿测量方法，包括：
获取空间非合作目标上各语义关键点在空间非合作目标体坐标系下的坐标；
获取包含空间非合作目标的样本图像，将各语义关键点在空间非合作目标体坐标系下的坐标投影到图像坐标系，得到每幅样本图像中各语义关键点的坐标，得到每幅样本图像上空间非合作目标的语义关键点真值集合并以此构建训练数据集；
构建预测语义关键点集合的深度神经网络；
使用所述训练数据集训练所述深度神经网络，直至训练收敛；
使用所述训练好的深度神经网络预测输入图像中空间非合作目标的语义关键点集合，得到预测的语义关键点集合中各语义关键点在图像坐标系的坐标与其在空间非合作目标体坐标系下的坐标的对应关系；
基于所述对应关系，求解输入图像中空间非合作目标在相机坐标系下的位置和姿态。
进一步地，本发明所述空间非合作目标上的语义关键点的数量大于等于4。
进一步地，本发明每幅样本图像上空间非合作目标的语义关键点真值集合由所有语义关键点元素组成，第个语义关键点元素由一个描述第/>个语义关键点元素与空间非合作目标体坐标系上语义关键点的对应关系的索引分类项/>、一个描述第/>个语义关键点元素在图像X轴上坐标的X轴图像坐标分类项/>和一个描述第/>个语义关键点元素在图像Y轴上坐标的Y轴图像坐标分类项/>组成。
进一步地，本发明所述深度神经网络包括特征提取网络、特征编码器、特征解码器和三个预测头，三个预测头分别是索引分类项预测头、X轴图像坐标分类项预测头、Y轴图像坐标分类项预测头；
所述特征提取网络用于从输入图像中提取特征地图；所述特征编码器用于对所提取的特征进行编码，得到全局信息编码后的特征地图；所述特征解码器用于以关键点查询向量作为输入，查询特征编码器编码后的特征地图，得到每个预测元素对应的解码后的特征；所述索引分类项预测头、X轴图像坐标分类项预测头、Y轴图像坐标分类项预测头接受特征解码器输出的解码后的特征，分别预测语义关键点元素的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项。
进一步地，本发明采用随机梯度下降法使用所述训练数据集训练所述深度神经网络。
进一步地，本发明训练所述深度神经网络，包括：
输入图像中空间非合作目标的语义关键点真值集合为，其中第/>个语义关键点元素记为/>，语义关键点真值集合中语义关键点元素数量为/>，/>等于空间非合作目标上语义关键点的数量/>；
基于所述输入图像由深度神经网络预测到的语义关键点预测值集合为，其中第/>个语义关键点元素记为/>，语义关键点预测值集合中语义关键点元素数量为/>，且/>；
向语义关键点真值集合补充零元素，得到集合/>，使/>中语义关键点元素的数量为/>，与语义关键点预测值集合/>只能够的语义关键点元素数量相同；
定义索引函数，通过最小化二分匹配损失函数得到最佳索引函数，如下：
；
其中、/>、/>分别为第/>个语义关键点预测元素在语义关键点预测集合中的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项；/>、/>、/>分别为第/>个语义关键点预测元素在语义关键点真值集合中的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项，/>表示第/>个语义关键点预测元素在语义关键点真值集合中的索引；/>是一个平衡参数；/>为交叉熵损失；当X轴图像坐标分类项、Y轴图像坐标分类项为高斯分布时，为KL损失；当X轴图像坐标分类项、Y轴图像坐标分类项为独热编码时，/>为交叉熵损失；
使用最佳索引函数为语义关键点预测值集合中的各语义关键点元素配对中的一个语义关键点元素。
进一步地，本发明训练所述深度神经网络，还包括构建深度神经网络的损失函数，监督所述深度神经网络的训练，其中所述深度神经网络的损失函数，如下：
；
其中是坐标项损失函数；/>、/>、/>分别为经最佳索引函数匹配到的第/>个语义关键点预测元素在语义关键点真值集合中的语义关键点元素的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项；/>表示经最佳索引函数匹配到的第/>个语义关键点预测元素在语义关键点真值集合中的语义关键点元素的最佳索引。
进一步地，本发明坐标项损失函数，为：
；
其中和/>分别是坐标分类项的预测值和真值的均值：
；
其中为坐标项分类项的预测维度；/>为坐标分类项的预测方差：
；
进一步地，本发明训练所述深度神经网络时，训练收敛的条件是：
设置最大迭代次数，当迭代次数超过最大迭代次数时结束训练；
或者，设置损失函数阈值，当当前计算得到的损失函数值小于损失函数阈值时结束训练；
或者，当前计算得到的损失函数值不再下降时，结束训练。
进一步地，本发明中空间非合作目标在相机坐标系下的位置和姿态，通过以下步骤获得：
通过预测得到的输入图像的语义关键点集合中的第个语义关键点元素的X轴图像坐标分类项、Y轴图像坐标分类项/>、/>得到第/>个语义关键点元素在图像坐标系X轴、Y轴上的坐标位置/>、/>；
；
其中和/>分别是第/>个语义关键点元素的X轴图像坐标分类项、Y轴图像坐标分类项在第/>个位置上的概率，/>和/>分别是输入图像的宽和高，/>为一个系数，是坐标分类项分辨率与图像尺度的比值；
获取预测得到的输入图像的语义关键点集合中的第个语义关键点元素在图像坐标系X轴、Y轴上的位置不确定度，如下：
；
通过预测得到的输入图像的语义关键点集合中的第个语义关键点元素的索引分类项，得到第/>个语义关键点元素对应的空间非合作目标体坐标系下的坐标/>：
；
其中，表示第/>个语义关键点元素到预定义的语义关键点的索引；
构建带加权的N点透视模型，通过求解所述带加权的N点透视模型得到非合作目标在相机坐标系下的位置和姿态，其中所述带加权的N点透视模型为：
；
其中和/>分别是空间非合作目标在相机坐标系下的旋转矩阵和平移向量的最佳估计值，称两者为空间非合作目标的位姿；/>是一个指示函数，当且仅当括号内的条件成立是为1，否则等于0；/>是鲁棒估计函数；/>是加权的重投影残差，表示为：
；/>；
其中，为相机的内参数矩阵，/>为空间非合作目标的位姿，其中/>为空间非合作目标在相机坐标系下的旋转矩阵，/>为空间非合作目标在相机坐标系下的平移向量，为第/>个语义关键点元素对应的空间非合作目标体坐标系下的坐标，/>为第/>个语义关键点元素的摄影深度。
另一方面，本发明提供一种空间非合作目标位姿测量装置，包括：
第一模块，用于获取空间非合作目标上各语义关键点在空间非合作目标体坐标系下的坐标；
第二模块，用于获取包含空间非合作目标的样本图像，将各语义关键点在空间非合作目标体坐标系下的坐标投影到图像坐标系，得到每幅样本图像中各语义关键点的坐标，得到每幅样本图像上空间非合作目标的语义关键点真值集合并以此构建训练数据集；
第三模块，用于构建预测语义关键点集合的深度神经网络；
第四模块，用于使用所述训练数据集训练所述深度神经网络，直至训练收敛；
第五模块，用于使用所述训练好的深度神经网络预测输入图像中空间非合作目标的语义关键点集合，得到预测的语义关键点集合中各语义关键点在图像坐标系的坐标与其在空间非合作目标体坐标系下的坐标的对应关系；
第六模块，用于基于所述对应关系，求解输入图像中空间非合作目标在相机坐标系下的位置和姿态。
另一方面，本发明提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取空间非合作目标上各语义关键点在空间非合作目标体坐标系下的坐标；
获取包含空间非合作目标的样本图像，将各语义关键点在空间非合作目标体坐标系下的坐标投影到图像坐标系，得到每幅样本图像中各语义关键点的坐标，得到每幅样本图像上空间非合作目标的语义关键点真值集合并以此构建训练数据集；
构建预测语义关键点集合的深度神经网络；
使用所述训练数据集训练所述深度神经网络，直至训练收敛；
使用所述训练好的深度神经网络预测输入图像中空间非合作目标的语义关键点集合，得到预测的语义关键点集合中各语义关键点在图像坐标系的坐标与其在空间非合作目标体坐标系下的坐标的对应关系；
基于所述对应关系，求解输入图像中空间非合作目标在相机坐标系下的位置和姿态。
另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取空间非合作目标上各语义关键点在空间非合作目标体坐标系下的坐标；
获取包含空间非合作目标的样本图像，将各语义关键点在空间非合作目标体坐标系下的坐标投影到图像坐标系，得到每幅样本图像中各语义关键点的坐标，得到每幅样本图像上空间非合作目标的语义关键点真值集合并以此构建训练数据集；
构建预测语义关键点集合的深度神经网络；
使用所述训练数据集训练所述深度神经网络，直至训练收敛；
使用所述训练好的深度神经网络预测输入图像中空间非合作目标的语义关键点集合，得到预测的语义关键点集合中各语义关键点在图像坐标系的坐标与其在空间非合作目标体坐标系下的坐标的对应关系；
基于所述对应关系，求解输入图像中空间非合作目标在相机坐标系下的位置和姿态。
相比现有技术，本发明的技术效果：
本发明通过训练深度神经网络预测空间非合作目标中每个语义关键点在图像坐标系中的位置，进而求解空间非合作目标在相机坐标系下的位置和姿态。本发明能够适应复杂的空间非控制环境，实现可靠的空间非合作目标在相机坐标系下的位置和姿态预测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是一实施例的流程图；
图2是一实施例中空间非合作目标的语义关键点真值集合表示的示意图；
图3是一实施例中使用的深度神经网络结构图；
图4是一实施例中深度神经网络的训练流程图；
图5是一实施例中基于深度神经网络的目标位置和姿态估计流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，一实施例中提供一种空间非合作目标位姿测量方法，包括以下步骤：
（1）构建训练数据集；
获取空间非合作目标上各语义关键点在空间非合作目标体坐标系下的坐标；
获取包含空间非合作目标的样本图像，将各语义关键点在空间非合作目标体坐标系下的坐标投影到图像坐标系，得到每幅样本图像中各语义关键点的坐标，得到每幅样本图像上空间非合作目标的语义关键点真值集合并以此构建训练数据集。
（2）构建预测语义关键点集合的深度神经网络；
（3）使用训练数据集训练深度神经网络；
使用优化算法，基于所述训练数据集训练所述深度神经网络，直至训练收敛。
（4）使用所述训练好的深度神经网络对输入图像进行预测；
使用所述训练好的深度神经网络预测输入图像中空间非合作目标的语义关键点集合，得到预测的语义关键点集合中各语义关键点在图像坐标系的坐标与其在空间非合作目标体坐标系下的坐标的对应关系；
（5）求解输入图像中空间非合作目标在相机坐标系下的位置和姿态。
基于所述对应关系，求解输入图像中空间非合作目标在相机坐标系下的位置和姿态。
可以理解，所述空间非合作目标上的语义关键点的数量大于等于4。
每幅样本图像上空间非合作目标的语义关键点真值集合由所有语义关键点元素组成。如图2所示，一实施例中空间非合作目标的语义关键点真值集合表示的示意图，在该案例中，在空间非合作目标上选择了11个语义关键点，所有语义关键点组成语义关键点真值集合语义关键点真值集合中的每个语义关键点元素分别记为，其中第/>个语义关键点元素/>由三项组成，包括一个描述第/>个语义关键点元素与空间非合作目标体坐标系上语义关键点的对应关系的索引分类项/>、一个描述第/>个语义关键点元素在图像X轴上坐标的X轴图像坐标分类项/>和一个描述第/>个语义关键点元素在图像Y轴上坐标的Y轴图像坐标分类项/>，/>、/>、/>。/>和/>分别是输入图像的宽和高，/>是坐标分类项的分辨率系数，/>和/>可以采用一维的高斯分布表示：
；
其中和/>是该语义关键点元素在图像坐标系上的真值，/>为固定的空间方差，其值可以根据图像的分辨率/>、/>和坐标分类项的分辨/>调整。此外，也采用独热编码的形式表示/>和/>，
；
索引分类项描述了第/>个语义关键点元素与空间非合作目标体坐标系上语义关键点的对应关系，采用独热编码表示。假设第/>个语义关键点元素/>对应到空间非合作目标体坐标系上的第/>个语义关键点，那么/>为：
；
此外引入了背景元素描述图像上不是语义关键点的像素，其中/>中的索引分类项/>均为零：
；
元素也可以被称为空元素。将背景类元素单独设置为一类，因此，索引分类项的维度为语义关键点数量加1,1表示背景元素。
构建训练数据集有两种情况：
1）当有空间非合作目标的三维模型时，可以使用三维模型编辑软件选取空间非合作目标表面的语义关键点，并记录其在空间非合作目标体坐标系（也可简称体坐标系）下的坐标；
2）当仅有带有位姿标注的样本图像时，可以手工选取若干语义关键点，从多幅图像中使用多视图交会技术计算每个语义关键点在体坐标系下的坐标。记语义关键点的数量为（/>），第/>个语义关键点在体坐标系下的坐标为/>，通过针孔成像模型得到一幅样本图像中第/>个语义关键点的坐标：
；
其中是第/>个语义关键点在图像坐标系下的齐次坐标。按照此方法，可以得到每幅图像上每个语义关键点的图像坐标，进而可以得到每幅样本图像上空间非合作目标的语义关键点集合真值。
一实施例采用的所述深度神经网络包括特征提取网络（TZ)、特征编码器、特征解码器和三个预测头，三个预测头分别是索引分类项预测头、X轴图像坐标分类项预测头、Y轴图像坐标分类项预测头。
所述特征提取网络用于从输入图像中提取特征地图；所述特征编码器用于对所提取的特征地图进行编码，得到全局信息编码后的特征地图，起到全局特征融合交互的作用。所述特征解码器用于以关键点查询向量作为输入，查询特征编码器编码后的特征地图，得到每个预测元素对应的解码后的特征；所述索引分类项预测头、X轴图像坐标分类项预测头、Y轴图像坐标分类项预测头接受特征解码器输出的解码后的特征，分别预测语义关键点元素的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项。
一实施例采用的所述深度神经网络如图3所示，图3中，输入图像经特征提取网络（TZ)中提取特征地图。特征编码器有K个，分别是第一特征编码器（BM1）、第二特征编码器（BM2）......第K特征编码器（BMK），特征译码器也有K个，分别是第一特征译码器（YM1）、第二特征译码器（YM2）......第K特征译码器（YMK）。图3中，通过堆叠特征编码器和特征解码器，提升特征编码、解码的能力，提升神经网络预测的效果。
本发明对于训练深度神经网络采用的优化算法不限，本领域技术人员可以根据情况在现有的优化算法中进行合适的选择。
在本发明一实施例中，基于所述训练数据集，采用随机梯度下降法训练所述深度神经网络。
如图4所示，一实施例中，提供一种训练所述深度神经网络的方法，包括：
（1）输入预测集合和真值集合；
输入图像中空间非合作目标的语义关键点真值集合为，其中第/>个语义关键点元素记为/>，语义关键点真值集合中语义关键点元素数量等于空间非合作目标上语义关键点的数量/>；
基于所述输入图像由深度神经网络预测到的语义关键点预测值集合为，其中第/>个语义关键点元素记为/>，语义关键点预测值集合中语义关键点元素数量为/>，且。
（2）向真值集合补充背景元素，使预测集合和真值集合中的元素数量相等。
向语义关键点真值集合补充零元素，得到集合/>，使/>中语义关键点元素的数量为/>，与语义关键点预测值集合/>只能够的语义关键点元素数量相同；
（3）最小化匹配损失函数得到最佳索引函数。
定义索引函数，通过最小化二分匹配损失函数得到最佳索引函数，如下：
；
其中、/>、/>分别为第/>个语义关键点预测元素在语义关键点预测集合中的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项；/>、/>、/>分别为第/>个语义关键点预测元素在语义关键点真值集合中的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项，/>表示第/>个语义关键点预测元素在语义关键点真值集合中的索引；/>是一个平衡参数；/>为交叉熵损失；当X轴图像坐标分类项、Y轴图像坐标分类项为高斯分布时，/>为KL损失；当X轴图像坐标分类项、Y轴图像坐标分类项为独热编码时，/>为交叉熵损失。
（4）通过最佳索引函数为预测集合中的每个元素配对一个真值集合中的元素。
使用最佳索引函数为语义关键点预测值集合中的各语义关键点元素配对中的一个语义关键点元素。
（5）计算深度神经网络预测的损失函数值。
在上述训练深度神经网络的方法基础上，还包括构建深度神经网络的损失函数，监督所述深度神经网络的训练，其中所述深度神经网络的损失函数，如下：
；
其中是坐标项损失函数；/>、/>、/>分别为经最佳索引函数匹配到的第/>个语义关键点预测元素在语义关键点真值集合中的语义关键点元素的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项；/>表示经最佳索引函数匹配到的第/>个语义关键点预测元素在语义关键点真值集合中的语义关键点元素的最佳索引。
所述坐标项损失函数，为：
；
其中和/>分别是坐标分类项的预测值和真值的均值：
；
其中为坐标项分类项的预测维度；/>为坐标分类项的预测方差：
；
可以理解，本发明对模型终止训练的结束条件不作限制，本领域技术人员可以基于本领域公知的方法或者基于经验、惯用手段进行合理的设定，包括但不限于设定最大迭代次数等。如训练所述深度神经网络时，训练收敛的条件是，以下三种中的任何一种：
（a）设置最大迭代次数，当迭代次数超过最大迭代次数时结束训练；
（b）设置损失函数阈值，当当前计算得到的损失函数值小于损失函数阈值时结束训练；
（c）当前计算得到的损失函数值不再下降时，结束训练。
一实施例中，给定一张空间非合作目标的图像，其空间非合作目标在相机坐标系下的位置和姿态的估计流程如图5所示，包括以下步骤：
（1）输入训练图像。
（2）深度神经网络预测得到关键点集合。
使用已经完成训练的深度神经网络预测输入图像中空间非合作目标的语义关键点集合。
（3）通过图像X轴和Y轴分类项得到该元素在图像坐标系上的位置和不确定度。
通过预测得到的输入图像的语义关键点集合中的第个语义关键点元素的X轴图像坐标分类项、Y轴图像坐标分类项/>、/>得到第/>个语义关键点元素在图像坐标系X轴、Y轴上的坐标位置/>、/>；
；
这里和/>分别是第/>个语义关键点元素的X轴图像坐标分类项、Y轴图像坐标分类项在第/>个位置上的概率，/>和/>分别是输入图像的宽和高，/>为一个系数，是坐标分类项分辨率与图像尺度的比值。
获取预测得到的输入图像的语义关键点集合中的第个语义关键点元素在图像坐标系X轴、Y轴上的位置不确定度，如下：
；
（4）通过索引分类项建立关键点图像坐标和体坐标系坐标对应关系。
通过预测得到的输入图像的语义关键点集合中的第个语义关键点元素的索引分类项，得到第/>个语义关键点元素对应的空间非合作目标体坐标系下的坐标/>：
；
其中，表示第/>个语义关键点元素到预定义的语义关键点的索引。
（5）构建并求解带加权的N点透视模型。
构建带加权的N点透视模型，通过求解所述带加权的N点透视模型得到非合作目标在相机坐标系下的位置和姿态，其中所述带加权的N点透视模型为：
；
其中和/>分别是空间非合作目标在相机坐标系下的旋转矩阵和平移向量的最佳估计值，称两者为空间非合作目标的位姿；/>是一个指示函数，当且仅当括号内的条件成立是为1，否则等于0。指示函数的作用是在估计位姿时剔除网络预测的背景元素。/>是鲁棒估计函数，例如Huber Loss等，是鲁棒估计中的常用函数，这里不再叙述。/>是加权的重投影残差，表示为：
；
其中，是第/>个语义关键点元素其图像坐标的预测不确定度：
；
其中，为相机的内参数矩阵，/>为空间非合作目标的位姿，其中/>为空间非合作目标在相机坐标系下的旋转矩阵，/>为空间非合作目标在相机坐标系下的平移向量，为第/>个语义关键点元素对应的空间非合作目标体坐标系下的坐标，/>为第/>个语义关键点元素的摄影深度。
其中所述带加权的N点透视模型可以通过通用优化库g2o或者ceres求解，得到空间非合作目标在相机坐标系下的姿态和位置即和/>。
一实施例中，提供一种空间非合作目标位姿测量装置，包括：
第一模块，用于获取空间非合作目标上各语义关键点在空间非合作目标体坐标系下的坐标；
第二模块，用于获取包含空间非合作目标的样本图像，将各语义关键点在空间非合作目标体坐标系下的坐标投影到图像坐标系，得到每幅样本图像中各语义关键点的坐标，得到每幅样本图像上空间非合作目标的语义关键点真值集合并以此构建训练数据集；
第三模块，用于构建预测语义关键点集合的深度神经网络；
第四模块，用于使用所述训练数据集训练所述深度神经网络，直至训练收敛；
第五模块，用于使用所述训练好的深度神经网络预测输入图像中空间非合作目标的语义关键点集合，得到预测的语义关键点集合中各语义关键点在图像坐标系的坐标与其在空间非合作目标体坐标系下的坐标的对应关系；
第六模块，用于基于所述对应关系，求解输入图像中空间非合作目标在相机坐标系下的位置和姿态。
上述各模块的实现方法以及模型的构建均可采用前述任一实施例的中所描述的方法，在此不再赘述。
另一方面，本发明提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一实施例中所提供的空间非合作目标位姿测量方法的步骤。该计算机设备可以是服务器。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。
另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中所提供的空间非合作目标位姿测量方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本发明未尽事宜为公知技术。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.空间非合作目标位姿测量方法，其特征在于，包括：
获取空间非合作目标上各语义关键点在空间非合作目标体坐标系下的坐标；
获取包含空间非合作目标的样本图像，将各语义关键点在空间非合作目标体坐标系下的坐标投影到图像坐标系，得到每幅样本图像中各语义关键点的坐标，得到每幅样本图像上空间非合作目标的语义关键点真值集合并以此构建训练数据集，其中每幅样本图像上空间非合作目标的语义关键点真值集合由所有语义关键点元素组成，第i个语义关键点元素由一个描述第i个语义关键点元素与空间非合作目标体坐标系上语义关键点的对应关系的索引分类项、一个描述第i个语义关键点元素在图像X轴上坐标的X轴图像坐标分类项/>和一个描述第i个语义关键点元素在图像Y轴上坐标的Y轴图像坐标分类项/>组成；语义关键点真值集合中语义关键点元素数量等于空间非合作目标上语义关键点的数量/>；
构建预测语义关键点集合的深度神经网络；
使用所述训练数据集训练所述深度神经网络，直至训练收敛；
使用所述训练好的深度神经网络预测输入图像中空间非合作目标的语义关键点集合，得到预测的语义关键点集合中各语义关键点在图像坐标系的坐标与其在空间非合作目标体坐标系下的坐标的对应关系；
基于所述对应关系，求解输入图像中空间非合作目标在相机坐标系下的位置和姿态，包括：
通过预测得到的输入图像的语义关键点集合中的第i个语义关键点元素的X轴图像坐标分类项、Y轴图像坐标分类项、/>得到第i个语义关键点元素在图像坐标系X轴、Y轴上的坐标位置/>、/>；
，
其中和/>分别是第i个语义关键点元素的X轴图像坐标分类项、Y轴图像坐标分类项在第j个位置上的概率，/>和/>分别是输入图像的宽和高，/>为一个系数，是坐标分类项分辨率与图像尺度的比值；
获取预测得到的输入图像的语义关键点集合中的第i个语义关键点元素在图像坐标系X轴、Y轴上的位置不确定度，如下：
，
通过预测得到的输入图像的语义关键点集合中的第i个语义关键点元素的索引分类项，得到第个语义关键点元素对应的空间非合作目标体坐标系下的坐标/>：
，
其中，表示第i个语义关键点元素到预定义的语义关键点的索引；
构建带加权的N点透视模型，通过求解所述带加权的N点透视模型得到非合作目标在相机坐标系下的位置和姿态，其中所述带加权的N点透视模型为：
，
其中，语义关键点预测值集合中语义关键点元素数量为，且/>；/>和/>分别是空间非合作目标在相机坐标系下的旋转矩阵和平移向量的最佳估计值，称两者为空间非合作目标的位姿；/>是一个指示函数，当且仅当括号内的条件成立是为1，否则等于0；/>是鲁棒估计函数；/>是加权的重投影残差，表示为：
，
，
其中，为相机的内参数矩阵，/>为空间非合作目标的位姿，其中/>为空间非合作目标在相机坐标系下的旋转矩阵，/>为空间非合作目标在相机坐标系下的平移向量，/>为第i个语义关键点元素对应的空间非合作目标体坐标系下的坐标，/>为第i个语义关键点元素的摄影深度，/>是第/>个语义关键点在图像坐标系下的齐次坐标。
2.根据权利要求1所述的空间非合作目标位姿测量方法，其特征在于，所述空间非合作目标上的语义关键点的数量大于等于4。
3.根据权利要求1或2所述的空间非合作目标位姿测量方法，其特征在于，所述深度神经网络包括特征提取网络、特征编码器、特征解码器和三个预测头，三个预测头分别是索引分类项预测头、X轴图像坐标分类项预测头、Y轴图像坐标分类项预测头；
所述特征提取网络用于从输入图像中提取特征地图；所述特征编码器用于对所提取的特征进行编码，得到全局信息编码后的特征地图；所述特征解码器用于以关键点查询向量作为输入，查询特征编码器编码后的特征地图，得到每个预测元素对应的解码后的特征；所述索引分类项预测头、X轴图像坐标分类项预测头、Y轴图像坐标分类项预测头接受特征解码器输出的解码后的特征，分别预测语义关键点元素的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项。
4.根据权利要求3所述的空间非合作目标位姿测量方法，其特征在于，采用随机梯度下降法使用所述训练数据集训练所述深度神经网络。
5.根据权利要求4所述的空间非合作目标位姿测量方法，其特征在于，训练所述深度神经网络，包括：
输入图像中空间非合作目标的语义关键点真值集合为，其中第/>个语义关键点元素记为/>；
基于所述输入图像由深度神经网络预测到的语义关键点预测值集合为，其中第/>个语义关键点元素记为/>；
向语义关键点真值集合补充零元素，得到集合/>，使/>中语义关键点元素的数量为/>，与语义关键点预测值集合/>只能够的语义关键点元素数量相同；
定义索引函数，通过最小化二分匹配损失函数得到最佳索引函数，如下：
，
其中、/>、/>分别为第/>个语义关键点预测元素在语义关键点预测集合中的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项；/>、/>、/>分别为第/>个语义关键点预测元素在语义关键点真值集合中的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项，/>表示第/>个语义关键点预测元素在语义关键点真值集合中的索引；/>是一个平衡参数；为交叉熵损失；当X轴图像坐标分类项、Y轴图像坐标分类项为高斯分布时，/>为KL损失；当X轴图像坐标分类项、Y轴图像坐标分类项为独热编码时，/>为交叉熵损失；
使用最佳索引函数为语义关键点预测值集合中的各语义关键点元素配对中的一个语义关键点元素。
6.根据权利要求5所述的空间非合作目标位姿测量方法，其特征在于，训练所述深度神经网络，还包括构建深度神经网络的损失函数，监督所述深度神经网络的训练，其中所述深度神经网络的损失函数，如下：
，
其中是坐标项损失函数；/>、/>、/>分别为经最佳索引函数匹配到的第/>个语义关键点预测元素在语义关键点真值集合中的语义关键点元素的索引分类项、X轴图像坐标分类项、Y轴图像坐标分类项；/>表示经最佳索引函数匹配到的第/>个语义关键点预测元素在语义关键点真值集合中的语义关键点元素的最佳索引。
7.根据权利要求6所述的空间非合作目标位姿测量方法，其特征在于，所述坐标项损失函数，为：
，
其中和/>分别是坐标分类项的预测值和真值的均值：
，
其中为坐标项分类项的预测维度；/>为坐标分类项的预测方差：
。
8.根据权利要求6或7所述的空间非合作目标位姿测量方法，其特征在于，训练所述深度神经网络时，训练收敛的条件是：
设置最大迭代次数，当迭代次数超过最大迭代次数时结束训练；
或者，设置损失函数阈值，当当前计算得到的损失函数值小于损失函数阈值时结束训练；
或者，当前计算得到的损失函数值不再下降时，结束训练。
9.空间非合作目标位姿测量装置，其特征在于，包括：
第一模块，用于获取空间非合作目标上各语义关键点在空间非合作目标体坐标系下的坐标；
第二模块，用于获取包含空间非合作目标的样本图像，将各语义关键点在空间非合作目标体坐标系下的坐标投影到图像坐标系，得到每幅样本图像中各语义关键点的坐标，得到每幅样本图像上空间非合作目标的语义关键点真值集合并以此构建训练数据集，其中每幅样本图像上空间非合作目标的语义关键点真值集合由所有语义关键点元素组成，第i个语义关键点元素由一个描述第i个语义关键点元素与空间非合作目标体坐标系上语义关键点的对应关系的索引分类项、一个描述第i个语义关键点元素在图像X轴上坐标的X轴图像坐标分类项/>和一个描述第i个语义关键点元素在图像Y轴上坐标的Y轴图像坐标分类项/>组成，语义关键点真值集合中语义关键点元素数量等于空间非合作目标上语义关键点的数量/>；
第三模块，用于构建预测语义关键点集合的深度神经网络；
第四模块，用于使用所述训练数据集训练所述深度神经网络，直至训练收敛；
第五模块，用于使用所述训练好的深度神经网络预测输入图像中空间非合作目标的语义关键点集合，得到预测的语义关键点集合中各语义关键点在图像坐标系的坐标与其在空间非合作目标体坐标系下的坐标的对应关系；
第六模块，用于基于所述对应关系，求解输入图像中空间非合作目标在相机坐标系下的位置和姿态，包括：
通过预测得到的输入图像的语义关键点集合中的第i个语义关键点元素的X轴图像坐标分类项、Y轴图像坐标分类项、/>得到第i个语义关键点元素在图像坐标系X轴、Y轴上的坐标位置/>、/>；
，
其中和/>分别是第i个语义关键点元素的X轴图像坐标分类项、Y轴图像坐标分类项在第j个位置上的概率，/>和/>分别是输入图像的宽和高，/>为一个系数，是坐标分类项分辨率与图像尺度的比值；
获取预测得到的输入图像的语义关键点集合中的第i个语义关键点元素在图像坐标系X轴、Y轴上的位置不确定度，如下：
，
通过预测得到的输入图像的语义关键点集合中的第i个语义关键点元素的索引分类项，得到第个语义关键点元素对应的空间非合作目标体坐标系下的坐标/>：
，
其中，表示第i个语义关键点元素到预定义的语义关键点的索引；
构建带加权的N点透视模型，通过求解所述带加权的N点透视模型得到非合作目标在相机坐标系下的位置和姿态，其中所述带加权的N点透视模型为：
，
其中，语义关键点预测值集合中语义关键点元素数量为，且/>；/>和/>分别是空间非合作目标在相机坐标系下的旋转矩阵和平移向量的最佳估计值，称两者为空间非合作目标的位姿；/>是一个指示函数，当且仅当括号内的条件成立是为1，否则等于0；/>是鲁棒估计函数；/>是加权的重投影残差，表示为：
，
，
其中，为相机的内参数矩阵，/>为空间非合作目标的位姿，其中/>为空间非合作目标在相机坐标系下的旋转矩阵，/>为空间非合作目标在相机坐标系下的平移向量，/>为第i个语义关键点元素对应的空间非合作目标体坐标系下的坐标，/>为第i个语义关键点元素的摄影深度，/>是第/>个语义关键点在图像坐标系下的齐次坐标。
10.一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，所述处理器执行计算机程序时实现如权利要求1所述的空间非合作目标位姿测量方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1所述的空间非合作目标位姿测量方法的步骤。
CN202310638984.5A 2023-06-01 2023-06-01 空间非合作目标位姿测量方法、装置、计算机设备及介质 Active CN116363217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310638984.5A CN116363217B (zh) 2023-06-01 2023-06-01 空间非合作目标位姿测量方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310638984.5A CN116363217B (zh) 2023-06-01 2023-06-01 空间非合作目标位姿测量方法、装置、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN116363217A CN116363217A (zh) 2023-06-30
CN116363217B true CN116363217B (zh) 2023-08-11

Family

ID=86939989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310638984.5A Active CN116363217B (zh) 2023-06-01 2023-06-01 空间非合作目标位姿测量方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN116363217B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287873A (zh) * 2019-06-25 2019-09-27 清华大学深圳研究生院 基于深度神经网络的非合作目标位姿测量方法、***及终端设备
CN111862126A (zh) * 2020-07-09 2020-10-30 北京航空航天大学 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN111862201A (zh) * 2020-07-17 2020-10-30 北京航空航天大学 一种基于深度学习的空间非合作目标相对位姿估计方法
CN112053373A (zh) * 2020-08-11 2020-12-08 北京控制工程研究所 一种自带图像尺度变换的空间非合作目标姿态评估方法
CN112651437A (zh) * 2020-12-24 2021-04-13 北京理工大学 一种基于深度学习的空间非合作目标位姿估计方法
EP3905194A1 (en) * 2020-04-30 2021-11-03 Siemens Aktiengesellschaft Pose estimation method and apparatus
CN115018876A (zh) * 2022-06-08 2022-09-06 哈尔滨理工大学 一种基于ros的非合作目标抓取控制***
CN115035260A (zh) * 2022-05-27 2022-09-09 哈尔滨工程大学 一种室内移动机器人三维语义地图构建方法
CN115661246A (zh) * 2022-10-25 2023-01-31 中山大学 一种基于自监督学习的姿态估计方法
CN116109706A (zh) * 2023-04-13 2023-05-12 中国人民解放军国防科技大学 基于先验几何约束的空间目标反演方法、装置和设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287873A (zh) * 2019-06-25 2019-09-27 清华大学深圳研究生院 基于深度神经网络的非合作目标位姿测量方法、***及终端设备
EP3905194A1 (en) * 2020-04-30 2021-11-03 Siemens Aktiengesellschaft Pose estimation method and apparatus
CN111862126A (zh) * 2020-07-09 2020-10-30 北京航空航天大学 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN111862201A (zh) * 2020-07-17 2020-10-30 北京航空航天大学 一种基于深度学习的空间非合作目标相对位姿估计方法
CN112053373A (zh) * 2020-08-11 2020-12-08 北京控制工程研究所 一种自带图像尺度变换的空间非合作目标姿态评估方法
CN112651437A (zh) * 2020-12-24 2021-04-13 北京理工大学 一种基于深度学习的空间非合作目标位姿估计方法
CN115035260A (zh) * 2022-05-27 2022-09-09 哈尔滨工程大学 一种室内移动机器人三维语义地图构建方法
CN115018876A (zh) * 2022-06-08 2022-09-06 哈尔滨理工大学 一种基于ros的非合作目标抓取控制***
CN115661246A (zh) * 2022-10-25 2023-01-31 中山大学 一种基于自监督学习的姿态估计方法
CN116109706A (zh) * 2023-04-13 2023-05-12 中国人民解放军国防科技大学 基于先验几何约束的空间目标反演方法、装置和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Transformer模型的卫星单目位姿估计方法;王梓等;《航空学报》;全文 *

Also Published As

Publication number Publication date
CN116363217A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US11629965B2 (en) Methods, apparatus, and systems for localization and mapping
Huang et al. A comprehensive survey on point cloud registration
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
CN107230225B (zh) 三维重建的方法和装置
WO2018121018A1 (zh) 图片识别方法、装置、服务器及存储介质
CN109099915B (zh) 移动机器人定位方法、装置、计算机设备和存储介质
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
KR20190070514A (ko) 격자지도 생성 장치 및 방법
EP2960859B1 (en) Constructing a 3d structure
CN111292377B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN112651944A (zh) 基于cad模型的3c部件高精度六维位姿估计方法及***
JP2010072700A (ja) 画像処理装置、画像処理方法、及び、撮像システム
CN117635444A (zh) 基于辐射差和空间距离的深度补全方法、装置和设备
CN116363217B (zh) 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN113793251A (zh) 位姿确定方法、装置、电子设备和可读存储介质
Dan et al. Multifeature energy optimization framework and parameter adjustment-based nonrigid point set registration
CN111582013A (zh) 一种基于灰度共生矩阵特征船只检索方法及装置
CN113610971B (zh) 一种细粒度三维模型构建方法、装置及电子设备
CN116206302A (zh) 三维目标检测方法、装置、计算机设备和存储介质
CN113763468B (zh) 一种定位方法、装置、***及存储介质
Sayed et al. Point clouds reduction model based on 3D feature extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant