CN115908485A - 一种面向太空中非合作目标的实时位姿跟踪方法及其*** - Google Patents

一种面向太空中非合作目标的实时位姿跟踪方法及其*** Download PDF

Info

Publication number
CN115908485A
CN115908485A CN202211348852.0A CN202211348852A CN115908485A CN 115908485 A CN115908485 A CN 115908485A CN 202211348852 A CN202211348852 A CN 202211348852A CN 115908485 A CN115908485 A CN 115908485A
Authority
CN
China
Prior art keywords
point
current frame
matching
pose
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211348852.0A
Other languages
English (en)
Inventor
唐哲
陈文轩
李月华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211348852.0A priority Critical patent/CN115908485A/zh
Publication of CN115908485A publication Critical patent/CN115908485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种面向太空中非合作目标的实时位姿跟踪方法，包括：对相机拍摄到的原始RGB图像进行目标检测与实例分割，确定待跟踪物体的目标区域；提取所述目标区域的关键点信息，所述关键点信息包括关键点的位置及关键点的特征向量；匹配当前帧与前一帧的关键点，即对当前帧和前一帧的关键点特征值进行更新，将更新后的所述当前帧的关键点与前一帧的关键点进行匹配，并剔除误匹配点对，得到优化后的匹配结果；计算所述当前帧的位姿；利用历史帧的数据，对所述当前帧的位姿进行优化。本发明使用相邻帧关键点匹配的方式计算相对位姿，不需要在跟踪过程中实时对目标进行建模，有效避免了引入建模误差，提高了位姿生成速率，减少了燃料消耗。

Description

一种面向太空中非合作目标的实时位姿跟踪方法及其***
技术领域
本发明涉及追踪定位技术领域，尤其涉及一种面向太空中非合作目标的实时位姿跟踪方法及其***。
背景技术
位姿跟踪技术在深度学习网络的加持下，在过去几十年中取得了前所未有的突破。深度特征摆脱了传统特征的限制，使跟踪效果不再受限于手动设计的特征。甚至可以通过端到端的模型，直接从图像生成位姿结果。现有技术可分为两类：一类需要已知待跟踪物体的3D模型，通过将实时获取的图像数据与待跟踪物体的标准3D模型进行比对，来得到当前帧的位姿结果；另一类不需要待跟踪物体的3D模型，但会在跟踪过程中不断对物体进行3D建模，再将实时采集到的数据与建模结果比较。
然而，在实际应用场景中，待跟踪物体的形状轮廓往往是未知的。尤其是在航天领域，太空中非合作目标的3D模型属于涉密信息，无法获取，这使得第一类技术不适用于此场景。太空环境复杂，对待跟踪物体进行多方位的观测建模需要本体航天器频繁变换轨道，燃料消耗大且安全性低，第二类技术也无法满足实际应用需求。
发明内容
针对现有技术难以满足航天领域应用需求的不足，本发明提出一种面向太空中非合作目标的实时位姿跟踪方法及其***。
本发明的目的是通过以下技术方案来实现的：
一种面向太空中非合作目标的实时位姿跟踪方法，包括以下步骤：
步骤一：对相机拍摄到的原始RGB图像进行目标检测与实例分割，确定待跟踪物体的目标区域；
步骤二：提取所述步骤一获得的目标区域的关键点信息，所述关键点信息包括关键点的位置及关键点的特征向量；
步骤三：匹配当前帧与前一帧的关键点；具体操作为：归一化当前帧的关键点特征，建立当前帧的归一化后的关键点之间的邻接关系，并构建所述归一化后的关键点图结构，更新所述归一化后的关键点图结构的中心点的特征向量，得到当前帧的新关键点；以当前帧为基础，正向匹配前一帧中与当前帧匹配的新关键点；以前一帧为基础，反向匹配当前帧中与前一帧匹配的新关键点；基于所述正向匹配和所述反向匹配，初步构建当前帧中的新关键点和前一帧中的新关键点的匹配关系，再剔除误匹配，得到优化后的匹配结果；
步骤四：计算所述当前帧的位姿；
步骤五：利用历史帧的数据，对所述步骤四得到的当前帧的位姿进行优化。
进一步地，所述步骤三具体通过以下子步骤实现：
(3.1)归一化关键点特征：对当前帧的特征向量做零均值归一化，保持当前帧的特征向量维度不变，使各维度数值均值为0，方差为1；将归一化后的关键点记为特征点；
(3.2)建立当前帧特征点之间的邻接关系：计算所述特征点两两之间的距离及余弦相似度，将横向和纵向距离都不超过设定阈值、余弦相似度高于设定阈值的两个所述特征点互相标记为临近点；每个所述特征点至多有10个所述临近点，每个所述特征点的所有所述临近点构成该特征点的领域信息；对于某个所述特征点，若符合其临近点条件的特征点超过10个，则只保留与其欧式距离最近的10个特征点作为临近点；若没有符合其临近点条件的特征点，则认为该特征点无临近点；
(3.3)构建特征点图结构：将每个所述特征点与其邻域内的每个所述临近点建立连接关系，令所述邻域内与每个临近点相连的特征点为中心特征点；每条连接边的一端连接中心特征点，所述连接边的另一端连接所述中心特征点邻域内的一个所述临近点，且每条所述连接边只连接两个点；每条连接边的长度值，反比于该连接边连接的两个特征点的余弦相似度；将中心特征点的所有连接边的长度进行零均值归一化处理，使中心特征点的所有连接边的长度均值为0，方差为1；
(3.4)更新所述中心特征点的特征向量，使更新后所述中心特征点的特征向量在每一个维度上的数值，等于更新前所述中心特征点的特征向量在对应维度上的值与所述中心特征点邻域内的临近点的特征向量在对应维度上的值分别加权求和的结果；且更新前所述中心特征点的特征向量的权重为1，所述中心特征点邻域内的临近点的特征向量的权重等于该临近点对应连接边的长度；将更新后的所述中心特征点记作新关键点；
(3.5)正向匹配新关键点：以所述当前帧为基础，找到所述前一帧的新关键点中与所述当前帧新关键点匹配的点；具体步骤为：针对当前帧中的每一个新关键点，与前一帧的所有新关键点进行比较，在与当前帧中的某一新关键点横向和纵向距离都不超过设定阈值、余弦相似度高于设定阈值的前一帧的所有新关键点中，选择余弦相似度最大的新关键点作为当前帧中的该新关键点的匹配点；若没有符合要求的点，则视为当前帧中的该新关键点无匹配点；
(3.6)反向匹配新关键点：以所述前一帧为基础，参考(3.5)中所述的步骤，找到所述当前帧的新关键点中与所述前一帧新关键点匹配的点；
(3.7)初步构建匹配关系：对于正向匹配中的匹配关系p1-p2，如果反向匹配中也存在匹配关系p2-p1，则视为p1与p2具有匹配关系，p1与p2构成一组匹配点对，否则认为p1没有匹配点；所述p1为当前帧的新关键点，所述p2为前一帧的新关键点；
(3.8)剔除误匹配：在所有满足(3.7)的所述匹配点对中，随机选择不少于四组所述匹配点对，计算单应性矩阵；计算所有所述匹配点对是否满足所述单应性矩阵，得到最佳单应性矩阵，剔除不满足所述最佳单应性矩阵的所述匹配点对，完成匹配结果的优化。
进一步地，所述步骤一具体通过以下步骤实现：在包括图片和被跟踪物***姿真值的大规模数据集上训练目标检测与实例分割网络，再基于少量的航天样本图像对训练后的目标检测与实例分割网络进行微调；使用微调后的目标检测与实例分割网络获取非合作目标的位置掩码，根据掩码信息确定待跟踪物体的目标区域。
进一步地，所述步骤二具体通过以下步骤实现：在包括图片和被跟踪物***姿真值的大规模数据集上训练关键点提取网络，再基于少量的航天样本图像对训练后的关键点提取网络进行微调；使用微调后的关键点提取网络，在所述步骤一得到的目标区域内提取关键点，提取结果包括多个关键点的位置及特征向量。
进一步地，所述步骤四具体通过以下步骤实现：基于所述步骤三得到的关键点匹配结果，结合相机拍摄到的原始RGB图像的深度信息、相机的标定参数，计算得到当前帧的6D位姿。
进一步地，所述步骤五具体通过以下步骤实现：在历史帧数据库中筛选出与所述当前帧位姿接近的近邻帧，使用位姿图优化的方法对所述当前帧和所述近邻帧的位姿结果进行优化，并将所述当前帧及所述近邻帧的位姿优化结果存入所述历史帧数据库。
进一步地，所述临近点的定义具体为：将横向和纵向距离都不超过10mm、余弦相似度高于0.7的两个所述特征点互相标记为临近点；所述步骤(3.5)中，所述匹配点的具体选择区域为：与当前帧中的某一新关键点横向和纵向距离都不超过10mm、余弦相似度高于0.7的前一帧的所有新关键点。
一种采用所述的面向太空中非合作目标的实时位姿跟踪方法的面向太空中非合作目标的实时位姿跟踪***，包括：
目标检测与实例分割模块，用于在大规模数据集上训练目标检测与实例分割网络，再基于少量的航天样本图像对训练后的目标检测与实例分割网络进行微调；使用微调后的目标检测与实例分割网络获取非合作目标的位置掩码，根据掩码信息确定待跟踪物体的目标区域；
关键点提取模块，用于在大规模数据集上训练关键点提取网络，再基于少量的航天样本图像对训练后的关键点提取网络进行微调；使用微调后的关键点提取网络，在所述目标检测与实例分割模块得到的目标区域内提取关键点，提取结果包括多个关键点的位置及特征向量；
关键点匹配模块，用于匹配当前帧与前一帧的关键点；
位姿估计模块，用于计算所述当前帧的位姿：基于关键点匹配模块得到的关键点匹配结果，结合相机拍摄到的原始RGB图像的深度信息、相机的标定参数，计算当前帧相对于前一帧的位姿变换矩阵，再乘上前一帧的绝对位姿，即可得到当前帧的位姿估计结果；
位姿优化模块，通过计算相对位姿变换，在历史帧数据库中找出与当前帧位姿估计结果接近的近邻帧，将当前帧与其近邻帧的位姿进行优化，并将所述当前帧和所述近邻帧的位姿优化结果存入所述历史帧数据库。
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现面向太空中非合作目标的实时位姿跟踪方法。
本发明的有益效果是：
(1)本发明使用无模型的跟踪方法，不需要被跟踪目标的3D模型，可直接跟踪太空中非合作的未知航天器。
(2)本发明使用相邻帧关键点匹配的方式计算相对位姿，不需要在跟踪过程中实时对目标进行建模，有效避免了引入建模误差，并大大提高了位姿生成速率，减少了燃料消耗。
附图说明
图1是本发明面向太空中非合作目标的实时位姿跟踪方法的流程图。
图2是匹配当前帧与前一帧的关键点的流程图。
图3是剔除误差匹配的流程图。
图4是本发明面向太空中非合作目标的实时位姿跟踪***的示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，一种面向太空中非合作目标的实时位姿跟踪方法包括以下步骤：
步骤一：对相机拍摄到的原始RGB图像进行目标检测与实例分割。
在包括图片(一般是把一段视频的每一帧都抽出来，按时间顺序，以一系列图片的形式保存)和被跟踪物***姿真值(准确数值)的大规模数据集上训练目标检测与实例分割网络，再基于少量的航天样本图像对训练后的目标检测与实例分割网络进行微调。使用微调后的目标检测与实例分割网络获取非合作目标的位置掩码，根据掩码信息确定待跟踪物体的目标区域。本发明在训练网络时，用常见的大规模数据集训练网络后，再使用少量的航天器样本进行微调，训练过程不依赖大量的航天器图像，避免因航天器信息不足而产生训练不足的问题。
本实施例中，在COCO数据集上预训练Mask R-CNN网络，后利用航天器的仿真数据对训练后的网络进行微调。
步骤二：提取目标区域的关键点信息。
在包括图片(一般是把一段视频的每一帧都抽出来，按时间顺序，以一系列图片的形式保存)和被跟踪物***姿真值(准确数值)的大规模数据集上训练关键点提取网络，再基于少量的航天样本图像对训练后的关键点提取网络进行微调；使用微调后的关键点提取网络，在步骤一得到的目标区域内提取关键点A，提取结果包括多个关键点的位置及特征向量。
本实施例中，利用VGG16网络在目标区域内生成多个深度特征，用FAST角点特征提取算法找到目标区域内的关键点A，并记录对应位置的深度特征。
步骤三：匹配当前帧与前一帧的关键点。
使用图注意力网络对当前帧及前一帧的关键点特征值进行微调，将微调后的当前帧的关键点与前一帧的关键点匹配，剔除误匹配点对，得到优化后的匹配结果。本实施例中，根据关键点之间的位置关系及余弦相似度，获得邻域信息，构建邻域关系图，使用邻域内的特征点来更新当前特征点。采用双向KNN(K-NearestNeighbor)投票算法匹配当前帧与前一帧的关键点，使用RANSAC(Random Sample Consensus)算法剔除误匹配点对。
如图2所示，步骤三具体通过以下子步骤实现：
(3.1)归一化关键点特征：对当前帧的特征向量做零均值归一化，保持当前帧的特征向量维度不变，使各维度数值均值为0，方差为1。将归一化后的关键点记为特征点A′。
(3.2)建立当前帧特征点之间的邻接关系。
计算特征点A′之间的距离及余弦相似度，将横向和纵向距离都不超过10mm、余弦相似度高于0.7的两个特征点A′互相标记为临近点。每个特征点A′至多有10个临近点，若符合条件的特征点A′超过10个，则只保留欧式距离最近的10个作为临近点；每个特征点A′的所有临近点构成该特征点的领域信息。若没有符合要求的特征点A′，则认为该特征点A′无临近点。
(3.3)构建特征点图结构。
将每个特征点A′与其邻域内的每个临近点建立连接关系，令该邻域内与每个临近点相连的特征点A′为中心特征点，每条连接边的一端连接中心特征点，另一端连接该中心特征点邻域内的一个临近点，且每条连接边仅连接两个点。
每条连接边的长度值，反比于该连接边连接的两个特征点的余弦相似度。
针对中心特征点，将其所有连接边的长度进行零均值归一化处理，即使得中心特征点的所有连接边的长度均值为0，方差为1。
(3.4)微调中心特征点的特征向量。
更新后的中心特征点的特征向量应满足如下条件：更新后的中心特征点的特征向量每一个维度上的数值，等于更新前中心特征点的特征向量在对应维度上的值与中心特征点邻域内的临近点的特征向量在对应维度上的值分别加权求和的结果；更新前中心特征点的特征向量的权重为1，中心特征点邻域内的临近点的特征向量的权重等于对应连接边的长度。由此得到微调中心特征点的特征向量的表达式为：
Figure BDA0003918167590000061
式中，i为更新前中心特征点的特征向量某一维度的索引值，Fi为更新前中心特征点的特征向量第i维的数值，Fi′为更新后中心特征点的特征向量第i维的数值，n为中心特征点连接边的个数，Wk为第k条连接边连接的临近点的权重，Fki为更新前第k条连接边连接的临近点的特征向量第i维的数值。
将更新后的中心特征点记作新关键点A″。
步骤(3.1)～(3.4)都是针对在T时刻的当前帧进行的操作，保存结果后，到了T+1时刻，以T+1时刻为当前帧，可以直接获取T时刻的结果。也就是说，当运行到当前帧时，历史帧都已经进行过这些操作了。
(3.5)正向匹配关键点：以当前帧为基础，找到前一帧的新关键点A″中与当前帧新关键点A″匹配的点。具体步骤如下：针对当前帧中的每一个新关键点A″，与前一帧的所有新关键点A″进行比较，在与当前帧中的某一新关键点A″横向和纵向距离都不超过10mm、余弦相似度高于0.7的前一帧的所有新关键点A″中，选择余弦相似度最大的点作为当前帧中的新关键点A″的匹配点；若没有符合要求的点，则视为当前帧中的新关键点A″无匹配点。
(3.6)反向匹配关键点：以前一帧为基础，用(3.5)中所述的方法，找到当前帧的新关键点A″中与前一帧新关键点A″匹配的点。
(3.7)初步构建匹配关系：对于正向匹配中的匹配关系p1-p2(p1为当前帧的新关键点A″，p2为前一帧的新关键点A″)，如果反向匹配中也存在匹配关系p2-p1，则视为p1与p2具有匹配关系，p1与p2构成一组匹配点对，否则认为p1没有匹配点。统计所有满足匹配关系的点对数为N。
(3.8)剔除误匹配：在所有匹配点对中，随机选择四组匹配点对，计算单应性矩阵H；计算所有匹配点对是否满足单应性矩阵，得到最佳单应性矩阵，剔除不满足最佳单应性矩阵的匹配点对。具体流程如图3所示，表达式如下：
Dst′＝H*Src   (2)
Dst[0]′＝Dst[0]′/Dst[2]′   (3)
Dst[1]′＝Dst[1]′/Dst[2]′   (4)
E＝(|Dst[0]′-Dst[0]|+|Dst[1]′-Dst[1]|)/2   (5)
式中，Src为当前帧中关键点p1的坐标向量，维度为3，各维度的值分别为x方向的数值、y方向的数值、1；Dst为前一帧中与p1对应匹配的关键点p2的坐标向量，各维度数值的取值方式与Src相同；Dst′为关键点p2根据单应性矩阵计算得到的坐标向量，Dst[0]′、Dst[1]′、Dst[2]′分别为根据单应性矩阵计算得到的匹配点p2的坐标向量在x方向、y方向、z方向上的数值；E为根据单应性矩阵计算得到的关键点p2的坐标向量，与该关键点p2的实际坐标向量各维度的误差均值。
若误差均值E小于0.5mm，则认为该点对符合该单应性矩阵，否则认为不符合。统计所有点对中符合单应性矩阵的点对数；
再随机选择新的四组匹配点对，重复(3.8)的上述步骤；直至所有点对都符合计算得到的单应性矩阵，或循环次数达到1000次，则结束循环。取所有点对都符合的单应性矩阵，或符合点对数最多的单应性矩阵，作为最佳单应性矩阵，将不满足最佳单应性矩阵(即误差均值E大于0.5mm)的匹配点对删除，完成匹配结果的优化。
步骤四：计算当前帧的位姿。
结合RGB图像、深度信息、相机的标定参数，计算得到当前帧的6D位姿。本实施例中使用PnP(Perspective-n-Points)算法计算得到当前帧的6D位姿。
步骤五：利用历史帧的数据进行多帧位姿优化。
在历史帧数据库中筛选出与当前帧位姿接近的历史帧，使用位姿图优化的方法对当前帧及历史帧位姿结果进行优化，并将当前帧及历史帧的位姿优化结果存入历史帧的数据库。
如图4所示，为面向太空中非合作目标的实时位姿跟踪***的示意图，包括以下五个模块：
目标检测与实例分割模块，用于在大规模数据集上训练目标检测与实例分割网络，再基于少量的航天样本图像对训练后的目标检测与实例分割网络进行微调；使用微调后的目标检测与实例分割网络获取非合作目标的位置掩码，根据掩码信息确定待跟踪物体的目标区域。
关键点提取模块，用于在大规模数据集上训练关键点提取网络，再基于少量的航天样本图像对训练后的关键点提取网络进行微调；使用微调后的关键点提取网络，在目标检测与实例分割模块得到的目标区域内提取关键点，提取结果包括多个关键点的位置及特征向量。
关键点匹配模块，用于匹配当前帧与前一帧的关键点，具体操作为：归一化当前帧的关键点特征，建立当前帧的归一化后的关键点之间的邻接关系，并构建归一化后的关键点图结构，更新归一化后的关键点图结构的中心点的特征向量，得到当前帧的新关键点；以当前帧为基础，正向匹配前一帧中与当前帧匹配的新关键点；以前一帧为基础，反向匹配当前帧中与前一帧匹配的新关键点；基于正向匹配和反向匹配，初步构建当前帧中的新关键点和前一帧中的新关键点的匹配关系，再剔除误匹配，得到优化后的匹配结果。
位姿估计模块，用于计算当前帧的位姿：基于关键点匹配模块得到的关键点匹配结果，结合相机拍摄到的原始RGB图像的深度信息、相机的标定参数，计算当前帧相对于前一帧的位姿变换矩阵，再乘上前一帧的绝对位姿，即可得到当前帧的位姿估计结果。
位姿优化模块，通过计算相对位姿变换，在历史帧数据库中找出与当前帧位姿估计结果接近的近邻帧，将当前帧与其近邻帧的位姿进行优化，并将当前帧和近邻帧的位姿优化结果存入历史帧数据库。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (9)

1.一种面向太空中非合作目标的实时位姿跟踪方法，其特征在于，包括以下步骤：
步骤一：对相机拍摄到的原始RGB图像进行目标检测与实例分割，确定待跟踪物体的目标区域；
步骤二：提取所述步骤一获得的目标区域的关键点信息，所述关键点信息包括关键点的位置及关键点的特征向量；
步骤三：匹配当前帧与前一帧的关键点；具体操作为：归一化当前帧的关键点特征，建立当前帧的归一化后的关键点之间的邻接关系，并构建所述归一化后的关键点图结构，更新所述归一化后的关键点图结构的中心点的特征向量，得到当前帧的新关键点；以当前帧为基础，正向匹配前一帧中与当前帧匹配的新关键点；以前一帧为基础，反向匹配当前帧中与前一帧匹配的新关键点；基于所述正向匹配和所述反向匹配，初步构建当前帧中的新关键点和前一帧中的新关键点的匹配关系，再剔除误匹配，得到优化后的匹配结果；
步骤四：计算所述当前帧的位姿；
步骤五：利用历史帧的数据，对所述步骤四得到的当前帧的位姿进行优化。
2.根据权利要求1所述的面向太空中非合作目标的实时位姿跟踪方法，其特征在于，所述步骤三具体通过以下子步骤实现：
(3.1)归一化关键点特征：对当前帧的特征向量做零均值归一化，保持当前帧的特征向量维度不变，使各维度数值均值为0，方差为1；将归一化后的关键点记为特征点；
(3.2)建立当前帧特征点之间的邻接关系：计算所述特征点两两之间的距离及余弦相似度，将横向和纵向距离都不超过设定阈值、余弦相似度高于设定阈值的两个所述特征点互相标记为临近点；每个所述特征点至多有10个所述临近点，每个所述特征点的所有所述临近点构成该特征点的领域信息；对于某个所述特征点，若符合其临近点条件的特征点超过10个，则只保留与其欧式距离最近的10个特征点作为临近点；若没有符合其临近点条件的特征点，则认为该特征点无临近点；
(3.3)构建特征点图结构：将每个所述特征点与其邻域内的每个所述临近点建立连接关系，令所述邻域内与每个临近点相连的特征点为中心特征点；每条连接边的一端连接中心特征点，所述连接边的另一端连接所述中心特征点邻域内的一个所述临近点，且每条所述连接边只连接两个点；每条连接边的长度值，反比于该连接边连接的两个特征点的余弦相似度；将中心特征点的所有连接边的长度进行零均值归一化处理，使中心特征点的所有连接边的长度均值为0，方差为1；
(3.4)更新所述中心特征点的特征向量，使更新后所述中心特征点的特征向量在每一个维度上的数值，等于更新前所述中心特征点的特征向量在对应维度上的值与所述中心特征点邻域内的临近点的特征向量在对应维度上的值分别加权求和的结果；且更新前所述中心特征点的特征向量的权重为1，所述中心特征点邻域内的临近点的特征向量的权重等于该临近点对应连接边的长度；将更新后的所述中心特征点记作新关键点；
(3.5)正向匹配新关键点：以所述当前帧为基础，找到所述前一帧的新关键点中与所述当前帧新关键点匹配的点；具体步骤为：针对当前帧中的每一个新关键点，与前一帧的所有新关键点进行比较，在与当前帧中的某一新关键点横向和纵向距离都不超过设定阈值、余弦相似度高于设定阈值的前一帧的所有新关键点中，选择余弦相似度最大的新关键点作为当前帧中的该新关键点的匹配点；若没有符合要求的点，则视为当前帧中的该新关键点无匹配点；
(3.6)反向匹配新关键点：以所述前一帧为基础，参考(3.5)中所述的步骤，找到所述当前帧的新关键点中与所述前一帧新关键点匹配的点；
(3.7)初步构建匹配关系：对于正向匹配中的匹配关系p1-p2，如果反向匹配中也存在匹配关系p2-p1，则视为p1与p2具有匹配关系，p1与p2构成一组匹配点对，否则认为p1没有匹配点；所述p1为当前帧的新关键点，所述p2为前一帧的新关键点；
(3.8)剔除误匹配：在所有满足(3.7)的所述匹配点对中，随机选择不少于四组所述匹配点对，计算单应性矩阵；计算所有所述匹配点对是否满足所述单应性矩阵，得到最佳单应性矩阵，剔除不满足所述最佳单应性矩阵的所述匹配点对，完成匹配结果的优化。
3.根据权利要求1所述的面向太空中非合作目标的实时位姿跟踪方法，其特征在于，所述步骤一具体通过以下步骤实现：在包括图片和被跟踪物***姿真值的大规模数据集上训练目标检测与实例分割网络，再基于少量的航天样本图像对训练后的目标检测与实例分割网络进行微调；使用微调后的目标检测与实例分割网络获取非合作目标的位置掩码，根据掩码信息确定待跟踪物体的目标区域。
4.根据权利要求1所述的面向太空中非合作目标的实时位姿跟踪方法，其特征在于，所述步骤二具体通过以下步骤实现：在包括图片和被跟踪物***姿真值的大规模数据集上训练关键点提取网络，再基于少量的航天样本图像对训练后的关键点提取网络进行微调；使用微调后的关键点提取网络，在所述步骤一得到的目标区域内提取关键点，提取结果包括多个关键点的位置及特征向量。
5.根据权利要求1所述的面向太空中非合作目标的实时位姿跟踪方法，其特征在于，所述步骤四具体通过以下步骤实现：基于所述步骤三得到的关键点匹配结果，结合相机拍摄到的原始RGB图像的深度信息、相机的标定参数，计算得到当前帧的6D位姿。
6.根据权利要求1所述的面向太空中非合作目标的实时位姿跟踪方法，其特征在于，所述步骤五具体通过以下步骤实现：在历史帧数据库中筛选出与所述当前帧位姿接近的近邻帧，使用位姿图优化的方法对所述当前帧和所述近邻帧的位姿结果进行优化，并将所述当前帧及所述近邻帧的位姿优化结果存入所述历史帧数据库。
7.根据权利要求2所述的面向太空中非合作目标的实时位姿跟踪方法，其特征在于，所述临近点的定义具体为：将横向和纵向距离都不超过10mm、余弦相似度高于0.7的两个所述特征点互相标记为临近点；所述步骤(3.5)中，所述匹配点的具体选择区域为：与当前帧中的某一新关键点横向和纵向距离都不超过10mm、余弦相似度高于0.7的前一帧的所有新关键点。
8.一种采用根据权利要求1-7中任意一项所述的面向太空中非合作目标的实时位姿跟踪方法的面向太空中非合作目标的实时位姿跟踪***，其特征在于，包括：
目标检测与实例分割模块，用于在大规模数据集上训练目标检测与实例分割网络，再基于少量的航天样本图像对训练后的目标检测与实例分割网络进行微调；使用微调后的目标检测与实例分割网络获取非合作目标的位置掩码，根据掩码信息确定待跟踪物体的目标区域；
关键点提取模块，用于在大规模数据集上训练关键点提取网络，再基于少量的航天样本图像对训练后的关键点提取网络进行微调；使用微调后的关键点提取网络，在所述目标检测与实例分割模块得到的目标区域内提取关键点，提取结果包括多个关键点的位置及特征向量；
关键点匹配模块，用于匹配当前帧与前一帧的关键点；
位姿估计模块，用于计算所述当前帧的位姿：基于关键点匹配模块得到的关键点匹配结果，结合相机拍摄到的原始RGB图像的深度信息、相机的标定参数，计算当前帧相对于前一帧的位姿变换矩阵，再乘上前一帧的绝对位姿，即可得到当前帧的位姿估计结果；
位姿优化模块，通过计算相对位姿变换，在历史帧数据库中找出与当前帧位姿估计结果接近的近邻帧，将当前帧与其近邻帧的位姿进行优化，并将所述当前帧和所述近邻帧的位姿优化结果存入所述历史帧数据库。
9.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1～7中任一项的面向太空中非合作目标的实时位姿跟踪方法。
CN202211348852.0A 2022-10-31 2022-10-31 一种面向太空中非合作目标的实时位姿跟踪方法及其*** Pending CN115908485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211348852.0A CN115908485A (zh) 2022-10-31 2022-10-31 一种面向太空中非合作目标的实时位姿跟踪方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211348852.0A CN115908485A (zh) 2022-10-31 2022-10-31 一种面向太空中非合作目标的实时位姿跟踪方法及其***

Publications (1)

Publication Number Publication Date
CN115908485A true CN115908485A (zh) 2023-04-04

Family

ID=86495618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211348852.0A Pending CN115908485A (zh) 2022-10-31 2022-10-31 一种面向太空中非合作目标的实时位姿跟踪方法及其***

Country Status (1)

Country Link
CN (1) CN115908485A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593330A (zh) * 2023-11-23 2024-02-23 四川省寰宇众恒科技有限公司 一种可视化的实时振动监测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593330A (zh) * 2023-11-23 2024-02-23 四川省寰宇众恒科技有限公司 一种可视化的实时振动监测方法

Similar Documents

Publication Publication Date Title
CN110335319B (zh) 一种语义驱动的相机定位与地图重建方法和***
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN113012212B (zh) 一种基于深度信息融合的室内场景三维点云重建方法和***
CN109064514B (zh) 一种基于投影点坐标回归的六自由度位姿估计方法
CN111144364B (zh) 一种基于通道注意更新机制的孪生网络目标跟踪方法
CN111311708B (zh) 一种基于语义光流和逆深度滤波的视觉slam方法
CN109829353B (zh) 一种基于空间约束的人脸图像风格化方法
WO2019007253A1 (zh) 图像识别方法、装置及设备、可读介质
CN109389156B (zh) 一种图像定位模型的训练方法、装置及图像定位方法
CN109323697B (zh) 一种针对室内机器人任意点启动时粒子快速收敛的方法
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN111429485B (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
Kong et al. Local Stereo Matching Using Adaptive Cross‐Region‐Based Guided Image Filtering with Orthogonal Weights
CN115908485A (zh) 一种面向太空中非合作目标的实时位姿跟踪方法及其***
CN109785372B (zh) 基于软决策优化的基础矩阵鲁棒估计方法
CN113313200B (zh) 一种基于法向约束的点云精匹配方法
Chen et al. Robust feature matching via local consensus
CN114529583A (zh) 基于残差回归网络的电力设备跟踪方法及跟踪***
CN114139631A (zh) 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
Häger et al. Predicting disparity distributions
CN113129332A (zh) 执行目标对象跟踪的方法和装置
CN114413882B (zh) 一种基于多假设跟踪的全局初定位方法和装置
CN116563341A (zh) 一种处理复杂环境下动态物体的视觉定位与建图方法
Xiao et al. Soft decision optimization method for robust fundamental matrix estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination