CN111598951B - 一种识别空间目标的方法、装置和存储介质 - Google Patents

一种识别空间目标的方法、装置和存储介质 Download PDF

Info

Publication number
CN111598951B
CN111598951B CN202010417159.9A CN202010417159A CN111598951B CN 111598951 B CN111598951 B CN 111598951B CN 202010417159 A CN202010417159 A CN 202010417159A CN 111598951 B CN111598951 B CN 111598951B
Authority
CN
China
Prior art keywords
recognized
characteristic part
image frame
recognition model
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010417159.9A
Other languages
English (en)
Other versions
CN111598951A (zh
Inventor
张涛
李少朋
李林泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010417159.9A priority Critical patent/CN111598951B/zh
Publication of CN111598951A publication Critical patent/CN111598951A/zh
Application granted granted Critical
Publication of CN111598951B publication Critical patent/CN111598951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种识别空间目标的方法、装置和存储介质，具体为接收包含实时移动的空间目标的第一图像帧，将第一图像帧输入预先训练的位姿识别模型，并生成空间目标与图像采集设备之间的位姿关系，按照位姿关系，操作图像采集设备接近空间目标，并获取包含空间目标的待识别特征部位的待识别图像帧，将待识别图像帧输入预先训练的特征部位识别模型，并通过特征部位识别模型生成待识别图像帧中的待识别特征部位信息。本申请实施例通过位姿识别模型和特征部位识别模型运用在空间目标的位姿识别和特征部位检测中，针对不同的目标和场景有更好的普适性，其准确性和实时性也满足空间目标感知要求。

Description

一种识别空间目标的方法、装置和存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种识别空间目标的方法、装置和存储介质。
背景技术
随着空间技术的不断发展，空间机器人成为研究热点。空间机器人通常是指装有机械臂的服务卫星。机械臂由于其自身具有的灵巧操作性，可以提高服务卫星完成各类复杂空间任务的能力，例如消旋、抓捕、对接、精细操作等。空间机器人在各类任务中的规划与控制因此成为研究的热点问题。空间机器人具有复杂的动力学特性，在自由漂浮时属于非完整***，其规划与控制问题相较于地面机器人更加复杂。
伴随着人工智能在近年来取得的进展，人工智能在空间机器人任务中的应用成为新的研究热点。人工智能能够在一定程度上提高空间机器人的自主性，是空间机器人从人在回路的规划与控制如遥操作过渡到无人参与的自主规划与控制的重要一环，为空间智能的研究提供了理论基础。深度学习的出现进一步提高了强化学习的处理能力，即深度强化学习，深度强化学习在强化学习的优化框架下，采用深度学习来提取与环境交互得到的经验即样本的特征，大大提高了强化学习的表征能力，使得强化学习在机器人的规划与控制问题中有了更好的应用前景。然而，强化学习在机器人规划与控制领域，面临着计算复杂度高、样本利用率低、样本获取难度高、奖励函数稀疏或不易设计、模型估计存在误差、实时性和准确率都较低等问题，且对可以适用的空间机器人有类型的要求，不具有普适性。
发明内容
本申请实施例提供了一种识别空间目标的的方法，克服了传统感知方法在空间复杂环境中识别空间目标存在的普适性差、实时性弱和准确率低的问题，提升了实时识别空间目标的普适性、实时性和准确性。
该方法包括：
接收包含实时移动的空间目标的第一图像帧；
将所述第一图像帧输入预先训练的位姿识别模型，并生成所述空间目标与图像采集设备之间的位姿关系，其中，所述位姿识别模型用于表示所述空间目标与图像采集设备之间的位姿关系；
按照所述位姿关系，操作所述图像集设备接近所述空间目标，并获取包含所述空间目标的待识别特征部位的待识别图像帧；
将所述待识别图像帧输入预先训练的特征部位识别模型，并通过所述特征部位识别模型生成所述待识别图像帧中包含的所述空间目标的待识别特征部位信息。
可选地，所述方法进一步包括所述位姿识别模型的训练步骤：
获取包含实时移动的所述空间目标的第一样本图像帧，以及，将在采集所述第一样本图像帧时所述空间目标与图像采集设备之间的位姿关系作为第一标签信息；
将所述第一样本图像帧和所述第一标签信息输入待训练的所述位姿识别模型，并基于训练时生成的第一损失函数对所述位姿识别模型进行优化，其中，所述位姿识别模型为softmax层为仿射回归层的回归网络模型。
可选地，所述方法进一步包括所述特征部位识别模型的训练步骤：
获取包含所述空间目标的已识别部位的第二样本图像帧，以及，将所述第二样本图像帧中包含的所述已识别部位对应的二制掩膜图像、所述已识别部位对应的类别信息和所述已识别部位所在检测框的坐标信息作为第二标签信息；
将所述第二样本图像帧和所述第二标签信息输入待训练的所述特征部位识别模型，并基于训练时生成的第二损失函数对所述特征部位识别模型进行优化。
可选地，对在虚拟环境内模拟生成的空间目标模型进行图像帧的采集，并对所述空间目标模型上的所述已识别部位进行着色，分别生成不同角度下的所述已识别部位对应的着色模型投射的第一二维图像帧和所述已识别部位未进行着色前的原有模型投射的第二二维图像帧；
基于所述第一二维图像帧，生成所述已识别部位对应的二制掩膜图像、所述已识别部位对应的类别信息和所述已识别部位所在检测框的坐标信息；
将所述已识别部位对应的二制掩膜图像、所述已识别部位对应的类别信息和所述已识别部位所在检测框的坐标信息作为所述第二标签信息，以及将第二二维图像帧作为所述第二样本图像帧。
可选地，基于所述特征部位识别模型中softmax层包括的分类层、回归层和二制掩膜图像提取层，并基于所述分类层生成的分类损失函数、所述回归层生成的回归损失函数和二制掩膜图像提取层生成的掩膜损失函数生成所述第二损失函数；
根据所述第二损失函数对所述特征部位识别模型进行优化。
可选地，通过所述特征部位识别模型中的卷积神经网络提取所述待识别图像帧中的图像特征，生成所述待识别图像帧对应的图像特征图；
通过所述特征部位识别模型中的区域生成网络在所述图像特征图中提取待识别特征部位所在检测框的坐标信息；
通过所述特征部位识别模型中的全连接层网络对所述待识别特征部位所在检测框的坐标信息进行修正，以及确定所述待识别特征部位对应的所述类别信息；
通过所述特征部位识别模型中的全卷积层网络对所述待识别特征部位确定所述待识别特征部位对应的所述二制掩膜图像；
将所述待识别特征部位所在检测框的坐标信息、所述待识别特征部位对应的所述类别信息和所述待识别特征部位对应的所述二制掩膜图像确定为所述待识别特征部位信息。
在本发明的另一个实施例中，提供了一种识别空间目标的装置，该装置包括：
接收模块，用于接收包含实时移动的空间目标的第一图像帧；
第一生成模块，用于将所述第一图像帧输入预先训练的位姿识别模型，并生成所述空间目标与图像采集设备之间的位姿关系，其中，所述位姿识别模型用于表示所述空间目标与图像采集设备之间的位姿关系；
获取模块，用于按照所述位姿关系，操作所述图像集设备接近所述空间目标，并获取包含所述空间目标的待识别特征部位的待识别图像帧；
第二生成模块，用于将所述待识别图像帧输入预先训练的特征部位识别模型，并通过所述特征部位识别模型生成所述待识别图像帧中包含的所述空间目标的待识别特征部位信息。
可选地，所述第一训练模块包括：
获取单元，用于获取包含实时移动的所述，空间目标的第一样本图像帧，以及，将在采集所述第一样本图像帧时所述空间目标与图像采集设备之间的位姿关系作为第一标签信息；
优化单元，用于将所述第一样本图像帧和所述第一标签信息输入待训练的所述位姿识别模型，并基于训练时生成的第一损失函数对所述位姿识别模型进行优化，其中，所述位姿识别模型为softmax层为仿射回归层的回归网络模型。
在本发明的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述一种识别空间目标的方法中的各个步骤。
在本发明的另一个实施例中，提供了一种终端设备，包括处理器，所述处理器用于执行上述一种识别空间目标的方法中的各个步骤。
基于上述实施例，首先接收包含实时移动的空间目标的第一图像帧，其次，将第一图像帧输入预先训练的位姿识别模型，并生成空间目标与图像采集设备之间的位姿关系，其中，位姿识别模型用于表示空间目标与图像采集设备之间的位姿关系，进一步地，按照位姿关系，操作图像集设备接近空间目标，并获取包含空间目标的待识别特征部位的待识别图像帧，最后，将待识别图像帧输入预先训练的特征部位识别模型，并通过特征部位识别模型生成待识别图像帧中包含的空间目标的待识别特征部位信息。本申请实施例通过位姿识别模型和特征部位识别模型运用在空间目标的位姿识别和特征部位检测中，相比于传统感知方法，针对不同的目标和场景有更好的普适性，其准确性和实时性也满足空间目标感知要求。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例100所提供的一种识别空间目标的方法的流程示意图；
图2示出了本申请实施例200提供的一种识别空间目标的方法的具体流程的示意图；
图3示出了本申请实施例300提供的位姿识别模型的训练步骤的示意图；
图4a示出了本申请实施例提供的空间目标模型的示意图；
图4b示出了本申请实施例提供的各个视角下所对应的空间目标的图像帧的示意图；
图4c示出了为本申请实施例提供的第二样本图像帧和第二标签信息的示意图；
图4d示出了为本申请实施例提供的特征部位识别模型的模型示意图
图5示出了本申请实施例500还提供一种识别空间目标的装置的示意图；
图6示出了本申请实施例600所提供的一种终端设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
随着空间机器人技术的发展，在感知***辅助下的空间机械臂遥操作逐渐取代人工作业，但受限于天地信息传输的大时延，在轨遥操作的适用场景比较有限，稳定性较低。随着空间在轨服务技术的不断突破，面向空间在轨服务的自主操作控制技术已成为宇航技术发展的新增长点。对空间目标的检测与识别是空间在轨服务操作的前提条件，因此目标特征检测与识别技术是面向空间在轨服务的自主操作控制中的关键技术。
基于现有技术中的问题，本申请实施例提供了一种识别空间目标的方法，主要适用于计算机视觉技术领域。对空间目标的检测与识别是空间在轨服务操作的前提条件，因此目标特征检测与识别技术是面向空间在轨服务的自主操作控制中的关键技术。其中，针对非合作目标(空间目标本身形态未知，无法向服务航天器传递相对运动状态信息，没有相应的合作标识或已知的机械臂抓持装置)目标特征未知且目标状态变化快的特点，具有良好的泛化能力，针对不同的目标和场景有更好的适应性，且在准确性和实时性方面，也可以满足空间目标检测与识别要求。下面以具体实施例对本发明的技术方案进行详细说明，以实现一种识别空间目标的方法。以下几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。如图1所示，为本申请实施例100提供的一种识别空间目标的方法的流程示意图。其中，详细步骤如下：
S11，接收包含实时移动的空间目标的第一图像帧。
本步骤中，接收到的图像帧由图像采集设备采集。具体地，图像采集设备可以为照相机、摄像机、虚拟现实(Virtual Reality，VR)设备或视觉传感器。其中，视觉传感器结构简单、适用场景丰富，且价格低廉、实时性强，已成为空间机械臂最主要的传感器，进一步地，本申请实施例中的图像采集设备主要采集复杂特殊的空间环境如太空环境中的在轨实时移动的空间目标例如卫星设备。另外，可使用空间机械臂控制图像采集设备对实时移动的空间目标进行采集。同时，处理***接收第一图像帧。
S12，将第一图像帧输入预先训练的位姿识别模型，并生成空间目标与图像采集设备之间的位姿关系，其中，位姿识别模型用于表示空间目标与图像采集设备之间的位姿关系。
本步骤中，首先通过监督学***移关系和旋转关系的位姿向量。
S13，按照位姿关系，操作图像集设备接近空间目标，并获取包含空间目标的待识别特征部位的待识别图像帧。
本步骤中，基于获取的位姿向量中的平移关系和旋转关系，操作空间机械臂控制图像采集设备接近空间目标，并通过图像采集设备采集包含空间目标的待识别特征部位的待识别图像帧。
S14，将待识别图像帧输入预先训练的特征部位识别模型，并通过特征部位识别模型生成待识别图像帧中包含的空间目标的待识别特征部位信息。
本步骤中，基于在虚拟环境中获取的空间目标的已识别部位的第二样本图像帧，以及包括已识别部位对应的二制掩膜图像、已识别部位对应的类别信息和已识别部位所在检测框的坐标信息的第二标签信息训练的特征部位识别模型，对待识别图像帧中的空间目标中的特征部位进行预测，生成待识别特征部位信息。其中，待识别特征部位信息包括识别的空间目标的待识别特征部位对应的二制掩膜图像、类别信息和所在检测框的坐标信息。
如上所述，基于上述实施例，首先接收包含实时移动的空间目标的第一图像帧，其次，将第一图像帧输入预先训练的位姿识别模型，并生成空间目标与图像采集设备之间的位姿关系，其中，位姿识别模型用于表示空间目标与图像采集设备之间的位姿关系，进一步地，按照位姿关系，操作图像集设备接近空间目标，并获取包含空间目标的待识别特征部位的待识别图像帧，最后，将待识别图像帧输入预先训练的特征部位识别模型，并通过特征部位识别模型生成待识别图像帧中包含的空间目标的待识别特征部位信息。本申请实施例通过位姿识别模型和特征部位识别模型运用在空间目标的位姿识别和特征部位检测中，相比于传统感知方法，针对不同的目标和场景有更好的普适性，其准确性和实时性也满足空间目标感知要求。
如图2所示，为本申请实施例200提供的一种识别空间目标的方法的具体流程的示意图。其中，本申请实施例的应用场景主要为识别空间目标以进行太空在轨服务的场景。该具体流程的详细过程如下：
S201，接收包含实时移动的空间目标的第一图像帧。
S202，将第一图像帧输入预先训练的位姿识别模型，并生成空间目标与图像采集设备之间的位姿关系。
这里，训练位姿识别模型的具体步骤见本申请实施例300中的具体步骤。
S203，按照位姿关系，操作图像集设备接近空间目标。
这里，基于位姿关系中的位姿向量，处理***操作空间机械臂，以使空间机械臂携带的图像采集设备接近空间目标。
S204，获取包含空间目标的待识别特征部位的待识别图像帧。
这里，待识别特征部位为组成空间目标的具体部分，如人造卫星的太阳帆板等。进一步地，待识别图像帧也由空间机械臂控制的图像采集设备进行采集，并发送至处理***。
S205，搭建虚拟环境中的空间目标模型。
这里，大量的训练数据是深度学习方法的基础，但对于空间目标，其样本数据集的构建比较困难，主要原因有：空间目标的图像难以获取，且针对同一目标，其尺度、姿态、工况场景(例如拍摄角度、距离、光照等)不同时，特征也会随之改变，数据集中必须包含同一目标不同尺度、姿态、工况条件下的图像，较难以收集；对于大量样本数据，标注过程较为复杂，特别是对于目标分割任务，如果采用传统标注工具进行标注，需要将抓捕部位的轮廓圈出来，标注点较多，极其耗费时间精力。
针对上述问题，本申请实施例提出利用3dsMax软件建立空间目标模型，并利用3dsMax对空间目标模型各主要特征部位添加纹理。如图4a所示，为本申请实施例提供的空间目标模型的示意图。进一步地，空间目标模型搭建完成并转换为FBX格式后可导入到Unity中设置环境条件、编写脚本模拟运动状态并采集图像。Unity平台将导入的目标文件作为GameObject对象，可以编写C#脚本控制其运动状态。Unity中可以设置光照条件并放置图像采集设备采集的图像帧。根据所设置的图像采集设备及空间目标模型的位姿关系，获得该视角下所对应空间目标模型的图像帧，作为数据样本来源。
S206，对在空间目标模型中获取的样本进行标注。
本步骤中，对在虚拟环境内模拟生成的空间目标模型进行图像帧的采集后，进行图像帧的样本标注。样本标注的具体过程为：对空间目标模型上的已识别部位进行着色，分别生成不同角度下的已识别部位对应的着色模型投射的第一二维图像帧和已识别部位未进行着色前的原有模型投射的第二二维图像帧。以及，基于第一二维图像帧，生成已识别部位对应的二制掩膜图像、已识别部位对应的类别信息和已识别部位所在检测框的坐标信息。
具体地，采用3dsMax引入空间目标模型并添加纹理、之后将空间目标模型型接入到虚拟环境中，设置虚拟图像采集设备的位置和运动规律，设置空间目标位置和运动规律，根据所设置的图像采集设备及空间目标位置记录坐标，并获得该视角下所对应的空间目标的图像帧作为样本来源。如图4b所示，为本申请实施例示出的各个视角下所对应的空间目标的图像帧的示意图。
进一步地，样本的标注过程较为复杂，如果采用传统标注工具进行标注，需要将抓捕部位的轮廓圈出来，标注点较多，极其耗费时间精力。本申请是实施例利用虚拟环境对空间目标模型的可抓取的已识别部位进行着色，然后同时生成各个角度下已识别部位对应的着色模型投射的第一二维图像帧和已识别部位未进行着色前的原有模型投射的第二二维图像帧。
S207，生成第二样本图像帧和第二标签信息。
本步骤中，将已识别部位对应的二制掩膜图像、已识别部位对应的类别信息和已识别部位所在检测框的坐标信息作为第二标签信息，以及将第二二维图像帧作为第二样本图像帧。具体地，根据着色模型，利用传统图像滤波和腐蚀、膨胀、填充等方法，提取出已识别部位掩膜等信息，从而生成着色模型中可抓捕的已识别部位的标签信息。进一步地，通过着色模型产生可抓捕的已识别部位的二制掩膜图像、类别信息和所在检测框的坐标信息作为未着色前的原有模型中已识别部位的第二标签信息。如图4c所示，为本申请实施例示出的第二样本图像帧和第二标签信息的示意图。其中，类别信息通过文本的方式输出。
S208，构建待训练的特征部位识别模型。
这里，可以用于目标检测的深度学习算法可分为两大类：(1)two-stage检测算法，将检测问题划分为两个阶段，首先产生候选区域(region proposals)，然后对候选区域分类(一般还需要对位置精修)，这类算法的典型代表是基于region proposal的R-CNN系算法，如R-CNN，Fast R-CNN，Faster R-CNN，以及能够完成像素级检测与分割的Mask-RCNN；(2)One-stage检测算法，其不需要region proposal阶段，利用回归方法直接产生物体的类别概率和位置坐标，比较典型的算法如YOLO和SSD。进一步地，本申请实施例使用通过改进的Mask R-CNN结构，通过优化网络“头部”来提升检测速度。此处的网络“头部”指两步法中的第二阶段，即生成候选区域后的检测识别部分。
如图4d所示，为本申请实施例示出的特征部位识别模型的模型示意图。其中，输入图像帧通过卷积神经网络(CNN)提取特征图(Feature Map)，经过区域提名网络(RPN)生成待识别特征部位的候选框，通过池化层(ROI Align layer)将带候选框的特征图转换为固定维度送入网络末端的全连接层(FC Layer)和全卷积层(FCN)，全连接层输出特征部位的精确位置并对其进行分类，全卷积层判断每个像素的类别，完成特征部位分割。进一步地，进行特征提取的基础卷积神经网络(Backbone)为深度残差网络(ResNet)，由最基本的卷积层、池化层等神经网络结构组成。
S209，将第二样本图像帧和第二标签信息输入待训练的特征部位识别模型，生成对应的第二损失函数。
这里，将获取的包含空间目标的已识别部位的第二样本图像帧，以及，包含第二样本图像帧中包含的已识别部位对应的二制掩膜图像、已识别部位对应的类别信息和已识别部位所在检测框的坐标信息的第二标签信息输入待训练的特征部位识别模型。具体地，将特征部位识别模型中的softmax层修改为分类层、回归层和二制掩膜图像提取层。基于分类层生成的分类损失函数Lcls、回归层生成的回归损失函数Lreg和二制掩膜图像提取层生成的掩膜损失函数Lmask生成第二损失函数Loss:
Loss＝Lcls+Lreg+Lmask
进一步地，分类损失需要考虑两个过程，一是RPN提取目标区域，二是判断目标区域类别，分别为二分类和多分类问题的交叉熵损失，交叉熵损失函数为：
Figure BDA0002495429260000091
其中N是样本数，K是类别信息的标签数(K类物体加上背景有K+1个标签)，是真实的类别标签，当样本i标签为k时的概率为pi,k。
回归损失函数将两个过程一起考虑，回归损失函数为：
Figure BDA0002495429260000092
ti表示真实检测框的平移缩放参数(相对于anchor)，
Figure BDA0002495429260000093
表示预测的平移缩放参数，pi标识着前景或背景，是背景(即没有检测到物体)时不计算损失。
Figure BDA0002495429260000094
掩膜损失是平均二进制交叉熵损失，输入为经过RPN提取出的兴趣区域(ROI)，输出为编码分辨率为m*m的K个二进制mask，即K个类别每个对应一个二进制mask，对每个像素使用sigmoid函数，避免类间竞争。
S210，基于训练时生成的第二损失函数对特征部位识别模型进行优化，并生成优化后的特征部位识别模型。
S211，将待识别图像帧输入特征部位识别模型，生成待识别图像帧中包含的空间目标的待识别特征部位信息。
这里，通过特征部位识别模型中的卷积神经网络提取待识别图像帧中的图像特征，生成待识别图像帧对应的图像特征图；通过特征部位识别模型中的区域生成网络在图像特征图中提取待识别特征部位所在检测框的坐标信息；通过特征部位识别模型中的全连接层网络对待识别特征部位所在检测框的坐标信息进行修正，以及确定待识别特征部位对应的类别信息；通过特征部位识别模型中的全卷积层网络对待识别特征部位确定待识别特征部位对应的二制掩膜图像；将待识别特征部位所在检测框的坐标信息、待识别特征部位对应的类别信息和待识别特征部位对应的二制掩膜图像确定为待识别特征部位信息。
具体地，空间目标的重要特征检测需要进行特征部位的像素级分割，故采用区域卷积神经网络(Region-Convolutional Neural Networks,R-CNN)系算法更适合扩展此功能。其总体思路是：首先利用一个骨干网络(卷积神经网络CNN)提取图像特征，然后从图像特征图上提取所在检测框的坐标信息(利用区域生成网络(RegionProposal Network，RPN)生成检测框)，最后再通过头部网络的全连接层(fully-connected layer)进行分类和检测框的修正，通过头部网络的全卷积层进行二制掩膜图像的预测(判断每个像素是前景还是背景)。
本申请实施例基于深度学习方法，分别设计构建了特征部位感知与目标位姿识别的深度神经网络，通过深度神经网络对视觉信息融合处理，完成空间目标智能位姿识别与重要特征检测。在设计特征部位识别模型的基础上，针对深度学习需要大规模数据样本而空间目标的样本数据难以采集的问题，搭建了虚拟环境；针对传统标注方法极其耗费时间精力的问题，采用模型特征部位着色、传统图像滤波等手段提取待识别部位掩膜，从而完成了样本的自动标注。使得针对不同的目标和场景有更好的普适性，其准确性和实时性也满足空间目标感知要求。
如图3所示，为本申请实施例300提供的位姿识别模型的训练步骤的示意图。该具体流程的详细过程如下：
S301，获取包含实时移动的空间目标的第一图像帧。
S302，在采集第一图形帧时记录当前时刻空间目标与图像采集设备之间的位姿关系，并将该位姿关系作为第一标签信息。
其中，位姿关系包括表示图像采集设备与空间目标之间的平移关系和旋转关系的位姿向量。该位姿向量包含图像采集设备的三个位置信息x(空间三维坐标)以及四元数表示的方向q(四个旋转方向)。进一步地，在获取包含实时移动的空间目标的第一样本图像帧后，将在采集第一样本图像帧时空间目标与图像采集设备之间的位姿关系作为第一标签信息。
S303，将第一图像帧输入待训练的位姿识别模型，并基于输出结果生成位姿识别模型对应的第一损失函数。
这里，监督学习采用的网络为GooLeNet，待训练的位姿识别模型为softmax层为仿射回归层的回归网络模型。具体地，回归网络模型将网络的softmax层修改为仿射回归层，输出为位姿关系包括的位姿向量(7个维度，位置3个，方向4个)，输出的参数为图像采集设备的位置x以及四元数表示的方向q。模型训练的第一损失函数为：
Figure BDA0002495429260000111
其中
Figure BDA0002495429260000112
为实际的位姿关系，β为尺度因子。
S304，基于训练时生成的第一损失函数对位姿识别模型进行优化，生成最终的位姿识别模型。
本申请基于上述步骤实现上述一种识别空间目标的方法。通过将智能方法运用在空间目标的特征检测和位姿识别中，克服了传统感知方法在空间复杂环境中面对非合作目标普适性差、实时性弱和准确率低的问题。进一步地，针对空间目标的数据样本难以收集和标注的问题，提出了搭建虚拟环境生成大量样本数据并利用传统图像处理手段进行批量式自动标注的方法。同时，针对实际任务场景，虚拟环境的搭建与上述过程类似，为了充分学习待识别目标特征，可以引入更多种类的空间飞行器模型，制作更加完备的空间目标数据集。或者针对特定的待识别目标，训练专门的识别网络，通过将网络参数上传至星上设备，即可灵活实现目标的特征检测与识别任务。在重要特征检测的特征部位识别模型中，除了考虑目标定位和分类，还引入了实例分割，以便于后续对特征部位的进一步操作。
基于同一发明构思，本申请实施例500还提供一种识别空间目标的装置，其中，如图5所示，该装置包括：
接收模块51，用于接收包含实时移动的空间目标的第一图像帧；
第一生成模块52，用于将第一图像帧输入预先训练的位姿识别模型，并生成空间目标与图像采集设备之间的位姿关系，其中，位姿识别模型用于表示空间目标与图像采集设备之间的位姿关系；
获取模块53，用于按照位姿关系，操作图像集设备接近空间目标，并获取包含空间目标的待识别特征部位的待识别图像帧；
第二生成模块54，用于将待识别图像帧输入预先训练的特征部位识别模型，并通过特征部位识别模型生成待识别图像帧中包含的空间目标的待识别特征部位信息。
本实施例中，接收模块51、第一生成模块52、获取模块53和第二生成模块54的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。
可选地，该装置还包括第一训练模块55：
获取单元，用于获取包含实时移动的所述，空间目标的第一样本图像帧，以及，将在采集所述第一样本图像帧时空间目标与图像采集设备之间的位姿关系作为第一标签信息；
优化单元，用于将第一样本图像帧和第一标签信息输入待训练的位姿识别模型，并基于训练时生成的第一损失函数对位姿识别模型进行优化，其中，位姿识别模型为softmax层为仿射回归层的回归网络模型。
如图6所示，本申请的又一实施例600还提供一种终端设备，包括处理器601，其中，处理器601用于执行上述一种识别空间目标的方法的步骤。从图6中还可以看出，上述实施例提供的终端设备还包括非瞬时计算机可读存储介质602，该非瞬时计算机可读存储介质602上存储有计算机程序，该计算机程序被处理器601运行时执行上述一种识别空间目标的方法的步骤。实际应用中，该终端设备可以是一台或多台计算机，只要包括上述计算机可读介质和处理器即可。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘和FLASH等，该存储介质上的计算机程序被运行时，能够执行上述的一种识别空间目标的方法中的各个步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/***中所包含的，也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，能够执行上述的一种识别空间目标的方法中的各个步骤。
根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标注的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行变更或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些变更、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种识别空间目标的方法，其特征在于，包括：
接收包含实时移动的空间目标的第一图像帧；
将所述第一图像帧输入预先训练的位姿识别模型，并生成所述空间目标与图像采集设备之间的位姿关系，其中，所述位姿识别模型用于表示所述空间目标与图像采集设备之间的位姿关系；
按照所述位姿关系，操作所述图像集设备接近所述空间目标，并获取包含所述空间目标的待识别特征部位的待识别图像帧；
将所述待识别图像帧输入预先训练的特征部位识别模型，并通过所述特征部位识别模型生成所述待识别图像帧中包含的所述空间目标的待识别特征部位信息；其中，所述待识别特征部位信息包括待识别特征部位所在检测框的坐标信息、待识别特征部位对应的类别信息以及待识别特征部位对应的二值掩膜图像；
所述并通过所述特征部位识别模型生成所述待识别图像帧中包含的所述空间目标的待识别特征部位信息的步骤包括：
通过所述特征部位识别模型中的卷积神经网络提取所述待识别图像帧中的图像特征，生成所述待识别图像帧对应的图像特征图；
通过所述特征部位识别模型中的区域生成网络在所述图像特征图中提取待识别特征部位所在检测框的坐标信息；
通过所述特征部位识别模型中的全连接层网络对所述待识别特征部位所在检测框的坐标信息进行修正，以及确定所述待识别特征部位对应的所述类别信息；
通过所述特征部位识别模型中的全卷积层网络对所述待识别特征部位确定所述待识别特征部位对应的所述二值掩膜图像；
将所述待识别特征部位所在检测框的坐标信息、所述待识别特征部位对应的所述类别信息和所述待识别特征部位对应的所述二值掩膜图像确定为所述待识别特征部位信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像帧输入预先训练的位姿识别模型的步骤之前，所述方法进一步包括所述位姿识别模型的训练步骤：
获取包含实时移动的所述空间目标的第一样本图像帧，以及，将在采集所述第一样本图像帧时所述空间目标与图像采集设备之间的位姿关系作为第一标签信息；
将所述第一样本图像帧和所述第一标签信息输入待训练的所述位姿识别模型，并基于训练时生成的第一损失函数对所述位姿识别模型进行优化，其中，所述位姿识别模型为softmax层为仿射回归层的回归网络模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述待识别图像帧输入预先训练的特征部位识别模型的步骤之前，所述方法进一步包括所述特征部位识别模型的训练步骤：
获取包含所述空间目标的已识别部位的第二样本图像帧，以及，将所述第二样本图像帧中包含的所述已识别部位对应的二值掩膜图像、所述已识别部位对应的类别信息和所述已识别部位所在检测框的坐标信息作为第二标签信息；
将所述第二样本图像帧和所述第二标签信息输入待训练的所述特征部位识别模型，并基于训练时生成的第二损失函数对所述特征部位识别模型进行优化。
4.根据权利要求3所述的方法，其特征在于，所述获取包含所述空间目标的已识别部位的第二样本图像帧，以及，将所述第二样本图像帧中包含的所述已识别部位对应的二值掩膜图像、所述已识别部位对应的类别信息和所述已识别部位所在检测框的坐标信息作为第二标签信息的步骤包括：
对在虚拟环境内模拟生成的空间目标模型进行图像帧的采集，并对所述空间目标模型上的所述已识别部位进行着色，分别生成不同角度下的所述已识别部位对应的着色模型投射的第一二维图像帧和所述已识别部位未进行着色前的原有模型投射的第二二维图像帧；
基于所述第一二维图像帧，生成所述已识别部位对应的二值掩膜图像、所述已识别部位对应的类别信息和所述已识别部位所在检测框的坐标信息；
将所述已识别部位对应的二值掩膜图像、所述已识别部位对应的类别信息和所述已识别部位所在检测框的坐标信息作为所述第二标签信息，以及将第二二维图像帧作为所述第二样本图像帧。
5.根据权利要求3所述的方法，其特征在于，所述并基于训练时生成的第二损失函数对所述特征部位识别模型进行优化的步骤包括：
基于所述特征部位识别模型中softmax层包括的分类层、回归层和二值掩膜图像提取层，并基于所述分类层生成的分类损失函数、所述回归层生成的回归损失函数和二值掩膜图像提取层生成的掩膜损失函数生成所述第二损失函数；
根据所述第二损失函数对所述特征部位识别模型进行优化。
6.一种识别空间目标的装置，其特征在于，所述装置包括：
接收模块，用于接收包含实时移动的空间目标的第一图像帧；
第一生成模块，用于将所述第一图像帧输入预先训练的位姿识别模型，并生成所述空间目标与图像采集设备之间的位姿关系，其中，所述位姿识别模型用于表示所述空间目标与图像采集设备之间的位姿关系；
获取模块，用于按照所述位姿关系，操作所述图像集设备接近所述空间目标，并获取包含所述空间目标的待识别特征部位的待识别图像帧；
第二生成模块，用于将所述待识别图像帧输入预先训练的特征部位识别模型，并通过所述特征部位识别模型生成所述待识别图像帧中包含的所述空间目标的待识别特征部位信息；其中，所述待识别特征部位信息包括待识别特征部位所在检测框的坐标信息、待识别特征部位对应的类别信息以及待识别特征部位对应的二值掩膜图像；
所述第二生成模块具体用于：
通过所述特征部位识别模型中的卷积神经网络提取所述待识别图像帧中的图像特征，生成所述待识别图像帧对应的图像特征图；
通过所述特征部位识别模型中的区域生成网络在所述图像特征图中提取待识别特征部位所在检测框的坐标信息；
通过所述特征部位识别模型中的全连接层网络对所述待识别特征部位所在检测框的坐标信息进行修正，以及确定所述待识别特征部位对应的所述类别信息；
通过所述特征部位识别模型中的全卷积层网络对所述待识别特征部位确定所述待识别特征部位对应的所述二值掩膜图像；
将所述待识别特征部位所在检测框的坐标信息、所述待识别特征部位对应的所述类别信息和所述待识别特征部位对应的所述二值掩膜图像确定为所述待识别特征部位信息。
7.根据权利要求6所述的装置，其特征在于，所述装置进一步包括第一训练模块，所述第一训练模块包括：
获取单元，用于获取包含实时移动的所述空间目标的第一样本图像帧，以及，将在采集所述第一样本图像帧时所述空间目标与图像采集设备之间的位姿关系作为第一标签信息；
优化单元，用于将所述第一样本图像帧和所述第一标签信息输入待训练的所述位姿识别模型，并基于训练时生成的第一损失函数对所述位姿识别模型进行优化，其中，所述位姿识别模型为softmax层为仿射回归层的回归网络模型。
8.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至5任一项所述的一种识别空间目标的方法中的各个步骤。
9.一种终端设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1至5中任一项所述的一种识别空间目标的方法中的各个步骤。
CN202010417159.9A 2020-05-18 2020-05-18 一种识别空间目标的方法、装置和存储介质 Active CN111598951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010417159.9A CN111598951B (zh) 2020-05-18 2020-05-18 一种识别空间目标的方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010417159.9A CN111598951B (zh) 2020-05-18 2020-05-18 一种识别空间目标的方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111598951A CN111598951A (zh) 2020-08-28
CN111598951B true CN111598951B (zh) 2022-09-30

Family

ID=72182858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010417159.9A Active CN111598951B (zh) 2020-05-18 2020-05-18 一种识别空间目标的方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111598951B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112525145B (zh) * 2020-11-30 2022-05-17 北京航空航天大学 一种飞机降落相对姿态动态视觉测量方法及***
CN112465035B (zh) * 2020-11-30 2024-07-02 上海寻梦信息技术有限公司 物流配送任务分配方法、***、设备及存储介质
CN112731522B (zh) * 2020-12-14 2022-11-04 中国地质大学（武汉） 地震地层智能识别方法、装置、设备及存储介质
CN112927291B (zh) * 2021-03-03 2024-03-01 联想(北京)有限公司 三维物体的位姿确定方法、装置及电子设备和存储介质
CN113139470B (zh) * 2021-04-25 2023-05-23 安徽工业大学 一种基于Transformer的玻璃识别方法
CN113134839B (zh) * 2021-04-26 2022-06-10 湘潭大学 一种基于视觉和力位图像学习的机器人精密柔性装配方法
CN113989255A (zh) * 2021-11-05 2022-01-28 中国地质大学（北京） 基于Mask-RCNN的地铁隧道衬砌脱落识别模型训练方法和识别方法
CN113989619A (zh) * 2021-11-05 2022-01-28 中科三清科技有限公司 一种基于深度学习识别模型的储罐预测方法和装置
CN114353796A (zh) * 2021-12-06 2022-04-15 煤炭科学技术研究院有限公司 一种室内定位方法、装置及电子设备
CN114419327B (zh) * 2022-01-18 2023-07-28 北京百度网讯科技有限公司 图像检测方法和图像检测模型的训练方法、装置
CN114758422B (zh) * 2022-06-15 2022-08-30 清华大学 施工机械设备动作实时智能识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
CN109087315A (zh) * 2018-08-22 2018-12-25 中国科学院电子学研究所 一种基于卷积神经网络的图像识别定位方法
CN110378325A (zh) * 2019-06-20 2019-10-25 西北工业大学 一种机器人抓取过程中的目标位姿识别方法
CN111046880A (zh) * 2019-11-28 2020-04-21 中国船舶重工集团公司第七一七研究所 一种红外目标图像分割方法、***、电子设备及存储介质
CN111127557A (zh) * 2019-12-13 2020-05-08 中国电子科技集团公司第二十研究所 一种基于深度学习的视觉slam前端位姿估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055854B2 (en) * 2018-08-23 2021-07-06 Seoul National University R&Db Foundation Method and system for real-time target tracking based on deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
CN109087315A (zh) * 2018-08-22 2018-12-25 中国科学院电子学研究所 一种基于卷积神经网络的图像识别定位方法
CN110378325A (zh) * 2019-06-20 2019-10-25 西北工业大学 一种机器人抓取过程中的目标位姿识别方法
CN111046880A (zh) * 2019-11-28 2020-04-21 中国船舶重工集团公司第七一七研究所 一种红外目标图像分割方法、***、电子设备及存储介质
CN111127557A (zh) * 2019-12-13 2020-05-08 中国电子科技集团公司第二十研究所 一种基于深度学习的视觉slam前端位姿估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Light-Head R-CNN: In Defense of Two-Stage Object Detector;Zeming Li等;《arXiv:1711.07264v2》;20171123;全文 *
深度学习在视觉SLAM 中应用综述;李少朋等;《空间控制技术与应用》;20190430;全文 *

Also Published As

Publication number Publication date
CN111598951A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598951B (zh) 一种识别空间目标的方法、装置和存储介质
CN107239728B (zh) 基于深度学习姿态估计的无人机交互装置与方法
CN108230361B (zh) 用无人机探测器和追踪器融合来增强目标追踪方法及***
Peralta et al. Next-best view policy for 3d reconstruction
CN111414797B (zh) 用于估计对象的姿势和姿态信息的***和方法
CN109102525B (zh) 一种基于自适应位姿估计的移动机器人跟随控制方法
Miclea et al. Monocular depth estimation with improved long-range accuracy for UAV environment perception
Liu et al. Using unsupervised deep learning technique for monocular visual odometry
CN114912287A (zh) 基于目标6d位姿估计的机器人自主抓取仿真***及方法
CN113392584B (zh) 基于深度强化学习和方向估计的视觉导航方法
CN112340063B (zh) 一种基于深度强化学习的卫星消旋方法
Yusefi et al. LSTM and filter based comparison analysis for indoor global localization in UAVs
Martínez et al. A hierarchical tracking strategy for vision-based applications on-board uavs
CN112949452A (zh) 一种基于多任务共享网络的机器人弱光环境抓取检测方法
CN111812978B (zh) 一种多无人机协作slam方法与***
CN116518973A (zh) 一种适用于现实室内环境的机器人视觉语言导航方法
CN117036989A (zh) 基于计算机视觉的微型无人机目标识别与跟踪控制方法
Yusefı et al. Orb-slam-based 2d reconstruction of environment for indoor autonomous navigation of uavs
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位***
CN111531546B (zh) 一种机器人位姿估计方法、装置、设备及存储介质
Dang et al. Perfc: An efficient 2d and 3d perception software-hardware framework for mobile cobot
Veres et al. An integrated simulator and dataset that combines grasping and vision for deep learning
CN112975968A (zh) 基于第三视角可变主体演示视频的机械臂模仿学习方法
CN115131407B (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
CN113551661A (zh) 位姿识别、轨迹规划方法、装置、***、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant