CN113920322B - 一种模块化机器人运动链构型识别方法及*** - Google Patents
一种模块化机器人运动链构型识别方法及*** Download PDFInfo
- Publication number
- CN113920322B CN113920322B CN202111228925.8A CN202111228925A CN113920322B CN 113920322 B CN113920322 B CN 113920322B CN 202111228925 A CN202111228925 A CN 202111228925A CN 113920322 B CN113920322 B CN 113920322B
- Authority
- CN
- China
- Prior art keywords
- module
- center point
- bounding box
- input image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 208000007400 Relapsing-Remitting Multiple Sclerosis Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种模块化机器人运动链构型识别方法及***，该方法包括获取模块化机器人图像，得到输入图像；将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框尺寸，所述预设的目标检测模型包括初步特征提取单元、特征融合单元和输出单元；基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别。该***包括：输入模块、检测模块和构型识别模块。通过使用本发明，能够在无需给机器人安装额外检测组件的情况下实现机器人的运动链构型识别，且对于噪声环境具有较高的鲁棒性。本发明可广泛应用于视觉识别领域。
Description
技术领域
本发明涉及视觉识别领域，尤其涉及一种模块化机器人运动链构型识别方法及***。
背景技术
机器人由于其高效性、精确性和低成本性而广泛受到现代规模化工业生产的重视，模块化机器人***具有较高的可拓展性和重构性，能够以多种构型应用在不同的领域之中。然而，模块化机器人***的构型识别是一个耗费大量时间精力且准确率不高的任务，尤其对于缺少传感装置的模块化机器人***而言。
发明内容
为了解决上述技术问题，本发明的目的是提供一种模块化机器人运动链构型识别方法及***，此算法为半监督学习方法，能够在无需给机器人安装额外检测组件的情况下实现机器人的运动链构型识别，且对于噪声环境具有较高的鲁棒性。
本发明所采用的第一技术方案是：一种模块化机器人运动链构型识别方法，包括以下步骤：
获取模块化机器人图像，得到输入图像；
将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框尺寸；
所述预设的目标检测模型包括初步特征提取单元、特征融合单元和输出单元；
基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别。
进一步，所述输出单元包括：
中心点预测部分，用于预测输入图像中模块中心点位置和模块种类；
偏移量预测部分，用于预测输入图像中模块中心点位置的偏移量；
包围框预测部分，用于预测输入图像中模块包围框尺寸。
进一步，所述将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框这一步骤，其具体包括：
将输入图像输入到预设的目标检测模型；
基于初步特征提取单元对输入图像进行初步特征提取处理，得到中间特征张量；
基于特征融合单元将中间特征张量进行深度特征融合，得到高级特征张量；
对高级特征张量进行采样处理并调整尺寸，得到特征图；
将特征图分别输入到中心点预测部分、偏移量预测部分和包围框预测部分，得到模块中心点输出、模块中心点偏移修正量输出和模块包围框输出；
基于模块中心点输出和模块中心点偏移修正量输出，得到模块中心点位置和模块种类；
基于模块包围框输出得到模块包围框尺寸。
进一步，所述模块中心点输出表示如下：
上式中，R表示特征图与输入图像大小之比，C表示模块种类数目，w1为图像的宽度，h1为图像的高度。
进一步，还包括中心点预测部分的构建步骤，其具体包括：
构建模块中心点的置信度标签；
c种类模块中心点在(x,y)位置上置信度
获取训练图像；
将训练图像中真实的中心点p＝(x,y)分解为低分辨率中心点与中心点偏移量/>
基于低分辨率中心点和置信度/>训练中心点预测部分。
进一步，以均方误差为训练中心点预测部分的损失函数，公式表示如下：
上式中，所述Ex表示数学期望算子，所述Yh；x,y,c表示置信度标签，Lh表示中心点预测损失函数，x,y表示训练真实的中心点的位置，c表示种类。
进一步，还包括偏移量预测部分的构建步骤，其具体包括：
基于中心点偏移量和L1损失函数训练包围框预测部分；
所述L1损失函数为所述Lo表示中心点偏移量算子，所述N表示模块总数，|*|表示L1距离算子，/>表示在(x,y)位置的中心点预测值。
进一步，还包括包围框预测部分的构建步骤，其具体包括：
以来表示种类为ck的模块在图像中的检测方框左上角坐标与右下角坐标，得到其中心点坐标/>与包围框的尺寸/>
将训练图像中所有类别所有模块的包围框s的高h与宽w分别作为两个特征图的值，以特征图中给定位置(x,y)对应了中心点在该位置上模块的低分辨率包围框尺寸w与h；
基于L1损失函数训练包围框预测部分。
进一步，所述基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别这一步骤，其具体包括：
将输入图像中所有类别所有模块的中心点作为节点构建得到强连通图；
以主控模块作为起点并尝试将所有模块依次连接得到一个具有最小权重的链表，所述权重为两个中心点之间的距离；
根据中心点位置以及包围框之间的交并比确定所有模块的连接关系；
完成运动链型构型识别。
本发明所采用的第二技术方案是：一种模块化机器人运动链构型识别***，包括：
输入模块，用于获取模块化机器人图像，得到输入图像；
检测模块，用于将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框尺寸，所述预设的目标检测模型包括初步特征提取单元、特征融合单元和输出单元；
构型识别模块，用于基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别。
本发明方法及***的有益效果是：本发明采用了目标检测的思想，使用了深度学习的方法来获取给定图像中的机器人模块信息，并基于最邻近搜索的方式进行构型匹配，以找出当前的配置。能够在无需给机器人安装额外检测组件的情况下实现机器人的运动链构型识别，且对于噪声环境具有较高的鲁棒性。
附图说明
图1是本发明一种模块化机器人运动链构型识别方法的步骤流程图；
图2是本发明一种模块化机器人运动链构型识别***的结构框图；
图3是本发明具体实施例完成构型识别后的示意图；
图4是本发明具体实施例识别过程的示意图；
图5是本发明实验验证过程的示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明提出了一种基于视觉识别的链式模块化机器人运动学构型识别方法，使用了目标检测神经网络来完成对图像里模块化机器人中不同模块种类及其包围框进行模块识别，随后，算法将通过查找最邻近模块中心点及其包围框交并比的方式来实现运动链识别。
参照图1和图4，本发明提供了一种模块化机器人运动链构型识别方法，该方法包括以下步骤：
S1、获取模块化机器人图像，得到输入图像；
S2、将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框尺寸；
所述预设的目标检测模型包括初步特征提取单元、特征融合单元和输出单元；
具体地，所述特征融合单元采用树状结构(HDA)进行串联，有效地结合浅层和深层之间的特征信息，以鼓励模型学习更丰富的组合，进而拓展更多的特征层次结构，并在每个HDA输出中引入了残差连接，来防止模型产生深度退化问题，并且能够有效地防止模型在训练中出现梯度消失或梯度***的情况。
S3、基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别。
具体地，RRMS是一种具有高度集成和集中控制***的模块化机器人***，根据控制***的定义，RRMS的模块可以分为控制模块和功能模块。对于给定的一张RGB照片 其中w1为图像的宽度，h1为图像的高度，数字3表征了该图像张量的特征通道数。我们通过特征提取器h(·)来从给定图像张量中提取出高级语义信息/>在一般情况下，由于特征提取器具有降采样功能，因此存在着不等式w1≥w2，h1≥h2。随后，我们将使用输出模块以映射高级语义信息z得到输出/>
图4(a)表示给定输入图像，图4(b)表示得到模块中心点位置、模块种类和模块包围框尺寸，图4(c)表示基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，图4(d)表示运动链构型识别结果。
进一步作为本方法的优选实施例，所述输出单元包括：
中心点预测部分，用于预测输入图像中模块中心点位置和模块种类；
偏移量预测部分，用于预测输入图像中模块中心点位置的偏移量；
包围框预测部分，用于预测输入图像中模块包围框尺寸。
具体地，我们依次将这三个输出命名为中心点输出包围框尺寸输出/>以及中心点偏移修正量输出/>
进一步作为本方法的优选实施例，所述将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框这一步骤，其具体包括。
S21、将输入图像输入到预设的目标检测模型；
S22、基于初步特征提取单元对输入图像进行初步特征提取处理，得到中间特征张量；
S23、基于特征融合单元将中间特征张量进行深度特征融合，得到高级特征张量；
S24、对高级特征张量进行采样处理并调整尺寸，得到特征图；
S25、将特征图分别输入到中心点预测部分、偏移量预测部分和包围框预测部分，得到模块中心点输出、模块中心点偏移修正量输出和模块包围框输出；
具体地，对于一张含有RRMS模块的图像X，首先会通过初步的特征提取模块转换为具有四倍降采样的中间特征张量H1，随后该特征张量依次通过三个特征融合单元来进行特征的深度融合，以提取出具有高级语义信息的特征张量H。随后我们对H进行连续的2倍上采样处理将16倍降采样的特征图恢复为4倍降采样的尺寸，以防止输出特征图的尺寸过小而造成精度下降。最后，我们将该4倍降采样的特征图分别作为三个输出模块的输入，并得到最终含有检测结果的输出
S26、基于模块中心点输出和模块中心点偏移修正量输出，得到模块中心点位置和模块种类；
具体地，由于预测结果的最小尺度是4个像素点，因此需要单独构造偏移量预测部分来进行修正，即模块中心点位置是以中心点位置的偏移量修正后的位置为基准。
S27、基于模块包围框输出得到模块包围框尺寸。
进一步作为本方法优选实施例，为了使得模型具有预测多个模块的中心点位置以及模块的种类，我们令中心点输出表示如下：
上式中，R表示特征图与输入图像大小之比，C表示模块种类数目，即中心点输出每个通道的特征图分别预测一个类别的模块中心点位置，w1为图像的宽度，h1为图像的高度。
在理想状态下，模型的中心点输出将在正确类别的小模块中心点位置有而其他位置则为/>
进一步作为本方法优选实施例，还包括中心点预测部分的构建步骤，其具体包括：
基于高斯核构建模块中心点的置信度标签，令标准差σ为一个常数；
c种类模块中心点在(x,y)位置上置信度
获取训练图像；
将训练图像中真实的中心点p＝(x,y)分解为低分辨率中心点与中心点偏移量/>
基于低分辨率中心点和置信度/>训练中心点预测部分。
进一步作为本方法优选实施例，以均方误差为训练中心点预测部分的损失函数，公式表示如下：
上式中，所述Ex表示数学期望算子，所述Yh；x,y,c表示置信度标签，Lh表示中心点预测损失函数，x,y表示训练真实的中心点的位置，c表示种类。
进一步作为本方法优选实施例，还包括偏移量预测部分的构建步骤，其具体包括：
基于中心点偏移量和L1损失函数训练包围框预测部分；
仅统计真实标签中存在小模块位置的预测值，所述L1损失函数为所述Lo表示中心点偏移量算子，所述N表示模块总数，|*|表示L1距离算子，/>表示在(x,y)位置的中心点预测值。
具体地，对于目标真实的中心点p＝(x,y)，我们将其分解为两个部分：低分辨率中心点与中心点偏移量/>这两个部分分别对应了中心点输出/>及中心点偏移修正量输出/>且有p＝p'+δp。对于中心点输出/>而言，我们将以热图的形式来表达c种类模块的中心点在(x,y)位置上置信度/>而将所有类别所有模块的中心点偏移量δp的横坐标x与纵坐标y作为中心点偏移修正量输出/>而分割到两个通道的特征图中，即两个特征图的坐标(x,y)分别对应了中心点在该位置上的模块中心点偏移量δx与δy。
进一步作为本方法的优选实施例，还包括包围框预测部分的构建步骤，其具体包括：
以来表示种类为ck的模块在图像中的检测方框左上角坐标与右下角坐标，得到其中心点坐标/>与包围框的尺寸/>
将训练图像中所有类别所有模块的包围框s的高h与宽w分别作为两个特征图的值，以特征图中给定位置(x,y)对应了中心点在该位置上模块的低分辨率包围框尺寸w与h；
基于L1损失函数训练包围框预测部分，即
为了统一不同环节损失值的相对大小，我们加入了两个超参数λs和λo，即
L＝Lp+λo·Lo+λs·Ls
通过上文的模块识别方法，我们得到了图中所有小模块的类别c，中心点p及包围框
进一步作为本方法的优选实施例，所述基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别这一步骤，其具体包括：
S31、将输入图像中所有类别所有模块的中心点作为节点构建得到强连通图；
S32、根据中心点位置以及包围框之间的交并比确定所有模块的连接关系；
S33、确定起点并尝试将所有模块依次连接得到一个具有最小权重的链表，所述权重为两个中心点之间的距离；
S34、完成运动链型构型识别，识别结果参照图3。
具体地，由于拍摄角度问题，多个模块之间的距离差异较小，此时若直接根据两个中心点之间距离进行搜索，可能会得到不如人意的结果。我们启发式地使用了两个模块之间的交并比IoU的大小来进行辅助判断，其中IoU为两个包围框的交集与两个包围框的并集之比。当两个模块的包围框重叠部分越多时，IoU接近1；反之则接近0。我们取IoU较大的模块作为机器人构型中的下一个关节，这样能够在最大程度上保证了预测结果的准确性；
在具体的实现中，我们使用了广度优先搜索来完成这个过程：以控制模块(F)作为根节点，依次遍历其他不在链表内的模块进行筛选。筛选的准则为：该模块与链表尾模块的中心点距离最短，且交并比IoU最大的模块将作为新的链表尾模块。当多个模块之间的距离与交并比都差异较小时，或是发现中心点距离远大于链表尾模块包围框尺寸等异常行为时(对应于不在运动链且被识别的RRMS模块)，算法将会拒绝进行识别，并尝试提示用户进行手动构型识别。
以一个具体的例子进行实验验证：
我们随机地选取一张照片并进行可视化处理，其结果如图5所示。在实际的搜索中，我们直接基于所有模块构造了两个邻接矩阵，分别为两两模块之间的交并比IoU矩阵HIoU和中心点间距Hd，其中下标(i,j)表示该结果由序号i和j所得，因此这两个邻接矩阵为对称矩阵。对于图5所示的结果，有：
由于我们人为地选定主控模块(F)作为链表的起点，根据图5(c)可得，主控模块的序号为0。而从Hd与HIoU中能够发现，序号0模块与序号2模块最接近，且两者拥有最大的交并比IoU，因此我们将序号2模块加入到链表之中。重复上述过程，最终我们得到的链表为：[0214]。不难发现，这个链表的序号与真实模块构型相符，哪怕在有着较大背景噪声(如倒影)的情况下。
实验结果表明，我们的方法能够在无需给机器人安装额外检测组件的情况下实现机器人的运动链构型识别，且对于噪声环境具有较高的鲁棒性。
如图2所示，一种模块化机器人运动链构型识别***，包括：
输入模块，用于获取模块化机器人图像，得到输入图像；
检测模块，用于将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框尺寸，所述预设的目标检测模型包括初步特征提取单元、特征融合单元和输出单元；
构型识别模块，用于基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别。
上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种模块化机器人运动链构型识别方法，其特征在于，包括以下步骤：
获取模块化机器人图像，得到输入图像；
将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框尺寸；
所述预设的目标检测模型包括初步特征提取单元、特征融合单元和输出单元；
基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别；
所述将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框这一步骤，其具体包括：
将输入图像输入到预设的目标检测模型；
基于初步特征提取单元对输入图像进行初步特征提取处理，得到中间特征张量；
基于特征融合单元将中间特征张量进行深度特征融合，得到高级特征张量；
对高级特征张量进行采样处理并调整尺寸，得到特征图；
将特征图分别输入到中心点预测部分、偏移量预测部分和包围框预测部分，得到模块中心点输出、模块中心点偏移修正量输出和模块包围框输出；
基于模块中心点输出和模块中心点偏移修正量输出，得到模块中心点位置和模块种类；
基于模块包围框输出得到模块包围框尺寸；
所述模块中心点输出表示如下：
上式中，R表示特征图与输入图像大小之比，C表示模块种类数目，w1为图像的宽度，h1为图像的高度。
2.根据权利要求1所述一种模块化机器人运动链构型识别方法，其特征在于，所述输出单元包括：
中心点预测部分，用于预测输入图像中模块中心点位置和模块种类；
偏移量预测部分，用于预测输入图像中模块中心点位置的偏移量；
包围框预测部分，用于预测输入图像中模块包围框尺寸。
3.根据权利要求2所述一种模块化机器人运动链构型识别方法，其特征在于，还包括中心点预测部分的构建步骤，其具体包括：
构建模块中心点的置信度标签；
c种类模块中心点在(x,y)位置上置信度
获取训练图像；
将训练图像中真实的中心点p＝(x,y)分解为低分辨率中心点与中心点偏移量
基于低分辨率中心点和置信度/>训练中心点预测部分。
4.根据权利要求3所述一种模块化机器人运动链构型识别方法，其特征在于，以均方误差为训练中心点预测部分的损失函数，公式表示如下：
上式中，所述Ex表示数学期望算子，所述Yh；x,y,c表示置信度标签，Lh表示中心点预测损失函数，x,y表示训练真实的中心点的位置，c表示种类。
5.根据权利要求4所述一种模块化机器人运动链构型识别方法，其特征在于，还包括偏移量预测部分的构建步骤，其具体包括：
基于中心点偏移量和L1损失函数训练包围框预测部分；
所述L1损失函数为所述Lo表示中心点偏移量算子，所述N表示模块总数，|*|表示L1距离算子，/>表示在(x,y)位置的中心点预测值。
6.根据权利要求5所述一种模块化机器人运动链构型识别方法，其特征在于，还包括包围框预测部分的构建步骤，其具体包括：
以来表示种类为ck的模块在图像中的检测方框左上角坐标与右下角坐标，得到其中心点坐标/>与包围框的尺寸/>
将训练图像中所有类别所有模块的包围框s的高h与宽w分别作为两个特征图的值，以特征图中给定位置(x,y)对应了中心点在该位置上模块的低分辨率包围框尺寸w与h；
基于L1损失函数训练包围框预测部分。
7.根据权利要求6所述一种模块化机器人运动链构型识别方法，其特征在于，所述基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别这一步骤，其具体包括：
将输入图像中所有类别所有模块的中心点作为节点构建得到强连通图；
根据中心点位置以及包围框之间的交并比确定所有模块的连接关系；
确定起点并尝试将所有模块依次连接得到一个具有最小权重的链表，所述权重为两个中心点之间的距离；
完成运动链型构型识别。
8.一种模块化机器人运动链构型识别***，其特征在于，包括：
输入模块，用于获取模块化机器人图像，得到输入图像；
检测模块，用于将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框尺寸，所述预设的目标检测模型包括初步特征提取单元、特征融合单元和输出单元；
构型识别模块，用于基于最邻近点搜索方法对模块中心点位置、模块种类和模块包围框尺寸进行处理，确定模块连接关系，完成运动链构型识别；
所述将输入图像输入到预设的目标检测模型进行多模块识别，得到模块中心点位置、模块种类和模块包围框，其具体包括：将输入图像输入到预设的目标检测模型；基于初步特征提取单元对输入图像进行初步特征提取处理，得到中间特征张量；基于特征融合单元将中间特征张量进行深度特征融合，得到高级特征张量；对高级特征张量进行采样处理并调整尺寸，得到特征图；将特征图分别输入到中心点预测部分、偏移量预测部分和包围框预测部分，得到模块中心点输出、模块中心点偏移修正量输出和模块包围框输出；基于模块中心点输出和模块中心点偏移修正量输出，得到模块中心点位置和模块种类；基于模块包围框输出得到模块包围框尺寸；
所述模块中心点输出表示如下：
上式中，R表示特征图与输入图像大小之比，C表示模块种类数目，w1为图像的宽度，h1为图像的高度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111228925.8A CN113920322B (zh) | 2021-10-21 | 2021-10-21 | 一种模块化机器人运动链构型识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111228925.8A CN113920322B (zh) | 2021-10-21 | 2021-10-21 | 一种模块化机器人运动链构型识别方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113920322A CN113920322A (zh) | 2022-01-11 |
| CN113920322B true CN113920322B (zh) | 2024-06-14 |
Family
ID=79242239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111228925.8A Active CN113920322B (zh) | 2021-10-21 | 2021-10-21 | 一种模块化机器人运动链构型识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920322B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108115654A (zh) * | 2017-12-27 | 2018-06-05 | 清华大学 | 含带传动的变驱动运动链及含该运动链的并联机器人 |
| CN109829893A (zh) * | 2019-01-03 | 2019-05-31 | 武汉精测电子集团股份有限公司 | 一种基于注意力机制的缺陷目标检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102032284B1 (ko) * | 2017-09-22 | 2019-10-15 | 엘지전자 주식회사 | 인공지능 이용한 이동 로봇 및 이동 로봇의 제어방법 |
| CN110378325B (zh) * | 2019-06-20 | 2022-03-15 | 西北工业大学 | 一种机器人抓取过程中的目标位姿识别方法 |
| CN110503112B (zh) * | 2019-08-27 | 2023-02-03 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
| JP7354686B2 (ja) * | 2019-08-27 | 2023-10-03 | 株式会社リコー | 出力制御装置、表示制御システム、出力制御方法およびプログラム |
-
2021
- 2021-10-21 CN CN202111228925.8A patent/CN113920322B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108115654A (zh) * | 2017-12-27 | 2018-06-05 | 清华大学 | 含带传动的变驱动运动链及含该运动链的并联机器人 |
| CN109829893A (zh) * | 2019-01-03 | 2019-05-31 | 武汉精测电子集团股份有限公司 | 一种基于注意力机制的缺陷目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113920322A (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107851174B (zh) | 图像语义标注的设备和方法及其模型的生成方法和*** | |
| CN111144364B (zh) | 一种基于通道注意更新机制的孪生网络目标跟踪方法 | |
| CN106780631B (zh) | 一种基于深度学习的机器人闭环检测方法 | |
| CN113657388B (zh) | 一种融合图像超分辨率重建的图像语义分割方法 | |
| CN111476248B (zh) | 利用用于识别图像的1x1卷积的CNN方法及装置 | |
| CN109389156B (zh) | 一种图像定位模型的训练方法、装置及图像定位方法 | |
| CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| CN109863547A (zh) | 用于使用机器学习和图像处理来构建地图的设备 | |
| CN113989604B (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| Xu et al. | Vision-based multi-level synthetical evaluation of seismic damage for RC structural components: a multi-task learning approach | |
| CN113516133A (zh) | 一种多模态图像分类方法及*** | |
| CN115147488B (zh) | 一种基于密集预测的工件位姿估计方法与抓取*** | |
| CN113205138A (zh) | 人脸人体匹配方法、设备和存储介质 | |
| CN115497161A (zh) | 基于人体姿态矫正的注意力时空图卷积网络行为识别方法 | |
| CN114943840A (zh) | 机器学习模型的训练方法、图像的处理方法和电子设备 | |
| CN113920322B (zh) | 一种模块化机器人运动链构型识别方法及*** | |
| CN111898756B (zh) | 一种多目标信息关联神经网络损失函数计算方法及装置 | |
| CN114627397A (zh) | 行为识别模型构建方法以及行为识别方法 | |
| Singh et al. | Offroadtranseg: Semi-supervised segmentation using transformers on offroad environments | |
| CN116460851A (zh) | 一种视觉迁移的机械臂装配控制方法 | |
| CN110647917A (zh) | 一种模型复用方法与*** | |
| US11461919B2 (en) | Cascaded neural network | |
| JP2018147103A (ja) | モデル学習装置、制御量算出装置、及びプログラム | |
| CN115272814B (zh) | 一种远距离空间自适应多尺度的小目标检测方法 | |
| CN111546327A (zh) | 用于确定机器人的动作或轨迹的方法、设备和计算机程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |