CN117161719B - 一种视触觉融合的预装配零件姿态识别方法及*** - Google Patents
一种视触觉融合的预装配零件姿态识别方法及*** Download PDFInfo
- Publication number
- CN117161719B CN117161719B CN202311456380.5A CN202311456380A CN117161719B CN 117161719 B CN117161719 B CN 117161719B CN 202311456380 A CN202311456380 A CN 202311456380A CN 117161719 B CN117161719 B CN 117161719B
- Authority
- CN
- China
- Prior art keywords
- assembled
- feature
- msff
- layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 83
- 230000004927 fusion Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000011176 pooling Methods 0.000 claims description 16
- 230000006403 short-term memory Effects 0.000 claims description 14
- 230000007787 long-term memory Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000005215 recombination Methods 0.000 claims description 7
- 230000006798 recombination Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000005549 size reduction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000015541 sensory perception of touch Effects 0.000 claims 1
- 230000008447 perception Effects 0.000 abstract description 18
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种视触觉融合的预装配零件姿态识别方法及***，该方法包括：通过相机获取待装配零件的图像；基于视觉目标检测模型MSFF‑YOLOV5S，对待装配零件的图像依次进行感知提取和配准处理，得到待装配零件的姿态数据；基于触觉传感器与触觉感知神经网络模型对待装配零件进行触觉信息感知处理，得到待装配零件的受力方向信息；结合待装配零件的姿态数据与待装配零件的受力方向信息并传输至机械臂进行零件装配处理，实现对零件的装配。本发明通过融合视觉和触觉感知技术，实现了对零件装配过程中的连续感知，提高零件装配的稳定性和成功率。本发明作为一种视触觉融合的预装配零件姿态识别方法及***，可广泛应用于图像信息感知技术领域。
Description
技术领域
本发明涉及图像信息感知技术领域，尤其涉及一种视触觉融合的预装配零件姿态识别方法及***。
背景技术
随着工业任务的多样化，进行装配零件任务时，机器人与人协作的能力备受关注，而准确感知预装配零件的姿态则成为协作的基础。传统的零件装配过程依赖于单一的感知模式，如视觉或触觉感知，存在感知不全面和误差累积的问题，影响了装配效率和质量，而现有技术在机器人与人协作装配中的一个缺点是对零件姿态感知的持续性有限。由于装配过程中容易出现遮挡零件问题，现有视觉方法往往无法完整捕捉目标的位置和姿态，导致零件姿态感知的持续性和稳定性得不到提升，而对于现有的方法检测零件的姿态大多是使用视觉，单一的传感器缺乏多样性和全面性，容易受到环境因素的影响而导致检测结果不稳定，因此现有技术存在的缺点一是零件姿态感知的不持续性，二是零件姿态感知不够全面。
发明内容
为了解决上述技术问题，本发明的目的是提供一种视触觉融合的预装配零件姿态识别方法及***，通过融合视觉和触觉感知技术，实现了对零件装配过程中的连续感知，提高零件装配的稳定性和成功率。
本发明所采用的第一技术方案是：一种视触觉融合的预装配零件姿态识别方法，包括以下步骤：
通过相机获取待装配零件的图像；
基于视觉目标检测模型MSFF-YOLOV5S，对待装配零件的图像依次进行感知提取和配准处理，得到待装配零件的姿态数据；
基于触觉传感器与触觉感知神经网络模型对待装配零件进行触觉信息感知处理，得到待装配零件的受力方向信息；
结合待装配零件的姿态数据与待装配零件的受力方向信息并传输至机械臂进行零件装配处理，实现对零件的装配。
进一步，所述基于视觉目标检测模型MSFF-YOLOV5S，对待装配零件的图像依次进行感知提取和配准处理，得到待装配零件的姿态数据这一步骤，其具体包括：
构建视觉目标检测模型MSFF-YOLOV5S；
将待装配零件的图像输入至视觉目标检测模型MSFF-YOLOV5S进行姿态信息感知检测处理，得到零件的目标检测结果；
对零件的目标检测结果进行数据格式转换处理，生成待装配零件的点云数据；
通过ICP点云数据配准方法对待装配零件的点云数据进行配准处理，得到待装配零件的姿态数据。
进一步，所述将待装配零件的图像输入至视觉目标检测模型MSFF-YOLOV5S进行姿态信息感知检测处理，得到零件的目标检测结果这一步骤，其具体包括：
将待装配零件的图像输入至视觉目标检测模型MSFF-YOLOV5S，所述视觉目标检测模型MSFF-YOLOV5S包括焦点层、CBS卷积层、MSFF特征融合层、SPP空间金字塔池化层、特征金字塔池化层和Conv检测头；
基于视觉目标检测模型MSFF-YOLOV5S的焦点层，对待装配零件的图像进行通道压缩和尺寸减小处理，得到压缩后的待装配零件图像；
基于视觉目标检测模型MSFF-YOLOV5S的CBS卷积层，对压缩后的待装配零件图像进行特征提取处理，得到待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的MSFF特征融合层，对待装配零件图像特征进行切分与重组处理，得到重组后的待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的SPP空间金字塔池化层，对重组后的待装配零件图像特征进行多尺度特征融合处理，得到融合后的待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的特征金字塔池化层，对融合后的待装配零件图像特征进行采样处理，得到采样后的待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的Conv检测头，对采样后的待装配零件图像特征进行目标检测处理，得到零件的目标检测结果，所述零件的目标检测结果包括零件的位置边界框、零件的类别概率和对应的置信度分数。
进一步，所述基于视觉目标检测模型MSFF-YOLOV5S的MSFF特征融合层，对待装配零件图像特征进行切分与重组处理，得到重组后的待装配零件图像特征这一步骤，其具体包括：
将待装配零件图像特征输入至视觉目标检测模型MSFF-YOLOV5S的MSFF特征融合层，所述MSFF特征融合层包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和SE注意力机制层；
基于MSFF特征融合层的第一卷积层，对待装配零件图像特征依次进行卷积分割处理，得到第一待装配零件图像子特征、第二待装配零件图像子特征和第三待装配零件图像子特征；
基于MSFF特征融合层的第二卷积层，对第二待装配零件图像子特征进行卷积操作，得到卷积后的第二待装配零件图像子特征；
基于MSFF特征融合层的第三卷积层，对第三待装配零件图像子特征进行卷积操作，得到卷积后的第三待装配零件图像子特征；
基于MSFF特征融合层的第四卷积层，对第一待装配零件图像子特征、卷积后的第二待装配零件图像子特征和卷积后的第三待装配零件图像子特征进行串联处理，得到串联后的待装配零件图像特征；
基于MSFF特征融合层的SE注意力机制层对待装配零件图像特征进行自注意力提取处理，得到待装配零件图像的自注意力特征；
将串联后的待装配零件图像特征与待装配零件图像的自注意力特征进行重组处理，得到重组后的待装配零件图像特征。
进一步，所述串联后的待装配零件图像特征的操作过程的表达式具体如下所示：
；
上式中，表示第一待装配零件图像子特征，/>表示第二待装配零件图像子特征，/>表示第三待装配零件图像子特征，/>表示卷积后的第二待装配零件图像子特征，表示卷积后的第三待装配零件图像子特征，/>表示MSFF特征融合层的第二卷积层卷积操作，/>表示MSFF特征融合层的第三卷积层卷积操作，/>表示串联后的待装配零件图像特征，/>表示串联操作，/>表示MSFF特征融合层的第四卷积层卷积操作。
进一步，还包括通过非极大值抑制算法对零件的目标检测结果进行筛选处理这一步骤，其具体包括：
基于非极大值抑制算法，对零件的目标检测结果中存在重叠零件的位置边界框进行消除处理，并选取零件置信度分数最高对应的零件的位置边界框进行输出。
进一步，所述基于触觉传感器与触觉感知神经网络模型对待装配零件进行触觉信息感知处理，得到待装配零件的受力方向信息这一步骤，其具体包括：
通过触觉传感器获取待装配零件的触觉信号；
对触觉信号进行转换处理，得到触觉矩阵；
将触觉矩阵输入至触觉感知神经网络模型，所述触觉感知神经网络模型包括Tactile Network网络和长短期记忆网络；
基于Tactile Network网络对触觉矩阵进行特征提取处理，得到触觉特征信号；
基于长短期记忆网络对触觉特征信号进行不同方向的预测分析，得到待装配零件的受力方向信息。
进一步，所述基于Tactile Network网络对触觉矩阵进行特征提取处理，得到触觉特征信号这一步骤，其具体包括：
将触觉矩阵输入至Tactile Network网络，所述Tactile Network网络包括第一卷积结构、权重归一化层、第二卷积结构、Relu激活函数和全连接层；
基于Tactile Network网络的第一卷积结构，对触觉矩阵进行特征提取处理，得到初步的触觉特征矩阵；
基于Tactile Network网络的权重归一化层，对初步的触觉特征矩阵进行归一化处理，得到归一化后的触觉特征矩阵；
基于Tactile Network网络的第二卷积结构，对归一化后的触觉特征矩阵进行特征提取处理，得到触觉特征矩阵；
基于Tactile Network网络的Relu激活函数，对触觉特征矩阵进行映射处理，得到映射后的触觉特征矩阵；
基于Tactile Network网络的全连接层，对映射后的触觉特征矩阵进行平均加权计算处理，得到触觉特征信号。
进一步，所述基于长短期记忆网络对触觉特征信号进行不同方向的预测分析的表达式具体如下所示：
；
上式中，表示待装配零件的受力方向信息的输出，/>表示全连接层操作，/>表示长短期记忆网络操作，/>表示触觉特征信号，/>表示触觉特征信号在/>轴的输出回归角度，/>表示触觉特征信号在/>轴的输出回归角度。
本发明所采用的第二技术方案是：一种视触觉融合的预装配零件姿态识别***，包括：
拍摄模块，用于通过相机获取待装配零件的图像；
姿态感知模块，基于视觉目标检测模型MSFF-YOLOV5S，对待装配零件的图像依次进行感知提取和配准处理，得到待装配零件的姿态数据；
触觉感知模块，基于触觉传感器与触觉感知神经网络模型对待装配零件进行触觉信息感知处理，得到待装配零件的受力方向信息；
装配模块，用于结合待装配零件的姿态数据与待装配零件的受力方向信息并传输至机械臂进行零件装配处理，实现对零件的装配。
本发明方法及***的有益效果是：本发明通过相机获取待装配零件的图像，再基于视觉目标检测模型MSFF-YOLOV5S，对待装配零件的图像依次进行感知提取和配准处理，得到待装配零件的姿态数据，利用视觉目标检测模型MSFF-YOLOV5S快速感知零件位置，减少机器人在寻找目标位置的时间，再基于触觉传感器与触觉感知神经网络模型对待装配零件进行触觉信息感知处理，运用触觉感知模型对零件姿态进行连续感知，克服由于视觉遮挡导致的感知不足，最后将待装配零件的姿态数据与待装配零件的受力方向信息进行融合，通过持续感知零件的姿态，使得机器人能够及时调整和适应装配过程中的变化，提高装配的稳定性和成功率。
附图说明
图1是本发明实施例一种视触觉融合的预装配零件姿态识别方法的步骤流程图；
图2是本发明实施例一种视触觉融合的预装配零件姿态识别***的结构框图；
图3是本发明具体实施例人机协作工作台的示意图；
图4是本发明具体实施例构建的视觉目标检测模型MSFF-YOLOV5S的结构示意图；
图5是本发明具体实施例构建的触觉感知神经网络模型的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
近年来，研究者们将深度学习方法应用于机器人协作任务中，并通过卷积神经网络对零件的姿态进行预测，取得了良好的效果。通过融合视觉和触觉感知，机器人能够更准确地感知目标的位置和形态。视觉感知提供了零件的初步姿态能力，而触觉感知则能够获取装配过程中的接触力和位移等重要信息。通过综合这两种感知方式，机器人能够实现对装配过程的全方位感知，从而更好地协调机器人与人类的配合，提高装配的成功率和效率；
基于此，本发明提出的视觉和触觉融合方法能够通过深度学习模型持续对目标姿态进行预测，并结合视觉和触觉感知的信息实时调整机器人的姿态操作，从而提高零件姿态感知的持续性和稳定性。
参照图1，本发明提供了一种视触觉融合的预装配零件姿态识别方法，该方法包括以下步骤：
S1、通过相机获取待装配零件的图像；
具体地，首先进行相机设置，安装和设置深度相机1和深度相机2，确保它们能够捕获零件的图像，相机的位置、焦距、内参等参数需要准确设置，再进行图像采集，使用深度相机1和深度相机2对零件进行拍摄，得到两个图像，这两个图像可能分别是不同角度、不同视角下的零件。
S2、基于视觉目标检测模型MSFF-YOLOV5S，对待装配零件的图像依次进行感知提取和配准处理，得到待装配零件的姿态数据；
具体地，构建视觉目标检测模型MSFF-YOLOV5S；所述视觉目标检测模型MSFF-YOLOV5S包括焦点层、CBS卷积层、MSFF特征融合层、SPP空间金字塔池化层、特征金字塔池化层和Conv检测头；将待装配零件的图像输入至视觉目标检测模型MSFF-YOLOV5S进行姿态信息感知检测处理，得到零件的目标检测结果；对零件的目标检测结果进行数据格式转换处理，生成待装配零件的点云数据；通过ICP点云数据配准方法对待装配零件的点云数据进行配准处理，得到待装配零件的姿态数据；
其中，对于生成待装配零件的点云数据的步骤流程为对于每个像素点，通过深度图中的深度信息，将该像素点的三维坐标计算出来。对于深度图中的每个深度值 D，在相机坐标系下的点的坐标为，其中/>为像素点在图像上的坐标；
另外，对ICP点云数据配准方法进行说明：
ICP（Iterative Closest Point）是一种用于点云配准（注册）的常用算法，其目标是将两个或多个点云数据集对齐，使它们尽可能重合，下面是ICP配准的基本生成过程：
首先是输入数据，输入是两个或多个点云数据集，每个点云数据集由三维点组成，表示在三维空间中的位置；
其次是初始对齐，先选择一个点云数据集作为参考点云，再将其他点云数据集初始对齐到参考点云，可以使用某种初始对齐方法，如基于特征的方法，来大致对齐点云；
最后是迭代优化，ICP算法通过迭代的方式逐步优化对齐，使点云之间的误差最小化，对于每一次迭代包括以下步骤：
（1）寻找最近邻点；对于参考点云中的每个点，在目标点云中找到与之距离最近的点；
（2）计算变换；根据最近邻点的对应关系，计算一个刚性变换（平移和旋转），将目标点云变换到参考点云的坐标系中；
（3）更新对齐；将目标点云应用变换，使其与参考点云更加对齐；
（4）收敛判断；在每次迭代后，可以计算点云之间的误差（如平均距离），并判断是否满足收敛条件。如果误差较小或变化不大，则认为配准已经收敛，算法结束；
（5）输出结果；最终输出对齐后的点云数据集，使它们在三维空间中更加准确地重合。
进一步的，对于MSFF-YOLOV5S模型表示为多特征交互式融合目标检测模型，即表示多特征交互式融合模块与YOLOV5S模型的结合，其中，多特征交互式融合模块即为MSFF特征融合层；
其中，对于视觉目标检测模型MSFF-YOLOV5S的数据处理流程为，基于视觉目标检测模型MSFF-YOLOV5S的焦点层，对待装配零件的图像进行通道压缩和尺寸减小处理，得到压缩后的待装配零件图像；基于视觉目标检测模型MSFF-YOLOV5S的CBS卷积层，对压缩后的待装配零件图像进行特征提取处理，得到待装配零件图像特征；基于视觉目标检测模型MSFF-YOLOV5S的MSFF特征融合层，对待装配零件图像特征进行切分与重组处理，得到重组后的待装配零件图像特征；基于视觉目标检测模型MSFF-YOLOV5S的SPP空间金字塔池化层，对重组后的待装配零件图像特征进行多尺度特征融合处理，得到融合后的待装配零件图像特征；基于视觉目标检测模型MSFF-YOLOV5S的特征金字塔池化层，对融合后的待装配零件图像特征进行采样处理，得到采样后的待装配零件图像特征；基于视觉目标检测模型MSFF-YOLOV5S的Conv检测头，对采样后的待装配零件图像特征进行目标检测处理，得到零件的目标检测结果，所述零件的目标检测结果包括零件的位置边界框、零件的类别概率和对应的置信度分数；
对于视觉目标检测模型MSFF-YOLOV5S中的MSFF特征融合层，包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和SE注意力机制层，其对数据进行处理流程为，基于MSFF特征融合层的第二卷积层，对第二待装配零件图像子特征进行卷积操作，得到卷积后的第二待装配零件图像子特征；基于MSFF特征融合层的第三卷积层，对第三待装配零件图像子特征进行卷积操作，得到卷积后的第三待装配零件图像子特征；基于MSFF特征融合层的第四卷积层，对第一待装配零件图像子特征、卷积后的第二待装配零件图像子特征和卷积后的第三待装配零件图像子特征进行串联处理，得到串联后的待装配零件图像特征；基于MSFF特征融合层的SE注意力机制层对待装配零件图像特征进行自注意力提取处理，得到待装配零件图像的自注意力特征；将串联后的待装配零件图像特征与待装配零件图像的自注意力特征进行重组处理，得到重组后的待装配零件图像特征；
在本实施例中，本发明提出的方法主要创新有两个模块，MSFF-YOLOV5S模型感知零件的关键部分和触觉信号经过CNN+LSTM网络检测出零件的受力角度。在图3的人机协作工作台中相机捕获的图像信息和贴在机器人底盘的触觉传感器的触觉信号，模型的输出为零件的姿态，MSFF-YOLOV5S是一种基于YOLOV5S改进的目标检测算法，它采用了一种单阶段的检测策略，通过单个神经网络直接从图像中预测目标的边界框和类别信息。为了提高目标检测的准确性和稳定性，本发明采用了YOLOV5S目标检测算法作为基础，并提出了一种新的多尺度特征交互式融合模块（MSFF），以嵌入目标检测模型主干网络中，MSFF-YOLOV5S模型如图3所示，对于MSFF模块，使用了一个1x1卷积操作（CBS）即第一卷积层，将其分割成了个均匀的子特征集合，每个子集用/>表示，其中/>。每个/>子集具有相同的长度和宽度大小，通道数为原通道数的/>。为了控制感受野大小并降低计算和内存成本，除了第一个子集/>外，每个子集都使用一个对应的3x3卷积操作/>即对应第二卷积层与第三卷积层。为了在增加特征子集数量的同时减少网络参数量，省略了/>的3×3卷积操作，直接将其输入到下一个模块中。因此，/>的输出/>可以表示为/>与前一特征子集的输出相加，再输入到/>中进行卷积操作即第四卷积层，通过以上描述可以得到以下的公式：
；
上式中，表示第一待装配零件图像子特征，/>表示第二待装配零件图像子特征，/>表示第三待装配零件图像子特征，/>表示卷积后的第二待装配零件图像子特征，表示卷积后的第三待装配零件图像子特征，/>表示MSFF特征融合层的第二卷积层卷积操作，/>表示MSFF特征融合层的第三卷积层卷积操作，/>表示串联后的待装配零件图像特征，/>表示串联操作，/>表示MSFF特征融合层的第四卷积层卷积操作；
再与SE注意力机制（Squeeze and Excitation Networks）的残差网络进行连接，得到最后的输出SEY，进一步的，基于非极大值抑制算法，对零件的目标检测结果中存在重叠零件的位置边界框进行消除处理，并选取零件置信度分数最高对应的零件的位置边界框进行输出。
S3、基于触觉传感器与触觉感知神经网络模型对待装配零件进行触觉信息感知处理，得到待装配零件的受力方向信息；
具体地，通过触觉传感器获取待装配零件的触觉信号；对触觉信号进行转换处理，得到触觉矩阵；将触觉矩阵输入至触觉感知神经网络模型，所述触觉感知神经网络模型包括Tactile Network网络和长短期记忆网络；基于Tactile Network网络对触觉矩阵进行特征提取处理，得到触觉特征信号；基于长短期记忆网络对触觉特征信号进行不同方向的预测分析，得到待装配零件的受力方向信息；
对于Tactile Network网络，其包括第一卷积结构、权重归一化层、第二卷积结构、Relu激活函数和全连接层，基于Tactile Network网络的第一卷积结构，对触觉矩阵进行特征提取处理，得到初步的触觉特征矩阵；基于Tactile Network网络的权重归一化层，对初步的触觉特征矩阵进行归一化处理，得到归一化后的触觉特征矩阵；基于Tactile Network网络的第二卷积结构，对归一化后的触觉特征矩阵进行特征提取处理，得到触觉特征矩阵；基于Tactile Network网络的Relu激活函数，对触觉特征矩阵进行映射处理，得到映射后的触觉特征矩阵；基于Tactile Network网络的全连接层，对映射后的触觉特征矩阵进行平均加权计算处理，得到触觉特征信号；
在本实施例中，对于触觉信号，本发明将触觉信号处理成4x4x3的触觉矩阵形式，并且将使用自定义的Tactile Network网络结构进行特征提取，针对每个4x4x3的触觉矩阵，本发明采用了两个卷积层结构即第一卷积结构和第二卷积结构，并在每个卷积层后接入权重归一化和一个Relu激活函数，其中，第一个卷积层包含3个内核，内核大小为3x3，步长为1，填充为1x1；第一个卷积层包含8个内核，内核大小为3x3，步长为1，填充为1x1。最后通过图5的全连接（FC）层，输出64个向量。
；
式子中，属于CxHxW，/>为图5中的Tactile Network网络，/>代表触觉的信号帧数/>。
对于LSTM模块，使用的是长短期记忆网络（LSTM），将上述64个特征作为LSTM的输入，LSTM里面具有两层的隐藏层,两层的隐藏层都是64。模型最后的部分是分类模块，其对LSTM模块的输出作为输入进行分类并且输出回归的结果，其中LSTM的处理表达式为：
；
上式中，表示待装配零件的受力方向信息的输出，/>表示全连接层操作，/>表示长短期记忆网络操作，/>表示触觉特征信号，/>表示触觉特征信号在/>轴的输出回归角度，/>表示触觉特征信号在/>轴的输出回归角度。
由上述的回归X轴和Y轴输出的回归角度自适应调节机器人的姿态，以适应人类的装配零件。
S4、结合待装配零件的姿态数据与待装配零件的受力方向信息并传输至机械臂进行零件装配处理，实现对零件的装配。
综上所述，本发明提供了一种视触觉融合的预装配零件姿态识别方法，通过综合利用视觉和触觉感知技术，实现对零件的精确感知和连续感知，以提高装配效率、准确性和稳定性。
参照图2，一种视触觉融合的预装配零件姿态识别***，包括：
拍摄模块，用于通过相机获取待装配零件的图像；
姿态感知模块，基于视觉目标检测模型MSFF-YOLOV5S，对待装配零件的图像依次进行感知提取和配准处理，得到待装配零件的姿态数据；
触觉感知模块，基于触觉传感器与触觉感知神经网络模型对待装配零件进行触觉信息感知处理，得到待装配零件的受力方向信息；
装配模块，用于结合待装配零件的姿态数据与待装配零件的受力方向信息并传输至机械臂进行零件装配处理，实现对零件的装配。
上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (7)
1.一种视触觉融合的预装配零件姿态识别方法，其特征在于，包括以下步骤：
通过相机获取待装配零件的图像；
构建视觉目标检测模型MSFF-YOLOV5S；
将待装配零件的图像输入至视觉目标检测模型MSFF-YOLOV5S，所述视觉目标检测模型MSFF-YOLOV5S包括焦点层、CBS卷积层、MSFF特征融合层、SPP空间金字塔池化层、特征金字塔池化层和Conv检测头；
基于视觉目标检测模型MSFF-YOLOV5S的焦点层，对待装配零件的图像进行通道压缩和尺寸减小处理，得到压缩后的待装配零件图像；
基于视觉目标检测模型MSFF-YOLOV5S的CBS卷积层，对压缩后的待装配零件图像进行特征提取处理，得到待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的MSFF特征融合层，对待装配零件图像特征进行切分与重组处理，得到重组后的待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的SPP空间金字塔池化层，对重组后的待装配零件图像特征进行多尺度特征融合处理，得到融合后的待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的特征金字塔池化层，对融合后的待装配零件图像特征进行采样处理，得到采样后的待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的Conv检测头，对采样后的待装配零件图像特征进行目标检测处理，得到零件的目标检测结果，所述零件的目标检测结果包括零件的位置边界框、零件的类别概率和对应的置信度分数；
对零件的目标检测结果进行数据格式转换处理，生成待装配零件的点云数据；
通过ICP点云数据配准方法对待装配零件的点云数据进行配准处理，得到待装配零件的姿态数据；
通过触觉传感器获取待装配零件的触觉信号；
对触觉信号进行转换处理，得到触觉矩阵；
将触觉矩阵输入至触觉感知神经网络模型，所述触觉感知神经网络模型包括TactileNetwork网络和长短期记忆网络；
基于Tactile Network网络对触觉矩阵进行特征提取处理，得到触觉特征信号；
基于长短期记忆网络对触觉特征信号进行不同方向的预测分析，得到待装配零件的受力方向信息；
结合待装配零件的姿态数据与待装配零件的受力方向信息并传输至机械臂进行零件装配处理，实现对零件的装配。
2.根据权利要求1所述一种视触觉融合的预装配零件姿态识别方法，其特征在于，所述基于视觉目标检测模型MSFF-YOLOV5S的MSFF特征融合层，对待装配零件图像特征进行切分与重组处理，得到重组后的待装配零件图像特征这一步骤，其具体包括：
将待装配零件图像特征输入至视觉目标检测模型MSFF-YOLOV5S的MSFF特征融合层，所述MSFF特征融合层包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和SE注意力机制层；
基于MSFF特征融合层的第一卷积层，对待装配零件图像特征依次进行卷积分割处理，得到第一待装配零件图像子特征、第二待装配零件图像子特征和第三待装配零件图像子特征；
基于MSFF特征融合层的第二卷积层，对第二待装配零件图像子特征进行卷积操作，得到卷积后的第二待装配零件图像子特征；
基于MSFF特征融合层的第三卷积层，对第三待装配零件图像子特征进行卷积操作，得到卷积后的第三待装配零件图像子特征；
基于MSFF特征融合层的第四卷积层，对第一待装配零件图像子特征、卷积后的第二待装配零件图像子特征和卷积后的第三待装配零件图像子特征进行串联处理，得到串联后的待装配零件图像特征；
基于MSFF特征融合层的SE注意力机制层对待装配零件图像特征进行自注意力提取处理，得到待装配零件图像的自注意力特征；
将串联后的待装配零件图像特征与待装配零件图像的自注意力特征进行重组处理，得到重组后的待装配零件图像特征。
3.根据权利要求2所述一种视触觉融合的预装配零件姿态识别方法，其特征在于，所述串联后的待装配零件图像特征的操作过程的表达式具体如下所示：
；
上式中，表示第一待装配零件图像子特征，/>表示第二待装配零件图像子特征，/>表示第三待装配零件图像子特征，/>表示卷积后的第二待装配零件图像子特征，/>表示卷积后的第三待装配零件图像子特征，/>表示MSFF特征融合层的第二卷积层卷积操作，/>表示MSFF特征融合层的第三卷积层卷积操作，/>表示串联后的待装配零件图像特征，/>表示串联操作，/>表示MSFF特征融合层的第四卷积层卷积操作。
4.根据权利要求3所述一种视触觉融合的预装配零件姿态识别方法，其特征在于，还包括通过非极大值抑制算法对零件的目标检测结果进行筛选处理这一步骤，其具体包括：
基于非极大值抑制算法，对零件的目标检测结果中存在重叠零件的位置边界框进行消除处理，并选取零件置信度分数最高对应的零件的位置边界框进行输出。
5.根据权利要求4所述一种视触觉融合的预装配零件姿态识别方法，其特征在于，所述基于Tactile Network网络对触觉矩阵进行特征提取处理，得到触觉特征信号这一步骤，其具体包括：
将触觉矩阵输入至Tactile Network网络，所述Tactile Network网络包括第一卷积结构、权重归一化层、第二卷积结构、Relu激活函数和全连接层；
基于Tactile Network网络的第一卷积结构，对触觉矩阵进行特征提取处理，得到初步的触觉特征矩阵；
基于Tactile Network网络的权重归一化层，对初步的触觉特征矩阵进行归一化处理，得到归一化后的触觉特征矩阵；
基于Tactile Network网络的第二卷积结构，对归一化后的触觉特征矩阵进行特征提取处理，得到触觉特征矩阵；
基于Tactile Network网络的Relu激活函数，对触觉特征矩阵进行映射处理，得到映射后的触觉特征矩阵；
基于Tactile Network网络的全连接层，对映射后的触觉特征矩阵进行平均加权计算处理，得到触觉特征信号。
6.根据权利要求5所述一种视触觉融合的预装配零件姿态识别方法，其特征在于，所述基于长短期记忆网络对触觉特征信号进行不同方向的预测分析的表达式具体如下所示：
；
上式中，表示待装配零件的受力方向信息的输出，/>表示全连接层操作，表示长短期记忆网络操作，/>表示触觉特征信号，/>表示触觉特征信号在/>轴的输出回归角度，/>表示触觉特征信号在/>轴的输出回归角度。
7.一种视触觉融合的预装配零件姿态识别***，其特征在于，包括以下模块：
拍摄模块，用于通过相机获取待装配零件的图像；
姿态感知模块，用于构建视觉目标检测模型MSFF-YOLOV5S；
将待装配零件的图像输入至视觉目标检测模型MSFF-YOLOV5S，所述视觉目标检测模型MSFF-YOLOV5S包括焦点层、CBS卷积层、MSFF特征融合层、SPP空间金字塔池化层、特征金字塔池化层和Conv检测头；
基于视觉目标检测模型MSFF-YOLOV5S的焦点层，对待装配零件的图像进行通道压缩和尺寸减小处理，得到压缩后的待装配零件图像；
基于视觉目标检测模型MSFF-YOLOV5S的CBS卷积层，对压缩后的待装配零件图像进行特征提取处理，得到待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的MSFF特征融合层，对待装配零件图像特征进行切分与重组处理，得到重组后的待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的SPP空间金字塔池化层，对重组后的待装配零件图像特征进行多尺度特征融合处理，得到融合后的待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的特征金字塔池化层，对融合后的待装配零件图像特征进行采样处理，得到采样后的待装配零件图像特征；
基于视觉目标检测模型MSFF-YOLOV5S的Conv检测头，对采样后的待装配零件图像特征进行目标检测处理，得到零件的目标检测结果，所述零件的目标检测结果包括零件的位置边界框、零件的类别概率和对应的置信度分数；
对零件的目标检测结果进行数据格式转换处理，生成待装配零件的点云数据；
通过ICP点云数据配准方法对待装配零件的点云数据进行配准处理，得到待装配零件的姿态数据；
触觉感知模块，用于通过触觉传感器获取待装配零件的触觉信号；
对触觉信号进行转换处理，得到触觉矩阵；
将触觉矩阵输入至触觉感知神经网络模型，所述触觉感知神经网络模型包括TactileNetwork网络和长短期记忆网络；
基于Tactile Network网络对触觉矩阵进行特征提取处理，得到触觉特征信号；
基于长短期记忆网络对触觉特征信号进行不同方向的预测分析，得到待装配零件的受力方向信息；
装配模块，用于结合待装配零件的姿态数据与待装配零件的受力方向信息并传输至机械臂进行零件装配处理，实现对零件的装配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311456380.5A CN117161719B (zh) | 2023-11-03 | 2023-11-03 | 一种视触觉融合的预装配零件姿态识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311456380.5A CN117161719B (zh) | 2023-11-03 | 2023-11-03 | 一种视触觉融合的预装配零件姿态识别方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117161719A CN117161719A (zh) | 2023-12-05 |
| CN117161719B true CN117161719B (zh) | 2024-01-19 |
Family
ID=88941748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311456380.5A Active CN117161719B (zh) | 2023-11-03 | 2023-11-03 | 一种视触觉融合的预装配零件姿态识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117161719B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543823A (zh) * | 2018-11-30 | 2019-03-29 | 山东大学 | 一种基于多模信息描述的柔性装配***及方法 |
| CN110956651A (zh) * | 2019-12-16 | 2020-04-03 | 哈尔滨工业大学 | 一种基于视觉和振动触觉融合的地形语义感知方法 |
| CN114187422A (zh) * | 2021-11-30 | 2022-03-15 | 华中科技大学 | 一种基于视触觉融合的三维测量方法及*** |
| CN116091401A (zh) * | 2022-11-25 | 2023-05-09 | 北京东方计量测试研究所 | 基于目标检测和复合目标码的航天器装配件识别定位方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230042756A1 (en) * | 2021-10-09 | 2023-02-09 | Southeast University | Autonomous mobile grabbing method for mechanical arm based on visual-haptic fusion under complex illumination condition |
-
2023
- 2023-11-03 CN CN202311456380.5A patent/CN117161719B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543823A (zh) * | 2018-11-30 | 2019-03-29 | 山东大学 | 一种基于多模信息描述的柔性装配***及方法 |
| CN110956651A (zh) * | 2019-12-16 | 2020-04-03 | 哈尔滨工业大学 | 一种基于视觉和振动触觉融合的地形语义感知方法 |
| CN114187422A (zh) * | 2021-11-30 | 2022-03-15 | 华中科技大学 | 一种基于视触觉融合的三维测量方法及*** |
| CN116091401A (zh) * | 2022-11-25 | 2023-05-09 | 北京东方计量测试研究所 | 基于目标检测和复合目标码的航天器装配件识别定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117161719A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188598B (zh) | 一种基于MobileNet-v2的实时手部姿态估计方法 | |
| Chao et al. | A robot calligraphy system: From simple to complex writing by human gestures | |
| CN105807926B (zh) | 一种基于三维连续动态手势识别的无人机人机交互方法 | |
| CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
| CN110555412B (zh) | 基于rgb和点云相结合的端到端人体姿态识别方法 | |
| CN109079794B (zh) | 一种基于人体姿态跟随的机器人控制与示教方法 | |
| CN113191243B (zh) | 基于相机距离的人手三维姿态估计模型建立方法及其应用 | |
| CN110135277B (zh) | 一种基于卷积神经网络的人体行为识别方法 | |
| CN112947458B (zh) | 基于多模态信息的机器人准确抓取方法及计算机可读介质 | |
| CN110555383A (zh) | 一种基于卷积神经网络和3d估计的手势识别方法 | |
| CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
| CN114140418A (zh) | 一种基于rgb图像和深度图像的七自由度抓取姿势检测方法 | |
| CN115686193A (zh) | 一种增强现实环境下虚拟模型三维手势操纵方法及*** | |
| Dai et al. | Binocular feature fusion and spatial attention mechanism based gaze tracking | |
| CN114897039A (zh) | 一种数据处理方法及相关设备 | |
| CN110348359B (zh) | 手部姿态追踪的方法、装置及*** | |
| Pfitscher et al. | Article users activity gesture recognition on kinect sensor using convolutional neural networks and FastDTW for controlling movements of a mobile robot | |
| CN115311274A (zh) | 一种基于空间变换自注意力模块的焊缝检测方法及*** | |
| CN111290584A (zh) | 一种基于嵌入式的红外双目手势控制***及方法 | |
| CN117161719B (zh) | 一种视触觉融合的预装配零件姿态识别方法及*** | |
| CN114118181A (zh) | 一种高维回归点云配准方法、***、计算机设备及应用 | |
| CN113239828A (zh) | 一种基于tof摄像模组的人脸识别方法及装置 | |
| CN116909393A (zh) | 基于手势识别的虚拟现实输入*** | |
| Li et al. | Design of a tactile sensing robotic gripper and its grasping method | |
| CN113918013A (zh) | 一种基于ar眼镜的手势定向交互***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |