CN113954076B - 基于跨模态预测装配场景的机器人精密装配方法 - Google Patents

基于跨模态预测装配场景的机器人精密装配方法 Download PDF

Info

Publication number
CN113954076B
CN113954076B CN202111336234.XA CN202111336234A CN113954076B CN 113954076 B CN113954076 B CN 113954076B CN 202111336234 A CN202111336234 A CN 202111336234A CN 113954076 B CN113954076 B CN 113954076B
Authority
CN
China
Prior art keywords
data
assembly
visual
robot
clamping actuator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111336234.XA
Other languages
English (en)
Other versions
CN113954076A (zh
Inventor
楼云江
刘瑞凯
杨先声
黎阿建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202111336234.XA priority Critical patent/CN113954076B/zh
Publication of CN113954076A publication Critical patent/CN113954076A/zh
Priority to PCT/CN2022/128555 priority patent/WO2023083034A1/zh
Application granted granted Critical
Publication of CN113954076B publication Critical patent/CN113954076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于跨模态预测装配场景的机器人装配的方法及***，其中，在所述机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄：提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据。本发明的多层感知机输出的预测视觉表征向量代替现有采用视觉设备收集实际真实图片的数据，使该***发生譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题时，整个***仍能完成精密装配步骤，增加***的可靠性。

Description

基于跨模态预测装配场景的机器人精密装配方法
技术领域
本发明一般涉及基于机器人的装配控制方法，尤其涉及基于跨模态预测装配场景的机器人精密装配方法。本发明属于机器人技术领域。
背景技术
在消费电子产品的批量化生产线中，尽管大多数对精度要求不高的装配任务已经由工业机器人实现全自动化，但仍有很多精密装配需要工人手动完成。因此，对于工业机器人在精密装配时视觉设备容易受到环境影响的问题，譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题未能完成精密装配步骤。
发明内容
本发明提供一种基于跨模态预测装配场景的机器人精密装配方法及***，旨在至少解决现有技术中存在的技术问题之一。
本发明的技术方案涉及一种基于跨模态预测装配场景的机器人装配的方法，其中，在所述机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄，
所述方法包括以下步骤：
S10、提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据；
S20、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的参考视觉数据、实际视觉数据、初始触觉数据及实际触觉数据，机器人控制器提供初始位姿数据及实际位姿数据，并且执行压缩和/或滤波处理，以转换成相应的参考视觉数据表征向量、实际视觉表征向量、实际触觉数据表征向量、初始触觉数据表征向量和实际位姿数据表征向量；
S30、将参考视觉数据表征向量、初始触觉数据表征向量、实际触觉数据表征向量、初始位姿数据表征向量及实际位姿数据表征向量拼接融合，并输入至多层感知机，以输出和实际视觉表征向量接近的预测视觉表征向量；
S40、将所述预测视觉表征向量与所述实际触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
S50、将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后和预测视觉表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否接触装配阻尼节点；
S60、根据所述夹持执行器是否接触装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度。
进一步，所述步骤S20包括：S21、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法得到机器人沿装配动作方向的触觉流数据。
进一步，所述步骤S21还包括：所述触觉流数据通过高斯卷积降维的维度为9个触觉检测点×1个触觉检测点得到处理后的触觉数据。
进一步，所述视觉数据包括RGB图像数据，所述步骤S20还包括：
S22、将采集的RGB图像剪裁至128像素×128像素并转换成灰度图。然后对于所述夹持执行器每个装配动作步中最后一个路点，将相应的RGB图像转换成的灰度图通过RGB图片编码器压缩输出RGB表征向量；
S23、提供变分自编码器，多次输入已处理的灰度图到所述变分自编码器进行训练，最终输出RGB表征向量的维度为16×1。
进一步，所述步骤S30包括：
S31、将所述参考视觉数据通过图片编码器降维得到维度为16×1的参考视觉数据表征向量，所述参考视觉数据表征向量通过图片解码器得到参考图片数据，所述参考图片数据通过对比原始输入图片的像素点取均方误差，得到损失函数，所述损失函数通过反向传递和参数更新训练图片编码器及图片解码器。
进一步，所述步骤S10中，所述强化学习网络模型训练的步骤包括：
S11、当所述夹持执行器运到装配阻尼节点前，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为M牛；当所述夹持执行器运到装配阻尼节点后，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为N牛；
S12、将所述动作反馈数据和力矩反馈数据向机器人控制器输入，机器人控制器输出的动作反馈增益及力矩反馈增益，计算出机器人下一个装配运动节点的装配力度，其中，所述N＞M。
进一步，所述步骤S10还包括：
S13、当所述夹持执行器运到装配阻尼节点前至装配阻尼节点之间的路径分为50个动作步，每个动作步设置多个数据采集点，每个所述数据采集点采集一次视觉数据及触觉数据。
进一步，所述步骤S10还包括，
S14、当所述夹持执行器移动50个动作步未到装配阻尼节点时，所述机器人控制器带动所述夹持执行器到装配初始点复位，重新开始装配动作。
进一步，所述步骤S10还包括：
S15、所述动作步分成10段，共计设置11个数据采集点。
本发明的技术方案还涉及一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施上述的方法。
本发明的有益效果如下。
本***引入多层感知机的神经网络，通过将参考视觉数据表征向量、初始触觉数据表征向量、实际触觉数据表征向量、初始位姿数据表征向量及实际位姿数据表征向量拼接融合，并输入至多层感知机进行训练，最终得到可以预测实际图片表征向量的多层感知机，后续便不再需要相机来采集图片数据；多层感知机输出的预测视觉表征向量代替现有采用视觉设备收集实际真实图片的数据，使该***发生譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题时，整个***仍能完成精密装配步骤，增加***的可靠性。
附图说明
图1是根据本发明方法的流程框架图。
图2是根据本发明方法中的机器人运动控制部分的细节框图。
图3是根据本发明实施例中的夹持执行器的布置示意图。
图4是根据本发明实施例中的机器人和装配控制***的硬件平台。
图5及6是根据本发明方法中的强化学习结果的曲线示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
本发明的技术方案是基于机器人的基础硬件来实施，例如在现有的机器人上附加配置硬件和软件来实施。参照图3和图4，在一些实施例中，根据本发明的装配***包括：在机器人移动部分末端设置的夹持执行器1；设置在所述夹持执行器1的夹爪内侧的触觉传感器2；布置成拍摄所述夹持执行器的装配区域的视觉设备；以及与机器人运动控制器、夹持执行器1、触觉传感器2和视觉设备通信连接的计算机装置(附图未视出)。
参照图3所示，在本发明的典型装配应用实例中，根据本发明的装配***能够满足卡扣形式的插孔装配。在优选的实施例中，触觉传感器2可以选用5×5的点阵式压感触觉传感器。为了更好的测量被夹持零部件4在外力作用下的“预滑移”，可以在夹持执行器1的指尖和触觉传感器2之间间隔了一个由软胶制成的软胶垫3(约5mm厚)，并在触觉传感器的另一侧(即与被夹持零部件4接触一侧)贴敷了一层橡皮膜。参照图4，视觉设备可以采用RGB-D相机，能同时输出RGB图片和深度图片数据。机器人采用串联式多关节机器人，其在末端安装所述夹持执行器1。计算机装置可以独立于机器人控制器，也可以整合到机器人控制器，以执行根据本发明的方法。
参照图1及图2，在一些实施例中，根据本发明的方法包括以下步骤：
S10、提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据；
S20、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的参考视觉数据、实际视觉数据、初始触觉数据及实际触觉数据，机器人控制器提供初始位姿数据及实际位姿数据，并且执行压缩和/或滤波处理，以转换成相应的参考视觉数据表征向量、实际视觉表征向量、实际触觉数据表征向量、初始触觉数据表征向量和实际位姿数据表征向量；
S30、将参考视觉数据表征向量、初始触觉数据表征向量、实际触觉数据表征向量、初始位姿数据表征向量及实际位姿数据表征向量拼接融合，并输入至多层感知机，以输出和实际视觉表征向量接近的预测视觉表征向量；
S40、将所述预测视觉表征向量与所述实际触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
S50、将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后和预测视觉表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否接触装配阻尼节点；
S60、根据所述夹持执行器是否接触装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度。
其中，所述视觉数据包括RGB图像数据。
下面，通过具体的3C部件的装配实例来描述上述步骤的具体实施例。在这些实例中，将USB-C充电线插头插装在插口的装配过程：夹持执行器2夹持USB-C充电线插头，USB-C插口被固定，触觉传感器收集夹持执行器2夹持USB-C充电线插头的压力触觉数据，视觉设备收集USB-C充电线插头(下称插头)及USB-C插口(下称插口)的视觉数据。
对于步骤S10的具体实施方式
S10、提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型。
其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据。
来自所述触觉传感器的触觉数据，该实施例为5×5的点阵式压感触觉传感器，收集夹持执行器夹持插头的压力触觉数据。
步骤S10还具体包括以下步骤：如图1，将装配区域采集的多组所述RGB图像数据及触觉数据输入强化学***台的强化学习网络模型训练过程还包括以下步骤：
S11、当所述夹持执行器运到装配阻尼节点前，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为M牛；当所述夹持执行器运到装配阻尼节点后，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为N牛；
S12、将所述动作反馈数据和力矩反馈数据向机器人控制器输入，机器人控制器输出的动作反馈增益及力矩反馈增益，计算出机器人下一个装配运动节点的装配力度，其中，所述N＞M。
结合上述实施例，采用力/位混合控制方法来控制机器人的运动，即把沿插头与插口装配的方向(即图3和图4中的竖直方向或z轴方向)的运动解耦并采用力控制，机器人的五个自由度(x,y,R,P,Y)的运动采用位置控制。在插头到达卡扣阻尼点之前，机器人带动夹持执行器沿z轴装配力度为M＝2牛；在插头到达阻尼点之后，机器人带动夹持执行器沿z轴装配力度为增大至N＝12牛。对于位置控制的5个维度，该***的反馈增益较大来保证精度；而对于力控制的1个维度，该***的反馈增益较小，从而保证部件装配的柔顺性。
S13、当所述夹持执行器运到装配阻尼节点前至装配阻尼节点之间的路径分为50个动作步，每个动作步设置多个数据采集点，每个所述数据采集点采集一次视觉数据及触觉数据。
S14、当所述夹持执行器移动50个动作步未到装配阻尼节点时，所述机器人控制器带动所述夹持执行器到装配初始点复位，重新开始装配动作。
S15、所述动作步分成10段，共计设置11个数据采集点。
结合上述实施例，针对步骤S13至S15，机器人的一次完整的插口试验称为一个“回合”，每个回合由不超过50个“动作步”组成。如果机器人走满50个动作步依然没有完成插孔任务，即判定失败并复位至初始点。每个动作步又分成10段，共计11个“路点”。机器人带动夹持执行器将依次走过这些路点以完成一个动作步。对于插头及插口的RGB图像，每个动作步采集一次数据；对于触觉数据，每个路点采集一次数据。
对于步骤S20的具体实施方式
通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的参考视觉数据、实际视觉数据、初始触觉数据及实际触觉数据，机器人控制器提供初始位姿数据及实际位姿数据，并且执行压缩和/或滤波处理，以转换成相应的参考视觉数据表征向量、实际视觉表征向量、实际触觉数据表征向量、初始触觉数据表征向量和实际位姿数据表征向量。结合上述实施例，夹持执行器携带插头位于插口正上方约1mm处，取该点为装配初始点,机器人通过本身的***(比如ROS***)读取夹持执行器在这一初始点的笛卡尔空间六维位姿向量。
步骤S20还具体包括以下步骤：
S21、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法得到机器人沿装配动作方向的触觉流数据。如图1，结合上述实施例，利用卡尔曼滤波器将收集到的触觉信息滤波，并类比光流法，使用Farneback方法计算每个动作步中夹持执行器x,y方向上的触觉流(维度为25(5×5个检测点)×2(x、y轴两个方向)×10(每两个连续路点的触觉信息计算出一个触觉流信息)。
更加具体地，该步骤所述触觉流数据通过高斯卷积降维的维度为9个触觉检测点×1个触觉检测点得到处理后的触觉数据。
S22、将采集的RGB图像剪裁至128像素×128像素并转换成灰度图。然后对于所述夹持执行器每个装配动作步中最后一个路点，将相应的RGB图像转换成的灰度图通过RGB图片编码器压缩输出RGB表征向量。
S23、提供变分自编码器，多次输入已处理的灰度图到所述变分自编码器进行训练，最终输出RGB表征向量的维度为16×1。步骤S22及S23中，结合上述实施例，插头及插口通过相机输出的RGB图片围绕装配区域裁剪成128×128的尺寸，并将RGB图像转换成灰度图，以减少数据量和处理时间。
对于步骤S30的具体实施方式
S30、将参考视觉数据表征向量(z_ref)、初始触觉数据表征向量(tac_ref)、实际触觉数据表征向量(tac_real)、初始位姿数据表征向量(pos_ref)及实际位姿数据表征向量(pos_real)拼接融合，并输入至多层感知机，以输出和实际视觉表征向量接近的预测视觉表征向量(z_real)。
步骤S30还具体包括以下步骤：
S31、将所述参考视觉数据通过图片编码器降维得到维度为16×1的参考视觉数据表征向量，所述参考视觉数据表征向量通过图片解码器得到参考图片数据，所述参考图片数据通过对比原始输入图片的像素点取均方误差(MSE)，得到损失函数，所述损失函数通过反向传递和参数更新训练图片编码器及图片解码器。视觉设备再次获取的新图片经过训练好的图片编码器即可得到表征向量。
其中，初始位姿数据表征向量(pos_ref)、参考视觉数据表征向量(z_ref)和初始触觉数据表征向量(tac_ref)是在步骤S20中单独收集的一组数据。这三个信息是同一个对象同一状态下的不同角度的反馈。视觉设备获取参考图片通过图片编码器得到参考视觉数据表征向量(z_ref)，视觉设备获取实际真实图片，然后通过图片编码器得到预测视觉表征向量(z_real)。具体地，将参考视觉数据表征向量(z_ref)、初始触觉数据表征向量(tac_ref)、实际触觉数据表征向量(tac_real)、初始位姿数据表征向量(pos_ref)及实际位姿数据表征向量(pos_real)拼接融合，拼接成一个向量然后输入多层感知机，输出一个维度和预测视觉表征向量(z_real)，通过和实际真实图片的预测视觉表征向量(z_real)比较取均方误差，得到损失函数，再通过反向传递和参数更新进行训练，最终得到可以预测实际图片表征向量的多层感知机，后续便不再需要视觉设备来采集图片数据，而是通过(tac_ref)、(pos_ref)、(z_ref)、(tac_real)、(pos_real)五个表征向量得到预测视觉表征向量(z_real)来取代实际真实图片的预测视觉表征向量(z_real)。
对于步骤S40的具体实施方式
S40、将所述预测视觉表征向量与所述实际触觉数据表征向量拼接融合，并输入至所述强化学习网络模型(NAF)，以输出所述机器人的预测的动作控制数据。预测视觉表征向量代替现有采用视觉设备收集实际真实图片的数据，使该***发生譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题时，整个***仍能完成精密装配步骤，增加***的可靠性。
对于步骤S50的具体实施方式
S50、将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后和预测视觉表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否接触装配阻尼节点。
在一些实施例中，如图4所示的机器人的6个活动关节的扭矩通过以下雅可比矩阵求解：
Figure BDA0003350574150000081
其中，Kp，Kv，
Figure BDA0003350574150000082
和KFi分别是比例微分(PD)和比例积分(PI)的控制参数，S为判别矩阵S＝diagS＝diag(1,1,0,1,1,1)，即位控维度对应的值为1，力控维度对应的值为0。
所述机器人控制器通过PD控制算法实施位置控制；所述机器人控制器通过PI控制算法实施力控制。
对于步骤S60的具体实施方式
S60、根据所述夹持执行器是否接触装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度。
参照图5和图6所示的据本发明方法中的强化学习结果的曲线示意图，采用融合了RGB图像数据+F/T力传感器数据+机器人力矩反馈数据所训练的网络模型，随着所测试的回合(episode)数更多的时候，能获得的报酬(reward)更多(即是成功完成预期装配效果的次数更多)，并且装配操作的动作步(step)较少。
应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机***通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机***的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于跨模态预测装配场景的机器人装配的方法，其中，在所述机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄，
其特征在于，所述方法包括以下步骤：
S10、提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据；
S20、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的参考视觉数据、实际视觉数据、初始触觉数据及实际触觉数据，机器人控制器提供初始位姿数据及实际位姿数据，并且执行压缩和/或滤波处理，以转换成相应的参考视觉数据表征向量、实际视觉表征向量、实际触觉数据表征向量、初始触觉数据表征向量和实际位姿数据表征向量；
S30、将参考视觉数据表征向量、初始触觉数据表征向量、实际触觉数据表征向量、初始位姿数据表征向量及实际位姿数据表征向量拼接融合，并输入至多层感知机，以输出和实际视觉表征向量接近的预测视觉表征向量；
S40、将所述预测视觉表征向量与所述实际触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
S50、将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后和预测视觉表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否接触装配阻尼节点；
S60、根据所述夹持执行器是否接触装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度。
2.根据权利要求1所述的方法，其中，所述步骤S20包括：
S21、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法得到机器人沿装配动作方向的触觉流数据。
3.根据权利要求2所述的方法，其中，所述步骤S21还包括：
所述触觉流数据通过高斯卷积降维的维度为9个触觉检测点×1个触觉检测点得到处理后的触觉数据。
4.根据权利要求1所述的方法，其中，所述视觉数据包括RGB图像数据，
所述步骤S20还包括：
S22、将采集的RGB图像剪裁至128像素×128像素并转换成灰度图，然后对于所述夹持执行器每个装配动作步中最后一个路点，将相应的RGB图像转换成的灰度图通过RGB图片编码器压缩输出RGB表征向量；
S23、提供变分自编码器，多次输入已处理的灰度图到所述变分自编码器进行训练，最终输出RGB表征向量的维度为16×1。
5.根据权利要求1所述的方法，其中，所述步骤S30包括：
S31、将所述参考视觉数据通过图片编码器降维得到维度为16×1的参考视觉数据表征向量，所述参考视觉数据表征向量通过图片解码器得到参考图片数据，所述参考图片数据通过对比原始输入图片的像素点取均方误差，得到损失函数，所述损失函数通过反向传递和参数更新训练图片编码器及图片解码器。
6.根据权利要求1所述的方法，其特征在于，所述步骤S10中，所述强化学习网络模型训练的步骤包括：
S11、当所述夹持执行器运到装配阻尼节点前，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为M牛；当所述夹持执行器运到装配阻尼节点后，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为N牛；
S12、将所述动作反馈数据和力矩反馈数据向机器人控制器输入，机器人控制器输出的动作反馈增益及力矩反馈增益，计算出机器人下一个装配运动节点的装配力度，
其中，所述N＞M。
7.根据权利要求6所述的方法，其中，所述步骤S10还包括：
S13、当所述夹持执行器运到装配阻尼节点前至装配阻尼节点之间的路径分为50个动作步，每个动作步设置多个数据采集点，每个所述数据采集点采集一次视觉数据及触觉数据。
8.根据权利要求7所述的方法，其特征在于，所述步骤S10还包括，
S14、当所述夹持执行器移动50个动作步未到装配阻尼节点时，所述机器人控制器带动所述夹持执行器到装配初始点复位，重新开始装配动作。
9.根据权利要求7所述的方法，其中，所述步骤S10还包括：
S15、所述动作步分成10段，共计设置11个数据采集点。
10.一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至9中任一项所述的方法。
CN202111336234.XA 2021-11-12 2021-11-12 基于跨模态预测装配场景的机器人精密装配方法 Active CN113954076B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111336234.XA CN113954076B (zh) 2021-11-12 2021-11-12 基于跨模态预测装配场景的机器人精密装配方法
PCT/CN2022/128555 WO2023083034A1 (zh) 2021-11-12 2022-10-31 视触觉融合的机器人精密装配控制方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111336234.XA CN113954076B (zh) 2021-11-12 2021-11-12 基于跨模态预测装配场景的机器人精密装配方法

Publications (2)

Publication Number Publication Date
CN113954076A CN113954076A (zh) 2022-01-21
CN113954076B true CN113954076B (zh) 2023-01-13

Family

ID=79470270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111336234.XA Active CN113954076B (zh) 2021-11-12 2021-11-12 基于跨模态预测装配场景的机器人精密装配方法

Country Status (1)

Country Link
CN (1) CN113954076B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023083034A1 (zh) * 2021-11-12 2023-05-19 哈尔滨工业大学（深圳） 视触觉融合的机器人精密装配控制方法及***
CN115070767A (zh) * 2022-07-04 2022-09-20 中国科学院沈阳自动化研究所 一种基于Actor Critic的动态装配方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11188680A (ja) * 1997-12-22 1999-07-13 Matsushita Electric Works Ltd 部品組付装置
CN109129474A (zh) * 2018-08-10 2019-01-04 上海交通大学 基于多模态融合的机械手主动抓取装置及方法
CN109543823A (zh) * 2018-11-30 2019-03-29 山东大学 一种基于多模信息描述的柔性装配***及方法
CN111055279A (zh) * 2019-12-17 2020-04-24 清华大学深圳国际研究生院 基于触觉与视觉结合的多模态物体抓取方法与***
CN111444954A (zh) * 2020-03-24 2020-07-24 广东省智能制造研究所 一种基于多模态感知与学习的机器人自主装配方法
CN113172629A (zh) * 2021-05-06 2021-07-27 清华大学深圳国际研究生院 一种基于时序触觉数据处理的物体抓取方法
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11188680A (ja) * 1997-12-22 1999-07-13 Matsushita Electric Works Ltd 部品組付装置
CN109129474A (zh) * 2018-08-10 2019-01-04 上海交通大学 基于多模态融合的机械手主动抓取装置及方法
CN109543823A (zh) * 2018-11-30 2019-03-29 山东大学 一种基于多模信息描述的柔性装配***及方法
CN111055279A (zh) * 2019-12-17 2020-04-24 清华大学深圳国际研究生院 基于触觉与视觉结合的多模态物体抓取方法与***
CN111444954A (zh) * 2020-03-24 2020-07-24 广东省智能制造研究所 一种基于多模态感知与学习的机器人自主装配方法
CN113172629A (zh) * 2021-05-06 2021-07-27 清华大学深圳国际研究生院 一种基于时序触觉数据处理的物体抓取方法
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A High-Precision Assembly System of 3C Parts Based on 6D Pose;Yixin Xie et al;《Proceedings of The 2021 IEEE International》;20210719;第554-559页 *

Also Published As

Publication number Publication date
CN113954076A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN110268358B (zh) 位置控制装置及位置控制方法
CN113954076B (zh) 基于跨模态预测装配场景的机器人精密装配方法
CN108873768B (zh) 任务执行***及方法、学习装置及方法、以及记录介质
CN110573308B (zh) 用于机器人设备的空间编程的基于计算机的方法及***
JP6376296B1 (ja) 位置制御装置及び位置制御方法
CN112109075B (zh) 控制***和控制方法
KR101988937B1 (ko) 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치
CN113927602B (zh) 基于视、触觉融合的机器人精密装配控制方法及***
US20150239127A1 (en) Visual debugging of robotic tasks
JP2019014030A (ja) ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法
CN113878588B (zh) 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
CN113386123A (zh) 控制装置、机器人、学习装置、机器人***和学习方法
WO2020241037A1 (ja) 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム
JP7458741B2 (ja) ロボット制御装置及びその制御方法及びプログラム
JP2018167334A (ja) 教示装置および教示方法
CN113412178A (zh) 机器人控制装置、机器人***以及机器人控制方法
CN115997183A (zh) 机器人手臂的目标导向控制
WO2023037634A1 (ja) 指令値生成装置、方法、及びプログラム
CN117103277A (zh) 一种基于多模态数据融合的机械手臂感知方法
WO2023083034A1 (zh) 视触觉融合的机器人精密装配控制方法及***
JP2022152845A (ja) ロボット制御用のキャリブレーション装置
CN116276998A (zh) 基于强化学习的免手眼标定的机械臂抓取方法及***
CN117377560A (zh) 在使用互补性约束进行避碰的情况下的物体操纵
US20240227180A9 (en) Robot system, learning apparatus, information processing apparatus, learned model, control method, information processing method, method for manufacturing product, and recording medium
EP4238714A1 (en) Device and method for controlling a robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant