CN110434854A - 一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置 - Google Patents

Abstract

本发明提供了一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，整个***均采用虚拟雅可比矩阵来协助计算，包括如下步骤：1)获取冗余度机械臂的末端执行器速度信息和关节速度信息；2)根据所述速度信息和关节速度信息模拟末端执行器运动并得出虚拟雅可比矩阵；3)应用所述虚拟雅可比矩阵设计二次型优化冗余解析方案；4)将所述二次型优化冗余解析方案转化为标准二次规划的形式；5)运用二次规划求解器进行求解以确定冗余度机械臂的控制信号；6)将所述控制信号传递给下位机控制器控制机械臂运动；本发明为模型未知的冗余度机械臂提供了可靠的视觉伺服控制方法，并在控制机械臂的同时保持较高的控制精度。

Description

一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置

技术领域

本发明涉及基于视觉伺服的冗余度机械臂运动规划及控制领域，具体涉及一种基于视觉伺服的冗余度机械臂的逆运动学求解方法。

背景技术

冗余度机械臂具有自由度大于任务空间所需最少自由度的特性，这一特性很大程度上提高了机械臂的灵活度。因此，与非冗余度机械臂相比，冗余度机械臂可以完成更加复杂、困难的任务，并成为工业生产中必不可少的高效率仪器。冗余度机械臂视觉伺服包括从视觉信号处理到机器人控制的整个过程，它可以克服机器人***、视觉***和环境中的不确定性，从而大大提高了视觉定位或轨迹跟踪的精度。因此，随着机器人技术、计算机技术和摄像设备的飞速发展，机器人视觉伺服引起了各个领域学者的广泛关注，并在外科手术、质量检测、精密装配等领域有着广泛的应用。

虽然学者们在机器人视觉伺服方面已经积累了丰富的经验，但是图像空间与机械臂关节空间之间的关系建模与控制方法构建仍然困扰着许多研究者。值得指出的是，现存的绝大部分基于视觉伺服的冗余度机械臂控制方法都没有考虑到关节极限的影响。一旦冗余机械臂超出了关节极限，不但会导致任务的失败，而且会缩短机械臂的使用寿命。另外，现存的基于视觉伺服的机械臂控制方法仅仅针对模型已知的机械臂，并不适用模型未知的机械臂。在长期的工业生产过程中，机械臂模型必定会因为磨损而改变，此时现有的控制方法无法使机械臂准确地完成所给定任务，从而导致任务失败甚至机械臂损坏。而数据驱动技术可以用于获取机械臂结构信息，这给模型未知机械臂的控制提供了重要的技术支撑。本发明提出一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，能够控制模型未知机械臂精确地追踪期望像素坐标，并同时考虑到了关节极限。这些优势对于工业生产有极大的实际意义。综上所述，本发明专利具有新颖性与实用性。

发明内容

本发明提供一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，旨在精确地实现对模型未知的冗余度机械臂进行基于图像的视觉伺服控制，并考虑到冗余度机械臂的关节极限。

本发明实施例第一方面提供了一种基于数据驱动的机械臂末端执行器模拟方法；

所述机械臂末端执行器模拟方法包括：

获取所述模型未知的机械臂的速度信息和关节速度信息；

通过雅可比矩阵迭代等式对机械臂末端执行器进行模拟并获取模型结构信息；

所述雅可比矩阵迭代等式为：

其中，为机械臂的虚拟雅可比矩阵；为的时间导数；为冗余度机械臂末端执行器的速度；为冗余度机械臂的关节速度；μ＞0为控制算法收敛速度的设计参数；上标^T为向量或者矩阵的转置。

本发明实施例第二方面提供了一种基于数据驱动的冗余度机械臂视觉伺服控制方法的冗余度机械臂末端执行器结构，具体包括：

所述冗余度机械臂的末端执行器上安装着一个***机，摄像机会随着末端执行器运动实时传输图像信息。

本发明实施例第三方面提供了一种基于数据驱动的冗余度机械臂视觉伺服控制方法的设计步骤，具体包括：

设置最优化性能指标为关节速度范数，通过期望像素坐标、虚拟机械臂雅可比矩阵、图像雅可比矩阵、关节角度极限和关节速度极限确定二次型优化方案；

将所述二次型优化方案转换为标准二次规划；

对所述标准二次规划用二次规划求解器进行求解，得到求解结果；

根据所述求解结果确定所述冗余度机械臂的控制信号。

本发明实施例第四方面提供了一种基于数据驱动的冗余度机械臂视觉伺服控制方法的二次型优化方案；

所述二次型优化方案为：

设计的最小化性能指标为关节速度范数，受约束于雅可比等式、期望像素坐标、关节角度极限、关节速度极限，即为最小化受约束于雅可比等式期望像素坐标x＝x_d，关节角度极限关节速度极限其中，表示特征点的像素坐标速度，J_i表示图像雅可比矩阵，x表示特征点的像素坐标，x_d表示期望的像素坐标，表示冗余度机械臂的关节角度，表示冗余度机械臂关节角度的上下限，表示冗余度机械臂关节速度的上下限。

本发明实施例第五方面提供了一种基于数据驱动的冗余度机械臂视觉伺服控制方法的二次规划方案；

所述二次规划为：

设计其性能指标为最小化受约束于x＝x_d，其中，ω±表示合成双端约束的上下极限，它们的第i个元素分别被定义为 i表示关节序号，i＝1，2，3…n，正常数k_α用来调节和保证关节速度有足够大的可行域。

本发明实施例第六方面提供了一种基于数据驱动的冗余度机械臂视觉伺服控制装置；所述控制装置通过控制装置的各模块之间的信息传递完成从求解器到冗余度机械臂追踪期望像素坐标的控制；

所述控制装置包括：

冗余度机械臂信息获取模块，用于获取所述模型未知的机械臂的关节速度信息和末端执行器速度信息；

虚拟雅可比矩阵构建模块，用于根据所述机械臂的关节速度信息和末端执行器速度信息对虚拟雅可比矩阵进行构建，从而获取机械臂结构信息；

期望信息获取模块，用于获取所述期望特征点的像素信息，并将该信息传输给二次规划求解器；

图像信息获取模块，用于获取所述***机的图像像素信息，并将该信息传输给二次规划求解器；

等式构建模块，用于根据所述虚拟雅可比矩阵和图像雅可比矩阵，按照预设规则构建所述目标冗余度机械臂对应的雅可比矩阵等式；

控制信号确定模块，用于在所述雅可比矩阵等式、期望像素坐标、关节角度极限和关节速度极限的约束下，根据二次型优化和标准二次规划方法确定所述目标冗余度机械臂的控制信号；

信息传递模块，用于获取所述目标冗余度机械臂的控制信号，并将控制信号传递给下位机；

冗余度机械臂控制模块，用于根据所述目标冗余度机械臂的控制信号控制目标冗余度机械臂，使目标冗余度机械臂追踪期望像素坐标。

附图说明

图1为本发明的流程图；

图2为实现本发明的冗余度机械臂三维模型图；

图3为实现本发明应用下的冗余度机械臂特征点轨迹和期望坐标；

图4为实现本发明应用下的冗余度机械臂关节角度变化图；

图5为实现本发明应用下的冗余度机械臂关节速度变化图；

图6为实现本发明应用下的冗余度机械臂执行任务时模拟误差的二范数变化图；

图7为实现本发明应用下的冗余度机械臂执行任务时末端执行器像素误差的二范数变化图；

图8为实现本发明应用下的一种基于数据驱动的冗余度机械臂视觉伺服控制装置的示意图。

具体实施方式

下面结合附图对本发明做进一步的说明。

图1为本发明的流程图；首先获取冗余度机械臂的末端执行器速度信息和关节速度信息；然后根据所述速度信息和关节速度信息模拟末端执行器运动并得出虚拟雅可比矩阵；接着设计二次型的关节速度范数性能指标，生成二次型优化解析方案；然后将二次型优化冗余解析方案转化为二次规划的形式；接着运用二次规划求解器进行求解；最后下位机控制器根据求解结果控制冗余度机械臂完成基于图像的视觉伺服控制。

图2所示实现本发明的机械臂为一个空间六自由度的PUMA560机械臂。该冗余度机械臂由六个连杆组成，通过关节一(1)、关节二(2)、关节三(3)、关节四(4)、关节五(5)、关节六(6)、末端执行器(7)和***机(8)组成。

本发明的机械臂末端执行器模拟方法包括：

获取所述模型未知的机械臂的速度信息和关节速度信息；

通过雅可比矩阵迭代等式对机械臂末端执行器进行模拟并获取模型结构信息；

所述雅可比矩阵迭代等式为：

其中，为机械臂的虚拟雅可比矩阵；为的时间导数；为冗余度机械臂末端执行器的速度；为冗余度机械臂的关节速度；μ＞0为控制算法收敛速度的设计参数；上标^T为向量或者矩阵的转置。

本发明设计的基于图像的视觉伺服二次型优化方案为

最小化:

约束条件:

X＝X_d (3)

其中，为视觉伺服规划方案的性能指标，表示特征点的像素坐标速度，J_i表示图像雅可比矩阵，x表示特征点的像素坐标，x_d表示期望的像素坐标，表示冗余度机械臂的关节角度，表示冗余度机械臂关节角度的上下限，表示冗余度机械臂关节速度的上下限。

带物理约束的冗余度机械臂图像伺服的二次型优化方案(1)-(5)可描述为如下的二次规划方案：

最小化：

约束条件：

X＝X_d (8)

其中，ω±表示合成双端约束的上下极限，它们的第i个元素分别定义为i表示关节序号，i＝1，2，3…n，正常数k_α用来调节和保证关节速度有足够大的可行域。

下面给出一个可行的求解器的示例(本发明不限于该求解器示例)，通过使用梯度下降法，上述问题又可以等价为分段线性投影方程组：

其中，δ＞0表示末端执行器像素误差反馈系数，上标表示矩阵的伪逆运算，μ＞0表示控制收敛的系数，另外，设定为限制关节变量在关节极限内的投影操作。

本发明有两个特点，首先本发明考虑到了冗余机械臂关节速度层和关节角度层的关节极限，弥补了现存的机械臂视觉伺服控制方法都不涉及关节极限躲避的不足。这一点能够确保冗余度机械臂安全顺利地运作，延长冗余度机械臂的使用寿命。此外，本发明面向模型未知的机械臂，通过数据驱动技术模拟真实机械臂运动并传输机械臂的模型信息，用于控制模型未知的机械臂，提供了更加有效、全面的控制方案。

通过上位机的二次规划求解器得到该二次规划的解后，再将结果转化为电机驱动所需要的控制信号，并通过该冗余度机械臂的控制器来驱动冗余度机械臂各关节电机运动，控制冗余度机械臂完成视觉伺服任务。

现结合一个具体的实例操作对本发明的工作流程进行如下说明。

利用MATLAB软件以六自由度的PUMA 560冗余度机械臂追踪期望像素目标为例对本发明方法进行实验仿真。具体参数设置如下：δ＝10，μ＝10000,k_α＝10，冗余度机械臂的关节角度极限为弧度,冗余度机械臂的关节速度极限为弧度/秒，执行任务时间设为8秒，期望的像素坐标为x_d＝[256，256]像素。通过二次规划求解器求解，将计算得到的结果再传送给冗余度机械臂控制器从而控制冗余度机械臂的运动。

图3为实现本发明应用下的冗余度机械臂特征点轨迹和期望坐标。图3中，末端执行器对应的特征点成功追踪到了期望像素目标，其运动轨迹为直线，体现了本发明的可行性，高效性。

图4为实现本发明应用下的冗余度机械臂关节角度变化图。从图4看出，冗余度机械臂的关节角度被限制在关节角度极限内部，进一步达到保护冗余度机械臂的效果。

图5为实现本发明应用下的冗余度机械臂关节速度变化图。从图5看出，冗余度机械臂的关节速度被限制在关节速度极限内部，进一步达到保护冗余度机械臂的效果。

图6为实现本发明应用下的冗余度机械臂执行任务时模拟误差的二范数变化图。模拟误差即为虚拟末端执行器的位姿速度与真实末端执行器的位姿速度之差。从图6看出，冗余度机械臂末端执行器的模拟误差的二范数收敛速度很快，并在10^-5秒后收敛到零。稳定时，模拟误差的二范数处于10^-15的数量级，说明虚拟末端执行器成功精确地模拟了真实末端执行器的运动。

图7为实现本发明应用下的冗余度机械臂执行任务时末端执行器像素误差的二范数变化图。从图7看出，冗余度机械臂末端执行器的像素误差的二范数收敛速度很快，并在1秒前收敛到零。稳定时，模拟误差的二范数处于10^-13的数量级，说明真实末端执行器的特征点准确追踪到了期望像素目标，冗余度机械臂完成了视觉伺服任务。

图8为实现本发明应用下的一种基于数据驱动的冗余度机械臂视觉伺服控制装置的示意图。如图8所示，所述控制装置通过控制装置的各模块之间的信息传递完成从求解器到冗余度机械臂追踪期望像素坐标的控制；

所述控制装置包括：

冗余度机械臂信息获取模块801，用于获取所述模型未知的机械臂的关节速度信息和末端执行器速度信息；

虚拟雅可比矩阵构建模块802，用于根据所述机械臂的关节速度信息和末端执行器速度信息对虚拟雅可比矩阵进行构建，从而获取机械臂结构信息；

期望信息获取模块803，用于获取所述期望特征点的像素信息，并将该信息传输给二次规划求解器；

图像信息获取模块804，用于获取所述***机的图像像素信息，并将该信息传输给二次规划求解器；

等式构建模块805，用于根据所述虚拟雅可比矩阵和图像雅可比矩阵，按照预设规则构建所述目标冗余度机械臂对应的雅可比矩阵等式；

控制信号确定模块806，用于在所述雅可比矩阵等式、期望像素坐标、关节角度极限和关节速度极限的约束下，根据二次型优化和标准二次规划方法确定所述目标冗余度机械臂的控制信号；

信息传递模块807，用于获取所述目标冗余度机械臂的控制信号，并将控制信号传递给下位机；

冗余度机械臂控制模块808，用于根据所述目标冗余度机械臂的控制信号控制目标冗余度机械臂，使目标冗余度机械臂追踪期望像素坐标。

Claims (7)

1.一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，其特征在于，根据模型未知的冗余度机械臂的速度信息和关节速度信息对机械臂末端执行器进行模拟并获取模型结构信息；

所述机械臂末端执行器模拟方法包括：

获取所述模型未知的机械臂的速度信息和关节速度信息；

通过雅可比矩阵迭代等式对机械臂末端执行器进行模拟并获取模型结构信息；

所述雅可比矩阵迭代等式为：

其中，为机械臂的虚拟雅可比矩阵；为的时间导数；为冗余度机械臂末端执行器的速度；为冗余度机械臂的关节速度；μ＞0为控制算法收敛速度的设计参数；上标^T为向量或者矩阵的转置。

2.根据权利要求1所述的一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，其特征在于，所述冗余度机械臂的末端执行器上安装有一个***机，该***机会随着末端执行器运动实时传输图像信息。

3.根据权利要求1所述的一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，其特征在于，根据所述虚拟雅可比矩阵，利用二次型优化和标准二次规划方法确定冗余度机械臂的控制信号，具体包括：

设置最优化性能指标为关节速度范数，通过期望像素坐标、虚拟机械臂雅可比矩阵、图像雅可比矩阵、关节角度极限和关节速度极限确定二次型优化方案；

将所述二次型优化方案转换为标准二次规划；

对所述标准二次规划用二次规划求解器进行求解，得到求解结果；

根据所述求解结果确定所述冗余度机械臂的控制信号。

4.根据权利要求3所述的一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，其特征在于，所述二次型优化方案为：

设计的最小化性能指标为关节速度范数，受约束于雅可比等式、期望像素坐标、关节角度极限、关节速度极限，即为最小化受约束于雅可比等式期望像素坐标x＝x_d，关节角度极限θ^-≤θ≤θ⁺，关节速度极限其中，表示特征点的像素坐标速度，J_i表示图像雅可比矩阵，x表示特征点的像素坐标，x_d表示期望的像素坐标，θ表示冗余度机械臂的关节角度，θ^±表示冗余度机械臂关节角度的上下限，表示冗余度机械臂关节速度的上下限。

5.根据权利要求3所述的一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，其特征在于，可将所述的二次型优化方案转化为二次规划，设计其性能指标为最小化受约束于x＝x_d，其中，ω^±表示合成双端约束的上下极限，它们的第i个元素分别被定义为 i表示关节序号，i＝1，2，3…n，正常数k_α用来调节和保证关节速度有足够大的可行域。

6.根据权利要求3所述的一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，其特征在于，可将所述二次规划求解器求解结果转化为电机驱动所需要的控制信号，驱动各关节电机使冗余度机械臂追踪期望像素坐标。

7.根据权利要求6所述的一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置，其特征在于，通过控制装置的各模块之间的信息传递完成从求解器到冗余度机械臂追踪期望像素坐标的控制；

所述控制装置包括：

冗余度机械臂信息获取模块，用于获取所述模型未知的机械臂的关节速度信息和末端执行器速度信息；

虚拟雅可比矩阵构建模块，用于根据所述机械臂的关节速度信息和末端执行器速度信息对虚拟雅可比矩阵进行构建，从而获取机械臂结构信息；

期望信息获取模块，用于获取所述期望特征点的像素信息，并将该信息传输给二次规划求解器；

图像信息获取模块，用于获取所述***机的图像像素信息，并将该信息传输给二次规划求解器；

等式构建模块，用于根据所述虚拟雅可比矩阵和图像雅可比矩阵，按照预设规则构建所述目标冗余度机械臂对应的雅可比矩阵等式；

控制信号确定模块，用于在所述雅可比矩阵等式、期望像素坐标、关节角度极限和关节速度极限的约束下，根据二次型优化和标准二次规划方法确定所述目标冗余度机械臂的控制信号；

信息传递模块，用于获取所述目标冗余度机械臂的控制信号，并将控制信号传递给下位机；

冗余度机械臂控制模块，用于根据所述目标冗余度机械臂的控制信号控制目标冗余度机械臂，使目标冗余度机械臂追踪期望像素坐标。