CN106737774A - 一种无标定机械臂视觉伺服控制装置 - Google Patents

Abstract

本发明公开了一种机械臂视觉伺服控制装置。本发明控制装置是由如下模块构成的：视觉期望轨迹规划模块M1、控制器模块M2、机械臂模块M3以及摄像机及图像处理模块M4组成；所述控制器模块M2所需输入状态变量信号包含；其中：y_d表示图像中期望轨迹的位置状态；表示图像中期望轨迹的速度状态；y表示图像中特征点的当前位置；q表示关节位置向量；表示关节速度向量；所述机械臂模块M3以及摄像机及图像处理模块M4无需提前标定，也无需任何估计值或最佳猜测值。本发明避免了动力学、摄像机内外参数以及未知的静态跟踪目标位置三者同时存在时，自适应控制器的过参数化问题，使得控制器计算简化。

Description

一种无标定机械臂视觉伺服控制装置

技术领域

本发明涉及自动控制领域和机器臂控制领域，尤其是视觉伺服领域。

背景技术

早期的机器人机械臂控制是在关节空间进行的，即控制任务和控制器的设计需要在关节空间中描述。示教再现(Teach By Showing)方法即为这种方法的典型代表。简单来说，在物体抓取任务中，机械手在操作人员的辅助下运动到末端执行器能对物体进行抓取的某个位姿，在此过程中记录此时机械手各个关节对应的关节向量，作为期望关节向量。依次重复这样的过程，将可能所需的抓取位置和抓取轨迹尽可能多的记录下来，完成示范。而当目标物体再次位于某一位姿时，根据记录，关节空间控制器将控制机械手的运动，使当前关节向量等于期望关节向量，此时末端执行器即可到达抓取位姿。完成再现。这种示教再现方法能获取极高的控制精度重复精度，但缺乏灵活性，物体每次必须精确放置在示教过的位置上，精度受物体放置精度影响较大。

另外，机械臂的控制还可在三维空间中进行，即：控制器设计和任务描述均是三维的。这种方法无需求机械臂运动学逆解，而是通过正向运动学求取末端执行器的当前位姿(理想状态时为三维的准确位姿)，机械臂关节角作为反馈信号，实现向期望位姿逼近的控制目标。正向运动学求解位姿时严格来讲并非准确位姿，这是因为机械结构存在一定量的误差，如：齿轮空隙、连杆弯曲、关节滑动和夹具尺寸。因此，此方法在应用过程中，需要进行定期的标定刻度。

随着外部传感器在机器人领域的应用，使得对机械臂的控制得以在更多的空间上得以实现，从而使机器人能更好适应目标和环境的变化。在众多外部传感器中，摄像机是最为常用的视觉传感器，它的引入将能大大提高***灵活性。摄像机可用于获取期望位姿，物体的放置不再局限于预知的位置，只要位于机械手工作范围内，是可任意放置的。因此，基于视觉传感器的机械臂控制引起了越来越多的关注。根据反馈信号形式不同，视觉伺服可分为基于位置的视觉伺服(PBVS)、基于图像的视觉伺服(IBVS)以及混合图像伺服(HVS)。本发明专利所涉及的视觉伺服技术为基于图像的视觉伺服技术。

根据对精确参数的需求情况，可将视觉伺服方法分为基于标定的(calibration-based visual servoing)和无标定(uncalibrated visual servoing)的视觉伺服。基于标定的视觉伺服方案中，摄像机内外部参数等***相关参数必须在视觉伺服之前精确标定。然而，这些标定工作通常来讲较为复杂繁琐，并在某些特定情况下无法实施(非结构化或动态环境中)。此外，当工作环境有变化时，需要重新标定。无标定的视觉伺服方法，则无需预先对摄像机参数进行精准标定，在***结构上，主要针对基于图像的伺服方法。雅克比矩阵是视觉伺服的重要概念。它反映了图像空间和机械臂控制空间之间的速度映射关系。因此，雅克比不仅依赖于摄像机的内外参数，更依赖于机器人运动学和动力学参数，并与视觉***结构和配置也相关。区别于基于标定的视觉伺服方法，无标定的视觉伺服研究是建立在上述***参数粗略已知或完全未知的情况下的。无标定的视觉伺服方法主要有：基于雅克比在线估计的方法、基于非线性视觉映射模型估计的方法、基于近似雅克比的方法、基于自适应雅克比的方法。本发明专利所涉及的方法属于基于自适应雅克比的无标定视觉伺服控制方法。

现有的基于自适应雅克比的无标定视觉伺服控制方法主要存在如下几个方面的问题：

1)仅考虑了深度信息时不变或者慢时变，并未考虑时变的深度参数不确定情况下的线性参数化问题；

2)动力学、摄像机内外参和深度三者不确定参数线性化处理时产生的过参数化的问题；

3)摄像机***采样率、量化误差以及传输时延所导致的视觉***无法精准伺服控制***的问题；

4)定位控制或跟踪控制过程中，若存在不确定参数，末端执行器与目标的收敛精度与收敛速度则受较大影响，无法达到需要的控制品质。

为了便于技术方案描述，现给出如下公式，以对本装置构成进行数学描述:

公式1：

其中，y＝(u v)^T，u为图像横坐标，v为图像纵坐标；z_c∈R为实数(由公式2给出)，为透视投影矩阵M矩阵(由公式4给出)中的第i行；x表示特征点的笛卡尔空间坐标。

公式2：

z_c表示在摄像机坐标中，特征点位置的z轴坐标，即深度；为透视投影矩阵M矩阵的第3行；

公式3：

该矩阵指代现有机器人运动学工程实践中所描述的机器人齐次坐标变换关系T^{4 ×4}，在本装置中，T的具体含义由工程实践情况所决定，例如，若使用本控制器控制手眼配置(eye-in-hand)的机械臂时，T指代由基座坐标系到末端执行器坐标系的变换矩阵；若配置场景视觉(Fixed configuration)时，T指代由末端执行器坐标系到基座坐标系的坐标矩阵；

公式4：M＝ΩT′

该矩阵描述了透视投影矩阵的构成M∈R^3×4。其中Ω为相机内部参数矩阵(与现有通用技术所定义的内参矩阵相统一)，T’为齐次坐标变换矩阵，具体含义由工程实践决定。例如：若使用本发明所提控制器控制手眼配置(eye-in-hand)的机械臂时，T′指代由末端执行器坐标系到相机坐标系的变换矩阵；若配置场景视觉(Fixed configuration)时，T′指代由基座坐标系到相机坐标系的齐次变换矩阵。

为了克服上述现有技术存在的问题，本发明的目的在于提供一种区别于现有技术下的无标定视觉伺服装置。

本发明所述控制装置是由如下模块构成的：

(M1)视觉期望轨迹规划模块、(M2)控制器模块、(M3)机械臂模块以及(M4)摄像机及图像处理模块组成。

本发明中除控制器模块外，视觉期望轨迹规划模块、机械臂模块以及摄像机及图像处理模块均使用现行通用技术下的设备进行配置即可，无需特殊设置。

本发明所设计的控制器模块的技术方案可由下述式子进行描述：

上式中各个符号的含义由下列各项给出：

(a)控制器输出τ∈Rⁿ，代表机械臂各关节电机输出扭矩组成的向量，其中n为关节数。

(b)代表现有通用的机器人拉格朗日动力学方程的线性参数化后的回归矩阵，括号内四个参数依次为关节向量，关节向量的一阶导数，参考关节向量的一阶导数(由c项给出)和参考关节向量的二阶导数(由c项给出)。

(c)和分别代表参考关节向量信号的一阶导数和二阶导数。其构成表述为： 构成表述为：其中，为第(d)项所描述的深度参数估计值；为补偿深度的雅克比矩阵伪逆矩阵的估计值；为第(f)项所描述的参考图像速度一阶导数。

(c-1)的获取是通过现行通用的线性参数化方法，对进行线性参数化，并对未知参数使用在线迭代估计获取，即

(c-2)其中，表示期望轨迹的速度；λ表示可调节的恒定增益；Δy＝y-y_d表示图像跟踪位置误差。

(c-3)其中的获取是通过现行通用的线性参数化方法，对进行线性参数化，并对未知参数使用在线迭代估计获取，即：

(d)的获取是通过现有通用的机器人拉格朗日动力学方程的线性参数化后的未知参数向量。

(e)K_s和K_y表示可调节的恒定增益；

(f)sig(*)表示sig(ξ)^α＝[|ξ₁|^αsgn(ξ₁)，...，|ξ_n|^αsgn(ξ_n)]^T其中sgn(*)表示标准符号函数，即：

(g)s_q表示滑模向量，定义如下：

(h)α₁和α₂分别代表可调节的参数，其中，α₂＝2α₁/(1+α₁)，且0＜α₁＜1。

本发明所设计的控制器模块器特征在于，如式(5)及(a-h)各项所描述的控制器方案。

本发明相对于现有技术的有益效果如下：

1)在未标定的视觉伺服***中，本发明能够在相机笛卡尔坐标空间中深度信息时变的情况下，仍能实现较好的控制性能；

2)避免了动力学、摄像机内外参数以及未知的静态跟踪目标位置三者同时存在时，自适应控制器的过参数化问题，使得控制器计算简化；

3)相对于直接利用图像速度作为反馈项的控制器技术，本发明不直接利用图像速度作为控制器的微分项，使其能在摄像机***采样率、量化误差传输噪声均存在的情况下，使得本发明所涉及控制器对图像噪声不敏感。

附图说明

图1为本发明所涉及的一种机械臂视觉伺服控制装置的结构框图。

具体实施方式

本发明的工作原理：

视觉期望轨迹规划模块主要用以实现在线规划期望轨迹，因此该模块主要负责产生图像空间的期望位置y_d和期望速度控制器模块实现对输入的状态信号并产生控制信号输出，该控制信号随之被传送至机械臂模块。机械臂模块实现机械臂任务的执行。摄像机及图像处理模块实现对机械臂图像信息的获取和处理，并将处理后的图像位置信息y作为状态反馈至控制器中。本发明所述方案的结构框图如图1所示。

使用本发明所述的控制装置的具体实施方式如下：

1、利用视觉期望轨迹规划模块M1在摄像机及图像处理模块(M4)所反馈的图像空间中进行在线实时轨迹规划。该轨迹包含了图像特征点的期望位置y_d和期望速度

2、控制器M2模块利用期望轨迹当前机械臂关节状态向量以及M4模块反馈的y状态向量，通过式(5)及(a-h)各项所述方案进行运算，最终产生控制输出τ。

上式中各个符号的含义由下列各项给出：

(i)控制器输出τ∈Rⁿ，代表机械臂各关节电机输出扭矩组成的向量，其中n为关节数。

(j)代表现有通用的机器人拉格朗日动力学方程的线性参数化后的回归矩阵，括号内四个参数依次为关节向量，关节向量的一阶导数，参考关节向量的一阶导数(由c项给出)和参考关节向量的二阶导数(由c项给出)。

(k)和分别代表参考关节向量信号的一阶导数和二阶导数。其构成表述为： 构成表述为：其中，为第(d)项所描述的深度参数估计值；为补偿深度的雅克比矩阵伪逆矩阵的估计值；为第(f)项所描述的参考图像速度一阶导数。

(c-1)的获取是通过现行通用的线性参数化方法，对进行线性参数化，并对未知参数使用在线迭代估计获取，即

(c-2)其中，表示期望轨迹的速度；λ表示可调节的恒定增益；Δy＝y-y_d表示图像跟踪位置误差。

(c-3)其中的获取是通过现行通用的线性参数化方法，对进行线性参数化，并对未知参数使用在线迭代估计获取，即：

(l)的获取是通过现有通用的机器人拉格朗日动力学方程的线性参数化后的未知参数向量。

(m)K_s和K_y表示可调节的恒定增益；

(n)sig(*)表示sig(ξ)^α＝[|ξ₁|^αsgn(ξ₁)，...，|ξ_n|^αsgn(ξ_n)]^T其中sig(*)表示标准符号函数，即：

(o)s_q表示滑模向量，定义如下：

(p)α₁和α₂分别代表可调节的参数，其中，α₂＝2α₁/(1+α₁)，且0＜α₁＜1。

3、M3机械臂模块在接受到控制器输出τ后，将该信号转换成为分别控制各电机的控制信号，以驱动机械臂各关节电机。

4、M4摄像机与信号处理模块以某种配置(手眼配置或场景配置均可)作为图像信息的获取即处理装置，用以将当前特征点在图像中的位置y反馈至控制器中，完成控制链路的闭合。

Claims (1)

1.一种机械臂视觉伺服控制装置，其特征在于所述控制装置是由如下模块构成的：视觉期望轨迹规划模块M1、控制器模块M2、机械臂模块M3以及摄像机及图像处理模块M4组成；所述控制器模块M2所需输入状态变量信号包含其中：y_d表示图像中期望轨迹的位置状态；表示图像中期望轨迹的速度状态；y表示图像中特征点的当前位置；q表示关节位置向量；表示关节速度向量；

所述机械臂模块M3以及摄像机及图像处理模块M4无需提前标定，也无需任何估计值或最佳猜测值；

控制器模块M2由下式描述：

$\mathrm{\τ}=Y_d(q,\stackrel{\·}{q},{\stackrel{\·}{q}}_r,{\stackrel{\·\·}{q}}_r){\widehat{\mathrm{\θ}}}_d-{\hat{Q}}^T{K}_{y}sig{\left(\mathrm{\Δ}y\right)}^{{\mathrm{\α}}_1}-K_{s}siy{\left(s_q\right)}^{{\mathrm{\α}}_2}$

上式中各个符号的含义由下列各项给出：

(a)控制器输入τ∈Rⁿ，代表机械臂各关节电机输出扭矩组成的向量，τ的维数n表示关节的个数；

(b)代表现有通用的机器人拉格朗日动力学方程的线性参数化后的回归矩阵，括号内四个参数依次为关节向量，关节向量的一阶导数，参考关节向量的一阶导数和参考关节向量的二阶导数；

(c)和分别代表参考关节向量信号的一阶导数和二阶导数。其构成表述为： 构成表述为：其中，为第(d)项所描述的深度参数估计值；为补偿深度的雅克比矩阵伪逆矩阵的估计值；为第(f)项所描述的参考图像速度一阶导数；

(c-1)的获取是通过现行通用的线性参数化方法，对进行线性参数化，并对未知参数使用在线迭代估计获取，即

(c-2)其中，表示期望轨迹的速度；λ表示可调节的恒定增益；Δy＝y-y_d表示图像跟踪位置误差；

(c-3)其中的获取是通过现行通用的线性参数化方法，对进行线性参数化，并对未知参数使用在线迭代估计获取，即： $\hat{Q}\mathrm{\η}=Y_k(y,y_d,q,\mathrm{\η}){\widehat{\mathrm{\θ}}}_k;$

(d)的获取是通过现有通用的机器人拉格朗日动力学方程的线性参数化后的未知参数向量；

(e)K_s和K_y表示可调节的恒定增益；

(f)为了表述方便，统一用sig(*)表示，其定义为其中sgn(*)表示标准符号函数，即：

$\mathrm{sgn}\left({\mathrm{\&xi;}}_i\right)=\left\{\begin{array}{ccc}-1,& if& {\mathrm{\&xi;}}_i<0\\ 0,& if& {\mathrm{\&xi;}}_i=0\\ 1,& if& {\mathrm{\&xi;}}_i>0\end{array}\right.$

(g)s_q表示滑模向量，定义如下：

$s_q=\stackrel{\&CenterDot;}{q}-{\stackrel{\&CenterDot;}{q}}_r$

(h)α₁和α₂分别代表可调节的参数，其中，α₂＝2α₁/(1+α₁)，且0＜α₁＜1。