CN109358507A - 一种时变性能边界约束的视觉伺服自适应跟踪控制方法 - Google Patents

Abstract

本发明涉及一种时变性能边界约束的视觉伺服自适应跟踪控制方法；包括：获取期望目标图像的特征向量s_d，根据摄像头的位置，获取当前目标图像的特征向量s，若||s‑s_d||小于预设值，则完成任务，否则计算图像雅可比矩阵，并利用具有时变性能边界约束控制器采用自适应跟踪控制方法计算摄像头的空间速度V_c，更新机械臂位置，重新获取目标物体当前图像特征，直至||s‑s_d||小于预设值；本发明适合长距离的视觉伺服任务，同时考虑了标定误差和深度误差，并引入具有时变性能边界约束抑制了图像平面特征轨迹的冗余运动，降低视觉伺服期间特征点离开视觉区域的风险，具有良好的实时性，为机器人视觉伺服控制等问题提供了一种新的解决思路。

Description

一种时变性能边界约束的视觉伺服自适应跟踪控制方法

技术领域

本发明涉及视觉伺服技术领域，尤其涉及一种时变性能边界约束的视觉伺服自适应跟踪控制方法。

背景技术

视觉伺服(VS)是机器人的一种重要反馈方式，极大地提高了机器人的智能性和鲁棒性。它广泛应用于机器人的各个领域，例如机械臂、移动机器人、无人驾驶飞行器、水下机器人等。目前，视觉伺服控制分为三类：第一类是基于位置的视觉伺服(PBVS)；第二类是基于图像的视觉伺服(IBVS)；第三类是混合视觉伺服。PBVS***利用观察到的视觉特征、标定的摄像头和已知的目标物体几何模型获得目标物体相对于摄像头的位姿，最大限度地减小位姿误差是PBVS***的主要任务，因此PBVS***的性能受到目标的几何模型和摄像头标定精度的影响。与PBVS***相比，IBVS***中图像数据直接用于控制机器人，所以IBVS***不需要任何的位姿估计而且它对相机和手眼标定误差具有鲁棒性。

目前，在第二类的IBVS***中较为常见的算法包括：(1)比例控制器，该算法为了使图像特征点误差以指数形式收敛；(2)模型预测控制器，该算法能够处理机器人在运动过程中的***约束，例如图像边界约束和机器人关节约束；(3)增广的基于图像视觉伺服控制器，该方法将加速度作为控制指令，提高了***的收敛速度等；(4)卡尔曼滤波神经网络，该算法被应用于无标定视觉伺服环境中的机械臂控制；很多自适应方法有能力处理***的未知和不确定参数，但是对于具有空间速度耦合的视觉伺服***，这些自适应方法不能较好的抑制在图像平面的图像轨迹冗余运动；很多自适应方法有能力处理***的未知和不确定参数，但是对于具有空间速度耦合的视觉伺服***，这些自适应方法不能较好的抑制在图像平面的图像轨迹冗余运动。

此外，具有时变性能边界约束的自适应跟踪控制方法很少被应用于视觉伺服控制领域；此方法不仅可以补偿参数不确定性，而且可以保证跟踪误差的范数小于自己定义的性能边界；一些文章针对不确定***提出了自适应跟踪控制策略来保证自定义的性能界限；不同于这些文章，另一些文章提出的一种控制策略能够实现自定义的时变性能界限而不是自定义的常值性能界限；对于复杂的多输入多输出(MIMO)视觉伺服非线性***，现有的具有时变性能约束的单输入单输出(SISO)***的控制技术不能直接应用于VS控制中，并且在这个问题上的实验结果很少。因此，有必要找到一种具有时变性能约束的自适应跟踪技术可以应用于这种多输入多输出的模型中。

发明内容

(一)要解决的技术问题

为了解决现有技术的上述问题，本发明提供一种时变性能边界约束的视觉伺服自适应跟踪控制方法。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

所应用的IBVS***包括主控单元、机械臂和设置在机械臂执行器末端的摄像头，主控单元根据摄像头获取的图像特征信息生成控制指令驱动机械臂运动，摄像头随机械臂运动后再次获取图像，形成运动-反馈-运动的循环，其特征在于，运动-反馈-运动的循环包括以下步骤：

101、预先确定摄像头和目标物体的相对位姿，获取此时的目标物体的图像作为期望目标图像，获取期望目标图像的特征向量s_d；

102、获取六自由度机械臂的当前位置，获取当前位置时摄像头采集的当前目标图像，获取所述当前目标图像的特征向量s；

103、将所述当前目标图像的特征向量s与期望目标图像的特征向量s_d做差，获取图像特征误差s-s_d；

104、判断所述图像特征误差的范数||s-s_d||小于预设值，则完成任务；

否则，根据当前目标图像计算图像雅克比矩阵，根据图像雅克比矩阵、图像特征误差和具有时变性能边界约束控制器利用公式一计算出摄像头在笛卡尔空间中的空间速度V_c，再将空间速度V_c转换为驱动摄像头运动到下一位姿的机械臂各个关节速度，并跳转至步骤102；

公式一：

其中,L_s＝[L_s1；L_s2；L_s3；L_s4]∈R^8×6，L_s1、L_s2、L_s3和L_s4均为图像雅克比矩阵，表示为L_s估计值的伪逆，且满足δ(t)是一个满足δ(t)≤ξ的时变未知矩阵，ξ为一个未知正常数；λ为正常数，e为图像特征误差，I∈R^8×8为单位矩阵。

可选地，摄像头在笛卡尔空间中的空间速度V_c表示为V_c＝[v_cx v_cy v_cz ω_cx ω_cyω_cz]^T∈R^6×1；

其中，v_cx、v_cy和v_cz均表示摄像头的线速度，ω_cx、ω_cy和ω_cz表示摄像头的角速度。

可选地，在步骤104中当前目标图像计算雅克比矩阵的具体运算步骤包括：

将n个固定3D坐标目标点P_i＝(X_i,Y_i,Z_i)^T∈R^3×1投影到图像平面，利用公式二获取2D图像平面s_i＝(u_i,v_i)^T∈R^2×1，i＝1,....,n；

公式二：

根据公式四计算出图像雅可比矩阵L_si；

公式四：

式中，X_i、Y_i和Z_i为目标点相对于世界坐标系的空间坐标；

u_i和v_i像素坐标；是u轴上的归一化焦距，是v轴上的归一化焦距，f是摄像头的焦距，(u₀,v₀)为主点的坐标，p_u和p_v分别为每个像素的宽和高。

可选地，具有时变性能边界约束控制器包括；

公式五：

其中，K和Q为矩阵，且满足Q(A+BK)+(A+BK)^TQ＜0，V∈R^8×8，P∈R^8×8，P为矩阵，且满足AV+BP＝VA_r，A_r是一个预设的赫尔维兹矩阵；A为表示内部参数的常数矩阵，B为单位矩阵；

引入参考模型其中，x_r∈R^8×1表示参考图像特征误差向量，为x_r的一阶导数；

以及引入状态空间模型

式中，x＝e，表示为***的控制输入，其中，为外部扰动，ΔA＝λδ(t)为内部不确定参数，且满足||ΔA||≤λξ，λ正常数，ξ为一个未知正常数；

η₁、η₂和η₃通过公式六至公式十获得；

公式六：e_r＝x-Vx_r；

公式七：

式中，θ(t)为预设指数衰减函数；

公式八：

公式九：

公式十：

式中，∈为正常数，满足 和分别为和的估计值，其中 是一个未知正常数，δ₀为正常数；为θ的一阶导数；λ_max(·)为矩阵的最大特征值；λ_min(·)为矩阵的最小特征值；

根据公式十一和十二自适应更新和

公式十一：

公式十二：

根据公式十三和十四获取参考估计误差和的自适应更新律；

公式十三：

公式十四：

其中，γ₁和γ₂为正的自适应增益，和分别为和初始值且均为有限值，

可选地，所述机械臂有六个自由度。

一种视觉伺服机器人***，包括：

六自由度机械臂，安装在六自由度机械臂执行器末端的摄像头，基于时变性能自适应模型的视觉伺服跟踪控制方法驱动六自由度机械臂运动的主控单元和通信模块；

通信模块用于摄像头、主控单元和机械臂接收，和\或发送数据信息和控制指令。

(三)有益效果

本发明的有益效果是：本发明的方法提高IBVS***的鲁棒性，同时引入具有时变性能边界约束的自适应跟踪控制方法从而抑制了图像平面特征轨迹的冗余运动，并且有效的降低了在视觉伺服期间特征点离开视觉区域的风险，因此本发明方法可以完成长距离的视觉伺服任务；且该方法具有良好的实时性，为机器人视觉伺服控制等问题提供了一种新的解决思路。

附图说明

图1为本发明一实施例提供的一种时变性能边界约束的视觉伺服自适应跟踪控制方法的流程图；

图2为本发明一实施提供的控制原理示意图；

图3为本发明一实施例提供的视觉伺服机器人***整体结构示意图；

图4a为本发明一实施例提在任务1中传统的IBVS控制器图像特征轨迹；

图4b为本发明一实施例提在任务1中本发明方法的图像特征轨迹；

图4c为本发明一实施例提在任务1中传统的IBVS控制器图像特征误差；

图4d为本发明一实施例提在任务1中本发明方法的图像特征误差；

图4e为本发明一实施例提在任务1中本发明方法与传统IBVS***摄像头3D轨迹；

图5a为本发明一实施例提在任务2中传统的IBVS控制器图像特征轨迹；

图5b为本发明一实施例提在任务2中本发明方法的图像特征轨迹；

图5c为本发明一实施例提在任务2中传统的IBVS控制器图像特征误差；

图5d为本发明一实施例提在任务2中本发明方法的图像特征误差；

图5e为本发明一实施例提在任务2中本发明方法与传统IBVS***摄像头3D轨迹；

图6a为本发明一实施例提在任务3中传统的IBVS控制器图像特征轨迹；

图6b为本发明一实施例提在任务3中本发明方法的图像特征轨迹；

图6c为本发明一实施例提在任务3中传统的IBVS控制器图像特征误差；

图6d为本发明一实施例提在任务3中本发明方法的图像特征误差；

图6e为本发明一实施例提在任务3中本发明方法与传统IBVS***摄像头3D轨迹；

图7a为本发明一实施例提在任务4中传统的IBVS控制器图像特征轨迹；

图7b为本发明一实施例提在任务4中本发明方法的图像特征轨迹；

图7c为本发明一实施例提在任务4中传统的IBVS控制器图像特征误差；

图7d为本发明一实施例提在任务4中本发明方法的图像特征误差；

图7e为本发明一实施例提在任务4中本发明方法与传统IBVS***摄像头3D轨迹。

【附图标记说明】

1：计算机；2：机械臂控制箱；3：六自由度机械臂；4：摄像头；5：目标物体；6：工作台。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

实施例一

在本实施例中将IBVS***应用视觉伺服机器人控制***，如图3所示，举例来说视觉伺服机器人***包括：主控单元，机械臂3、安装在机械臂末端的摄像头4，以及用于数据通信的通信模块；在工作台6上放置有目标物体5，视觉伺服机器人***的主控单元根据摄像头4拍摄的图像发送控制指令，以使机械臂3带动摄像头4运到目标物体5附近完成任务；

举例来说，在本实施例中主控制单元包括用于数据计算和处理的计算机1和安装在机械臂上3的机械臂控制箱2，在本实施例中机械臂具有六个自由度，本实施例仅用于举例说明，机械臂也可以具有适合其任务需求的自由度；其中机械控制箱2内设置有控制机械臂各关节执行器运动的控制器件；摄像头4随着械臂3末端的执行器运动，摄像头4获取目标物体5的图像特征信息，再将图像特征信息通过通信模块传递回计算机1和机械臂控制箱2，形成运动-反馈-运动循环。

实施例二

在实施例一的机构的基础本实施例提供了一种时变性能边界约束的视觉伺服自适应跟踪控制方法，如图1所示，具体包括以下步骤：

101、预先确定摄像头和目标物体的相对位姿，获取此时的目标物体的图像作为期望目标图像，获取期望目标图像的特征向量s_d；

102、获取六自由组机械臂的当前位置，获取当前位置时摄像头采集的当前目标图像，获取所述当前目标图像的特征向量s；

103、将所述当前目标图像的特征向量s与期望目标图像的特征向量s_d做差，获取图像特征误差s-s_d；

104、判断所述图像特征误差范数||s-s_d||小于预设值，则完成任务；

否则，根据当前目标图像计算图像雅克比矩阵，根据图像雅克比矩阵、图像特征误差和具有时变性能边界约束控制器利用公式一计算出摄像头在笛卡尔空间中的空间速度V_c，再将空间速度V_c转换为驱动摄像头运动到下一位姿的机械臂各个关节速度，并跳转至步骤102；

举例来说，步骤104中根据当前目标图像特征向量计算出图像雅可比矩阵的具体运算步骤是：

根据相机小孔成像原理，在n个固定3D坐标目标点P_i＝(X_i,Y_i,Z_i)^T∈R^3×1投影到平面，利用公式1获取2D图像平面s_i＝(u_i,v_i)^T∈R^2×1，i＝1,....,n；

公式1：

f是摄像头的焦距，(u₀,v₀)为主点的坐标，p_u和p_v分别为每个像素的宽和高，由此，摄像头的空间速度V_c与图像特征运到的关系根据下述公式2获得：

公式2：

公式2中L_si是图像雅可比矩阵，通过下述公式3获得；

公式3：

式中，X_i、Y_i和Z_i为目标点相对于世界坐标系的空间坐标； u_i和v_i像素坐标；是u轴上的归一化焦距，是v轴上的归一化焦距，p_u和p_v分别为每个像素的宽和高；

举例来说，公式2中摄像头在笛卡尔空间中的空间速度V_c表示为V_c＝[v_cx v_cy v_czω_cx ω_cy ω_cz]^T∈R^6×1；

其中，v_cx、v_cy和v_cz均表示摄像头的线速度，ω_cx、ω_cy和ω_cz表示摄像头的角速度。

进一步地，如图2所示，计算摄像头在笛卡尔空间中的空间速度V_c步骤如下：

通过公式4：引入参考模型，其中，x_r∈R^8×1表示参考图像特征误差向量，为x_r的一阶导数；A_r是一个预设的赫尔维兹矩阵；

A为表示内部参数的常数矩阵，B为单位矩阵，(A,B)是稳定的，即存在矩阵Q＝Q^T，Q＞0和矩阵K满足公式5，进一步的存在一个足够大的正常数∈满足公式6；

公式5：Q(A+BK)+(A+BK)^TQ＜0；

公式6：

举例来说，当前目标图像特征向量可以表示为s＝[s₁；s₂；s₃；s₄]∈R^8×1，期望目标图像特征表示为s_d，由此图像的误差向量e可以通过公式7表示；

公式7：e＝s-s_d；

下述公式8为利用公式2获取公式4的导函数得到

公式8：

进一步地，公式8中的L_s是利用公式3获得的，可表示为L_s＝[L_s1；L_s2；L_s3；L_s3]∈R^{8 ×6}；

利用下述公式9表示摄像头的空间速度V_c；

公式9：

其中,L_s＝[L_s1；L_s2；L_s3；L_s4]∈R^8×6，L_s1、L_s2、L_s3和L_s4均为图像雅克比矩阵，表示为L_s估计值的伪逆，且满足δ(t)是一个满足δ(t)≤ξ的时变未知矩阵，ξ为一个未知正常数；λ为正常数，e为图像特征误差，一个具有时变性能边界约束的鲁棒自适应跟踪控制器，I∈R^8×8为单位矩阵。

进一步地，将公式9带入公式8获得公式10；

公式10：

举例来说，公式10的动态模型通过状态空间模型表示为公式11；

公式11：

其中，x＝e∈R^8×1表示图像特征误差向量***状态，表示为***的控制输入，A＝-λI∈R^8×8是一个常数矩阵，B＝I∈R^8×8是一个单位矩阵，ΔA＝BΔA＝λδ(t)∈R^8×8为***内部不确定性，且满足；为外部扰动，ΔA＝λδ(t)为内部不确定参数，且满足||ΔA||≤λξ，ξ为一个未知正常数，λ为正常数。

其中控制器表示为：

公式12：

其中，AV+BP＝VA_r，V∈R^8×8，P∈R^8×8；

在公式12中，K为矩阵通过公式5获得，进一步的将x-Vx_r表示为e_r即公式13：

公式13：e_r＝x-Vx_r；

在公式13中，x利用公式11获得，x_r利用公式4获得；

其中η₁、η₂和η₃通过公式14至16获的；

公式14：

公式15：

公式16：

其中，θ(t)为提前给定的函数，通常为预设指数衰减函数。

式中，∈为正常数，满足 和分别为和的估计值，其中 是一个未知正常数，δ₀为正常数；为θ的一阶导数；λ_max(·)为矩阵的最大特征值；λ_min(·)为矩阵的最小特征值；

根据公式17和18自适应更新和

公式17：

公式18：

根据公式19和20获取参考估计误差和的自适应更新律；

公式19：

公式20：

其中，γ₁和γ₂为正的自适应增益，δ₀为正常数，和分别为和初始值且均为有限值，

本实施例中，由图像特征作为反馈信息，由跟踪控制模型和图像特征误差信号即相关的自适应参数从而获得具有时变性能边界约束的鲁棒自适应跟踪控制器，进而获得摄像头在笛卡尔空间中的空间速度V_c，并根据空间速度更新机械臂各关节的角度，直至机械臂达到期望的位姿完成伺服任务。

仿真实验

将实施例二方法应用于仿真实验中，并与传统IBVS方法进行对比，设置了视觉伺服任务1、任务2、任务3和任务4共四个伺服任务，其中图4a、图5a、图6a、和图7a分别为传统IBVS在执行任务1、任务2、任务3和任务4时的图像特征轨迹；图4b、图5b、图6b、和图7b为本发明方法在执行任务1、任务2、任务3和任务4时的图像特征轨迹；本发明方法有效的抑制平面的图像特征轨迹的冗余运动，且比传统的方法具有更好的图像特征轨迹，从而可以降低图像特征点离开视觉区域的风险，因此长距离的视觉伺服任务可以被有效完成。

图4c、图5c、图6c、和图7c分别为传统IBVS在执行任务1、任务2、任务3和任务4时的图像特征误差随时间变化的仿真图；图4d、图5d、图6d、和图7d为本发明方法在执行任务1、任务2、任务3和任务4时的图像特征误差随时间变化的仿真图，在任务3中传统IBVS特征点离开了视觉区域没有完成视觉伺服任务，而本发明方法完成了视觉伺服任务3，图6b的图像误差特征轨迹平滑；

图4e、图5e、图6e、和图7e分别为传统IBVS和本发明方法在执行任务1、任务2、任务3和任务4时的摄像头3D轨迹；可以看出本发明方法比传统IBVS具有更好的性能。

本发明的方法提高IBVS***的鲁棒性，同时引入具有时变性能边界约束的自适应跟踪控制方法从而抑制了图像平面特征轨迹的冗余运动，并且有效的降低了在视觉伺服期间特征点离开视觉区域的风险，因此本发明方法可以完成长距离的视觉伺服任务；且该方法具有良好的实时性，为机器人视觉伺服控制等问题提供了一种新的解决思路。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种时变性能边界约束的视觉伺服自适应跟踪控制方法，所应用的IBVS***包括主控单元、机械臂和安装在机械臂执行器末端的摄像头，主控单元根据摄像头获取的图像特征信息生成控制指令驱动机械臂运动，摄像头随机械臂运动后再次获取图像，形成运动-反馈-运动的循环，其特征在于，运动-反馈-运动的循环包括以下步骤：

101、预先确定摄像头和目标物体的相对位姿，获取此时的目标物体的图像作为期望目标图像，获取期望目标图像的特征向量s_d；

102、获取六自由度机械臂的当前位置，获取当前位置时摄像头采集的当前目标图像，获取所述当前目标图像的特征向量s；

103、将所述当前目标图像的特征向量s与期望目标图像的特征向量s_d做差，获取图像特征误差s-s_d；

104、判断所述图像特征误差的范数||s-s_d||小于预设值，则完成任务；

否则，根据当前目标图像计算图像雅克比矩阵，根据图像雅克比矩阵、图像特征误差和具有时变性能边界约束控制器利用公式一计算出摄像头在笛卡尔空间中的空间速度V_c，再将空间速度V_c转换为驱动摄像头运动到下一位姿的机械臂各个关节速度，并跳转至步骤102；

公式一：

其中,L_s＝[L_s1；L_s2；L_s3；L_s4]∈R^8×6，L_s1、L_s2、L_s3和L_s4均为图像雅克比矩阵，表示为L_s估计值的伪逆，且满足δ(t)是一个满足δ(t)≤ξ的时变未知矩阵，ξ为一个未知正常数；λ为正常数，e为图像特征误差，I∈R^8×8为单位矩阵。

2.如权利要求1所述的方法，其特征在于，摄像头在笛卡尔空间中的空间速度V_c表示为V_c＝[v_cx v_cy v_cz ω_cx ω_cy ω_cz]^T∈R^6×1；

其中，v_cx、v_cy和v_cz均表示摄像头的线速度，ω_cx、ω_cy和ω_cz表示摄像头的角速度。

3.如权利要求1或2所述的方法，其特征在于，在步骤104中当前目标图像计算雅克比矩阵的具体运算步骤包括：

将n个固定3D坐标目标点P_i＝(X_i,Y_i,Z_i)^T∈R^3×1投影到图像平面，利用公式二获取2D图像平面s_i＝(u_i,v_i)^T∈R^2×1，i＝1,....,n；

公式二：

根据公式四计算出图像雅可比矩阵L_si；

公式四：

式中，X_i、Y_i和Z_i为目标点相对于世界坐标系的空间坐标；

u_i和v_i像素坐标；是u轴上的归一化焦距，是v轴上的归一化焦距，f是摄像头的焦距，(u₀,v₀)为主点的坐标，p_u和p_v分别为每个像素的宽和高。

4.如权利要求1所述的方法，其特征在于，具有时变性能边界约束控制器包括；

公式五：

其中，K和Q为矩阵，且满足Q(A+BK)+(A+BK)^TQ＜0，V∈R^8×8，P∈R^8×8，P为矩阵，且满足AV+BP＝VA_r，A_r是一个预设的赫尔维兹矩阵；A为表示内部参数的常数矩阵，B为单位矩阵；

引入参考模型其中，x_r∈R^8×1表示参考图像特征误差向量，为x_r的一阶导数；

以及引入状态空间模型

式中，x＝e，表示为***的控制输入，其中，为外部扰动，ΔA＝λδ(t)为内部不确定参数，且满足||ΔA||≤λξ，λ正常数，ξ为一个未知正常数；

η₁、η₂和η₃通过公式六至公式十获得；

公式六：e_r＝x-Vx_r；

公式七：

式中，θ(t)为预设指数衰减函数；

公式八：

公式九：

公式十：

式中，∈为正常数，满足 和分别为和的估计值，其中 是一个未知正常数，δ₀为正常数；为θ的一阶导数；λ_max(·)为矩阵的最大特征值；λ_min(·)为矩阵的最小特征值；

根据公式十一和十二自适应更新和

公式十一：

公式十二：

根据公式十三和十四获取参考估计误差和的自适应更新律；

公式十三：

公式十四：

其中，γ₁和γ₂为正的自适应增益，和分别为和初始值且均为有限值，

5.如权利要求1所述的方法，其特征在于，所述机械臂有六个自由度。

6.一种视觉伺服机器人***，其特征在于，包括：

六自由度机械臂，设置在六自由度机械臂执行器末端的摄像头，基于时变性能自适应模型的视觉伺服跟踪控制方法驱动六自由度机械臂运动的主控单元和通信模块；

通信模块用于摄像头、主控单元和机械臂接收，和\或发送数据信息和控制指令。