CN113211433A - 一种基于复合特征的分离式视觉伺服控制方法 - Google Patents

Abstract

本发明提供了一种基于复合特征的分离式视觉伺服控制方法。首先为了能够准确地表述物体的全局几何信息，减小环境噪声对图像特征提取的干扰，本发明采用非均匀有理B样条曲线拟合技术提取物体的轮廓特征；然后提出利用复合特征来对机器人进行平移和旋转分离式控制，即利用曲线拟合控制点特征、相邻点连线的线特征以及两点间的距离特征实现对机器人的平移和旋转姿态控制；最后，针对机器人姿态控制与位置控制间的强耦合问题，发明了一种旋转补偿模块对机器人因相机旋转运动而造成的图像特征位置偏差进行补偿，提高了伺服***的性能。本发明方法不依赖于全局特征，实时性好，带有旋转补偿，可靠性高，是一种高精度的机器人视觉伺服控制方法。

Description

一种基于复合特征的分离式视觉伺服控制方法

技术领域

本发明属于机器人视觉伺服控制领域，具体涉及一种基于复合特征的分离式视觉伺服控制方法。

背景技术

视觉伺服是利用视觉信息对机器人或者相机位姿进行的伺服控制，其目标是控制机器人或者相机快速到达期望的位姿。对视觉伺服***的设计涉及两个关键问题，其一是图像特征的提取，其二是视觉伺服控制律的设计。图像特征的选取一般分为三类，即点特征、线特征和全局特征。点特征包括角点、拐点、质点等，采用点特征的优势是模型简单，计算速度快，但应对干扰能力差。线特征包括直线特征和曲线特征，直线特征要求对象是规范形体，应用场景有限；曲线特征灵活性强，但需要提取物体的轮廓信息。全局特征包括图像矩、图像熵、光度矩等，其优势是对环境变化的鲁棒性高，但计算复杂，***收敛时间较长。

综合比较上述特征提取方法，以物体轮廓曲线作为图像特征，既可以较好地描述物体的全局特征信息又能满足实时性的要求。但由于机器人或相机的旋转控制对位置控制有较大影响，特别是采用曲线拟合技术提取目标物体的轮廓特征时，旋转运动会使曲线控制点特征的位置改变较大，容易造成目标丢失的情况。因此，考虑利用复合性的图像特征对机器人实现姿态和位置的分离式控制，并对姿态控制造成的图像特征位置偏差进行补偿是非常可行的，对提高机器人伺服***的性能具有重要意义。

发明内容

针对现有的基于曲线特征的机器人视觉伺服方法存在的问题，本发明提出了一种基于复合特征的分离式视觉伺服控制方法，利用曲线拟合特征点的点特征、相邻点的连线特征、两点间的距离特征实现对机器人的平移和旋转姿态的分离式控制，并设计旋转补偿模块对因相机旋转运动而造成的图像特征位置偏差进行补偿，克服了现有技术的不足，具有良好的效果。

本发明采用如下技术方案：

一种基于复合特征的分离式视觉伺服控制方法，包括图像特征提取、旋转补偿模块的设计、分离式视觉伺服控制律的设计，包括如下步骤：

S1、基于NURBS曲线拟合技术反算出曲线控制顶点，获取曲线控制点特征；

S2、计算空间NURBS曲线在相机成像平面上的二维投影曲线；

S3、在通过曲线拟合方法对物体的轮廓投影曲线进行实时拟合运算后，利用得到的曲线控制点计算基于曲线控制点特征的交互矩阵；

S4、选择曲线控制点连线特征，并计算基于曲线控制点连线特征的交互矩阵；

S5、计算曲线控制点间的距离作为距离特征，并计算基于两点间距离特征的交互矩阵；

S6、针对相机旋转姿态的变化而导致的图像特征位置的改变进行补偿，使***获得较好的解耦特性，提高伺服***的性能；

S7、由于视觉伺服***采用的是单目摄像机，无法直接获取空间控制顶点的深度信息，为了获取曲线控制顶点的深度信息，利用曲线控制点特征的图像平面上的投影变化量与相机的运动速度对交互矩阵中的深度信息进行在线深度估计；

S8、利用相邻曲线控制点连线的直线特征对相机的旋转姿态进行控制，利用两个曲线控制点间的距离特征对机器人沿相机Z轴方向的平移运动进行控制，利用曲线控制点特征对机器人沿相机X、Y轴方向的平移运动进行控制，并在机器人的位置控制中加入旋转运动补偿量，最终完成机器人伺服任务。

优选地，步骤S1包括下列子步骤：

S11、对相机成像平面上的投影轮廓曲线进行图像处理，提取出投影曲线的数据点云坐标；

S12、按照相同间隔将曲线点云数据坐标等分成r个区间；

S13、在每个区间内选取每个数据点的n领域进行多项式运算求得分段多项式，再分别计算每段多项式中数据点处的曲率；

S14、选取曲率绝对值最大处的数据点以及曲线的首末数据端点作为曲线型值点；

S15、根据De Boor-Cox算法反算出曲线控制点。

优选地，在S15中，记一条k次NURBS曲线型值点为q_i(i＝0,1,…,n)，其节点矢量U＝[u₀,u₁,…,u_n+6]的计算为：

其中，

在求得曲线型值点以及节点矢量后，根据De Boor-Cox算法反算出曲线控制点，节点插值的NURBS方程组如下：

其中，d_j是曲线控制点，ω_j是曲线控制点的权因子，令ω_j＝1，B_j,k(u_j)是由节点矢量按De Boor-Cox递推公式推导出的B样条基函数。

在求得全部的曲线控制顶点后，若发现拟合曲线精度达不到要求，则通过增加节点数量来提高拟合精度，直到拟合精度满足要求为止。

优选地，在S2中，已知在空间中存在一套机器人视觉伺服***，摄像机安装在机械臂末端，即眼在手构型；定义机器人的末端执行器坐标系为{T}，相机坐标系为{C}，机器人坐标系为{R}；设在用NURBS曲线描述该空间曲线时，其空间控制顶点为d_i(i＝0,1,…,n)，d_i在相机成像平面上的投影控制顶点记为^Cd_i(i＝0,1,…,n)；根据相机的透视投影模型，任意时刻t中，空间曲线的控制顶点d_i在相机图像平面上的投影控制点^Cd_i表示为：

其中，M是相机的内参矩阵，相机的内参矩阵由相机标定获得；H(q(t))是机器人基坐标系到机器人末端坐标系的齐次变换矩阵，q(t)是t时刻机器人的关节变量；H(q(t))由机器人的D-H参数以及机器人在t时刻的关节角度算出；

由NURBS曲线定义及式(4)知，

式(5)为t时刻下，空间NURBS曲线在相机成像平面上的二维投影曲线。

优选地，在S3中，设安装于机械臂末端的相机在空间中的刚体移动速度为V＝(v_c,ω_c)，P(X_d,Y_d,Z_d)是空间控制顶点P相对于相机的坐标，则曲线控制顶点P在相机坐标系下运动速度为：

式(6)的标量形式为：

其中，v_c＝[v_cx,v_cy,v_cz]^T是相机的线速度，ω_c＝[ω_cx,ω_cy,ω_cz]^T是相机的角速度。

根据相机的投影透视关系，图像归一化平面上的曲线控制点坐标表示为：

x_dc＝X_d/Z_d，y_dc＝Y_d/Z_d (8)

将式(8)两边分别对时间求导得：

将式(8)、式(9)代入式(7)并进行整理得：

式(10)是在相机归一化成像平面上控制点特征的变化与机械臂末端相机移动的关系式，由式(10)可知，一个点图像特征对应两个分量，在控制一台6自由度机械臂时，为了避免出现欠驱动情况，应至少选择3个曲线控制顶点作为图像特征。当所选择的特征点的数目大于3个时，可以更好地唯一确定一台6自由度机器人的位姿。故本发明在兼顾视觉伺服***实时性的同时，选择4个NURBS曲线控制点作为图像特征进行伺服任务。

优选地，在S4中，设点A、B是对目标物体轮廓进行NURBS曲线拟合后得到的两个相邻的曲线控制点，O是相机光轴与图像归一化平面的交点；利用A、B两个控制点的图像坐标求得l_AB的直线方程，设直线l_AB的斜率为k₁，则与其垂直的直线p₁o的斜率为k₂,k₂＝-1/k₁；根据原点O的坐标以及斜率k₂，求得点p₁在焦距归一化成像平面上的坐标；

设p₁坐标为p₁(x_p1,y_p1,1)，则p₁点的极坐标参数表示为：

沿直线l_AB设置两个关于点p₁对称的点p₂和p₃，其极坐标参数分别为ρ₂,α₂和ρ₃,α₃。将p₂,p₃的参数代入直线的极坐标参数方程，得到：

其中，α₂＝α+Δα，α₃＝α-Δα，ρ₂＝ρ₃，Δα是一个近似为0的正数，则利用p₂,p₃的极坐标表示直线l_AB的参数α为：

将式(13)对时间求导并进行整理得：

将点的极坐标参数变化率带入式(14)，进行整理得到基于直线极坐标参数α的交互矩阵：

其中，v＝[v_x,v_y,v_z]^T为相机在x，y，z轴的平移运动速率，ω＝[ω_x,ω_y,ω_z]^T为相机在x，y，z轴的旋转运动速率，

且z₂,z₃是点p₂和p₃的深度信息，其值在相机运动过程中通过在线估计来获得；当线特征与相机光轴垂直时，z₂＝z₃，直线特征参数α的变化近似看作只由相机的旋转姿态变化产生；将式(15)改写为：

在利用两个控制点连线计算出相关直线特征参数后，用式(17)所示的交互矩阵对相机姿态进行控制。

优选地，在S5中，设A、B为焦距归一化成像平面上的两个NURBS曲线控制顶点且A、B两个控制顶点的像素坐标为A(x_A,y_A)，B(x_B,y_B)；根据几何知识知，A、B两个点间的距离表示为：

将上式两边同时对时间求导，求得两控制点间的距离变化率为：

将点特征交互矩阵式(10)带入式(18)中，得到两点间距离特征的交互矩阵：

其中，

且z_A,z_B是曲线控制顶点A、B的深度值，在相机的运动过程中通过在线估计获得。

优选地，在S6中，利用直线特征交互矩阵求得相机的旋转运动速率为：

其中，L_lω是两个控制点连线的线特征交互矩阵，ρ、α是控制点连线的直线特征参数。

相机的旋转运动速率与控制点特征在图像平面上的投影位置变化率之间的关系为：

其中，L_pω是成像平面上控制点特征变化率与相机旋转运动速率的交互矩阵，L_pω为：

其中，x_cn、y_cn是第n个曲线控制点在相机成像平面上的像素坐标；

利用像平面上特征的变化量及交互矩阵设计曲线控制点的旋转补偿量为：

其中，L_pv是成像平面上控制点特征变化率与相机旋转运动速率的交互矩阵，L_pv为：

其中，z_cn是第n个曲线控制点的深度值。

优选地，在S7中，设z_ci是第i个曲线控制顶点的深度值，其像素坐标为P_ci(x_ci,y_ci,1)，则z_i的估算如下：

在相机焦距归一化成像平面上两个相邻控制点连线的线特征上的点P_lj(x_lj,y_lj,1)的深度信息z_lj通过直线特征参数的变化率与相机的运动速度来进行在线估计；z_lj的估计方法如下：

优选地，在S8中，采用相邻控制点连线的直线特征对相机的旋转姿态进行控制，利用两个控制点间的距离特征对机器人沿相机Z轴方向的平移运动进行控制，利用控制点特征对机器人沿相机X、Y轴方向的平移运动进行控制，并在机器人的位置控制中加入旋转运动补偿量。

在图像特征空间中分别定义曲线控制点误差为e_p(t)，相邻曲线控制点连线的角度误差为e_α(t)，两个控制点间的距离误差为e_d(t)；

式(29)中，f_ph是期望的曲线控制点特征，f_pc(t)是相机当前位姿下的控制点特征；式(30)中，f_αh是期望的相邻曲线控制点连线的角度特征，f_αc(t)是相机当前位姿下相邻曲线控制点连线的角度特征；式(31)中，f_dh是期望的两个控制点间的距离特征，f_dc是相机当前位姿下两个控制点间的距离特征，

分别是完成伺服任务所需要的点特征、控制点连线的线特征、两点间距离特征的图像特征变化量；

无标定视觉伺服***的目标是使在图像平面上定义的各图像特征误差的差值收敛到0，因此，定义式(32)、式(33)、式(34)如下：

其中，k_p,k_α,k_d是***控制器增益系数；

分别将式(32)、式(33)、式(34)与图像雅可比的定义式联立并分别带入式(29)、式(30)与式(31)中得：

其中，

是控制点特征交互矩阵J_p的伪逆矩阵，

和

分别是线特征交互矩阵的伪逆矩阵和两控制点间距离特征交互矩阵的伪逆矩阵；

取式(35)中矩阵J_p的前3列构成矩阵J_pv，取矩阵J_p的后3列构成矩阵J_pω，则曲线旋转补偿模块对位置控制的补偿量为：

其中，

为矩阵J_pv的伪逆矩阵；

取

的前2行为

则机器人末端移动的位置控制量为:

进行伺服任务所需要的总关节控制量

为:

本发明具有如下有益效果：

本发明提供的一种基于复合特征的分离式视觉伺服控制方法，在通过曲线拟合技术得到的图像特征基础上，分别构造了点特征、两点间的距离特征以及相邻点连线的线特征，实现了对机器人的平移与旋转姿态进行控制，其有益效果包括1)设计了一种复合特征，包含了更多的图像信息；2)实现了机器人平移与旋转控制的部分分离式控制，使机器人能够快速且平滑地收敛到期望位置；3)在位置控制律中设计旋转补偿模块补偿因机器人旋转而造成的特征平移方向的移动，使机器人获得良好的解耦特性，能够在一定程度上防止目标物体在相机视野范围内的丢失。

附图说明

图1是本发明的伺服***结构框图；

图2是本发明的NURBS曲线拟合流程图；

图3是本发明的视觉伺服***示意图；

图4是本发明的相邻控制点连线构成的线特征图；

具体实施方式

下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：

如图1所示，一种基于复合特征的分离式视觉伺服控制方法，以六自由度工业机器人伺服任务为例，相机安装在机械臂末端，即眼在手构型，包括下列步骤：

S1、基于NURBS曲线拟合技术反算出曲线控制顶点，获取曲线控制点特征；

具体地，步骤S1包括下列子步骤：

S11、对相机成像平面上的投影轮廓曲线进行图像处理，提取出投影曲线的数据点云坐标；

S12、按照相同间隔将曲线点云数据坐标等分成r个区间；

S13、在每个区间内选取每个数据点的n领域进行多项式运算求得分段多项式，再分别计算每段多项式中数据点处的曲率；

S14、选取曲率绝对值最大处的数据点以及曲线的首末数据端点作为曲线型值点；

S15、根据De Boor-Cox算法反算出曲线控制点。

具体地，在S15中，记一条k次NURBS曲线型值点为q_i(i＝0,1,…,n)，其节点矢量U＝[u₀,u₁,…,u_n+6]的计算为：

其中，

在求得曲线型值点以及节点矢量后，根据De Boor-Cox算法反算出曲线控制点，节点插值的NURBS方程组如下：

其中，d_j是曲线控制点，ω_j是曲线控制点的权因子，令ω_j＝1，B_j,k(u_j)是由节点矢量按De Boor-Cox递推公式推导出的B样条基函数。

如图2所示，在求得全部的曲线控制顶点后，若发现拟合曲线精度达不到要求，则通过增加节点数量来提高拟合精度，直到拟合精度满足要求为止。

S2、计算空间NURBS曲线在相机成像平面上的二维投影曲线；

具体地，如图3所示，已知在空间中存在一套机器人视觉伺服***，摄像机安装在机械臂末端，即眼在手构型；定义机器人的末端执行器坐标系为{T}，相机坐标系为{C}，机器人坐标系为{R}；设在用NURBS曲线描述该空间曲线时，其空间控制顶点为d_i(i＝0,1,…,n)，d_i在相机成像平面上的投影控制顶点记为^Cd_i(i＝0,1,…,n)；根据相机的透视投影模型，任意时刻t中，空间曲线的控制顶点d_i在相机图像平面上的投影控制点^Cd_i表示为：

其中，M是相机的内参矩阵，相机的内参矩阵由相机标定获得；H(q(t))是机器人基坐标系到机器人末端坐标系的齐次变换矩阵，q(t)是t时刻机器人的关节变量；H(q(t))由机器人的D-H参数以及机器人在t时刻的关节角度算出；

由NURBS曲线定义及式(4)知，t时刻下，空间NURBS曲线在相机成像平面上的二维投影曲线可以表示为：

S3、在通过曲线拟合方法对物体的轮廓投影曲线进行实时拟合运算后，利用得到的曲线控制点计算基于曲线控制点特征的交互矩阵；

具体地，设安装于机械臂末端的相机在空间中的刚体移动速度为V＝(v_c,ω_c)，P(X_d,Y_d,Z_d)是空间控制顶点P相对于相机的坐标，则曲线控制顶点P在相机坐标系下运动速度为：

式(6)的标量形式为：

其中，v_c＝[v_cx,v_cy,v_cz]^T是相机的线速度，ω_c＝[ω_cx,ω_cy,ω_cz]^T是相机的角速度。

根据相机的投影透视关系，图像归一化平面上的曲线控制点坐标表示为：

x_dc＝X_d/Z_d，y_dc＝Y_d/Z_d (8)

将式(8)两边分别对时间求导得：

将式(8)、式(9)代入式(7)并进行整理得：

式(10)是在相机归一化成像平面上控制点特征的变化与机械臂末端相机移动的关系式，由式(10)可知，一个点图像特征对应两个分量，在控制一台6自由度机械臂时，为了避免出现欠驱动情况，应至少选择3个曲线控制顶点作为图像特征。当所选择的特征点的数目大于3个时，可以更好地唯一确定一台6自由度机器人的位姿。故本发明在兼顾视觉伺服***实时性的同时，选择4个NURBS曲线控制点作为图像特征进行伺服任务。

S4、选择曲线控制点连线特征，并计算基于曲线控制点连线特征的交互矩阵；

具体地，如图4所示，设点A、B是对目标物体轮廓进行NURBS曲线拟合后得到的两个相邻的曲线控制点，O是相机光轴与图像归一化平面的交点，设置其坐标为O[500,500]；利用A、B两个控制点的图像坐标求得l_AB的直线方程，设直线l_AB的斜率为k₁，则与其垂直的直线p₁o的斜率为k₂,k₂＝-1/k₁；根据原点O的坐标以及斜率k₂，求得点p₁在焦距归一化成像平面上的坐标；

设p₁坐标为p₁(x_p1,y_p1,1)，则p₁点的极坐标参数表示为：

沿直线l_AB设置两个关于点p₁对称的点p₂和p₃，其极坐标参数分别为ρ₂,α₂和ρ₃,α₃。将p₂,p₃的参数代入直线的极坐标参数方程，得到：

其中，α₂＝α+Δα，α₃＝α-Δα，ρ₂＝ρ₃，Δα是一个近似为0的正数，则利用p₂,p₃的极坐标表示直线l_AB的参数α为：

将式(13)对时间求导并进行整理得：

将点的极坐标参数变化率带入式(14)，进行整理得到基于直线极坐标参数α的交互矩阵：

其中，

且z₂,z₃是点p₂和p₃的深度信息，其值在相机运动过程中通过在线估计来获得；当线特征与相机光轴垂直时，z₂＝z₃，直线特征参数α的变化近似看作只由相机的旋转姿态变化产生；将式(15)改写为：

在利用两个控制点连线计算出相关直线特征参数后，用式(17)所示的交互矩阵对相机姿态进行控制。

S5、计算曲线控制点间的距离作为距离特征，并计算基于两点间距离特征的交互矩阵；

具体地，设A、B为焦距归一化成像平面上的两个NURBS曲线控制顶点且A、B两个控制顶点的像素坐标为A(x_A,y_A)，B(x_B,y_B)；根据几何知识知，A、B两个点间的距离表示为：

将上式两边同时对时间求导，求得两控制点间的距离变化率为：

将点特征交互矩阵式(10)带入式(18)中，得到两点间距离特征的交互矩阵：

其中，

且z_A,z_B是曲线控制顶点A、B的深度值，在相机的运动过程中通过在线估计获得。

S6、针对相机旋转姿态的变化而导致的图像特征位置的改变进行补偿，使***获得较好的解耦特性，提高伺服***的性能；

具体地，利用直线特征交互矩阵求得相机的旋转运动速率为：

其中，L_lω是两个控制点连线的线特征交互矩阵，ρ、α是控制点连线的直线特征参数。

相机的旋转运动速率与控制点特征在图像平面上的投影位置变化率之间的关系为：

其中，L_pω是成像平面上控制点特征变化率与相机旋转运动速率的交互矩阵，L_pω为：

其中，x_cn、y_cn是第n个曲线控制点在相机成像平面上的像素坐标；

利用像平面上特征的变化量及交互矩阵设计曲线控制点的旋转补偿量为：

其中，L_pv是成像平面上控制点特征变化率与相机旋转运动速率的交互矩阵，L_pv为：

其中，z_cn是第n个曲线控制点的深度值。

S7、由于视觉伺服***采用的是单目摄像机，无法直接获取空间控制顶点的深度信息，为了获取曲线控制顶点的深度信息，利用曲线控制点特征的图像平面上的投影变化量与相机的运动速度对交互矩阵中的深度信息进行在线深度估计；

具体地，在S7中，设z_ci是第i个曲线控制顶点的深度值，其像素坐标为P_ci(x_ci,y_ci,1)，则z_i的估算如下：

在相机焦距归一化成像平面上两个相邻控制点连线的线特征上的点P_lj(x_lj,y_lj,1)的深度信息z_lj通过直线特征参数的变化率与相机的运动速度来进行在线估计；z_lj的估计方法如下：

S8、在机器人姿态控制器中，利用相邻曲线控制点连线的直线特征对相机的旋转姿态进行控制；在机器人Z轴平移控制器中，利用两个曲线控制点间的距离特征对机器人沿相机Z轴方向的平移运动进行控制；在机器人X、Y轴平移控制器中，利用曲线控制点特征对机器人沿相机X、Y轴方向的平移运动进行控制，并在机器人的位置控制中加入旋转运动补偿量，最终完成机器人伺服任务。

具体地，采用相邻控制点连线的直线特征对相机的旋转姿态进行控制，利用两个控制点间的距离特征对机器人沿相机Z轴方向的平移运动进行控制，利用控制点特征对机器人沿相机X、Y轴方向的平移运动进行控制，并在机器人的位置控制中加入旋转运动补偿量。

在图像特征空间中分别定义曲线控制点误差为e_p(t)，相邻曲线控制点连线的角度误差为e_α(t)，两个控制点间的距离误差为e_d(t)；

式(29)中，f_ph是期望的曲线控制点特征，f_pc(t)是相机当前位姿下的控制点特征；式(30)中，f_αh是期望的相邻曲线控制点连线的角度特征，f_αc(t)是相机当前位姿下相邻曲线控制点连线的角度特征；式(31)中，f_dh是期望的两个控制点间的距离特征，f_dc是相机当前位姿下两个控制点间的距离特征，

分别是完成伺服任务所需要的点特征、控制点连线的线特征、两点间距离特征的图像特征变化量；

无标定视觉伺服***的目标是使在图像平面上定义的各图像特征误差的差值收敛到0，因此，定义式(32)、式(33)、式(34)如下：

其中，k_p,k_α,k_d是***控制器增益系数；

分别将式(32)、式(33)、式(34)与图像雅可比的定义式联立并分别带入式(29)、式(30)与式(31)中得：

其中，J_p(t)是基于点特征的图像雅克比矩阵，

是控制点特征交互矩阵J_p的伪逆矩阵；J_α(t)是基于点距离特征的图像雅克比矩阵，

是线特征交互矩阵的伪逆矩阵；J_d(t)是基于点连线特征的图像雅克比矩阵，

是两控制点间距离特征交互矩阵的伪逆矩阵；

共同构成关节控制所需要的6个关节值，即x，y，z三个方向的平移姿态和旋转姿态；

对应x，y轴方向的平移姿态，

对应z轴方向的平移姿态，

对应x，y，z轴方向的旋转姿态。

取式(35)中矩阵J_p的前3列构成矩阵J_pv，取矩阵J_p的后3列构成矩阵J_pω，则曲线旋转补偿模块对位置控制的补偿量为：

其中，

为矩阵J_pv的伪逆矩阵；

取

的前2行为

则机器人末端移动的位置控制量为:

进行伺服任务所需要的总关节控制量

为:

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.一种基于复合特征的分离式视觉伺服控制方法，其特征在于，包括如下步骤：

S1、基于NURBS曲线拟合技术反算出曲线控制顶点，获取曲线控制点特征；

S2、计算空间NURBS曲线在相机成像平面上的二维投影曲线；

S3、在通过曲线拟合方法对物体的轮廓投影曲线进行实时拟合运算后，利用得到的曲线控制点计算基于曲线控制点特征的交互矩阵；

S4、选择曲线控制点连线特征，并计算基于曲线控制点连线特征的交互矩阵；

S5、计算曲线控制点间的距离作为距离特征，并计算基于两点间距离特征的交互矩阵；

S6、针对相机旋转姿态的变化而导致的图像特征位置的改变进行补偿；

S7、为了获取曲线控制顶点的深度信息，利用曲线控制点特征的图像平面上的投影变化量与相机的运动速度对交互矩阵中的深度信息进行在线深度估计；

S8、利用相邻曲线控制点连线的直线特征对相机的旋转姿态进行控制，利用两个曲线控制点间的距离特征对机器人沿相机Z轴方向的平移运动进行控制，利用曲线控制点特征对机器人沿相机X、Y轴方向的平移运动进行控制，并在机器人的位置控制中加入旋转运动补偿量，最终完成机器人伺服任务。

2.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法，其特征在于，步骤S1包括下列子步骤：

S11、对相机成像平面上的投影轮廓曲线进行图像处理，提取出投影曲线的数据点云坐标；

S12、按照相同间隔将曲线点云数据坐标等分成r个区间；

S13、在每个区间内选取每个数据点的n领域进行多项式运算求得分段多项式，再分别计算每段多项式中数据点处的曲率；

S14、选取曲率绝对值最大处的数据点以及曲线的首末数据端点作为曲线型值点；

S15、根据De Boor-Cox算法反算出曲线控制点。

3.如权利要求2所述的一种基于复合特征的分离式视觉伺服控制方法，其特征在于，在S15中，记一条k次NURBS曲线型值点为q_i(i＝0,1,…,n)，其节点矢量U＝[u₀,u₁,…,u_n+6]的计算为：

其中，

在求得曲线型值点以及节点矢量后，根据De Boor-Cox算法反算出曲线控制点，节点插值的NURBS方程组如下：

其中，d_j是曲线控制点，ω_j是曲线控制点的权因子，令ω_j＝1，B_j,k(u_j)是由节点矢量按De Boor-Cox递推公式推导出的B样条基函数；

在求得全部的曲线控制顶点后，若发现拟合曲线精度达不到要求，则通过增加节点数量来提高拟合精度，直到拟合精度满足要求为止。

4.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法，其特征在于，在S2中，已知在空间中存在一套机器人视觉伺服***，摄像机安装在机械臂末端，即眼在手构型；定义机器人的末端执行器坐标系为{T}，相机坐标系为{C}，机器人坐标系为{R}，设在用NURBS曲线描述该空间曲线时，其空间控制顶点为d_i(i＝0,1,…,n)，d_i在相机成像平面上的投影控制顶点记为^Cd_i(i＝0,1,…,n)；根据相机的透视投影模型，任意时刻t中，空间曲线的控制顶点d_i在相机图像平面上的投影控制点^Cd_i表示为：

其中，M是相机的内参矩阵，相机的内参矩阵由相机标定获得；H(q(t))是机器人基坐标系到机器人末端坐标系的齐次变换矩阵，q(t)是t时刻机器人的关节变量；H(q(t))由机器人的D-H参数以及机器人在t时刻的关节角度算出；

由NURBS曲线定义及式(4)知，

式(5)为t时刻下，空间NURBS曲线在相机成像平面上的二维投影曲线。

5.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法，其特征在于，在S3中，设安装于机械臂末端的相机在空间中的刚体移动速度为V＝(v_c,ω_c)，P(X_d,Y_d,Z_d)是空间控制顶点P相对于相机的坐标，则曲线控制顶点P在相机坐标系下运动速度为：

式(6)的标量形式为：

其中，v_c＝[v_cx,v_cy,v_cz]^T是相机的线速度，ω_c＝[ω_cx,ω_cy,ω_cz]^T是相机的角速度；

根据相机的投影透视关系，图像归一化平面上的曲线控制点坐标表示为：

x_dc＝X_d/Z_d，y_dc＝Y_d/Z_d (8)

将式(8)两边分别对时间求导得：

将式(8)、式(9)代入式(7)并进行整理得：

式(10)是在相机归一化成像平面上控制点特征的变化与机械臂末端相机移动的关系式，由式(10)知，一个点图像特征对应两个分量。

6.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法，其特征在于，在S4中，设点A、B是对目标物体轮廓进行NURBS曲线拟合后得到的两个相邻的曲线控制点，O是相机光轴与图像归一化平面的交点；利用A、B两个控制点的图像坐标求得l_AB的直线方程，设直线l_AB的斜率为k₁，则与其垂直的直线p₁o的斜率为k₂，k₂＝-1/k₁；根据原点O的坐标以及斜率k₂，求得点p₁在焦距归一化成像平面上的坐标；

设p₁坐标为p₁(x_p1,y_p1,1)，则p₁点的极坐标参数表示为：

沿直线l_AB设置两个关于点p₁对称的点p₂和p₃，其极坐标参数分别为ρ₂,α₂和ρ₃,α₃，将p₂,p₃的参数代入直线的极坐标参数方程，得到：

其中，α₂＝α+Δα，α₃＝α-Δα，ρ₂＝ρ₃，Δα是一个近似为0的正数，则利用p₂,p₃的极坐标表示直线l_AB的参数α为：

将式(13)对时间求导并进行整理得：

将点的极坐标参数变化率带入式(14)，得到基于直线极坐标参数α的交互矩阵：

其中，v＝[v_x,v_y,v_z]^T为相机在x，y，z轴的平移运动速率，ω＝[ω_x,ω_y,ω_z]^T为相机在x，y，z轴的旋转运动速率，

且z₂,z₃是点p₂和p₃的深度信息，其值在相机运动过程中通过在线估计来获得；当线特征与相机光轴垂直时，z₂＝z₃，直线特征参数α的变化近似看作只由相机的旋转姿态变化产生；将式(15)改写为：

在利用两个控制点连线计算出相关直线特征参数后，用式(17)所示的交互矩阵对相机姿态进行控制。

7.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法，其特征在于，在S5中，设A、B为焦距归一化成像平面上的两个NURBS曲线控制顶点且A、B两个控制顶点的像素坐标为A(x_A,y_A)，B(x_B,y_B)；根据几何知识知，A、B两个点间的距离表示为：

将上式两边同时对时间求导，求得两控制点间的距离变化率为：

将点特征交互矩阵式(10)带入式(18)中，得到两点间距离特征的交互矩阵：

其中，

且z_A,z_B是曲线控制顶点A、B的深度值，在相机的运动过程中通过在线估计获得。

8.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法，其特征在于，在S6中，利用直线特征交互矩阵求得相机的旋转运动速率为：

其中，L_lω是两个控制点连线的线特征交互矩阵，ρ、α是控制点连线的直线特征参数；

相机的旋转运动速率与控制点特征在图像平面上的投影位置变化率之间的关系为：

其中，L_pω是成像平面上控制点特征变化率与相机旋转运动速率的交互矩阵，L_pω为：

其中，x_cn、y_cn是第n个曲线控制点在相机成像平面上的像素坐标；

利用像平面上特征的变化量及交互矩阵设计曲线控制点的旋转补偿量为：

其中，L_pv是成像平面上控制点特征变化率与相机旋转运动速率的交互矩阵，L_pv为：

其中，z_cn是第n个曲线控制点的深度值。

9.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法，其特征在于，在S7中，设z_ci是第i个曲线控制顶点的深度值，其像素坐标为P_ci(x_ci,y_ci,1)，则z_i的估算如下：

在相机焦距归一化成像平面上两个相邻控制点连线的线特征上的点P_lj(x_lj,y_lj,1)的深度信息z_lj通过直线特征参数的变化率与相机的运动速度来进行在线估计；z_lj的估计方法如下：

10.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法，其特征在于，在S8中，在图像特征空间中分别定义曲线控制点误差为e_p(t)，相邻曲线控制点连线的角度误差为e_α(t)，两个控制点间的距离误差为e_d(t)；

式(29)中，f_ph是期望的曲线控制点特征，f_pc(t)是相机当前位姿下的控制点特征；式(30)中，f_αh是期望的相邻曲线控制点连线的角度特征，f_αc(t)是相机当前位姿下相邻曲线控制点连线的角度特征；式(31)中，f_dh是期望的两个控制点间的距离特征，f_dc是相机当前位姿下两个控制点间的距离特征，

分别是完成伺服任务所需要的点特征、控制点连线的线特征、两点间距离特征的图像特征变化量；

定义式(32)、式(33)、式(34)如下：

其中，k_p,k_α,k_d是***控制器增益系数；

分别将式(32)、式(33)、式(34)与图像雅可比的定义式联立并分别带入式(29)、式(30)与式(31)中得：

其中，

是控制点特征交互矩阵J_p的伪逆矩阵，

和

分别是线特征交互矩阵的伪逆矩阵和两控制点间距离特征交互矩阵的伪逆矩阵；

取式(35)中矩阵J_p的前3列构成矩阵J_pv，取矩阵J_p的后3列构成矩阵J_pω，则曲线旋转补偿模块对位置控制的补偿量为：

其中，

为矩阵J_pv的伪逆矩阵；

取

的前2行为

则机器人末端移动的位置控制量为：

进行伺服任务所需要的总关节控制量

为:

Images