CN106774309A - 一种移动机器人同时视觉伺服与自适应深度辨识方法 - Google Patents

Abstract

一种移动机器人同时视觉伺服与自适应深度辨识方法，属于计算机视觉与移动机器人的技术领域，首先根据机器人位姿的极坐标表示法,得到镇定误差的开环运动学方程。然后，根据并发学习策略,设计能将深度信息辨识出的自适应更新律,继而构造移动机器人的视觉镇定控制律。本方法设计的参数自适应更新律,可在机器人做镇定运动的初期进行学习,之后在机器人运动过程中对深度信息进行在线辨识。根据Lyapunov方法和LaSalle不变性原理,可证明出位姿误差与深度辨识误差同时收敛。在移动机器人完成视觉镇定控制的同时,本发明能将深度信息准确可靠辨识出,即能证明出控制器与辨识模块同时收敛。

Description

一种移动机器人同时视觉伺服与自适应深度辨识方法

技术领域

本发明属于计算机视觉与移动机器人的技术领域，特别是涉及一种移动机器人同时视觉伺服与自适应深度辨识方法。

背景技术

对于移动机器人***，引入视觉传感器可大大增强其智能性，灵活性和环境感知能力[1-3](参见附录文献[1-3]，以下表述均为附录中文献)。利用实时图像反馈来控制的移动机器人的运动,即视觉伺服技术，能够广泛运用于各种领域，如智能交通和环境勘探。由于这些原因，这项技术受到格外关注并且成为机器人领域的研究热点。对于视觉传感器，由于是根据透视投影模型成像的，深度信息的缺失是其主要缺陷。因此，对于单目摄像机视觉***,难以完整恢复出外部三维场景信息和移动机器人自身运动信。另外，由于移动机器人存在非完整运动约束特点，使得位姿控制器的设计非常具有挑战性。因此，深度信息的缺失和非完整约束，使移动机器人视觉控制任务变得异常艰巨。然而，现有方法大多在原有视觉伺服控制器的基础上为未知深度信息设计补偿模块。在这种意义上，在视觉伺服任务完成后依然无法得到场景模型。由于工作空间信息仍无法完全获得，限制了机器人***的进一步应用推广。因此，如何在视觉伺服控制的同时进行深度信息辨识，是机器人和控制领域内一个困难但非常有价值的问题。

至今，为了完成移动机器人视觉伺服任务，已有许多处理深度信息缺失问题的解决方法。在文献[4]中，Zhang等人提出了一种两阶段的控制器利用逆推方法使移动机器人在摄像机外参数未知情况下驱动到目标位姿，其中使用自适应更新律对特征点平面的未知深度信息进行补偿。在文献[5]中，在对单一特征点深度信息进行补偿后，为移动机器人设计了一种联合视觉跟踪和控制的控制器。Mariottini等人根据视觉伺服过程中的真实值来设定距离参数[6]，并且在文献[7]中使用同样的方法。在文献[8]中，Becerra等人在超扭曲控制器中设计了适当的控制增益来合并未知的深度信息，并在文献[9]和[10]中，根据单应矩阵中的项用控制增益抵消了未知的深度信息。Li等人利用基于视觉的模型预估控制驱动机器人到达期望位姿，并通过距离传感器，如激光，获得深度信息[11]。不幸的是，除了装置距离传感器，现有的方法无法通过补偿方式辨识深度信息。另一方面，虽然增加距离传感器能够解决深度辨识问题，其却无可避免地增加了***复杂度和成本。为了使实际应用***使用更加方便，充分利用图像数据和***状态辨识深度信息仍然是较好的方法。

最近，在机器人***的距离信息辨识方面取得了一些研究成果。Hu等人用非线性观测器测出了物体的欧式坐标，其中用已知运动参数渐进地辨识出距离信息[12]。Dani等人在全局指数稳定下设计了降阶非线性观测器来辨识一个静止物体和运动相机之间的距离[13]。另外，距离信息和相机运动都可以被非线性观测器检测到，如文献[14]和[15]的研究结果。在机器人操作臂的视觉跟踪任务方面，设计距离观测器来测量末段执行器的位姿[16]，移动物体的位姿[17]，和机器人的速度[18]。Spica等人为常见视觉目标的结构提出一种动态估计方法，其能够在期望瞬态响应下运行并提高执行视觉伺服任务时的表现[19]。与机器臂相比，驱动移动机器人时应考虑到非完整约束，其为深度辨识带来更多挑战。在文献[20]中，构造了一种适应算法，其利用在视觉轨道跟踪任务中的目标特征来估计移动机器人位姿。Luca等人设计了非线性观测器以在移动机器人视觉伺服中渐进地找到特征深度[21]。然而，现有方法普遍要求在持续激励条件下并且仅有渐进收敛性质。因而，无法保证控制误差收敛之前观测误差收敛至零，造成无法保证控制器/观测器组合***全局稳定。因此，如何同时完成控制和深度辨识仍然是一项具有挑战的任务。

为了在与所设计的控制器协调一致的前提下辨识相关***参数，许多研究人员都已注意到并发学习结构。Chowdhary等人开发了一种并发学习参考模型控制器，他使用当前和已知数据并发进行自适应来保证在没有持续激励条件情况下的未知线性动态***的全局指数稳定[22]。他们同时也将并发学习自适应控制器运用到飞行器上，并因自适应律限制了权重更新提高了其运动表现[23]。另外，可运用并发学习结构运用来辨识神经网络的未知参数，然后获得控制任务的近似最优性质，如移动机器人的路径跟踪[24]和非线性***控制[25]。为了在控制过程中重建场景信息，Parikh等人设计了一种并发学习自适应控制策略完成机器臂的轨道跟踪任务，其中使用历史数据的增强的自适应更新律能保证在没有持续激励时完成指数跟踪和特征深度估计[26]。另外，由于非完整运动约束和运动路径的有限长度完成在轮式移动机器人视觉伺服过程中辨识深度信息会面临更多挑战。本发明受到[26]和[27]的启发，开发了一种自适应视觉伺服方法，完成了对轮式移动机器人同时位姿控制和深度辨识任务。

发明内容

本发明的目的是解决现有移动机器人视觉深度信息辨识存在的上述不足，提供一种移动机器人同时视觉伺服与自适应深度辨识方法。

本发明提出了一种新颖的移动机器人同时视觉伺服与自适应深度辨识方法。该方法最大的特点是完成同时视觉伺服和深度辨识。因而解决了现有的移动机器人视觉伺服时辨识深度信息的问题，并且无需外加距离传感器，不增加***复杂度和成本。具体而言，首先，由可测量信号定义移动机器人位姿误差，接着，由包含未知特征深度的极坐标获得运动学模型。进而，根据并发学习方法策略，利用记录数据和当前数据为未知特征深度设计增强的自适应更新律。之后，设计有极坐标表示法的调节控制器来驱动移动机器人在非完整约束下到达指定位姿。然后，根据Lyapunov方法和LaSalle不变性原理，证明出位姿误差与深度辨识误差同时收敛。因此，解决了控制器和辨识模块作为一个整体的全局稳定性问题。仿真与实验结果均证明本方法有效可靠。

本发明主要做出了以下几方面贡献：1.成功辨识视野的深度信息，通过视觉***得到对外部环境的良好感知；2.用极坐标表示法的连续控制器将机器人有效驱动到期望位姿；3.因误差同时收敛，组合控制器和深度辨识模块解决***全局稳定问题。

在文献[28]中，Fang等人建造了一种平滑的随时间变化的控制器调节机器人到达期望位姿，其中通过自适应更新律补偿特征深度信息。同样通过设计自适应控制器，Zhang等人有效且自然地完成了位姿控制任务。和以上两种方法相比，本方法证明深度辨识误差在控制过程中收敛至零。和文献[34]相比，本方法解决了非完整运动约束下位姿控制任务中的深度辨识问题。

本发明提供的移动机器人同时视觉伺服与自适应深度辨识方法包括：

第1，定义***坐标系

第1.1，***坐标系描述

定义车载摄像机的坐标系与移动机器人的坐标系一致；以表示机器人/摄像机期望位姿的直角坐标系，其中的原点在车轮轴线的中心点，也在摄像机的光心位置；z^*轴与摄像机镜头的光轴重合，同时也和机器人前进方向重合；x^*轴和机器人轮轴平行；y^*轴垂直于x^*z^*平面；以表示摄像机/机器人当前位姿坐标系；

以e(t)表示期望位置和当前位置之间的距离；θ(t)表示相对于的旋转角度；α(t)表示机器人当前位姿和从到的旋转向量之间的角度；φ(t)表示机器人期望位姿和从到的旋转向量之间的角度；θ(t),α(t),φ(t)的方向均被标出，图中他们均为正值；

另外，视野中有N个静止的共面特征点P_i(i＝1,2...,n)；定义是特征平面的单位法向量在中的表示；是从原点到沿n^*的特征平面的未知距离；这里我们假设特征平面不经过原点，即d^*≠0；

因此，本发明的目的是在所定义的***坐标系的基础上，用一种新颖的视觉伺服方法驱动移动机器人以使与重合，并实时进行d^*的识别；

第1.2,坐标系变换

不失一般性，本方法以作为参考坐标系；从到的旋转矩阵和平移向量分别记为和^*T_c(t)；考虑到移动机器人的平面运动约束，和^*T_c(t)的形式可写为如下形式：

其中^*T_cx(t)和^*T_cz(t)分别表示的原点在中的x和z坐标；因此，机器人的当前位姿表示为(^*T_cz(t),^*T_cx(t),θ(t))；

第2，构造***模型

第2.1，可测量信号

对于特征点P_i，在和采集到的图像分别表示期望图像和当前图像；利用单应性矩阵估计和快速分解技术，从当前图像和期望图像中得到机器人的相对位姿^[36]，即 ^*T/d^*(t)和n^*；然后，得到笛卡尔坐标系下的含比例因子的机器人坐标，其形式为

为了便于控制器的设计，将机器人的笛卡尔坐标转变为极坐标形式；定义e(t)为^*T_c(t)的范数，即

根据上文的假设d^*≠0，定义可测的含比例因子的距离e_s(t)为：

另外，φ(t),α(t)的计算公式分别为：

α＝φ-θ (4)

第2.2，建立机器人运动学方程

在这部分，选择可测量信号e_s(t),φ(t),α(t)构造执行视觉伺服任务的摄像机机器人***模型；用极坐标下的e(t),φ(t),α(t)表示移动机器人运动学方程为：

v_r(t)和w_r(t)分别表示移动机器人的线速度和角速度；

将e_s(t)的定义(6)带入(7)，得到***开环动态方程如下:

另外，表示深度辨识，定义深度辨误差为

e_s(t),φ(t),α(t)收敛至时0，移动机器人镇定至期望位姿；当为0时，***成功辨识出深度信息；

第3，构建自适应控制器

根据上文中的***开环动态方程，为配有摄像机的移动机器人***设计控制器和自适应更新律；

根据并发学习方法，为深度辨识设计自适应更新律，其形式如下：

其中为更新增益,为正常数，t_k∈[0,t]是初始时间和当前时间之间的时间点；

投影函数Proj(χ)定义为：

其中是正值的下界；

从(9)可知即也是深度辨识的下界,应选取的初值大于进一步,可知：

为了达到位姿控制目的，设计移动机器人的线速度和角速度为：

其中为控制增益；

应当指出，由于在自适应更新律的并发学***滑滤波器给出的准确估计；因此，显著提高了参数估计值。

另外，控制参数和更新参数k_e,k_α,k_φ,Γ₁,Γ₂值小，参数k_e,k_α,k_φ主要影响机器人镇定，参数Γ₁,Γ₂主要影响深度辨识。因此，本***参数容易调节，也使本发明适于实际应用。

定理1：控制律(11)(12)和参数更新律(14)将移动机器人镇定到期望位姿的同时进行深度辨识，即下式成立：

至此，完成了移动机器人同时视觉伺服与自适应深度辨识。

本发明的优点和有益效果是：

本发明主要做出了以下几方面贡献：1.成功辨识视野的深度信息，通过视觉***得到对外部环境的良好感知；2.用极坐标表示法的连续控制器将机器人有效驱动到期望位姿；3.因误差同时收敛，组合控制器和深度辨识模块解决***全局稳定问题。

附图说明：

图1为视觉伺服任务的坐标系关系；

图2为仿真结果：移动机器人的运动路径[加粗三角形为期望位姿]；

图3为仿真结果：移动机器人位姿变化[实线：机器人位姿；虚线：期望位姿(零)]；

图4为仿真结果：由参数更新律(8)得到的变化[实线：的值；虚线：d^*的真实值；

图5表示本发明实验结果：移动机器人的运动路径[加粗三角形为期望位姿]；

图6表示实验结果：移动机器人位姿变化[实线：机器人位姿；虚线：期望位姿(零)]；

图7表示实验结果：移动机器人的速度[虚线：零值]；

图8表示实验结果：特征点的图像轨迹；

图9表示实验结果：在控制过程的初始6秒钟内由视觉测量得到的d^*计算值；

图10表示实验结果：由参数更新律(8)得到的d^*变化[实线：d^*的值；虚线：图9中得到的d^*(t)的计算得真实值]；

具体实施方式：

实施例1：

第1，定义***坐标系

第1.1，***坐标系描述

定义车载摄像机的坐标系与移动机器人的坐标系一致。以表示机器人/摄像机期望位姿的直角坐标系，其中的原点在车轮轴线的中心点，也在摄像机的光心位置。z^*轴与摄像机镜头的光轴重合，同时也和机器人前进方向重合；x^*轴和机器人轮轴平行；y^*轴垂直于x^*z^*平面(移动机器人运动平面)。以表示摄像机/机器人当前位姿坐标系。

以e(t)表示期望位置和当前位置之间的距离；θ(t)表示相对于的旋转角度；α(t)表示机器人当前位姿和从到的旋转向量之间的角度。φ(t)表示机器人期望位姿和从到的旋转向量之间的角度。θ(t),α(t),φ(t)的方向均被标出，图中他们均为正值。

另外，视野中有N个静止的共面特征点P_i(i＝1,2...,n)；定义是特征平面的单位法向量在中的表示；是从原点到沿n^*的特征平面的未知距离；这里我们假设特征平面不经过原点，即d^*≠0。

因此，本发明的目的是在所定义的***坐标系的基础上，用一种新颖的视觉伺服方法驱动移动机器人以使与重合，并实时进行d^*的识别。

第1.2,坐标系变换

不失一般性，本方法以作为参考坐标系。从到的旋转矩阵和平移向量分别记为和^*T_c(t)。考虑到移动机器人的平面运动约束，和^*T_c(t)的形式可写为如下形式：

其中^*T_cx(t)和^*T_cz(t)分别表示的原点在中的x和z坐标。因此，机器人的当前位姿表示为(^*T_cz(t),^*T_cx(t),θ(t))。

第2，构造***模型

第2.1，可测量信号

对于特征点P_i，在和采集到的图像分别表示期望图像和当前图像。利用单应性矩阵估计和快速分解技术，从当前图像和期望图像中得到机器人的相对位姿[28]，即 ^*T_c/d^*(t)和n^*。然后，得到笛卡尔坐标系下的含比例因子的机器人坐标，其形式为

为了便于控制器的设计，将机器人的笛卡尔坐标转变为极坐标形式。定义e(t)为^*T_c(t)的范数，即

根据上文的假设d^*≠0，定义可测的含比例因子的距离e_s(t)为：

另外，φ(t),α(t)的计算公式分别为：

α＝φ-θ (19)

第2.2，建立机器人运动学方程

在这部分，选择可测量信号e_s(t),φ(t),α(t)构造执行视觉伺服任务的摄像机机器人***模型。用极坐标下的e(t),φ(t),α(t)表示移动机器人运动学方程为[29]：

v_r(t)和w_r(t)分别表示移动机器人的线速度和角速度。

将e_s(t)的定义(21)带入(22)，得到***开环动态方程如下:

另外，表示深度辨识，定义深度辨误差为

从图1知，e_s(t),φ(t),α(t)收敛至时0，移动机器人镇定至期望位姿。当为0时，***成功辨识出深度信息。

第3，构建自适应控制器

根据上文中的***开环动态方程，为配有摄像机的移动机器人***设计控制器和自适应更新律。

根据并发学习方法[26]，为深度辨识设计自适应更新律，其形式如下：

其中为更新增益,为正常数，t_k∈[0,t]是初始时间和当前时间之间的时间点。

投影函数Proj(χ)定义为：

其中是正值的下界。

从(9)可知即也是深度辨识的下界,应选取的初值大于进一步,可知：

为了达到位姿控制目的，设计移动机器人的线速度和角速度为：

其中为控制增益。

应当指出，由于在自适应更新律的并发学***滑滤波器给出的准确估计。因此，显著提高了参数估计值[26]。

另外，控制参数和更新参数k_e,k_α,k_φ,Γ₁,Γ₂值小，参数k_e,k_α,k_φ主要影响机器人镇定，参数Γ₁,Γ₂主要影响深度辨识。因此，本***参数容易调节，也使本发明适于实际应用。

定理1：控制律(11)(12)和参数更新律(29)将移动机器人镇定到期望位姿的同时进行深度辨识，即下式成立：

第4，定理1证明

本发明在此给出定理1的证明。

证明：使用(6)和(7)，将自适应更新律(8)写为

另一方面，将(11)和(12)带入(6)得到闭环动态方程：

然后，选择李雅普诺夫方程V(t)如下：

将(16)对时间求导并带入闭环动态方程组(15)得：

将更新律(14)应用到(17)，利用关系(10)得：

由于投影函数保证了为正，从(36)看出：

因此从(16)和(19)得到：

由(7)可以看出然后从(11)(12)和(20)我们有

另外由(7)(8)和(15)得到：

因此，所有***状态的变化都是有界的。

另外，我们定义Φ为所有使的点的集合:

定义M为Φ的最大不变集。从(41)可知下列关系式对M中的点成立：

因此，可知：

然后将(23)和(24)代入(15)的动态方程(15)，得出：

d^*k_ek_φφ＝0 (44)

因此，根据上文中d^*≠0的假设，得出在集合M中φ＝0。

虽然由于使用投影函数(8)使分段光滑，但他对于初始条件是连续的。从(7)(8)和(23)看出：

因此，得出的正边界是不变的[30]。

因此，最大不变集M仅包含平衡点，其形式如下：

根据拉塞尔不变性原理[31],移动机器人位姿和深度辨识误差渐进收敛至零，即

本发明中，应激发***来使(18)中的回归量满足为了完成控制任务，机器人的初始位姿不应和期望位姿重合，即e_s(0)≠0。因此，e_s(t)在所设计的控制器下减小，尤其是在初始阶段时，使控制过程中易于满足该条件。

虽然所设计的控制器和更新律中没有奇点，根据极坐标性质当e_s(t)为零时机器人位姿无意义。为了解决这一问题，当e_s(t)满足阈值时设置线速度为零，并控制移动机器人做纯旋转运动来控制其方向。

第5，仿真与实验效果描述

第5.1，仿真结果

在本节中提供仿真结果来对本方法进行验证。

首先，随机设置四个共面特征点计算单应性矩阵，摄像机的内参数和随后实验所用的一致：

机器人的初始位姿设计为：

(-2.1m,-0.6m,-28°) (48)

期望位姿是(0m,0m,0°)。另外，加入标准差为σ＝0.15的图像噪声来测试控制器的可靠性和深度辨识抗干扰的能力。

设置控制参数为k_e,k_α,k_φ,Γ₁,Γ₂,N设置为100，这些是在最初的100个采样时间里记录的数据。用三次多项式函数拟合e_s(t_k)，用这种办法抑制干扰，并由对三次多项式函数对时间求导得到的准确估计。

图2表示了移动机器人在笛卡尔空间的运动路径结果，加粗三角表示期望位姿。可以看出机器人有效运动到期望位姿并且运动路径平滑。机器人状态(^*T_cz(t),^*T_cx(t),θ(t))的变化表示在图3中，并且可知稳态误差足够小。另外，深度信息的估计表示在图4中。可以看出，深度信息很快收敛至真实值并良好地与真实值保持一致。因此，场景的深度信息被成功辨识。

第5.2，实验结果

仿真测试后，进一步收集实验结果证实本专利。实验使用装有一个机载摄像机的Pioneer3-DX移动机器人和在视野中的四个共面特征点，他们是两个正方形的共顶点。所有策略都是在Vsiual Studio 2005环境下并在OpenCV实验室辅助下实施运行的。采样速率为每秒32次，足以完成视觉伺服任务。

机器人的初始位姿随机设置为(-2.1m,0.6m,-25°)，期望位姿为(0m,0m,0°)。控制参数选择为k_e＝0.4,k_α＝0.1,k_φ＝1,Γ₁＝2,Γ₂＝4。记录数据和匹配的方式与仿真实验部分相同。

机器人的路径结果表示在图5中；机器人状态(^*T_cz(t),^*T_cx(t),θ(t))的变化表示在图6中，他是由文献[32]中的方法计算来的。图7表示移动机器人的速度，可以看出移动机器人以较小的稳态误差通过非常高效的路径到达目标位姿。特征的图像轨迹结果显示在图8中，原点表示所获特征点初始位置图像，五角星表示期望图像中作为参照的特征点。图像特征逐渐接近期望位姿，表示机器人向期望位姿移动。

另外，为了测试深度辨识的准确程度，d^*的真实值是由文献[32]中的方法计算得到的，其用到了期望和当前图像信息并且要求已知某些特征点之间的距离。图9表示在控制过程的前6秒钟d^*的计算结果，该时间段内和的距离较大，这样使计算得的d^*较准确。接着，图9中的计算出的d^*的平均值是1.30米。图10表示了的变化，其中虚线表示d^*的平均值。因而，可以看出的深度估计值很快收敛至其真实值d^*，并且稳态估计误差也较小。因此，可以得出深度辨识和视觉伺服任务同时成功完成的结论。

需要说明的是，以上所述仅为本发明优选实施例，仅仅是解释本发明，并非因此限制本发明专利范围。对属于本发明技术构思而仅仅显而易见的改动，同样在本发明保护范围之内。

附录：参考文献

1.A.Sabnis,G.K.Arunkumar,V.Dwaracherla V,and L.Vachhani,“Probabilistic approach for visual homing of a mobile robot in the presenceof dynamic obstacles,”IEEE Trans.Ind.Electron.,vol.63,no.9,pp.5523-5533,Sep.2016.

2.J.-S.Hu,J.-J.Wang,and D.M.Ho,“Design of sensing system andanticipative behavior for human following of mobile robots,”IEEETrans.Ind.Electron.,vol.61,no.4,pp.1916-1927,Apr.2014.Faugeras O.,Luong Q.T.,Maybank S.,Camera self-calibration:theory and experiments,in Proc.2ndEuro.Conf.Comput.Vis.,1992:321-334.

3.T.N.Shene,K.Sridharan,and N.Sudha,“Real-time SURF-based videostabilization system for an FPGA-driven mobile robot,”IEEETrans.Ind.Electron.,vol.63,no.8,pp.5012-5021,Sep.2016.

4.X.Zhang,Y.Fang,B.Li,and J.Wang,“Visual servoing of nonholonomicmobile robots with uncalibrated camera-to-robot parameters,”IEEETrans.Ind.Electron.,online published,DOI:10.1109/TIE.2016.2598526.

5.B.Li,Y.Fang,G.Hu,and X.Zhang,“Model-free unified tracking andregulation visual servoing of wheeled mobile robots,”IEEE Trans.ControlSyst.Technol.,vol.24,no.4,pp.1328-1339,Jul.2016.

6.G.L.Mariottini,G.Oriolo,and D.Prattichizzo,“Image-based visualservoing for nonholonomic mobile robots using epipolar geometry,”IEEETrans.Robot.,vol.23,no.1,pp.87-100,Feb.2007.

7.B.Li,Y.Fang,and X.Zhang,“Visual servo regulation of wheeled mobilerobots with an uncalibrated onboard camera,”IEEE/ASME Trans.Mechatronics,vol.21,no.5,pp.2330-2342,Oct.2016.

8.H.M.Becerra,J.B.Hayet,and C.Saüés,“A single visual-servo controllerof mobile robots with super-twisting control,”Robot.Auton.Syst.,vol.62,no.11,pp.1623-1635,Nov.2014.

9.G.López-Nicolás,N.R.Gans,S.Bhattacharya,C.Sagüés,J.J.Guerrero,andS.Hutchinson,“Homography-based control scheme for mobile robots withnonholonomic and field-of-view constraints,”IEEE Trans.Syst.Man Cybern.PartB-Cybern.,vol.40,no.4,pp.1115-1127,Aug.2010.

10.Y.Fang,X,Liu,and X.Zhang,“Adaptive active visual servoing ofnonholonomic mobile robots,”IEEE Trans.Ind.Electron.,vol.59,no.1,pp.486-497,Jan.2012.

11.Z.Li,C.Yang,C.-Y.Su,J.Deng,and W.Zhang,“Vision-based modelpredictive control for steering of a nonholonomic mobile robot,”IEEETrans.Control Syst.Technol.,vol.24,no.2,pp.553-564,Mar.2016.

12.G.Hu,D.Aiken,S.Gupta,and W.E.Dixon,“Lyapunov-based rangeidentification for paracatadioptic systems,”IEEE Trans.Autom.Control,vol.53,no.7,pp.1775-1781,Aug.2008.

13.A.P.Dani,N.R.Fischer,Z.Kan,and W.E.Dixon,“Globally exponentiallystable observer for vision-based range estimation,”Mechatronics,vol.22,no.4,pp.381-389,Jun.2012.

14.D.Chwa,A.P.Dani,and W.E.Dixon,“Range and motion estimation of amonocular camera using static and moving objects,”IEEE Trans.ControlSyst.Technol.,vol.24,no.4,pp.1174-1183,Jul.2016.

15.A.P.Dani,N.R.Fischer,and W.E.Dixon,“Single camera structure andmotion,”IEEE Trans.Autom.Control,vol.57,no.1,pp.241-246,Jan.2012.

16.X.Liang,H.Wang,Y.-H Liu,W.Chen,G.Hu,and J.Zhao,“Adaptive task-space cooperative tracking control of networked robotic manipulators withouttask-space velocity measurements,”IEEE Trans.Cybern.,online published,DOI:10.1109/TCYB.2015.2477606.

17.H.Wang,Y.-H,Liu,W.Chen,and Z.Wang,“A new approach to dynamic eye-in-hand visual tracking using nonlinear observers,”IEEE/ASMETrans.Mechatronics,vol.16,no.2,pp.387-394,Apr.2011.

18.H.Wang,Y.-H.Liu,and W Chen,“Uncalibrated visual tracking controlwithout visual velocity,”IEEE Trans.Control Syst.Technol.,vol.18,no.6,pp.1359-1370,Nov.2010.

19.R.Spica,P.R.Giordano,and F.Chaumette,“Active structure frommotion:application to point,sphere,and cylinder,”IEEE Trans.Robot.,vol.30,no.6,pp.1499-1513,Dec.2014.

20.K.Wang,Y.Liu,and L.Li,“Visual servoing trajectory tracking ofnonholonomic mobile robots without direct position measurement,”IEEETrans.Robot.,vol.30,no.4,pp.1026-1035,Aug.2014.

21.A.D.Luca,G.Oriolo,and P.R.Giordano,“Feature depth observation forimage-based visual servoing:theory and experiments,”Int.J.Robot.Res.,vol.27,no.10,pp.1093-1116,Oct.2008.

22.G.Chowdhary,T.Yucelen,M.Mühlegg,and E.N.Johnson,“Concurrentlearning adaptive control of linear systems with exponentially convergentbounds,”Int.J.Adapt.Control Signal Process.,vol.27,no.4,pp.280-301,Apr.2013.

23.G.V.Chowdhary and E.N.Johnson,“Theory and flight-test validationof a concurrent-learning adaptive controller,”J.Guid.Control Dynam.,vol.34,no.2,pp.592-607,Mar.2011.

24.P.Walters,R.Kamalapurkar,L.Anderws,and W.E.Dixon,“Onlineapproximate optimal path-following for a mobile robot,”in Proc.IEEEConf.Decis.Control,Dec.2014,pp.4536-4541.

25.R.Kamalapurkar,P.Walters,and W.E.Dixon,“Model-based reinforcementlearning for approximate optimal regulation,”Automatica,vol.64,pp.94-104,Feb.2016.

26.A.Parikh,R.Kamalapurkar,H.-Y.Chen,and W.E.Dixon,“Homography basedvisual servo control with scene reconstruction,”in Proc.IEEEConf.Decis.Control,Osaka,Japan,Dec.2015,pp.6972-6977.

27.X.Zhang,Y.Fang,and N.Sun,“Visual servoing of mobile robots forposture stabilization:from theory to experiments,”Int.J.Robust NonlinearControl,vol.25,no.1,pp.1-15,Jan.2015.

28.Y.Fang,W.E.Dixon,D.M.Dawson,and P.Chawda,“Homography-based visualservo regulation of mobile robots,”IEEE Trans.Syst.Man Cybern.Part B-Cybern.,vol.35,no.5,pp.1041-1050,Oct.2005.

29.M.Aicardi,G.Casalino,A.Bicchi,and A.Balestrino,“Closed loopsteering of unicycle-like vehicles via Lyapunov techniques,”IEEERobot.Autom.Mag.,vol.2,no.1,pp.27-35,Mar.1995.

30.S.Chareyron and P.-B.Wieber,“Lasalle's invariance theorem fornonsmooth lagrangian dynamical systems,”in Proc.Euromech Nonlinear DynamicsConf.,Eindhoven,Netherlands,Aug.2005.

31.J.J.Slotine and W.Li,Applied nonlinear control,Englewood Cliff,NJ:Prentice Hall,Inc.,1991.

32.W.MacKunis,N.Gans,K.Kaiser,and W.E.Dixon,“Unified tracking andregulation visual servo control for wheeled mobile robots,”in Proc.IEEEInt.Conf.Control Application,2007,pp.88-93.

Claims (1)

1.一种移动机器人同时视觉伺服与自适应深度辨识方法，其特征在于包括以下步骤：

第1，定义***坐标系，包括：

第1.1，***坐标系描述

定义车载摄像机的坐标系与移动机器人的坐标系一致；以表示机器人/摄像机期望位姿的直角坐标系，其中的原点在车轮轴线的中心点，也在摄像机的光心位置；z^*轴与摄像机镜头的光轴重合，同时也和机器人前进方向重合；x^*轴和机器人轮轴平行；y^*轴垂直于x^*z^*平面；以表示摄像机/机器人当前位姿坐标系；

以e(t)表示期望位置和当前位置之间的距离；θ(t)表示相对于的旋转角度；α(t)表示机器人当前位姿和从到的旋转向量之间的角度；φ(t)表示机器人期望位姿和从到的旋转向量之间的角度；

另外，视野中有N个静止的共面特征点P_i(i＝1,2...,n)；定义是特征平面的单位法向量在中的表示；是从原点到沿n^*的特征平面的未知距离；这里假设特征平面不经过原点，即d^*≠0；

第1.2,坐标系变换

不失一般性，本方法以作为参考坐标系；从到的旋转矩阵和平移向量分别记为和^*T_c(t)；考虑到移动机器人的平面运动约束，和^*T_c(t)的形式可写为如下形式：

$\begin{array}{cc}R_c^{*}=\left[\begin{array}{ccc}cos\mathrm{\θ}& 0& -sin\mathrm{\θ}\\ 0& 1& 0\\ sin\mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right]& {T_{*}}_c=\left[\begin{array}{c}{T_{*}}_{cx}\\ 0\\ {T_{*}}_{cz}\end{array}\right]\end{array}---\left(1\right)$

其中^*T_cx(t)和^*T_cz(t)分别表示的原点在中的x和z坐标；因此，机器人的当前位姿表示为(^*T_cz(t),^*T_cx(t),θ(t))；

第2，构造***模型，包括：

第2.1，可测量信号

对于特征点P_i，在和采集到的图像分别表示期望图像和当前图像；利用单应性矩阵估计和快速分解技术，从当前图像和期望图像中得到机器人的相对位姿，即和n^*；然后，得到笛卡尔坐标系下的含比例因子的机器人坐标，其形式为

为了便于控制器的设计，将机器人的笛卡尔坐标转变为极坐标形式；定义e(t)为^*T_c(t)的范数，即

根据第1.1的假设d^*≠0，定义可测的含比例因子的距离e_s(t)为：

$e=\frac{e}{d^{*}}=\sqrt{{\left(\frac{{T_{*}}_{cz}}{d^{*}}\right)}^2+{\left(\frac{{T_{*}}_{cx}}{d^{*}}\right)}^2}---\left(2\right)$

另外，φ(t),α(t)的计算公式分别为：

$\mathrm{\φ}=atan2(\frac{{T_{*}}_{cx}}{d^{*}},-\frac{{T_{*}}_{cz}}{d^{*}})---\left(3\right)$

α＝φ-θ (4)

第2.2，建立机器人运动学方程

选择可测量信号e_s(t),φ(t),α(t)构造执行视觉伺服任务的摄像机机器人***模型；用极坐标下的e(t),φ(t),α(t)表示移动机器人运动学方程为：

$\left\{\begin{array}{c}\stackrel{\·}{e}=-v_{r}cos\mathrm{\α}\\ \stackrel{\·}{\mathrm{\α}}=-w_r+v_r\frac{sin\mathrm{\α}}{e_s}\\ \stackrel{\·}{\mathrm{\φ}}=v_r\frac{\sin \mathrm{\α}}{e_s}\end{array}\right.---\left(5\right)$

v_r(t)和w_r(t)分别表示移动机器人的线速度和角速度；

将e_s(t)的定义(6)带入(7)，得到***开环动态方程如下:

$\left\{\begin{array}{c}{d}^{*}{\stackrel{\·}{e}}_s=-v_{r}cos\mathrm{\α}\\ d^{*}\stackrel{\·}{\mathrm{\α}}=-d^{*}{w}_r+v_r\frac{sin\mathrm{\α}}{e_s}\\ d^{*}\stackrel{\·}{\mathrm{\φ}}=v_r\frac{sin\mathrm{\α}}{e_s}\end{array}\right.---\left(8\right)$

另外，表示深度辨识，定义深度辨误差为

${\tilde{d}}^{*}=d^{*}-{\hat{d}}^{*}---\left(9\right)$

e_s(t),φ(t),α(t)收敛至时0，移动机器人镇定至期望位姿；当为0时，***成功辨识出深度信息；

第3，构建自适应控制器

根据第2.2中的***开环动态方程，为配有摄像机的移动机器人***设计控制器和自适应更新律；

根据并发学习方法，为深度辨识设计自适应更新律，其形式如下：

$\begin{array}{c}{\stackrel{\·}{\hat{d}}}^{*}=\mathrm{Pr}oj\{-{\mathrm{\Γk}}_e\cos \mathrm{\α}\sin \mathrm{\α}(\mathrm{\α}+k_{\mathrm{\φ}}\mathrm{\φ})-{\mathrm{\Γ}}_1{\mathrm{\Γ}}_2\underset{k=1}{\overset{N}{\Σ}}\[{\stackrel{\·}{e}}_s\left(t_k\right)\cos \mathrm{\α}\left(t_k\right)\]\\ -{\mathrm{\Γ}}_1{\mathrm{\Γ}}_2\underset{k=1}{\overset{N}{\Σ}}\[{\stackrel{\·}{e}}_s\left(t_k\right)\]\[{\stackrel{\·}{e}}_s\left(t_k\right){\hat{d}}^{*}\]\}\end{array}---\left(10\right)$

其中为更新增益,为正常数，t_k∈[0,t]是初始时间和当前时间之间的时间点；

投影函数Proj(χ)定义为：

$\mathrm{Pr}oj\left(\mathrm{\&chi;}\right)=\left\{\begin{array}{cc}0,& \begin{array}{cc}for& {\hat{d}}^{*}\end{array}=d_{\min }^{*}and\mathrm{\&chi;}<0\\ \mathrm{\&chi;},& else\end{array}\right.---\left(9\right)$

其中是正值的下界；

从(9)可知即也是深度辨识的下界,应选取的初值大于进一步,可知：

${\tilde{d}}^{*}\mathrm{Pr}oj\left(\mathrm{\&chi;}\right)\&GreaterEqual;{\tilde{d}}^{*}\mathrm{\&chi;}---\left(11\right)$

为了达到位姿控制目的，设计移动机器人的线速度和角速度为：

$v_r=\left(k_e{\hat{d}}^{*}cos\mathrm{\&alpha;}\right)e_s---\left(12\right)$

$w_r=k_{\mathrm{\&alpha;}}\mathrm{\&alpha;}+k_e\frac{cos\mathrm{\&alpha;}sin\mathrm{\&alpha;}}{\mathrm{\&alpha;}}(\mathrm{\&alpha;}+k_{\mathrm{\&phi;}}\mathrm{\&phi;})---\left(13\right)$

其中为控制增益；

控制律(11)(12)和参数更新律(14)将移动机器人镇定到期望位姿的同时进行深度辨识，即下式成立：

$\underset{t\&RightArrow;\mathrm{\&infin;}}{\lim }{e}_s\left(t\right),\mathrm{\&alpha;}\left(t\right),\mathrm{\&phi;}\left(t\right),{\tilde{d}}^{*}\left(t\right)=0---\left(15\right)$

至此，完成了移动机器人同时视觉伺服与自适应深度辨识。