CN109108942A - 基于视觉实时示教与自适应dmps的机械臂运动控制方法和*** - Google Patents

Abstract

本发明涉及一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法和***。首先设定示教物，然后控制示教物进行示范运动，使用Kinect获取深度图并结合PnP算法对示教物进行三维位姿定位与跟踪，建立空间映射***将示教物位姿映射到机械臂末端，根据逆运动学解算机械臂各关节控制信息并实时发送以间接控制机械臂运动，最后在线记录示教运动信息并运用自适应DMPS算法对其进行局部线性优化与学习。本发明摆脱了传统示教模式中机械臂硬件结构的束缚与对复杂传感器的依赖，降低了示教的硬件成本与示教难度，无接触特性增强了示教过程的安全性的同时还具有广泛适用性，本发明提出的自适应DMPS方法使整个***具有良好的抗干扰性。

Description

基于视觉实时示教与自适应DMPS的机械臂运动控制方法和 ***

技术领域

本发明属于机械臂运动规划领域，具体涉及一种基于QR码(二维条码的一种)进行的机械臂在线视觉示教学习的运动控制方法和***。

背景技术

运动规划主要针对机器人上具有高维度运动空间的机械臂模块，不同于平面的路径规划，其主要分为关节空间轨迹规划与笛卡尔空间轨迹规划两大类，前者在传统中主要运用样条插值方法，后者主要运用空间直线或者空间圆弧等规划方法。由于机械臂自身的多自由度空间特性，使得这几种方法实际运用中不仅规划计算复杂大，还对于每一个新的目标都要重新计算运动过程中机械臂的每个姿态，尤其当机械臂与运动目标点之间存在障碍物时，传统的方法更难规划出机械臂的运动，所以传统方法存在计算复杂、智能化低、适应性差等缺陷。美国莱斯大学Kavraki等人开发的开源运动规划库(Open Motion PlanningLibrary，OMPL)成为目前主流机械臂运动规划平台。在OMPL中适用于高维的运动规划方法主要有概率路图法(Probabilistic Road Map，PRM)、快速拓展随机树法(Rapidly RandomTree，RRT)与人工势场法等，这些算法使用不同的采样方式搜索区域，具有规划速度快、概率完备等优点，但由于算法随机采样的特性，使得同一任务每次规划的结果都不同，不仅有时无法达到满意的规划效果，还无法对规划结果作出预判。

近年来，机器学习发展迅速，研究者们致力于开发示教学习模式的机械臂运动方法让机械臂的使用变得简单。如何对机械臂进行在线示教是研发的一大难题，一些研究机构采用定制的可示教类型的机械臂如KUKA机械臂，此类机械臂可将机械臂与使用者手臂绑定使其同时运动进行在线示教，这类方法不仅需要专业的硬件设备，示教过程还存在着一定的危险性；另一些研究机构采用大量的传感器安于使用者运动部位进行示教，这种方法既需要依赖大量且昂贵的传感器，又容易出现干扰等问题影响学习效果，当减少传感器数量时无法保证精度，而为了增加精度又不得不人为配置若干辅助装置。因而如何实施一种既安全又适用性广泛的示教方法是业界一直追求的目标。

发明内容

本发明针对上述机械臂运动规划领域示教学习模式中示教困难与学习抗干扰性差等问题，提出一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法和***，该方法大幅减少传感器数目并保证精度，摆脱了传统示教模式中机械臂硬件结构的束缚与对复杂传感器的依赖，降低了示教的硬件成本与示教难度，无接触特性增强了使用者安全性的同时还具有广泛适用性，针对示教信息存在干扰等问题，本发明提出的自适应DMPS方法使整个***具有良好的抗干扰性。

为解决上述技术问题，本发明采用如下技术方案：

一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于通过计算机视觉对具有设定QR码特征的示教物进行三维位姿识别、定位、跟踪，QR码中心为二维码示教识别部位，二维码示教识别部位***为白色矩形区域和四角的黑色小矩形连接形成的矩形框；同时建立空间映射***将示教物空间信息映射到机械臂末端，示教时使用者通过操控示教物间接实时控制机械臂运动。

进一步的，上述方法包括如下步骤：首先设定示教物，通过控制示教物进行示范运动，使用Kinect摄像头获取深度图并结合PnP算法对示教物进行识别、三维位姿定位与跟踪；建立空间映射***将示教物空间位姿映射到机械臂末端位姿，根据逆运动学实时解算得出各关节角控制信息并发送给机械臂间接实时控制机械臂运动，最后在线采集记录示教运动信息并运用自适应DMPS算法对运动信息进行局部线性优化与学习；所述示教物深度信息主要从Kinect深度摄像头得到的深度图中提取。

进一步的，在线记录示教运动信息并运用自适应DMPS算法对其进行局部线性优化与学习的过程如下：

在线记录训练时示教物空间运动特征，将记录的运动特征先进行三自由度分解，并在每个自由度上运用DMPS进行学习得到最佳非线性项权证序列，设定新目标空间信息并在每个自由度上泛化出对新目标的运动特征；设定泛化后目标精度阈值，学习泛化效果的好坏通过泛化结果是否符合精度阈值来判断，当示教运动中存在的干扰导致学习泛化结果超出精度阈值时，将超出阈值对应自由度上的样本进行局部最小二乘高阶多项拟合进行优化，将优化后的样本运动特征重新运用DMPS学习泛化，使泛化结果最终能精确泛化到新目标点；根据最终符合阈值的三自由度泛化结果在同一正则***下拟合成机械臂末端空间运动特征，然后由逆动力学解算出机械臂各关节的运动信息控制机械臂运动。

上述技术方案中，示教运动信息与机械臂命令信息在ROS下实时交互于以下步骤：

步骤1：搭建ROS环境，建立Kinect摄像头、机械臂信息交互节点，校正Kinect摄像头参数并设置图像传输大小与频率；初始化机械臂的控制模块，设置机械臂命令接收与发布频率；

步骤2：设定具有设定QR码的物体为示教物，使用Kinect摄像头对设定QR码进行识别，结合识别结果与相应深度信息图提取示教物深度信息，通过设定QR码图像二维信息与深度信息通过PnP算法求解其空间位姿，同时在示教物QR码处建立三维位姿坐标系；用于求解PnP算法的4个已知点为识别设定QR码***四个黑色小矩形的中心点；

步骤3：建立机械臂D-H模型，根据正运动学设计机械臂末端相对于基座转换***，然后结合示教物相对于Kinect的空间位姿建立空间映射***；

步骤4：在Kinect摄像头前控制示教物进行示范运动，在线记录示范运动中示教物三维运动信息；

步骤5：根据步骤3中建立的空间映射***将示教物运动映射为机械臂末端运动，由逆动力学解算出机械臂各关节的运动信息，通过节点向下位机运动控制卡发送关节运动命令驱动机械臂实时运动，实现机械臂视觉实时示教；

步骤6：将步骤4记录的训练运动信息在x、y、z三自由度上分解为三个一维的运动信息，单个一维运动信息为一组位移、速度和加速度的连续时间序列表示，取步长Δt将所述运动信息离散化，此时t∈{Δt，2Δt，…，nΔt}，运动起点x₀＝x_demo(0)，终点g＝x_demo(0)，运动时间常数τ＝nΔt，在三个自由度上分别利用DMPS算法对单自由度运动特征进行学习，计算出学习权重序列w_i；

步骤7：设定新的运动目标与泛化精度阈值，通过学习得到的权重序列与新目标信息泛化出新目标运动特征，若某一自由度的泛化结果大于精度阈值，则对相应自由度的训练运动特征进行局部最小二乘高阶多项拟合进行优化，并将优化后的训练运动返回步骤6重新学习；

步骤8：将步骤7中学习所得到的x、y、z三个符合精度要求的新目标一维运动特征在同一正则***下进行拟合，得到机械臂对于新目标的三维空间运动信息，接着运用逆运动学将其分解，解算机械臂各关节的运动信息；

步骤9：将步骤8所得的机械臂各关节的运动信息发送给下位机运动控制卡，使机械臂根据运动信息自主精确地运动到新目标点。

上述技术方案中，步骤1中，设置图像大小为640×480，图像获取频率为每秒30帧，设置机械臂节点命令发布与接收频率为30HZ。

上述技术方案中，步骤2中，，示教物定位算法为PnP算法，示教物深度信息为Kinect深度图中设定QR码中心深度；定位精度为1mm。

上述技术方案中，步骤3中，设置空间转换***中连接点为Kinect与机械臂基座，即示教物相对于Kinect位姿即为机械臂末端相对于机械臂基座位姿。

上述技术方案中，步骤7中，设置泛化阈值精度为5％，设置训练运动局部优化范围为运动整体的5％～95％，设置最小二乘高阶多项式拟合中多项式阶数为8～15阶。

上述技术方案中，步骤9中，设置上位机命令发送频率为30HZ，机械臂关节命令信息精度为0.01°。

一种采用上述方法的***，其特征在于包括：

表面具有设定QR码特征的能够运动的示教物，所述示教物由示教者运动或自主运动；

Kinect摄像头，用于识别示教物上QR码；

上位机，与Kinect摄像头通讯获取示教物运动信息；

装有末端执行器的机械臂，机械臂与上位机远程或近距离通讯以跟随示教物运动而运动。

本发明实现了一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法，即通过计算机视觉对设定具有设定QR码的物体进行识别、三维定位与跟踪，通过空间转换***使控制示教物来实时控制机械臂末端运动，并在线采集示教物的运动特征进行学习。

相对于现有技术，本发明具有以下优点：

本发明提出的示教过程不需要使用专用的机械臂设备与复杂传感器，降低了示教所需要的硬件成本；

本发明提出的示教过程不受机械臂硬件结构约束，具有更广泛的适用性；

本发明提出的视觉实时示教中采用具有设定QR码物体进行示教并且示教物与机械臂无直接接触，大大增强了示教过程的安全性；

本发明提出的自适应DMPS解决了示教运动中存在干扰导致学习泛化精度差的问题，整个***具有一定的抗干扰能力。

本发明提出的整个视觉实时示教与在线学习***使不具备机器人领域相关知识的非专业人士能简单安全地使用机械臂，具有易用性与实用性；

附图说明

图1为本发明机械臂视觉实时示教***结构图。

图2为本发明设计的用于识别三维定位的设定QR码实施例。

图3为本发明一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法的流程图。

图4为机械臂视觉实时示教过程图；其中(a)-(d)依次为机械臂跟随示教物实时运动的不同位置图。

图5为示教运动三自由度正交分解图；其中(a)-(c)依次为xyz三轴的分解图。

图6为新目标三自由度运动特征泛化图；其中(a)-(c)依次为xyz三轴的泛化图。

图7为x自由度示教运动优化前后对比图。

图8为x自由度示教运动优化前后泛化结果对比图。

具体实施方式

为了进一步说明本发明的技术方案，下面结合附图1-8对本发明的一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法和***进行详细的说明。

如图1所示为本发明方法所采用的机械臂视觉实时示教***结构图。其中摄像机1用于读取带有设定QR示教码2的示教物，所述示教物静止或运动状态均可，装有末端执行器的机械臂3与上位机远程或近距离通讯，上位机通过摄像机1获取QR示教码2的所代表的示教物深度和位置信息，进而控制机械臂3运动。

如图2所示，示教物上的设定QR示教码2为矩形二维码，包括矩形四角的矩形色块5以及位于四个矩形色块5之间的二维码区域4。其中，矩形色块5为PNP算法定位部位，二维码区域4为示教识别部位。

本发明基于视觉实时示教与自适应DMPS的机械臂运动控制方法，如图3-8所示，采用Kinect与PnP算法进行视觉实时示教物空间三维定位跟踪，建立示教物与机械臂执行器空间映射关系令使用者可以通过控制示教物间接实时控制机械臂运动，并能通过自适应动态运动基元算法(Dynamic Movement Primitives，以下简称DMPS)学习训练运动信息，从而实现机械臂运动学习与自主精确泛化。

本发明使用Kinect获取深度图并结合PnP算法对具有设定QR码特征的示教物进行三维位姿定位跟踪，同时建立空间映射***将示教物空间信息映射到机械臂末端，示教时使用者可以通过操控示教物间接实时控制机械臂运动，设置泛化精度阈值将示教运动信息放入自适应DMPS中进行学习得到优良的非线性收敛结果，结合任务信息泛化出精确的空间运动信息，最后逆运动学解算机械臂各关节的运动信息，将运动信息发送给下位机运动控制卡可实现机械臂自主运动。

首先设定具有设定QR码的物体为示教物，控制示教物进行示范运动，通过Kinect与PnP(Perspective-n-Point，以下简称PnP)算法对示教物进行识别，再结合深度信息对示教物进行三维定位与跟踪。建立空间转换***将示教物空间位姿映射为机械臂末端位姿，根据逆运动学求解出机械臂各关节的运动信息实时控制机械臂运动。然后在线记录训练时示教物空间运动特征，将其三自由度分解并在每个自由度上运用DMPS进行学习得到最佳非线性项权证序列，学习的效果可以用对新目标的泛化误差来检验，设定新目标空间信息并在每个自由度上泛化出对新目标的运动特征，设定泛化后目标精度阈值，当由于示教运动中存在的干扰导致学习泛化后结果超出精度阈值时，将超出阈值对应自由度上的样本进行局部最小二乘高阶多项拟合进行优化，将优化后的样本运动特征重新运用DMPS学习泛化，使其最终能精确泛化到新目标点。根据最终符合阈值的三自由度泛化结果在同一正则***下拟合成机械臂末端空间运动特征，然后由逆动力学解算机械臂各关节的运动信息控制机械臂运动。

上述技术方案整个过程流程图如附图1所示，具体实现步骤如下：

步骤1：搭建ROS环境，建立Kinect、机械臂信息交互节点，校正Kinect摄像头参数并设置图像传输大小与频率；初始化机械臂的控制模块，设置其命令接收与发布频率。详细步骤如下：

步骤1-1：在ROS环境下建立Kinect二维图节点、Kinect深度图节点、示教物三维定位节点、空间映射***节点、机械臂命令节点；

步骤1-2：设置Kinect图像获取频率为每秒30帧，获取图像大小为640×480，设置机械臂节点命令发布与接收频率为30HZ；

步骤1-3：设置下位机运动控制卡串口波特率为9600(本发明采用的机械臂选用武汉杰盛创新有限公司，型号为JS-R六自由度机械臂，电机采用PWM控制)，初始化机械臂各关节姿态；

步骤2：如附图2所示，本发明设计设定的QR码作为示教物特征，使用Kinect获取示教物二维图与深度图信息，对于获取的每一帧图像提取识别得到四个点空间位姿，使用PnP算法对示教物特征QR码定位其三维位姿。详细步骤如下：

步骤2-1：使用Kinect获取示教物二维图与深度图，对于获取的每一帧图像识别其中示教物上设定QR码；

步骤2-2：取识别得到的QR码***矩形的四个黑色矩形中心点为已知点，设置视觉***中世界坐标系即为Kinect坐标系，二维图中像素位置为(u，v)的顶点所对应其在视觉***下三维坐标(X_c，Y_c，Z_c)为：

这里本发明标定Kinect内参为f＝(f_x，f_y，u₀，v₀)＝(525,525,319.5,239.5)，由Kinect深度图得到各顶点深度Z_c；

步骤2-3：由四个已知点(X_wi，Y_wi，Z_wi)，i＝1，2，3，4求出示教物在视觉***中旋转矩阵R_vision与平移向量T_vision，即得到示教物位姿，具体求解如下：

这里T_z为示教物平均深度，根据本发明中设置设定QR码为对称矩形，取T_z为矩形中心即QR码中心深度；

步骤3：建立机械臂D-H模型，根据正运动学设计机械臂末端相对于基座转换***，然后结合示教物在视觉***的空间位姿建立空间映射***。本发明设置视觉***中世界坐标系即为Kinect坐标系，设置机械臂***中世界坐标系即为机械臂基座坐标系，经过优选，设置空间映射***下机械臂末端姿态为：

步骤4：在Kinect前控制示教物进行空间运动，根据步骤2实时定位示教物运动位置与姿态，同时在线记录训练运动中示教物三维运动信息；

步骤5：如附图3所示，根据步骤3中建立的空间映射***将示教物运动映射为机械臂末端运动，由逆动力学解算机械臂各关节的运动信息，如附图4所示，通过节点向下位机运动控制卡发送关节运动命令驱动机械臂跟随示教物实时运动，实现机械臂视觉实时示教；图4的(a)-(d)依次

步骤6：将步骤4记录的训练运动信息在x、y、z三自由度上分解为三个一维的运动信息，单个一维运动信息为一组位移、速度和加速度的连续序列表示，取步长Δt将运动离散化，此时t∈{Δt，2Δt，…，nΔt}，运动起点x₀＝x_demo(0)，终点g＝x_demo(0)，运动时间常数τ，在三个自由上分别利用DMPS算法对单自由度运动特征进行学习，计算出学习权重序列w_i，详细步骤如下：

步骤6-1：如附图5所示，将步骤4所记录的视觉下人控制的示教物运动在x、y、z三个自由度上正交分解，得到三个单维运动信息，本发明取步长Δt＝0.05将单维运动离散化，时间常数τ＝20

步骤6-2：在三个自由上分别利用DMPS算法对步骤6-1获取的单维度运动特征进行学习，将学习目标的非线性函数f_target(s)逼近于训练运动的非线性函数f_demo(s)，通过最小二乘拟合误差J_i，学习得到收敛的权重序列w_i，本发明设置权重序列的权重个数为10；

步骤7：设定新运动目标与泛化精度阈值，通过学习得到的权重序列与新目标信息泛化出新目标运动特征，若某一自由度的泛化结果大于精度阈值，则对相应自由度的训练运动特征进行局部最小二乘高阶多项拟合去除扰动，并将优化后的训练运动返回步骤6重新学习。详细步骤如下：

步骤7-1：设定新运动目标与泛化精度阈值，本发明设置新目标相比于原有训练目标三自由度位置各不相同，三自由度泛化精度阈值都为5％，具体为：

(x_new，y_new，z_new)＝(x_training+0.1m，y_training+0.1m，z_training+0.1m)

步骤7-2：如附图5所示，根据步骤6-2学习得到的权重序列与步骤7-1新目标信息泛化出三自由度上新目标的运动特征，然后求出各自由度泛化结果精度，本发明设置精度求解如下：

泛化精度＝|(泛化结果-泛化目标)/(新目标-训练目标)|

即泛化精度为泛化结果绝对误差除以相应自由度上目标坐标变化量的值取绝对值，本发明x、y、z三自由度泛化精度各为：10.87％，5.64％，7.66％；

步骤7-3：将步骤7-2所得泛化精度与设置的泛化精度5％对比都超出精度阈值，以x自由度为例，如附图7所示，对将x自由度上示教运动连续序列整体的5％～95％部分进行最小二乘高阶多项拟合优化，得到优化后的x自由度运动信息序列，本发明设置x自由上运动进行8阶多项式优化；

步骤7-4：返回步骤6，将步骤7-3中优化后的x自由度上运动信息重新进行学习，随后进行步骤7泛化，本发明优化后泛化结果如附图8所示，x自由度优化后泛化结果精度为3％，小于泛化阈值5％，满足要求；

步骤7-5：同x自由度优化步骤，对不满足精度要求的y、z自由度运动进行优化直至全部满足泛化精度；

步骤8：将步骤7中泛化所得的x、y、z三个新目标一维运动特征在同一正则***下进行拟合，得到新目标三维空间运动信息，接着运用逆运动学将其分解，得到机械臂各个关节的运动信息；

步骤9：将步骤8所得的机械臂各个关节的运动信息发送给下位机运动控制卡，使机械臂根据运动信息自主精确地运动到新目标点。

上述技术方案中，所述示教物特征为具有设定QR(Quick Response，以下简称QR)码的物体，对示教物识别为识别其设定QR码；

上述技术方案中，所述示教物深度信息主要为Kinect深度摄像头得到的深度图中提取；

上述技术方案中，所述示教物运动信息与机械臂命令信息在ROS下实时交互。

上述技术方案中，步骤1中，设置图像大小为640×480，图像获取频率为每秒30帧，设置机械臂节点命令发布与接收频率为30HZ；

上述技术方案中，步骤2中，示教物特征为：示教物具有设定QR码，以QR码为中心***由四角为黑色小矩形的白色区域包围，整个图像尺寸为8cm×8cm，中心QR码尺寸为5cm×5cm矩形，黑色小矩形尺寸为1.5cm×1.5cm，示教物定位算法为PnP(Perspective-n-Point)算法，定位精度为1mm，示教物深度信息为Kinect深度图中QR码中心深度；

上述技术方案中，步骤2中，示教物三维位姿视觉定位具体如下：

示教物位姿具有旋转矩阵R与平移向量T：

示教物在内参f＝(f_x，f_y，u₀，v₀)Kinect下透视投影变换为：

二维图中示教物像素位置为(u，v)所对应二维图像坐标系坐标为：

对于世界坐标系下已知4个空间点(X_wi，Y_wi，z_wi)，i＝1，2，3，4有：

这里T_z为示教物平均深度，以上8个独立方程解出R₁，R₂，T，根据R为正交矩阵解出R₃，至此解得示教物全部位姿。本发明设置视觉***中世界坐标系为Kinect坐标系，设置映射的机械臂***中世界坐标系为机械臂基座坐标系。本发明中设置用于求解PnP算法的4个已知点为识别设定QR码得到黑色小矩形四个中心点。

上述技术方案中，步骤3中，设置转换***中节点为Kinect与机械臂基座，即示教物相对于Kinect位姿即为机械臂末端相对于机械臂基座位姿；

上述技术方案中，步骤6中，学习过程具体如下：

动态运动基元理论的核心是将一系列带有目标点的非线性微分方程来描述运动。对于单一的一维运动其表示为：

ψ_i(s)＝exp(-h_i(s-c_i)²)

式中τ为时间伸缩因子，x₀与g分别是***起点与终点状态，x与v为***当前状态与速度，K、D为***常数，f为径向基函数的线性加权和，ψ_i(s)是径向基核函数，h_i与c_i为基核函数带宽与均值，N为径向基核函数的个数，w为径向基核函数在线性加权中的权重值，s是关于时间t的函数，其具体动态特性由以下方程定义：

这个二阶***为正则***，这里α为预定常数(a＞0)，初始状态s(0)＝1，s由初始状态趋向于0的过程

将样本放入DMPS中可得到f_demo(s)：

运动学习的过程，即将非线性函数f_demo(s)逼近于真实样本模型的非线性函数f_target(s)，f_demo(s)中s由正则***确定，收敛w_i的值完成f_target(s)→f_demo(s)逼近。运用最小二乘学习法拟合误差J：

J＝∑_S(f_demo(s)-f_target(s))²

在J＝J_min时估计出权重值w_i即为***最佳权重值，其估计形式：

f＝Tw

w＝[w₁ …w_N]^T

当给予新的运动目标点g_new，根据这里最佳权重值w_i能反向拟合出新的运动特征离散序列此离散序列能拟合出具有原样本特征的新目标运动特征，完成运动的泛化。

上述技术方案中，步骤7中，设置泛化阈值精度为5％，设置训练运动局部优化范围为运动整体的5％～95％，设置最小二乘高阶多项式拟合中多项式阶数为8～15阶；

上述技术方案中，步骤9中，设置上位机命令发送频率为30HZ，机械臂关节命令信息精度为0.01°；

综上，本发明提出的一种基于视觉实时示教与自适应DMPS的机械臂运动学习方法实现了机械臂实时视觉示教与精确泛化的功能，本发明实现的视觉实时示教功能具有广泛适用性，其视觉实时示教特性不仅降低了示教所需硬件成本，还大大增强了示教过程的安全性，同时本发明还解决了示教运动中由干扰导致最终泛化结果精度差的问题，可精确规划机械臂运动到目标点，增强了整个***的抗干扰性。

Claims (10)

1.一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于通过计算机视觉对具有设定QR码特征的示教物进行三维位姿识别、定位、跟踪，QR码中心为二维码示教识别部位，二维码示教识别部位***为白色矩形区域和四角的黑色小矩形连接形成的矩形框；同时建立空间映射***将示教物空间信息映射到机械臂末端，示教时使用者通过操控示教物间接实时控制机械臂运动。

2.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于上述方法包括如下步骤：首先设定示教物，通过控制示教物进行示范运动，使用Kinect摄像头获取深度图并结合PnP算法对示教物进行识别、三维位姿定位与跟踪；建立空间映射***将示教物空间位姿映射到机械臂末端位姿，根据逆运动学实时解算得出各关节角控制信息并发送给机械臂间接实时控制机械臂运动，最后在线采集记录示教运动信息并运用自适应DMPS算法对运动信息进行局部线性优化与学习；所述示教物深度信息主要从Kinect深度摄像头得到的深度图中提取。

3.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于在线记录示教运动信息并运用自适应DMPS算法对其进行局部线性优化与学习的过程如下：

在线记录训练时示教物空间运动特征，将记录的运动特征先进行三自由度分解，并在每个自由度上运用DMPS进行学习得到最佳非线性项权证序列，设定新目标空间信息并在每个自由度上泛化出对新目标的运动特征；设定泛化后目标精度阈值，学习泛化效果的好坏通过泛化结果是否符合精度阈值来判断，当示教运动中存在的干扰导致学习泛化结果超出精度阈值时，将超出阈值对应自由度上的样本进行局部最小二乘高阶多项拟合进行优化，将优化后的样本运动特征重新运用DMPS学习泛化，使泛化结果最终能精确泛化到新目标点；根据最终符合阈值的三自由度泛化结果在同一正则***下拟合成机械臂末端空间运动特征，然后由逆动力学解算出机械臂各关节的运动信息控制机械臂运动。

4.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于示教运动信息与机械臂命令信息在ROS下实时交互于以下步骤：

步骤1：搭建ROS环境，建立Kinect摄像头、机械臂信息交互节点，校正Kinect摄像头参数并设置图像传输大小与频率；初始化机械臂的控制模块，设置机械臂命令接收与发布频率；

步骤2：设定具有设定QR码的物体为示教物，使用Kinect摄像头对设定QR码进行识别，结合识别结果与相应深度信息图提取示教物深度信息，通过设定QR码图像二维信息与深度信息通过PnP算法求解其空间位姿，同时在示教物QR码处建立三维位姿坐标系；用于求解PnP算法的4个已知点为识别设定QR码***四个黑色小矩形的中心点；

步骤3：建立机械臂D-H模型，根据正运动学设计机械臂末端相对于基座转换***，然后结合示教物相对于Kinect的空间位姿建立空间映射***；

步骤4：在Kinect摄像头前控制示教物进行示范运动，在线记录示范运动中示教物三维运动信息；

步骤5：根据步骤3中建立的空间映射***将示教物运动映射为机械臂末端运动，由逆动力学解算出机械臂各关节的运动信息，通过节点向下位机运动控制卡发送关节运动命令驱动机械臂实时运动，实现机械臂视觉实时示教；

步骤6：将步骤4记录的训练运动信息在x、y、z三自由度上分解为三个一维的运动信息，单个一维运动信息为一组位移、速度和加速度的连续时间序列表示，取步长Δt将所述运动信息离散化，此时t∈{Δt，2Δt，…，nΔt}，运动起点x₀＝x_demo(0)，终点g＝x_demo(0)，运动时间常数τ＝nΔt，在三个自由度上分别利用DMPS算法对单自由度运动特征进行学习，计算出学习权重序列w_i；

步骤7：设定新的运动目标与泛化精度阈值，通过学习得到的权重序列与新目标信息泛化出新目标运动特征，若某一自由度的泛化结果大于精度阈值，则对相应自由度的训练运动特征进行局部最小二乘高阶多项拟合进行优化，并将优化后的训练运动返回步骤6重新学习；

步骤8：将步骤7中学习所得到的x、y、z三个符合精度要求的新目标一维运动特征在同一正则***下进行拟合，得到机械臂对于新目标的三维空间运动信息，接着运用逆运动学将其分解，解算机械臂各关节的运动信息；

步骤9：将步骤8所得的机械臂各关节的运动信息发送给下位机运动控制卡，使机械臂根据运动信息自主精确地运动到新目标点。

5.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于，步骤1中，设置图像大小为640×480，图像获取频率为每秒30帧，设置机械臂节点命令发布与接收频率为30HZ。

6.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于，步骤2中，，示教物定位算法为PnP算法，示教物深度信息为Kinect深度图中设定QR码中心深度；定位精度为1mm。

7.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于，步骤3中，设置空间转换***中连接点为Kinect与机械臂基座，即示教物相对于Kinect位姿即为机械臂末端相对于机械臂基座位姿。

8.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于，步骤7中，设置泛化阈值精度为5％，设置训练运动局部优化范围为运动整体的5％～95％，设置最小二乘高阶多项式拟合中多项式阶数为8～15阶。

9.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于，步骤9中，设置上位机命令发送频率为30HZ，机械臂关节命令信息精度为0.01°。

10.一种采用上述权利要求1-9之一所述方法的***，其特征在于包括：

表面具有设定QR码特征的能够运动的示教物，所述示教物由示教者运动或自主运动；

Kinect摄像头，用于识别示教物上QR码；

上位机，与Kinect摄像头通讯获取示教物运动信息；

装有末端执行器的机械臂，机械臂与上位机远程或近距离通讯以跟随示教物运动而运动。