CN112917470A - 一种机械手的示教方法、装置、***、存储介质及设备 - Google Patents

Abstract

本申请涉及机械手的示教方法、装置、***、存储介质及设备。其中，机械手的示教方法包括：获取基于双指的示教活动的序列图像；基于序列图像，识别双指的手势信息；结合手势信息，基于映射规则，生成控制指令。采用本发明的技术方案通过基于示教对象的双指的简单示教行为，即可以完成针对包括末端执行器的机械手的示教活动，实现针对机械手的简单、快速、准确的示教。

Description

一种机械手的示教方法、装置、***、存储介质及设备

技术领域

本申请涉及机械手示教技术领域，特别是涉及一种机械手的示教方法、装置、***、存储介质及设备。

背景技术

随着科技水平的提高，整个社会都向着智能化、自动化的方向发展。

基于手势的示教在各个领域得到广泛的应用，但目前为止没有一种示教专门针对机械手,因此对于机械手的示教无法获得良好的示教效果。

发明内容

有鉴于此，本发明提供一种机械手的示教方法、装置、***、存储介质及设备。

本发明提供一种机械手示教方法，所述机械手示教方法包括：

获取基于双指的示教活动的序列图像；

基于所述序列图像，识别所述双指的手势信息；

结合所述手势信息，基于映射规则，生成控制指令。

进一步，所述手势信息包括：“双指或单指”、“0指”、“双指合并”、“双指分开”、“双指或单指旋转”和/或“双指或单指的运动轨迹”。

进一步，所述映射规则包括：所述手势信息对应所述机械手的末端的运动轨迹规划的控制指令；和/或

所述手势信息对应所述机械手的末端执行器的打开和/或关闭的控制指令；和/或

所述手势信息对应所述机械手的末端执行器的旋转的控制指令；和/或

所述手势信息对应所述示教的开始和/或结束的控制指令。

进一步，所述映射规则还包括比例因素的规则。

本发明提供一种机械手示教方法，所述机械手示教方法包括：

获取基于双指的示教活动的当前图像；

基于所述当前图像识别所述双指的当前的手势信息；

基于所述当前手势信息，基于映射规则，判断所述示教是否开始；

若是，结合所述当前的手势信息和上一时刻的手势信息，基于所述映射规则，生成当前控制指令；若否，执行获取所述当前图像的步骤。

本发明提供一种机械手示教装置，所述机械手示教装置包括：

图像获取模块，用于获取基于双指的示教活动的序列图像；

手势识别模块，用于基于所述序列图像，识别所述双指的手势信息；

示意生成模块，用于结合所述手势信息，基于映射规则，生成控制指令。

本发明提供一种机械手示教装置，所述机械手示教装置包括：

图像获取模块，用于获取基于双指的示教活动的当前图像；

手势识别模块，用于基于当前图像识别双指的当前手势信息；

示教判断模块，用于基于当前手势信息，判断所述示教是否开始；

示意生成模块，用于若是，结合所述当前的手势信息和上一时刻的手势信息，基于映射规则，生成当前控制指令；若否，执行获取所述当前图像的步骤。

本发明提供一种***，所述***包括：机械手、图像传感器和控制单元；

所述图像传感器和所述机械手分别通信连接所述控制单元；

所述图像传感器，用于采集所述序列图像；

所述控制单元，用于获取基于双指的示教活动的序列图像；基于序列图像，识别所述双指的手势信息；结合所述手势信息，基于映射规则，生成机械手的控制指令；或

所述图像传感器，用于采集所述当前图像；

用于获取基于双指的示教活动的当前图像；基于所述当前图像识别双指的当前的手势信息；基于所述当前的手势信息，基于映射规则，判断所述示教是否开始；若是，结合所述当前的手势信息和上一时刻的手势信息，基于所述映射规则，生成当前控制指令；若否，执行获取所述当前图像的步骤；

所述机械手，用于根据所述控制指令或所述当前控制指令执行对应的动作。

本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上面任一项所述的机械手示教方法。

本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上面任一项所述的机械手示教方法。

通过基于示教对象的双指的简单示教行为，即可以完成针对包括末端执行器的机械手的示教活动，实现针对机械手的简单、快速、准确的示教。

附图说明

图1为一个实施例中***的第一结构框图；

图2为一个实施例中***的第二结构框图；

图3为一个实施例中***的第三结构框图；

图4为一个实施例中***的第四结构框图；

图5为一个实施例中***的第五结构框图；

图6为一个实施例中***的第六结构框图；

图7为一个实施例中双指示教的第一示意图；

图8为一个实施例中双指示教的第二示意图；

图9为一个实施例中机械手示教方法的第一流程示意图；

图10为一个实施例中机械手示教方法的第二流程示意图；

图11为一个实施例中机械手示教装置的第一结构框图；

图12为一个实施例中机械手示教装置的第二结构框图；

图13为一个实施例中计算机设备的第一结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，本申请提供的机械手示教方法，可以应用于图1-图5所示的***(示教***)中，该***中可以包括机械手11、图像传感器13和控制单元12，机械手11和图像传感器13通过有线或者无线的方式与控制单元12通信连接。

在一个实施例中，机械手11可以包括：串联机械手或者并联机械手，其中，串联机械手是指由多个驱动单元和连接件串联而成，比如：四轴机械手或六轴机械手；而并联机械手是指由多个驱动单元和连接件并联而成，比如：Delta机械手。机械手11还包括设置于机械手的末端的末端执行器111，比如：将末端执行器通过法兰盘固定于位于末端的驱动单元的输出端。具体的，末端执行器111可以但不限于是：夹爪、吸盘，本具体实施例优选夹爪，并以夹爪为例详细说明。机械手基于控制单元生成的控制指令执行相应的动作。

具体的，控制单元12可以为可编程逻辑控制器(Programmable LogicController，PLC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、计算机(Personal Computer,PC)、工业控制计算机(Industrial Personal Computer,IPC)或服务器等等。控制单元根据预先固定的程序，结合人工输入的信息、参数或者外部的图像传感器采集的数据等生成程序指令。有关控制单元的具体限定可以参见下面实施例中有关机械手示教方法的限定。

具体的，图像传感器13可以包括但不限于：照相机、摄像机、扫描仪或其他带有相关功能的设备(比如：体感设备、手机、电脑)等等。图像传感器采集的图像数据可以但不限于是：2D图像数据(比如：RGB图像、黑白图像或灰度图像)、3D图像数据(比如：深度图像或点云图像)或红外图像数据。图像传感器13将采集的基于双指的示教活动的图像发送给控制单元12。

图像传感器可以根据需要设置在任意位置，比如：设置在机械手上或者机械手外。本具体实施例以图像传感器13设置在机械手11外为例进一步详细说明。

在一个实施例中，该***还可以包括显示单元(图未示意出)，通过显示单元显示手势信息和/或真实或虚拟的机械手的运动轨迹等等。

需要说明的是，上述双指、控制单元、机械手和/或图像传感器，即可以是真实环境下的真实双指、控制单元、机械手和/或图像传感器，也可以是仿真平台下的虚拟双指、控制单元、机械手和/或图像传感器，通过仿真环境以达到连接真实机械手等等的效果。将依赖虚拟环境完成行为训练后的控制单元，移植到真实环境下，对真实的双指、控制单元、机械手和/或图像传感器进行控制或者再训练，可以节省训练过程的资源和时间。

在一个实施例中，如图9所示，提供一种机械手示教方法，以该方法应用于图1-图5中的***为例，该方法包括以下步骤：

步骤S110获取基于双指的示教活动的序列图像；

步骤S120基于序列图像，识别双指的手势信息；

步骤S130结合手势信息，基于映射规则，生成控制指令。

通过基于示教对象的双指的简单示教行为，可以完成针对包括末端执行器的机械手的示教活动(即通过简单的基于双指的示教活动，可以实现针对机械手的轨迹规划和执行器的抓取、释放、旋转等等的示教)，从而实现针对机械手的简单、快速、准确的示教。

为方便理解，下面对上述方法步骤进行进一步详细的描述。

步骤S110获取基于双指的示教活动的序列图像；

获取通过图像传感器采集并直接发送的序列图像，或者图像传感器将采集的序列图像发送给存储器或者服务器，从存储器或者服务器获取上述序列图像。

其中，序列图像是指在基于双指的示教活动过程中按照时间顺序和预设的时间间隔通过图像传感器采集的多张图像的集合。

需要说明的是，“双指”可以为任意示教对象的“双指”。其中，示教对象可以指人，或者任何具有双指的可进行示教活动的主体。本具体实施例优选人作为示教对象进行详细说明。

步骤S120基于序列图像，识别双指的手势信息；

需要说明的是，在一些实施例中可以基于序列图像直接识别出手势信息；或者在另一些实施例中，先基于序列图像提取双指或单指的位姿信息，再基于位姿信息，识别出手势信息。

其中，位姿信息可以为针对目标物的预设坐标系的3d坐标(即6d姿态信息xyzuvw)描述，刚体在3维空间的运动可以用3d坐标(共6个自由度)描述，具体的，可以分为旋转和平移，各为3个自由度。刚体在3维空间的平移是普通的线性变换，可以使用一个3x1的向量描述平移位置；而旋转姿态常用的描述方式包括但不限于：旋转矩阵、旋转向量、四元数、欧拉角和李代数。

具体的，可以根据传统的基于图像的目标识别方法(比如:边缘提取、关键点/关键线提取和/或模板匹配的方法等等)、人工智能的方法或某些体感设备自带的手势解析方法识别出序列图像中的每张图像中的上述手势信息或者双指/单指的位姿信息。

在一个实施例中，上述关键点/关键线的提取可以为提取图像中的关键点和/或关键线的2d坐标。该关键点可以为归属目标物上的关键点；或者为包围目标物的最小体积的包围框的顶点，下面对上述两种情况分别进行详细描述：

进一步，在一个实施例中，该关键点可以为包围目标物的最小体积的包围框的8个顶点,即识别各个关键点在2d图像上的投影点的2d坐标，或者模型可以直接输出标注投影点后的图像数据；在一个实施例中，除上述各个顶点外还可以进一步计算得到包围框的中心点(即一共9个关键点)，结合上述关键点的2d信息基于某些算法(比如：PNP)，得到双指或单指的位姿信息。

进一步，在一个实施例中，可以基于概率预测图的方式识别出归属目标物上的关键点。即对图像的每一个像素都进行预测，概率预测图的颜色所表示的含义目前主要有两种。每一个像素点都会预测一个关键点相对于这个像素本身的方向，概率预测图的颜色就代表了这个方向，每一个像素点都会预测当前像素是关键点的可能性，可能性越大，预测值就越高。需要注意的是，通常在关键点附近的像素点的预测值都会很高。根据得到的关键点或线，再基于某些算法，得到双指或单指的位姿信息。

在一个实施例中，模板匹配的方法可以将“双指”看作一个整体，预先建立“双指”在多个离散角度下的模板图像的图像库及每个模板图像对应的“双指”的位姿信息。

需要说明的是，上述图像库可以是基于“双指”在任意状态下建立的，比如：双指张开或者双指合并的情况下。

具体的，位姿识别的目的可以是获得一个物体相对于相机的姿态，想象一个以物体为中心，半径任意的球面，把相机放在这个球面上移动，并对物体拍照，物体的位姿即与图像传感器在球面上的位置有关。把这个球面离散化，图中每一个点都是一个视角，每一个视角都对应了一个位姿信息。通过这样的离散化，因此把原本连续的姿态估计问题转换为一个分类问题，即我们只需要估计出物体的姿态属于哪一个视角即可。

具体的，该模板图像可以为真实拍摄的图像或者是基于3D模型(比如：CAD模型)获取的图像。将获取的序列图像与模板图像，进行匹配，找出能够完成匹配的模板图像，则对应可以得到该模板图像对应的“双指”的位姿信息，该角度即为双指的旋转角度的示教手势信息。采用这种方法的位姿识别的精度取决于离散化程度，离散得越精细，位姿识别精度越高。

在一个实施例中，人工智能的方法是指基于输入的图像，可以直接输出手势信息、位姿信息或者上述关键点/关键线等等。

具体的，网络模型可以包括但不限于卷积神经网络(CNN)，常见的CNN模型可以包括但不限于：LeNet，AlexNet，ZFNet，VGG，GoogLeNet，Residual Net，DenseNet，R-CNN，SPP-NET，Fast-RCNN，Faster-RCNN，YOLO，SSD，BB8,YOLO-6D，Deep-6dPose，PoseCNN,Hourglass和/或CPN以及其他现在已知或将来开发的网络模型结构。

具体的，训练方法可以采用监督学习、半监督学习或无监督学习等等现在已有或者将来开发的训练方法。

需要说明的是，上述手势信息可以包括但不限于:“双指或单指”、“0指”、“双指合并”、“双指分开”、“双指或单指旋转”和/或“双指或单指的运动轨迹”。下面分别进行进一步详细说明。

在一个实施例中，示教对象伸出的双指M1(如图1-4所示)或单指M2(如图5所示)出现在图像传感器13的图像采集视野范围内，控制单元12可以基于上述传统的图像处理方法或者人工智能的方法提取图像中双指或单指的轮廓、关键点/关键线等等，则根据提取的信息，判断是否包括“双指”或“单指”的手势信息。

如图6所示，在一个实施例中，示教对象的双指或单指收回，以拳头M3出现在图像传感器的图像采集视野范围内，比如：当在图像中没有提取到双指或单指的关键点/关键线、轮廓等等时，则可以判断是否为“0指”的手势信息。

如图1或图2所示，在一个实施例中，对于“双指合并”、“双指分开”的手势信息。比如：通过分别识别图像中两个手指的关键点/关键线以进行判断。以包括框为例，可以基于图像识别出分别包围双指的两个最小体积包围框的各个顶点的2d坐标，基于包围框的各个顶点的2d坐标分别得到两个手指的位姿信息(比如：如图7或图8所示，以各手指中心点F1、F2为各手指坐标系的原点)，进而计算两个手指之间的距离，从而生成对应的手势信息，比如：判断当两个手指之间的距离是否大于某一预设值，若大于，视为“双指分开”的手势信息；当两个手指之间的距离小于某预设值时，视为“双指合并”的手势信息。

又比如：可以基于图像识别出双指的两个轮廓，以轮廓上预设的某点(比如：指尖、指根或指中)或线为基准，求取该点或线的位姿信息，进而判断两个手指之间的距离是否大于某阈值。

进一步，在一个实施例中，“双指分开”的手势信息还可以进一步包括基于双指之间的位姿信息得到的双指分开距离(比如:分开3cm)的手势信息。

上述识别方法也可以基于人工智能的方法实现，即将图像输入姿态识别模型后，输出双指的位姿信息，基于位姿信息进一步判断“双指合并”或“双指分开”的结果的手势信息；或者直接输出判断“双指合并”或“双指分开”的结果的手势信息等等。

如图3所示，在一个实施例中，可以将“双指”看作一个整体。对于“双指旋转”的手势信息的识别，可以基于上述模板匹配的方法，比如：预先建立双指在多个离散角度下的模板图像的模板库及每个图像对应的位姿信息，将获取的序列图像与模板图像进行匹配，找出能够完成匹配的模板图像及该模板图像对应的位姿信息，基于当前时刻和上一时刻“双指”的位姿信息，可以计算出“双指”在当前时刻相对上一时刻的旋转角度的手势信息，根据序列图像可以识别出“双指”示教旋转运动轨迹的手势信息。同理，除了上述“双指旋转”的手势信息之外，也可以以“单指旋转”实现与“双指旋转”同样示意的手势信息。

如图4或图5所示，在一个实施例中，将“双指”看作一个整体，或者图像中只出现“单指”，对于“双指”或“单指”的运动轨迹的识别，通过对图像的解析生成“双指”或“单指”在某个时刻的位姿等等运动信息，根据序列图像可以求得双指或单指的示教运动轨迹的手势信息；具体的，可以基于上述模板匹配的方法识别“双指”或“单指”的位姿信息；或者识别“双指”或“单指”关联的关键点/关键线，根据关键点/或线生成“双指”或“单指”的位姿信息。

需要说明的是，上述各个手势信息的识别方法，并不限于上述各个实施例列举的基于图像的目标识别方法、人工智能的方法或某些体感设备自带的手势解析方法，任何现在已有或者将来开发的基于图像识别手势信息或者基于图像识别双指/单指的位姿信息，再基于位姿信息生成手势信息等等的方法都属于本发明包括的范围内。

步骤S130结合手势信息，基于映射规则，生成控制指令。

基于预设的映射规则，根据上面实施例识别得到的各个手势信息可以对应生成各种控制指令，下面进行进一步详细说明。

继续如图1-5所示，在一个实施例中，上述“双指”或“单指”的手势信息可以对应示教启动控制指令的映射规则。即当判断图像中出现“双指”或“单指”时，视为示教开始。

继续如图6所示，在一个实施例中，上述“0指”的手势信息可以对应示教结束指令的映射规则。即当判断图像中出现“0指”时，视为示教结束。

继续如图1和2所示，在一个实施例中，双指M1合并的手势,对应夹爪111合并的控制指令的映射规则；双指M1分开的手势信息,对应夹爪111分开预设距离的控制指令的映射规则，在一个实施例中，也可以根据上面实施例所述的基于双指分开距离的手势信息，对应控制夹爪分开对应距离的控制指令的映射规则。

继续如图3所示，在一个实施例中，双指M1旋转的手势信息，代表夹爪111整体旋转的控制指令，因此基于序列图像即可生成双指旋转轨迹的示教手势信息，进而生成对应夹爪旋转(包括旋转角度)的控制指令的映射规则。在一个实施例中，夹爪通过法兰固定在机械手的末端的驱动单元的输出端，可以由该驱动单元驱动实现旋转。同理，该映射规则也可以适用于上述“单指旋转”的手势信息。

继续如图4或图5所示，在一个实施例中，双指M1或单指M2的运动轨迹的手势信息，代表机械手末端111(比如：以末端执行器的中心点为机械手末端坐标系的原点)的运动轨迹规划。因此基于序列图像即可生成双指或单指运动轨迹的示教手势信息，进而生成对应的机械手末端的运动轨迹规划的控制指令。

具体的机械手末端的运动轨迹规划的控制指令可以是机械手末端由起点到终点的整个运动轨迹规划的控制指令，或者是为实现上述运动轨迹规划对应得到的机械手各个关节依次的位移、速度/角速度和/或加速度/角加速度等等。

进一步，在一个实施例中，映射规则还可以包括比例因素，比如：1：1，比如：手势信息显示双指转动50度，可以代表机械手的夹爪转动50度，或者1：10(比如：手势信息显示移动5cm,可以代表机械手的末端实际移动50cm)。

如图10述，在一个实施例中，机械手的示教方法可以包括如下方法步骤：

步骤S210获取基于双指的示教活动的当前图像；

步骤S220基于当前图像，识别双指的当前手势信息；

步骤S230基于当前手势信息，基于映射规则，判断示教活动是否为开始；

若是，步骤S240结合当前手势信息，基于映射规则，生成当前控制指令；若否，执行步骤S210的步骤。

通过基于示教对象的双指的简单示教行为，即可以完成针对包括末端执行器的机械手的示教活动，实现针对机械手的简单、快速、准确的示教。

有关机械手的示教方法的其它相关描述参见上面的实施例，在此不再重复赘述。

应该理解的是，虽然图9或图10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图9或图10的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图11所示，提供一种机械手示教装置，该机械手示教装置包括：

图像获取模块110，用于基于双指的示教活动的序列图像；

手势识别模块120，用于基于序列图像，识别双指的手势信息；

示意生成模块130，用于结合手势信息，基于映射规则，生成机械手的控制指令。

在一个实施例中，如图12所示，提供一种机械手示教装置，该机械手示教装置包括：

图像获取模块210，用于基于双指的示教活动的当前图像；

手势识别模块220，用于基于当前图像，识别双指的当前手势信息；

手势识别模块220，用于基于当前手势信息，判断是否开始示教活动；

示意生成模块230，用于若是，步骤S240结合当前手势信息，基于映射规则，生成机械手的控制指令若否，执行获取当前图像的步骤。

关于上述机械手示教装置的具体限定可以参见上文中对于机械手示教方法的限定，在此不再赘述。上述机械手示教装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图13所示，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述机械手示教方法的步骤。

在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述机械手示教方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的属于只是为了描述具体的实施方式的目的，不是用于限制本发明。

本发明的权利要求书和说明书及上述附图中的术语“第一”、“第二”、“第三”、“S110”、“S120”“S130”等等(如果存在)是用来区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换或在某些情况下同时发生，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如：包括了一系列步骤或者模块的过程、方法、***、产品或机器人不必限于清楚地列出的那些步骤或者模块，而是包括没有清楚地列出的或对于这些过程、方法、***、产品或***固有的其它步骤或模块。

需要说明的是，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的结构和模块并不一定是本发明所必须的。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机械手示教方法，其特征在于，所述机械手示教方法包括：

获取基于双指的示教活动的序列图像；

基于所述序列图像，识别所述双指的手势信息；

结合所述手势信息，基于映射规则，生成控制指令。

2.根据权利要求1所述的机械手示教方法，其特征在于，所述手势信息包括：“双指或单指”、“0指”、“双指合并”、“双指分开”、“双指或单指旋转”和/或“双指或单指的运动轨迹”。

3.根据权利要求1或2所述的机械手示教方法，其特征在于，所述映射规则包括：所述手势信息对应所述机械手的末端的运动轨迹规划的控制指令；和/或

所述手势信息对应所述机械手的末端执行器的打开和/或关闭的控制指令；和/或

所述手势信息对应所述机械手的末端执行器的旋转的控制指令；和/或

所述手势信息对应所述示教的开始和/或结束的控制指令。

4.根据权利要求3所述的机械手示教方法，其特征在于，所述映射规则还包括比例因素的规则。

5.一种机械手示教方法，其特征在于，所述机械手示教方法包括：

获取基于双指的示教活动的当前图像；

基于所述当前图像识别所述双指的当前的手势信息；

基于所述当前手势信息，基于映射规则，判断所述示教是否开始；

若是，结合所述当前的手势信息和上一时刻的手势信息，基于所述映射规则，生成当前控制指令；若否，执行获取所述当前图像的步骤。

6.一种机械手示教装置，其特征在于，所述机械手示教装置包括：

图像获取模块，用于获取基于双指的示教活动的序列图像；

手势识别模块，用于基于所述序列图像，识别所述双指的手势信息；

示意生成模块，用于结合所述手势信息，基于映射规则，生成控制指令。

7.一种机械手示教装置，其特征在于，所述机械手示教装置包括：

图像获取模块，用于获取基于双指的示教活动的当前图像；

手势识别模块，用于基于当前图像识别双指的当前手势信息；

示教判断模块，用于基于当前手势信息，判断所述示教是否开始；

示意生成模块，用于若是，结合所述当前的手势信息和上一时刻的手势信息，基于映射规则，生成当前控制指令；若否，执行获取所述当前图像的步骤。

8.一种***，其特征在于，所述***包括：机械手、图像传感器和控制单元；

所述图像传感器和所述机械手分别通信连接所述控制单元；

所述图像传感器，用于采集所述序列图像；

所述控制单元，用于获取基于双指的示教活动的序列图像；基于序列图像，识别所述双指的手势信息；结合所述手势信息，基于映射规则，生成机械手的控制指令；或

所述图像传感器，用于采集所述当前图像；

用于获取基于双指的示教活动的当前图像；基于所述当前图像识别双指的当前的手势信息；基于所述当前的手势信息，基于映射规则，判断所述示教是否开始；若是，结合所述当前的手势信息和上一时刻的手势信息，基于所述映射规则，生成当前控制指令；若否，执行获取所述当前图像的步骤；

所述机械手，用于根据所述控制指令或所述当前控制指令执行对应的动作。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一项所述的机械手示教方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的机械手示教方法。

Images