CN107139177A - 一种具备抓取功能的机器人智能末端执行器及控制*** - Google Patents

Abstract

本发明属于机器人和人工智能领域，特别是涉及一种具备抓取功能的机器人智能末端执行器及控制***。一种具备抓取功能的机器人智能末端执行器及控制***，具备多个可活动关节和多个分支结构，可模拟人手或动物爪子的抓取动作。其包含深度学习***、运动控制***、驱动***和通信***。该深度学习***是一个具备深度学习功能的物体识别算法***，通过物体识别算法进行物体形状的预判，进而规划机器人末端执行器多指抓取的动作。该运动控制***包括基于现场可编程门阵列（FPGA）的主控模块、通信模块、存储模块和数字信号算法处理模块。该驱动***包括一个基于微控制单元（MCU）的指关节驱动器，该驱动器使用小尺寸的特制电机，采用钢丝耦合的方式通过一个电机控制多个关节的驱动。该通信***包括一个菊花链式的通信***，采用并行处理方式，将末端执行器多个部件的数据同时传入主控模块进行实时的数据融合处理，并将主控模块的不同控制指令分别分发给末端执行器的各个部件。

Description

一种具备抓取功能的机器人智能末端执行器及控制***

技术领域

本发明属于机器人和人工智能领域，特别是涉及一种具备抓取功能的机器人智能末端执行器及控制***。

背景技术

随着机器人技术的飞速发展，其应用领域日益扩大。作为机器人与环境相互作用的执行部件，末端执行器对机器人智能化水平和作业水平的提高具有十分重要的作用。机器人的末端执行器，在不同的领域有不同的名称，工业机器人上它被称为机械臂，其抓取方式单一，缺少灵活性。类人手的机器人末端执行器从3指发展到了更符合人体工学的5指，自由度也不断的增加，驱动和传动方式也各式各样。现在大部分的类人手的机器人末端执行还未有自主识别和深度学习功能，大多是通过数据手套反馈控制信号，进行末端执行器的控制。现在还未有通过自主识别，进行自主工作的机器人末端执行器。

由于现有的机器人末端执行器多基于数据手套，通过电机驱动连杆传动、电机驱动齿轮钢丝复合传动、气动驱动腱传动等方式进行驱动和传动，这些传动方式存在一些弊端：1、机器人末端执行器不能自主识别，进而进行自主抓取，而是通过外部数据手套等控制，进行被动工作；2、由于驱动和传动方式的限制，机器人末端执行器的自由度配置、尺寸、外观和运动特性等拟人化有限；3、结构、传感器、驱动以及控制***集成化程度不高；4、由于驱动和传动方式的限制，机器人末端执行器的抓取力有限，并不能抓取相对较重的物体。

发明内容

本发明的目的在于克服现有技术中机器人末端执行器不能自主识别、灵活性不高、拟人化程度有限、体积大、抓取力有限等缺陷，通过使用电机驱动齿轮皮带传动的方案，并配置深度学习***，使本发明具备如下优势：

1、通过深度学习***进行自主的物体识别，进行物体预判，从而选择抓取方案，自主抓取各种具备不同规则形状的物体；

2、由于使用电机驱动齿轮皮带传动的方式，使得机器人末端执行器的自由度更高，可达到17个自由度，手指多达5指，指长95mm，指宽20mm。从外观、尺寸、自由度配置以及运动特性等更加拟人化；

3、本发明的机器人末端执行器具有位置、力（力矩）、触觉和温度等多种感知功能，能更好的与外界环境交互；

4、由于使用电机驱动齿轮皮带传动的方式，使得本发明的机器人末端执行器的驱动力更大，能轻易的拿起铁块等重物；

5、驱动器内置于本发明的机器人末端执行器内部，使得本执行器的集成化程度更高，且具有模块化的优势。

为达到上述目的，本发明是通过下述技术方案实现的：

一种具备抓取功能的机器人智能末端执行器及控制***，包含深度学习***、运动控制***、驱动***和通信***。

所述的机器人智能末端执行器及控制***，其具备多个可活动关节和多个分支结构，可模拟人手或动物爪子的抓取动作。

所述的机器人智能末端执行器及控制***，该深度学习***是一个具备深度学习功能的物体识别算法***，通过物体识别算法进行物体形状的预判，进而规划末端执行器抓取的动作。

所述的机器人智能末端执行器及控制***，该运动控制***包括基于现场可编程门阵列（FPGA）的主控模块、通信模块、存储模块和数字信号算法处理模块。

所述的机器人智能末端执行器及控制***，该FPGA主控模块包含一个EMIF总线接口，用于与数字信号处理器进行通信，将FPGA等同于一个挂在数字信号处理器上的传感器数据存储器。

所述的机器人智能末端执行器及控制***，该运动控制***包括一个基关节控制模块，该模块的通信***是四向通信，包括与指关节控制模块进行双向通信，和与手掌进行双向通信。

所述的机器人智能末端执行器及控制***，该驱动***包括一个基于微控制单元（MCU）的指关节驱动器，该驱动器使用小尺寸的特制电机，采用钢丝耦合的方式通过一个电机控制多个关节的驱动。

所述的机器人智能末端执行器及控制***，该通信***包括一个菊花链式的通信***，该通信***采用并行处理方式，将多个手指的数据同时传入主控模块进行实时的数据融合处理，并将主控模块的不同控制指令分别分发给各个手指。

所述的机器人智能末端执行器及控制***，包括一个传感***，该传感***由触摸传感器、力矩传感器、位置传感器、温度传感器、电流传感器等多种传感器构成。

综上所述，本发明通过使用电机驱动齿轮皮带传动的方案，并配置深度学习***，使本发明能够进行自主的物体识别，进行物体预判，从而选择抓取方案，从而自主抓取各种具备不同规则形状的物体；由于使用电机驱动齿轮皮带传动的方式，使得灵巧手的自由度更高，可达到17个自由度，手指多达5指，指长95mm，指宽20mm。从外观、尺寸、自由度配置以及运动特性等更加拟人化；本发明具有位置、力（力矩）、触觉和温度等多种感知功能，能更好的与外界环境交互；由于使用电机驱动齿轮皮带传动的方式，使得本发明的驱动力更大，能轻易的拿起铁块等重物；驱动器置于末端执行器内部，使得本发明的集成化程度更高，且具有模块化的优势。

前面所述的为本申请的概述，因此必然有简化、概括和细节省略的情况；本领域的技术人员应该认识到，概述部分仅是对本申请的说明，而不应看作是对本申请的任何限定。本说明书中描述的装置和/或方法和/或其他主题的其他方面、特征和优点将会由于本说明书的阐述而变得清晰。概述部分是用来以一种简化的方式导入多个将在以下具体实施方式部分进一步描述的概念。本概述部分既非用于确定所要求保护主题的关键特征或必要特征，也非用来作为确定所要求保护主题的范围的辅助手段。

附图说明

通过下面说明书和所附的权利要求书并与附图结合，就会更加充分地清楚理解本申请的上述和其他特征。应当理解，这些附图仅是对本申请若干实施方式的描述，不应认为是对本申请范围的限定，通过附图，本申请内容将会得到更加明确和详细地说明。

图1是机器人智能末端执行器的电气***总体结构图。

图2是末端执行器及***控制流程图。

具体实施方式

在下面的具体实施方式部分中，结合作为说明书一部分的附图进行说明。在附图中，相同/类似的标记通常表示相同/类似的部件，除非说明书中另有说明。具体实施方式、附图和权利要求书中描述的用来举例说明的实施方式不应认为是对本申请的限定。在不偏离本申请表述的主题的精神或范围的情况下，可以采用本申请的其他实施方式，并且可以对本申请做出其他变化。应该很容易理解，可以对本说明书中一般性描述的、附图中图解说明的本申请的各个方面进行各种不同构成的配置、替换、组合，设计，而所有这些改变都显然在预料之中，并构成本申请的一部分。

参考图1，一种具备抓取功能的机器人智能末端执行器，包含深度学习***、运动控制***、驱动***、通信***和传感***。在电气***设计上，本发明由上到下的以遥操作层、外部命令层、高层控制、通信层、底层控制来布局。遥操作层以深度学习***和图形化数控软件构成。深度学习***主要是指基于深度学习算法的物体识别算法，它通过物体识别算法进行物体形状的预判，实现灵巧手多值抓取的规划算法。外部命令层为上位机，可以为PC，或ARM。高层控制模块的主要部件是运动控制卡，主要由外部存储模块、FPGA主控模块、通信模块以及数字信号算法处理模块构成。数字信号算法处理模块主要进行算法运算。FPGA主控模块主要用于多路多种传感器的驱动、数据接收、数据处理、数据存储以及通信。EMIF总线接口用于与数字信号处理器进行通信，将FPGA模块等同于一个挂在数字信号处理器上的传感器数据存储器。通信模块包括两个部分，一个是与手掌通信模块，一个是与上位机通信模块。上位机通信模块可用于与其他主控外设，如PC、ARM等进行高速通信。传输速度可根据实际传输要求调节为10M、100M或者1000M。传输协议可根据通信外设要求设置为TCP或UDP等方式。以上调节均只需通过软件指令便可调节，方便实行。在通信层是手掌控制器，主要是指基于FPGA的数据处理***和菊花链式的通信***。菊花链式的通信***通过并行处理方式，将五个手指的数据同时传入FPGA，FPGA进行数据融合处理，实时的将五个手指数据传给运动控制卡。于此同时，手掌控制模块获取了运动控制卡传来的控制指令，通过交互通信协议，将不同的控制指令分发给五个手指。形成了独特的双向菊花链通信架构。在底层控制***中，包括基关节控制模块和指关节控制模块。基关节控制模块主要是指基于MCU的基关节驱动器、传感器***以及通信***。基关节驱动器主要用于控制基关节单元内部的电机，从而控制基关节的弯曲和伸张。传感器其他主要用于基关节两个自由度的位置传感器数据的收集。通信***是四向通信，既可以实现与指节控制模块的双向通信，又可以与手掌进行双向通信。基关节驱动模块通过与谐波减速器并排横置的方式，实现在一个关节具有两个运动自由度。通信***通过使用多传输接口的MCU，实现了指节与基关节数据的上传和控制指令的下达。指节控制模块主要是指基于MCU的指节驱动器、传感***及通信***。指节驱动器主要用于控制手指单元内部的电机，进而控制手指末端的两个关节。传感***主要用于手指关节内部的力矩传感器、位置传感器、温度传感器以及电流传感器等驱动和数据采集。通信***是通过高速RS422将手指末端关节数据传至基关节控制模块。指节驱动器模块使用小尺寸的特制电机，使得手指末端尺寸只有20mm。在结构上通过钢丝耦合的方式实现一个电机控制两个关节的传动。通过使用具有多种接口的MCU，实现了在小尺寸环境下进行多个传感器的传感器数据的高速采集，同时进行高速串行数据传输。在整体的通信方式上，手指、手掌以及运动控制卡通过双向菊花链形式通信。通过主控芯片的并行处理特点，将大量高速的手指传感器数据汇集于手掌，并通过带宽更大的通信方式，将数据传给运动控制***。形成了数据收集的汇集式菊花链。运动控制***给每个手指的控制指令各不相同，根据私有交互通信协议，将控制指令传给手掌主控芯片。手掌主控芯片通过并行处理特点，将指令同时发给五个手指。手指数据的收集和指令下发均可在同一进程时间内执行。如拇指、食指、中指、无名指以小指等多个手指控制模块在同一个时钟周期内进行数据采集和反馈，而不是像单片机等通过顺序执行的方式，第一个进程时间执行拇指，第二个进程时间执行食指，依次进行。这种菊花链式的通信方式在这种多个执行模块情况下极有优势。

参考图2，末端执行器识别并抓取不规则形状物体时，机器人自身的摄像头对三维物体进行识别，获取物体特征。深度学习***进行工作，获取最佳的抓取方案。运动控制卡通过抓取方案，计算出控制指令，并发给手掌控制模块。手掌控制模块将数据发送给各个手指，进而进行抓取。经测试，末端执行器可以成功的拿起大部分的形状不规则的物体，而将物体抬高和摇晃过程中也不会轻易将物体弄掉，测试成功率高达百分之八十。

综上所述，本发明通过使用电机驱动齿轮皮带传动的方案，并配置深度学习***，使本发明能够进行自主的物体识别，进行物体预判，从而选择抓取方案，自主抓取各种具备不同规则形状的物体；由于使用电机驱动齿轮皮带传动的方式，使得灵巧手的自由度更高，可达到17个自由度，手指多达5指，指长95mm，指宽20mm。从外观、尺寸、自由度配置以及运动特性等更加拟人化；本发明具有位置、力（力矩）、触觉和温度等多种感知功能，能更好的与外界环境交互；由于使用电机驱动齿轮皮带传动的方式，使得本发明的驱动力更大，能轻易的拿起铁块等重物；驱动器置于末端执行器内部，使得本发明的集成化程度更高，且具有模块化的优势。

从***角度来说，硬件执行和软件执行之间区别不大；采用硬件或者软件通常(但并非总是，在一些情况下，在硬件和软件之间进行选择会很重要)是反映成本/效率权衡的设计选择。通过其实现本说明书中描述的方法和/或***和/或其他技术的工具(例如硬件、软件、和/或固件)有许多，并且，根据方法和/或***和/或其他技术所处环境不同，所选择的工具也可以不同。例如，如果实施者判定速度和准确性至关重要，则该实施者会选择以硬件和/或固件的工具为主；如果灵活性至关重要，则实施者可能选择以软件执行为主；实施者也可选择硬件、软件和/或固件的某些组合。

前述已通过框图、流程图和/或实施例子进行了详细描述，阐明了本申请装置和/或方法的不同实施方式。当这些框图、流程图和/或实施例包含一个或多个功能和/或操作时，本领域的技术人员会明白，这些框图、流程图和/或实施例中的各功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中，本说明书中描述的主题的几个部分可通过特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机***上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本申请的电路和/或写用于本申请的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。另外，本领域的技术人员会认识到，无论用来实际进行分发的信号承载介质的类型是什么，本说明书中描述的主题的机制能够以各种形式作为程序产品分发，并且，本说明书中描述的主题的示例性实施方式均适用。例如，信号承载介质包括但不限于下列：可记录型介质，如软盘、硬盘、致密盘(CD)、数字视频光盘数字多功能盘(DVD)、数字磁带、计算机存储器等；传输型介质，如数字和/或模拟通讯介质(例如光缆、波导、有线通讯链路、无线通讯链路等)。

本领域的技术人员会认识到，以本说明书中说明的方式描述装置和/或方法，然后进行工程实践以将所描述的装置和/或方法集成到数据处理***中，在本领域里是很常见的。也就是说，本说明书中描述的装置和/或方法中的至少一部分，可通过合理数量的实验集成到数据处理***中。本领域技术人员会认识到，典型的数据处理***通常包括下列中的一个或多个：***单元壳体、视频显示设备、诸如易失性和非易失性存储器之类的存储器、诸如微处理器和数字信号处理器之类的处理器、诸如操作***、驱动程序器、图形用户界面及应用程序之类的计算实体、一个或多个诸如触摸板或触摸屏之类的交互装置、和/或包括反馈回路和控制马达在内的控制***(如检测位置和/或速度的反馈；用于移动和/或调节部件和/或大小的控制马达)。典型的数据处理***可以采用任何合适的、能够通过商业方法得到的部件(如数据计算/通讯和/或网络计算/通讯***中通常会有的那些部件)来实现。

本说明书中描述的主题内容有时会举例说明这样的不同部件，这些部件被包含于或连接于不同的其他部件。应当理解，所描述的这些结构仅仅是示例性的，实际上，也可以用许多其他结构来实现同一功能。从概念上来讲，用于实现同一功能的任何配置的部件都被有效地“关联”以获得所需功能。因此，本说明书中被组合在一起以实现特定功能的任何两个部件可视为相互“关联”以获得所需功能，而不论其结构或可能中间部件如何。同样地，如此关联的任何二个部件也可视为相互“可操作地连接”，亦即“可操作地耦合”以实现所需功能，能够被如此连接的任何两个部件也可视为相互“能够可操作地耦合”以实现所需功能。能够可操作地耦合的具体例子包括但不限于：物理上可耦合的和/或物理上互相作用的部件和/或可无线互相作用的和/或无线互相作用的部件和/或逻辑上互相作用和/或逻辑上可互相作用的部件。

对于本说明书中所用的基本上任何复数和/或单数术语，本领域的技术人员可以将复数解释为单数和/或将单数解释为复数，只要这样做从上下文和/或应用上看是合适的即可。为了清楚起见，在本说明书中可能将各种单数/复数组合明确地表述出来。

本领域技术人员应该明白，一般来说，本申请中，尤其是所附权利要求书(例如，所附权利要求书的正文)中所用的术语通常是“开放式”术语(例如，“包括”一词应该解释为“包括但不限于”，“具有”一词应该解释为“至少具有”，等等)。本领域技术人员还应该明白，如果意图是特定数目的所引入的权利要求限定，那么这种意图会在权利要求中明确地表述出来，如果没有这种表述，则不存在这种意图。例如，为了便于理解，下面所附的权利要求书中可使用引导性短语“至少一项”及“一项或多项”来引入权利要求限定。然而，不应将使用这种引导性短语解释成暗示通过术语“一”引入的权利要求限定，将包含这样引入的权利要求限定的任何特定权利要求限定为仅包含一项这种限定的申请，即使同一权利要求包含引导性短语“一项或多项”或“至少一项”以及诸如“一”之列的术语(例如，“一”通常应该解释成这意味着“至少一项”或“一项或多项”)；这同样适用于使用“所述”、“该”来引述权利要求限定的情况。此外，即使明确表述了特定数目的所引入的权利要求限定，本领域技术人员也应该认识到，这种表述应该解释成表示至少是所表述的数目(例如，只说“两项限定”，而没有其它修饰语，通常是指至少两项限定，亦即两项或更多项限定)。此外，在使用类似于“A、B或C等中的至少一个”的习惯性表述的情况下，通常其要表达的意思就是本领域技术人员会就该惯用表述所理解的那样(例如，“具有A、B或C中的至少一个的***”将包括但不限于仅具有A的***、仅具有B的***、仅具有C的***、具有A和B的***、具有A和C的***、具有B和C的***和/或具有A、B和C的***，等等)。本领域技术人员还会明白，实际上任何能够提供两个或更多选项的选言词和/或短语，无论是在说明书中、权利要求书中还是在附图中，都应该理解为其考虑了包括所述选项中的一个、所述选项中的任一个、或全部二个选项的所有可能性。例如，短语“A或B”应该理解成包括“A”或“B”或者“A和B”的可能性。

本申请中公开了本申请的多个方面和实施方式，本领域的技术人员会明白本申请的其它方面和实施方式。本申请中公开的多个方面和实施方式只是用于举例说明，并非是对本申请的限定，本申请的真正保护范围和精神应当以下面的权利要求书为准。

Claims (9)

1.一种具备抓取功能的机器人智能末端执行器及控制***，包含深度学习***、运动控制***、驱动***和通信***。

2.如权利要求1所述的机器人智能末端执行器及控制***，其具备多个可活动关节和多个分支结构，可模拟人手或动物爪子的抓取动作。

3.如权利要求1或2所述的机器人智能末端执行器及控制***，该深度学习***是一个具备深度学习功能的物体识别算法***，通过物体识别算法进行物体形状的预判，进而规划末端执行器抓取的动作。

4.如权利要求1-3之一所述的机器人智能末端执行器及控制***，该运动控制***包括基于现场可编程门阵列（FPGA）的主控模块、通信模块、存储模块和数字信号算法处理模块。

5.如权利要求4所述的机器人智能末端执行器及控制***，该FPGA主控模块包含一个EMIF总线接口，用于与数字信号处理器进行通信，将FPGA等同于一个挂在数字信号处理器上的传感器数据存储器。

6.如权利要求1-5之一所述的机器人智能末端执行器及控制***，该运动控制***包括一个基关节控制模块，该模块的通信***是四向通信，包括与指关节控制模块进行双向通信，和与手掌进行双向通信。

7.如权利要求1-6之一所述的机器人智能末端执行器及控制***，该驱动***包括一个基于微控制单元（MCU）的指关节驱动器，该驱动器使用小尺寸的特制电机，采用钢丝耦合的方式通过一个电机控制多个关节的驱动。

8.如权利要求1-7之一所述的机器人智能末端执行器及控制***，该通信***包括一个菊花链式的通信***，该通信***采用并行处理方式，将多个手指的数据同时传入主控模块进行实时的数据融合处理，并将主控模块的不同控制指令分别分发给各个手指。

9.如权利要求1-8之一所述的机器人智能末端执行器及控制***，包括一个传感***，该传感***由触摸传感器、力矩传感器、位置传感器、温度传感器、电流传感器等多种传感器构成。