CN113942009B - 机器人仿生手抓取方法 - Google Patents

Abstract

本公开提供了一种机器人仿生手抓取方法，包括：获取目标物体图像；分析目标物体图像，获取目标物体的视觉信息；基于目标物体的视觉信息，确定机器人仿生手的视觉抓取参数；基于机器人仿生手的视觉抓取参数，进行目标物体抓取；获取目标物体的触觉信息以及抓取结果；基于目标物体的触觉信息及目标物体的视觉信息，获取目标物体的软硬属性数据；以及基于目标物体的软硬属性数据，调整机器人仿生手的触觉抓取参数并持续抓取。

Description

机器人仿生手抓取方法

技术领域

本公开涉及一种机器人仿生手抓取方法，属于机器人技术领域。

背景技术

随着机器人技术的不断发展，机器人已经应用于各种各样的领域，代替人完成复杂的工作。

当机器人被用于不同领域时，其工作内容不一样，需要为机器人定制不同的手爪，且传统的机器人手爪都是基于人工示教或视觉引导的方式，无法应对不同材质的物体，容易造成软材质物体的损伤。

如何根据物体的软硬程度来规划正确的操作动作，保证所操作的物体不掉落、不破损，是当前机器人领域的难点。

发明内容

为了解决上述技术问题之一，本公开提供了一种机器人仿生手抓取方法。

根据本公开的一个方面，本公开提供了一种机器人仿生手抓取方法，其包括：

获取目标物体图像；

将目标物体图像输入视觉检测神经网络模型进行识别，获得目标物体的视觉信息，所述视觉信息包括目标物体横坐标、目标物体纵坐标、目标物体宽、目标物体高以及目标物体类别；

基于所述目标物体的视觉信息，确定机器人仿生手的视觉抓取参数；

基于所述机器人仿生手的视觉抓取参数，进行目标物体抓取；

获取所述目标物体的触觉信息以及抓取结果；

基于所述目标物体的触觉信息及目标物体的视觉信息，获取目标物体的软硬属性数据；以及

基于所述目标物体的软硬属性数据，调整机器人仿生手的触觉抓取参数并持续抓取；

其中，所述视觉检测神经网络模型的参数设置，包括：卷积层数6，池化层数6，训练次数10000、每批训练样本数20、学习率0.001；

所述视觉检测神经网络模型的训练过程，包括：

采集视觉样本，包括：利用深度相机采集包含目标物体的图像，对图像进行目标预处理，获取图像标签信息，所述预处理包括对所述包含目标物体的图像进行缩放，所述获取图像标签信息包括获取图像中目标物体横坐标、目标物体纵坐标、目标物体宽、目标物体高以及目标物体类别；

将采集的视觉样本的训练集输入视觉检测神经网络模型进行训练，获得经训练的视觉检测神经网络模型；以及

将采集的视觉样本的测试集输入视觉检测神经网络模型进行测试验证，经验证通过后，获得可用的视觉检测神经网络模型；

所述获取所述目标物体的触觉信息以及抓取结果，包括：机器人仿生手的触觉传感器对不同的接触点位按照时间序列获取接触力数据，以及在对应时间序列中的抓取结果，所述接触力数据形成以时间和点位对应的二维数组；

所述基于所述目标物体的触觉信息及目标物体的视觉信息，获取目标物体的软硬属性数据，包括：将所述目标物体的接触力数据形成以时间和点位对应的二维数组以及目标物体类别输入触觉检测神经网络模型进行识别，获得目标物体的软硬属性数据；

所述触觉检测神经网络模型为循环神经网络模型，所述循环神经网络模型的参数设置包括：隐含层数64、训练次数10000、每批训练样本数20、学习率0.001；所述触觉检测神经网络模型建立过程包括：

采集触觉样本，在时间序列范围内，对不同的接触点位，所述采集触觉样本，所述采集触觉样本在每采集一个视觉样本时进行；

将采集的触觉样本的训练集输入触觉检测神经网络模型进行训练，获得经训练的触觉检测神经网络模型；以及

将采集的触觉样本的测试集输入所述经训练的触觉检测神经网络模型进行测试验证，验证通过后，获得可用的触觉检测神经网络模型。

根据本公开至少一个实施方式的机器人仿生手抓取方法，所述获取目标物体的图像，包括：

通过深度相机获取目标物体图像，所述深度相机安装在机器人上方，且与机器人无接触。

根据本公开至少一个实施方式的机器人仿生手抓取方法，所述基于所述目标物体的视觉信息，确定机器人仿生手的视觉抓取参数，包括：

基于所述目标物体的视觉信息，确定机器人仿生手的运动轨迹及抓取姿态。

根据本公开至少一个实施方式的机器人仿生手抓取方法，所述基于所述目标物体的软硬属性数据，调整机器人仿生手的触觉抓取参数，包括：

基于所述目标物体的软硬属性数据，调整机器人仿生手和目标物体的接触力大小。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是根据本公开的一个实施方式的机器人仿生手抓取方法流程示意图。

图2是根据本公开的一个实施方式的视觉检测神经网络结构示意图。

图3是根据本公开的一个实施方式的触觉检测循环神经网络结构示意图。

图4是根据本公开的一个实施方式的视触觉样本采集方法流程示意图。

图5是根据本公开的一个实施方式的装满金属的盒子示意图。

图6是根据本公开的一个实施方式的空盒子示意图。

图7是根据本公开的一个实施方式的触觉数据样本示意图。

图8是根据本公开的一个实施方式的触觉数据样本详情示意图。

图9是根据本公开的一个实施方式的机器人仿生手抓取***结构示意图。

附图标记说明

1000 机器人仿生手抓取***

1002 机器人仿生手

1004 视觉信息采集模块

1006 触觉信息采集模块

1008 视觉分析模块

1010 触觉分析模块

1012 抓取控制模块

1100 总线

1200 处理器

1300 存储器

1400 其他电路。

具体实施方式

下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。

除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。

在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。

当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。

为了描述性目的，本公开可使用诸如“在……之下”、“在……下方”、“在……下”、“下”、“在……上方”、“上”、“在……之上”、“较高的”和“侧(例如，如在“侧壁”中)”等的空间相对术语，从而来描述如附图中示出的一个部件与另一(其它)部件的关系。除了附图中描绘的方位之外，空间相对术语还意图包含设备在使用、操作和/或制造中的不同方位。例如，如果附图中的设备被翻转，则被描述为“在”其它部件或特征“下方”或“之下”的部件将随后被定位为“在”所述其它部件或特征“上方”。因此，示例性术语“在……下方”可以包含“上方”和“下方”两种方位。此外，设备可被另外定位(例如，旋转90度或者在其它方位处)，如此，相应地解释这里使用的空间相对描述语。

这里使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。

图1是根据本公开的一个实施方式的机器人仿生手抓取方法流程示意图。

如图1所示，一种机器人仿生手抓取方法S100，包括：

S102：获取目标物体图像；

S104：分析目标物体图像，获取目标物体的视觉信息；

S106：基于目标物体的视觉信息，确定机器人仿生手的视觉抓取参数；

S108：基于机器人仿生手的视觉抓取参数，进行目标物体抓取；

S110：获取目标物体的触觉信息以及，抓取结果；

S112：基于目标物体的触觉信息及目标物体的视觉信息，获取目标物体的软硬属性数据；以及，

S114：基于目标物体的软硬属性数据，调整机器人仿生手的触觉抓取参数并持续抓取。

其中，获取目标物体的图像，包括：

通过深度相机获取目标物体图像，深度相机安装在机器人上方，且与机器人无接触。

其中，分析目标物体图像，获取目标物体的视觉信息，包括：

将目标物体图像输入视觉检测神经网络模型进行识别，获得目标物体的视觉信息，视觉信息包括目标物体横坐标、目标物体纵坐标、目标物体宽、目标物体高以及，目标物体类别。

其中，视觉检测神经网络模型的参数设置，包括：卷积层数6，池化层数6，训练次数10000、每批训练样本数20、学习率0.001；

视觉检测神经网络模型的训练过程，包括：

采集视觉样本，包括：利用深度相机采集包含目标物体的图像，对图像进行目标预处理，获取图像标签信息，预处理包括对包含目标物体的图像进行缩放，获取图像标签信息包括获取图像中目标物体横坐标、目标物体纵坐标、目标物体宽、目标物体高以及，目标物体类别；

将采集的视觉样本的训练集输入视觉检测神经网络模型进行训练，获得经训练的视觉检测神经网络模型；以及，

将采集的视觉样本的测试集输入视觉检测神经网络模型进行测试验证，经验证通过后，获得可用的视觉检测神经网络模型。

其中，基于目标物体的视觉信息，确定机器人仿生手的视觉抓取参数，包括：

基于目标物体的视觉信息，确定机器人仿生手的运动轨迹及抓取姿态。

其中，获取目标物体的触觉信息以及，抓取结果，包括：

机器人仿生手的触觉传感器对不同的接触点位按照时间序列获取接触力数据，以及，在对应时间序列中的抓取结果，接触力数据形成以时间和点位对应的二维数组。

其中，基于目标物体的触觉信息及目标物体的视觉信息，获取目标物体的软硬属性数据，包括：

将目标物体的接触力数据形成以时间和点位对应的二维数组以及，目标物体类别输入触觉检测神经网络模型进行识别，获得目标物体的软硬属性数据。

其中，触觉检测神经网络模型为循环神经网络模型，

循环神经网络模型的参数设置包括：隐含层数64、训练次数10000、每批训练样本数20、学习率0.001；

触觉检测神经网络模型建立过程包括：

采集触觉样本，在时间序列范围内，对不同的接触点位，采集触觉样本，采集触觉样本在每采集一个视觉样本时进行。

将采集的触觉样本的训练集输入触觉检测神经网络模型进行训练，获得经训练的触觉检测神经网络模型；以及，

将采集的触觉样本的测试集输入经训练的触觉检测神经网络模型进行测试验证，验证通过后，获得可用的触觉检测神经网络模型。

其中，基于目标物体的软硬属性数据，调整机器人仿生手的触觉抓取参数，包括：

基于目标物体的软硬属性数据，调整机器人仿生手和目标物体的接触力大小。

综上，通过对目标物体的视觉信息的获取和分析，可以实现对目标进行检测、分类和定位，当机器人靠近物体后，通过触觉就能够得到物体的软硬属性，然后根据物体材质属性控制机器人仿生手进行不同的抓取策略，调节抓取力的大小以及抓取的位置和姿态，从而完成物体的稳定、安全的抓取。

通过视觉信息对目标进行检测、分类和定位，当机器人靠近物体后，通过触觉就能够得到物体的软硬属性，然后根据物体材质属性控制***进行不同的抓取策略，调节抓取力的大小以及抓取的位置和姿态，从而完成物体的稳定、安全的抓取。通过模拟人类专家的认知思想，构建视触觉状态经验知识库，通过机器人与环境交互学习，借助视觉和力觉感知机器人工作过程中的状态，累积并更新机器人经验知识库，监控机器人作业过程中的执行状态，并基于深度学习方法评价机器人工作完成状态，判断是否成功。由此可知，能够帮助机器人代替人更好完成各种复杂的工作，提高生产工作效率。

图2是根据本公开的一个实施方式的视觉检测神经网络结构示意图。

如图2所示，图像输入：[512,512,3]，图片尺寸512×512，三通道，各个卷积层和池化层的输入和输出的数据维度如下：

第一层卷积层，参数：[5,5,3,32]，卷积核5×5，输入通道3，输出通道32，激活函数使用relu，输入：512×512×3，输出：512×512×32；

第一层池化层，最大池化处理，输入：512×512×32，输出为256×256×32；

第二层卷积层，参数：[5,5,32,64]，卷积核5×5，输入通道32，输出通道64，激活函数使用relu，输入：256×256×32，输出：256×256×64；

第二层池化层，最大池化处理，输入：256×256×64，输出为128×128×64；

第三层卷积层，参数：[3,3,64,128]，卷积核5×5，输入通道64，输出通道128，激活函数使用relu，输入：128×128×64，输出：128×128×128；

第三层池化层，最大池化处理，输入：128×128×128，输出为64×64×128；

第四层卷积层，参数：[3,3,64,128]，卷积核5×5，输入通道128，输出通道192，激活函数使用relu，输入：64×64×128，输出：64×64×192；

第四层池化层，最大池化处理，输入：64×64×192，输出为32×32×192；

第五层卷积层，参数：[3,3,192,256]，卷积核3×3，输入通道192，输出通道256，激活函数使用relu，输入：32×32×192，输出：32×32×256；

第五层池化层，最大池化处理，输入：32×32×256，输出为16×16×256；

第六层卷积层，参数：[3,3,256,512]，卷积核3×3，输入通道256，输出通道512，激活函数使用relu，输入：16×16×256，输出：16×16×512；

第六层池化层，最大池化处理，输入：16×16×512，输出为8×8×512；

全连接层1，将上一个输出结果展平，输入：8×8×512，输出：1024；

全连接层2，输出得物体类别，输入：1024，输出：N(自定义，等于采集样本的类别数)。

图3是根据本公开的一个实施方式提供的触觉检测循环神经网络的结构示意图。

如图3所示，触觉检测循环神经网络结构，包括：

网络输入层：x的特征维度，这里选择的的25个连续时间序列；

隐含层：隐含层的特征维度，确定了隐含状态hidden_state的维度，可以简单的看成构造了一个权重，这里隐含层选取为64；以及，

LSTM层：LSTM层数，默认为1。

综上，本发明通过模拟人类专家的认知思想，构建视触觉状态经验知识库，通过机器人与环境交互学习，借助视觉和力觉感知机器人工作过程中的状态，累积并更新机器人经验知识库，监控机器人作业过程中的执行状态，并基于深度学习方法评价机器人工作完成状态，判断是否成功。本发明能够帮助机器人代替人完成各种复杂的工作，提高生产工作效率。

图4是根据本公开的一个实施方式的机器人仿生手抓取***结构示意图。

该装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。

该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线将包括一个或多个处理器、存储器和/或硬件模块的各种电路连接到一起。总线还可以将诸如***设备、电压调节器、功率管理电路、外部天线等的各种其它电路连接。

总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，ExtendedIndustry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。

就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。

应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。

此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

图4是根据本公开的一个实施方式的视触觉样本采集方法流程示意图。

如图4所示，视触觉样本采集方法S200包括：

S201：放置目标物体后，启动执行采集任务；

S202：手动控制机器人运动，至接近目标物体；

S203：相机拍照，采集目标物体视觉信息；

S204：对目标物体进行预抓取，同时，通过触觉感应，获取触觉数据；

S205：判断是否抓取成功，如果抓取成功，到S206，否则到S204；

S206：移动目标物体，并到S207；以及，

S207：判断目标物体是否滑动，如果产生滑动，到S205，否则，到S201。

图5是根据本公开的一个实施方式的装满金属的盒子示意图。

图6是根据本公开的一个实施方式的空盒子示意图。

图7是根据本公开的一个实施方式的触觉数据样本示意图。

图8是根据本公开的一个实施方式的触觉数据样本详情示意图。

图9是根据本公开的一个实施方式的机器人仿生手抓取***结构示意图。

如图9所示，一种机器人仿生手抓取***1000，包括：

机器人仿生手1002，用于抓取物体；

视觉信息采集模块1004，用于采集目标物体图像，优选地，视觉信息采集模块为深度相机，深度相机安装在机器人上方，且与机器人无接触；

触觉信息采集模块1006，用于采集目标物体触觉信息，优选地，触觉信息采集模块为阵列式触觉传感器，阵列式触觉传感器置于仿生手的手爪本体上；

视觉分析模块1008，用于对目标物体图像进行分析，获得目标物体类别、目标物***置以及，目标物体尺寸；

触觉分析模块1010，与机器人仿生手通信连接，用于接收并分析触觉信息采集模块采集的数据，获得物体材质的软硬属性数据；以及，

抓取控制模块1012，与机器人仿生手通信连接，基于目标物体的类别、目标物***置、目标物体尺寸以及，目标物体软硬属性数据，控制机器人仿生手抓取物体。

在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (4)

1.一种机器人仿生手抓取方法，其特征在于，包括：

获取目标物体图像；

将目标物体图像输入视觉检测神经网络模型进行识别，获得目标物体的视觉信息，所述视觉信息包括目标物体横坐标、目标物体纵坐标、目标物体宽、目标物体高以及目标物体类别；

基于所述目标物体的视觉信息，确定机器人仿生手的视觉抓取参数；

基于所述机器人仿生手的视觉抓取参数，进行目标物体抓取；

获取所述目标物体的触觉信息以及抓取结果；

基于所述目标物体的触觉信息及目标物体的视觉信息，获取目标物体的软硬属性数据；以及

基于所述目标物体的软硬属性数据，调整机器人仿生手的触觉抓取参数并持续抓取；

其中，所述视觉检测神经网络模型的参数设置，包括：卷积层数6，池化层数6，训练次数10000、每批训练样本数20、学习率0.001；

所述视觉检测神经网络模型的训练过程，包括：

采集视觉样本，包括：利用深度相机采集包含目标物体的图像，对图像进行目标预处理，获取图像标签信息，所述预处理包括对所述包含目标物体的图像进行缩放，所述获取图像标签信息包括获取图像中目标物体横坐标、目标物体纵坐标、目标物体宽、目标物体高以及目标物体类别；

将采集的视觉样本的训练集输入视觉检测神经网络模型进行训练，获得经训练的视觉检测神经网络模型；以及

将采集的视觉样本的测试集输入视觉检测神经网络模型进行测试验证，经验证通过后，获得可用的视觉检测神经网络模型；

所述获取所述目标物体的触觉信息以及抓取结果，包括：机器人仿生手的触觉传感器对不同的接触点位按照时间序列获取接触力数据，以及在对应时间序列中的抓取结果，所述接触力数据形成以时间和点位对应的二维数组；

所述基于所述目标物体的触觉信息及目标物体的视觉信息，获取目标物体的软硬属性数据，包括：将所述目标物体的接触力数据形成以时间和点位对应的二维数组以及目标物体类别输入触觉检测神经网络模型进行识别，获得目标物体的软硬属性数据；

所述触觉检测神经网络模型为循环神经网络模型，所述循环神经网络模型的参数设置包括：隐含层数64、训练次数10000、每批训练样本数20、学习率0.001；所述触觉检测神经网络模型建立过程包括：

采集触觉样本，在时间序列范围内，对不同的接触点位，所述采集触觉样本，所述采集触觉样本在每采集一个视觉样本时进行；

将采集的触觉样本的训练集输入触觉检测神经网络模型进行训练，获得经训练的触觉检测神经网络模型；以及

将采集的触觉样本的测试集输入所述经训练的触觉检测神经网络模型进行测试验证，验证通过后，获得可用的触觉检测神经网络模型。

2.根据权利要求1所述的机器人仿生手抓取方法，其特征在于，所述获取目标物体的图像，包括：

通过深度相机获取目标物体图像，所述深度相机安装在机器人上方，且与机器人无接触。

3.根据权利要求1所述的机器人仿生手抓取方法，其特征在于，所述基于所述目标物体的视觉信息，确定机器人仿生手的视觉抓取参数，包括：

基于所述目标物体的视觉信息，确定机器人仿生手的运动轨迹及抓取姿态。

4.根据权利要求1所述的机器人仿生手抓取方法，其特征在于，所述基于所述目标物体的软硬属性数据，调整机器人仿生手的触觉抓取参数，包括：

基于所述目标物体的软硬属性数据，调整机器人仿生手和目标物体的接触力大小。

Images