CN106780605A - 一种基于深度学习机器人的目标物抓取位置的检测方法 - Google Patents

Abstract

本发明适用于机器人抓取领域，提供了一种基于深度学习机器人的目标物抓取位置的检测方法，该方法包括如下步骤：通过传感器采集包含目标物的RGB‑D图像；在RGB‑D图像的目标区域内划分候选抓取区域；保持候选抓取区域的长宽比不变，将候选抓取区域的尺寸放大至神经网络输入要求的尺寸；对放大后的候选抓取区域构建输入向量；对输入向量进行白化处理，将所述白化处理后的输入向量输入到训练好的神经网络；获取每个候选抓取区域的得分，将得分最高的候选抓取区域确定为抓取位置。通过获取的目标物的RGB‑D图像，即可确定该目标物的抓取位置，机器人通过该抓取位置可实现任何实现目标物的抓取，且不需要人工的参与。

Description

一种基于深度学习机器人的目标物抓取位置的检测方法

技术领域

本发明属于机器人抓取领域，尤其涉及一种基于深度学习机器人的目标物抓取位置的检测方法。

背景技术

为了护理老年人、残疾人等行动不便人士，对家庭环境中常见物体，例如茶杯饮料瓶、书籍等的抓取，成为家庭服务机器人不可或缺的重要功能需求。不同于工业机器人在结构化环境下对工件的抓取，服务机器人在家庭环境下的智能抓取面临着诸多挑战，例如动态化环境、光照变化、几十乃至上百种目标物体、复杂背景、物体间的相互遮挡等。

目前，机器人抓取检测技术包括以下几种：人工设计目标物的抓取特征，通过目标抓取特征建立抓取模型，检测抓取位置，现有的人工设计目标物的抓取特征的方法，既耗时又需要大量的人工参与，并且对于机器人未见过的目标物无法准确检测出抓取位置，无法执行抓取动作。

发明内容

本发明实施例提供一种基于深度学习机器人的目标物抓取位置的检测方法，旨在解决现有的人工设计目标物的抓取特征的方法，既耗时又需要大量的人工参与，并且对于机器人未见过的目标物无法准确检测出抓取位置，无法执行抓取动作问题。

本发明是这样实现的，一种基于深度学习机器人的目标物抓取位置的检测方法，所述方法包括如下步骤：

S1.通过传感器采集包含目标物的RGB-D图像；

S2.在RGB-D图像的目标区域内划分候选抓取区域；

S3.保持所述候选抓取区域的长宽比不变，将所述候选抓取区域的尺寸放大至神经网络输入要求的尺寸；

S4.对所述放大后的候选抓取区域构建输入向量；

S5.对所述输入向量进行白化处理，将所述白化处理后的输入向量输入到训练好的神经网络；

S6.获取每个候选抓取区域的得分，将所述得分最高的候选抓取区域确定为抓取位置。

本发明实施例通过获取目标物的RGB-D图像，对RGB-D图像的目标区域划分候选抓取区域，并放大至神经网络输入要求的尺寸，对放大后的候选抓取区域构建输入向量，将构建好的输入向量输入神经网络，获取个候选抓取区域的得分，得分最高的候选抓取区域确定为目标物的抓取位置，通过获取的目标物的RGB-D图像，即可确定该目标物的抓取位置，机器人通过该抓取位置可实现任何实现目标物的抓取，且不需要人工的参与。

附图说明

图1是本发明实施例提供的基于深度学习机器人的目标物抓取位置检测方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明实施例提供的基于深度学习机器人的目标物抓取位置检测方法的流程图，该方法包括如下步骤：

S1.通过传感器采集包含目标物的RGB-D图像；

本发明实施例采用微软Kinect传感器获取抓取目标物的高分辨率的RGB图像和深度图像，RGB图像包含了抓取目标物表面颜色信息和纹理信息，深度图像包含了抓取目标物的空间形状信息，深度图像中的每个像素值表示了传感器到抓取目标物的距离，RGB图像和深度图像之间的像素点是一一对应的，组成了RGB-D图像。

S2.在RGB-D图像的目标区域内划分候选抓取区域；

在本发明实施例中，利用背景差分法提取RGB-D图像的目标区域，在目标区域内设定滑动窗口，通过滑动窗口的移动来提取候选抓取区域，该活动窗口的尺寸即为候选抓取区域的尺寸，本发明实施例采用baxter双臂机器人，机器人的末端执行器为夹爪，滑动窗口为矩形滑动窗口，滑动窗口的尺寸是根据抓爪的尺寸来确定，活动窗口设置为30像素×10像素的矩形活动窗口，因此候选抓取区域的尺寸为30像素×10像素的候选抓取矩形。

S3.保持候选抓取区域的长宽比不变，将候选抓取区域的尺寸放大至神经网络输入要求的尺寸；

在本发明实施例中，根据神经网络对输入样本尺寸的要求，在保持候选抓取区域的长宽比不变的情况下，通过0值填充，或边缘扩展将候选抓取区域的尺寸放大至神经网络输入要求的尺寸，在本发明实施例中，神经网络对输入样本尺寸的要求为32像素×32像素。

S4.对放大后的候选抓取区域构建输入向量；

在本发明实施例中，对候选抓取区域构建7个通道的输入向量，7个通道的输入向量包括：从深度图像中获取深度数据在x、y、z轴三个方向上的表面法向量、YUV数据转换成在Y、U、V三个通道上的向量、及将深度图像转换成向量。

在本发明实施例中，若步骤S3是通过0值填充将候选抓取区域的尺寸放大至神经网络输入要求的尺寸，由于填充之后的输入向量中会有大量的0值，且不同的候选抓取区域的输入向量中填充的0值得数量不同，最后会影响神经网络的输出得分，因此，为了消除填充的0值的影响，需要对候输入向量中的元素乘以一个缩放因子，对输入向量中元素的值进行缩放，缩放因子的计算公式如下：

其中，为第t个样本的输入向量中第i个元素的缩放因子，为通道r的放大因子，当输入向量中的第i个元素x_i属于通道r时，S_r,i的值为1，否则S_r,i的值为0，当第x_i不是0填充值时，的值为1，否则的值为0。

此外，作为本发明的优选实施例，考虑到缩放因子过大会导致输入数据的失真，缩放因子最大到某值C，即C的取值为4

S5.对构建的输入向量进行白化处理，将白化处理后的输入向量输入到训练好的神经网络；

在本发明实施例中，为了降低输入的冗余性，对构建好的输入向量进行白化处理，白化处理的过程包括：将输入每个通道的输入向量减去各自的平均值，再除以由7个通道的输入向量组成的组合向量的标准差。

S6.获取每个候选抓取区域的得分，将得分最高的候选区域确定为抓取位置。

本发明实施例通过获取目标物的RGB-D图像，对RGB-D图像的目标区域划分候选抓取区域，并放大至神经网络输入要求的尺寸，对放大后的候选抓取区域构建输入向量，将构建好的输入向量输入神经网络，获取个候选抓取区域的得分，得分最高的候选抓取区域确定为目标物的抓取位置，通过获取的目标物的RGB-D图像，即可确定该目标物的抓取位置，机器人通过该抓取位置可实现任何实现目标物的抓取，且不需要人工的参与。

在本发明实施例中，在所述步骤S1之前还包括：

S7.构建神经网络；

在本发明实施例中，构建的神经网络由7168个神经元输入层、200个神经元稀疏自编码器及sigmoid输出层组成。

S8.对构建好的神经网络进行离线训练。

在本发明实施例中，通过给定样本的输入和输出，通过训练得到最优时的W，再用W计算给定输入的预测输出。

在本发明实施例中，对构建好的神经网络进行离线训练具体包括如下步骤：

S81.采用步骤S1-S5对给定的样本进行预处理；

S82.将预处理好的给定样本输入神经网络，并给定样本的输出结果，采用无监督训练迭代200次，训练2个隐层稀疏自编码器来初始化隐层权值；

稀疏自编码器在代价函数最优时的初始化隐层权值W^*公式如下：

其中，是输入向量x^(t)的重建，g(h)为稀疏性惩罚函数，λ是稀疏性惩罚函数的系数，f(W)是正则化函数，β是正则化函数的系数，为第t个输入样本输入向量的第i个元素，W_i,j为第i个元素在第j个隐层神经元上的权值，为第t个输入样本向量在第j个隐层神经元上的输出，σ为sigmoid激活函数，W^*是代价函数最优时稀疏自编码器来初始化隐层的权值。

本发明实施例中的稀疏自编码器包括第一层隐层的线性稀疏自编码器及第二层隐层的标准稀疏自编码器；

当所述稀疏自编码器为第一隐层线性稀疏自编码器时，采用L2和L1结合的正则化方法，正则函数为其中||W||₁为L1对应的正则化函数，为L2对应的正则化函数，L1的正则化系数ε₂＝0.0003，L2正则化系数ε₁＝0.001，其中对f₁(W)添加微小偏置量0.00001；其中通过添加微小偏置的方法来避免输入向量中0值得干扰，该层稀疏性惩罚系数为3，线性稀疏自编码器的输出是0到1之间的实数；

当所述稀疏自编码器为第二隐层标准稀疏自编码器时，采用L1正则化方法，正则函数为f₂(W)＝ε₂||W||₁，L1正则化系数，ε₂＝0.0003，该层稀疏性惩罚系数为3，标准稀疏自编码器的输出是0或者1。

S83.将预处理好的样本通过反向传播算法有监督训练迭代10次，对整个网络参数进行整体优化。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习机器人的目标物抓取位置的检测方法，其特征在于，所述方法包括如下步骤：

S1.通过传感器采集包含目标物的RGB-D图像；

S2.在所述RGB-D图像的目标区域内划分候选抓取区域；

S3.保持所述候选抓取区域的长宽比不变，将所述候选抓取区域的尺寸放大至神经网络输入要求的尺寸；

S4.对所述放大后的候选抓取区域构建输入向量；

S5.对所述输入向量进行白化处理，将所述白化处理后的输入向量输入到训练好的神经网络；

S6.获取每个候选抓取区域的得分，将所述得分最高的候选抓取区域确定为抓取位置。

2.如权利要求1所述的基于深度学习机器人的目标物抓取位置的检验方法，其特征在于，所述候选抓取区域是通过设定的滑动窗口在所述RGB-D图像的目标区域内移动来提取的；

所述活动窗口的尺寸即为所述候选抓取区域的尺寸。

3.如权利要求1所述的基于深度学习机器人的目标物抓取位置的检验方法，其特征在于，通过0值填充或边缘扩展将所述候选抓取区域的尺寸放大至神经网络输入要求的尺寸。

4.如权利要求3所述的基于深度学习机器人的目标物抓取位置的检测方法，其特征在于，通过所述0值填充将所述候选抓取区域的尺寸放大至神经网络输入要求的尺寸时，在步骤S4之后还包括：

将所述输入向量中的元素乘以一个缩放因子，对所述输入向量中元素的值进行缩放；

所述缩放因子的计算公式如下：

${\mathrm{\ψ}}_i^{\left(t\right)}={\mathrm{\Σ}}_{r=1}^R{S}_{r,i}{\mathrm{\Ψ}}_r^{\left(t\right)}$

${\mathrm{\Ψ}}_r^{\left(t\right)}={\mathrm{\Σ}}_{i=1}^N{S}_{r,i}/\left({\mathrm{\Σ}}_{i=1}^N{S}_{r,i}{\mathrm{\μ}}_i^{\left(t\right)}\right)$

其中，为第t个样本的输入向量中第i个元素的缩放因子，为通道r的放大因子，当输入向量中的第i个元素x_i属于通道r时，S_r,i的值为1，否则S_r,i的值为0，当第x_i不是0填充值时，的值为1，否则的值为0。

5.如权利要求4所述的基于深度学习机器人的目标物抓取位置的检测方法，其特征在于，所述缩放因子C的取值为4。

6.如权利要求1所述的基于深度学习机器人的目标物抓取位置的检测方法，其特征在于，在步骤S1之前还包括：

S7.构建神经网络；

S8.对构建好的神经网络进行离线训练。

所述神经网络由7168个神经元输入层、200个神经元稀疏自编码器及sigmoid输出层组成。

7.如权利要求6所述的基于深度学习机器人的目标物抓取位置的检测方法，其特征在于，所述步骤S8具体包括如下步骤：

S81.采用步骤S1-S5对给定的样本进行预处理；

S82.将所述预处理好的给定样本输入神经网络，并给定样本的输出结果，采用无监督训练迭代200次，训练2个隐层稀疏自编码器来初始化隐层权值；

S83.将所述预处理好的样本通过反向传播算法有监督训练迭代10次，对整个网络参数进行整体优化。

8.如权利要求7所述的基于深度学习机器人的目标物抓取位置的检测方法，其特征在于，稀疏自编码器在代价函数最优时的初始化隐层权值W^*计算公式如下：

$h_j^{\left(t\right)}=\mathrm{\σ}\left(\underset{i=1}{\overset{N}{\Σ}}{x}_i^{\left(t\right)}{W}_{i,j}\right)$

其中，是输入向量x^(t)的重建，g(h)为稀疏性惩罚函数，λ是稀疏性惩罚函数的系数，f(W)是正则化函数，β是正则化函数的系数，为第t个输入样本输入向量的第i个元素，W_i,j为第i个元素在第j个隐层神经元上的权值，为第t个输入样本向量在第j个隐层神经元上的输出，σ为sigmoid激活函数。

9.如权利要求8所述的基于深度学习机器人的目标物抓取位置的检测方法，其特征在于，当所述稀疏自编码器为第一隐层线性稀疏自编码器时，所述线性稀疏自编码器采用L2和L1结合的正则化方法，正则函数为其中||W||₁为L1对应的正则化函数，为L2对应的正则化函数，L1的正则化系数ε₂＝0.0003，L2正则化系数ε₁＝0.001，其中对f₁(W)添加微小偏置量0.00001，所述第一隐层线性稀疏自编码器的稀疏性惩罚函数的系数λ₁＝3；

当所述稀疏自编码器为第二隐层标准稀疏自编码器时，所述标准稀疏自编码器采用L1正则化方法，正则函数为f₂(W)＝ε₂||W||₁，L1正则化系数ε₂＝0.0003，所述第二隐层标准稀疏自编码器的稀疏性惩罚函数的系数λ₂＝3。