CN112926503B - 一种基于矩形拟合的抓取数据集自动生成方法 - Google Patents

Abstract

本发明公开了一种基于矩形拟合的抓取数据集自动生成方法，采用机械臂末端执行器夹持物体边缘，驱动物体绕其中心旋转，通过相机采集物体各角度的图像；确定物体区域，生成物体掩码；检测目标物体的轮廓信息；对图像进行霍夫变换，检测物体轮廓中的直线，并对短线段进行合并；对直线长度进行排序，按直线长度检测对应平行线，利用多个矩形拟合物体轮廓；将拟合矩形按照等间距采样方式生成多个适用于双指手爪的抓取矩形；组合背景图像和物体图像生成抓取数据集图像，同时生成对应标签。本发明操作简单、实现方便快速，不需要额外设备。解决了抓取任务中数据集手动标注工作费时费力的问题，为抓取任务中深度学习模型所需训练集的制作提供了便利途径。

Description

一种基于矩形拟合的抓取数据集自动生成方法

技术领域

本发明属于机器人领域，具体地，涉及一种基于矩形拟合的抓取数据集自动生成方法。

背景技术

随着计算机视觉和人工智能的发展，机器人技术受到越来越多的关注，其中智能机器人更被认为是未来的主流发展方向。近年来，在机器人领域的期刊和会议上提出了多种用于检测物体抓取姿态的方法，尤其是在深度学习的框架下对场景物体抓取位姿的检测，需要一个拥有标注信息的庞大目标抓取数据集，用于模型的训练和测试。数据集中需要具有物体图像信息以及对应的多种抓取姿态。

在机器人领域，现有的抓取检测数据集有Cornell Grasp Dataset、JacquardDataset、VMRD等，这些数据集都是由研究人员手动标注。数据集中每个样本可能包含多个物体，并且每个物体存在多种可能的抓取姿态，手动制作抓取数据集费时费力，受人类主观性影响，标注的抓取数据集具有一定趋向性，标注的抓取位置只包含可用抓取位置的一部分，不能全面的表示物体的抓取位置。

发明内容

本发明的目的是针对现有抓取数据集制作过程中的问题，提供一种基于矩形拟合的抓取数据集自动生成方法。操作简单，省时省力，能够在短时间内完成抓取数据库的制作工作。

为达到上述目的，本发明采用的技术方案是：

一种基于矩形拟合的抓取数据集自动生成方法，包括如下步骤：

步骤一，物体图像采集：

通过机械臂与相机相结合的方式，完成物体多角度图像信息的采集；

步骤二，确定物体区域，生成物体掩码：

根据数据收集***中各部件之间的位置关系，初步确定物体所在图像中的大致位置，去除大部分背景噪声；利用背景相减法从背景中分割出物体区域，获得物体掩码；

步骤三，检测目标物体轮廓信息：

利用canny算子检测物体边缘，将物体轮廓通过大量短线条表示；

步骤四，霍夫变换检测直线：

对物体轮廓曲线进行霍夫变换，检测物体轮廓中直线，并对其中满足合并条件的线段进行整合，减少线条数量；

步骤五，利用多个矩形拟合轮廓：

根据直线长度对直线进行排序，按直线长度排序依次检测对应平行线；用于拟合物体轮廓的矩形需要同时满足四个条件：

①、两条线段夹角小于20°；

②、平行线之间距离大于阈值th₁＝50；

③、平行线之间像素个数不为零；

④、较短线段在较长线段上存在投影；

将同时满足以上①-④条件的平行线进行相互投影，生成多个矩形用于拟合物体轮廓；

步骤六，生成抓取矩形：

根据手指宽度w，在拟合矩形上按等间距采样的方式生成多个适用于双指手爪的抓取矩形；

步骤七，合成抓取数据集图像，制作抓取数据集：

利用在步骤二中生成的物体掩码，将物体的彩色图像和预设多种背景进行组合，生成多种抓取数据集图像，同时根据物体在图像中的位置和在步骤六中生成的抓取矩形，为数据集中的所有样本制作标签文件。

优选地，在所述步骤一中的数据采集用的是机械臂与相机相结合的方式，相机通过框架安装在背景桌面的正上方、竖直向下。为便于后期物体分割，背景桌面为单一颜色，在此选择白色。控制手爪夹持物体边缘并使物***于相机正下方，驱动物体分别绕手爪坐标系的X、Y、Z三个坐标轴各旋转正负30度，待***稳定后相机采集物体图像。

优选地，所述步骤二中，利用相机和机械臂之间的关系，通过运动学正解计算机械臂坐标系下两指尖连线的中点位置(X,Y,Z)在图像中的坐标(u,v)，以此确定物体在图像中的位置：

其中，表示机械臂坐标系相对于相机坐标系的关系，f_x,f_y,c_x,c_y为相机内参。假设目标物体小于边长为20cm的立方体，通过对立方体进行投影可确定目标在图像中所处的区域，裁剪能够包含该区域的最小正方形，假设边长为e。该区域内仅包含目标物体、背景图像，然后将图像减去背景，设置阈值th_v为10，其中差值小于阈值的部分便为物体区域。

优选地，在所述步骤三中，对步骤二中获得的物体掩码图像进行边缘检测，使用Canny算子检测物体边缘，计算图像中所有点的梯度值。若梯度值小于100的点设置为非边界点，梯度值大于150的点设置为边界点。位于区间内的点根据相邻点是否为边界点判断其性质，若与边界点相邻则认为是边界点，若与非边界点相邻则为非边界点。

优选地，在所述步骤四中，通过霍夫变换将轮廓上所有点映射到霍夫空间中，霍夫空间中点对应为图像空间中的直线，统计霍夫空间中各交点对应直线的数量，将大于阈值th_c的点映射出图像空间中的直线，在此th_c＝30。然后计算任意两条线段之间的夹角和两条线段相邻最近两点的距离判断是否可以合并，若两线段所在直线夹角小于10°并且最近点之间距离小于20像素，则认为两条线段都为真实线段的一部分。经过两两匹配生成k个可用于合并的线段对。然后对k个线段对进行聚类，将具有匹配关系的所有线段聚为一类。计算每类直线上所有点构成的最小外接矩形，连接矩形中两条短边的中点用于表示合并后的直线。

优选地，在所述步骤五中，对合并后的所有直线长度进行排序，优先使用较长的直线生成矩形。依次判断较长直线与剩余直线是否可以生成用于拟合物体的矩形，拟合物体的矩形需要满足以下条件：

一、两条线段为平行线；

二、平行线之间距离大于阈值th₁＝50；

三、平行线之间非空；

四、较短线段在较长线段上存在投影。

根据以上条件建立拟合矩形。利用向量之间的夹角余计算夹角两条线段中点之间的距离简化表示两线段之间的距离；分别将其中一条线段的两个端点与另外一条线段的两个端点连接形成四个向量，若其中一条线段的两个端点生成的向量都至少存在一个向量与线段本身构成锐角，则说明两线段之间互相存在投影。连接两条线段对应端点构成一个四边形，统计四边形内非零点的个数n。若不能同时满足以上四个条件，则判断下一条直线，直至遍历完全部直线。对于符合条件的直线，计算较短线段在较长线段上的投影点，若不存在投影点则过长线段该侧端点向短线度做垂线，交点更新为短线段的端点。计算拟合矩形的中点、旋转角度、宽和高，中点的横纵坐标分别为线段四个端点横纵坐标的平均值，旋转角θ_r为两条线段与水平线形成夹角的平均值，宽W等于线段中点间的距离，高H为线段中较短的长度值。

优选地，在所述步骤六中，测量手指宽度w，根据手眼关系计算手指在图像中投影宽度w'。以w'/2为步长，沿拟合矩形中边H所在的方向，从矩形一端采样到另一端生成多个抓取矩形。抓取矩形的宽度w_g＝w'，高抓取矩形与拟合矩形轴线相互垂直。抓取矩形中心点落在拟合矩形的轴线上，并保证抓取矩形不超出拟合矩形范围。

优选地，在所述步骤七中，选择单色背景和杂乱背景两种情况作为背景。利用在步骤二中获得物体掩码裁剪图像中的物体区域，然后粘贴到背景图像上中心位置并旋转θ_▽，θ_▽按间隔30°从0-360°取值，单一物体共生成2*12＝24个样本。对于彩色图像，直接利用物体图像替换背景，当掩码取值为真时I_B(x,y)＝I_F(x,y)，其它位置取值保持不变。对于深度图像，在背景数值的基础上减去物体区域数值，当掩码取值为真时I_B(x,y)＝I_B(x,y)-I_F(x,y)，其它位置取值保持不变。根据物体在背景图像中的位置和角度以及在步骤六中获得的抓取矩形，计算合成图像中物体的抓取矩形(c'_x,c'_y,w'_g,h'_g,θ'_g)，其中表示合成图像中抓取矩形中心点的横坐标，/>表示中心点的纵坐标，w'_g＝w_g表示抓取矩形中手指的宽度，h'_g＝h_g表示抓取矩形中手爪的开口大小，θ'_g＝θ_g+θ_▽表示抓取矩形与图像水平轴的夹角。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著的优点：

1.本发明对于抓取数据集的制作操作简单、省时，中间仅需要人工夹取物体，不需要过多的人工干预，能够在最短时间内完成抓取数据集的制作工作；

2.本发明方法简单，效率高，易于实现。

附图说明

图1是本发明的流程图。

图2是本发明数据采集***示意图。

图3是本发明拟合矩形计算示意图。

图4是本发明抓取框采样示意图。

图5是本发明物体分割结果示意图。

图6是本发明轮廓检测示意图。

图7是本发明矩形拟合结果示意图。

图8是本发明抓取数据集样例示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明：

实施例一：

参见图1，一种基于矩形拟合的抓取数据集自动生成方法，包括如下步骤：

步骤一，物体图像采集：

通过机械臂与相机相结合的方式，完成物体多角度图像信息的采集；

步骤二，确定物体区域，生成物体掩码：

根据数据收集***中各部件之间的位置关系，初步确定物体所在图像中的大致位置，去除大部分背景噪声；利用背景相减法从背景中分割出物体区域，获得物体掩码；

步骤三，检测目标物体轮廓信息：

利用canny算子检测物体边缘，将物体轮廓通过大量短线条表示；

步骤四，霍夫变换检测直线：

对物体轮廓曲线进行霍夫变换，检测物体轮廓中直线，并对其中满足合并条件的线段进行整合，减少线条数量；

步骤五，利用多个矩形拟合轮廓：

根据直线长度对直线进行排序，按直线长度排序依次检测对应平行线；用于拟合物体轮廓的矩形需要同时满足四个条件：

①、两条线段夹角小于20°；

②、平行线之间距离大于阈值th₁＝50；

③、平行线之间像素个数不为零；

④、较短线段在较长线段上存在投影；

将同时满足以上①-④条件的平行线进行相互投影，生成多个矩形用于拟合物体轮廓；

步骤六，生成抓取矩形：

根据手指宽度w，在拟合矩形上按等间距采样的方式生成多个适用于双指手爪的抓取矩形；

步骤七，合成抓取数据集图像，制作抓取数据集：

利用在步骤二中生成的物体掩码，将物体的彩色图像和预设多种背景进行组合，生成多种抓取数据集图像，同时根据物体在图像中的位置和在步骤六中生成的抓取矩形，为数据集中的所有样本制作标签文件。

本实施例方法对于抓取数据集的制作操作简单、省时，中间仅需要人工夹取物体，不需要过多的人工干预，能够在最短时间内完成抓取数据集的制作工作。

实施例二：

本实施例与实施例一基本相同，特别之处如下：

在所述步骤一中，利用固定的Kinect相机作为数据采集设备，通过机械臂末端手爪夹持物体改变物体姿态，采集多种角度下物体的图像信息。

在所述步骤五中，利用构成矩形的四个条件，检测任意两条平行线是否可以用于合成拟合矩形，通过相互投影的方式由两条平行线建立拟合矩形。

在所述步骤六中，以手指宽度的投影w作为抓取矩形的宽，以6/5倍的拟合矩形的H作为抓取矩形的高h，并沿拟合矩形H边以间隔为0.5w进行采样构建抓取矩形。

5在所述步骤七中，将物体图像与背景图像合并构成抓取数据集图像，并根据物体图像在背景中的位置生成抓取参数。

本实施例基于矩形拟合的抓取数据集自动生成方法操作简单，省时省力，能够在短时间内完成抓取数据库的制作工作。

实施例三：

参见图1～图8，一种基于矩形拟合的抓取数据集自动生成方法，包括如下操作步骤：

步骤一，按照图2所示结构搭建数据收集***，相机通过框架安装在背景桌面的正上方、竖直向下，机械臂固定在桌面上。为便于后期物体分割，选择白色桌面背景。相机通过L转USB数据线连接计算机，机械臂控制器通过双绞线连接计算机。待所有硬件连接成功后为所有设备上电，并初始化数据采集***。手动控制机械臂手爪夹持待收集物体边缘，并拖动到相机正下方，驱动物体分别绕手爪坐标系的X、Y、Z三个坐标轴各旋转正负30度，待***稳定后相机采集物体图像。

步骤二，在两指尖连线的中点位置建立坐标系，利用相机和机械臂之间的位姿关系计算指尖在图像中的投影点，以此确定物体所在大致位置。建立一个边长为e为50像素的矩形，与图像边缘平行，指尖的投影点位于矩形轴线的3/4处，以此矩形限制物体所在区域。该区域内仅包含目标物体和背景图像，然后将图像减去背景，设置阈值th_v为10，其中差值小于阈值的部分便为物体区域，效果如图5所示。

步骤三，对步骤二中获得的物体掩码图像利用OpenCV中提供的cvCanny()函数检测物体边缘。将掩码图像作为函数输入，并设置参数threshold1＝100，threshold2＝150，aperture_size＝3。输出与输入尺寸相同的二维矩阵，物体轮廓位置用‘1’表示，其他部分用‘0’表示，效果如图6所示。

步骤四，利用OpenCV中提供的概率霍夫变换函数HoughLinesP()检测轮廓中可能为直线的点集。以步骤三中的输出为输入，设置搜索步长rho＝2，搜索弧度间隔theta＝pi/180，累计点数量threshold＝30，线段最大间隔maxLineGap＝10，线段最小长度minLineLength＝100。函数输出为由多个线段组成的二维矩阵L，第一维表示检测到的线段数量，第二维是每条线段两个端点的横纵坐标。为简化线段整合时的计算量，首先对线段进行聚类。首先初始化一个集合S用于保存整合后直线段所用到的线段，依次从检测到的所有线段中提取一条，并从L中删除该线段。判断S中是否存在可以与之合并的线段，若存在则将该线段添加到对应的线段集合中，否则建立一个新的线段集合，直至遍历完检测到的全部线段。计算每类直线上所有点构成的最小外接矩形，连接矩形中两条短边的中点用于表示合并后的直线。

步骤五，计算所有合并后直线的长度，利用快速排序算法对直线进行排序。优先使用较长的直线生成矩形，依次判断较长直线与剩余直线是否可以生成用于拟合物体的矩形，拟合物体的矩形需要满足以下条件：一、两条线段夹角小于20°；二、平行线之间距离大于阈值th_l＝50；三、平行线之间像素个数不为零；四、较短线段在较长线段上存在投影。根据以上条件建立拟合矩形。假设任意给定的两条直线中长线为l₁、短线为l₂，l₁的左端点为p₁、右端点为p₂，l₂的左端点为p₃、右端点为p₄，如图3所示。连接点p₁、p₂构成向量V₁，连接点p₃、p₄构成向量V₂。计算两向量之间夹角通过计算l₂中点到l₁的距离d表示两线段之间的距离。分别将p₃、p₄点与p₁、p₂点相连接形成向量V₁₃、V₁₄、V₂₃、V₂₄，若V₁₃、V₁₄中至少存在一个向量与向量V₁夹角为锐角，并且V₂₃、V₂₄中至少存在一个向量与向量V₁夹角为锐角，则说明两线段之间互相存在投影。依次连接点p₁、p₂、p₄、p₃、p₁构成一个四边形，统计四边形内非零点的个数n。若不能同时满足以上四个条件，则判断下一条直线，直至遍历完全部直线。对于符合条件的直线，计算点p₃、p₄在向量V₁上的投影点p'₃、p'₄，投影点的横坐标纵坐标/>其中i∈{3,4}，α₁表示向量V₁所在直线与水平线的夹角。如果p'₃在向量V₁上，则p'₁＝p3。否则，建立一条过点p₁并与向量V₂相垂直的直线，直线与V₂所在直线的交点作为点p'₁，p'₃＝p₁。同理，如果p'₄在向量V₁上，则p'₂＝p₄。否则，建立一条过点p₂并与向量V₂相垂直的直线，直线与V₂所在直线的交点作为点p'₂，p'₄＝p₂。计算拟合矩形的中点(x,y)，其中/> 计算拟合矩形旋转角/>计算拟合矩形宽W等于点p'₁与p'₂的中点到点p'₃与p'₄的中点的距离，计算拟合矩形高H为点p'₁与p'₂之间距离和点p'₃与p'₄之间距离较小值。最终通过矩形完成拟合，如图7所示。

步骤六，测量手指宽度w，根据手眼关系计算手指在图像中投影宽度w'。以w'/2为步长，沿拟合矩形中边H所在的方向，从矩形P1端采样到P2端生成多个抓取矩形，如图4所示。抓取矩形的宽度w_g＝w'，高当θ_r取值为正时抓取矩形的旋转角θ_g＝θ_r-90°，当θ_r取值为负时θ_g＝θ_r+90°。抓取矩形中心点的横坐标c_x＝x_P1+k·w_gcos(θ_r)，纵坐标c_y＝y_P1+k·w_gsin(θ_r)，其中k＝0.5,1,1.5,2…。

步骤七，选择单色背景和杂乱背景两种情况作为背景，大小为300*300。利用步骤二中获得物体掩码裁剪图像中的物体区域，获得一个仅在物体区域存在数值，其他部分为0的矩阵。利用warpAffine()函数旋转图像，旋转中心设置为图像的中心，边界填充值为0，旋转角θ_▽按间隔30°从0-360°取值。将旋转后的图像与背景图像对应元素相加，单一物体共生成2*12＝24个样本。根据物体在背景图像中的位置和角度以及在步骤六中获得的抓取矩形，计算合成图像中物体的抓取矩形(c'_x,c'_y,w'_g,h'_g,θ'_g)，其中表示合成图像中抓取矩形中心点的横坐标，/>表示中心点的纵坐标，w'_g＝w_g表示抓取矩形中手指的宽度，h'_g＝h_g表示抓取矩形中手爪的开口大小，θ'_g＝θ_g+θ_▽表示抓取矩形与图像水平轴的夹角，所获得的抓取数据集示例如图8所示。

本实施例基于矩形拟合的抓取数据集自动生成方法利用机械臂末端执行器夹持物体边缘，驱动物体绕其中心旋转，通过相机采集物体各角度的图像；确定物体区域，生成物体掩码；检测目标物体的轮廓信息；对图像进行霍夫变换，检测物体轮廓中的直线，并对短线段进行合并；对直线长度进行排序，按直线长度检测对应平行线，利用多个矩形拟合物体轮廓；将拟合矩形按照等间距采样的方式生成多个适用于双指手爪的抓取矩形；组合背景图像和物体图像生成抓取数据集图像，同时生成对应标签。本实施例方法操作简单、实现方便快速，不需要额外的设备。解决了抓取任务中数据集手动标注工作费时费力的问题，为抓取任务中深度学习模型所需训练集的制作提供了便利途径。

以上对本发明的具体实施结合附图进行了详细说明，但本发明不限于上述实施例，凡是根据本发明技术方案原理下做出的改变、替代或简化，均为等效置换方式，或直接或间接的应用在其他相关领域，均包括在本申请的专利保护范围内。

Claims (5)

1.一种基于矩形拟合的抓取数据集自动生成方法，其特征在于，包括如下步骤：

步骤一，物体图像采集：

通过机械臂与相机相结合的方式，完成物体多角度图像信息的采集；

步骤二，确定物体区域，生成物体掩码：

根据数据收集***中各部件之间的位置关系，初步确定物体所在图像中的大致位置，去除大部分背景噪声；利用背景相减法从背景中分割出物体区域，获得物体掩码；

所述步骤二中，利用相机和机械臂之间的关系，通过运动学正解计算机械臂坐标系下两指尖连线的中点位置(X,Y,Z)在图像中的坐标(u,v)，以此确定物体在图像中的位置：

其中，表示机械臂坐标系相对于相机坐标系的关系，f_x,f_y,c_x,c_y为相机内参；

步骤三，检测目标物体轮廓信息：

利用canny算子检测物体边缘，将物体轮廓通过大量短线条表示；

步骤四，霍夫变换检测直线：

对物体轮廓曲线进行霍夫变换，检测物体轮廓中直线，并对其中满足合并条件的线段进行整合，减少线条数量；

步骤五，利用多个矩形拟合轮廓：

根据直线长度对直线进行排序，按直线长度排序依次检测对应平行线；用于拟合物体轮廓的矩形需要同时满足四个条件：

①、两条线段夹角小于20°；

②、平行线之间距离大于阈值th₁＝50；

③、平行线之间像素个数不为零；

④、较短线段在较长线段上存在投影；

将同时满足以上①-④条件的平行线进行相互投影，生成多个矩形用于拟合物体轮廓；

步骤六，生成抓取矩形：

根据手指宽度w，在拟合矩形上按等间距采样的方式生成多个适用于双指手爪的抓取矩形；

步骤七，合成抓取数据集图像，制作抓取数据集：

利用在步骤二中生成的物体掩码，将物体的彩色图像和预设多种背景进行组合，生成多种抓取数据集图像，同时根据物体在图像中的位置和在步骤六中生成的抓取矩形，为数据集中的所有样本制作标签文件。

2.根据权利要求1所述基于矩形拟合的抓取数据集自动生成方法，其特征在于：在所述步骤一中，利用固定的Kinect相机作为数据采集设备，通过机械臂末端手爪夹持物体改变物体姿态，采集多种角度下物体的图像信息。

3.根据权利要求1所述基于矩形拟合的抓取数据集自动生成方法，其特征在于：在所述步骤五中，利用构成矩形的四个条件，检测任意两条平行线是否可以用于合成拟合矩形，通过相互投影的方式由两条平行线建立拟合矩形。

4.根据权利要求1所述基于矩形拟合的抓取数据集自动生成方法，其特征在于：在所述步骤六中，以手指宽度的投影w作为抓取矩形的宽，以6/5倍的拟合矩形的H作为抓取矩形的高h，并沿拟合矩形H边以间隔为0.5w进行采样构建抓取矩形。

5.根据权利要求1所述基于矩形拟合的抓取数据集自动生成方法，其特征在于：在所述步骤七中，将物体图像与背景图像合并构成抓取数据集图像，并根据物体图像在背景中的位置生成抓取参数。