CN116968022B - 一种基于视觉引导的机械臂抓取目标物体方法及*** - Google Patents

Abstract

本申请提供一种基于视觉引导的机械臂抓取目标物体方法及***，所述方法包括以下步骤：S1、建立目标物体识别模型；S2、图像采集设备采集目标物体的多个图像数据，构建成数据集；S3、将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；S4、将实时采集的待抓取目标物体的图像输入至所述训练好的目标物体识别模型进行处理，得到所述待抓取目标物体的位置坐标；S5、机械臂根据所述位置坐标对待抓取目标物体进行抓取。本申请通过目标物体识别模型确定待抓取目标物体的实际坐标，机械臂根据实际坐标进行抓取，提高了机械臂抓取复杂不规则目标物体的准确度。

Description

一种基于视觉引导的机械臂抓取目标物体方法及***

技术领域

本申请涉及自动化控制领域，尤其涉及一种基于视觉引导的机械臂抓取目标物体方法及***。

背景技术

随着工业的快速发展以及人工智能技术的日渐成熟，机器人领域及其应用正被越来越多的人所熟知并逐渐接受。机械臂作为机器人构成不可或缺的一部分，一直是机器人研究领域的研究热点，因此，研究机械臂抓取相关问题就显得尤为重要。应用机械臂抓取技术的领域十分广泛，如：工业自动化、物流仓储、医疗卫生、农业生产等领域。传统的机械臂抓取技术主要采用预先编程的方式进行抓取，即事先确定机械臂的运动轨迹和夹爪的开闭程度，从而完成对物体的抓取。这种方法在一些简单的、可预见的场景下表现良好，但对于复杂、不规则、大小不一的物体抓取效果就显得捉襟见肘。这是因为传统的机械臂抓取技术无法对物体的形状、大小、位置、姿态等信息进行实时感知和处理，而这些信息对于机械臂成功抓取物体往往是至关重要的。对于现在日常生活和工业生产中需要进行的目标物体抓取任务，传统的技术已经不能够满足这些任务的要求。随着任务需求的不断提高，需要更加先进的技术来实现更加高效、准确的抓取任务。

由于在产业中的巨大需求，机械臂抓取成为了炙手可热的研究课题。在现有技术中，公开号为CN112171661A的中国专利公开了“一种基于视觉信息融合的机械臂抓取目标物体方法”，使用深度学习目标检测YOLO网络，其可以获取包围目标物体的三维矩形框的各角点及中心点的像素坐标，但是对于复杂不规则目标物体来说，一方面，仅使用深度学习目标检测YOLO网络进行检测不能很好的得到目标物体的偏移角度；另一方面，对这类复杂不规则目标物体进行打标是一件十分困难且无意义的工作。

因此，寻找一种不仅能够根据对待抓取目标物体进行实时感知，根据待抓取目标物体的大小调整机械臂夹爪的开闭程度，还能够调整机械臂夹取的角度的抓取方法，是本领域技术人员亟待解决的技术问题。

发明内容

本申请的主要目的在于提供一种基于视觉引导的机械臂抓取目标物体方法，旨在解决现有机械臂无法根据待抓取目标物体调整夹爪开闭程度和机械臂夹取角度的技术问题。

为实现上述技术目的，本申请提供一种基于视觉引导的机械臂抓取目标物体方法，包括以下步骤：

S1、建立目标物体识别模型；

S2、图像采集设备采集目标物体的多个图像数据，构建成数据集；

S3、将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；

S4、将实时采集的待抓取目标物体的图像输入至所述训练好的目标物体识别模型进行处理，得到所述待抓取目标物体的位置坐标；

S5、机械臂根据所述位置坐标对待抓取目标物体进行抓取。

作为本申请的一实施例，所述步骤S3具体包括：

所述目标物体识别模型包括图像分割模块和目标位姿计算模块，将所述数据集输入至所述图像分割模块进行图像分割；

将分割后的图像输入至所述目标位姿计算模块，得到目标物体坐标和偏移角度；

确定机械臂和待抓取目标物体之间的相对位置关系；

所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体。

作为本申请的一实施例，所述图像分割模块包括至少一个下采样编码单元、至少一个上采样解码单元、至少一个间隔卷积层和relu激活函数层，所述数据集依次进行下采样编码、上采样解码、间隔卷积和激活函数处理，得到分割后的图像数据；其中所述下采样编码单元包括逐段跳跃卷积层、批归一化处理层、激活层和池化层，所述上采样解码单元包括反卷积层、间隔卷积层和双向深度卷积层。

作为本申请的一实施例，所述间隔卷积层和双向深度卷积层之间还包括有dropout操作。

作为本申请的一实施例，所述目标位姿计算模块包括坐标计算单元和角度偏移计算单元，其中所述坐标计算单元的计算公式如下：

；/>；

为图像分割后的二值图像，/>为所述二值图像在坐标/>处的像素值，/>为当前坐标索引，/>为输出的非零像素坐标集合，/>表示集合中的第/>个点的坐标。

作为本申请的一实施例，所述角度偏移计算单元的计算公式如下：

；

；

其中，为二值图像点集大小，/>为第/>个点的坐标，/>为点集的坐标平均值，为点集的协方差矩阵，/>和/>分别表示协方差矩阵的特征值和特征向量，/>为机械臂抓取的角度，/>用于计算两个坐标点之间的角度。

作为本申请的一实施例，所述确定机械臂和待抓取目标物体的相对位置关系具体包括：

使用九点标定法得到机械臂基坐标系和工作台基坐标系；

通过所述机械臂基坐标系和工作台基坐标系下的坐标矩阵得到变换矩阵。

作为本申请的一实施例，所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体，之前还包括：

根据图像采集设备视野动态设置图像视频缓冲区，所述缓冲区包括第一缓冲区和第二缓冲区；

判断所述视野范围内是否存在待抓取物体，若存在，则将缓冲区大小与第二缓冲区大小一致，图像采集设备使用图像分割模块对所述视野范围的图像进行图像分割，并利用目标位姿计算模块计算所述视野范围的图像中物体坐标和偏移角度。

作为本申请的一实施例，所述步骤S5之前还包括：

根据所述待抓取目标物体的摆放角度调整机械臂抓取的角度，具体公式如下：

；

其中，为待抓取目标物体实际角度的角度。

本申请还提供一种基于视觉引导的机械臂抓取目标物体***，包括：

建立模块，用于建立目标物体识别模型；

采集模块，用于图像采集设备采集目标物体的多个图像数据，构建成数据集；

训练模块，用于将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；

处理模型，用于将实时采集的逮住去目标物体的图像输入至所述训练好的目标物体是被模型进行处理，得到待抓取目标物体的位置坐标；

抓取模块，用于机械臂根据所述位置坐标对待抓取目标物体进行抓取。

与现有技术相比，本申请具有以下有益效果：

本申请通过使用训练集对目标物体识别模型进行深度学习网络训练，其中在训练过程中使用目标物体识别模型中的图像分割模块和目标位姿计算模块，计算得出目标物体的位置坐标和偏移角度，并使用九点标定方法确定机械臂和待抓取目标物体之间的相对位置关系，机械臂根据位置坐标、偏移角度和相对位置关系进行抓取，提高了机械臂抓取复杂不规则目标物体的准确度，是机械臂能够适用于更加复杂的场景，增强机械臂的实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于视觉引导的机械臂抓取目标物体方法的流程图；

图2为本申请实施例提供的目标识别模型示意图；

图3为本申请实施例提供的基于视觉引导的机械臂抓取目标物体***的框图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地描述。

本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等仅用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。

在本申请中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本申请描述的实施例可以与其它实施例相结合。

在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上，“至少两个（项）”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”。

如图1所示，本申请提供一种基于视觉引导的机械臂抓取目标物体方法，包括以下步骤：

S1、建立目标物体识别模型；

S2、图像采集设备采集目标物体的多个图像数据，构建成数据集；

S3、将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；

S4、将实时采集的待抓取目标物体的图像输入至所述训练好的目标物体识别模型进行处理，得到所述待抓取目标物体的位置坐标；

S5、机械臂根据所述位置坐标对待抓取目标物体进行抓取。

可以理解的，将多个图像采集设备采集的图像数据构建成数据集，根据实际需求将数据集按照比例进行分配，将数据集分为训练集和测试集，本申请并不对具体的分配比例做限定。使用训练集中的图像数据对目标物体识别模型进行深度学习网络训练，并根据训练后的模型参数进行不断迭代训练，使用测试集对训练后的模型进行评估，最终得到训练好的目标物体识别模型，提高目标物体识别模型识别的精准度。

在本申请实施例中，通过深度学习网络将图像数据分析和处理与机械臂和视觉引导相结合，通过对目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型，将图像采集设备实时采集的图像输入至训练好的目标物体识别模型中，得到待抓取目标物体的坐标，能够实现对待抓取目标物体的精准识别和定位，机械臂根据坐标进行抓取，提高机械臂抓取的成功率和精度。

其中，图像采集设备可以是相机，也可以是其他带有图像采集功能的电子设备，本申请并不对图像采集设备做具体限制。

在本申请一实施例中，所述步骤S3具体包括：

所述目标物体识别模型包括图像分割模块和目标位姿计算模块，将所述数据集输入至所述图像分割模块进行图像分割；

将分割后的图像输入至所述目标位姿计算模块，得到目标物体坐标和偏移角度；

确定机械臂和待抓取目标物体之间的相对位置关系；

所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体。

在本申请实施例中，图像采集设备对待抓取目标物体进行检测，生成图像数据，使用图像分割模块对图像数据进行分割，将分割后的图像数据利用目标位姿计算模块进行计算，得到图像中目标物体的坐标和偏移角度，确定机械臂与待抓取目标物体之间的相对位置关系，进而精准确定待抓取目标物体的实际坐标。当待抓取目标物体为形状不规则物体时，通过图像分割模块和目标位姿计算模块确定目标物体的坐标和偏移角度，避免在机械臂抓取前需要人工标注进行图片分割，降低成本，提高机械臂抓取的效率。

如图2所示，在本申请一实施例中，所述图像分割模块包括至少一个下采样编码单元、至少一个上采样解码单元、至少一个间隔卷积层和relu激活函数层，所述数据集依次进行下采样编码、上采样解码、间隔卷积和激活函数处理，得到分割后的图像数据；其中所述下采样编码单元包括逐段跳跃卷积层、批归一化处理层、激活层和池化层，所述上采样解码单元包括反卷积层、间隔卷积层和双向深度卷积层。优选的，图像分割模块包括8个下采样编码单元、4个上采样解码单元、2个间隔卷积层和一个relu激活函数层。

具体的，一个下采样编码单元的具体操作如下：

将数据集中的图像数据输入至一个3×3的逐段跳跃卷积层，对图像数据进行卷积之后进行一次批归一化操作，将批归一化处理后的特征送入激活层进行处理，然后在再进行一次3×3的逐段跳跃卷积，将卷积之后的结果进行批归一化处理，并送入激活层，将激活层的处理结果进行池化操作，将图像进行缩小，并过滤掉图像中的冗余信息，保留关键信息。

可以理解的，逐段跳跃卷积层通过使用3x3的卷积核，可以有效地降低图像的空间维度，减少计算量；逐段跳跃卷积还可以在保持感受野大小的情况下提取更高层次的特征，增强目标物体识别模型的表达能力。使用批归一化处理可以使网络中的每一层的输入保持相对稳定的分布，从而降低训练难度，加速收敛；同时将批归一化在每个小批量数据集上进行，可以引入一定的噪声，这种噪声具有一定的正则化效果，可以降低过拟合风险。使用relu激活可以将网络的输出转换为非线性函数，使目标物体识别模型能够拟合复杂的函数关系；且relu激活函数实现简单，计算速度非常快且不存在梯度消失问题。

将下采样编码单元的结果依次输入至4个上采样解码单元中，一个上采样解码单元的具体操作如下：

上采样解码单元先输入的图像数据进行一次3×3的反卷积操作，将反卷积处理后的特征送入间隔卷积层中，并依次经过2层3×3的双向深度卷积层，得到上采样解码特征图，放大图像，使图像变成更高的分辨率。

可以理解的，使用双向深度卷积层可以增加网络中特征的传播路径，可更好地捕捉到图像或视频中的细节和上下文信息，从而提高目标物体识别模型的检测效率和检测精准度。可在双向深度卷积层上引入非线性激活函数(dropout)及其自身的双向性使其增强特征提取能力，减少过拟合以及提高目标物体识别模型的可解释性。

将上采样解码单元输出的特征图依次送入两个间隔卷积层和一个relu激活函数层中进行处理，得到最终图像分割结果。

可以理解的，间隔卷积层是先对每个输入通道分别进行卷积，然后再将不同的通道使用1x1的卷积核进行整合。将间隔卷积层结合relu激活函数可保持较高的准确率、增强目标物体识别模型的非线性建模能力、可显著减少目标物体识别模型的参数数量和计算量，提高目标物体识别模型的识别效率。

其中，所述间隔卷积层和双向深度卷积层之间还包括有dropout操作，在两个双向深度卷积层之间也设有dropout操作，由于上采样解码单元是将低分辨率的数据放大到高分辨率进行处理，因此在上采样解码单元中使用dropout，可以在上采样过程中随机丢弃一些神经元，以减少神经元之间的依赖关系，增加目标物体识别模型的泛化能力，降低目标物体识别模型的复杂度，避免过拟合，增加图像分割模块的准确性。

进一步的，在每一次的逐段跳跃卷积层和双向深度卷积层之间都加入了跳跃连接，提高图像分割的效果。

本申请通过下采样编码单元、上采样解码单元、间隔卷积层以及激活函数层对图像数据进行分割，在每个下采样编码单元中加入逐段跳段卷积层以及在每个上采样解码单元中加入双向深度卷积层和间隔卷积层能够有效提高图像的分割效果，当待抓取目标物体形状不规则时避免人工标注图片，简化操作流程，降低生产成本。

在本申请一实施例中，所述目标位姿计算模块包括坐标计算单元和角度偏移计算单元，其中所述坐标计算单元的计算公式如下：

；/>；

为图像分割后的二值图像，/>为所述二值图像在坐标/>处的像素值，/>为当前坐标索引，/>为输出的非零像素坐标集合，/>表示集合中的第/>个点的坐标。

进一步的，所述角度偏移计算单元的计算公式如下：

；

；

其中，为二值图像点集大小，/>为第/>个点的坐标，/>为点集的坐标平均值，为点集的协方差矩阵，/>和/>分别表示协方差矩阵的特征值和特征向量，/>为机械臂抓取的角度。/>用于计算两个坐标点之间的角度，它是反正切函数的一种变体，其命名中的“/>”表示使用两个参数。

本申请通过坐标计算单元和角度偏移计算单元计算出图像中待抓取目标物体的坐标和偏移角度，提高机械臂抓取复杂不规则目标物体的准确度，使机械臂能够适用于更加复杂的场景，更加符合工厂和生活上的需求，增强机械臂的实用性和适用性。

在本申请一实施例中，所述确定机械臂和待抓取目标物体的相对位置关系具体包括：

使用九点标定法得到机械臂基坐标系和工作台基坐标系；

通过所述机械臂基坐标系和工作台基坐标系下的坐标矩阵得到变换矩阵。

作为本领域技术人员可以理解的，九点标定法的具体步骤如下：

打印图像的九点标定板并将其置于机械臂的前方，测量出九点标定板的宽度和高度；

根据所述九点标定板的宽度和高度得出图像的九点在工作台基坐标系下的坐标矩阵；

将一只圆珠笔与机械臂二指夹爪绑定在一起，移动机械臂末端至九点圆心处通过正向运动学得到机械臂基坐标系下的坐标矩阵；

通过所述工作台基坐标系下的坐标矩阵和机械臂基坐标系下的坐标矩阵得出最终的变换矩阵。

通过九点标定法确定待抓取物体和机械臂之间的相对位置关系，得到变换矩阵，即将目标物体在相机坐标系下的坐标转换成在机械臂坐标系下的坐标，并基于图像分割模块和目标计算位姿模块，确定待抓取目标物体的实际坐标，便于机械臂进行抓取，提高机械臂抓取的准确率。

可以理解的，变换矩阵只在位姿计算模块中起到了坐标转换的作用，角度是不需要转换的，在相机坐标系下得到的偏转角可以直接应用到机械臂坐标系下。

在本申请一实施例中，通过所述机械臂基坐标系和工作台基坐标系下的坐标矩阵得到变换矩阵，之后还包括：

判断机械臂的位姿是否可以到达待抓取物体，若位姿可达，则机械臂对待抓取物体进行抓取。

具体的，在机械臂得到基于机械臂基坐标系下的待抓取物体的坐标之后，会根据坐标值通过求运动学逆解的方式得到机械臂每个关节实际需要转动的角度，从而使得机械臂能够到达待抓取物体所处位置。可以理解的，在机械臂抓取前判断机械臂是否可以到达待抓取物体所处位置，能够避免未知的碰撞和冲突，起到保护机械臂的作用；同时更加方便人机交互和协作，提高抓取任务的执行效率，提高机械臂抓取的准确率。

在本申请一实施例中，所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体，之前还包括：

根据图像采集设备视野动态设置图像视频缓冲区，所述缓冲区包括第一缓冲区和第二缓冲区；

判断所述视野范围内是否存在待抓取物体，若存在，则视野范围缓冲区大小与第二缓冲区大小一致，图像采集设备使用图像分割模块对所述视野范围的图像进行图像分割，并利用目标位姿计算模块计算所述视野范围的图像中物体坐标和偏移角度。

在本申请一实施例中，第一缓冲区大小设置为1，第二缓冲区大小设置为2，当视野范围内不存在待抓取物体，此时视野范围缓冲区大小与第一缓冲区大小一致，均为1，表明此时图像采集设备处于检测状态；当视野范围内存在待抓取物体，此时视野范围缓冲区大小与第二缓冲区的大小一致，均为2，机械臂对待抓取物体进行抓取。

通过设置第一缓冲区和第二缓冲区提高监控画面的流畅性、机械臂检测待抓取目标物体时的精准性以及机械臂抓取目标物体时的流畅性和稳定性。

本申请通过动态设置图像缓冲区的大小以及分割网络使得图像采集设备能够实时分割出待抓取目标物体，对待抓取目标物体的形状、大小、位置、姿态等进行实时感知和处理，之后结合位姿计算模块得出准确的位姿（包括坐标和偏转角度），进而提高机械臂抓取的准确性以及抓取效率。

进一步的，当视野范围缓冲区大小与第二缓冲区大小一致并对图像进行分割时，将图像视野范围之外的图像清空。由于机械臂抓走目标物体之后，视野范围内已经没有待抓取目标物体了，但是机械臂还会重复刚才的抓取动作，因此在缓冲区大小与第二缓冲区大小一致时，将图像视野范围之外的图像清空，避免机械臂抓取时出现重复抓取，同时提高机械臂抓取目标物体时的流畅性和稳定性。

在本申请一实施例中，所述步骤S5之前还包括：

根据所述待抓取目标物体的摆放角度调整机械臂抓取的角度，具体公式如下：

；

其中，为待抓取目标物体实际角度的角度。

由于待抓取目标物体在实际摆放时会出现横放或纵放的情况，而目标位姿计算单元计算出来的角度是机械臂相对于工作台的偏移角度，因此在机械臂抓取物体需要调整机械臂偏移的角度，从而提高机械臂抓取的精准度。

在实际抓取过程中，当待抓取目标物体的实际摆放角度大于80°、小于-80°或者在0°~10°之间时，夹爪的偏移角度会发生错误。因此，当实际摆放角度在以上范围内时，可根据对应公式进行夹爪偏移角度调整，从而精准抓取目标物体。

具体的调整角度的步骤如下：

当待抓取物体的实际摆放角度大于80°、小于-80°或者在0°~10°之间时，通过公式重新计算夹爪偏移角度；

调用机械臂夹爪转动函数，将夹爪转动到正确角度，并对目标物体进行抓取。

本申请通过图像采集设备采集待抓取目标物体的图像数据，构成数据集，使用数据集对目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型。将实时采集的待抓取目标物体的图像输入至训练好的目标物体识别模型中，使用训练好的目标物体识别模型中的图像分割模块和目标位姿计算模块计算出目标物体的坐标以及偏移角度，避免人工标注图像，简化操作流程，提高机械臂的抓取效率，并使用九点标定法确定机械臂和待抓取物体之间的相对位置关系，进而确定待抓取目标物体的实际坐标，机械臂根据实际坐标进行抓取，提高了机械臂抓取的精准度。

如图3所示，本申请还提供一种基于视觉引导的机械臂抓取目标物体***，包括建立模块、采集模块、训练模块、处理模块和抓取模块，建立模块用于建立目标物体识别模型；采集模块用于图像采集设备采集目标物体的多个图像数据，构建成数据集；训练模块用于将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；处理模型用于将实时采集的逮住去目标物体的图像输入至所述训练好的目标物体是被模型进行处理，得到待抓取目标物体的位置坐标；抓取模块用于机械臂根据所述位置坐标对待抓取目标物体进行抓取。

本申请采集模块通过图像采集设备采集待抓取目标物体的图像数据并构建成数据集，将数据集按照比例分为训练集和测试集，训练模块使用训练集数据对建立的目标物体识别模型进行深度学习网络训练，并使用测试集进行优化，最终得到训练好的目标物体识别模型，处理模型基于训练好的目标物体识别模型对实时采集的待抓取目标物体图像数据进行处理，得到待抓取目标物体的实际坐标，机械臂通过抓取模块进行抓取，不仅使机械臂能够适应更加附加的场景，提高实用性，还提高了机械臂抓取的精准度和效率。

本申请还提供一种计算机设备，包括存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行如上述任一项所述的基于视觉引导的机械臂抓取目标物体方法。

本申请还提供一种计算机可读存储介质，其包括程序代码，当程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行上述任一项所述的基于视觉引导的机械臂抓取目标物体方法的步骤。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (6)

1.一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，包括以下步骤：

S1、建立目标物体识别模型；

S2、图像采集设备采集目标物体的多个图像数据，构建成数据集；

S3、将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；

S4、将实时采集的待抓取目标物体的图像输入至所述训练好的目标物体识别模型进行处理，得到所述待抓取目标物体的位置坐标；

S5、机械臂根据所述位置坐标对待抓取目标物体进行抓取；

所述步骤S3具体包括：

所述目标物体识别模型包括图像分割模块和目标位姿计算模块，将所述数据集输入至所述图像分割模块进行图像分割；

将分割后的图像输入至所述目标位姿计算模块，得到目标物体坐标和偏移角度；

确定机械臂和待抓取目标物体之间的相对位置关系；

所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体；

所述确定机械臂和待抓取目标物体的相对位置关系具体包括：

使用九点标定法得到机械臂基坐标系和工作台基坐标系；

通过所述机械臂基坐标系和工作台基坐标系下的坐标矩阵得到变换矩阵；

所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体，之前还包括：

根据图像采集设备视野动态设置图像视频缓冲区，所述缓冲区包括第一缓冲区和第二缓冲区；

判断视野范围内是否存在待抓取物体，若存在，则将缓冲区大小与第二缓冲区大小一致，图像采集设备使用图像分割模块对所述视野范围的图像进行图像分割，并利用目标位姿计算模块计算所述视野范围的图像中物体坐标和偏移角度；

所述步骤S5之前还包括：

根据所述待抓取目标物体的摆放角度调整机械臂抓取的角度，具体公式如下：

；

其中，为待抓取目标物体实际角度的角度。

2.根据权利要求1所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述图像分割模块包括至少一个下采样编码单元、至少一个上采样解码单元、至少一个间隔卷积层和relu激活函数层，所述数据集依次进行下采样编码、上采样解码、间隔卷积和激活函数处理，得到分割后的图像数据；其中所述下采样编码单元包括逐段跳跃卷积层、批归一化处理层、激活层和池化层，所述上采样解码单元包括反卷积层、间隔卷积层和双向深度卷积层。

3.根据权利要求2所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述间隔卷积层和双向深度卷积层之间还包括有dropout操作。

4.根据权利要求1所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述目标位姿计算模块包括坐标计算单元和角度偏移计算单元，其中所述坐标计算单元的计算公式如下：

；

；

为图像分割后的二值图像，/>为所述二值图像在坐标/>处的像素值，/>为当前坐标索引，/>为输出的非零像素坐标集合，/>表示集合中的第/>个点的坐标。

5.根据权利要求4所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述角度偏移计算单元的计算公式如下：

；

；

其中，为二值图像点集大小，/>为第/>个点的坐标，/>为点集的坐标平均值，为点集的协方差矩阵，/>和/>分别表示协方差矩阵的特征值和特征向量，/>为机械臂抓取的角度,/>用于计算两个坐标点之间的角度。

6.一种基于视觉引导的机械臂抓取目标物体***，其特征在于，包括：

建立模块，用于建立目标物体识别模型；

采集模块，用于图像采集设备采集目标物体的多个图像数据，构建成数据集；

训练模块，用于将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；

处理模型，用于将实时采集的逮住去目标物体的图像输入至所述训练好的目标物体是被模型进行处理，得到待抓取目标物体的位置坐标；

抓取模块，用于机械臂根据所述位置坐标对待抓取目标物体进行抓取；

所述目标物体识别模型包括图像分割模块和目标位姿计算模块，将所述数据集输入至所述图像分割模块进行图像分割；

将分割后的图像输入至所述目标位姿计算模块，得到目标物体坐标和偏移角度；

确定机械臂和待抓取目标物体之间的相对位置关系；

所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体；

所述确定机械臂和待抓取目标物体的相对位置关系具体包括：

使用九点标定法得到机械臂基坐标系和工作台基坐标系；

通过所述机械臂基坐标系和工作台基坐标系下的坐标矩阵得到变换矩阵；

所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体，之前还包括：

根据图像采集设备视野动态设置图像视频缓冲区，所述缓冲区包括第一缓冲区和第二缓冲区；

判断视野范围内是否存在待抓取物体，若存在，则将缓冲区大小与第二缓冲区大小一致，图像采集设备使用图像分割模块对所述视野范围的图像进行图像分割，并利用目标位姿计算模块计算所述视野范围的图像中物体坐标和偏移角度；

所述机械臂根据所述位置坐标对待抓取目标物体进行抓取之前还包括：

根据所述待抓取目标物体的摆放角度调整机械臂抓取的角度，具体公式如下：

；

其中，为待抓取目标物体实际角度的角度。