CN114266822B - 基于双目机器人的工件质检方法、装置、机器人及介质 - Google Patents

Abstract

本申请适用于自动化技术领域，尤其涉及一种基于双目机器人的工件质检方法、装置、机器人及介质。该方法使用双目相机采集一工件的两张图像，得到工件定位点分别在两张图像中的图像位置，将两张图像分别输入训练好的预测网络，得到每张图像对应的偏移矩阵，根据每张图像对应的偏移矩阵和双目相机至地面的投影矩阵，将对应的图像位置映射至地面，得到对应的地面位置，选取两个地面位置中任一位置为目标位置，在机械臂上检具的检测点移动至目标位置后，控制机械臂沿预设方向移动预设距离，对移动过程中受到的反作用力进行检测来判定工件的质检结果，从而实现工件的自动质检，提高了定位的准确率和自动质检的成功率，有效地提升了自动质检的效率。

Description

基于双目机器人的工件质检方法、装置、机器人及介质

技术领域

本申请属于自动化技术领域，尤其涉及一种基于双目机器人的工件质检方法、装置、机器人及介质。

背景技术

目前，针对铸造、机加工等生产出的工件，需要进行合格性的检测，一般采用人工对工件进行测量来获取工件尺寸、工件中孔间距、孔尺寸等数据，进而判定工件是否合格。为了缩短测量的时间，针对同一规格的工件，生产出对应的检具，通过人工将检具与工件进行匹配来判定工件是否合格，从而挑拣出符合出厂要求的工件，但是该匹配的过程需要人工来操作，自动化的程度较低，导致检测的效率较低，且较为耗费人力，因此，使用机器人进行检测的方式能够有效地提高检测效率，然而现有机器人多采用单目相机进行工件的定位，由于受到视差的影响，定位的准确度较低，导致检测的成功率较低。因此，如何有效地提高机器人定位的准确率，以实现工件的自动化检测成为亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种基于双目机器人的工件质检方法、装置、机器人及介质，以解决现有机器人定位的准确率较低，影响工件的自动化检测的问题。

第一方面，本申请实施例提供一种基于双目机器人的工件质检方法，所述工件质检方法包括：

使用双目相机采集目标区域内任一工件的第一图像和第二图像，提取所述第一图像中工件定位点的第一图像位置和所述第二图像中工件定位点的第二图像位置；

将所述第一图像和所述第二图像分别输入训练好的预测网络中对应的分支网络，得到所述第一图像对应的第一偏移矩阵和所述第二图像对应的第二偏移矩阵；

根据所述第一偏移矩阵和所述双目相机至地面的投影矩阵，将所述第一图像位置映射至地面，得到第一地面位置，根据所述第二偏移矩阵和所述投影矩阵，将所述第二图像位置映射至地面，得到第二地面位置；

在检测到所述第一地面位置与所述第二地面位置的差异小于差异阈值时，选取所述第一地面位置和所述第二地面位置中任一位置为目标位置；

在安装在所述双目机器人的机械臂上检具的检测点移动至所述目标位置之后，控制所述机械臂沿预设方向移动预设距离，并根据移动过程中所述机械臂收到的反作用力与作用力阈值的比对结果，确定所述工件的质检结果。

第二方面，本申请实施例提供一种基于双目机器人的工件质检装置，所述工件质检装置包括：

定位点获取模块，用于使用双目相机采集目标区域内任一工件的第一图像和第二图像，提取所述第一图像中工件定位点的第一图像位置和所述第二图像中工件定位点的第二图像位置；

偏移矩阵预测模块，用于将所述第一图像和所述第二图像分别输入训练好的预测网络中对应的分支网络，得到所述第一图像对应的第一偏移矩阵和所述第二图像对应的第二偏移矩阵；

映射变换模块，用于根据所述第一偏移矩阵和所述双目相机至地面的投影矩阵，将所述第一图像位置映射至地面，得到第一地面位置，根据所述第二偏移矩阵和所述投影矩阵，将所述第二图像位置映射至地面，得到第二地面位置；

目标位置确定模块，用于在检测到所述第一地面位置与所述第二地面位置的差异小于差异阈值时，选取所述第一地面位置和所述第二地面位置中任一位置为目标位置；

移动与质检模块，用于在安装在所述双目机器人的机械臂上检具的检测点移动至所述目标位置之后，控制所述机械臂沿预设方向移动预设距离，并根据移动过程中所述机械臂收到的反作用力与作用力阈值的比对结果，确定所述工件的质检结果。

第三方面，本申请实施例提供一种机器人，所述机器人包括双目相机和机械臂，所述机械臂的安装点上安装有检具，所述机器人包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的工件质检方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的工件质检方法。

第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在机器人上运行时，使得机器人执行上述第一方面所述的工件质检方法。

本申请实施例与现有技术相比存在的有益效果是：本申请使用双目相机采集任一工件的两张图像，并提取两张图像中工件定位点的第一图像位置和第二图像位置，将两张图像分别输入训练好的预测网络，得到对应的第一偏移矩阵和对应的第二偏移矩阵，根据第一偏移矩阵和双目相机至地面的投影矩阵，将第一图像位置映射至地面，得到第一地面位置，根据第二偏移矩阵和投影矩阵，将第二图像位置映射至地面，得到第二地面位置，在检测到两个地面位置的差异小于差异阈值时，选取两个地面位置中任一位置为目标位置，在安装在所述双目机器人的机械臂上检具的检测点移动至目标位置之后，控制机械臂沿预设方向移动预设距离，若在移动过程中机械臂受到的反作用力未超出作用力阈值，则判定工件的质检结果为通过，若在移动过程中机械臂受到的反作用力超出作用力阈值，则判定工件的质检结果为不通过，上述过程无需人工操作，实现了工件的自动质检，采用双目相机及训练好的预测网络来确定目标位置，可以提高定位的准确率，从而提高自动质检的成功率，有效地提升了自动质检的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的一种基于双目机器人的工件质检方法的流程示意图；

图2是本申请实施例二提供的一种基于双目机器人的工件质检方法的流程示意图；

图3是本申请实施例三提供的一种基于双目机器人的工件质检装置的结构示意图；

图4是本申请实施例四提供的一种机器人的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例中的机器人可以是掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、云端终端设备、个人数字助理(personal digital assistant，PDA)等，本申请实施例对机器人的具体类型不作任何限制。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为了说明本申请的技术方案，下面通过具体实施例来进行说明。

参见图1，是本申请实施例一提供的一种基于双目机器人的工件质检方法的流程示意图，上述工件质检方法应用于机器人，该机器人可以为带有双目相机和机械臂的机器人手臂，且机械臂上固定安装有检具，机器人上的控制器连接双目相机，以采集相应的图像，控制器连接机械臂，以驱动机械臂运动，其中，机械臂上的安装点(即与检具固定连接的位置)在地面上的空间坐标为已知量，双目相机中两相机的单应性矩阵为已知量，双目相机至地面的投影矩阵为已知量。如图1所示，该工件质检方法可以包括以下步骤：

步骤S101，使用双目相机采集目标区域内任一工件的第一图像和第二图像，提取第一图像中工件定位点的第一图像位置和第二图像中工件定位点的第二图像位置。

本申请中，双目相机在同一时刻采集到的图像为两幅图像，即一侧镜头采集一幅图像，因此，针对一工件同一时刻可以采集到第一图像和第二图像。目标区域可以是指双目相机视角范围内的区域，双目相机可以对区域内的工件进行自动对焦，以获取工件的图像，或者工件被放置在双目相机的对焦平面上。

在一种实施方式中，工件在铸造完成后，放置于流水线上进行质检，双目相机可以对准流水线的台面，且双目相机的视角范围内至少包含一整个工件。进一步地，该流水线的带动工件移动，定义流水线一次运动距离为一个工位，该工位内放置一个工件，机器人与该流水线的控制器交互，当双目相机对准的工位内的工件质检完成后，机器人输出相应的指令，流水线的控制器接收到该指令后，控制流水线移动一个工位。

本申请中，工件定位点的图像位置即为点在图像坐标系下的坐标表示，工件定位点可以是指工件上的用于与机械臂上的检具的检测点匹配的点，如果工件上待质检的部位为一个孔，则工件定位点可以是指该孔的中心点，如果工件上待质检的部位为多个孔，则定义任一个孔为定位孔，工件定位点即为该定位孔的中心点，如果工件上待质检的部位为一个圆柱形凸起，则工件定位点可以是指该圆柱形凸起的顶部中心点，总的来说，上述工件定位点可以根据工件的待质检需求来设置。

提取工件定位点的图像位置可以是指提取工件定位点在图像中的坐标，而在提取坐标之前，需要从图像中识别到工件定位点，该工件定位点的识别可以基于训练好的定位点检测网络来识别，该定位点检测网络的训练集为标注了工件定位点的工件图像，输出为工件定位点，在识别到工件定位点之后，在图像坐标系下可以提取到该工件定位点的在图像中的坐标。在一种实施方式中，提取工件定位点的图像位置时基于训练好的位置检测网，该位置检测网络的训练集为标注了工件定位点及定位点在图像中坐标的工件图像，输出为工件定位点在图像中的坐标。

步骤S102，将第一图像和第二图像分别输入训练好的预测网络中对应的分支网络，得到第一图像对应的第一偏移矩阵和第二图像对应的第二偏移矩阵。

本申请中，训练好的预测网络为具有两个分支网络的网络结构，每一个分支网络分别处理双目相机的一侧镜头采集的图像，如果预测网络包括第一分支网络和第二分支网络，则第一分支网络的输入为双目相机的左侧镜头采集的图像，第二分支网络的输入为双目相机的右侧镜头采集的图像。预测网络的输出为两个分支网络的输出，分别为针对双目相机一侧镜头采集图像中图像坐标系与双目相机坐标系之间的偏移矩阵。

由于双目相机采集的对象不同，在不同的使用场景下，针对不同的对象，采集图像在双目相机的坐标系下每个像素点坐标可能存在偏差，因此，为了后续工件定位点的准确性，需要偏差进行计算，计算的结果即为偏移矩阵。

可选的是，预测网络包括第一分支网络和第二分支网络，第一分支网络的结构包括第一编码器和第一全连接层，第二分支网络的结构包括第二编码器和第二全连接层，第一编码器的参数与第二编码器的参数为共享，第一全连接层的参数与第二全连接层的参数为共享，双目相机一次采集的图像对中图像A输入第一编码器，图像B分别输入第二编码器，第一全连接层和第二全连接层的输出均为偏移矩阵；

预测网络的训练集为双目相机同时采集的N对图像A和图像B，以及每张图像中工件的位置描述向量，预测网络采用自监督训练，训练的损失函数为：

式中，cos表示向量间的余弦相似度计算；表示第n张图像A_n中工件的位置描述向量经第一全连接层输出的偏移矩阵R'_nA及双目相机的单应性矩阵R_n变换得到的描述向量，/>表示第n张图像B_n中工件的位置描述向量经第二全连接层输出的偏移矩阵R'_nB变换得到的描述向量，/>表示第n张图像A_n中工件的位置描述向量经第一全连接层输出的偏移矩阵R'_nA变换得到的描述向量，/>表示第n张图像B_n中工件的位置描述向量经第二全连接层输出的偏移矩阵R'_nB及双目相机的单应性矩阵R_n变换得到的描述向量，1≤n≤N。

其中，将第一分支网络与第二分支网络的参数设置为共享，可以避免模型参数不同对双目相机采集图像的处理差异，上述两个分支网络的结构均由编码器和全连接层组成，而整个预测网络采用自监督训练，采用一个整体的损失函数，这样可以无需人工标注，提高训练效率和准确度。

因此，通过采用相同网络参数对偏移矩阵进行双向预测，且上述设计的损失函数获取到预测精度较高的偏移矩阵，为后续步骤提供保障。

可选的是，预测网络的训练集的图像中工件的位置描述向量为采用关键点检测网络和目标检测网络识别对应图像得到，图像中工件的位置描述向量为：V＝[x_lu,y_lu,x_rd,y_rd,w,h,x_t,y_t,x_i,y_i]；

其中，关键点检测网络的输入为一张图像，输出为该图像中工件的表面质心点的图像坐标(x_t,y_t)；

目标检测网络的输入为一张图像，输出为该图像中工件的包围框数据[x_lu,y_lu,x_rd,y_rd,w,h,x_i,y_i]，其中，(x_lu,y_lu)表示该图像中包围框的左上角点坐标，(x_rd,y_rd)表示该图像中包围框的右下角点坐标，w为包围框的宽度，h为包围框的高度，(x_i,y_i)表示包围框的中心点坐标。

其中，针对训练集中工件的位置描述向量，也需要采用相应的检测网络识别得到，具体为：

构建关键点检测网络，用于识别图像中的关键点，如工件表面质心点定，该关键点检测网络的网络架构为编码器和解码器，网络输入为单张工件图像，网络输出为定位点热力图像；网络训练集的标注由人工标注，标注为以真实工件表面质心点为中心点通过高斯模糊生成的热斑，训练时的损失函数可以采用均方误差(Mean-Square Error，MSE)损失函数；

构建目标检测网络，用于识别图像中的工件，如工件包围框等，该目标检测网络的网络架构为编码器和全连接层，网络输入为单张工件图像，网络输出为工件包围框信息；网络训练集的标注由人工标注，训练时采用的损失函数可以为MSE损失函数，上述w和h可以由左上角点坐标和右下角点坐标计算得到。

步骤S103，根据第一偏移矩阵和双目相机至地面的投影矩阵，将第一图像位置映射至地面，得到第一地面位置，根据第二偏移矩阵和投影矩阵，将第二图像位置映射至地面，得到第二地面位置。

本申请中，双目相机至地面的投影矩阵为已知矩阵，也即是双目相机坐标系与世界坐标系的变换矩阵，第一图像位置为工件定位点图像坐标系下的坐标，将该第一图像位置映射至地面也即是将第一图像位置的坐标从图像坐标系变换至世界坐标系，因此，根据第一偏移矩阵和投影矩阵即可将第一图像位置映射至地面得到第一地面位置，同理，可以确定第二地面位置。其中，两个地面位置均是指世界坐标系下的坐标。

步骤S104，在检测到第一地面位置与第二地面位置的差异小于差异阈值时，选取第一地面位置和第二地面位置中任一位置为目标位置。

本申请中，将双目相机采集的图像经过上述过程的处理得到两幅图像中工件定位点在地面上的位置，由于两幅图像本质上为同一时刻采集的同一工件的图像，两幅图像中工件定位点的位置应该为相同的，因此，计算第一地面位置与第二地面位置之间的差异可以对双目相机采集的工件定位点进行自证，从而可以提高后续质检操作的成功率。

在自证成功后，可以允许后续质检时对机械臂的控制误差为α，该值由实施者根据实际操作过程中经验给出，如α等于0.1cm。如果自称不成功，对于后续质检时对机械臂的控制误差为β，其中，β小于α，从而提高质检的成功率，即自证成功，对机械臂的控制精度较低，机械臂移动速度较高，可以提高效率，自证失败，对机械臂的控制精度较高，机械臂移动速度较低。

步骤S105，在安装在双目机器人的机械臂上检具的检测点移动至目标位置之后，控制机械臂沿预设方向移动预设距离，并根据移动过程中机械臂收到的反作用力与作用力阈值的比对结果，确定工件的质检结果。

本申请中，双目机器人的机械臂上固定安装检具，并对检具上的检测点在世界坐标系下的坐标进行标定，因此，根据标定好的检测点的坐标和目标位置对应的坐标，可以控制机械臂移动使得检测点达到目标位置。进一步地，标定检测点与机械臂的安装点之间的空间位置关系，结合安装点在世界坐标系下的坐标可以计算得到检测点在世界坐标系下的坐标，其中，安装点在世界坐标系下的坐标为机器人的出厂参数，无需对机械臂进行标定，减少标定复杂程度，可自由更换检具。

在控制机械臂上检具的检测点移动至目标位置之后，在控制机械臂沿着预设方向移动预设距离，该预设方向和预设距离可以根据质检需求来调节，例如工件中待质检的部位为圆形孔，检具设置有圆柱形凸起，该圆柱形凸起的顶面中心点为检测点，该圆柱的中轴线平行的方向即为预设方向，该圆形孔的厚度即为预设距离，即将圆柱形凸起垂直***圆形孔中并移动，使得圆柱形凸起的顶部能够从圆形孔的一侧达到另一侧。

在移动预设距离的过程中，需要实时获取机械臂受到的反作用力，来判断工件中待质检的部位是否合格，当反作用力较大时，说明移动预设距离过程中受到的阻力较大，可能由于待质检的部位的尺寸较小导致，因此，可以确定此时质检不合格，当反作用力为零时，说明移动预设距离过程中没有受到的阻力，可能由于待质检的部位的尺寸较大导致，因此，可以确定此时质检不合格，在反作用力大于零且小于作用力阈值的情况下，说明尺寸较为合适，即可表明质检合格。

在一种实施方式中，设置两只机械臂，每只机械臂上安装一个检具，两个检具的检测部位尺寸具有一定差别，该差别根据工件待质检的部位的尺寸误差来设定，分别使用两个检具进行一一检测，其中，当检测部位尺寸较大的检具在移动预设距离过程中反作用力值较小时，判定待质检的部位尺寸较大，即工件不合格，当检测部位尺寸较小的检具在移动预设距离过程中反作用力值较大时，判定待质检的部位尺寸较小，即工件不合格。

在一种实施方式中，上述工件定位点包括至少三个点，检具上的检测点对应设置有三个，控制检测点达到对应的定位点的位置后，控制机械臂带动检具沿预设方向移动预设距离，该过程可以提高定位的准确性，从而保证质检的成功率，从而提高质检的效率。

可选的是，在检测到第一地面位置与第二地面位置的差异小于差异阈值时，选取第一地面位置和第二地面位置中任一位置为目标位置之后，还包括：

获取双目机器人的机械臂移动时的第一允许误差；

相应地，在安装在双目机器人的机械臂上检具的检测点移动至目标位置之后，控制机械臂沿预设方向移动预设距离包括：

根据机械臂的安装点的当前位置数据和检具的检测点与安装点的位置关系，结合机械臂的移动数据，确定移动后检测点的理论位置；

在检测到理论位置与目标位置的差异处于第一允许误差内，则控制机械臂沿预设方向移动预设距离。

其中，为了提高质检的效率，需要提高机械臂的移动速度，进而对机械臂移动的精准度要求较低，即检测点移动后的理论位置与上述目标位置之间可以存在相对较大的允许误差，避免为了无限接近目标位置而反复移动机械臂，该允许误差可根据实际需求设置。

可选的是，工件质检方法还包括：

获取工件上的工件标记；

相应地，在根据移动过程中机械臂收到的反作用力与作用力阈值的比对结果，确定工件的质检结果之后，还包括：

将工件标记与工件的质检结果映射存储。

其中，针对每个待质检的工件，提前在工件表面设置相应的标记，使得双目机器人的双目相机可以获取到对应的工件标记，并最终将工件标记与对应工件的质检结果映射存储，实现了对工件的质检结果的自动统计，可以在无人员参与情况下挑拣合格的工件。

本申请实施例使用双目相机采集任一工件的两张图像，并提取两张图像中工件定位点的第一图像位置和第二图像位置，将两张图像分别输入训练好的预测网络，得到对应的第一偏移矩阵和对应的第二偏移矩阵，根据第一偏移矩阵和双目相机至地面的投影矩阵，将第一图像位置映射至地面，得到第一地面位置，根据第二偏移矩阵和投影矩阵，将第二图像位置映射至地面，得到第二地面位置，在检测到两个地面位置的差异小于差异阈值时，选取两个地面位置中任一位置为目标位置，在安装在双目机器人的机械臂上检具的检测点移动至目标位置之后，控制机械臂沿预设方向移动预设距离，若在移动过程中机械臂受到的反作用力未超出作用力阈值，则判定工件的质检结果为通过，若在移动过程中机械臂受到的反作用力超出作用力阈值，则判定工件的质检结果为不通过，上述过程无需人工操作，实现了工件的自动质检，采用双目相机及训练好的预测网络来确定目标位置，可以提高定位的准确率，从而提高自动质检的成功率，有效地提升了自动质检的效率。

参见图2，是本申请实施例二提供的一种基于双目机器人的工件质检方法的流程示意图，如图2所示，该工件质检方法可以包括以下步骤：

步骤S201，使用双目相机采集目标区域内任一工件的第一图像和第二图像，提取第一图像中工件定位点的第一图像位置和第二图像中工件定位点的第二图像位置。

步骤S202，将第一图像和第二图像分别输入训练好的预测网络中对应的分支网络，得到第一图像对应的第一偏移矩阵和第二图像对应的第二偏移矩阵。

步骤S203，根据第一偏移矩阵和双目相机至地面的投影矩阵，将第一图像位置映射至地面，得到第一地面位置，根据第二偏移矩阵和投影矩阵，将第二图像位置映射至地面，得到第二地面位置。

其中，步骤S201至步骤S203与上述步骤S101至步骤S103的内容相同，可参考步骤S101至步骤S103的描述，在此不再赘述。

步骤S204，在检测到第一地面位置与第二地面位置的差异不小于差异阈值时，将第一地面位置和第二地面位置的中心点位置作为目标位置。

本申请中，第一地面位置与第二地面位置无法自证，因此，将两者的中心点作为目标点，控制检测点达到该目标点。

可选的是，在检测到第一地面位置与第二地面位置的差异不小于差异阈值时，将第一地面位置和第二地面位置的中心点位置作为目标位置之后，还包括：

计算第一偏移矩阵和第二偏移矩阵的余弦相似度；

获取双目机器人的机械臂移动时的预设允许误差，将余弦相似度与预设允许误差的相乘，确定相乘的结果为双目机器人的机械臂移动时的第二允许误差；

相应地，在安装在双目机器人的机械臂上检具的检测点移动至目标位置之后，控制机械臂沿预设方向移动预设距离包括：

根据机械臂的安装点的当前位置数据和检具的检测点与安装点的位置关系，结合机械臂的移动数据，确定移动后检测点的理论位置；

在检测到理论位置与目标位置的差异处于第二允许误差内，则控制机械臂沿预设方向移动预设距离。

其中，由于预设允许误差为一个相对较大的误差，在上述自证失败时，如果使用预设允许误差，可能导致最终移动到目标位置后检测点的位置与工件的真实定位点位置相差较大，导致质检不成功。

通过对偏移矩阵的相似度计算，来对预设允许误差进行修正，得到第二允许误差，该第二允许误差为一个相对较小的误差，使得最终移动到目标位置后检测点的位置与工件的真实定位点位置相差较小，进而能够实现质检。

步骤S205，在安装在双目机器人的机械臂上检具的检测点移动至目标位置之后，控制机械臂沿预设方向移动预设距离，并根据移动过程中机械臂收到的反作用力与作用力阈值的比对结果，确定工件的质检结果。

其中，步骤S205与上述步骤S105的内容相同，可参考步骤S105的描述，在此不再赘述。

本申请实施例由于第一地面位置与第二地面位置差异较大，无法自证时，将两者的中心点作为目标位置，即将检测点移动至两者的中心点，从而提高质检的成功率，另外，还将机械臂的控制允许误差控制在较小的误差内，虽然需要花费较多时间，但可以提高质检的成功率。

对应于上文实施例的工件质检方法，图3示出了本申请实施例三提供的基于双目机器人的工件质检装置的结构框图，上述工件质检装置应用于机器人，该机器人可以为带有双目相机和机械臂的机器人手臂，且机械臂上固定安装有检具，机器人上的控制器连接双目相机，以采集相应的图像，控制器连接机械臂，以驱动机械臂运动，其中，机械臂上的安装点(即与检具固定连接的位置)在地面上的空间坐标为已知量，双目相机中两相机的单应性矩阵为已知量，双目相机至地面的投影矩阵为已知量。为了便于说明，仅示出了与本申请实施例相关的部分。

参见图3，该工件质检装置包括：

定位点获取模块31，用于使用双目相机采集目标区域内任一工件的第一图像和第二图像，提取第一图像中工件定位点的第一图像位置和第二图像中工件定位点的第二图像位置；

偏移矩阵预测模块32，用于将第一图像和第二图像分别输入训练好的预测网络中对应的分支网络，得到第一图像对应的第一偏移矩阵和第二图像对应的第二偏移矩阵；

映射变换模块33，用于根据第一偏移矩阵和双目相机至地面的投影矩阵，将第一图像位置映射至地面，得到第一地面位置，根据第二偏移矩阵和投影矩阵，将第二图像位置映射至地面，得到第二地面位置；

目标位置选取模块34，用于在检测到第一地面位置与第二地面位置的差异小于差异阈值时，选取第一地面位置和第二地面位置中任一位置为目标位置；

移动与质检模块35，用于在安装在双目机器人的机械臂上检具的检测点移动至目标位置之后，控制机械臂沿预设方向移动预设距离，并根据移动过程中机械臂收到的反作用力与作用力阈值的比对结果，确定工件的质检结果。

可选的是，上述工件质检装置还包括：

第一误差获取模块，用于在检测到第一地面位置与第二地面位置的差异小于差异阈值时，选取第一地面位置和第二地面位置中任一位置为目标位置之后，获取双目机器人的机械臂移动时的第一允许误差；

相应地，上述移动与质检模块35包括：

第一理论位置确定单元，用于根据机械臂的安装点的当前位置数据和检具的检测点与安装点的位置关系，结合机械臂的移动数据，确定移动后检测点的理论位置；

移动控制单元，用于在检测到理论位置与目标位置的差异处于第一允许误差内，则控制机械臂沿预设方向移动预设距离。

可选的是，上述工件质检装置还包括：

目标位置确定模块，用于在得到第一地面位置和第二地面位置之后，在检测到第一地面位置与第二地面位置的差异不小于差异阈值时，将第一地面位置和第二地面位置的中心点位置作为目标位置。

可选的是，上述工件质检装置还包括：

相似度计算模块，用于在检测到第一地面位置与第二地面位置的差异不小于差异阈值时，将第一地面位置和第二地面位置的中心点位置作为目标位置之后，计算第一偏移矩阵和第二偏移矩阵的余弦相似度；

第二误差确定模块，用于获取双目机器人的机械臂移动时的预设允许误差，将余弦相似度与预设允许误差的相乘，确定相乘的结果为双目机器人的机械臂移动时的第二允许误差；

相应地，上述移动与质检模块35包括：

第二理论位置确定单元，用于根据机械臂的安装点的当前位置数据和检具的检测点与安装点的位置关系，结合机械臂的移动数据，确定移动后检测点的理论位置；

第二移动控制单元，用于在检测到理论位置与目标位置的差异处于第二允许误差内，则控制机械臂沿预设方向移动预设距离。

可选的是，上述工件质检装置还包括：

标记获取模块，用于获取工件上的工件标记；

相应地，上述工件质检装置还包括：

质检结果存储模块，用于在根据移动过程中机械臂收到的反作用力与作用力阈值的比对结果，确定工件的质检结果之后，将工件标记与工件的质检结果映射存储。

可选的是，预测网络包括第一分支网络和第二分支网络，第一分支网络的结构包括第一编码器和第一全连接层，第二分支网络的结构包括第二编码器和第二全连接层，第一编码器的参数与第二编码器的参数为共享，第一全连接层的参数与第二全连接层的参数为共享，双目相机一次采集的图像对中图像A输入第一编码器，图像B分别输入第二编码器，第一全连接层和第二全连接层的输出均为偏移矩阵；

预测网络的训练集为双目相机同时采集的N对图像A和图像B，以及每张图像中工件的位置描述向量，预测网络采用自监督训练，训练的损失函数为：

式中，cos表示向量间的余弦相似度计算；表示第n张图像A_n中工件的位置描述向量经第一全连接层输出的偏移矩阵R'_nA及双目相机的单应性矩阵R_n变换得到的描述向量，/>表示第n张图像B_n中工件的位置描述向量经第二全连接层输出的偏移矩阵R'_nB变换得到的描述向量，/>表示第n张图像A_n中工件的位置描述向量经第一全连接层输出的偏移矩阵R'_nA变换得到的描述向量，/>表示第n张图像B_n中工件的位置描述向量经第二全连接层输出的偏移矩阵R'_nB及双目相机的单应性矩阵R_n变换得到的描述向量，1≤n≤N。

可选的是，预测网络的训练集的图像中工件的位置描述向量为采用关键点检测网络和目标检测网络识别对应图像得到，图像中工件的位置描述向量为：V＝[x_lu,y_lu,x_rd,y_rd,w,h,x_t,y_t,x_i,y_i]；

其中，关键点检测网络的输入为一张图像，输出为该图像中工件的表面质心点的图像坐标(x_t,y_t)；

目标检测网络的输入为一张图像，输出为该图像中工件的包围框数据[x_lu,y_lu,x_rd,y_rd,w,h,x_i,y_i]，其中，(x_lu,y_lu)表示该图像中包围框的左上角点坐标，(x_rd,y_rd)表示该图像中包围框的右下角点坐标，w为包围框的宽度，h为包围框的高度，(x_i,y_i)表示包围框的中心点坐标。

需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图4为本申请实施例四提供的一种机器人的结构示意图。如图4所示，该实施例的机器人4包括：双目相机、至少一个机械臂且机械臂上固定安装有检具，以及至少一个处理器40(图4中仅示出一个)、存储器41以及存储在存储器41中并可在至少一个处理器40上运行的计算机程序42，处理器40连接双目相机和机械臂，以获取图像和控制机械臂运动，处理器40执行计算机程序42时实现上述任意各个工件质检方法实施例中的步骤。

该机器人4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是机器人4的举例，并不构成对机器人4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器40可以是CPU，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器41在一些实施例中可以是机器人4的内部存储单元，例如机器人4的硬盘或内存。存储器41在另一些实施例中也可以是机器人4的外部存储设备，例如机器人4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器41还可以既包括机器人4的内部存储单元也包括外部存储设备。存储器41用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在机器人上运行时，使得机器人执行时实现可实现上述方法实施例中的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/机器人和方法，可以通过其它的方式实现。例如，以上所描述的装置/机器人实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于双目机器人的工件质检方法，其特征在于，所述工件质检方法包括：

使用双目相机采集目标区域内任一工件的第一图像和第二图像，提取所述第一图像中工件定位点的第一图像位置和所述第二图像中工件定位点的第二图像位置；

将所述第一图像和所述第二图像分别输入训练好的预测网络中对应的分支网络，得到所述第一图像对应的第一偏移矩阵和所述第二图像对应的第二偏移矩阵；

根据所述第一偏移矩阵和所述双目相机至地面的投影矩阵，将所述第一图像位置映射至地面，得到第一地面位置，根据所述第二偏移矩阵和所述投影矩阵，将所述第二图像位置映射至地面，得到第二地面位置；

在检测到所述第一地面位置与所述第二地面位置的差异小于差异阈值时，选取所述第一地面位置和所述第二地面位置中任一位置为目标位置；

在安装在所述双目机器人的机械臂上检具的检测点移动至所述目标位置之后，控制所述机械臂沿预设方向移动预设距离，并根据移动过程中所述机械臂收到的反作用力与作用力阈值的比对结果，确定所述工件的质检结果。

2.根据权利要求1所述的工件质检方法，其特征在于，在所述在检测到所述第一地面位置与所述第二地面位置的差异小于差异阈值时，选取所述第一地面位置和所述第二地面位置中任一位置为目标位置之后，还包括：

获取所述双目机器人的机械臂移动时的第一允许误差；

相应地，所述在安装在所述双目机器人的机械臂上检具的检测点移动至所述目标位置之后，控制所述机械臂沿预设方向移动预设距离包括：

根据所述机械臂的安装点的当前位置数据和所述检具的检测点与所述安装点的位置关系，结合所述机械臂的移动数据，确定移动后所述检测点的理论位置；

在检测到所述理论位置与所述目标位置的差异处于所述第一允许误差内，则控制所述机械臂沿预设方向移动预设距离。

3.根据权利要求1所述的工件质检方法，其特征在于，在得到所述第一地面位置和所述第二地面位置之后，还包括：

在检测到所述第一地面位置与所述第二地面位置的差异不小于差异阈值时，将所述第一地面位置和所述第二地面位置的中心点位置作为所述目标位置。

4.根据权利要求3所述的工件质检方法，其特征在于，在所述在检测到所述第一地面位置与所述第二地面位置的差异不小于差异阈值时，将所述第一地面位置和所述第二地面位置的中心点位置作为所述目标位置之后，还包括：

计算所述第一偏移矩阵和所述第二偏移矩阵的余弦相似度；

获取所述双目机器人的机械臂移动时的预设允许误差，将所述余弦相似度与所述预设允许误差的相乘，确定相乘的结果为所述双目机器人的机械臂移动时的第二允许误差；

相应地，所述在安装在所述双目机器人的机械臂上检具的检测点移动至所述目标位置之后，控制所述机械臂沿预设方向移动预设距离包括：

根据所述机械臂的安装点的当前位置数据和所述检具的检测点与所述安装点的位置关系，结合所述机械臂的移动数据，确定移动后所述检测点的理论位置；

在检测到所述理论位置与所述目标位置的差异处于所述第二允许误差内，则控制所述机械臂沿预设方向移动预设距离。

5.根据权利要求1所述的工件质检方法，其特征在于，所述工件质检方法还包括：

获取所述工件上的工件标记；

相应地，在根据移动过程中所述机械臂收到的反作用力与作用力阈值的比对结果，确定所述工件的质检结果之后，还包括：

将所述工件标记与所述工件的质检结果映射存储。

6.根据权利要求1至5任一项所述的工件质检方法，其特征在于，所述预测网络包括第一分支网络和第二分支网络，所述第一分支网络的结构包括第一编码器和第一全连接层，所述第二分支网络的结构包括第二编码器和第二全连接层，所述第一编码器的参数与所述第二编码器的参数为共享，所述第一全连接层的参数与所述第二全连接层的参数为共享，双目相机一次采集的图像对中图像A输入所述第一编码器，图像B输入所述第二编码器，所述第一全连接层和所述第二全连接层的输出均为偏移矩阵；

所述预测网络的训练集为双目相机同时采集的N对图像A和图像B，以及每张图像中工件的位置描述向量，所述预测网络采用自监督训练，训练的损失函数为：

式中，cos表示向量间的余弦相似度计算；表示第n张图像A_n中工件的位置描述向量经第一全连接层输出的偏移矩阵R'_nA及双目相机的单应性矩阵R_n变换得到的描述向量，/>表示第n张图像B_n中工件的位置描述向量经第二全连接层输出的偏移矩阵R'_nB变换得到的描述向量，/>表示第n张图像A_n中工件的位置描述向量经第一全连接层输出的偏移矩阵R'_nA变换得到的描述向量，/>表示第n张图像B_n中工件的位置描述向量经第二全连接层输出的偏移矩阵R'_nB及双目相机的单应性矩阵R_n变换得到的描述向量，1≤n≤N。

7.根据权利要求6所述的工件质检方法，其特征在于，所述预测网络的训练集的图像中工件的位置描述向量为采用关键点检测网络和目标检测网络识别对应图像得到，图像中工件的位置描述向量为：V＝[x_lu,y_lu,x_rd,y_rd,w,h,x_t,y_t,x_i,y_i]；

其中，所述关键点检测网络的输入为一张图像，输出为该图像中工件的表面质心点的图像坐标(x_t,y_t)；

所述目标检测网络的输入为一张图像，输出为该图像中工件的包围框数据[x_lu,y_lu,x_rd,y_rd,w,h,x_i,y_i]，其中，(x_lu,y_lu)表示该图像中包围框的左上角点坐标，(x_rd,y_rd)表示该图像中包围框的右下角点坐标，w为包围框的宽度，h为包围框的高度，(x_i,y_i)表示包围框的中心点坐标。

8.一种基于双目机器人的工件质检装置，其特征在于，所述工件质检装置包括：

定位点获取模块，用于使用双目相机采集目标区域内任一工件的第一图像和第二图像，提取所述第一图像中工件定位点的第一图像位置和所述第二图像中工件定位点的第二图像位置；

偏移矩阵预测模块，用于将所述第一图像和所述第二图像分别输入训练好的预测网络中对应的分支网络，得到所述第一图像对应的第一偏移矩阵和所述第二图像对应的第二偏移矩阵；

映射变换模块，用于根据所述第一偏移矩阵和所述双目相机至地面的投影矩阵，将所述第一图像位置映射至地面，得到第一地面位置，根据所述第二偏移矩阵和所述投影矩阵，将所述第二图像位置映射至地面，得到第二地面位置；

目标位置选取模块，用于在检测到所述第一地面位置与所述第二地面位置的差异小于差异阈值时，选取所述第一地面位置和所述第二地面位置中任一位置为目标位置；

移动与质检模块，用于在安装在所述双目机器人的机械臂上检具的检测点移动至所述目标位置之后，控制所述机械臂沿预设方向移动预设距离，并根据移动过程中所述机械臂收到的反作用力与作用力阈值的比对结果，确定所述工件的质检结果。

9.一种机器人，所述机器人包括双目相机和机械臂，其特征在于，所述机械臂的安装点上安装有检具，所述机器人还包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的工件质检方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的工件质检方法。