CN110977939B - 目标工件识别定位*** - Google Patents

Abstract

本发明提供一种目标工件识别定位***，包括工件传送装置、第一图像采集装置、第二图像采集装置、图像识别处理单元、计算单元和控制单元；工件传送装置用于放置和传送工件；第一图像采集装置用于采集工件的俯视角度图像；第二图像采集装置用于采集工件的侧视角度图像；图像识别处理单元用于接收第一图像采集装置、第二图像采集装置采集到的图像，对图像进行识别和处理，并将识别处理结果发送给计算单元；计算单元用于计算目标工件的运动轨迹；控制单元用于控制第一图像采集装置、第二图像采集装置采集图像，并根据计算出的目标工件运动轨迹控制机器人工作；本发明可以解决机器人在抓取工件前，不能很好的对目标工件进行准确识别定位的技术问题。

Description

目标工件识别定位***

技术领域

本发明涉及机器视觉技术领域，具体涉及一种目标工件识别定位***。

背景技术

对于工作在自动化生产线上或柔性制造***中的工业机器人来说，其完成最多的一类操作是“抓取—放置”动作，比如流水线上的工件搬运、装配以及各工位之间的工件转移和上下料。在这个过程中，工件相对于机器人的初始位姿和终止位姿是事先规定的；但很多情况下，特别是流水线场合，工件的位姿常常是不固定的。这就导致实际目标工件的位姿与理想工件位姿总是有偏差的，这种偏差哪怕很小都可能会导致机器人抓取失败。

现有技术中，通常使用的技术方案是在传送带的上方，安装单个或两个相机，以单目或双目机器视觉识别***的方式，来实现对工件的定位。但这种技术方案因为相机都安装在传送带的正上方，只能从俯视角度拍摄工件，对于外形不规则、不易抓取的工件，现有技术不能很好的使用俯视图像通过图像识别算法识别出该工件的理想抓取部位。

授权公告号为CN208622139U的实用新型专利公开了一种“基于立体视觉的工件智能识别***”，该***使用CCD摄像机对工件进行全方位拍照，对拍摄到的工件各个角度的多张图像，进行多次图像识别处理，实现起来较为复杂。申请公布号为CN106829469A的发明专利公开了“一种基于双相机的机器人无序抓取装置及方法”，该装置的第一相机用于对工件的识别，第二相机用于在机器人抓取了工件后调整工件的位姿，但并未解决机器人在抓取工件前对目标工件进行准确识别定位的技术问题。

发明内容

针对现有技术中的缺陷，本发明提供一种目标工件识别定位***，以解决现有技术中存在的机器人在抓取工件前，不能很好的对目标工件进行准确识别定位的技术问题。

本发明采用的技术方案是，一种目标工件识别定位***，包括工件传送装置、第一图像采集装置、第二图像采集装置、图像识别处理单元、计算单元和控制单元；

工件传送装置用于放置和传送工件；

第一图像采集装置位于工件传送装置垂直方向的正上方，用于采集工件的俯视角度图像；第二图像采集装置位于工件传送装置水平方向的侧面，用于采集工件的侧视角度图像；

图像识别处理单元的输入端与第一图像采集装置、第二图像采集装置相连接，输出端与计算单元相连接，图像识别处理单元用于接收第一图像采集装置、第二图像采集装置采集到的图像，对图像进行识别和处理，并将识别处理结果发送给计算单元；

计算单元的输入端与图像识别处理单元相连接，输出端与控制单元相连接；计算单元用于计算目标工件的运动轨迹，并将运动轨迹传输给控制单元；计算单元计算目标工件的运动轨迹，按以下步骤实现：

S1.目标工件进入图像采集装置视野后，第一图像采集装置采集得到目标工件的第一幅图像；

S2.图像识别出理单元根据所述目标工件的第一幅图像，得出目标工件在被采集第一幅图像时的空间坐标信息；

S3.控制单元根据步骤S2中空间坐标信息，设置跟踪范围圆；

S4.目标工件随工件传送装置移动，进入跟踪范围圆的空间坐标范围内；控制单元控制第一图像采集装置、第二图像采集装置采集所述目标工件的连续多帧图像；

S5.图像识别处理单元根据连续多帧图像，进行识别处理，得出目标工件的多个空间坐标信息；

S6.计算单元根据多个空间坐标信息，计算出目标工件的运动轨迹；

控制单元的输入端与计算单元相连接，输出端分别连接有第一图像采集装置和第二图像采集装置；控制单元用于控制第一图像采集装置、第二图像采集装置采集图像，并接收计算单元计算出的目标工件运动轨迹；

目标工件识别定位***还包括监视报警单元，监视报警单元分别与计算单元、控制单元相连接；当目标工件出现外形变化超出预设值时，监视报警单元进行报警，并将报警信息传输到控制单元。

进一步的，目标工件识别定位***还包括机器人，机器人位于工件传送装置旁侧，与控制单元相连接；控制单元根据计算单元计算出的目标工件运动轨迹控制机器人工作。

进一步的，机器人为六轴工业机器人。

进一步的，图像识别处理单元根据张正友标定法，从第一图像采集装置采集到的图像中推导出目标工件在X轴、Y轴的空间坐标信息。

进一步的，图像识别处理单元根据张正友标定法，从第二图像采集装置采集到的图像中推导出目标工件在Z轴的空间坐标信息。

进一步的，目标工件识别定位***还包括第三图像采集装置，第三图像采集装置位于正对第二图像采集装置的传送带另一侧，分别与图像识别处理单元、控制单元相连接。

由上述技术方案可知，本发明的有益技术效果如下：

1.使用两个位置不同的摄像机，可以分别拍摄到目标工件的俯视角度图像和侧视角度图像；通过俯视角度图像可以得出工件在X轴、Y轴的空间坐标信息；通过侧视角度图像可以得出工件在Z轴的空间坐标信息。这样得出的工件空间坐标信息，比现有技术中通过双目视觉识别***，仅由工件的俯视角度图像推导出的空间坐标信息更加精确。

2.通过设定跟踪范围圆，在目标工件进行跟踪范围圆后再对目标工件的运动轨迹进行计算，可以减少目标工件识别定位的计算量。

3.拍摄了工件的三个维度的图像，可以更好对目标工件的理想抓取点进行识别定位。

4.当目标工件的外形变化超出预设值时，会控制机器人对该目标工件不执行抓取动作，避免机器人的无效抓取动作。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明的***结构示意图。

图2为本发明的一种***架构框图。

图3为本发明的另一种***架构框图。

图4为本发明的参考坐标系示意图。

附图标记：

1-工件传送装置，2-第一图像采集装置，3-第二图像采集装置，4-机器人，5-工控机，6-目标工件，7-图像采集装置视野范围，8-跟踪范围圆。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例1

如图1和图2所示，本发明提供一种目标工件识别定位***，包括工件传送装置1、第一图像采集装置2、第二图像采集装置3、图像识别处理单元、计算单元和控制单元；

工件传送装置1用于放置和传送工件；

第一图像采集装置2位于工件传送装置1垂直方向的正上方，用于采集工件的俯视角度图像；第二图像采集装置3位于工件传送装置1水平方向的侧面，用于采集工件的侧视角度图像；

图像识别处理单元的输入端与第一图像采集装置2、第二图像采集装置3相连接，输出端与计算单元相连接，图像识别处理单元用于接收第一图像采集装置2、第二图像采集装置3采集到的图像，对图像进行识别和处理，并将识别处理结果发送给计算单元；

计算单元的输入端与图像识别处理单元相连接，输出端与控制单元相连接；计算单元用于计算目标工件的运动轨迹，并将运动轨迹传输给控制单元；

控制单元的输入端与计算单元相连接，输出端分别连接有第一图像采集装置2和第二图像采集装置3；控制单元用于控制第一图像采集装置2、第二图像采集装置3采集图像，并接收计算单元计算出的目标工件运动轨迹。

目标工件识别定位***还包括机器人4，机器人4位于工件传送装置1旁侧，与控制单元相连接；控制单元根据图像识别处理单元的识别处理结果控制机器人4工作。

以下对实施例1工作原理进行详细说明：

目标工件识别定位***是机器人智能抓取***中的一个子***。在本实施例中，工件传送装置1以传送带举例说明，图像采集装置以摄像机举例说明，图像识别单元、计算单元和控制单元集成在工控机5内部。

机器人智能抓取***开始运行后，在传送带上放有工件，工件随着传达带的传动往预设方向移动。此时，目标工件识别定位***的控制单元控制第一摄像机、第二摄像机开始工作，通过持续摄像的方式进行图像采集。当工件进入第一摄像机的视野范围时，第一摄像机会拍摄到工件的俯视角度图像。当工件进入第二摄像机的视野范围时，第二摄像机会拍摄到工件的侧视角度图像；第二摄像机可以设置在传送带的左侧拍摄工件的左视图；也可以设置在传送带的右侧拍摄工件的右视图，在本实施例中以左视图举例说明。

第一摄像机、第二摄像机将拍摄到的工件图像传输给图像识别处理单元。图像识别处理单元通过使用张正友标定法，可以根据图像从像素坐标系推导出世界坐标系。张正友标定法的具体推导公式如下：

在上述公式(1)中：

世界坐标系为用户定义的三维世界的坐标系，为了描述目标物在真实世界里的位置而被引入，单位为m；

摄像机坐标系为在相机上建立的坐标系，为了从摄像机的角度描述物***置而定义，作为沟通世界坐标系和图像/像素坐标系的中间一环，单位为m。

图像物理坐标系是为了描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系而引入，方便进一步得到像素坐标系下的坐标，单位为m。

图像像素坐标系是为了描述物体成像后的像点在数字图像上的坐标而引入，是真正从相机内读取到的信息所在的坐标系，单位为个(像素数目)。

图像识别处理单元就可以通过图像中工件的位姿信息，得出工件实际的空间坐标信息。具体的，如图4所示，在本实施例中，定义世界坐标系的X轴与传送带中线重合，方向指向目标运动方向；Y轴指向机器人4一侧，Z轴垂直于传送带平面向上。从位于传送带垂直方向正上方的第一摄像机采集到的图像中，可以得出工件在X轴、Y轴的空间坐标信息；从位于传送带水平方向侧面的第二摄像机采集到的图像中，可以得出工件在Z轴的空间坐标信息。这样得出的工件空间坐标信息，比现有技术中通过双目视觉识别***，仅由工件的俯视角度图像推导出的空间坐标信息更加精确。

将通过图像识别处理单元得到的目标工件空间坐标信息传输到计算单元中，计算出目标工件的运动轨迹，具体按以下步骤实现：

(1)目标工件进入摄像机的视野后，摄像机拍摄得到目标工件6的第一幅图像。在本实施例中，优选的，如图4所示，目标工件6在进入第一摄像机的视野范围后7，第一摄像机拍摄得到目标工件的第一幅俯视图像；

(2)目标工件6的第一幅图像传输到图像识别出理单元中，图像识别处理单元按张正友标定法，推导得出目标工件6在被采集第一幅图像时的空间坐标信息；

(3)控制单元根据目标工件6在被采集第一幅图像时的空间坐标信息，设置跟踪范围圆，如图4所示，跟踪范围圆的圆心位于X轴上。

(4)目标工件6随传送带移动，进入跟踪范围圆的空间坐标范围内；控制单元控制摄像机拍摄目标工件的连续多帧图像；

(5)图像识别处理单元根据目标工件的连续多帧图像进行识别处理，得出目标工件的多个空间坐标信息；

(6)计算单元根据多个空间空间坐标信息，计算出目标工件的运动轨迹。

在本实施例中，传送带运动状态为匀速直线运动，因此只要计算出目标工件的速度和位置便能写出轨迹方程来。目标工件位置的空间坐标，可以通过拍摄到的目标工件连续多帧图像使用张正友标定法推到得出。目标工件的速度，可以通过目标工件在运动方向的位移，除以目标工件在完成该位移所经历的时间；具体的，比如：可以在摄像机视野内，取间隔10张的两幅图像，计算目标工件在运动方向的位移，除以拍摄这10张图像所经历的时间，即可得到目标工件的速度。通过设定跟踪范围圆，在目标工件进行跟踪范围圆后再对目标工件的运动轨迹进行计算，可以减少目标工件识别定位的计算量。

同时，本发明拍摄了工件的三个维度的图像，可以更好识别工件的理想抓取点。对于外形不规则的工件，比如葫芦状的工件，机器人4如果抓取到葫芦的圆球形部位，就容易打滑，造成抓取失败，葫芦状工件的理想抓取点是葫芦中部的向内凹陷处。在实际生产的过程中，如果葫芦是底部向下竖立在传送带上传输，那么传送带上方的摄像机就拍摄不到葫芦中部的向内凹陷处图像；另外不同的葫芦竖立放置的倾斜度不一样，也会影响机器人4抓取时的成功率。本发明在传送带的侧面设置了第二摄像机，可以很清晰的反映出葫芦中部的向内凹陷处位于空间坐标系中的哪一处。通过拍摄到葫芦中部的向内凹陷处的位置，图像识别处理单元可以识别处理得出该位置的空间坐标信息；将该空间坐标信息传输给计算单元，给机器人4在抓取过程中的运动学反解提供更为精确的输入。这样可以在机器人4在抓取工件前，对目标工件的理想抓取点进行准确识别定位。

在实施例1中，摄像机可选用Basler公司的acA2500-14gm，图像识别处理单元的图像识别处理功能采用OpenCV和HALCON进行编程开发，控制单元可选用研华IPC-610H工控机***，机器人可选用ABB六轴工业机器人。

实施例2

对于部分外形不规则的工件，由于在传送带的位姿不同，可能会出现部分工件面对第二摄像机的一面没有理想的抓取点。这样，如果只从工件的左侧或右侧拍摄图像，就不便于使用图像识别技术找出工件的理想抓取点。

为解决上述技术问题，在实施例1的基础上进一步优化，正对第二摄像机的传送带另一侧，设置一个第三图像采集装置，即第三摄像机，第三摄像机分别与图像识别处理单元、控制单元相连接。第三摄像机在控制单元的控制下拍摄工件图像，并将图像传输给图像识别处理单元。第二摄像机和第三摄像机分别采集到工件的左视图和右视图，配合第一摄像机采集到的工件俯视图，这样不管工件的理想抓取点是在工件的顶面、左面还是右面，通过本发明的技术方案都可以准确的识别出来，这样可以在实施例1的基础上，进一步提升对目标工件的理想抓取点进行准确识别定位。

实施例3

对于一些外形结构损伤了的工件，工件的理想抓取点已经被破坏了，机器人4不管从哪个角度去抓取，都可能有较大概率抓取失败。为了减少机器人的无效抓取动作，在实施例1的基础上进一步优化，如图3所示，在***中集成监视报警单元；监视报警单元为一个开发的软件模块，与目标工件识别定位***配套使用。监视报警单元分别与计算单元、控制单元相连接。

当目标工件的外形变化超出预设值时，在本实施例中，预设值为尺寸超差20％。图像采集装置采集到该工件的图像，由图像识别处理单元得出目标工件的外形变化值，由计算单元计算是否超出预设值的判断结果，并将该结果发送到监视报警单元。如果判断结果是超出了预设值，则由监视报警单元进行报警提示，比如采用发出警报声的方式。报警的目的是为了提醒值班人员查看工件的异常情况。监视报警单元同时将报警信息发送给控制单元，控制单元接收到该信息后，会控制机器人4对该个目标工件不执行抓取动作。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种目标工件识别定位***，其特征在于：包括工件传送装置(1)、第一图像采集装置(2)、第二图像采集装置(3)、图像识别处理单元、计算单元和控制单元；所述工件传送装置(1)用于放置和传送工件；

所述第一图像采集装置(2)位于工件传送装置(1)垂直方向的正上方，用于采集工件的俯视角度图像；所述第二图像采集装置(3)位于工件传送装置(1)水平方向的侧面，用于采集工件的侧视角度图像；

所述图像识别处理单元的输入端与第一图像采集装置(2)、第二图像采集装置(3)相连接，输出端与计算单元相连接，所述图像识别处理单元用于接收第一图像采集装置(2)、第二图像采集装置(3)采集到的图像，对所述图像进行识别和处理，并将识别处理结果发送给计算单元；

所述计算单元的输入端与图像识别处理单元相连接，输出端与控制单元相连接；所述计算单元用于计算目标工件的运动轨迹，并将运动轨迹传输给控制单元；所述计算单元计算目标工件的运动轨迹，按以下步骤实现：

S1.目标工件进入所述第一图像采集装置视野后，所述第一图像采集装置采集得到目标工件的第一幅图像；

S2.所述图像识别处理单元根据所述目标工件的第一幅图像，得出目标工件在被采集第一幅图像时的空间坐标信息；

S3.所述控制单元根据步骤S2中所述空间坐标信息，设置跟踪范围圆；

S4.所述目标工件随工件传送装置(1)移动，进入跟踪范围圆的空间坐标范围内；所述控制单元控制第一图像采集装置、第二图像采集装置采集所述目标工件的连续多帧图像；

S5.所述图像识别处理单元根据所述的连续多帧图像，进行识别处理，得出所述目标工件的多个空间坐标信息；

S6.所述计算单元根据所述多个空间坐标信息，计算出目标工件的运动轨迹；

所述控制单元的输入端与计算单元相连接，输出端分别连接有第一图像采集装置(2)和第二图像采集装置(3)；所述控制单元用于控制第一图像采集装置(2)、第二图像采集装置(3)采集图像，并接收计算单元计算出的目标工件运动轨迹；

目标工件识别定位***还包括监视报警单元，所述监视报警单元分别与所述计算单元、控制单元相连接；当目标工件出现外形变化超出预设值时，所述监视报警单元进行报警，并将报警信息传输到控制单元。

2.根据权利要求1所述一种目标工件识别定位***，其特征在于：还包括机器人(4)，所述机器人(4)位于工件传送装置(1)旁侧，与控制单元相连接；所述控制单元根据所述计算单元计算出的目标工件运动轨迹控制机器人(4)工作。

3.根据权利要求2所述一种目标工件识别定位***，其特征在于：所述机器人(4)为六轴工业机器人。

4.根据权利要求1所述一种目标工件识别定位***，其特征在于：所述图像识别处理单元根据张正友标定法，从所述第一图像采集装置采集到的图像中推导出所述目标工件在X轴、Y轴的空间坐标信息。

5.根据权利要求1所述一种目标工件识别定位***，其特征在于：所述图像识别处理单元根据张正友标定法，从所述第二图像采集装置采集到的图像中推导出所述目标工件在Z轴的空间坐标信息。

6.根据权利要求1所述一种目标工件识别定位***，其特征在于：还包括第三图像采集装置，所述第三图像采集装置位于正对所述第二图像采集装置的工件传送装置(1)另一侧，分别与所述图像识别处理单元、控制单元相连接。

Images