CN113269829B - 流水生产线目标定位方法、装置、计算机设备和存储介质 - Google Patents

流水生产线目标定位方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113269829B
CN113269829B CN202110678698.2A CN202110678698A CN113269829B CN 113269829 B CN113269829 B CN 113269829B CN 202110678698 A CN202110678698 A CN 202110678698A CN 113269829 B CN113269829 B CN 113269829B
Authority
CN
China
Prior art keywords
coordinate system
dimensional coordinate
coordinates
global
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110678698.2A
Other languages
English (en)
Other versions
CN113269829A (zh
Inventor
赵祚喜
张壮壮
罗阳帆
黄渊
林旭
罗舒元
项波瑞
杨厚城
曹阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202110678698.2A priority Critical patent/CN113269829B/zh
Publication of CN113269829A publication Critical patent/CN113269829A/zh
Application granted granted Critical
Publication of CN113269829B publication Critical patent/CN113269829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种流水生产线目标定位方法、装置、计算机设备和存储介质。所述方法包括：获取标志点在局部二维坐标系的坐标，标志点设置于托盘上，所述托盘的边缘与所述传送带的边缘平行；基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标；根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵；基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标。采用本方法能够提高待测目标物的定位效率。

Description

流水生产线目标定位方法、装置、计算机设备和存储介质
技术领域
本申请涉及机器视觉技术领域，特别是涉及一种流水生产线目标定位方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的发展，机器视觉被广泛应用于对各个领域的参考目标物体识别，特别的，其作为一种无损识别手段，经常被应用于对易碎易污染物体的识别。鸡蛋作为一种易碎物品，在流水生产线进行自动包装时，对于破损鸡蛋需要人工进行检测，将破损鸡蛋捡出。
近年来，现有通过机器视觉对破损进行检测，但是在检测出破损鸡蛋后，如果不能及时有效的捡出，破损鸡蛋还是会流入包装中，导致不合格产品产出。即使在流水线上能够通过机械手抓取鸡蛋将鸡蛋捡出，但是如果定位不准确，很难将表面光滑且易碎的鸡蛋抓住捡出。
因此，现亟需一种能够应用于工业流水生产线上易碎物品的定位方式。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高目标实时定位效率的流水生产线目标定位方法、装置、计算机设备和存储介质。
一种流水生产线目标定位方法，所述方法包括：
获取标志点在局部二维坐标系的坐标，标志点设置于随流水生产线传送带规则移动的托盘上，所述托盘的边缘与所述传送带的边缘平行；
基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标；
根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵；
基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标。
在其中一个实施例中，基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标，包括：
第二机器视觉***实时采集关于待测目标物的第二目标图像，并通过图像处理后得到标志点在所述第二目标图像的坐标(x0，y0)；
获取所述第二机器视觉***的相机深度h2、焦距f2和一个像素的实际尺寸大小P2；
设标志点在全局二维坐标系下的坐标(x3，y3)，根据相似三角形，可以得到标志点在全局二维坐标系下的坐标(x3，y3)与所述标志点在所述第二目标图像的坐标(x0，y0)之间的关系，公式为：
Figure BDA0003121964360000021
Figure BDA0003121964360000022
根据公式(1)和公式(2)求解得到标志点在全局二维坐标系下的坐标(x3，y3)。
在其中一个实施例中，根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵，包括：
根据所述全局二维坐标系与所述局部二维坐标系的X轴和Y轴，并且根据流水生产线垂直的方向为Z轴，建立全局三维坐标系和局部三维坐标系；
根据全局三维坐标系和局部三维坐标系的X轴、Y轴和Z轴都平行，确定旋转矩阵为
Figure BDA0003121964360000023
设位移矩阵T(Xt，Yt，Zt)T，则Zt为所述托盘的高度，Zt的值为固定的，并且待测目标物在传送带上沿Y轴方向移动，则Xt的值也是固定的；
已知标志点在全局二维坐标系下的实时坐标b1(x3，y3)，标志点在局部二维坐标系的坐标b2(x4，y4)，则标志点在全局三维坐标系的实时坐标B1(x3，y3，Zt)，标志点在局部三维坐标系的坐标B2(x4，y4，0)；
根据坐标转换公式B1＝B2*R+T，则x3＝x4*1+Xt，y3＝y4*1+Yt，由此，Xt＝x3-x4，Yt＝y3-y4；
根据求解得到的Xt、Yt、Zt的值确定位移矩阵T。
在其中一个实施例中，基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标，包括：
根据待测目标物在所述局部二维坐标系下的坐标g1(x1，y1)，确定待测目标物在所述局部三维坐标系下的坐标G1(x1，y1，z1)；其中，z1的值为0；
设待测目标物在全局三维坐标系下的坐标G2(x5，y5，z5)，根据旋转矩阵
Figure BDA0003121964360000031
位移矩阵T(Xt，Yt，Zt)T，以及矩阵转换公式G2＝G1*R+T，得到x5＝x1*1+Xt，y5＝y1*1+Yt，z5＝Zt，其中，Zt为所述托盘的高度；
最后简化得到，待测目标物在全局三维坐标系下的坐标，x5＝x1+Xt，y5＝y1+Yt，z5＝Zt。
在其中一个实施例中，在流水生产线靠近传送带边缘的位置固定设置至少三个控制点，第一控制点作为全局二维坐标系原点，第二控制点与所述第一控制点的连线作为全局二维坐标系的X轴，第三控制点与所述第一控制点的连线作为全局二维坐标系的Y轴，根据所述原点、X轴和Y轴建立全局二维坐标系；其中，所述全局二维坐标系与所述局部二维坐标系X轴和Y轴均平行。
在其中一个实施例中，在基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标之前，包括：
第一机器视觉***采集关于待测目标物的第一目标图像，并通过图像处理后得到所述待测目标物在所述第一目标图像中的坐标(x2，y2)；
获取所述第一机器视觉***的相机深度h1、焦距f1和一个像素的实际尺寸大小P1；
设待测目标物在局部二维坐标系下的坐标(x1，y1)，根据相似三角形，可以得到待测目标物在局部二维坐标系下的坐标(x1，y1)与待测目标物在所述第一目标图像中的坐标(x2，y2)之间的关系，公式为：
Figure BDA0003121964360000041
Figure BDA0003121964360000042
根据公式(3)和公式(4)求解得到待测目标物在局部二维坐标系下的坐标(x1，y1)。
在其中一个实施例中，所述标志点在局部二维坐标系的坐标通过测量得到；或
第一机器视觉***采集关于标志点的第三目标图像，并通过图像处理后得到所述标志点在第三目标图像中的坐标(x6，y6)；
获取所述第一机器视觉***的相机深度h1、焦距f1和一个像素的实际尺寸大小P1；
设标志点在局部二维坐标系下的坐标(x4，y4)，根据相似三角形，可以得到标志点在局部二维坐标系下的坐标(x4，y4)与标志点在所述第三目标图像中的坐标(x6，y6)之间的关系，公式为：
Figure BDA0003121964360000043
Figure BDA0003121964360000044
根据公式(5)和公式(6)求解得到标志点在局部二维坐标系下的坐标(x4，y4)。
一种流水生产线目标定位装置，所述装置包括：
标志点局部坐标获取模块，用于获取标志点在局部二维坐标系的坐标，标志点设置于随流水生产线传送带规则移动的托盘上，所述托盘的边缘与所述传送带的边缘平行；
标志点全局坐标获取模块，用于基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标；
转换矩阵计算模块，用于根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵；
目标实时坐标计算模块，基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取标志点在局部二维坐标系的坐标，标志点设置于随流水生产线传送带规则移动的托盘上，所述托盘的边缘与所述传送带的边缘平行；
基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标；
根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵；
基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取标志点在局部二维坐标系的坐标，标志点设置于随流水生产线传送带规则移动的托盘上，所述托盘的边缘与所述传送带的边缘平行；
基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标；
根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵；
基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标。
上述流水生产线目标定位方法、装置、计算机设备和存储介质，通过预先获取标志点和待测目标物在局部坐标系的坐标，然后再通过第二视觉***计算标志点在全局坐标系的坐标，得到两坐标系之间的旋转矩阵和位移矩阵，待测目标物根据所述旋转矩阵和位移矩阵，可以将局部坐标系的坐标换算到全局坐标系，能够准确快速的计算待测目标物的在全局坐标系的坐标，基于流水线上托盘规则运动的方式，建立的坐标系转换公式的计算方式，大大减少了计算量，实现对测量目标物的快速定位。
附图说明
图1为一个实施例中流水生产线目标定位方法的应用环境图；
图2为一个实施例中流水生产线目标定位方法的流程示意图；
图3为一个实施例中托盘和标志点结构示意图；
图4为一个实施例中流水线上局部二维坐标系和全局二维坐标系的位置示意图；
图5为一个实施例中控制点在局部二维坐标系和全局二维坐标系的位置示意图；
图6为一个实施例中流水生产线目标定位装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的流水生产线目标定位方法，可以应用于如图1所示的应用环境中。其中，第一机器视觉***和第二机器视觉***均包括一单目相机和计算机，单目相机包括摄像头和图像采集卡，第一机器视觉***和第二机器视觉***在采集目标图像时，可架设光源，保证光源充沛计算机获取标志点在局部二维坐标系的坐标，标志点设置于随流水生产线传送带规则移动的托盘上，所述托盘的边缘与所述传送带的边缘平行；基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标；根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵；基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标。其中，待测目标物可为鸡蛋，托盘为鸡蛋托盘，鸡蛋固定放在鸡蛋托盘的凹槽中，流水生产线上传送带带动鸡蛋托盘朝一个方向运动。
在一个实施例中，如图2所示，提供了一种流水生产线目标定位方法，包括以下步骤：
S110，获取标志点在局部二维坐标系的坐标，标志点设置于随流水生产线传送带规则移动的托盘上，所述托盘的边缘与所述传送带的边缘平行。
其中，标志点在局部二维坐标系的坐标预先获取，具体可以测量获得，也可通过第一视觉***拍摄标志点的目标图像，通过图像处理方式获得。其中，标志点可为多个，如图3所示，在托盘的四个角分别设置标志点301。托盘在流水生产线传送带沿同一方向运动，托盘为规则形状，如托盘为正四边形、长方形。
S120，基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标。
其中，工业相机成像原理为相似三角形原理，通过像素坐标根据相机深度、焦距计算得到全局二维坐标系的坐标。
S130，根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵。
其中，所述全局二维坐标系与所述局部二维坐标系X轴和Y轴均平行，则通过测量一次标志点在局部二维坐标系下的坐标和在全局二维坐标系下的坐标，就能计算得到旋转矩阵和位移矩阵。通过这两种坐标系的建立方式，大大节省了后续计算旋转矩阵和位移矩阵所需要的计算资源，提高了计算效率，能够及时定位出待测目标物的位置以便立即抓取。
S140，基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标。
其中，待测目标物在所述局部二维坐标系下的坐标，可通过第一视觉***预先获取。
本实施例中，第一机器视觉***和第二机器视觉***均包括一单目相机和计算机，单目相机包括摄像头和图像采集卡；第一机器视觉***在拍摄目标图像时，需要保证相机视野对托盘的完全覆盖，不存在遮挡和干扰；第二机器视觉***在拍摄目标图像时，需要保证相机视野对全局二维坐标系的控制点完全覆盖，不存在遮挡和干扰；计算机通过有线或无线的方式与单目相机连接。其中，第一视觉***和第二视觉***可为同一视觉***，也可为两套不同的视觉***。例如，单目相机拍摄图像时以30帧每秒的速度获取图像，那么待测目标的实时坐标需要在1/30秒内计算得到。
上述流水生产线目标定位方法中，通过预先获取标志点和待测目标物在局部坐标系的坐标，然后再通过第二视觉***计算标志点在全局坐标系的坐标，得到两坐标系之间的旋转矩阵和位移矩阵，待测目标物根据所述旋转矩阵和位移矩阵，可以将局部坐标系的坐标换算到全局坐标系，能够准确快速的计算待测目标物的在全局坐标系的坐标，基于流水线上托盘规则运动的方式，建立的坐标系转换公式的计算方式，大大减少了计算量，实现对测量目标物的快速定位。
在其中一个实施例中，在步骤S120中，基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标，包括：
S121，第二机器视觉***实时采集关于待测目标物的第二目标图像，并通过图像处理后得到标志点在所述第二目标图像的坐标(x0，y0)。
S122，获取所述第二机器视觉***的相机深度h2、焦距f2和一个像素的实际尺寸大小P2。
S123，设标志点在全局二维坐标系下的坐标(x3，y3)，根据相似三角形，可以得到标志点在全局二维坐标系下的坐标(x3，y3)与所述标志点在所述第二目标图像的坐标(x0，y0)之间的关系，公式为：
Figure BDA0003121964360000091
Figure BDA0003121964360000092
根据公式(1)和公式(2)求解得到标志点在全局二维坐标系下的坐标(x3，y3)。
本实施例中，第二机器视觉***实时采集第二目标图像，以确保及时对待测目标的位置计算。
在其中一个实施例中，在步骤S130中，根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵，包括：
S131，根据所述全局二维坐标系与所述局部二维坐标系的X轴和Y轴，并且根据流水生产线垂直的方向为Z轴，建立全局三维坐标系和局部三维坐标系。
其中，标志点A在全局二维坐标系O2和在局部二维坐标系O1的相对位置关系如图5所示。
S132，根据全局三维坐标系和局部三维坐标系的X轴、Y轴和Z轴都平行，确定旋转矩阵为
Figure BDA0003121964360000101
设位移矩阵T(Xt，Yt，Zt)T，则Zt为所述托盘的高度，Zt的值为固定的，并且待测目标物在传送带上沿Y轴方向移动，则Xt的值也是固定的。
S133，已知标志点在全局二维坐标系下的实时坐标b1(x3，y3)，标志点在局部二维坐标系的坐标b2(x4，y4)，则标志点在全局三维坐标系的实时坐标B1(x3，y3，Zt)，标志点在局部三维坐标系的坐标B2(x4，y4，0)。
S134，根据坐标转换公式B1＝B2*R+T，则x3＝x4*1+Xt，y3＝y4*1+Yt，由此，Xt＝x3-x4，Yt＝y3-y4。
S135，根据求解得到的Xt、Yt、Zt的值确定位移矩阵T。
本实施例中，通过建立X轴、Y轴和Z轴都平行全局三维坐标系和局部三维坐标系，实现了对选择矩阵的简化，并且根据流水生产线传送带单一的运动方式，能够确定Zt的值和Xt的值是固定的，那么后续只需要计算Yt的值，简化了计算机计算位移矩阵的过程，能够优化计算速度，为后续的计算节约了时间。
在其中一个实施例中，在步骤S140中，基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标，包括：
S141，根据待测目标物在所述局部二维坐标系下的坐标g1(x1，y1)，确定待测目标物在所述局部三维坐标系下的坐标G1(x1，y1，z1)；其中，z1的值为0。
S142，设待测目标物在全局三维坐标系下的坐标G2(x5，y5，z5)，根据旋转矩阵
Figure BDA0003121964360000102
位移矩阵T(Xt，Yt，Zt)T，以及矩阵转换公式G2＝G1*R+T，得到x5＝x1*1+Xt，y5＝y1*1+Yt，z5＝Zt，其中，Zt为所述托盘的高度。
S143，最后简化得到，待测目标物在全局三维坐标系下的坐标，x5＝x1+Xt，y5＝y1+Yt，z5＝Zt。
本实施例中，根据简化的旋转矩阵和平移矩阵，确定简单的待测目标物在全局三维坐标系下的坐标计算公式，优化了整体的计算效率。
在其中一个实施例中，如图4所示，在流水生产线靠近传送带边缘的位置固定设置至少三个控制点，第一控制点作为全局二维坐标系原点O2，第二控制点与所述第一控制点的连线作为全局二维坐标系的X轴，第三控制点与所述第一控制点的连线作为全局二维坐标系的Y轴，根据所述原点O2、X轴和Y轴建立全局二维坐标系；其中，所述全局二维坐标系与所述局部二维坐标系X轴和Y轴均平行。其中，局部二维坐标系根据托盘的边缘建立，将托盘的左下角作为局部二维坐标系原点O1，托盘的下边缘延伸方向作为Y轴，托盘的左边缘延伸方向作为X轴，根据原点O1、X轴和Y轴建立局部二维坐标系。
在其中一个实施例中，在基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标之前，包括：第一机器视觉***采集关于待测目标物的第一目标图像，并通过图像处理后得到所述待测目标物在所述第一目标图像中的坐标(x2，y2)；获取所述第一机器视觉***的相机深度h1、焦距f1和一个像素的实际尺寸大小P1；设待测目标物在局部二维坐标系下的坐标(x1，y1)，根据相似三角形，可以得到待测目标物在局部二维坐标系下的坐标(x1，y1)与待测目标物在所述第一目标图像中的坐标(x2，y2)之间的关系，公式为：
Figure BDA0003121964360000111
Figure BDA0003121964360000112
根据公式(3)和公式(4)求解得到待测目标物在局部二维坐标系下的坐标(x1，y1)。
其中，第一机器视觉***采集第一目标图像可预先获得，此时能够定位出托盘中每个待测目标在局部二维坐标系中的坐标，例如，如图3所示，在托盘300中设置多个凹槽302，用于放置鸡蛋，则可以预先定位出每个鸡蛋在局部二维坐标系中的坐标。
在其中一个实施例中，所述标志点在局部二维坐标系的坐标通过测量得到；或，第一机器视觉***采集关于标志点的第三目标图像，并通过图像处理后得到所述标志点在第三目标图像中的坐标(x6，y6)；获取所述第一机器视觉***的相机深度h1、焦距f1和一个像素的实际尺寸大小P1；设标志点在局部二维坐标系下的坐标(x4，y4)，根据相似三角形，可以得到标志点在局部二维坐标系下的坐标(x4，y4)与标志点在所述第三目标图像中的坐标(x6，y6)之间的关系，公式为：
Figure BDA0003121964360000121
Figure BDA0003121964360000122
根据公式(5)和公式(6)求解得到标志点在局部二维坐标系下的坐标(x4，y4)。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种流水生产线目标定位装置，包括：标志点局部坐标获取模块210、标志点全局坐标获取模块220、转换矩阵计算模块230和目标实时坐标计算模块240，其中：
标志点局部坐标获取模块210，用于获取标志点在局部二维坐标系的坐标，标志点设置于随流水生产线传送带规则移动的托盘上，所述托盘的边缘与所述传送带的边缘平行。
标志点全局坐标获取模块220，用于基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标。
转换矩阵计算模块230，用于根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵。
目标实时坐标计算模块240，基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系的实时坐标。
在其中一个实施例中，标志点全局坐标获取模块220，包括：
标志点图像坐标计算单元，用于第二机器视觉***实时采集关于待测目标物的第二目标图像，并通过图像处理后得到标志点在所述第二目标图像的坐标(x0，y0)；
第二机器视觉***参数获取单元，用于获取所述第二机器视觉***的相机深度h2、焦距f2和一个像素的实际尺寸大小P2；
标识点全局坐标计算单元，用于设标志点在全局二维坐标系下的坐标(x3，y3)，根据相似三角形，可以得到标志点在全局二维坐标系下的坐标(x3，y3)与所述标志点在所述第二目标图像的坐标(x0，y0)之间的关系，公式为：
Figure BDA0003121964360000131
Figure BDA0003121964360000132
根据公式(1)和公式(2)求解得到标志点在全局二维坐标系下的坐标(x3，y3)。
在其中一个实施例中，转换矩阵计算模块230，包括：
三维坐标系建立单元，用于根据所述全局二维坐标系与所述局部二维坐标系的X轴和Y轴，并且根据流水生产线垂直的方向为Z轴，建立全局三维坐标系和局部三维坐标系；
旋转矩阵确定单元，用于根据全局三维坐标系和局部三维坐标系的X轴、Y轴和Z轴都平行，确定旋转矩阵为
Figure BDA0003121964360000141
设位移矩阵T(Xt，Yt，Zt)T，则Zt为所述托盘的高度，Zt的值为固定的，并且待测目标物在传送带上沿Y轴方向移动，则Xt的值也是固定的；
位移矩阵确定单元，用于已知标志点在全局二维坐标系下的实时坐标b1(x3，y3)，标志点在局部二维坐标系的坐标b2(x4，y4)，则标志点在全局三维坐标系的实时坐标B1(x3，y3，Zt)，标志点在局部三维坐标系的坐标B2(x4，y4，0)；根据坐标转换公式B1＝B2*R+T，则x3＝x4*1+Xt，y3＝y4*1+Yt，由此，Xt＝x3-x4，Yt＝y3-y4；根据求解得到的Xt、Yt、Zt的值确定位移矩阵T。
在其中一个实施例中，目标实时坐标计算模块240，包括：
待测目标物三维局部坐标确定单元，用于根据待测目标物在所述局部二维坐标系下的坐标g1(x1，y1)，确定待测目标物在所述局部三维坐标系下的坐标G1(x1，y1，z1)；其中，z1的值为0；
待测目标物全局三维坐标计算单元，用于设待测目标物在全局三维坐标系下的坐标G2(x5，y5，z5)，根据旋转矩阵
Figure BDA0003121964360000142
位移矩阵T(Xt，Yt，Zt)T，以及矩阵转换公式G2＝G1*R+T，得到x5＝x1*1+Xt，y5＝y1*1+Yt，z5＝Zt，其中，Zt为所述托盘的高度；最后简化得到，待测目标物在全局三维坐标系下的坐标，x5＝x1+Xt，y5＝y1+Yt，z5＝Zt。
在其中一个实施例中，在流水生产线靠近传送带边缘的位置固定设置至少三个控制点，第一控制点作为全局二维坐标系原点，第二控制点与所述第一控制点的连线作为全局二维坐标系的X轴，第三控制点与所述第一控制点的连线作为全局二维坐标系的Y轴，根据所述原点、X轴和Y轴建立全局二维坐标系；其中，所述全局二维坐标系与所述局部二维坐标系X轴和Y轴均平行。
在其中一个实施例中，流水生产线目标定位装置，还包括：待测目标物图像坐标计算模块，用于第一机器视觉***采集关于待测目标物的第一目标图像，并通过图像处理后得到所述待测目标物在所述第一目标图像中的坐标(x2，y2)；第一机器视觉***参数获取模块，用于获取所述第一机器视觉***的相机深度h1、焦距f1和一个像素的实际尺寸大小P1；待测目标物局部二维坐标计算模块，用于设待测目标物在局部二维坐标系下的坐标(x1，y1)，根据相似三角形，可以得到待测目标物在局部二维坐标系下的坐标(x1，y1)与待测目标物在所述第一目标图像中的坐标(x2，y2)之间的关系，公式为：
Figure BDA0003121964360000151
Figure BDA0003121964360000152
根据公式(3)和公式(4)求解得到待测目标物在局部二维坐标系下的坐标(x1，y1)。
在其中一个实施例中，所述标志点在局部二维坐标系的坐标通过测量得到；或，所述标志点在局部二维坐标系的坐标通过如下步骤得到：第一机器视觉***采集关于标志点的第三目标图像，并通过图像处理后得到所述标志点在第三目标图像中的坐标(x6，y6)；获取所述第一机器视觉***的相机深度h1、焦距f1和一个像素的实际尺寸大小P1；设标志点在局部二维坐标系下的坐标(x4，y4)，根据相似三角形，可以得到标志点在局部二维坐标系下的坐标(x4，y4)与标志点在所述第三目标图像中的坐标(x6，y6)之间的关系，公式为：
Figure BDA0003121964360000153
Figure BDA0003121964360000154
根据公式(5)和公式(6)求解得到标志点在局部二维坐标系下的坐标(x4，y4)。
关于流水生产线目标定位装置的具体限定可以参见上文中对于流水生产线目标定位方法的限定，在此不再赘述。上述流水生产线目标定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是计算机，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种流水生产线目标定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种流水生产线目标定位方法，其特征在于，所述方法包括：
获取标志点在局部二维坐标系下的坐标，标志点设置于随流水生产线传送带规则移动的托盘上，所述托盘的边缘与所述传送带的边缘平行；
基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标；
根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵；
基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系下的实时坐标；
其中，根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵，包括：
根据所述全局二维坐标系与所述局部二维坐标系的X轴和Y轴，并且根据流水生产线垂直的方向为Z轴，建立全局三维坐标系和局部三维坐标系；
根据全局三维坐标系和局部三维坐标系的X轴、Y轴和Z轴都平行，确定R为旋转矩阵，表示为
Figure FDA0003761900790000011
设T为位移矩阵，表示为(Xt，Yt，Zt)T，则Zt为所述托盘的高度，Zt的值为固定的，并且待测目标物在传送带上沿Y轴方向移动，则Xt的值也是固定的；
已知标志点在全局二维坐标系下的实时坐标b1(x3，y3)，标志点在局部二维坐标系的坐标b2(x4，y4)，则标志点在全局三维坐标系的实时坐标为B1(x3，y3，Zt)，标志点在局部三维坐标系的坐标为B2(x4，y4，0)；
根据坐标转换公式B1＝B2*R+T，则x3＝x4*1+Xt，y3＝y4*1+Yt，由此，Xt＝x3-x4，Yt＝y3-y4；
根据求解得到的Xt、Yt、Zt的值确定位移矩阵T。
2.根据权利要求1所述的方法，其特征在于，基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标，包括：
第二机器视觉***实时采集关于待测目标物的第二目标图像，并通过图像处理后得到标志点在所述第二目标图像中的坐标(x0，y0)；
获取所述第二机器视觉***的相机深度h2、焦距f2和一个像素的实际尺寸大小P2；
设标志点在全局二维坐标系下的坐标为(x3，y3)，根据相似三角形，得到标志点在全局二维坐标系下的坐标(x3，y3)与所述标志点在所述第二目标图像中的坐标(x0，y0)之间的关系，公式为：
Figure FDA0003761900790000021
Figure FDA0003761900790000022
根据公式(1)和公式(2)求解得到标志点在全局二维坐标系下的坐标(x3，y3)。
3.根据权利要求1所述的方法，其特征在于，基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系下的实时坐标，包括：
根据待测目标物在所述局部二维坐标系下的坐标g1(x1，y1)，确定待测目标物在局部三维坐标系下的坐标G1(x1，y1，z1)；其中，z1的值为0；
设待测目标物在全局三维坐标系下的坐标为G2(x5，y5，z5)，根据旋转矩阵，位移矩阵，以及矩阵转换公式G2＝G1*R+T，得到x5＝x1*1+Xt，y5＝y1*1+Yt，z5＝Zt，其中，Zt为所述托盘的高度，采用R表示旋转矩阵，
Figure FDA0003761900790000023
采用T表示位移矩阵，T＝(Xt，Yt，Zt)T；
最后简化得到，待测目标物在全局三维坐标系下的坐标，x5＝x1+Xt，y5＝y1+Yt，z5＝Zt。
4.根据权利要求1所述的方法，其特征在于，在流水生产线靠近传送带边缘的位置固定设置至少三个控制点，第一控制点作为全局二维坐标系原点，第二控制点与所述第一控制点的连线作为全局二维坐标系的X轴，第三控制点与所述第一控制点的连线作为全局二维坐标系的Y轴，根据所述原点、X轴和Y轴建立全局二维坐标系；其中，所述全局二维坐标系与所述局部二维坐标系X轴和Y轴均平行。
5.根据权利要求1所述的方法，其特征在于，在基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系下的实时坐标之前，包括：
第一机器视觉***采集关于待测目标物的第一目标图像，并通过图像处理后得到所述待测目标物在所述第一目标图像中的坐标(x2，y2)；
获取所述第一机器视觉***的相机深度h1、焦距f1和一个像素的实际尺寸大小P1；
设待测目标物在局部二维坐标系下的坐标为(x1，y1)，根据相似三角形，得到待测目标物在局部二维坐标系下的坐标(x1，y1)与待测目标物在所述第一目标图像中的坐标(x2，y2)之间的关系，公式为：
Figure FDA0003761900790000031
Figure FDA0003761900790000032
根据公式(3)和公式(4)求解得到待测目标物在局部二维坐标系下的坐标(x1，y1)。
6.根据权利要求1所述的方法，其特征在于，所述标志点在局部二维坐标系下的坐标通过测量得到；或
第一机器视觉***采集关于标志点的第三目标图像，并通过图像处理后得到所述标志点在第三目标图像中的坐标(x6，y6)；
获取所述第一机器视觉***的相机深度h1、焦距f1和一个像素的实际尺寸大小P1；
设标志点在局部二维坐标系下的坐标为(x4，y4)，根据相似三角形，得到标志点在局部二维坐标系下的坐标(x4，y4)与标志点在所述第三目标图像中的坐标(x6，y6)之间的关系，公式为：
Figure FDA0003761900790000041
Figure FDA0003761900790000042
根据公式(5)和公式(6)求解得到标志点在局部二维坐标系下的坐标(x4，y4)。
7.一种流水生产线目标定位装置，其特征在于，所述装置包括：
标志点局部坐标获取模块，用于获取标志点在局部二维坐标系下的坐标，标志点设置于随流水生产线传送带规则移动的托盘上，所述托盘的边缘与所述传送带的边缘平行；
标志点全局坐标获取模块，用于基于工业相机成像原理，对通过第二机器视觉***实时采集的第二目标图像，计算所述标志点在全局二维坐标系下的实时坐标；
转换矩阵计算模块，用于根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵；
目标实时坐标计算模块，基于待测目标物在所述局部二维坐标系下的坐标，以及所述旋转矩阵和位移矩阵，计算得到所述待测目标物在所述全局二维坐标系下的实时坐标；
其中，根据所述标志点在全局二维坐标系下的实时坐标，以及所述标志点在局部二维坐标系下的坐标，计算所述全局二维坐标系与所述局部二维坐标系的旋转矩阵和位移矩阵，包括：
根据所述全局二维坐标系与所述局部二维坐标系的X轴和Y轴，并且根据流水生产线垂直的方向为Z轴，建立全局三维坐标系和局部三维坐标系；
根据全局三维坐标系和局部三维坐标系的X轴、Y轴和Z轴都平行，确定R为旋转矩阵，表示为
Figure FDA0003761900790000051
设T为位移矩阵，表示为(Xt，Yt，Zt)T，则Zt为所述托盘的高度，Zt的值为固定的，并且待测目标物在传送带上沿Y轴方向移动，则Xt的值也是固定的；
已知标志点在全局二维坐标系下的实时坐标b1(x3，y3)，标志点在局部二维坐标系的坐标b2(x4，y4)，则标志点在全局三维坐标系的实时坐标为B1(x3，y3，Zt)，标志点在局部三维坐标系的坐标为B2(x4，y4，0)；
根据坐标转换公式B1＝B2*R+T，则x3＝x4*1+Xt，y3＝y4*1+Yt，由此，Xt＝x3-x4，Yt＝y3-y4；
根据求解得到的Xt、Yt、Zt的值确定位移矩阵T。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202110678698.2A 2021-06-18 2021-06-18 流水生产线目标定位方法、装置、计算机设备和存储介质 Active CN113269829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110678698.2A CN113269829B (zh) 2021-06-18 2021-06-18 流水生产线目标定位方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110678698.2A CN113269829B (zh) 2021-06-18 2021-06-18 流水生产线目标定位方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113269829A CN113269829A (zh) 2021-08-17
CN113269829B true CN113269829B (zh) 2023-04-14

Family

ID=77235390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110678698.2A Active CN113269829B (zh) 2021-06-18 2021-06-18 流水生产线目标定位方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113269829B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100290B (zh) * 2022-06-20 2023-03-21 苏州天准软件有限公司 交通场景下的单目视觉定位方法及装置、设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683070A (zh) * 2015-11-04 2017-05-17 杭州海康威视数字技术股份有限公司 基于深度相机的身高测量方法及装置
CN107014338A (zh) * 2017-04-21 2017-08-04 华南农业大学 一种基于高速相机的构件姿态测量方法及其应用

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6657243B2 (ja) * 2015-02-18 2020-03-04 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定
CN107862716A (zh) * 2017-11-29 2018-03-30 合肥泰禾光电科技股份有限公司 机械臂定位方法及定位机械臂
CN108344401B (zh) * 2018-01-16 2020-08-25 深圳市易成自动驾驶技术有限公司 定位方法、装置及计算机可读存储介质
CN108628808A (zh) * 2018-04-04 2018-10-09 华南农业大学 相机采样点的坐标转换方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683070A (zh) * 2015-11-04 2017-05-17 杭州海康威视数字技术股份有限公司 基于深度相机的身高测量方法及装置
CN107014338A (zh) * 2017-04-21 2017-08-04 华南农业大学 一种基于高速相机的构件姿态测量方法及其应用

Also Published As

Publication number Publication date
CN113269829A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
CN110689579B (zh) 基于合作目标的快速单目视觉位姿测量方法及测量***
CN110977985B (zh) 一种定位的方法及装置
JP5746477B2 (ja) モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
JP5297403B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体
JP5132138B2 (ja) 位置姿勢計測方法、位置姿勢計測装置
JP6657243B2 (ja) 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定
KR20160003776A (ko) 자세 추정 방법 및 로봇
CN102788572B (zh) 一种工程机械吊钩姿态的测量方法、装置及***
CN107705293A (zh) 一种基于ccd面阵相机视觉检测的五金零件尺寸测量方法
JP2008116373A (ja) 位置姿勢計測方法及び装置
JP2014013146A5 (zh)
JP2018136896A (ja) 情報処理装置、システム、情報処理方法、および物品の製造方法
CN109978954A (zh) 基于箱体的雷达和相机联合标定的方法和装置
JP2015031601A (ja) ３次元計測装置及び方法並びにプログラム
JP5858773B2 (ja) ３次元計測方法、３次元計測プログラム及びロボット装置
CN113269829B (zh) 流水生产线目标定位方法、装置、计算机设备和存储介质
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN109631764A (zh) 基于RealSense相机的尺寸测量***及方法
JP2010184300A (ja) 姿勢変更システムおよび姿勢変更方法
WO2023217047A1 (zh) 定位方法、装置、电子设备及可读存储介质
JP7264247B2 (ja) 情報処理装置及び情報処理方法
CN108564626B (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
JP5465299B2 (ja) 情報処理装置、情報処理方法
CN109443244B (zh) 剔除高光反射异常错误点的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant