CN112651261B - 高精度2d相机坐标系和机械坐标系转换关系的计算方法 - Google Patents

Abstract

本申请提供一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，获取相机坐标系下不同预设位置的待处理靶标图像；遍历待处理靶标图像中的二维码；当二维码的个数大于等于一时，选距相机坐标系中心点最近的二维码为目标二维码；提取目标二维码的信息；确定待处理靶标图像中所有角点的全局靶标坐标；根据全局靶标坐标系确定不同预设位置的待处理靶标图像中的共有角点集；对共有角点集进行筛选，确定最终共有角点集；根据最终共有角点集对应的相机坐标和机械坐标，建立相机坐标系和机械坐标系的转换关系。通过对待处理靶标图像中最终共有角点的提取，获取较多的样本数量，提高相机坐标系和机械坐标系的转换关系的精度，降低了转换时间。

Description

高精度2D相机坐标系和机械坐标系转换关系的计算方法

技术领域

本申请涉及工业视觉领域，尤其涉及一种高精度2D相机坐标系和机械坐标系转换关系的计算方法。

背景技术

在工业视觉领域中，相机标定是进行检测、测量、组装等过程的重要前提之一，通过相机标定，能够计算出相机的内外参数，建立相机坐标系和机械坐标系之间的关系，在相机坐标系和机械坐标系共面、相机坐标系和机械坐标系均为垂直坐标系的条件下，相机坐标系和机械坐标系之间只存在旋转、缩放和平移的关系；从而对产品的尺寸、缺陷、位置等进行测量和检测，实现自动化生产。

通过选择实际的产品的标记点作为固定特征进行相机标定，通过机械机构抓取含有固定特征的实际产品在相机视野下进行一定步数(N>＝3)的运动，通过视觉算法识别并定位固定特征，从而得到N组图像坐标和与之对应的N组机械坐标，进而得到相机坐标系和机械坐标系的关系。

然而，实际产品中固定特征定位、实际产品的成像质量、固定特征抓取的精确度和少量的样本数量对于相机标定均有影响，甚至在有些情况下，实际产品会移动出相机视野范围，导致相机标定过程失败，降低相机标定精度和效率，进而建立相机坐标系和机械坐标系之间的关系也不准确。

发明内容

本申请提供了一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，以解决相机标定过程中实际产品作为目标的获取不准确，导致相机标定失败或者精度低的技术问题。

为了达到上述目的，本申请实施例采用以下技术方案：

第一方面，提供一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，所述方法包括：

获取相机坐标系下不同预设位置的待处理靶标图像，所述预设位置包含相机坐标系下至少三个点的集合；

遍历所述待处理靶标图像中的二维码；

当所述二维码的个数大于等于一时，选距离所述相机坐标系中心点最近的二维码为目标二维码；

提取所述目标二维码的信息，所述目标二维码的信息包括位置信息和文本信息；

根据所述目标二维码的信息，确定所述待处理靶标图像中所有角点的全局靶标坐标；

根据所述全局靶标坐标系确定所述不同预设位置的待处理靶标图像中的共有角点集；

对所述共有角点集进行筛选，确定最终共有角点集；

根据最终共有角点集对应的相机坐标和机械坐标，建立所述相机坐标系和机械坐标系的转换关系。

在一种可能的方式中，所述目标二维码的信息包括位置信息和文本信息；

所述位置信息包括所述二维码的中心在所述相机坐标系下坐标、所述二维码是否镜像、所述二维码的角度；

所述文本信息为所述二维码的内容，包括所述待处理靶标图像中黑白格的尺寸、二维码的原点处对应原点角点的全局靶标坐标。

在一种可能的方式中，所述预设位置在相机坐标系下至少三个点包括位于所述相机坐标系中心点；

在所述相机坐标系中心点获取的所述待处理靶标图像为中心待处理靶标图像；

在一种可能的方式中，对所述共有角点集进行筛选，确定最终共有角点集，包括：

将所述中心待处理靶标图像按照预设区域进行划分；

根据每个预设区域的预设贡献系数和每个预设区域的共有角点的个数，确定对应预设区域中共有角点的贡献个数M；

获取每个预设区域中各个共有角点的提取误差；

按照所述提取误差从小到大的顺序，确定每个预设区域中的共有角点序列；

对于每个预设区域，根据所述预设贡献个数M，从所述共有角点序列中确定前M个共有角点作为最终共有角点；

确定最终共有角点集，所述最终共有角点集包含每个预设区域的最终共有角点。

在一种可能的方式中，所述提取误差，包括：

在所述不同预设位置下的待处理靶标图像，根据所述所有角点的全局靶标坐标，建立的全局靶标坐标系和所述相机坐标系的转换关系；

根据所述全局靶标坐标系和所述相机坐标系的转换关系、所述相机坐标，确定实际靶标坐标；

根据所述全局靶标坐标和所述实际靶标坐标差值的平方和，确定提取误差。

在一种可能的方式中，将每个区域的预设贡献系数和每个区域的共有角点的个数相乘后通过进一法取整数，确定贡献个数M。

第二方面，提供一种棋盘格靶标，被应用于第一方面的一种高精度2D相机坐标系和机械坐标系转换关系的计算方法；

所述棋盘格靶标具有相同大小的黑白格，所述黑白格相间排布，每间隔预设数量的所述黑白格设有一个二维码，所述二维码的内容包含所述棋盘格靶标的整体尺寸、黑白格的尺寸、二维码的原点处对应原点角点的全局靶标坐标。

本申请提供一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，获取相机坐标系下不同预设位置的待处理靶标图像，所述预设位置包含相机坐标系下至少三个点的集合；遍历所述待处理靶标图像中的二维码；当所述二维码的个数大于等于一时，选距离所述相机坐标系中心点最近的二维码为目标二维码；提取所述目标二维码的信息，所述目标二维码的信息包括位置信息和文本信息；根据所述目标二维码的信息，确定所述待处理靶标图像中所有角点的全局靶标坐标；根据所述全局靶标坐标系确定所述不同预设位置的待处理靶标图像中的共有角点集；对所述共有角点集进行筛选，确定最终共有角点集；根据最终共有角点集对应的相机坐标和机械坐标，建立所述相机坐标系和机械坐标系的转换关系。通过对待处理靶标图像中最终共有角点的提取，获取较多的样本数量，提高相机坐标系和机械坐标系的转换关系的精度，降低了转换时间。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请共面相机坐标系与机械坐标系的转换关系的示意图；

图2为本申请实施例棋盘格靶标示意图；

图3为本申请实施例二维码原点及原点角点的示意图；

图4为本申请实施例一种高精度2D相机坐标系和机械坐标系转换关系的计算方法的流程图；

图5为本申请实施例又一种高精度2D相机坐标系和机械坐标系转换关系的计算方法的流程图；

图6为本申请实施例相机坐标系和全局靶标坐标系的示意图；

图7为本申请实施例中预设位置常见的9点走位及其路径示意图；

图8为本申请实施例中心待处理靶标图像预设区域划分及贡献系数的示意图；

其中：1-二维码原点；2-原点角点。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

机械机构在工业视觉领域中被广泛的应用于自动化生产中，如电子产品的组装、零部件拾取、精密焊接等。想实现自动化生产，往往需要借助相机进行精确的引导，即由相机采集固定特征的相机坐标，然后将其转换为机械坐标系下的值，从而实现高精度的自动化生产。想要将相机坐标转换为机械坐标，则需要建立相机坐标系和机械坐标系的关系，这一过程称为相机标定，其中，相机坐标系为原点位于相机所采集图像的左上角，X轴方向水平向右，Y轴方向竖直向下；机械坐标系为原点位于机械末端执行机构的旋转中心，X轴和Y轴垂直，方向由机械机构生产厂商确定。

相机标定过程中，在相机坐标系和机械坐标系共面、相机坐标系和机械坐标系均为垂直坐标系条件下，如图1所示，两个坐标系之间只存在旋转、缩放和平移的关系。相机坐标系和机械坐标系的转换关系为：

式中，(P_x,R_y)是机械坐标，表示固定特征在机械坐标系下的位置；(I_x,I_y)是相机坐标，表示固定特征在相机坐标系下的位置；(T_x,T_y)是相机坐标系原点和机械坐标系原点的偏移量；θ是是相机坐标系X轴和机械坐标系X轴之间的夹角；(S_x,S_y)是相机坐标系中一个像素在机械坐标系中X和Y方向下的实际距离，单位为pixel/mm；E_y表示机械坐标系类型，当机械手其为左手坐标系时E_y值为1，当机械手其为右手坐标系时E_y值为-1。

对上述转换关系的公式(1)变形，得到如下公式：

通过3组对应的机械坐标(P_x,P_y)和相机坐标(I_x,I_y)，获得上述公式(2)中E_y、θ、S_x、S_y、T_x、T_y的值，即，至少获取3组相机坐标和与之对应的机械坐标。

下面结合附图对本申请做进一步详细描述：

本申请实施例提供一种棋盘格靶标，应用于第一方面的一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，参照图2所示，所述棋盘格靶标具有相同大小的黑白格，所述黑白格相间排布，每间隔预设数量的所述黑白格设有一个二维码，所述二维码的内容包含所述棋盘格靶标的整体尺寸、黑白格的尺寸、二维码的原点处对应原点角点的全局靶标坐标；如图3所示，二维码原点1是指二维码的L边的两条边的交点；。原点角点2是指距离二维码原点处最近的靶标角点。

本申请实施例还提供一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，如图4、图5所示，所述方法包括如下步骤：

S100、获取相机坐标系下不同预设位置的待处理靶标图像，所述预设位置包含相机坐标系下至少三个点的集合；所述预设位置在相机坐标系下至少三个点包括位于所述相机坐标系中心点。

在所述相机坐标系中心点获取的所述待处理靶标图像为中心待处理靶标图像。

S200、遍历所述待处理靶标图像中的二维码。

S300、当所述二维码的个数大于等于一时，选距离所述相机坐标系中心点最近的二维码为目标二维码。

S400、提取所述目标二维码的信息，所述目标二维码的信息包括位置信息和文本信息；所述目标二维码的信息包括位置信息和文本信息；所述位置信息包括所述二维码的中心在所述相机坐标系下坐标、所述二维码是否镜像、二维码的角度；所述文本信息为所述二维码的内容，包括所述待处理靶标图像中黑白格的尺寸、二维码原点处对应原点角点2的全局靶标坐标。

S500、根据所述目标二维码的信息，确定所述待处理靶标图像中所有角点的全局靶标坐标；根据所述所有角点的全局靶标坐标，建立的全局靶标坐标系和所述相机坐标系的转换关系。

如图6所示，若原点角点P0的全局报表坐标为100、100，黑白格的尺寸的实际物理尺寸为1*1mm，通过目标二维码的信息确定全局靶标坐标系的轴方向，全局靶标坐标系的X轴方向和二维码L边的水平边方向一致；全局靶标坐标系的Y轴方向和二维码L边的竖直边方向一致。计算P1角点的靶标坐标为98，100；P2角点的靶标坐标为100，98。同理，可以得到图像中所有棋盘格靶标角点的全局靶标坐标。

在完成所有棋盘格靶标角点的全局靶标坐标计算后，机械机构带动棋盘格靶标运动至下一个预设位置，并重复上述步骤，直到确定所有的预设位置的待处理靶标图像中所有角点的全局靶标坐标。其中，根据公式(2)的要求，预设位置的点数需要大于等于3，并且所有的预设位置不能在同一条直线上。在实际应用时，常见的预设位置为9个点的集合，其走位路径如图7所示。

S600、根据所述全局靶标坐标系确定所述不同预设位置的待处理靶标图像中的共有角点集。以图7所示预设位置为例，当完成0到8共9个点的走位后，每一个点处均收集了一定数量的棋盘格靶标角点数据，根据这9组数据中的全局靶标坐标来提取共有角点。

S700、对所述共有角点集进行筛选，确定最终共有角点集。具体包括：

将所述中心待处理靶标图像按照预设区域进行划分；根据每个预设区域的预设贡献系数和每个预设区域的共有角点的个数，确定对应预设区域中共有角点的贡献个数M；将每个区域的预设贡献系数和每个区域的共有角点的个数相乘后通过进一法取整数，确定贡献个数M。获取每个预设区域中各个共有角点的提取误差；按照所述提取误差从小到大的顺序，确定每个预设区域中的共有角点序列；对于每个预设区域，根据所述预设贡献个数M，从所述共有角点序列中确定前M个共有角点作为最终共有角点；确定最终共有角点集，所述最终共有角点集包含每个预设区域的最终共有角点。

如图8所示，对中心待处理靶标图像平均划分为9个矩形预设区域，每个预设区域的预设贡献系数如图8所示，以左上角的预设区域为例，其贡献系数为0.1，该区域的共有角点有6个，通过共有角点的个数6与贡献系数0.1的乘积，将乘积后的结果通过进一法取整，得到其贡献个数M＝1，则该区域的最终共有角点取6个共有角点中误差最小的1个。

其中，所述提取误差，通过在所述不同预设位置下的待处理靶标图像，根据所述所有角点的全局靶标坐标，建立的全局靶标坐标系和所述相机坐标系的转换关系；根据所述全局靶标坐标系和所述相机坐标系的转换关系、所述相机坐标，确定实际靶标坐标；根据所述全局靶标坐标和所述实际靶标坐标差值的平方和，确定提取误差。

S800、根据最终共有角点集对应的相机坐标和机械坐标，建立所述相机坐标系和机械坐标系的转换关系。

设最终共有角点集数量为N，然后将最终公共角点集的相机坐标值带入公式(2)中，而每个位置处的机械坐标已知，在进行图7所示的走位时，机械机构走到每一个点时，均会记录其当前位置的机械坐标值，从而能够得到2N个方程组，通过求解方程，能够得到最终的相机坐标系到机械坐标系的转换关系，从而完成相机标定。

本申请提供一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，获取相机坐标系下不同预设位置的待处理靶标图像，所述预设位置包含相机坐标系下至少三个点的集合；遍历所述待处理靶标图像中的二维码；当所述二维码的个数大于等于一时，选距离所述相机坐标系中心点最近的二维码为目标二维码；提取所述目标二维码的信息，所述目标二维码的信息包括位置信息和文本信息；根据所述目标二维码的信息，确定所述待处理靶标图像中所有角点的全局靶标坐标；根据所述全局靶标坐标系确定所述不同预设位置的待处理靶标图像中的共有角点集；对所述共有角点集进行筛选，确定最终共有角点集；根据最终共有角点集对应的相机坐标和机械坐标，建立所述相机坐标系和机械坐标系的转换关系。通过对待处理靶标图像中最终共有角点的提取，获取较多的样本数量，提高相机坐标系和机械坐标系的转换关系的精度，降低了转换时间。

以上内容仅为说明本申请的技术思想，不能以此限定本申请的保护范围，凡是按照本申请提出的技术思想，在技术方案基础上所做的任何改动，均落入本申请权利要求书的保护范围之内。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

Claims (4)

1.一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，其特征在于，所述方法包括：

获取相机坐标系下不同预设位置的待处理靶标图像，所述预设位置包含相机坐标系下至少三个点的集合，所述至少三个点包括位于所述相机坐标系中心点；在所述相机坐标系中心点获取的所述待处理靶标图像为中心待处理靶标图像；

遍历所述待处理靶标图像中的二维码；

当所述二维码的个数大于等于一时，选距离所述相机坐标系中心点最近的二维码为目标二维码；

提取所述目标二维码的信息，所述目标二维码的信息包括位置信息和文本信息；

根据所述目标二维码的信息，确定所述待处理靶标图像中所有角点的全局靶标坐标；

根据全局靶标坐标系确定所述不同预设位置的待处理靶标图像中的共有角点集；

对所述共有角点集进行筛选，确定最终共有角点集，包括：将所述中心待处理靶标图像按照预设区域进行划分；根据每个预设区域的预设贡献系数和每个预设区域的共有角点的个数，确定对应预设区域中共有角点的贡献个数M；获取每个预设区域中各个共有角点的提取误差；按照所述提取误差从小到大的顺序，确定每个预设区域中的共有角点序列；对于每个预设区域，根据所述预设贡献个数M，从所述共有角点序列中确定前M个共有角点作为最终共有角点；确定最终共有角点集，所述最终共有角点集包含每个预设区域的最终共有角点；其中，所述提取误差包括：在所述不同预设位置下的待处理靶标图像，根据所述所有角点的全局靶标坐标，建立的全局靶标坐标系和所述相机坐标系的转换关系；根据所述全局靶标坐标系和所述相机坐标系的转换关系、所述相机坐标，确定实际靶标坐标；根据所述全局靶标坐标和所述实际靶标坐标差值的平方和，确定提取误差；

根据最终共有角点集对应的相机坐标和机械坐标，建立所述相机坐标系和机械坐标系的转换关系。

2.根据权利要求1所述的一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，其特征在于，所述目标二维码的信息包括位置信息和文本信息；

所述位置信息包括所述二维码的中心在所述相机坐标系下坐标、所述二维码是否镜像、所述二维码的角度；

所述文本信息为所述二维码的内容，包括所述待处理靶标图像中黑白格的尺寸、二维码的原点处对应原点角点的全局靶标坐标。

3.根据权利要求1所述的一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，其特征在于，将每个区域的预设贡献系数和每个区域的共有角点的个数相乘后通过进一法取整数，确定贡献个数M。

4.一种棋盘格靶标，被应用于权利要求1至3任意一种高精度2D相机坐标系和机械坐标系转换关系的计算方法，其特征在于：

所述棋盘格靶标具有相同大小的黑白格，所述黑白格相间排布，每间隔预设数量的所述黑白格设有一个二维码，所述二维码的内容包含所述棋盘格靶标的整体尺寸、黑白格的尺寸、二维码的原点处对应原点角点的全局靶标坐标。