CN114494449A - 一种异形产品贴合的视觉标定及对位贴合方法 - Google Patents

Abstract

本发明公开一种异形产品贴合的视觉标定及对位贴合方法，通过xyθ物料吸附平台运输装配物件，物料吸附平台能上下、左右运动；通过装载平台固定装配物件；通过控制机构的使标定物料吸附平台运动，获取控制机构运行的运动坐标***，再使用包含有X、Y坐标信息的点阵标定板，通过物料吸附平台将标定板传递到不能运动的装载平台，通过安装在装载平台上的至少一个相机采集到标定板上的标定信息，通过计算得到各个相机的位置，计算相机位置与装载平台之间标定转换矩阵，从而得到安装工件的中心基准位置以及基准角度，此时通过控制物料吸附平台运动相应的角度以及平移量，使得工件能够按照指定位置进行安装。

Description

一种异形产品贴合的视觉标定及对位贴合方法

技术领域

本发明涉及一种异形产品贴合的视觉标定及对位贴合方法，属于相机标定技术领域。

背景技术

工件在装配过程中，取料位置难以保证一致，高精度的转配经常需要采用合适的方式进行视觉标定，位置矫正，以及对位贴合。通过视觉标定***去计算组装工件的位置偏移，通过补偿机构修正去矫正位置，使得装配精确。一般的处理方式，无法对异形产品进行稳定的坐标换算，对此，为了适应工件大尺寸，局部高精度的检测需求，特别需要一种成本低，精度高的视觉标定方法。

现有针对异形的贴合多采用大视野的单相机成像，这样带来的问题就是精度不够高，同时对于景深不一致的情况下难以成像等问题，同时大尺寸相机的成本较高。

相机***的高精度标定是计算机视觉领域比较复杂的工作，往往需要设计高精度、高稳定性的硬件来保证整个测量***长时间工作的稳定性，对于复杂的多相机***，此硬件的设计成本将非常昂贵。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种异形产品贴合的视觉标定及对位贴合方法，是一种坐标融合标定方法，所述标定方法可以灵活搭配一个或者多个相机在上单元和下单元，在提高装配精度的同时降低成本。同时本发明提供一种视觉标定方法，能用于各种复杂场景的问题，且操作简洁、硬件成本显著降低。

一种异形产品贴合的视觉标定及对位贴合方法，通过xyθ物料吸附平台运输装配物件，物料吸附平台可上下(沿θ方向)、左右(沿x、y方向)运动；通过装载平台固定装配物件。通过控制机构的使标定物料吸附平台运动，获取控制机构运行的运动坐标***，再使用包含有X、Y坐标信息的点阵标定板，通过物料吸附平台将标定板传递到不能运动的装载平台，通过安装在装载平台上的至少一个相机采集到标定板上的标定信息，通过计算得到各个相机的位置，计算相机位置与装载平台之间标定转换矩阵，从而得到安装工件的中心基准位置以及基准角度，此时通过控制物料吸附平台运动相应的角度以及平移量，使得工件能够按照指定位置进行安装。

具体包括以下步骤：

S1，将物料吸附平台运动到标定板所在位置区域采集标定板图像；标定板坐标系方向和物料吸附平台运动方向一致，且需保证在拍照位时相机视野范围内包含至少一个完整的带有数字坐标信息的点阵集合区域；所述标定板为带有数字坐标信息的点阵标定板。

S2，通过在采集到的标定板图片中任意选取9个点(坐标点)，并设定标定板坐标数据(将这九个点对应的数字信息记录下即可)，完成物料吸附平台坐标系与不能移动的装载平台关联相机视野的坐标系的转换关系，该转换关系能够将相机视野内的像素坐标转换到装载平台上的物理坐标，从而能够描述装载平台上工件的姿态。

S3，控制物料吸附平台将标定板转移到装载平台，使转载平台所对应的相机获取标定板图像。

S4，在相机视野内的图像上任意选取9个点，设定标定坐标数据，通过九点标定算法完成装载平台对应物料吸附平台的关联计算矩阵转换关系，(X_t,Y_t)代表输出装载平台中坐标，(X_i,Y_i)代表装载平台相机视野中的图像坐标，(X_o,Y_o)代表输出装载平台原点在图像坐标系中的位置，α为输出坐标系与图像坐标系的夹角，转换公式为：

S5，通过将标定板固定在物料吸附平台上，并使其在对应相机视野内旋转运动五个不同的角度，然后记录下图像特征最终计算出物料吸附平台的旋转中心，如果物料吸附平台上设有两个及两个以上相机则按照顺序依次计算取平均值即可得到物料吸附平台的旋转中心(x2,y2)。

x＝(x1-x2)cosθ-(y1-y2)sinθ+x2

y＝(y1-y2)cosθ+(x1-x2)sinθ+y2

x2，y2为旋转中心，x1，y1为标定计算出的物理坐标，θ为旋转角度，x,y为选取的标定点绕旋转中心(x2,y2)旋转θ角度后的坐标。

S6，把计算得到的旋转中心(x,y)对应的偏移量分别平移到每个相机对应的九点标定矩阵里得到最终准确的物料吸附平台跟图像坐标系的物理映射关系：

其中，x，y为旋转中心偏移量，H_a为九点标定矩阵，H_b为最终的映射矩阵。

S7，通过将物料吸附平台运动到安装相机的正上方，然后记录下此时的物料吸附平台的基准坐标，将得到的基准坐标存储，将这个基准坐标作为对应相机的位置基准。

S8，通过安装在装载平台下方的相机成像，利用图像处理算法得到物体特征点的像素坐标，再通过步骤S6计算得到的标定矩阵将物体特征点的像素坐标转换到与步骤S7得到的位置基准的偏移值。

S9，将物料吸附平台通过步骤S5得到的机构旋转中心的坐标系与步骤S6得到平台上工件的姿态偏移，计算得到相对设定基准的(x,y,θ)偏移量，物料装载平台在步骤S6设定的基准与步骤S7得到新的位置与设定基准的(x,y,θ)偏移量。

S10，根据步骤S9计算得出的物料吸附平台与装载平台的偏移量进行叠加得到最终的动作量(x,y,θ)，按照最终动作量执行装配动作。

一种视觉标定方法，首先制作带点坐标的标定板，所述点坐标为点坐标在点阵中的坐标，其中，标定板坐标系为点阵所在的坐标系；将所述标定板放置于每个相机的视野中，使得所述相机拍摄到带有坐标系点阵的标定板；控制每个所述相机取图，对所述标定板上点坐标进行读取后把读取到的点通过九点标定将像素点坐标转换为实际机械坐标，并获得每个相机坐标系到标定板坐标系的放射变换矩阵，此时完成相机视野与机构平台的标定。(X_t,Y_t)代表输出坐标系中坐标，(X_i,Y_i)代表图像坐标系中坐标，(X_o,Y_o)代表输出坐标系原点在图像坐标系中的位置，α为输出坐标系与图像坐标系的夹角，转换公式为：

由于标定板能够将视野与平台坐标进行标定，所以点坐标传递携带有点坐标传递中心在标定板坐标系中的坐标信息，标定过程中无需格子角点并填写角点的坐标，因此上述的标定过程较简单，且标定过程中无需专业人员即可完成。

所述标定板为用CTP(橡胶防焦剂)基底的标定板。用CTP(橡胶防焦剂)基底的标准板具有热膨胀系数小、强度高、硬度高、耐磨性好、热传导率低、防酸碱性好等特点，且其良好的表面漫反射处理，解决了在应用过程中，前置光源情况下玻璃材质标定板反光的难题，可更好地识别标定板图案细节信息从而达到更高的标定精度和测量精度。

因此采用CTP带点坐标的标定板其核心在于简单高效，可以应对各种复杂场景。

本发明的标定板易于制作，价格成本低，每个局部坐标系图案组都可用于建立标定板图像的图案与实物的对应关系，大大降低标定时对标定板图像的要求，提高标定精度和效率；标定方法易于计算机执行，对相机及拍摄的标定板图像要求低，不易出错，提高了标定效率，标定精度高。

为了精确的标定，当相机看到标定目标填充大部分图像时，摄像机模型最好是受到约束的。通俗来说，如果使用一个小的标定板，许多相机参数的组合可以解释所观察到的图像。根据经验，当正面观察时，标定板的面积至少应该是可用像素面积的一半。而带点坐标的标定板突破了传统原点标定板采图必须满足视野的1/4的局限性，恰好更为便捷的使用于各种环境下。

附图说明

图1是本发明实施例的标定板设计图；

图2是本发明实施例的上单元的标定基准位置示意图；

图3是本发明实施例的下单元的标定基准位置示意图；

图4是本发明实施例的上下单元工件安装过程示意图；

图5是本发明实施例的异形产品贴合的视觉标定及对位贴合方法的流程图；

图6是本发明实施例的视觉标定方法流程图；

图7是视觉标定方法中标定板局部示意图；

图8是视觉标定方法的应用场景示意图；

图9是视觉标定方法的应用场景示意图；

图10是视觉标定方法中相机和标定板布局示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，一种异形产品贴合的视觉标定及对位贴合方法，其中，物料吸附平台是一个能够执行xyθ动作的平台，装载平台是个固定装配物件的承载平台，标定板是一组具有数字物理坐标信息的点阵标定板，点的排布为等间隔分布。

如图5所示，一种异形产品贴合的视觉标定及对位贴合方法，包括以下步骤：

S1：物料吸附平台运动到标定板所在位置区域采集标定板图像；标定板放置于平台运动方向平行，标定板坐标系方向和物料吸附平台运动方向一致，且需保证在拍照位时相机视野范围内包含至少一个完整的带有数字坐标信息的点阵集合区域。

首先物料吸附平台处于标定基准位置，具体地，见图2(图中上单元指的物料吸附平台)，其中，通过调整图像采集装置(即为相机)，使得图像采集装置(即为相机)的视场能够清晰地获得物料吸附平台的标定板类似图1的图像。

S2：根据相机视野内的图像任意选取9个点，并设定坐标数据，完成机构(物料吸附平台)坐标系与图像坐标系的转换关系。

见图1，设定一个9个标定点的位置，然后设定坐标数据，这里的计算主要是构建相机像素与物理距离的构建关系

在图像中像素坐标[x y 1]和物理坐标

[X Y 1]之间的关系

展开后得到

其中a、b、c、d、e、f表示的是相机像素坐标到物理坐标的旋转、平移关系，根据一次方程组需要六个方程组就可以求出标定矩阵T，这里9个点可以构建18个方程，使用最小方差

求出对应的这个6个值，其中Ax_i表示由其中一组像素坐标与物理坐标组联立后求出的新的值，β表示理想情况下的值。

S3：移动物料吸附平台转移标定板到装载平台使装载平台所对应的相机获取标定板图像。

见图3，将坐标板平移到装载平台，这样就可以使上下单元的相机统一描述一个物体的大小以及姿态。图中上单元指的物料吸附平台，下单元指的装载平台。

S4：根据相机视野内的图像任意选取9个点，设定标定坐标数据，完成机构(装载平台)坐标系与图像坐标系的转换关系。

见图3，根据图像同步骤2设定相机像素与标定板的物理距离的转换关系矩阵。

S5：设定上单元视野内一个图像特征旋转平台运动五个角度计算出物料吸附平台的旋转中心，如果有多个相机就一次计算取平均值得到物料吸附平台的旋转中心。

见图2，这步是最关键的一步，由于平台动作的执行，需要物料吸附平台执行，机构的旋转中心的位置将决定旋转后的平移计算，通过记录物料吸附平台相机采集的特征点像素坐标[x y 1]转换成对应标定板上锁表示的坐标，这里选取5组点使用最小二乘法计算得到物料吸附机构的旋转中心坐标O(x,y)，再将原来计算的偏移矩阵，平移到以o为中心的原点。

S6：根据计算得到的旋转中心平移每个相机的标定矩阵。

S7：设定每个相机的位置基准。

S8：计算每个相机里面新的位置基准计算工件的姿态信息。

S9：将上单元与下单元得到的工件位姿信息叠加后移动上单元。

S10：执行对接动作。

见图4，根据上下单元相机采集到上下单元的特征点的信息，分别计算出上下工件与标准姿态的中心偏移(Δx,Δy)与角度偏差Δθ，将两个平台的平移量施加到上单元上，叠加两台工件的角度，就可以完成两个工件的转配。

综上所述，本发明提供的异形产品贴合的视觉标定及对位贴合方法，该方法是通过将标定板进行传递，从而将上单元的运动关系坐标传入不可移动的下单元，该方法不需要进行试装或者少量试装修正，就可完成产品的贴合，针对不同形状的产品，由于建立的标准稳定的坐标***，不需要传入过多的工件尺寸信息，同时能够根据相机的安装位置的采集完成对工件的精确测量任务，在实际使用中能够快速高效经济的完成对异形产品的偏贴工作。

一种视觉标定方法，如图6所示，包括如下步骤：

S1，根据视野大小制作带有数字坐标信息的点阵标定板。

为了适应视野都能够拍摄全9个圆孔点，圆孔尺寸设计应小于视野的1/4。

S2，将标定板放置于每个相机的视野中。

如图8所示的标定板，每个数字表示此处缺失中心的孔的顺序坐标，Y在前，X在后。

S3，控制每个视野内的相机取图，选取点阵区域，将其二值化后通过团块算法处理提取出对应的圆孔区域，并填入选取的点阵区域对应的数字坐标，在通过九点标定算法获得相机像素坐标系到标定板的仿射变换矩阵。

在相机中采集图像如图8所示，(在进入相机标定界面后，会自动在界面上生成一个可拖动的Roi矩形框)，拖动ROI控制框将其放置到点阵区域上(一般只要范围内包含九个圆孔且数值坐标信息未被遮挡即认为合适)，然后通过设置团块处理算法中灰度值的高、低阈值，点击预处理按钮就可以看到最终的定位结果，选中的圆点被以对应的圆形团块区域覆盖，这就说明定位阈值设置正确(如果Roi框选的点阵上没有相应的圆形团块区域覆盖，或者团块区域超出点阵图像范围则认为阈值设置不合理，还需重新设置)，之后只需要点击执行按钮，标定算法内部将通过上述预处理操作获取的团块区域按照九点标定算法生成标定矩阵，如图9所示，就会把定位框中的9个标定点依次填入数字，就完成了相机像素与标定板所在坐标系的物理关系的标定。

如图7所示，本标定方法所采用的是具有空间坐标信息的特制点阵标定板，通过在标定板上设定一组包含9个标定点的位置，然后设定坐标数据，这里的计算主要是构建相机像素与待标定区域的物理距离的构建关系；在图像中像素坐标[x y 1]和物理坐标[X Y 1]之间的关系

其中a、b、c、d、e、f表示的是相机像素坐标到物理坐标的旋转、平移关系，展开后得到

根据一次方程组需要六个方程组就可以求出标定矩阵T，这里9个点可以构建18个方程，使用最小方差

求出对应的这个6个值，其中Ax_i表示由上述方程组联立后求出的新的值，b表示理想情况下的值。

如图10所示，当相机安装在不同区域时，要想将多个相机坐标***一到一个坐标系，按照传统方法还需要联立解方程组，过程繁琐，而本实验通过标定板上自带的位置信息，可直接将多个相机直接统一到同一个坐标系下，且相机的调节与标定矩阵的设置都是相同的，用户操作使用起来比较便利，同时CTP板价格便宜，精度高耐磨损，可以在一定精度范围了对大尺寸，不同方位的多相机的标定，从而完成对物体的精度测量。

Claims (7)

1.一种异形产品贴合的视觉标定及对位贴合方法，其特征在于：通过xyθ物料吸附平台运输装配物件，物料吸附平台能上下、左右运动，其中上下指的沿θ方向，左右指的沿x、y方向；通过装载平台固定装配物件；通过控制机构的使标定物料吸附平台运动，获取控制机构运行的运动坐标***，再使用包含有X、Y坐标信息的点阵标定板，通过物料吸附平台将标定板传递到不能运动的装载平台，通过安装在装载平台上的至少一个相机采集到标定板上的标定信息，通过计算得到各个相机的位置，计算相机位置与装载平台之间标定转换矩阵，从而得到安装工件的中心基准位置以及基准角度，此时通过控制物料吸附平台运动相应的角度以及平移量，使得工件能够按照指定位置进行安装。

2.根据权利要求1所述的异形产品贴合的视觉标定及对位贴合方法，其特征在于：将物料吸附平台运动到标定板所在位置区域采集标定板图像；标定板坐标系方向和物料吸附平台运动方向一致，且需保证在拍照位时相机视野范围内包含至少一个完整的带有数字坐标信息的点阵集合区域；所述标定板为带有数字坐标信息的点阵标定板；

通过在采集到的标定板图片中任意选取9个坐标点，并设定标定板坐标数据，完成物料吸附平台坐标系与不能移动的装载平台关联相机视野的坐标系的转换关系。

3.根据权利要求1所述的异形产品贴合的视觉标定及对位贴合方法，其特征在于：控制物料吸附平台将标定板转移到装载平台，使转载平台所对应的相机获取标定板图像；

在相机视野内的图像上任意选取9个坐标点，设定标定坐标数据，通过九点标定算法完成装载平台对应物料吸附平台的关联计算矩阵转换关系，(X_t,Y_t)代表输出装载平台中坐标，(X_i,Y_i)代表装载平台相机视野中的图像坐标，(X_o,Y_o)代表输出装载平台原点在图像坐标系中的位置，α为输出坐标系与图像坐标系的夹角，转换公式为：

通过将标定板固定在物料吸附平台上，并使其在对应相机视野内旋转运动五个不同的角度，然后记录下图像特征最终计算出物料吸附平台的旋转中心，如果物料吸附平台上设有两个及两个以上相机则按照顺序依次计算取平均值即可得到物料吸附平台的旋转中心(x2,y2)；

x＝(x1-x2)cosθ-(y1-y2)sinθ+x2

y＝(y1-y2)cosθ+(x1-x2)sinθ+y2

x2，y2为旋转中心，x1，y1为标定计算出的物理坐标，θ为旋转角度，x,y为选取的标定点绕旋转中心(x2,y2)旋转θ角度后的坐标。

4.根据权利要求3所述的异形产品贴合的视觉标定及对位贴合方法，其特征在于：把计算得到的旋转中心(x,y)对应的偏移量分别平移到每个相机对应的九点标定矩阵里得到最终准确的物料吸附平台跟图像坐标系的物理映射关系：

其中，x，y为旋转中心偏移量，H_a为九点标定矩阵，H_b为最终的映射矩阵；

通过将物料吸附平台运动到安装相机的正上方，然后记录下此时的物料吸附平台的基准坐标，将得到的基准坐标存储，将这个基准坐标作为对应相机的位置基准；

通过安装在装载平台下方的相机成像，利用图像处理算法得到物体特征点的像素坐标，根据装载平台上工件在调试安装位置与新的装载位置的特征点的像素坐标记录，并通过映射矩阵H_b得到新的装载位置与调试安装位置的位置偏移与角度偏移；

通过物料吸附平台下方的相机成像，利用图像处理算法得到装载物体上特征点的像素坐标，根据像素坐标，计算出装载物体在物料吸附平台的调试基准位置与安装装载物***置偏移与角度偏移；将物料吸附平台移动到装载平台上产品的装载位置处，执行装配动作。

5.一种视觉标定方法，其特征在于：首先制作带点坐标的标定板，所述点坐标为点坐标在点阵中的坐标，其中，标定板坐标系为点阵所在的坐标系；将所述标定板放置于每个相机的视野中，使得所述相机拍摄到带有坐标系点阵的标定板；控制每个所述相机取图，对所述标定板上点坐标进行读取后把读取到的点通过九点标定将像素点坐标转换为实际机械坐标，并获得每个相机坐标系到标定板坐标系的放射变换矩阵。

6.根据权利要求5所述的视觉标定方法，其特征在于：在相机视野内的图像上任意选取9个坐标点，设定标定坐标数据，通过九点标定算法完成每个相机坐标系到标定板坐标系的关联计算矩阵转换关系，令(X_t,Y_t)代表输出坐标系中坐标，(X_i,Y_i)代表图像坐标系中坐标，(X_o,Y_o)代表输出坐标系原点在图像坐标系中的位置，α为输出坐标系与图像坐标系的夹角，转换公式为：

7.根据权利要求5所述的视觉标定方法，其特征在于：所述标定板为用CTP基底的标定板。

Images