CN109373912B - 一种基于双目视觉的非接触式六自由度位移测量方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的非接触式六自由度位移测量方法。首先，设计二维编码序列并生成棋盘编码，将棋盘编码固定在待测物体表面得到待测圆柱体；然后，对双目相机的内外参数进行标定；然后，分别对左右相机拍摄所得的两组图像的目标进行分割，并提取出目标的特征角点；然后，基于相机的内外参数矩阵及成像模型，将特征角点的二维图像坐标转换为三维世界坐标；最后，对特征角点组的三维坐标点进行圆柱拟合，并计算出圆柱平动及转动信息，最后计算获得六自由度位移信息。本发明无需接触目标，只需要利用左右相机拍摄的两组输入图像中目标物体的特征点的信息便可计算出平动、转动等六自由度信息。

Description

一种基于双目视觉的非接触式六自由度位移测量方法

技术领域

本发明涉及一种基于双目视觉的非接触式六自由度位移测量方法。

背景技术

在传统的位移测量技术架构中，通常是使用多自由度检测平台或是坐标测量机进行测量。坐标测量机是对工件轮廓、形位尺寸等进行测量的主要通用仪器。由于自由度检测平台的结构复杂、***庞大、价格昂贵、且需要与被测物体直接接触，其应用场景受到限制。因此亟需开发一种高性能、高性价比的非接触式位移测量方法,以代替多自由度检测平台,以便在多种场景下都可较为便利地适用。基于视觉的位移测量方法是建立在用数字图像处理技术上的一种非接触式测量方法，可取代传统的、在工作基准面上由驱动机构和光栅尺构成的驱动和定位的体系，具有灵活、高性价比的特点。

发明内容

有鉴于此，本发明旨在提供一种基于双目视觉的非接触式六自由度位移测量方法，只需要在待测物体表面贴上二维编码筒，并利用左右相机拍摄的两组输入图像中目标物体的特征点信息便可计算出位移、旋转角度等六自由度位移信息。

为实现上述目的，本发明采用如下技术方案：

一种基于双目视觉的非接触式六自由度位移测量方法，包括以下步骤：

步骤S1：设计二维编码序列并生成棋盘编码，将棋盘编码固定在待测物体表面得到待测圆柱体；

步骤S2：安装好双目相机，并对双目相机的内外参数进行标定；

步骤S3：通过双目相机采集待测圆柱体图像，然后对此图像分别进行圆柱体目标分割，在分割的基础上，提取目标中特征角点的二维图像坐标；

步骤S4：基于双目相机的内外参数矩阵及相机成像模型，将特征角点的二维图像坐标转换为三维世界坐标；

步骤S5：对特征角点的三维世界坐标进行圆柱拟合，并计算出圆柱中心点及方向向量，以获取待测物体的平动及转动信息，即六自由度位移信息。

进一步的，所述步骤S3具体为：

步骤S31：对待测圆柱体进行双目图像采集获得im_l1，im_r1，im_l2，im_r2；

步骤S32：根据双目相机采集的图像中，自动分割出目标x_l1、x_r1和x_l2、x_r2；

步骤S33：对分割出的目标x_l1、x_r1和x_l2、x_r2进行特征角点提取，获得各自特征角点的图像二维坐标x_l11，…，x_l1n、x_r11，…，x_r1n以及x_l21，…，x_l2n、x_r21，…，x_r2n，且构成的二维坐标集X_l1、X_r1和X_l2、X_r2；

步骤S34：对图像二维坐标集X_l1，X_r1和X_l2，X_r2进行棋盘格约束的优化，生成最终二维坐标集Y_l1、Y_r1和Y_l2、Y_r2；

步骤S35：利用灰度阈值还原出二值编码信息B₁、B₂。

进一步的，所述步骤S4具体为：

步骤S41：双目标定获得双目相机内参M_left、M_right、外参矩阵H；

步骤S42：根据得到的相机内外参数矩阵，利用二维坐标集Y_l1、Y_r1和Y_l2、Y_r2重构出三维世界坐标集G₁和G₂；

步骤S43：对离散的三维世界坐标集G₁和G₂进行直线约束的优化，生成坐标集group₁和group₂。

进一步的，所述步骤S5具体为：

步骤S51：根据得到的二值编码B₁和B₂，判断出坐标集group₁和group₂中存在的公共特征角点的坐标集g₁和g₂；

步骤S52：利用坐标集group₁和group₂各自进行圆柱拟合，可得到两者的中心坐标C₁、C₂和半径R₁、R₂，及方向向量V₁，V₂；

步骤S53：利用中心坐标C₁、C₂进行差值计算可获得位移信息，同时，利用方向向量V₁，V₂，并根据旋转矩阵转欧拉角公式可计算出旋转的欧拉角。

本发明与现有技术相比具有以下有益效果：

本发明处理六自由度位移信息时，只需要利用双目相机拍摄的两组输入图像中目标物体的特征点的信息便可计算出位移、旋转角度等自由度信息，测量装置设备无需直接接触目标物体，在旋转运动的情况下、即便出现遮挡的情况下也可适用。本方法易于操作实现，可通过较少的参数调节来应对不同的需求。

附图说明

图1是本发明总体流程图。

图2是本发明一实施例六自由度位移测量示意图。

图3是本发明一实施例的二值编码圆柱筒示意图。

图4是本发明一实施例的目标分割流程示意图。

图5是本发明一实施例的角点检测流程示意图。

图6是相机坐标系、图像坐标系、像素坐标系、世界坐标系四种坐标系间的关系图。

图7是本发明一实施例重建的带特征点的目标圆柱图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，图2本发明提供一种基于双目视觉的非接触式六自由度位移测量方法，图1，图2为本发明实施示例，包括以下步骤：

步骤S1：设计二维编码序列并生成棋盘编码，并在待测物体表面固定为棋盘编码筒。将不重复的二进制编码贴于圆柱体表面，以编码代表圆柱体表面位置信息，获得圆柱体C；

为了使用特定可用的信息来代表滚动物体的表面位置，设计了一种带有明显特征角点的编码筒，这种编码筒是在圆柱体表面使用没有重复的二值编码来代表圆柱表面位置信息。除了本发明的二值编码，也可以换成其他二值编码。如图3所示，用白格代表0，黑格代表1，一个编码可以对应一排黑白格，两个相邻编码构成的黑白格之间会具有明显的角点，我们取这些点作为目标的特征角点。由于二值编码的无重复性，使用某一个编码可表示圆柱体表面的某一特定位置。在旋转与移动中，可根据双目摄像机捕获的前后两组图像中目标物体上公共特征点的变化得出圆柱体的旋转与位移信息。

步骤S2：对双目相机的内外参数进行标定；

步骤S3：根据标定后的双目相机对圆柱体进行图像采集，然后分别对双目相机拍摄所得圆柱体的两组图像的目标进行分割，并提取出目标的特征角点的二维图像坐标；

步骤S31：对圆柱体C进行双目图像采集获得im_l1，im_r1，im_l2，im_r2；

步骤S32：根据双目相机采集的图像中，自动分割出目标x_l1、x_r1和x_l2、x_r2；

由于使用的待检测目标是具有明显黑白网格特征的圆柱体，其灰度差异明显，所以可使用(但不限于)传统的基于阈值的分割方式进行目标分割。通过阈值判断将灰度图像转换成二值图像之后，还需要对二值图像进行腐蚀和膨胀，腐蚀可删除目标边界某些像素去除小连通区域，膨胀可给图像中的目标边界添加像素来去除孔洞。之后，再通过对连通区域的搜索及圆柱体的形状特性即可确定圆柱体在图片中的位置并将其分割出来，如图4所示。

步骤S33：对分割出的目标x_l1、x_r1和x_l2、x_r2进行特征角点提取，获得各自特征角点的图像二维坐标x_l11，…，x_l1n、x_r11，…，x_r1n以及x_l21，…，x_l2n、x_r21，…，x_r2n，且构成的二维坐标集X_l1、X_r1和X_l2、X_r2；

步骤S34：对图像二维坐标集X_l1，X_r1和X_l2，X_r2进行棋盘格约束的优化，生成最终二维坐标集Y_l1、Y_r1和Y_l2、Y_r2；

在步骤S35中提取出的角点位置仍然受滚动等影响存在些微误差，对于这种误差，我们先采用角点融合和筛选，对相邻距离小于格子边距1/2的角点进行融合，选其中特征较为明显的点，删除在离格子最近的黑边以为的多余角点。而后，根据圆柱体滚动中呈现椭圆截面及各行各列的特征点在同一条直线上的特点，利用经过融合和筛选的离散点拟合出弧形棋盘格，如图5所示。在此基础上，将弧形棋盘格的角点设为最终准确的角点。

步骤S36：利用灰度阈值还原出二值编码信息B₁、B₂。

对二维坐标集Y_l1和Y_l2在45、135度角度上的点使用灰度阈值的方法进行判断可知围绕该点的黑白格情况，在此基础上还原出二值编码信息B₁、B₂，如图2所示的逆过程。

步骤S4：基于双目相机的内外参数矩阵及成像模型，将特征角点的二维图像坐标转换为三维世界坐标；

步骤S41：双目标定获得双目相机内参M_left、M_right、外参矩阵H；

利用MATLAB自带双目标定工具箱对左右摄像机采集的标定板图像进行双目标定，可获得左右相机各自内参M_left、M_right，及两相机间外参H，由旋转矩阵和位移矩阵构成。

步骤S42：根据得到的相机内外参数矩阵，利用二维坐标集Y_l1、Y_r1和Y_l2、Y_r2重构出三维世界坐标集G₁和G₂；

利用图6中相机坐标系、图像坐标系、像素坐标系、世界坐标系四种坐标系间的关系，可知由二维图像坐标转换为三维图像坐标的转换过程。计算经过左右相机特征角点的图像二维坐标和相应摄像机光心的两条空间直线的方程，两条直线的交点坐标即为特征点的三维世界坐标。由于实际计算时可能存在各种误差，两条直线很有可能并不相交，所以使用最小二乘法可求解重构出离散的三维世界坐标集G₁和G₂。

步骤S43：对离散的三维世界坐标集G₁和G₂进行直线约束的优化，生成坐标集group₁和group₂。

步骤S5：对特征角点的三维世界坐标进行圆柱拟合，并计算出圆柱平动及转动信息，获得六自由度位移信息。

步骤S51：根据得到的二值编码B₁和B₂，判断出坐标集group₁和group₂中存在的公共特征角点的坐标集g₁和g₂；

在步骤S26还原出二值编码信息B₁和B₂之后，进而可以得知当前输入图像中的圆柱体目标相对摄像机是表现为哪一表面位置。对于双目相机拍摄的两组输入图像，对它们分别进行特征角点检测和二值编码还原之后，若可以判断出两组图像的二值编码B₁和B₂中至少有一个相同的编码后，则可以将这个相同编码对应的特征角点看作公共特征角点，也可以在两坐标集group₁和group₂中找到两组图像对应的公共特征角点的坐标集g₁和g₂。

步骤S52：利用坐标集group₁和group₂各自进行圆柱拟合，可得到两者的中心坐标C₁、C₂、半径R₁、R₂，及方向向量V₁，V₂；

步骤S53：利用中心坐标C₁、C₂进行差值计算可获得位移信息，同时，基于方向向量V₁，V₂，根据旋转矩阵转欧拉角公式可计算出旋转的欧拉角。

实施例1：

本实施例设计了一种如图3所示的不重复的二进制编码筒，该编码筒半径约为3.4140cm、高度为15cm，其表面由8个二进制编码覆盖。采集硬件使用的是型号为ALLIEDGige GT1910C的CCD相机和型号为Computar FA M2518的镜头，其中CCD相机的分辨率为1920×1080、最大帧率为57fps，而镜头则拥有500万像素，其焦距f为25mm、光圈F为1.8。对本发明的四自由度测量结果与实际旋转角度与位移进行了比较。表1给出了本发明的位移测量方法在在已知实际旋转角度与位移的对比。

表1：

从表1可以看出，本发明方法可测出三个方向的位移和一个特定方向的旋转角度构成的4自由度信息。由此可知本发明提出的方法只需要利用左右相机拍摄的两组组输入图像中目标物体的特征点的信息便可计算出位移、旋转角度等自由度信息，在旋转角度被遮挡的情况下也可适用，可以推广到包括三维平动及三维转动的六自由度的位移测量。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (2)

1.一种基于双目视觉的非接触式六自由度位移测量方法，其特征在于，包括以下步骤：

步骤S1：设计二维编码序列并生成棋盘编码，将棋盘编码固定在待测物体表面得到待测圆柱体；

步骤S2:安装好双目相机，并对双目相机的内外参数进行标定；

步骤S3:通过双目相机采集待测圆柱体图像，然后对此图像分别进行圆柱体目标分割，在分割的基础上，提取目标中特征角点的二维图像坐标；

步骤S4:基于双目相机的内外参数矩阵及相机成像模型，将特征角点的二维图像坐标转换为三维世界坐标；

步骤S5:对特征角点的三维世界坐标进行圆柱拟合，并计算出圆柱中心点及方向向量，以获取待测物体的平动及转动信息，即六自由度位移信息；所述步骤S3具体为：

步骤S31:对待测圆柱体进行双目图像采集获得im_l1，im_r1，im_l2，im_r2；

步骤S32:根据双目相机采集的图像中，自动分割出目标x_l1、x_r1和x_l2、x_r2；

步骤S33：对分割出的目标x_l1、x_r1和x_l2、x_r2进行特征角点提取，获得各自特征角点的图像二维坐标x_l11，…，x_l1n、x_r11，…，x_r1n以及x_l21，…，x_l2n、x_r21，…，x_r2n,且构成的二维坐标集X_l1、X_r1和X_l2、X_r2；

步骤S34：对图像二维坐标集X_l1，X_r1和X_l2，X_r2进行棋盘格约束的优化，生成最终二维坐标集Y_l1、Y_r1和Y_l2、Y_r2；

步骤S35：利用灰度阈值还原出二值编码信息B₁、B₂；

所述步骤S4具体为：

步骤S41:双目标定获得双目相机内参M_left、M_right、外参矩阵H；

步骤S42：根据得到的相机内外参数矩阵，利用二维坐标集Y_l1、Y_r1和Y_l2、Y_r2重构出三维世界坐标集G₁和G₂；

步骤S43：对离散的三维世界坐标集G₁和G₂进行直线约束的优化，生成坐标集group₁和group₂。

2.根据权利要求1所述的一种基于双目视觉的非接触式六自由度位移测量方法，其特征在于：所述步骤S5具体为：

步骤S51:根据得到的二值编码B₁和B₂，判断出坐标集group₁和group₂中存在的公共特征角点的坐标集g₁和g₂；

步骤S52：利用坐标集group₁和group₂各自进行圆柱拟合，可得到两者的中心坐标C₁、C₂和半径R₁、R₂，及方向向量V₁,V₂；

步骤S53：利用中心坐标C₁、C₂进行差值计算可获得位移信息，同时，利用方向向量V₁,V₂，并根据旋转矩阵转欧拉角公式可计算出旋转的欧拉角。

Images