CN102107179B - 一种基于双目视觉的单层皮革涂胶控制方法 - Google Patents

Abstract

一种基于双目视觉的单层皮革涂胶控制方法，该方法采用双目相机和三轴涂胶机械臂，包括以下步骤：1)对固定的双目相机进行立体标定；2)采集单层皮革双目图像并提取其边缘轮廓；3)依据步骤2)的边缘轮廓图像进行特征提取；4)根据步骤3)的特征点进行匹配；5)根据式重投影矩阵值还原步骤4)的特征点所对应涂胶平台系的真实坐标值；6)将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中，从而控制机械臂完成涂胶过程。本发明提升工作效率、便于集成到流水线加工、精度高、避免危害工人健康。

Description

一种基于双目视觉的单层皮革涂胶控制方法

技术领域

本发明涉及皮革涂胶方法领域，涉及一种基于双目视觉的单层皮革涂胶方法，尤其是一种基于双目视觉的包含检测、识别、测量到涂胶完整流程的单层皮革涂胶控制方法。

背景技术

我国目前实际生产中皮革涂胶主要由手工完成，手工涂胶的不均匀以及涂料散发的有毒气体都是皮革涂胶的主要问题。手工涂胶的不均匀造成皮革后期缝合的困难，会影响到皮革生产的效率，而且因为涂胶过程所散发的有毒气体又会极大影响工人的健康，因此采用机械化的涂胶手段不仅能提高皮革生产的效率和工艺水平，也能有效保护工人的健康。

现有的图像处理技术与双目视觉技术中，大部分功能不够全面，在单层皮革涂胶方面还没有一套从检测、识别、测量到涂胶的完整方法，如申请号为200810232122.8的发明，利用已知几何面积的标定物求得相机的像素当量会受计算精度影响，求得的皮革面积未必适合于进一步的工业应用，显然求出皮革的边缘以及加工的特征点更适合工业应用。申请号为200710190470.9的发明，利用视觉技术来识别汽车挡风玻璃的类别并根据已有参数涂胶，只是简单的利用了视觉识别技术，对于未采样的挡风玻璃需要进行采样并输入特征数据库的步骤，较为繁琐，同时汽车挡风玻璃的形状较为简单。申请号为200710123727.9的发明，在三轴伺服运动控制器的驱动下按照三维或二维点序列进行涂胶，但是众多的三维点或者二维点会影响涂胶的效率，对于同一直线的二维点应取其起点与终点从而减少点的数量。

发明内容

为了克服已有的纯手工皮革涂胶方法的工作效率低、不利于集成到流水线加工、精度低、危害工人健康的不足，本发明提供一种提升工作效率、便于集成到流水线加工、精度高、避免危害工人健康的基于双目视觉的单层皮革涂胶控制方法。

本发明解决其技术问题所采用的技术方案是：

一种基于双目视觉的单层皮革涂胶控制方法，该方法采用双目相机和三轴涂胶机械臂，所述单层皮革涂胶控制方法包括以下步骤：

1)、对固定的双目相机进行立体标定；

2)、采集单层皮革双目图像并提取其边缘轮廓；

3)、依据步骤2)的边缘轮廓图像进行特征提取：

单层皮革边缘轮廓由有限对二维坐标点(x_i，y_i)构成的，i＝1，2，L，n表示该轮廓有n对坐标点组成；对于轮廓上任意坐标点对(x_iy_i)，其曲率计算公式如(1)，计算所有坐标点对的曲率K_i，i＝1，2，L，n表示该轮廓有n对坐标；

$K_i=\frac{\left(\frac{x_{i+1}-x_{i-1}}{2}\right){\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}^2-{\left(\frac{x_{i+1}-x_{i-1}}{2}\right)}^2\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}{\sqrt[3]{{[{\left(\frac{x_{i+1}-x_{i-1}}{2}\right)}^2+{\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}^2]}^2}},$ i＝1，2，L，n(1)

其中，(x_i+1，y_i+1)为该坐标点对(x_i，y_i)的下一个坐标点对，(x_i-1，y_i-1)为该坐标点对(x_i，y_i)的上一个坐标点对。

特征提取按照以下步骤：

(3.1)、以

计算轮廓局部曲率阈值，B为比例系数，选在[1，2]之间；

(3.2)、满足K_i≥T(i)的坐标点会选入候选特征点P_i，i＝1，2，L，s＜n表示共有s个候选特征点；

(3.3)、计算每个候选特征点的两条切线所形成的夹角θ_i+1：以候选特征点的点P_i为起点，P_i+1为终点，起点与终点所在线段的中点P_(i+(i+1))/2，根据公式(2)计算理论圆心

同理，以P_i+1为起点，P_i+2为终点，起点与终点所在线段的中点P_{((i+1)+(i+2))/2}，通过公式(2)得其理论圆心

$x_{i+1}^C=\frac{(x_{i+1}^2+y_{i+1}^2)(y_{\frac{i+(i+1)}{2}}-y_i)+(x_{\frac{i+(i+1)}{2}}^2+y_{\frac{i+(i+1)}{2}}^2)(y_i-y_{i+1})+(x_i^2+y_i^2)(y_{i+1}-y_{\frac{i+(i+1)}{2}})}{2[x_{i+1}(y_{\frac{i+(i+1)}{2}}-y_i)+x_{\frac{i+(i+1)}{2}}(y_i-y_{i+1})+x_i(y_{i+1}-y_{\frac{i+(i+1)}{2}})]},---\left(2\right)$

$y_{i+1}^C=\frac{(x_{i+1}^2+y_{i+1}^2)(x_{\frac{i+(i+1)}{2}}-x_i)+(x_{\frac{i+(i+1)}{2}}^2+y_{\frac{i+(i+1)}{2}}^2)(x_i-x_{i+1})+(x_i^2+y_i^2)(x_{i+1}-x_{\frac{i+(i+1)}{2}})}{2[y_{i+1}(x_{\frac{i+(i+1)}{2}}-x_i)+y_{\frac{i+(i+1)}{2}}(x_i-x_{i+1})+y_i(x_{i+1}-x_{\frac{i+(i+1)}{2}})]}$

其中，x_i+1，y_i+1)为P_i+1坐标，为

坐标，

为

坐标；

然后以公式(3)计算P_i+1和

连线与P_i+1切线的夹角

及P_i+1和连线与P_i+1切线的夹角

${\mathrm{\τ}}_{i+1}^L=a\tan \frac{(y_{i+1}^C-y_{i+1})}{(x_{i+1}^C-x_{i+1})}$

${\mathrm{\τ}}_{i+1}^R=a\tan \frac{(y_{i+2}^C-y_{i+1})}{(x_{i+2}^C-x_{i+1})}---\left(3\right)$

其中，θ_i+1即为两个夹角与

之和；

(3.4)、根据θ_i+1值判断是否是所需特征点并标记特征点之间的线段形状：如果θ_i+1大于170度则认为该特征点所处的局部轮廓曲率变化不明显，不是所需的特征点，特征点之间的线段形状为Straight；否则，该特征点是所需特征点，特征点之间的线段形状为Arc；

4)、根据步骤3)的特征点进行匹配，特征匹配按照以下步骤：

(4.1)、以双目图像中的左图的特征点为参照，i＝0，1，2，L，m，其中，m＜s，m表示左图有m个特征点；

(4.2)、计算与双目图像中的右图对准行周围2个像素内的所有特征点

的欧式距离，i＝0，1，2，L，k，其中，k＜m，k表示右图m个特征点内有k个特征点在2个像素范围内；

(4.3)、取欧氏距离最小的作为与之匹配的特征点，从而确定单层皮革边缘轮廓左右图的特征点一一对应关系；

5)、根据式(7)还原步骤4)的特征点所对应涂胶平台系的真实坐标值；

6)、将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中，从而控制机械臂完成涂胶过程。

进一步，所述步骤6)中，将特征点之间按照步骤3)的线段形状和公式(4)来进行涂胶控制；

$L(P_i,P_{i+1})=\left\{\begin{array}{c}\mathrm{Straigt}\\ \mathrm{Arc}\end{array}\right.,i=\mathrm{0,1,2},\mathrm{Lm}-1---\left(4\right)$

其中，L(P_i，P_i+1)表示第P_i和第P_i+1个特征点之间的单层皮革边缘线段形状，Straight表示线段，涂胶时按照直线插补方式进行涂胶，Arc表示弧线段，涂胶时按照曲线插补方式进行涂胶，i＝0，1，2，L m-1表示有m个边缘轮廓特征点。

再进一步，所述步骤1)中，拍摄不同姿态的标定物获得用于标定分析的图像，根据线性相机模型(5)得到各个相机的内参数(k l u₀ v₀ f θ)和外参数，由相机内外参数点乘得到的3×4矩阵M_3×4即为透视投影矩阵；

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{\mathrm{\λ}}\left(\begin{array}{cccc}\frac{f}{k}& -\frac{f}{k}\cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)=M_{3\×4}\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)---\left(5\right)$

其中，k，l是双目相机的像素点大小，u₀，v₀是相机的光轴中心的坐标值，f是相机焦距，θ是相机坐标系的偏斜度(一般为90°)，R_3×3是相机的旋转矩阵，t_3×1则是相机的平移矩阵，(u v 1)^T是图像中的任一点，(X_W Y_W Z_W 1)^T则是图像中任一点所对应的涂胶坐标系坐标；

图像矫正的过程如下：

(1.1)、通过公式(6)及左右相机的内外参数得到右相机相对于左相机的旋转和平移矩阵，并矫正左右图像使之行对准；

R＝R_r(R_l)T

                              (6)

T＝T_r-RT_l

其中，R_l，R_r是左右相机的旋转矩阵，T_l，T_r是左右相机的平移矩阵，R，T是右相机相对于左相机的旋转矩阵和平移矩阵。

(1.2)、通过公式(7)及前面的相机内外参数得到重投影矩阵Q：

$Q=\left(\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& 1/T_x& 0\end{array}\right)---\left(7\right)$

其中，T_x是双目相机外参平移向量T的x轴分量，c_x和c_y是左相机光学中心的世界坐标系坐标值，f是左相机的焦距。

所述步骤2)中，将单层皮革图像依据皮革和噪声的RGB值不同完成阈值滤波转换成灰度图像，具体过程如下：

(2.1)、使用高斯函数对图像进行平滑；

(2.2)、采用数学形态学中的闭运算；

(2.3)、采用Canny算子提取单向素的皮革边缘轮廓。

所述步骤2)中，在涂胶平台的四周安装光源，在所述涂胶平台的中心正上方布置双目相机。

本发明的技术构思为：利用视觉与图像技术，通过双目相机采集图像数据并分析处理，将能得到较为精确的皮革特征点并转化成涂胶装置的加工坐标，该方法的优点是非接触式的涂胶，实施难度低，成本低，精确度高，对人体无危害。

单层皮革边缘形状未知，若是经过处理的皮革则边缘较为规则，而未经处理的皮革则边缘较为复杂，在完成边缘检测的同时还需要用改良的基于曲率方法识别边缘轮廓特征点，在涂胶时以特征点点序列为涂胶控制点，以特征点之间的边缘线段为参照确定三轴机械臂的直线或曲线涂胶方式，本发明就是按照上述目的和要求有效的完成了从检测、识别、测量到涂胶的完整单层皮革涂胶方法。

这种以视觉为基础的感知技术融入到传统皮革涂胶过程，将有效的提升其过程的智能化水平和自动化程度，可以避免因涂胶过程产生对工人健康的潜在危害，实现闭环控制流程，既保障了工人的健康又提高了生产效率。

通过固定在涂胶平台中心正上方的双目相机获取待涂胶的单层皮革图像，由于光源的作用提供了较高的图像质量，通过阈值滤波、高斯函数和闭运算对图像进行平滑降噪，得到较为光滑的皮革灰度图像，通过坎尼算子提取得到单像素的皮革边缘轮廓，再通过改进的基于曲率的特征点提取算法提取边缘轮廓特征点并匹配，最后，通过匹配的特征点还原得到其对应涂胶坐标系的坐标值，结合特征点之间边缘轮廓的线段形状完成涂胶过程。

本发明的有益效果主要表现在：1、整个方法包含了对皮革的检测、识别、测量到涂胶的完整流程，有利于涂胶的工业自动化，且不需要工人参与其中；2、基于双目视觉的涂胶方法具有非接触、高精度的优势；3、改进的基于曲率的特征点提取算法能有效的提取特征点，并减少了输入涂胶机械臂加工序列的坐标数，提高涂胶速度。

附图说明

图1是本发明的涂胶设备示意装置图。

图2是本发明的涂胶方法流程图。

图3是左右相机边缘提取结果的示意图，其中，左侧图为左相机的边缘提取结果，右侧图为右相机的边缘提取结果，(1)表示第一种皮革实例样片；(2)表示第二种皮革实例样片；(3)表示第三种皮革实例样片。

图4是左右相机边缘特征提取结果的示意图，其中，黑边框表示特征提取结果，左侧图为左相机的边缘特征提取结果，右侧图为右相机的边缘特征提取结果，(1)表示第一种皮革实例样片；(2)表示第二种皮革实例样片；(3)表示第三种皮革实例样片。

图5是候选特征点的两条切线所形成夹角θ_i+1原理图。

图6是左右特征点匹配结果的示意图，其中，黑色数字表示配对特征点，左侧图为左图特征点匹配结果，右侧图为右图特征点匹配结果，(1)表示第一种皮革实例样片；(2)表示第二种皮革实例样片；(3)表示第三种皮革实例样片。

图7是重建结果符号象限分布的示意图。

图8是重建结果与实际值的误差分析的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图8，一种基于双目视觉的单层皮革涂胶控制方法，该方法采用双目相机和三轴涂胶机械臂，所述单层皮革涂胶控制方法包括以下步骤：

1)、对固定的双目相机进行立体标定；

2)、采集单层皮革双目图像并提取其边缘轮廓；

3)、依据步骤2)的边缘轮廓图像进行特征提取：

单层皮革边缘轮廓由有限对二维坐标点(x_i，y_i)构成的，i＝1，2，L，n表示该轮廓有n对坐标点组成；对于轮廓上任意坐标点对(x_i，y_i)，其曲率计算公式如(1)，计算所有坐标点对的曲率K_i，i＝1，2，L，n表示该轮廓有n对坐标；

$K_i=\frac{\left(\frac{x_{i+1}-x_{i-1}}{2}\right){\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}^2-{\left(\frac{x_{i+1}-x_{i-1}}{2}\right)}^2\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}{\sqrt[3]{{[{\left(\frac{x_{i+1}-x_{i-1}}{2}\right)}^2+{\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}^2]}^2}},i=\mathrm{1,2},L,n---\left(1\right)$

其中，(x_i+1，y_i+1)为该坐标点对(x_i，y_i)的下一个坐标点对，(x_i-1，y_i-1)为该坐标点对(x_i，y_i)的上一个坐标点对。

特征提取按照以下步骤：

(3.1)、以

计算轮廓局部曲率阈值，B为比例系数，选在[1，2]之间；

(3.2)、满足K_i≥T(i)的坐标点会选入候选特征点P_i，i＝1，2，L，s＜n表示共有s个候选特征点；

(3.3)、计算每个候选特征点的两条切线所形成的夹角θ_i+1：以候选特征点的点P_i为起点，P_i+1为终点，起点与终点所在线段的中点P_(i+(i+1))/2，根据公式(2)计算理论圆心同理，以P_i+1为起点，P_i+2为终点，起点与终点所在线段的中点P_{((i+1)+(i+2))/2}，通过公式(2)得其理论圆心

$x_{i+1}^C=\frac{(x_{i+1}^2+y_{i+1}^2)(y_{\frac{i+(i+1)}{2}}-y_i)+(x_{\frac{i+(i+1)}{2}}^2+y_{\frac{i+(i+1)}{2}}^2)(y_i-y_{i+1})+(x_i^2+y_i^2)(y_{i+1}-y_{\frac{i+(i+1)}{2}})}{2[x_{i+1}(y_{\frac{i+(i+1)}{2}}-y_i)+x_{\frac{i+(i+1)}{2}}(y_i-y_{i+1})+x_i(y_{i+1}-y_{\frac{i+(i+1)}{2}})]},---\left(2\right)$

$y_{i+1}^C=\frac{(x_{i+1}^2+y_{i+1}^2)(x_{\frac{i+(i+1)}{2}}-x_i)+(x_{\frac{i+(i+1)}{2}}^2+y_{\frac{i+(i+1)}{2}}^2)(x_i-x_{i+1})+(x_i^2+y_i^2)(x_{i+1}-x_{\frac{i+(i+1)}{2}})}{2[y_{i+1}(x_{\frac{i+(i+1)}{2}}-x_i)+y_{\frac{i+(i+1)}{2}}(x_i-x_{i+1})+y_i(x_{i+1}-x_{\frac{i+(i+1)}{2}})]}$

其中，(x_i+1，y_i+1)为P_i+1坐标，

为

坐标，

为

坐标；

然后以公式(3)计算P_i+1和

连线与P_i+1切线的夹角

及P_i+1和

连线与P_i+1切线的夹角

${\mathrm{\τ}}_{i+1}^L=a\tan \frac{(y_{i+1}^C-y_{i+1})}{(x_{i+1}^C-x_{i+1})}$

${\mathrm{\τ}}_{i+1}^R=a\tan \frac{(y_{i+2}^C-y_{i+1})}{(x_{i+2}^C-x_{i+1})}---\left(3\right)$

其中，θ_i+1即为两个夹角

与

之和；

(3.4)、根据θ_i+1值判断是否是所需特征点并标记特征点之间的线段形状：如果θ_i+1大于170度则认为该特征点所处的局部轮廓曲率变化不明显，不是所需的特征点，特征点之间的线段形状为Straight；否则，该特征点是所需特征点，特征点之间的线段形状为Arc；

4)、根据步骤3)的特征点进行匹配，特征匹配按照以下步骤：

(4.1)、以双目图像中的左图的特征点

为参照，i＝0，1，2，L，m，其中，m＜s，m表示左图有m个特征点；

(4.2)、计算与双目图像中的右图对准行周围2个像素内的所有特征点

的欧式距离，i＝0，1，2，L，k，其中，k＜m，k表示右图m个特征点内有k个特征点在2个像素范围内；

(4.3)、取欧氏距离最小的

作为与之匹配的特征点，从而确定单层皮革边缘轮廓左右图的特征点一一对应关系；

5)、根据式(6)还原步骤4)的特征点所对应涂胶平台系的真实坐标值；

6)、将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中，从而控制机械臂完成涂胶过程。

本实施例中，在涂胶平台的四周装有四个光源，可以消除待涂胶皮革边缘的阴影，提供更加清晰的图像，在平台中心正上方是由两台相机组成的双目视觉采集设备，该设备由USB连线与电脑主机相连，电脑则会完成随后的图像采集和分析及完成单层皮革涂胶功能。

1)、对固定的双目相机进行立体标定并矫正图像。将双目相机固定于涂胶平台的中心正上方，通过拍摄不同姿态的标定物(黑白相间的棋盘格标定板，板上每一棋盘格尺寸均已知)获得用于标定分析的图像。根据(Heikkila，Silven，《A Four-step Camera Calibration Procedurewith Implicit Image Correction》，CVPR97，p：1106-1112)中的线性相机模型公式(4)得到各个相机的内参数(k l u₀ v₀ f θ)和外参数(旋转矩阵R_3×3，平移矩阵t_3×1)。由相机内外参数点乘得到的3×4矩阵M_3×4即为透视投影矩阵。

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{\mathrm{\λ}}\left(\begin{array}{cccc}\frac{f}{k}& -\frac{f}{k}\cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)---\left(4\right)$

其中，k，l是双目相机的像素点大小，u₀，v₀是相机的光轴中心的坐标值，f是相机焦距，θ是相机坐标系的偏斜度(一般为90°)，R_3×3是相机的旋转矩阵，t_3×1则是相机的平移矩阵，(u v 1)^T是图像中的任一点，(X_W Y_W Z_W 1)^T则是图像中任一点所对应的涂胶坐标系坐标。根据式(4)计算得到左右相机的M_3×4矩阵如下所示：

$M_{3\×4}=\left(\begin{array}{cccc}840.95380999999998& 0& 394.97588729858398& 0\\ 0& 840.95380999999998& 243.11664962768555& 0\\ 0& 0& 1& 0\end{array}\right)$

(1.1)、通过双目相机的外参数，以公式(5)得到右相机相对于左相机的旋转和平移向量，并矫正左右图像使之行对准。

R＝R_r(R_l)T

                         (5)

T＝T_r-RT_l

其中，R_l，R_r是左右相机的旋转矩阵，T_l，T_r是左右相机的平移矩阵，R，T是右相机相对于左相机的旋转矩阵和平移矩阵。根据式(5)得到的结果如下所示：

$R=\left(\begin{array}{ccc}0.9995178471005625& 0.0215390900270048& -0.0223638308047886\\ -0.0220500783453662& 0.9994954940280076& -0.0228593845646005\\ 0.0218601777764921& 0.0233414870674015& 0.9994885230001706\end{array}\right)$

T＝(-110892622920883670.06314981629290070.0921180076963402)

(1.2)、通过公式(6)及前面的相机内外参数得到重投影矩阵Q：

$Q=\left(\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& 1/T_x& 0\end{array}\right)---\left(6\right)$

其中，

是双目相机外参平移向量T的x轴分量，c_x和c_y是左相机光学中心的世界坐标系坐标值，f是左相机的焦距。根据式(6)得到的结果如下所示：

$Q=\left(\begin{array}{cccc}1& 0& 0& -394.97588729858398\\ 0& 1& 0& -243.11664962768555\\ 0& 0& 0& 840.95380999999998\\ 0& 0& 0.9022405163464954& 0\end{array}\right)$

2)、采集单层皮革双目图像并提取其边缘轮廓。轮廓提取结果如附图3所示

(2.1)、由于涂胶平台的光源作用，本发明将单层皮革图像依据皮革和噪声的RGB值不同完成阈值滤波。阈值滤波即是在[0，1，2，L，255]区间内选取合适的灰度值，大于该灰度值的像素点会保留；

(2.2)、本发明使用高斯函数对图像进行平滑，以此减少可能存在的噪声对皮革边缘的影响。本发明选取3×3的高斯核函数(G.Bradski，A.Kaebler，《Learning OpenCV》，2008，110)对经过阈值滤波的灰度图平滑处理；

(2.3)、本发明采用数学形态学中的闭运算保证在提取尽可能完整边缘的同时保留边缘的不规则性(参考文献：G.Bradski，A.Kaebler，《Learning OpenCV》，2008，120-121)。闭运算中的结构元素为3×3的矩形结构按照先膨胀后腐蚀的顺序对平滑的图像进行一次迭代运算，使图像更为光滑；

(2.4)、本发明采用的是基于坎尼(Canny)算子(Fleck，《Somedefects in finite-difference edge finders》，IEEE PAMI，1992，14(3)：337-345)对单层皮革图像边缘轮廓进行单像素提取，其中，坎尼算子的低阈值与高阈值选为[0.3 0.35]。

3)、依据步骤2)的边缘轮廓图像进行特征提取。单层皮革边缘轮廓实际上就是由有限对二维坐标点(x_i y_i)构成的，本发明采用改良的基于轮廓坐标对之间曲率的方式(X.C.He，《Curvature Scale SpaceCorner Detector with Adaptive Threshold and Dynamic Region ofSupport》，ICPR，2004，vo1.2：791-794)来提取轮廓的特征点。对于轮廓上任意坐标点对(x_i，y_i)，i＝1，2，L，n表示该轮廓有n对坐标点组成，其曲率计算公式如(1)。特征点提取结果如附图4所示，黑边框点表示特征点。

$K_i=\frac{\left(\frac{x_{i+1}-x_{i-1}}{2}\right){\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}^2-{\left(\frac{x_{i+1}-x_{i-1}}{2}\right)}^2\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}{\sqrt[3]{{[{\left(\frac{x_{i+1}-x_{i-1}}{2}\right)}^2+{\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}^2]}^2}},i=\mathrm{1,2},L,n---\left(1\right)$

(3.1)、以

计算轮廓局部曲率阈值，B为比例系数，选在[1，2]之间较为合理，本发明中选为1.5；

(3.2)、满足K_i≥T(i)的坐标点会选入候选特征点P_i，i＝1，2，L，s＜n表示共有s个候选特征点；

(3.3)、计算每个候选特征点的两条切线所形成的夹角θ_i+1：以候选特征点的点P_i为起点，P_i+1为终点，起点与终点所在线段的中点P_(i+(i+1)/2，根据公式(2)计算理论圆心同理，以P_i+1为起点，P_i+2为终点，起点与终点所在线段的中点P_{((i+1)+(i+22))/2}，通过公式(2)得其理论圆心

$x_{i+1}^C=\frac{(x_{i+1}^2+y_{i+1}^2)(y_{\frac{i+(i+1)}{2}}-y_i)+(x_{\frac{i+(i+1)}{2}}^2+y_{\frac{i+(i+1)}{2}}^2)(y_i-y_{i+1})+(x_i^2+y_i^2)(y_{i+1}-y_{\frac{i+(i+1)}{2}})}{2[x_{i+1}(y_{\frac{i+(i+1)}{2}}-y_i)+x_{\frac{i+(i+1)}{2}}(y_i-y_{i+1})+x_i(y_{i+1}-y_{\frac{i+(i+1)}{2}})]},---\left(2\right)$

$y_{i+1}^C=\frac{(x_{i+1}^2+y_{i+1}^2)(x_{\frac{i+(i+1)}{2}}-x_i)+(x_{\frac{i+(i+1)}{2}}^2+y_{\frac{i+(i+1)}{2}}^2)(x_i-x_{i+1})+(x_i^2+y_i^2)(x_{i+1}-x_{\frac{i+(i+1)}{2}})}{2[y_{i+1}(x_{\frac{i+(i+1)}{2}}-x_i)+y_{\frac{i+(i+1)}{2}}(x_i-x_{i+1})+y_i(x_{i+1}-x_{\frac{i+(i+1)}{2}})]}$

其中，(x_i+1，y_i+1)为P_i+1坐标，

为坐标，

为

坐标；

然后以公式(3)计算P_i+1和连线与P_i+1切线的夹角

及P_i+1和

连线与P_I+1切线的夹角

${\mathrm{\τ}}_{i+1}^L=a\tan \frac{(y_{i+1}^C-y_{i+1})}{(x_{i+1}^C-x_{i+1})}$

${\mathrm{\τ}}_{i+1}^R=a\tan \frac{(y_{i+2}^C-y_{i+1})}{(x_{i+2}^C-x_{i+1})}---\left(3\right)$

其中，θ_i+1即为两个夹角与

之和；

(3.4)、根据θ_i+1值判断是否是所需特征点并标记特征点之间的线段形状：如果θ_i+1大于170度则可认为该特征点所处的局部轮廓曲率变化不明显，不是所需的特征点，特征点之间的线段形状为Straight；否则，该特征点是所需特征点，特征点之间的线段形状为Arc。

4)、根据步骤3)的特征点进行匹配。左右图特征匹配结果如附图6所示，黑边框点表示特征点。

(4.1)、以左图的特征点

为参照(i＝0，1，2，L，m＜s表示左图有m个特征点)；

(4.2)、计算与其右图对准行周围2个像素内的所有特征点

的欧式距离(i＝0，1，2，L，k，k＜m表示右图m个特征点内有k个特征点在2个像素范围内)；

(4.3)、取欧氏距离最小的

作为与之匹配的特征点，从而确定单层皮革边缘轮廓左右图的特征点一一对应关系。欧氏距离计算公式如公式(8)所示(参考文献：杨淑莹，《模式识别与智能计算——Matlab技术实现》，2008：54)。

${\mathrm{Euclidean}}_i=\sqrt{{(x_L^i-x_R^i)}^2+{(y_L^i-y_R^i)}^2}---\left(8\right)$

其中，Euclidean_i表示

与

的最小欧式距离，

为

的坐标值，

为

的坐标值。

5)、根据式(6)还原步骤4)的特征点所对应涂胶平台系的真实坐标值。对于每一个特征点，由步骤4)得到该特征点在单层皮革左右图中的图像系坐标值以及式(6)重投影矩阵，还原得到其对应涂胶平台系的真实坐标值，本发明中的涂胶平台坐标系即是三轴涂胶机械臂的运动坐标系。根据附图6中(1)-(3)所示的黑色数字标记特征点，还原得到的真实坐标值，其中左图、右图为特征点的像素坐标值，重建结果即为真实坐标值：

图1	左图	右图	重建结果(cm)
				1	(149，187)	(94，185)	(16.85，3.62，50.84)
2	(170，262)	(115，259)	(15.41，-1.22，50.84)
				3	(227，303)	(178，301)	(12.92，-4.33，57.07)
4	(225，316)	(178，312)	(13.63，-5.5，59.49)
				5	(502，364)	(448，361)	(-7.47，-7.94，51.78)
6	(511，357)	(454，355)	(-7.67，-7.09，49.05)
				7	(526，355)	(469，353)	(-8.66，-6.96，49.05)
8	(555，267)	(496，267)	(-10.22，-1.44，47.39)
				9	(283，170)	(227，167)	(7.54，4.63，49.93)
10	(559，186)	(501，185)	(-10.66，3.49，48.21)
				11	(540，93)	(484，92)	(-9.76，9.51，49.93)
12	(527，91)	(471，91)	(-8.88，9.63，49.93)

13	(519，79)	(464，79)	(-8.5，10.58，50.84)
				14	(251，87)	(197，87)	(9.86，10.07，50.84)
15	(243，101)	(185，100)	(9.87，8.69，48.21)
				16	(184，126)	(128，125)	(14.2，7.42，49.93)

图2	左图	右图	重建结果(cm)
				1	(167，223)	(110，223)	(15.07，1.25，49.06)
2	(176，252)	(117，251)	(13.99，-0.53，47.39)
				3	(507，347)	(448，347)	(-7.16，-6.24，47.39)
4	(508，258)	(448，258)	(-7.1，-0.88，46.6)
				5	(287，250)	(229，242)	(7.02，-0.42，48.21)
6	(292，176)	(238，173)	(7.19，4.41，51.78)
				7	(326，162)	(259，162)	(3.88，4.29，41.73)
8	(514，188)	(454，187)	(-7.48，3.06，46.6)
				9	(521，99)	(459，99)	(-7.66，8.34，45.1)
10	(168，201)	(111，200)	(15.01，2.62，49.06)
				11	(197，213)	(141，212)	(13.32，1.91，49.93)

图3	左图	右图	重建结果(cm)
				1	(86，252)	(30，249)	(20.79，-0.56，49.93)
2	(197，349)	(141，346)	(13.32，-6.71，49.93)
				3	(248，336)	(187，334)	(9.08，-5.4，45.84)
4	(536，423)	(479，420)	(-9.32，-11.19，49.06)
				5	(602，161)	(548，159)	(-14.45，5.39，51.78)
6	(249，129)	(194，126)	(10.00，7.36，50.84)
				7	(201，170)	(147，166)	(13.54，4.8，51.78)
8	(178，175)	(131，172)	(17.4，5.14，59.49)
				9	(117，167)	(62，164)	(19.05，4.91，50.84)

上述重建结果中，根据式(6)的矩阵Q值，可以发现左相机的光轴中心所对应的像素坐标值为(394，243)，再结合矩阵Q的定义推出如附图7所示的符号象限分布。(+，+)意味着x方向坐标值小于394的像素点重建后符号为+，y方向坐标值小于243的像素点重建后符号为+；(+，-)意味着x方向坐标值小于394的像素点重建后符号为+，y方向坐标值大于243的像素点重建后符号为-；(-，-)意味着x方向坐标值大于394的像素点重建后符号为-，y方向坐标值大于243的像素点重建后符号为-；(-，+)意味着x方向坐标值大于394的像素点重建后符号为-，y方向坐标值小于243的像素点重建后符号为+。

附图8是根据附图6的匹配结果及重建结果后得到的误差分析图，其中，在图1的重建结果中，点4与点14之间的垂直距离为15.57，实际距离为16，误差2.7％，点5与点13之间的垂直距离为18.52，实际距离为18.8，误差1.5％，点11与点7之间的垂直距离为16.47，实际距离为17，误差3.2％，点10与点8之间的垂直距离为4.93，实际距离5.1，误差3.4％；在图2的重建结果中，点3与点4之间的垂直距离为5.36，实际距离为5.4，误差0.7％，点8与点9之间的垂直距离为5.28，实际距离为5.4，误差2.2％，点10与点11之间的距离为1.83，实际距离为1.88，误差2.7％，点11与点1之间的距离1.86，实际距离为1.88，误差1.1％；在图3的重建结果中，点1与点2之间的距离为9.69，实际距离为10，误差3.2％，点4与点5之间的距离为17.36，实际距离为17.9，误差3.1％，点9与点1之间的距离为5.74，实际距离为5.9，误差2.8％；所有坐标值中的第三个坐标为z轴值，即该特征点与左相机光轴中心的距离，本文中该值为48cm，误差3％左右，故本方法可行。

6)、将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中，从而控制机械臂完成涂胶过程。由于涂胶平台坐标系又正是涂胶机械臂的坐标系，因此控制卡会将该单层皮革边缘轮廓的每一个特征点的坐标值转换成加工序列，在特征点与点按照步骤2的线段形状和公式(7)来进行涂胶。

$L(P_i,P_{i+1})=\left\{\begin{array}{c}\mathrm{Straigt}\\ \mathrm{Arc}\end{array}\right.,i=\mathrm{0,1,2},\mathrm{Lm}-1---\left(7\right)$

L(P_i，P_i+1)表示第P_i和第P_i+1个特征点之间的单层皮革边缘线段形状，Straight表示线段，涂胶时按照直线插补方式进行涂胶，Arc表示弧线段，涂胶时按照曲线插补方式进行涂胶，i＝0，1，2，L m-1表示有m个边缘轮廓特征点。

Claims (5)

1.一种基于双目视觉的单层皮革涂胶控制方法，其特征在于：该方法采用双目相机和三轴涂胶机械臂，所述单层皮革涂胶控制方法包括以下步骤：

1）、对固定的双目相机进行立体标定；

2）、采集单层皮革双目图像并提取其边缘轮廓；

3）、依据步骤2）的边缘轮廓图像进行特征提取：

单层皮革边缘轮廓由有限对二维坐标点(x_i,y_i)构成，i=1,2,…,n，表示该轮廓由n对坐标点组成；对于轮廓上任意坐标点对(x_i,y_i)，其曲率计算公式如（1），计算所有坐标点对的曲率K_i，i=1,2,…,n，表示该轮廓有n对坐标；

$K_i=\frac{\left(\frac{x_{i+1}-x_{i-1}}{2}\right){\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}^2-{\left(\frac{x_{i+1}-x_{i-1}}{2}\right)}^2\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}{\sqrt[3]{{[{\left(\frac{x_{i+1}-x_{i-1}}{2}\right)}^2+{\left(\frac{y_{i+1}-y_{i-1}}{2}\right)}^2]}^2}},i=\mathrm{1,2},\·\·\·,n---\left(1\right)$

其中，(x_i+1,y_i+1)为该坐标点对(x_i,y_i)的下一个坐标点对，(x_i-1,y_i-1)为该坐标点对(x_i,y_i)的上一个坐标点对；

特征提取按照以下步骤：

（3.1）、以

计算轮廓局部曲率阈值，B为比例系数，选在[1,2]之间；

（3.2）、满足K_i≥T(i)的坐标点会选入候选特征点P_i,i=1,2,…s,s<n表示共有s个候选特征点；

（3.3）、计算每个候选特征点的两条切线所形成的夹角θ_i+1：以候选特征点的点P_i为起点，P_i+1为终点，起点与终点所在线段的中点为P_(i+(i+1))/2，根据下述公式（2）计算理论圆心同理，以P_i+1为起点，P_i+2为终点，起点与终点所在线段的中点P_{((i+1)+(i+2))/2}，通过下述公式（2）得其理论圆心

$\begin{array}{c}{x}_{i+1}^C=\frac{(x_{i+1}^2+y_{i+1}^2)(y_{\frac{i+(i+1)}{2}}-y_i)+(x_{\frac{i+(i+1)}{2}}^2+y_{\frac{i+(i+1)}{2}}^2)(y_i-y_{i+1})+(x_i^2+y_i^2)(y_{i+1}-y_{\frac{i+(i+1)}{2}})}{2[x_{i+1}(y_{\frac{i+(i+1)}{2}}-y_i)+x_{\frac{i+(i+1)}{2}}(y_i-y_{i+1})+x_i(y_{i+1}-y_{\frac{i+(i+1)}{2}})]}\\ y_{i+1}^C=\frac{(x_{i+1}^2+y_{i+1}^2)(x_{\frac{i+(i+1)}{2}}-x_i)+(x_{\frac{i+(i+1)}{2}}^2+y_{\frac{i+(i+1)}{2}}^2)(x_i-x_{i+1})+(x_i^2+y_i^2)(x_{i+1}-x_{\frac{i+(i+1)}{2}})}{2[y_{i+1}(x_{\frac{i+(i+1)}{2}}-x_i)+y_{\frac{i+(i+1)}{2}}(x_i-x_{i+1})+y_i(x_{i+1}-x_{\frac{i+(i+1)}{2}})]}\end{array}---\left(2\right)$

其中，(x_i+1,y_i+1)为P_i+1坐标，(

)为

坐标，(

)为

坐标；

然后以公式（3）计算P_i+1和

连线与P_i+1切线的夹角

及P_i+1和

连线与P_i+1切线的夹角

${\mathrm{\&tau;}}_{i+1}^L=a\tan \frac{(y_{i+1}^C-y_{i+1})}{(x_{i+1}^C-x_{i+1})}$

${\mathrm{\&tau;}}_{i+1}^R=a\tan \frac{(y_{i+2}^C-y_{i+1})}{(x_{i+2}^C-x_{i+1})}---\left(3\right)$

其中，θ_i+1即为两个夹角

与

之和；

（3.4）、根据θ_i+1值判断是否是所需特征点并标记特征点之间的线段形状：如果θ_i+1大于170度则认为该特征点所处的局部轮廓曲率变化不明显，不是所需的特征点，特征点之间的线段形状为线段；否则，该特征点是所需特征点，特征点之间的线段形状为弧线段；

4）、根据步骤3）的特征点进行匹配，特征匹配按照以下步骤：

（4.1）、以双目图像中的左图的特征点

为参照，i=0,1,2,…,m，其中，m<s，m表示左图有m个特征点；

（4.2）、计算与双目图像中的右图对准行周围2个像素内的所有特征点

的欧式距离，i=0,1,2,…,k，其中，k<m，k表示右图m个特征点内有k个特征点在2个像素范围内；

（4.3）、取欧氏距离最小的

作为与之匹配的特征点，从而确定单层皮革边缘轮廓左右图的特征点一一对应关系；

5）、根据重投影矩阵还原步骤4）的特征点所对应涂胶平台系的真实坐标值；

6）、将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中，从而控制机械臂完成涂胶过程。

2.如权利要求1所述的一种基于双目视觉的单层皮革涂胶控制方法，其特征在于：所述步骤6）中，将特征点之间按照步骤3）的线段形状和公式(4)来进行涂胶控制；

$L(P_i,P_{i+1})=\left\{\begin{array}{c}\mathrm{Straigt}\\ \mathrm{Arc}\end{array}\right.,i=\mathrm{0,1,2},\&CenterDot;\&CenterDot;\&CenterDot;m-1---\left(4\right)$

其中，L(P_i,P_i+1)表示第P_i和第P_i+1个特征点之间的单层皮革边缘线段形状，Straight表示线段，涂胶时按照直线插补方式进行涂胶，Arc表示弧线段，涂胶时按照曲线插补方式进行涂胶，i=0,1,2,…m-1，表示有m个边缘轮廓特征点。

3.如权利要求1或2所述的一种基于双目视觉的单层皮革涂胶控制方法，其特征在于：所述步骤1）中，拍摄不同姿态的标定物获得用于标定分析的图像，根据线性相机模型的公式（5）得到各个相机的内参数k、1、u₀、v₀、f、θ和外参数，由相机内外参数点乘得到的3×4矩阵M_3×4即为透视投影矩阵；

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{\mathrm{\&lambda;}}\left(\begin{array}{cccc}\frac{f}{k}& -\frac{f}{k}\cot \mathrm{\&theta;}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\&theta;}}& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{R}_{3\&times;3}& t_{3\&times;1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)=M_{3\&times;4}\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)---\left(5\right)$

其中，k，l是双目相机的像素点大小，u₀，v₀是相机的光轴中心的坐标值，f是相机焦距，θ是相机坐标系的偏斜度，R_3×3是相机的旋转矩阵，t_3×1则是相机的平移矩阵，(u v 1)^Τ是图像中的任一点，(X_W Y_W Z_W 1)^Τ则是图像中任一点所对应的涂胶坐标系坐标；

图像矫正的过程如下：

（1.1）、通过公式（6）及左右相机的内外参数得到右相机相对于左相机的旋转和平移矩阵，并矫正左右图像使之行对准；

R=R_r(R_l)T （6）

T=T_r-RT_l

其中，R_l，R_r是左右相机的旋转矩阵，T_l，T_r是左右相机的平移矩阵，R，T是右相机相对于左相机的旋转矩阵和平移矩阵。

（1.2）、通过公式（7）及前面的相机内外参数得到重投影矩阵Q：

$Q=\left(\begin{array}{cccc}1& 0& 0& {-c}_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& 1/T_x& 0\end{array}\right)---\left(7\right)$

其中，T_x是双目相机外参平移向量T的x轴分量，c_x和c_y是左相机光学中心的世界坐标系坐标值，f是左相机的焦距。

4.如权利要求1或2所述的一种基于双目视觉的单层皮革涂胶控制方法，其特征在于：所述步骤2）中，将单层皮革双目图像依据皮革和噪声的RGB值不同完成阈值滤波转换成灰度图像，具体过程如下：

（2.1）、使用高斯函数对图像进行平滑处理；

（2.2）、采用数学形态学中的闭运算；

（2.3）、采用Canny算子提取单向素的皮革边缘轮廓。

5.如权利要求1或2所述的一种基于双目视觉的单层皮革涂胶控制方法，其特征在于：所述步骤2）中，在涂胶平台的四周安装光源，在所述涂胶平台的中心正上方布置双目相机。

Images