CN102107179B - 一种基于双目视觉的单层皮革涂胶控制方法 - Google Patents
一种基于双目视觉的单层皮革涂胶控制方法 Download PDFInfo
- Publication number
- CN102107179B CN102107179B CN 201010587709 CN201010587709A CN102107179B CN 102107179 B CN102107179 B CN 102107179B CN 201010587709 CN201010587709 CN 201010587709 CN 201010587709 A CN201010587709 A CN 201010587709A CN 102107179 B CN102107179 B CN 102107179B
- Authority
- CN
- China
- Prior art keywords
- gluing
- camera
- point
- characteristic point
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004026 adhesive bonding Methods 0.000 title claims abstract description 98
- 239000010985 leather Substances 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000002356 single layer Substances 0.000 title abstract 4
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 239000007787 solid Substances 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 230000036541 health Effects 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 239000003292 glue Substances 0.000 description 7
- 230000007480 spreading Effects 0.000 description 7
- 238000003892 spreading Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002341 toxic gas Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
一种基于双目视觉的单层皮革涂胶控制方法,该方法采用双目相机和三轴涂胶机械臂,包括以下步骤:1)对固定的双目相机进行立体标定;2)采集单层皮革双目图像并提取其边缘轮廓;3)依据步骤2)的边缘轮廓图像进行特征提取;4)根据步骤3)的特征点进行匹配;5)根据式重投影矩阵值还原步骤4)的特征点所对应涂胶平台系的真实坐标值;6)将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中,从而控制机械臂完成涂胶过程。本发明提升工作效率、便于集成到流水线加工、精度高、避免危害工人健康。
Description
技术领域
本发明涉及皮革涂胶方法领域,涉及一种基于双目视觉的单层皮革涂胶方法,尤其是一种基于双目视觉的包含检测、识别、测量到涂胶完整流程的单层皮革涂胶控制方法。
背景技术
我国目前实际生产中皮革涂胶主要由手工完成,手工涂胶的不均匀以及涂料散发的有毒气体都是皮革涂胶的主要问题。手工涂胶的不均匀造成皮革后期缝合的困难,会影响到皮革生产的效率,而且因为涂胶过程所散发的有毒气体又会极大影响工人的健康,因此采用机械化的涂胶手段不仅能提高皮革生产的效率和工艺水平,也能有效保护工人的健康。
现有的图像处理技术与双目视觉技术中,大部分功能不够全面,在单层皮革涂胶方面还没有一套从检测、识别、测量到涂胶的完整方法,如申请号为200810232122.8的发明,利用已知几何面积的标定物求得相机的像素当量会受计算精度影响,求得的皮革面积未必适合于进一步的工业应用,显然求出皮革的边缘以及加工的特征点更适合工业应用。申请号为200710190470.9的发明,利用视觉技术来识别汽车挡风玻璃的类别并根据已有参数涂胶,只是简单的利用了视觉识别技术,对于未采样的挡风玻璃需要进行采样并输入特征数据库的步骤,较为繁琐,同时汽车挡风玻璃的形状较为简单。申请号为200710123727.9的发明,在三轴伺服运动控制器的驱动下按照三维或二维点序列进行涂胶,但是众多的三维点或者二维点会影响涂胶的效率,对于同一直线的二维点应取其起点与终点从而减少点的数量。
发明内容
为了克服已有的纯手工皮革涂胶方法的工作效率低、不利于集成到流水线加工、精度低、危害工人健康的不足,本发明提供一种提升工作效率、便于集成到流水线加工、精度高、避免危害工人健康的基于双目视觉的单层皮革涂胶控制方法。
本发明解决其技术问题所采用的技术方案是:
一种基于双目视觉的单层皮革涂胶控制方法,该方法采用双目相机和三轴涂胶机械臂,所述单层皮革涂胶控制方法包括以下步骤:
1)、对固定的双目相机进行立体标定;
2)、采集单层皮革双目图像并提取其边缘轮廓;
3)、依据步骤2)的边缘轮廓图像进行特征提取:
单层皮革边缘轮廓由有限对二维坐标点(xi,yi)构成的,i=1,2,L,n表示该轮廓有n对坐标点组成;对于轮廓上任意坐标点对(xiyi),其曲率计算公式如(1),计算所有坐标点对的曲率Ki,i=1,2,L,n表示该轮廓有n对坐标;
其中,(xi+1,yi+1)为该坐标点对(xi,yi)的下一个坐标点对,(xi-1,yi-1)为该坐标点对(xi,yi)的上一个坐标点对。
特征提取按照以下步骤:
(3.2)、满足Ki≥T(i)的坐标点会选入候选特征点Pi,i=1,2,L,s<n表示共有s个候选特征点;
(3.3)、计算每个候选特征点的两条切线所形成的夹角θi+1:以候选特征点的点Pi为起点,Pi+1为终点,起点与终点所在线段的中点P(i+(i+1))/2,根据公式(2)计算理论圆心同理,以Pi+1为起点,Pi+2为终点,起点与终点所在线段的中点P((i+1)+(i+2))/2,通过公式(2)得其理论圆心
(3.4)、根据θi+1值判断是否是所需特征点并标记特征点之间的线段形状:如果θi+1大于170度则认为该特征点所处的局部轮廓曲率变化不明显,不是所需的特征点,特征点之间的线段形状为Straight;否则,该特征点是所需特征点,特征点之间的线段形状为Arc;
4)、根据步骤3)的特征点进行匹配,特征匹配按照以下步骤:
(4.1)、以双目图像中的左图的特征点为参照,i=0,1,2,L,m,其中,m<s,m表示左图有m个特征点;
(4.3)、取欧氏距离最小的作为与之匹配的特征点,从而确定单层皮革边缘轮廓左右图的特征点一一对应关系;
5)、根据式(7)还原步骤4)的特征点所对应涂胶平台系的真实坐标值;
6)、将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中,从而控制机械臂完成涂胶过程。
进一步,所述步骤6)中,将特征点之间按照步骤3)的线段形状和公式(4)来进行涂胶控制;
其中,L(Pi,Pi+1)表示第Pi和第Pi+1个特征点之间的单层皮革边缘线段形状,Straight表示线段,涂胶时按照直线插补方式进行涂胶,Arc表示弧线段,涂胶时按照曲线插补方式进行涂胶,i=0,1,2,L m-1表示有m个边缘轮廓特征点。
再进一步,所述步骤1)中,拍摄不同姿态的标定物获得用于标定分析的图像,根据线性相机模型(5)得到各个相机的内参数(k l u0 v0 f θ)和外参数,由相机内外参数点乘得到的3×4矩阵M3×4即为透视投影矩阵;
其中,k,l是双目相机的像素点大小,u0,v0是相机的光轴中心的坐标值,f是相机焦距,θ是相机坐标系的偏斜度(一般为90°),R3×3是相机的旋转矩阵,t3×1则是相机的平移矩阵,(u v 1)T是图像中的任一点,(XW YW ZW 1)T则是图像中任一点所对应的涂胶坐标系坐标;
图像矫正的过程如下:
(1.1)、通过公式(6)及左右相机的内外参数得到右相机相对于左相机的旋转和平移矩阵,并矫正左右图像使之行对准;
R=Rr(Rl)T
(6)
T=Tr-RTl
其中,Rl,Rr是左右相机的旋转矩阵,Tl,Tr是左右相机的平移矩阵,R,T是右相机相对于左相机的旋转矩阵和平移矩阵。
(1.2)、通过公式(7)及前面的相机内外参数得到重投影矩阵Q:
其中,Tx是双目相机外参平移向量T的x轴分量,cx和cy是左相机光学中心的世界坐标系坐标值,f是左相机的焦距。
所述步骤2)中,将单层皮革图像依据皮革和噪声的RGB值不同完成阈值滤波转换成灰度图像,具体过程如下:
(2.1)、使用高斯函数对图像进行平滑;
(2.2)、采用数学形态学中的闭运算;
(2.3)、采用Canny算子提取单向素的皮革边缘轮廓。
所述步骤2)中,在涂胶平台的四周安装光源,在所述涂胶平台的中心正上方布置双目相机。
本发明的技术构思为:利用视觉与图像技术,通过双目相机采集图像数据并分析处理,将能得到较为精确的皮革特征点并转化成涂胶装置的加工坐标,该方法的优点是非接触式的涂胶,实施难度低,成本低,精确度高,对人体无危害。
单层皮革边缘形状未知,若是经过处理的皮革则边缘较为规则,而未经处理的皮革则边缘较为复杂,在完成边缘检测的同时还需要用改良的基于曲率方法识别边缘轮廓特征点,在涂胶时以特征点点序列为涂胶控制点,以特征点之间的边缘线段为参照确定三轴机械臂的直线或曲线涂胶方式,本发明就是按照上述目的和要求有效的完成了从检测、识别、测量到涂胶的完整单层皮革涂胶方法。
这种以视觉为基础的感知技术融入到传统皮革涂胶过程,将有效的提升其过程的智能化水平和自动化程度,可以避免因涂胶过程产生对工人健康的潜在危害,实现闭环控制流程,既保障了工人的健康又提高了生产效率。
通过固定在涂胶平台中心正上方的双目相机获取待涂胶的单层皮革图像,由于光源的作用提供了较高的图像质量,通过阈值滤波、高斯函数和闭运算对图像进行平滑降噪,得到较为光滑的皮革灰度图像,通过坎尼算子提取得到单像素的皮革边缘轮廓,再通过改进的基于曲率的特征点提取算法提取边缘轮廓特征点并匹配,最后,通过匹配的特征点还原得到其对应涂胶坐标系的坐标值,结合特征点之间边缘轮廓的线段形状完成涂胶过程。
本发明的有益效果主要表现在:1、整个方法包含了对皮革的检测、识别、测量到涂胶的完整流程,有利于涂胶的工业自动化,且不需要工人参与其中;2、基于双目视觉的涂胶方法具有非接触、高精度的优势;3、改进的基于曲率的特征点提取算法能有效的提取特征点,并减少了输入涂胶机械臂加工序列的坐标数,提高涂胶速度。
附图说明
图1是本发明的涂胶设备示意装置图。
图2是本发明的涂胶方法流程图。
图3是左右相机边缘提取结果的示意图,其中,左侧图为左相机的边缘提取结果,右侧图为右相机的边缘提取结果,(1)表示第一种皮革实例样片;(2)表示第二种皮革实例样片;(3)表示第三种皮革实例样片。
图4是左右相机边缘特征提取结果的示意图,其中,黑边框表示特征提取结果,左侧图为左相机的边缘特征提取结果,右侧图为右相机的边缘特征提取结果,(1)表示第一种皮革实例样片;(2)表示第二种皮革实例样片;(3)表示第三种皮革实例样片。
图5是候选特征点的两条切线所形成夹角θi+1原理图。
图6是左右特征点匹配结果的示意图,其中,黑色数字表示配对特征点,左侧图为左图特征点匹配结果,右侧图为右图特征点匹配结果,(1)表示第一种皮革实例样片;(2)表示第二种皮革实例样片;(3)表示第三种皮革实例样片。
图7是重建结果符号象限分布的示意图。
图8是重建结果与实际值的误差分析的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图8,一种基于双目视觉的单层皮革涂胶控制方法,该方法采用双目相机和三轴涂胶机械臂,所述单层皮革涂胶控制方法包括以下步骤:
1)、对固定的双目相机进行立体标定;
2)、采集单层皮革双目图像并提取其边缘轮廓;
3)、依据步骤2)的边缘轮廓图像进行特征提取:
单层皮革边缘轮廓由有限对二维坐标点(xi,yi)构成的,i=1,2,L,n表示该轮廓有n对坐标点组成;对于轮廓上任意坐标点对(xi,yi),其曲率计算公式如(1),计算所有坐标点对的曲率Ki,i=1,2,L,n表示该轮廓有n对坐标;
其中,(xi+1,yi+1)为该坐标点对(xi,yi)的下一个坐标点对,(xi-1,yi-1)为该坐标点对(xi,yi)的上一个坐标点对。
特征提取按照以下步骤:
(3.2)、满足Ki≥T(i)的坐标点会选入候选特征点Pi,i=1,2,L,s<n表示共有s个候选特征点;
(3.3)、计算每个候选特征点的两条切线所形成的夹角θi+1:以候选特征点的点Pi为起点,Pi+1为终点,起点与终点所在线段的中点P(i+(i+1))/2,根据公式(2)计算理论圆心同理,以Pi+1为起点,Pi+2为终点,起点与终点所在线段的中点P((i+1)+(i+2))/2,通过公式(2)得其理论圆心
(3.4)、根据θi+1值判断是否是所需特征点并标记特征点之间的线段形状:如果θi+1大于170度则认为该特征点所处的局部轮廓曲率变化不明显,不是所需的特征点,特征点之间的线段形状为Straight;否则,该特征点是所需特征点,特征点之间的线段形状为Arc;
4)、根据步骤3)的特征点进行匹配,特征匹配按照以下步骤:
5)、根据式(6)还原步骤4)的特征点所对应涂胶平台系的真实坐标值;
6)、将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中,从而控制机械臂完成涂胶过程。
本实施例中,在涂胶平台的四周装有四个光源,可以消除待涂胶皮革边缘的阴影,提供更加清晰的图像,在平台中心正上方是由两台相机组成的双目视觉采集设备,该设备由USB连线与电脑主机相连,电脑则会完成随后的图像采集和分析及完成单层皮革涂胶功能。
1)、对固定的双目相机进行立体标定并矫正图像。将双目相机固定于涂胶平台的中心正上方,通过拍摄不同姿态的标定物(黑白相间的棋盘格标定板,板上每一棋盘格尺寸均已知)获得用于标定分析的图像。根据(Heikkila,Silven,《A Four-step Camera Calibration Procedurewith Implicit Image Correction》,CVPR97,p:1106-1112)中的线性相机模型公式(4)得到各个相机的内参数(k l u0 v0 f θ)和外参数(旋转矩阵R3×3,平移矩阵t3×1)。由相机内外参数点乘得到的3×4矩阵M3×4即为透视投影矩阵。
其中,k,l是双目相机的像素点大小,u0,v0是相机的光轴中心的坐标值,f是相机焦距,θ是相机坐标系的偏斜度(一般为90°),R3×3是相机的旋转矩阵,t3×1则是相机的平移矩阵,(u v 1)T是图像中的任一点,(XW YW ZW 1)T则是图像中任一点所对应的涂胶坐标系坐标。根据式(4)计算得到左右相机的M3×4矩阵如下所示:
(1.1)、通过双目相机的外参数,以公式(5)得到右相机相对于左相机的旋转和平移向量,并矫正左右图像使之行对准。
R=Rr(Rl)T
(5)
T=Tr-RTl
其中,Rl,Rr是左右相机的旋转矩阵,Tl,Tr是左右相机的平移矩阵,R,T是右相机相对于左相机的旋转矩阵和平移矩阵。根据式(5)得到的结果如下所示:
T=(-110892622920883670.06314981629290070.0921180076963402)
(1.2)、通过公式(6)及前面的相机内外参数得到重投影矩阵Q:
2)、采集单层皮革双目图像并提取其边缘轮廓。轮廓提取结果如附图3所示
(2.1)、由于涂胶平台的光源作用,本发明将单层皮革图像依据皮革和噪声的RGB值不同完成阈值滤波。阈值滤波即是在[0,1,2,L,255]区间内选取合适的灰度值,大于该灰度值的像素点会保留;
(2.2)、本发明使用高斯函数对图像进行平滑,以此减少可能存在的噪声对皮革边缘的影响。本发明选取3×3的高斯核函数(G.Bradski,A.Kaebler,《Learning OpenCV》,2008,110)对经过阈值滤波的灰度图平滑处理;
(2.3)、本发明采用数学形态学中的闭运算保证在提取尽可能完整边缘的同时保留边缘的不规则性(参考文献:G.Bradski,A.Kaebler,《Learning OpenCV》,2008,120-121)。闭运算中的结构元素为3×3的矩形结构按照先膨胀后腐蚀的顺序对平滑的图像进行一次迭代运算,使图像更为光滑;
(2.4)、本发明采用的是基于坎尼(Canny)算子(Fleck,《Somedefects in finite-difference edge finders》,IEEE PAMI,1992,14(3):337-345)对单层皮革图像边缘轮廓进行单像素提取,其中,坎尼算子的低阈值与高阈值选为[0.3 0.35]。
3)、依据步骤2)的边缘轮廓图像进行特征提取。单层皮革边缘轮廓实际上就是由有限对二维坐标点(xi yi)构成的,本发明采用改良的基于轮廓坐标对之间曲率的方式(X.C.He,《Curvature Scale SpaceCorner Detector with Adaptive Threshold and Dynamic Region ofSupport》,ICPR,2004,vo1.2:791-794)来提取轮廓的特征点。对于轮廓上任意坐标点对(xi,yi),i=1,2,L,n表示该轮廓有n对坐标点组成,其曲率计算公式如(1)。特征点提取结果如附图4所示,黑边框点表示特征点。
(3.2)、满足Ki≥T(i)的坐标点会选入候选特征点Pi,i=1,2,L,s<n表示共有s个候选特征点;
(3.3)、计算每个候选特征点的两条切线所形成的夹角θi+1:以候选特征点的点Pi为起点,Pi+1为终点,起点与终点所在线段的中点P(i+(i+1)/2,根据公式(2)计算理论圆心同理,以Pi+1为起点,Pi+2为终点,起点与终点所在线段的中点P((i+1)+(i+22))/2,通过公式(2)得其理论圆心
(3.4)、根据θi+1值判断是否是所需特征点并标记特征点之间的线段形状:如果θi+1大于170度则可认为该特征点所处的局部轮廓曲率变化不明显,不是所需的特征点,特征点之间的线段形状为Straight;否则,该特征点是所需特征点,特征点之间的线段形状为Arc。
4)、根据步骤3)的特征点进行匹配。左右图特征匹配结果如附图6所示,黑边框点表示特征点。
(4.3)、取欧氏距离最小的作为与之匹配的特征点,从而确定单层皮革边缘轮廓左右图的特征点一一对应关系。欧氏距离计算公式如公式(8)所示(参考文献:杨淑莹,《模式识别与智能计算——Matlab技术实现》,2008:54)。
5)、根据式(6)还原步骤4)的特征点所对应涂胶平台系的真实坐标值。对于每一个特征点,由步骤4)得到该特征点在单层皮革左右图中的图像系坐标值以及式(6)重投影矩阵,还原得到其对应涂胶平台系的真实坐标值,本发明中的涂胶平台坐标系即是三轴涂胶机械臂的运动坐标系。根据附图6中(1)-(3)所示的黑色数字标记特征点,还原得到的真实坐标值,其中左图、右图为特征点的像素坐标值,重建结果即为真实坐标值:
图1 | 左图 | 右图 | 重建结果(cm) |
1 | (149,187) | (94,185) | (16.85,3.62,50.84) |
2 | (170,262) | (115,259) | (15.41,-1.22,50.84) |
3 | (227,303) | (178,301) | (12.92,-4.33,57.07) |
4 | (225,316) | (178,312) | (13.63,-5.5,59.49) |
5 | (502,364) | (448,361) | (-7.47,-7.94,51.78) |
6 | (511,357) | (454,355) | (-7.67,-7.09,49.05) |
7 | (526,355) | (469,353) | (-8.66,-6.96,49.05) |
8 | (555,267) | (496,267) | (-10.22,-1.44,47.39) |
9 | (283,170) | (227,167) | (7.54,4.63,49.93) |
10 | (559,186) | (501,185) | (-10.66,3.49,48.21) |
11 | (540,93) | (484,92) | (-9.76,9.51,49.93) |
12 | (527,91) | (471,91) | (-8.88,9.63,49.93) |
13 | (519,79) | (464,79) | (-8.5,10.58,50.84) |
14 | (251,87) | (197,87) | (9.86,10.07,50.84) |
15 | (243,101) | (185,100) | (9.87,8.69,48.21) |
16 | (184,126) | (128,125) | (14.2,7.42,49.93) |
图2 | 左图 | 右图 | 重建结果(cm) |
1 | (167,223) | (110,223) | (15.07,1.25,49.06) |
2 | (176,252) | (117,251) | (13.99,-0.53,47.39) |
3 | (507,347) | (448,347) | (-7.16,-6.24,47.39) |
4 | (508,258) | (448,258) | (-7.1,-0.88,46.6) |
5 | (287,250) | (229,242) | (7.02,-0.42,48.21) |
6 | (292,176) | (238,173) | (7.19,4.41,51.78) |
7 | (326,162) | (259,162) | (3.88,4.29,41.73) |
8 | (514,188) | (454,187) | (-7.48,3.06,46.6) |
9 | (521,99) | (459,99) | (-7.66,8.34,45.1) |
10 | (168,201) | (111,200) | (15.01,2.62,49.06) |
11 | (197,213) | (141,212) | (13.32,1.91,49.93) |
图3 | 左图 | 右图 | 重建结果(cm) |
1 | (86,252) | (30,249) | (20.79,-0.56,49.93) |
2 | (197,349) | (141,346) | (13.32,-6.71,49.93) |
3 | (248,336) | (187,334) | (9.08,-5.4,45.84) |
4 | (536,423) | (479,420) | (-9.32,-11.19,49.06) |
5 | (602,161) | (548,159) | (-14.45,5.39,51.78) |
6 | (249,129) | (194,126) | (10.00,7.36,50.84) |
7 | (201,170) | (147,166) | (13.54,4.8,51.78) |
8 | (178,175) | (131,172) | (17.4,5.14,59.49) |
9 | (117,167) | (62,164) | (19.05,4.91,50.84) |
上述重建结果中,根据式(6)的矩阵Q值,可以发现左相机的光轴中心所对应的像素坐标值为(394,243),再结合矩阵Q的定义推出如附图7所示的符号象限分布。(+,+)意味着x方向坐标值小于394的像素点重建后符号为+,y方向坐标值小于243的像素点重建后符号为+;(+,-)意味着x方向坐标值小于394的像素点重建后符号为+,y方向坐标值大于243的像素点重建后符号为-;(-,-)意味着x方向坐标值大于394的像素点重建后符号为-,y方向坐标值大于243的像素点重建后符号为-;(-,+)意味着x方向坐标值大于394的像素点重建后符号为-,y方向坐标值小于243的像素点重建后符号为+。
附图8是根据附图6的匹配结果及重建结果后得到的误差分析图,其中,在图1的重建结果中,点4与点14之间的垂直距离为15.57,实际距离为16,误差2.7%,点5与点13之间的垂直距离为18.52,实际距离为18.8,误差1.5%,点11与点7之间的垂直距离为16.47,实际距离为17,误差3.2%,点10与点8之间的垂直距离为4.93,实际距离5.1,误差3.4%;在图2的重建结果中,点3与点4之间的垂直距离为5.36,实际距离为5.4,误差0.7%,点8与点9之间的垂直距离为5.28,实际距离为5.4,误差2.2%,点10与点11之间的距离为1.83,实际距离为1.88,误差2.7%,点11与点1之间的距离1.86,实际距离为1.88,误差1.1%;在图3的重建结果中,点1与点2之间的距离为9.69,实际距离为10,误差3.2%,点4与点5之间的距离为17.36,实际距离为17.9,误差3.1%,点9与点1之间的距离为5.74,实际距离为5.9,误差2.8%;所有坐标值中的第三个坐标为z轴值,即该特征点与左相机光轴中心的距离,本文中该值为48cm,误差3%左右,故本方法可行。
6)、将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中,从而控制机械臂完成涂胶过程。由于涂胶平台坐标系又正是涂胶机械臂的坐标系,因此控制卡会将该单层皮革边缘轮廓的每一个特征点的坐标值转换成加工序列,在特征点与点按照步骤2的线段形状和公式(7)来进行涂胶。
L(Pi,Pi+1)表示第Pi和第Pi+1个特征点之间的单层皮革边缘线段形状,Straight表示线段,涂胶时按照直线插补方式进行涂胶,Arc表示弧线段,涂胶时按照曲线插补方式进行涂胶,i=0,1,2,L m-1表示有m个边缘轮廓特征点。
Claims (5)
1.一种基于双目视觉的单层皮革涂胶控制方法,其特征在于:该方法采用双目相机和三轴涂胶机械臂,所述单层皮革涂胶控制方法包括以下步骤:
1)、对固定的双目相机进行立体标定;
2)、采集单层皮革双目图像并提取其边缘轮廓;
3)、依据步骤2)的边缘轮廓图像进行特征提取:
单层皮革边缘轮廓由有限对二维坐标点(xi,yi)构成,i=1,2,…,n,表示该轮廓由n对坐标点组成;对于轮廓上任意坐标点对(xi,yi),其曲率计算公式如(1),计算所有坐标点对的曲率Ki,i=1,2,…,n,表示该轮廓有n对坐标;
其中,(xi+1,yi+1)为该坐标点对(xi,yi)的下一个坐标点对,(xi-1,yi-1)为该坐标点对(xi,yi)的上一个坐标点对;
特征提取按照以下步骤:
(3.2)、满足Ki≥T(i)的坐标点会选入候选特征点Pi,i=1,2,…s,s<n表示共有s个候选特征点;
(3.3)、计算每个候选特征点的两条切线所形成的夹角θi+1:以候选特征点的点Pi为起点,Pi+1为终点,起点与终点所在线段的中点为P(i+(i+1))/2,根据下述公式(2)计算理论圆心同理,以Pi+1为起点,Pi+2为终点,起点与终点所在线段的中点P((i+1)+(i+2))/2,通过下述公式(2)得其理论圆心
(3.4)、根据θi+1值判断是否是所需特征点并标记特征点之间的线段形状:如果θi+1大于170度则认为该特征点所处的局部轮廓曲率变化不明显,不是所需的特征点,特征点之间的线段形状为线段;否则,该特征点是所需特征点,特征点之间的线段形状为弧线段;
4)、根据步骤3)的特征点进行匹配,特征匹配按照以下步骤:
5)、根据重投影矩阵还原步骤4)的特征点所对应涂胶平台系的真实坐标值;
6)、将特征点的真实坐标值输入到三轴涂胶机械臂的涂胶坐标队列中,从而控制机械臂完成涂胶过程。
2.如权利要求1所述的一种基于双目视觉的单层皮革涂胶控制方法,其特征在于:所述步骤6)中,将特征点之间按照步骤3)的线段形状和公式(4)来进行涂胶控制;
其中,L(Pi,Pi+1)表示第Pi和第Pi+1个特征点之间的单层皮革边缘线段形状,Straight表示线段,涂胶时按照直线插补方式进行涂胶,Arc表示弧线段,涂胶时按照曲线插补方式进行涂胶,i=0,1,2,…m-1,表示有m个边缘轮廓特征点。
3.如权利要求1或2所述的一种基于双目视觉的单层皮革涂胶控制方法,其特征在于:所述步骤1)中,拍摄不同姿态的标定物获得用于标定分析的图像,根据线性相机模型的公式(5)得到各个相机的内参数k、1、u0、v0、f、θ和外参数,由相机内外参数点乘得到的3×4矩阵M3×4即为透视投影矩阵;
其中,k,l是双目相机的像素点大小,u0,v0是相机的光轴中心的坐标值,f是相机焦距,θ是相机坐标系的偏斜度,R3×3是相机的旋转矩阵,t3×1则是相机的平移矩阵,(u v 1)Τ是图像中的任一点,(XW YW ZW 1)Τ则是图像中任一点所对应的涂胶坐标系坐标;
图像矫正的过程如下:
(1.1)、通过公式(6)及左右相机的内外参数得到右相机相对于左相机的旋转和平移矩阵,并矫正左右图像使之行对准;
R=Rr(Rl)T (6)
T=Tr-RTl
其中,Rl,Rr是左右相机的旋转矩阵,Tl,Tr是左右相机的平移矩阵,R,T是右相机相对于左相机的旋转矩阵和平移矩阵。
(1.2)、通过公式(7)及前面的相机内外参数得到重投影矩阵Q:
其中,Tx是双目相机外参平移向量T的x轴分量,cx和cy是左相机光学中心的世界坐标系坐标值,f是左相机的焦距。
4.如权利要求1或2所述的一种基于双目视觉的单层皮革涂胶控制方法,其特征在于:所述步骤2)中,将单层皮革双目图像依据皮革和噪声的RGB值不同完成阈值滤波转换成灰度图像,具体过程如下:
(2.1)、使用高斯函数对图像进行平滑处理;
(2.2)、采用数学形态学中的闭运算;
(2.3)、采用Canny算子提取单向素的皮革边缘轮廓。
5.如权利要求1或2所述的一种基于双目视觉的单层皮革涂胶控制方法,其特征在于:所述步骤2)中,在涂胶平台的四周安装光源,在所述涂胶平台的中心正上方布置双目相机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010587709 CN102107179B (zh) | 2010-12-14 | 2010-12-14 | 一种基于双目视觉的单层皮革涂胶控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010587709 CN102107179B (zh) | 2010-12-14 | 2010-12-14 | 一种基于双目视觉的单层皮革涂胶控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102107179A CN102107179A (zh) | 2011-06-29 |
CN102107179B true CN102107179B (zh) | 2013-07-24 |
Family
ID=44171526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010587709 Active CN102107179B (zh) | 2010-12-14 | 2010-12-14 | 一种基于双目视觉的单层皮革涂胶控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102107179B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102354151B (zh) * | 2011-08-04 | 2013-06-05 | 浙江工业大学 | 一种应用于多层鞋革数控裁割机床的切向跟随插补方法 |
CN102783769B (zh) * | 2012-07-20 | 2015-06-03 | 浙江工业大学 | 一种小曲率转弯处的涂胶控制方法 |
CN103841311A (zh) * | 2012-11-20 | 2014-06-04 | 广州三星通信技术研究有限公司 | 生成3d图像的方法及便携式终端 |
CN102981406B (zh) * | 2012-11-26 | 2016-02-24 | 浙江工业大学 | 一种基于双目视觉的鞋底喷胶厚度控制方法 |
CN103316827B (zh) * | 2013-06-09 | 2015-10-28 | 深圳众为兴技术股份有限公司 | 一种点胶方法、装置及点胶设备 |
CN106583178B (zh) * | 2016-11-01 | 2019-01-18 | 浙江理工大学 | 一种自动油边机的皮革材料的边缘定位方法和装置 |
CN106868229B (zh) * | 2017-01-05 | 2019-05-24 | 四川大学 | 一种自动绷制皮革的装置 |
CN107413590B (zh) * | 2017-07-05 | 2023-06-02 | 佛山缔乐视觉科技有限公司 | 一种基于机器视觉的表带自动涂胶机 |
CN107597497A (zh) * | 2017-09-08 | 2018-01-19 | 佛山缔乐视觉科技有限公司 | 一种基于机器视觉的自动陶瓷涂胶装置和方法 |
CN107726985A (zh) * | 2017-11-13 | 2018-02-23 | 易思维(天津)科技有限公司 | 一种三维实时涂胶检测方法与装置 |
CN107976147B (zh) * | 2017-12-11 | 2019-08-06 | 西安迈森威自动化科技有限公司 | 一种基于机器视觉的玻璃定位检测装置 |
CN108089544B (zh) * | 2017-12-25 | 2021-03-30 | 厦门大学嘉庚学院 | 一种鞋底喷胶机械人的轨迹生成方法及控制*** |
CN109522935B (zh) * | 2018-10-22 | 2021-07-02 | 易思维(杭州)科技有限公司 | 一种对双目视觉测量***的标定结果进行评价的方法 |
CN109046846A (zh) * | 2018-10-30 | 2018-12-21 | 石家庄辐科电子科技有限公司 | 一种基于直线电机的智能电路板喷漆设备 |
CN109798831A (zh) * | 2018-12-28 | 2019-05-24 | 辽宁红沿河核电有限公司 | 一种用于燃料组件的双目视觉测量方法 |
CN111122581A (zh) * | 2019-12-25 | 2020-05-08 | 北京中远通科技有限公司 | 双目视觉检测***、方法及喷胶装置 |
CN111664809A (zh) * | 2020-06-15 | 2020-09-15 | 苏州亿视智能科技有限公司 | 智能高精度模块化三维检测设备及方法 |
CN112197715B (zh) * | 2020-10-27 | 2022-07-08 | 上海市特种设备监督检验技术研究院 | 一种基于图像识别的电梯制动轮与闸瓦间隙检测方法 |
CN115846129B (zh) * | 2022-11-08 | 2023-12-15 | 成都市鸿侠科技有限责任公司 | 一种异形复杂曲面胶接装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101517615A (zh) * | 2006-09-29 | 2009-08-26 | 冲电气工业株式会社 | 个人认证***和个人认证方法 |
CN101876533A (zh) * | 2010-06-23 | 2010-11-03 | 北京航空航天大学 | 一种显微立体视觉校准方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1030917A (ja) * | 1996-07-16 | 1998-02-03 | Tsubakimoto Chain Co | 物体認識方法及び装置並びに記録媒体 |
KR100378988B1 (ko) * | 2000-10-27 | 2003-04-08 | 한국과학기술연구원 | 반도체 패키지의 삼차원 시각 검사방법 |
-
2010
- 2010-12-14 CN CN 201010587709 patent/CN102107179B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101517615A (zh) * | 2006-09-29 | 2009-08-26 | 冲电气工业株式会社 | 个人认证***和个人认证方法 |
CN101876533A (zh) * | 2010-06-23 | 2010-11-03 | 北京航空航天大学 | 一种显微立体视觉校准方法 |
Non-Patent Citations (2)
Title |
---|
JP特开2002-213929A 2002.07.31 |
JP特开平10-30917A 1998.02.03 |
Also Published As
Publication number | Publication date |
---|---|
CN102107179A (zh) | 2011-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102107179B (zh) | 一种基于双目视觉的单层皮革涂胶控制方法 | |
CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
CN109903313B (zh) | 一种基于目标三维模型的实时位姿跟踪方法 | |
CN103236064B (zh) | 一种基于法向量的点云自动配准方法 | |
CN104835144B (zh) | 利用一个球的球心的像及正交性求解摄像机内参数的方法 | |
CN107203973B (zh) | 一种三维激光扫描***中线激光中心的亚像素定位方法 | |
CN106683137B (zh) | 基于人工标志的单目多目标识别与定位方法 | |
CN101256156B (zh) | 平板裂缝天线裂缝精密测量方法 | |
CN106934813A (zh) | 一种基于视觉定位的工业机器人工件抓取实现方法 | |
CN107578464A (zh) | 一种基于线激光扫描的传送带工件三维轮廓测量方法 | |
CN105910583B (zh) | 一种基于星载可见光相机的空间碎片快速检测定位方法 | |
CN111126174A (zh) | 一种用于机器人抓取零件的视觉检测方法 | |
CN106338287A (zh) | 基于天花板的室内移动机器人视觉定位方法 | |
CN103729632A (zh) | 一种基于连通区域滤波的圆形Mark点的定位方法 | |
CN103727930A (zh) | 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 | |
CN105488503A (zh) | 一种非编码圆环形标记点圆心图像坐标检测方法 | |
CN108154536A (zh) | 二维平面迭代的相机标定法 | |
CN107238374A (zh) | 一种不规则平面零件的分类和识别定位方法 | |
CN111402330A (zh) | 一种基于平面靶标的激光线关键点提取方法 | |
Li et al. | Road markings extraction based on threshold segmentation | |
Kurban et al. | Plane segmentation of kinect point clouds using RANSAC | |
CN104715491A (zh) | 一种基于一维灰度矩的亚像素边缘检测方法 | |
CN113884002A (zh) | 基于二三维信息融合的受电弓滑板上表面检测***及方法 | |
CN110030979B (zh) | 一种基于序列图像的空间非合作目标相对位姿测量方法 | |
Tamas et al. | Relative pose estimation and fusion of omnidirectional and lidar cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |