CN113418927A - 基于线结构光的汽车模具视觉检测***及检测方法 - Google Patents
基于线结构光的汽车模具视觉检测***及检测方法 Download PDFInfo
- Publication number
- CN113418927A CN113418927A CN202110635122.8A CN202110635122A CN113418927A CN 113418927 A CN113418927 A CN 113418927A CN 202110635122 A CN202110635122 A CN 202110635122A CN 113418927 A CN113418927 A CN 113418927A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- light
- obtaining
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000007547 defect Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000005484 gravity Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000011179 visual inspection Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000012634 optical imaging Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了基于线结构光的汽车模具视觉检测***及检测方法，该基于线结构光的汽车模具视觉检测***，包括六自由度机械臂、摄像机、激光发生器和处理***，六自由度机械臂的输出端安装有夹具，摄像机和激光发生器分别安装于夹具的侧部，处理***分别与摄像机和激光发生器电性相连；该基于线结构光的汽车模具视觉检测方法，包括摄像机内外参数标定、线结构光空间位置标定、机械臂末端空间位置的标定、图像获取、获得结构光光带图像和获得模具缺陷。本发明中，采用六自由度机械臂，简便的实现图像全方位的获取，同时，对采集的图像进行有效的处理，便于检测模具缺陷。
Description
技术领域
本发明涉及汽车模具检测技术领域，特别涉及基于线结构光的汽车模具视觉检测***，同时，本发明还提供了基于线结构光的汽车模具视觉检测方法。
背景技术
汽车模具作为汽车生产中最重要的工艺装备，对保证汽车零件的加工和装配精度起到了重要的作用，汽车制造具有产量大，生产节奏快的特点，因此在加工过程中模具损坏量很大，模具在工作一段时间后表面就会出现严重的点蚀或裂纹，而模具的制造成本极高，如果直接将破损的冲压模具报废，浪费极大。
再制造是指以装备全寿命周期理论为指导，以实现废旧装备性能提升为目标，以优质、高效、节能、节材、环保为准则，以先进技术和产业化生产为手段，进行的修复、改造废旧装备的一系列技术措施或工程活动的总称，再制造工程中，缺损零件的修复是最重要的研究内容，因而多会对汽车模具进行再制造，以降低成本。
在修复之前，一般需要对采集汽车模具的图像信息，以方便对汽车模具的裂纹进行分析，在众多的三维扫描技术中，结构光视觉***作为一种主动测量***，具有测量精度高、测量视场大、对测量环境适应性强等特点，在三维测量领域得到了广泛的应用。
但是，现有的结构光***在检测过程中，一般只能实现三维移动，而对于模具而言，其形状一般不规整，容易出现被遮挡的部位，进而导致模具的部分部位无法被拍到，进而影响图像的获取。
发明内容
(一)要解决的技术问题
本发明可以解决现有的结构光检测，容易出现部分部位无法拍到的情况，影响图像获取的难题。
(二)技术方案
为了实现上述目的，本发明采用以下技术方案：
一方面，本发明提供了基于线结构光的汽车模具视觉检测***，包括，包括六自由度机械臂、摄像机、激光发生器和处理***，所述六自由度机械臂的输出端安装有夹具，所述摄像机和所述激光发生器分别安装于所述夹具的侧部，所述处理***分别与所述摄像机和所述激光发生器电性相连，其中：
所述处理***包括处理器和存储器，所述处理器分别与所述摄像机和所述激光发生器电性相连，所述存储器与所述处理器电性相连。
作为本发明的优选技术方案，所述夹具包括连接块和三个夹板，所述连接块安装于所述六自由度机械臂的输出端，三个所述夹板分别安装于所述连接块的侧部，三个所述夹板之间个构成两个夹持腔，所述摄像机和所述激光发生器分别安装于两个所述夹持腔。
第二方面，本发明另提供基于线结构光的汽车模具视觉检测方法，具体包括以下步骤：
S1、摄像机内外参数标定：建立摄像机坐标系，利用二步标定法，得到的摄像机内外参数；
S2、线结构光空间位置标定：在摄像机坐标系的基础上，获得在摄像机坐标系下光平面的空间方程；
S3、机械臂末端空间位置的标定：通过手眼标定方式，建立摄像机坐标系相对于机械臂末端坐标系的位置关系；
S4、图像获取：运行自由度机械臂、摄像机和激光发生器，激光发生器发出线结构光，摄像机对待检测汽车模具拍照，获得图像；
S5、获得结构光光带图像：通过模板匹配算法获得图像中光带区域图像；
S6、获得模具缺陷：通过光带中心点检测算法，利用图像上光带区域的灰度信息，获得光带横截面或法线方向上的灰度极值点，灰度极值点即为模具缺陷。
作为本发明的优选技术方案，所述S1中，摄像机内外参数标定的具体包括以下步骤：
S101、通过已知点的空间位置和像素位置来确定摄像机中的光学成像参数和成像平面的空间位姿信息，建立摄像机坐标系；
S102、建立摄像机成像的线性模型；
S103、摄像机成像的非线性模型；
S104、忽略镜头畸变的影响，利用线性模型得到摄像机的内外参数，或者，考虑摄像机的畸变，将已得到的摄像机参数作为初值，代入非线性标定模型中得到考虑畸变后的摄像机参数及畸变系数。
作为本发明的优选技术方案，所述S2中，线结构光空间位置标定的具体包括以下步骤：
S201、建立线结构光***标定模型；
S202、根据标定模型，建立光平面在摄像机坐标系下的带系数光平面方程；
S203、将摄像机坐标代入光平面方程，获得矩阵表达式，并通过矩阵表达式，获得方程组；
S204、通过最小二乘法解方程组，即获得系数的具体值，将系数代入光平面方程，即得摄像机坐标系下光平面的空间方程。
作为本发明的优选技术方案，所述S3中，手眼标定采用下述两种方式的其中一种：
建立手眼标定模型，获得摄像机相对于机械臂末端的外参数矩阵；
基于单参考点，进行手眼自标定，摄像机相对于机器人末端的外参数。
作为本发明的优选技术方案，所述S5中，获得结构光光带图像的具体包括以下步骤：
S501、计算灰度值模板与图像之间的相似度系数，确定光带区域；
S502、对整幅图像进行匹配得到光带准确位置，并利用图像金子塔降采样的方法提高模板匹配速度，即获得光带图像。
作为本发明的优选技术方案，所述S502中，图像金子塔降采样的方法提高模板匹配速度的具体包括以下步骤：
将图像与模板连续缩小2倍，设原始图像为第1层，图像每缩小2倍，则图像金字塔的层数增加一层，实现对光带图像进行降采样；
采用高斯平滑滤波器对采样图像进行滤波；
在合适的图像金字塔层计算图像的相似性值，确定该层中光带的位置；
将图像金字塔最高层确定的光带区域向图像金字塔的最底层进行映射，最终得到原始图像中光带位置，且每一次映射过程是将匹配点坐标乘以2，即可增加匹配速度。
作为本发明的优选技术方案，所述S5中，获得光带图像后，还需要对光带图像增强。
作为本发明的优选技术方案，所述S6中，获得灰度极值点具体包括以下步骤：
利用灰度重心法，得到光带区域中每行的灰度重心；
利用海森矩阵可以得到每行重心点处对应的法线向量；
将该光带灰度函数沿法线向量进行泰勒展开，获得光带的中心点的像素坐标，进而确定灰度极值点。
(三)有益效果
1.本发明提供的基于线结构光的汽车模具视觉检测***，包括六自由度机械臂、摄像机、激光发生器和处理***，通过六自由度机械臂，可以有效的驱动摄像机和激光发生器移动，进而对模具各个方位的图像进行采集，避免了现有三维移动，无法对不规整模具的检测；
2.本发明提供的基于线结构光的汽车模具视觉检测方法，通过先对摄像机内外参数标定、线结构光空间位置标定和机械臂末端空间位置的标定，保证后续检测精度；
3.本发明提供的基于线结构光的汽车模具视觉检测方法，通过图像获取、获得结构光光带图像和获得模具缺陷，对图像进行快速有效的处理，方便快速的检测出模具的缺陷部位，便于后续的修复。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明的示意图；
图2是本发明的夹具部分结构示意图；
图3是本发明的处理***示意框图；
图4是本发明的流程示意框图；
图5是本发明的坐标系位置关系示意图；
图6是本发明的图像坐标与像素坐标的平面位置关系示意图；
图7是本发明的线结构光光平面标定示意图。
图中：100、六自由度机械臂；110、夹具；111、连接块；112、夹板；113、夹持腔；200、摄像机；300、激光发生器；400、处理***；410、处理器；420、存储器。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“纵向”、“上”、“下”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1至图3所示，基于线结构光的汽车模具视觉检测***，包括六自由度机械臂100、摄像机200、激光发生器300和处理***400，六自由度机械臂100的输出端安装有夹具110，摄像机200和激光发生器300分别安装于夹具110的侧部，处理***400分别与摄像机200和激光发生器300电性相连，其中：
处理***400包括处理器410和存储器420，处理器410分别与摄像机200和激光发生器300电性相连，存储器420与处理器410电性相连。
具体地，夹具110包括连接块111和三个夹板112，连接块111安装于六自由度机械臂100的输出端，三个夹板112分别安装于连接块111的侧部，三个夹板112之间个构成两个夹持腔113，摄像机200和激光发生器300分别安装于两个夹持腔113。
如图4至图7所示，本发明另提供基于线结构光的汽车模具视觉检测方法，具体包括以下步骤：
S1、摄像机内外参数标定：建立摄像机坐标系，利用二步标定法，得到的摄像机内外参数；
S2、线结构光空间位置标定：在摄像机坐标系的基础上，获得在摄像机坐标系下光平面的空间方程；
S3、机械臂末端空间位置的标定：通过手眼标定方式，建立摄像机坐标系相对于机械臂末端坐标系的位置关系；
S4、图像获取：运行自由度机械臂、摄像机和激光发生器，激光发生器发出线结构光，摄像机对待检测汽车模具拍照，获得图像；
S5、获得结构光光带图像：通过模板匹配算法获得图像中光带区域图像；
S6、获得模具缺陷：通过光带中心点检测算法，利用图像上光带区域的灰度信息，获得光带横截面或法线方向上的灰度极值点，灰度极值点即为模具缺陷。
具体地，S1中，摄像机内外参数标定的具体包括以下步骤：
S101、通过已知点的空间位置和像素位置来确定摄像机中的光学成像参数和成像平面的空间位姿信息，建立摄像机坐标系；
S102、建立摄像机成像的线性模型；
S103、摄像机成像的非线性模型；
S104、忽略镜头畸变的影响，利用线性模型得到摄像机的内外参数，或者，考虑摄像机的畸变，将已得到的摄像机参数作为初值，代入非线性标定模型中得到考虑畸变后的摄像机参数及畸变系数。
需要说明的是，请参阅图5，摄像机的成像过程本质为小孔成像过程，根据光直线传播的特性，被测物体表面轮廓通过摄像机镜头显示在成像平面上。因此，需要在成像平面建立坐标系以获得被测物的成像信息。由光电耦合器(CCD)的成像原理可知，在成像平面获得的图像信息是由不连续的像素点组成的，而像素距离与物理距离的量纲并不一致，需要在成像平面建立两个坐标系，即像素坐标系(OPuv)和图像坐标系(Oxy)。在像素坐标系中，坐标原点选在成像平面的左上角，单位是像素；在图像坐标系中，坐标原点选在摄像机光轴与CCD平面的交点，单位为毫米，为了建立两个坐标系的联系，我们设图像坐标系原点O的像素坐标为(uo,vo)。
在标定空间中，摄像机坐标系(OC-XCYCZC)和世界坐标系(OW-XWYWZW)都为三维坐标系。摄像机坐标系(OC-XCYCZC)表示被测物相对镜头光心的空间位置，该坐标系的原点即为镜头光心的，坐标系的ZC轴表示被测物体相对于光心的深度信息，且方向与成像平面垂直，坐标系的XC轴和YC轴的方向与图像坐标系的x轴和y轴方向一致。世界坐标系(OW-XWYWZW)表示被测物体的实际空间位置，该坐标系可以根据实际的检测情况进行设计，为了简化标定算法的复杂度，将该坐标系定为二维标定板左上角，ZW轴方向垂直于标定板所在平面。
摄像机成像的线性模型，如图5所示，P为空间中的一点，该点的世界坐标为(XW,YW,ZW)，摄像机坐标为(XC,YC,ZC)，Pd为P在图像平面上的实际投影点，Pu为理想投影点，两个投影点的图像坐标分别为(xd,yd)和(xu,yu)，(u,v)为P的像素坐标。
根据世界坐标系与摄像机坐标系的位姿关系，空间点P的摄像机坐标为：
(1.1)式中，t＝(tx,ty,tz)T为一个平移向量；
是一个3×3的正交旋转矩阵；
图像坐标系与像素坐标系的关系如图6所示，dx，dy分别为成像平面上像素单元的物理尺寸，θ0像素坐标系中u轴和v轴的夹角，图像坐标系中一点Pf与其像素坐标的关系可以表示为：
由于在感光元件的制造都存在误差，只有在理想情况下θ0＝0；
根据小孔成像原理，摄像机坐标系中P点与其在图像平面上的投影点Pu之间的关系可以表示为：
为了易于计算，将标定板平面作为世界坐标系中的XWYW坐标平面，即ZW＝0。联立式(1)至式(3)得
(1.4)式中，α＝f/dx；β＝f/dy sinθ0；γ＝-f cotθ0/dx；r1，r2为旋转矩阵R的第一、二列；R和t为摄像机模型的外参。摄像机模型的内参A可以表达为：
摄像机成像的非线性模型，摄像机光学***在制造和装配过程中存在误差，并对图像产生影响，这种影响被称将畸变，畸变可分为：径向畸变，切向畸变。径向畸变是镜片的曲率变化引起的；切向畸变主要是在镜头的装配过程中，多枚镜片的中心线不共线引起的，根据径向畸变和切向畸变的数学模型可以建立总像差模型：
(1.6)式中，
k1、k2、p1、p2分别为径向和切向畸变系数。空间点的理想图像坐标和实际图像坐标的关系为：
两步标定方法结合了基于移动平面模板的标定方法和基于一维标定物的标定方法，既可以保证较高的标定精度，又减少了对试验设备的依赖。该标定方法可以分为两步：1.忽略镜头畸变的影响，利用线性模型得到摄像机的内、外参数；2.考虑摄像机的畸变，将已得到的摄像机参数作为初值，代入非线性标定模型中得到考虑畸变后的摄像机参数及畸变系数：
为了计算方便，将式(1.4)式改写为：
(1.8)式中，H表示成像点从像素坐标到世界坐标的单应性矩阵。
设
为单应性矩阵H的第i行，根据(1.8)式有
因此：
将(1.9)式变换为矩阵形式：
向量x有8个未知数，当标定点的数目大于4个时，(1.10)式是关于x的超定方程组，通过奇异值分解可以解得向量x，即单应性矩阵H。
根据(8)式可知：
[h1 h2 h3]＝λA[r1 r2 t] (1.11)
(1.11)其中，hi为单应性矩阵H的第i个列向量；λ为任意常数。因为旋转矩阵R为正交矩阵，因此可以得：
联立(1.11)式和(1.12)式，可得：
摄像机内参矩阵A含有6个未知数，当标定板图像数量大于3时，就可以通过式(1.13)获得摄像机的内参初值，为了提高标定精度，在标定摄像机内参时选用9幅不同位姿下的标定板图像。
为了提高视觉***测量精度，需要考虑镜头畸变，根据非线性优化模型求解畸变系数。将镜头畸变模型式(1.6)写成矩阵形式
(1.14)式中，
K＝[k1 k2 p1 p2]T是一个1×4的列向量。将式(1.14)可以写成矩阵形式LK＝F，当有N个标定点时，L为一个2N×4的矩阵，F为一个2N×1的列向量，根据最小二乘可以得到向量K：
K＝(LTL)-1LTF (1.15)
通过以上过程可以得到的摄像机内外参及畸变系数，并将这些摄像机参数作为初值，建立优化目标函数：
用Levenberg-Marquardt算法对目标函数进行优化可以得到摄像机内外参及畸变系数的优化解。其中，
是通过第i块标定板上第j个角点的世界坐标Mij，根据摄像机非线性模型得到的像素坐标。mij是通过角点检测得到的角点像素坐标。
具体地，S2中，线结构光空间位置标定的具体包括以下步骤：
S201、建立线结构光***标定模型；
S202、根据标定模型，建立光平面在摄像机坐标系下的带系数光平面方程；
S203、将摄像机坐标代入光平面方程，获得矩阵表达式，并通过矩阵表达式，获得方程组；
S204、通过最小二乘法解方程组，即获得系数的具体值，将系数代入光平面方程，即得摄像机坐标系下光平面的空间方程。
需要说明的是，线结构光光平面方程标定模型如图7所示，l为光平面投射在平面标靶上的光带，P点为光带l的中心点，通过转动平面标靶可以获得若干幅光带的图像。利用已标定的摄像机成像模型和标定板上黑白格的角点，可以得到光带中心点的摄像机坐标，设第j幅光带图像上第i个光带中心点的摄像机坐标为
光平面在摄像机坐标系下的空间平面方程为
b1XC+b2YC+b3ZC-1＝0 (1.17)
将光带中心点的摄像机坐标代入式(1.17)，并写成矩阵形式：
(1.18)式中，N为通过转动标靶获得的光带图像幅数；K为每个光带上中心点的数目。通过最小二乘法解超定方程组得：
具体地，S3中，手眼标定采用下述两种方式的其中一种：
建立手眼标定模型，获得摄像机相对于机械臂末端的外参数矩阵；
基于单参考点，进行手眼自标定，摄像机相对于机器人末端的外参数。
具体地，S5中，获得结构光光带图像的具体包括以下步骤：
S501、计算灰度值模板与图像之间的相似度系数，确定光带区域；
S502、对整幅图像进行匹配得到光带准确位置，并利用图像金子塔降采样的方法提高模板匹配速度，即获得光带图像。
具体地，S502中，图像金子塔降采样的方法提高模板匹配速度的具体包括以下步骤：
将图像与模板连续缩小2倍，设原始图像为第1层，图像每缩小2倍，则图像金字塔的层数增加一层，实现对光带图像进行降采样；
采用高斯平滑滤波器对采样图像进行滤波；
在合适的图像金字塔层计算图像的相似性值，确定该层中光带的位置；
将图像金字塔最高层确定的光带区域向图像金字塔的最底层进行映射，最终得到原始图像中光带位置，且每一次映射过程是将匹配点坐标乘以2，即可增加匹配速度。
具体地，S5中，获得光带图像后，还需要对光带图像增强。
具体地，S6中，获得灰度极值点具体包括以下步骤：
利用灰度重心法，得到光带区域中每行的灰度重心；
利用海森矩阵可以得到每行重心点处对应的法线向量；
将该光带灰度函数沿法线向量进行泰勒展开，获得光带的中心点的像素坐标，进而确定灰度极值点。
综上所述：采用六自由度机械臂，简便的实现图像全方位的获取，同时，对采集的图像进行有效的处理，便于检测模具缺陷。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于线结构光的汽车模具视觉检测***，包括六自由度机械臂(100)、摄像机(200)、激光发生器(300)和处理***(400)，其特征在于：所述六自由度机械臂(100)的输出端安装有夹具(110)，所述摄像机(200)和所述激光发生器(300)分别安装于所述夹具(110)的侧部，所述处理***(400)分别与所述摄像机(200)和所述激光发生器(300)电性相连，其中：
所述处理***(400)包括处理器(410)和存储器(420)，所述处理器(410)分别与所述摄像机(200)和所述激光发生器(300)电性相连，所述存储器(420)与所述处理器(410)电性相连。
2.根据权利要求1所述的基于线结构光的汽车模具视觉检测***，其特征在于：所述夹具(110)包括连接块(111)和三个夹板(112)，所述连接块(111)安装于所述六自由度机械臂(100)的输出端，三个所述夹板(112)分别安装于所述连接块(111)的侧部，三个所述夹板(112)之间个构成两个夹持腔(113)，所述摄像机(200)和所述激光发生器(300)分别安装于两个所述夹持腔(113)。
3.基于线结构光的汽车模具视觉检测方法，其特征在于，具体包括以下步骤：
S1、摄像机内外参数标定：建立摄像机坐标系，利用二步标定法，得到的摄像机内外参数；
S2、线结构光空间位置标定：在摄像机坐标系的基础上，获得在摄像机坐标系下光平面的空间方程；
S3、机械臂末端空间位置的标定：通过手眼标定方式，建立摄像机坐标系相对于机械臂末端坐标系的位置关系；
S4、图像获取：运行自由度机械臂、摄像机和激光发生器，激光发生器发出线结构光，摄像机对待检测汽车模具拍照，获得图像；
S5、获得结构光光带图像：通过模板匹配算法获得图像中光带区域图像；
S6、获得模具缺陷：通过光带中心点检测算法，利用图像上光带区域的灰度信息，获得光带横截面或法线方向上的灰度极值点，灰度极值点即为模具缺陷。
4.根据权利要求3所述的基于线结构光的汽车模具视觉检测方法，其特征在于：所述S1中，摄像机内外参数标定的具体包括以下步骤：
S101、通过已知点的空间位置和像素位置来确定摄像机中的光学成像参数和成像平面的空间位姿信息，建立摄像机坐标系；
S102、建立摄像机成像的线性模型；
S103、摄像机成像的非线性模型；
S104、忽略镜头畸变的影响，利用线性模型得到摄像机的内外参数，或者，考虑摄像机的畸变，将已得到的摄像机参数作为初值，代入非线性标定模型中得到考虑畸变后的摄像机参数及畸变系数。
5.根据权利要求3所述的基于线结构光的汽车模具视觉检测方法，其特征在于：所述S2中，线结构光空间位置标定的具体包括以下步骤：
S201、建立线结构光***标定模型；
S202、根据标定模型，建立光平面在摄像机坐标系下的带系数光平面方程；
S203、将摄像机坐标代入光平面方程，获得矩阵表达式，并通过矩阵表达式，获得方程组；
S204、通过最小二乘法解方程组，即获得系数的具体值，将系数代入光平面方程，即得摄像机坐标系下光平面的空间方程。
6.根据权利要求3所述的基于线结构光的汽车模具视觉检测方法，其特征在于：所述S3中，手眼标定采用下述两种方式的其中一种：
建立手眼标定模型，获得摄像机相对于机械臂末端的外参数矩阵；
基于单参考点，进行手眼自标定，摄像机相对于机器人末端的外参数。
7.根据权利要求3所述的基于线结构光的汽车模具视觉检测方法，其特征在于：所述S5中，获得结构光光带图像的具体包括以下步骤：
S501、计算灰度值模板与图像之间的相似度系数，确定光带区域；
S502、对整幅图像进行匹配得到光带准确位置，并利用图像金子塔降采样的方法提高模板匹配速度，即获得光带图像。
8.根据权利要求7所述的基于线结构光的汽车模具视觉检测方法，其特征在于：所述S502中，图像金子塔降采样的方法提高模板匹配速度的具体包括以下步骤：
将图像与模板连续缩小2倍，设原始图像为第1层，图像每缩小2倍，则图像金字塔的层数增加一层，实现对光带图像进行降采样；
采用高斯平滑滤波器对采样图像进行滤波；
在合适的图像金字塔层计算图像的相似性值，确定该层中光带的位置；
将图像金字塔最高层确定的光带区域向图像金字塔的最底层进行映射，最终得到原始图像中光带位置，且每一次映射过程是将匹配点坐标乘以2，即可增加匹配速度。
9.根据权利要求3所述的基于线结构光的汽车模具视觉检测方法，其特征在于：所述S5中，获得光带图像后，还需要对光带图像增强。
10.根据权利要求3所述的基于线结构光的汽车模具视觉检测方法，其特征在于：所述S6中，获得灰度极值点具体包括以下步骤：
利用灰度重心法，得到光带区域中每行的灰度重心；
利用海森矩阵可以得到每行重心点处对应的法线向量；
将该光带灰度函数沿法线向量进行泰勒展开，获得光带的中心点的像素坐标，进而确定灰度极值点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110635122.8A CN113418927A (zh) | 2021-06-08 | 2021-06-08 | 基于线结构光的汽车模具视觉检测***及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110635122.8A CN113418927A (zh) | 2021-06-08 | 2021-06-08 | 基于线结构光的汽车模具视觉检测***及检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113418927A true CN113418927A (zh) | 2021-09-21 |
Family
ID=77788025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110635122.8A Pending CN113418927A (zh) | 2021-06-08 | 2021-06-08 | 基于线结构光的汽车模具视觉检测***及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113418927A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115343289A (zh) * | 2022-07-18 | 2022-11-15 | 中国第一汽车股份有限公司 | 一种汽车总装整车坑包划伤自动检测***及方法 |
| CN117969550A (zh) * | 2024-03-29 | 2024-05-03 | 长春汽车工业高等专科学校 | 一种基于图像识别的汽车缺陷分析方法及*** |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102794763A (zh) * | 2012-08-31 | 2012-11-28 | 江南大学 | 基于线结构光视觉传感器引导的焊接机器人***标定方法 |
| CN102927908A (zh) * | 2012-11-06 | 2013-02-13 | 中国科学院自动化研究所 | 机器人手眼***结构光平面参数标定装置及方法 |
| CN105303560A (zh) * | 2015-09-22 | 2016-02-03 | 中国计量学院 | 机器人激光扫描式焊缝跟踪***标定方法 |
| CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
| CN106425181A (zh) * | 2016-10-24 | 2017-02-22 | 南京工业大学 | 一种基于线结构光的曲线焊缝焊接技术 |
| CN106524945A (zh) * | 2016-10-13 | 2017-03-22 | 无锡科技职业学院 | 一种基于机械臂和结构光视觉的平面夹角在线测量方法 |
| CN109015632A (zh) * | 2018-07-11 | 2018-12-18 | 云南电网有限责任公司电力科学研究院 | 一种机器人手爪末端定位方法 |
| CN110136208A (zh) * | 2019-05-20 | 2019-08-16 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服***的联合自动标定方法及装置 |
| CN110434516A (zh) * | 2019-08-28 | 2019-11-12 | 浙江大学城市学院 | 一种智能焊接机器人***及焊接方法 |
| CN110530877A (zh) * | 2019-09-16 | 2019-12-03 | 西安中科光电精密工程有限公司 | 一种焊接外形质量检测机器人及其检测方法 |
| CN111402411A (zh) * | 2020-04-10 | 2020-07-10 | 贵刚 | 一种基于线结构光的散乱物识别抓取方法 |
-
2021
- 2021-06-08 CN CN202110635122.8A patent/CN113418927A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102794763A (zh) * | 2012-08-31 | 2012-11-28 | 江南大学 | 基于线结构光视觉传感器引导的焊接机器人***标定方法 |
| CN102927908A (zh) * | 2012-11-06 | 2013-02-13 | 中国科学院自动化研究所 | 机器人手眼***结构光平面参数标定装置及方法 |
| CN105303560A (zh) * | 2015-09-22 | 2016-02-03 | 中国计量学院 | 机器人激光扫描式焊缝跟踪***标定方法 |
| CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
| CN106524945A (zh) * | 2016-10-13 | 2017-03-22 | 无锡科技职业学院 | 一种基于机械臂和结构光视觉的平面夹角在线测量方法 |
| CN106425181A (zh) * | 2016-10-24 | 2017-02-22 | 南京工业大学 | 一种基于线结构光的曲线焊缝焊接技术 |
| CN109015632A (zh) * | 2018-07-11 | 2018-12-18 | 云南电网有限责任公司电力科学研究院 | 一种机器人手爪末端定位方法 |
| CN110136208A (zh) * | 2019-05-20 | 2019-08-16 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服***的联合自动标定方法及装置 |
| CN110434516A (zh) * | 2019-08-28 | 2019-11-12 | 浙江大学城市学院 | 一种智能焊接机器人***及焊接方法 |
| CN110530877A (zh) * | 2019-09-16 | 2019-12-03 | 西安中科光电精密工程有限公司 | 一种焊接外形质量检测机器人及其检测方法 |
| CN111402411A (zh) * | 2020-04-10 | 2020-07-10 | 贵刚 | 一种基于线结构光的散乱物识别抓取方法 |
Non-Patent Citations (2)
| Title |
|---|
| 廉凤慧: "基于线结构光的矩形花键轴视觉测量技术研究", 《中国博士学位论文全文数据库 工程科技II辑》 * |
| 徐德 等, 国防工业出版社 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115343289A (zh) * | 2022-07-18 | 2022-11-15 | 中国第一汽车股份有限公司 | 一种汽车总装整车坑包划伤自动检测***及方法 |
| CN117969550A (zh) * | 2024-03-29 | 2024-05-03 | 长春汽车工业高等专科学校 | 一种基于图像识别的汽车缺陷分析方法及*** |
| CN117969550B (zh) * | 2024-03-29 | 2024-06-04 | 长春汽车工业高等专科学校 | 一种基于图像识别的汽车缺陷分析方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110146038B (zh) | 筒形件装配转角的分布式单目相机激光测量装置及方法 | |
| CN108759714B (zh) | 一种多线激光轮廓传感器坐标系融合及转轴标定方法 | |
| CN109242908B (zh) | 用于水下双目视觉测量***的标定方法 | |
| CN109029299B (zh) | 舱段销孔对接转角的双相机测量装置及测量方法 | |
| CN110296667B (zh) | 基于线结构光多角度投影的高反射表面三维测量方法 | |
| CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| CN105716527B (zh) | 激光焊缝跟踪传感器标定方法 | |
| CN110411346B (zh) | 一种非球面熔石英元件表面微缺陷快速定位方法 | |
| CN109612390A (zh) | 基于机器视觉的大尺寸工件自动测量*** | |
| CN113205593B (zh) | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 | |
| CN111191625A (zh) | 一种激光-单目视觉融合的物体识别与定位方法 | |
| CN113418927A (zh) | 基于线结构光的汽车模具视觉检测***及检测方法 | |
| KR102248197B1 (ko) | 구조광 패턴 반사기술을 이용한 대형 반사판 3차원 표면형상 측정 방법 | |
| CN111707187B (zh) | 一种大型零件的测量方法及*** | |
| CN110455198B (zh) | 基于线结构光视觉的矩形花键轴键宽及直径测量方法 | |
| Zhong et al. | Stereo-rectification and homography-transform-based stereo matching methods for stereo digital image correlation | |
| CN113989199A (zh) | 一种基于深度学习的双目窄对接焊缝检测方法 | |
| Liu et al. | Measuring method for micro-diameter based on structured-light vision technology | |
| CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 | |
| CN115854921A (zh) | 基于结构光测量物体表面形状的方法及其测量装置 | |
| CN116765936A (zh) | 一种蜂窝材料加工表面型面精度测量设备及其测量方法 | |
| Zhang et al. | Improved camera calibration method and accuracy analysis for binocular vision | |
| CN114963981A (zh) | 一种基于单目视觉的筒状零件对接非接触式测量方法 | |
| CN113781581B (zh) | 基于靶标松姿态约束的景深畸变模型标定方法 | |
| CN113390394B (zh) | 一种带有摄影比例尺的光束法平差算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210921 |