CN110455187B - 一种基于三维视觉的盒体工件焊缝的检测方法 - Google Patents
一种基于三维视觉的盒体工件焊缝的检测方法 Download PDFInfo
- Publication number
- CN110455187B CN110455187B CN201910774689.6A CN201910774689A CN110455187B CN 110455187 B CN110455187 B CN 110455187B CN 201910774689 A CN201910774689 A CN 201910774689A CN 110455187 B CN110455187 B CN 110455187B
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- workpiece
- box
- box body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Laser Beam Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于三维视觉的盒体工件焊缝的检测方法,它属于焊接自动化中的焊缝检测技术领域。本发明采用精度较低但测量范围较大的Kinect2设备对焊接空间进行扫描,确定出盒体工件顶点的粗略位置后,将其依次作为焊缝轨迹的起点与终点,再采用精度高的线激光扫描仪从这些定位点出发,依次进行扫描,得到精确的焊缝点云信息。本发明方法与单纯采用线激光扫描仪进行焊缝的三维检测相比,在保证精确检测的同时极大地提高了检测速度。本发明可以应用于盒体工件的焊缝检测。
Description
技术领域
本发明属于焊接自动化中的焊缝检测技术领域,具体涉及一种盒体工件焊缝的检测方法。
背景技术
随着先进制造技术的飞速发展,机器人自动化焊接技术正逐步取代人工焊接,成为目前焊接领域的主要发展方向。焊缝检测技术作为自动化焊接中的一项关键技术,其检测的精确度、效率及可靠性直接影响了后续的焊接质量。
盒体工件作为一种典型的焊接结构,在航空航天、工业及船舶制造等领域有着广泛的应用,因此实现盒体工件焊缝的自动化焊接具有很高的实际应用价值。
采用线激光扫描仪对盒体工件进行焊缝检测,检测精度高,可靠性好,适合于复杂的工业焊接环境,但其测量范围小,产生的点云稠密。在工件摆放位姿未知的情况下,由于线激光扫描仪视野范围小,用其扫描工件来识别焊缝会消耗大量的时间。同时在扫描的过程中还会产生大量的点云数据,加大了数据处理的难度,导致焊缝检测的效率较低。
发明内容
本发明的目的是为解决现有线激光扫描仪对盒体工件进行焊缝检测的效率低的问题,而提出了一种基于Kinect2与线激光扫描仪相结合的盒体工件焊缝的检测方法。
本发明为解决上述技术问题采取的技术方案是:一种基于三维视觉的盒体工件焊缝的检测方法,该方法包括以下步骤:
步骤一、将待检测的盒体工件置于平面工作台上,并采集一帧盒体工件和平面工作台空间的三维点云数据;
步骤二、采用随机采样一致性方法,从步骤一采集的三维点云数据中分割出平面工作台的点云数据,获得剩余的点云数据以及工作台所在平面的平面方程;
并对剩余的点云数据进行聚类处理,分离出盒体工件的点云数据;
步骤三、对步骤二获得的盒体工件点云数据进行预处理,获得去除离群点后的盒体工件点云;
步骤四、通过旋转变换将去除离群点后的盒体工件点云与相机坐标系进行轴向对齐,获得轴向对齐后的盒体工件点云;
步骤五、求取步骤四获得的轴向对齐后的盒体工件点云的轴向包围盒,将轴向包围盒的四个上顶点记为a、b、c和d;
步骤六、在轴向包围盒所包围的点云中,分别寻找出与顶点a、b、c、d距离最近的点,其中:与点a距离最近的点记为a1,与点b距离最近的点记为b1,与点c距离最近的点记为c1,与点d距离最近的点记为d1;
步骤七、通过旋转变换将点a1、b1、c1和d1转换回步骤三获得的去除离群点后的盒体工件点云,得到盒体工件的四个上顶点,将盒体工件的四个上顶点分别记为a2、b2、c2和d2;
步骤八、分别将点a2、b2、c2和d2向工作台所在的平面进行投影,获得盒体工件的四个下顶点;
步骤九、将步骤七得到的四个上顶点和步骤八得到的四个下顶点作为盒体工件顶点的粗略位置,并将获得的盒体工件顶点的粗略位置作为焊缝轨迹的起点与终点,利用线激光扫描仪从焊缝轨迹的起点出发,依次进行扫描,从而得到精确的焊缝点云信息。
本发明的有益效果是:本发明提出了一种基于三维视觉的盒体工件焊缝的检测方法,本发明采用精度较低但测量范围较大的Kinect2设备对焊接空间进行扫描,确定出盒体工件顶点的粗略位置后,将其依次作为焊缝轨迹的起点与终点,再采用精度高的线激光扫描仪从这些定位点出发,依次进行扫描,得到精确的焊缝点云信息。本发明方法与单纯采用线激光扫描仪进行焊缝的三维检测相比,在保证精确检测的同时极大地提高了检测速度,满足自动化焊接对效率、精确度及可靠性的要求,为后续的焊接工作提供了基础。
附图说明
图1是本发明的一种基于三维视觉的盒体工件焊缝的检测方法的流程图;
图2是实施例中Kinect2设备采集的一帧焊接空间点云的效果图;
图3是实施例中分割出工作台平面的点云后,对剩余点云进行欧式聚类的效果图;
图4是实施例中求取盒体工件点云的轴向包围盒,并分别寻找出与点a、b、c、d距离最近的点的效果图;(为展示顶点进行了局部放大)
图5是实施例中盒体工件的八个顶点a2、b2、c2、d2以及a3、b3、c3、d3的效果图。(为展示顶点进行了局部放大)
具体实施方式
具体实施方式一:结合图1说明本实施方式,本实施方式所述的一种基于三维视觉的盒体工件焊缝的检测方法,该方法包括以下步骤:
步骤一、将待检测的盒体工件置于平面工作台上,并采集一帧盒体工件和平面工作台空间的三维点云数据;
步骤二、采用随机采样一致性方法,从步骤一采集的三维点云数据中分割出平面工作台的点云数据,获得剩余的点云数据以及工作台所在平面的平面方程;
并对剩余的点云数据进行聚类处理,分离出盒体工件的点云数据;
步骤三、采用统计滤波算法,对步骤二获得的盒体工件点云数据进行预处理,获得去除离群点后的盒体工件点云;
步骤四、通过旋转变换将去除离群点后的盒体工件点云与相机坐标系进行轴向对齐,获得轴向对齐后的盒体工件点云;
步骤五、求取步骤四获得的轴向对齐后的盒体工件点云的轴向包围盒(AABB包围盒),将轴向包围盒的四个上顶点记为a、b、c和d;
步骤六、在轴向包围盒所包围的点云中,分别寻找出与顶点a、b、c、d距离最近的点,其中:与点a距离最近的点记为a1,与点b距离最近的点记为b1,与点c距离最近的点记为c1,与点d距离最近的点记为d1;
步骤七、通过旋转变换将点a1、b1、c1和d1转换回步骤三获得的去除离群点后的盒体工件点云,得到盒体工件的四个上顶点,将盒体工件的四个上顶点分别记为a2、b2、c2和d2;
步骤八、分别将点a2、b2、c2和d2向工作台所在的平面进行投影,获得盒体工件的四个下顶点;
步骤九、将步骤七得到的四个上顶点和步骤八得到的四个下顶点作为盒体工件顶点的粗略位置,并将获得的盒体工件顶点的粗略位置作为焊缝轨迹的起点与终点,利用线激光扫描仪从焊缝轨迹的起点出发,依次进行扫描,从而得到精确的焊缝点云信息。
本实施方式采用Kinect2设备对焊接空间进行扫描,确定盒体工件顶点的粗略位置,并将其依次作为焊缝轨迹的起点与终点,再利用线激光扫描仪从这些定位点出发,依次进行扫描,从而得到精确的焊缝点云信息,同时提高了焊缝检测的效率,为后续的焊接工作提供了基础。
具体实施方式二:本实施方式与具体实施方式一不同的是:所述步骤一的具体过程为:
将待检测的盒体工件置于平面工作台上,并利用Kinect2设备采集一帧盒体工件和平面工作台空间的三维点云数据;所述三维点云数据是表示在Kinect2设备的相机坐标系下的,所述相机坐标系以Kinect2设备的深度相机中心作为坐标原点,相机坐标系的X轴正方向为Kinect2照射方向的正左方向,Y轴正方向为Kinect2照射方向的正上方向,Z轴正方向为Kinect2照射方向,且X轴、Y轴和Z轴构成右手坐标系。
Kinect2设备固定于平面工作台的斜上方,以俯视的方式采集一帧焊接空间的三维点云数据。
其他步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式二不同的是:所述步骤二的具体过程为:
步骤二一、设置距离阈值dth和最大迭代次数;
步骤二二、设工作台所在平面在相机坐标系下的平面方程为:Ax+By+Cz+D=0,其中:A、B、C和D均为平面方程系数;从步骤一采集的点云数据中随机抽取出不共线的三个点,利用抽取出的不共线的三个点来估计平面方程系数;
步骤二三、抽取出不共线的三个点后,再分别计算剩余的各个点到步骤二二的平面方程的距离di′,其中:di′代表剩余的第i′个点到步骤二二的平面方程的距离;
若di′<dth,则剩余的第i′个点是步骤二二的平面方程内的点,直至剩余的每个点到步骤二二的平面方程的距离计算完成后,统计出步骤二二的平面方程内点的总个数;
步骤二四、重复步骤二二和步骤二三的过程,直至达到设置的最大迭代次数,将各次得到的平面方程内点的总个数进行降序排列,选取最大的总个数对应的平面方程系数作为最优估计,根据最优估计获得工作台所在平面的平面方程;
并将最大的总个数对应的平面方程内点从步骤一采集的点云中删去,得到剩余的点云数据;
步骤二五、对步骤二四获得的剩余点云数据进行欧式聚类(检查剩余点云中任意两点之间的欧式距离,如果两点之间的欧氏距离小于给定阈值,则认为这两个点属于同一簇,否则这两个点不属于同一簇),分离出盒体工件点云。
其他步骤及参数与具体实施方式二相同。
具体实施方式四:本实施方式与具体实施方式三不同的是:所述步骤三的具体过程为:
步骤三一、对于盒体工件点云中的某个点(xj,yj,zj),从盒体工件的点云中寻找出该点的k个近邻点(xi,yi,zi),其中:i=1,2,…,k;寻找的过程中采用KD树来提高搜索效率,并计算寻找出的k个近邻点到点(xj,yj,zj)距离的算术平均值即点(xj,yj,zj)的邻域平均距离;
步骤三二、采用步骤三一中的方法,计算盒体工件点云中每个点的邻域平均距离,再计算盒体工件点云中每个点的邻域平均距离的平均值μ以及盒体工件点云中每个点的邻域平均距离的标准差σ,其中n代表盒体工件点云中点的总个数;
步骤三三、设定标准距离的置信区间R=[μ-p×σ,μ+p×σ],其中p为标准差权重,则邻域平均距离在置信区间之外的点被认为是离群点,将离群点从盒体工件的点云数据中滤除,获得去除离群点后的盒体工件点云。
点(xj,yj,zj)的k个近邻点(xi,yi,zi)是指:从盒体工件的点云中,寻找出与点(xj,yj,zj)距离最近的k个点。
其他步骤及参数与具体实施方式三相同。
具体实施方式五:本实施方式与具体实施方式四不同的是:所述步骤四的具体过程为:
步骤四一、将去除离群点后的盒体工件点云与相机坐标系的Z轴对齐:
步骤四二、将第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐:
采用随机采样一致性方法(同步骤二一至步骤二四的过程)求取第一次变换后的点云S′的侧平面方程:A1x+B1y+C1z+D1=0,其中A1、B1、C1和D1均为侧平面方程系数,则侧平面方程的法向量为:则第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐时,需要的转角为:其中:atan2(A1,B1)代表以相机坐标系的坐标原点O为起点,在XOY坐标平面上的指向为(B1,A1)的射线与X轴正方向之间的夹角;
其他步骤及参数与具体实施方式四相同。
具体实施方式六:本实施方式与具体实施方式五不同的是:所述步骤五的具体过程为:
步骤五一、遍历轴向对齐后的盒体工件点云,分别获得轴向对齐后的盒体工件点云在相机坐标系的X、Y、Z轴方向上的最大坐标值和最小坐标值,其中:X轴方向上的最大坐标值和最小坐标值分别记为xmax和xmin,Y轴方向上的最大坐标值和最小坐标值分别记为ymax和ymin,Z轴方向上的最大坐标值和最小坐标值分别记为zmax和zmin;
步骤五二、将步骤五一的X、Y、Z轴方向上的最大坐标值与最小坐标值进行组合,将8组不同的组合作为轴向对齐后的盒体工件点云的轴向包围盒的八个顶点,从而根据八个顶点构建出盒体工件点云的轴向包围盒;其中轴向包围盒的四个上顶点的坐标分别为:a(xmax,ymin,zmax)、b(xmax,ymax,zmax)、c(xmin,ymax,zmax)和d(xmin,ymin,zmax)。
其他步骤及参数与具体实施方式五相同。
具体实施方式七:本实施方式与具体实施方式六不同的是:所述步骤六的在轴向包围盒所包围的点云中,分别寻找出与顶点a、b、c、d距离最近的点,是通过采用KD树的方式来实现的。
其他步骤及参数与具体实施方式六相同。
本发明在进行欧式聚类、统计滤波及寻找最近点的过程中,均采用KD树结构来提高搜寻的效率,加快了程序运行的速度。
具体实施方式八:本实施方式与具体实施方式七不同的是:所述步骤七的具体过程为:
根据步骤四中的旋转变换关系,将点a1(xa1,ya1,za1)转换回步骤三获得的去除离群点后的盒体工件点云,得到盒体工件的上顶点a2(xa2,ya2,za2):
其中:(xa1,ya1,za1)代表点a1在相机坐标系下的坐标,(xa2,ya2,za2)代表点a2在相机坐标系下的坐标;
同理,得到点b1对应的盒体工件的上顶点b2(xb2,yb2,zb2),得到点c1对应的盒体工件的上顶点c2(xc2,yc2,zc2),得到点d1对应的盒体工件的上顶点d2(xd2,yd2,zd2)。
其他步骤及参数与具体实施方式七相同。
具体实施方式九:本实施方式与具体实施方式八不同的是:所述步骤八的具体过程为:
其中:(xa3,ya3,za3)代表点a3在相机坐标系下的坐标;
同理,得到b2(xb2,yb2,zb2)对应的投影点b3(xb3,yb3,zb3),c2(xc2,yc2,zc2)对应的投影点c3(xc3,yc3,zc3)以及d2(xd2,yd2,zd2)对应的投影点d3(xd3,yd3,zd3),将点a3(xa3,ya3,za3)、b3(xb3,yb3,zb3)、c3(xc3,yc3,zc3)以及d3(xd3,yd3,zd3)作为盒体工件的四个下顶点。
本实施方式的投影平面是步骤二中获得的平面方程所表示的平面。
其他步骤及参数与具体实施方式八相同。
具体实施方式十:本实施方式与具体实施方式一、二、三、四、五、六、七、八或九不同的是:所述步骤九的具体过程为:
采用***标定的方法,确定线激光扫描仪所在机械臂的机械臂坐标系与Kinect2设备的相机坐标系之间的转化关系,将盒体工件顶点的粗略位置转化到机械臂坐标系中,获得转化后的盒体工件顶点位置;
将转化后的盒体工件顶点位置依次作为焊缝轨迹的起点与终点,利用线激光扫描仪从焊缝轨迹的起点出发,依次进行扫描,从而得到精确的焊缝点云信息。
本实施方式中采用的***标定方法为手眼标定,手眼标定又分为Eye-in-Hand和Eye-to-Hand两大类。本发明中机械臂与Kinect2设备的位置关系属于Eye-to-Hand(即Kinect2设备安装在机械臂本体外的固定位置,在机械臂工作过程中,Kinect2设备不随机械臂一起运动)。采用Eye-to-Hand的手眼标定方法,可以得到相机坐标系与机械臂坐标系之间的转化关系,进而,可以将机械臂末端移动到盒体工件顶点的粗略位置处。
其他步骤及参数与具体实施方式一至九相同。
实施例
采用以下实施例验证本发明的有益效果:
本实施例采用所述一种基于三维视觉的盒体工件焊缝的检测方法对工作台平面上的盒体工件焊缝进行检测,按照以下步骤进行:
步骤一、采用Kinect2设备采集一帧焊接空间的三维点云数据,如图2所示;
步骤二、对步骤一中采集得到的三维点云数据,采用随机采样一致性(RANSAC)算法,设置最大迭代次数300和距离阈值dth=0.01(单位:m),分割出工作台平面的点云数据,估计出工作台所在平面方程:-0.51861x+0.59566y+0.613379z-1.01109=0,并对分割后的点云进行欧式聚类,设置欧式距离阈值0.1,分离出盒体工件点云,如图3所示;
步骤三、采用统计滤波算法,设置近邻点个数k=50和标准差权重p=1.0,对步骤二中得到的盒体工件点云进行预处理去除离群点;
步骤四、对步骤三中得到的去除离群点后的盒体工件点云,通过旋转变换与Kinect2的相机坐标系进行轴向对齐;
步骤五、对步骤四中轴向对齐后的盒体工件点云,求取其整体的轴向包围盒,将包围盒的四个上顶点记为a、b、c、d;
步骤六、在包围盒包围的点云中分别寻找与a、b、c、d相距最近的点,分别记为a1、b1、c1、d1,如图4所示;
步骤七、根据之前的旋转变换关系,将a1、b1、c1、d1转换到去除离群点后的盒体工件所在的点云空间,得到盒体工件的四个上顶点,分别记为a2、b2、c2、d2;
步骤八、将a2、b2、c2、d2分别向工作台所在平面进行投影,从而得到盒体工件的四个下顶点a3、b3、c3、d3,如图5所示;
步骤九、将步骤七与步骤八中确定的盒体工件顶点的粗略位置,依次作为焊缝轨迹的起点与终点,用线激光扫描仪从这些定位点出发,依次进行扫描,从而得到精确地焊缝点云信息。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (9)
1.一种基于三维视觉的盒体工件焊缝的检测方法,其特征在于,该方法包括以下步骤:
步骤一、将待检测的盒体工件置于平面工作台上,并采集一帧盒体工件和平面工作台空间的三维点云数据;
步骤二、从步骤一采集的三维点云数据中分割出平面工作台的点云数据,获得剩余的点云数据以及工作台所在平面的平面方程;
并对剩余的点云数据进行聚类处理,分离出盒体工件的点云数据;
步骤三、对步骤二获得的盒体工件点云数据进行预处理,获得去除离群点后的盒体工件点云;
步骤四、通过旋转变换将去除离群点后的盒体工件点云与相机坐标系进行轴向对齐,获得轴向对齐后的盒体工件点云;
步骤五、求取步骤四获得的轴向对齐后的盒体工件点云的轴向包围盒,将轴向包围盒的四个上顶点记为a、b、c和d;
步骤六、在轴向包围盒所包围的点云中,分别寻找出与顶点a、b、c、d距离最近的点,其中:与点a距离最近的点记为a1,与点b距离最近的点记为b1,与点c距离最近的点记为c1,与点d距离最近的点记为d1;
步骤七、通过旋转变换将点a1、b1、c1和d1转换回步骤三获得的去除离群点后的盒体工件点云,得到盒体工件的四个上顶点,将盒体工件的四个上顶点分别记为a2、b2、c2和d2;
步骤八、分别将点a2、b2、c2和d2向工作台所在的平面进行投影,获得盒体工件的四个下顶点;
步骤九、将步骤七得到的四个上顶点和步骤八得到的四个下顶点作为盒体工件顶点的粗略位置,并将获得的盒体工件顶点的粗略位置作为焊缝轨迹的起点与终点,利用线激光扫描仪从焊缝轨迹的起点出发,依次进行扫描,从而得到精确的焊缝点云信息;
所述步骤九的具体过程为:
采用***标定的方法,确定线激光扫描仪所在机械臂的机械臂坐标系与Kinect2设备的相机坐标系之间的转化关系,将盒体工件顶点的粗略位置转化到机械臂坐标系中,获得转化后的盒体工件顶点位置;
将转化后的盒体工件顶点位置依次作为焊缝轨迹的起点与终点,利用线激光扫描仪从焊缝轨迹的起点出发,依次进行扫描,从而得到精确的焊缝点云信息。
2.根据权利要求1所述的一种基于三维视觉的盒体工件焊缝的检测方法,其特征在于,所述步骤一的具体过程为:
将待检测的盒体工件置于平面工作台上,并利用Kinect2设备采集一帧盒体工件和平面工作台空间的三维点云数据;所述三维点云数据是表示在Kinect2设备的相机坐标系下的。
3.根据权利要求2所述的一种基于三维视觉的盒体工件焊缝的检测方法,其特征在于,所述步骤二的具体过程为:
步骤二一、设置距离阈值dth和最大迭代次数;
步骤二二、设工作台所在平面的平面方程为:Ax+By+Cz+D=0,其中:A、B、C和D均为平面方程系数;从步骤一采集的点云数据中随机抽取出不共线的三个点,利用抽取出的不共线的三个点来估计平面方程系数;
步骤二三、抽取出不共线的三个点后,再分别计算剩余的各个点到步骤二二的平面方程的距离di′,其中:di′代表剩余的第i′个点到步骤二二的平面方程的距离;
若di′<dth,则剩余的第i′个点是步骤二二的平面方程内的点,直至剩余的每个点到步骤二二的平面方程的距离计算完成后,统计出步骤二二的平面方程内点的总个数;
步骤二四、重复步骤二二和步骤二三的过程,直至达到设置的最大迭代次数,将各次得到的平面方程内点的总个数进行降序排列,选取最大的总个数对应的平面方程系数作为最优估计,根据最优估计获得工作台所在平面的平面方程;
并将最大的总个数对应的平面方程内点从步骤一采集的点云中删去,得到剩余的点云数据;
步骤二五、对步骤二四获得的剩余点云数据进行欧式聚类,分离出盒体工件点云。
4.根据权利要求3所述的一种基于三维视觉的盒体工件焊缝的检测方法,其特征在于,所述步骤三的具体过程为:
步骤三一、对于盒体工件点云中的某个点(xj,yj,zj),从盒体工件的点云中寻找出该点的k个近邻点(xi,yi,zi),其中:i=1,2,…,k;并计算寻找出的k个近邻点到点(xj,yj,zj)距离的算术平均值即点(xj,yj,zj)的邻域平均距离;
步骤三二、采用步骤三一中的方法,计算盒体工件点云中每个点的邻域平均距离,再计算盒体工件点云中每个点的邻域平均距离的平均值μ以及盒体工件点云中每个点的邻域平均距离的标准差σ,其中n代表盒体工件点云中点的总个数;
5.根据权利要求4所述的一种基于三维视觉的盒体工件焊缝的检测方法,其特征在于,所述步骤四的具体过程为:
步骤四一、将去除离群点后的盒体工件点云与相机坐标系的Z轴对齐:
步骤四二、将第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐:
采用随机采样一致性方法求取第一次变换后的点云S′的侧平面方程:A1x+B1y+C1z+D1=0,其中A1、B1、C1和D1均为侧平面方程系数,则侧平面方程的法向量为:则第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐时,需要的转角为:
6.根据权利要求5所述的一种基于三维视觉的盒体工件焊缝的检测方法,其特征在于,所述步骤五的具体过程为:
步骤五一、遍历轴向对齐后的盒体工件点云,分别获得轴向对齐后的盒体工件点云在相机坐标系的X、Y、Z轴方向上的最大坐标值和最小坐标值,其中:X轴方向上的最大坐标值和最小坐标值分别记为xmax和xmin,Y轴方向上的最大坐标值和最小坐标值分别记为ymax和ymin,Z轴方向上的最大坐标值和最小坐标值分别记为zmax和zmin;
步骤五二、将步骤五一的X、Y、Z轴方向上的最大坐标值与最小坐标值进行组合,将8组不同的组合作为轴向对齐后的盒体工件点云的轴向包围盒的八个顶点,其中:轴向包围盒的四个上顶点的坐标分别为:a(xmax,ymin,zmax)、b(xmax,ymax,zmax)、c(xmin,ymax,zmax)和d(xmin,ymin,zmax)。
7.根据权利要求6所述的一种基于三维视觉的盒体工件焊缝的检测方法,其特征在于,所述步骤六的在轴向包围盒所包围的点云中,分别寻找出与顶点a、b、c、d距离最近的点,是通过采用KD树的方式来实现的。
9.根据权利要求8所述的一种基于三维视觉的盒体工件焊缝的检测方法,其特征在于,所述步骤八的具体过程为:
其中:(xa3,ya3,za3)代表点a3在相机坐标系下的坐标;
同理,得到b2(xb2,yb2,zb2)对应的投影点b3(xb3,yb3,zb3),c2(xc2,yc2,zc2)对应的投影点c3(xc3,yc3,zc3)以及d2(xd2,yd2,zd2)对应的投影点d3(xd3,yd3,zd3),将点a3(xa3,ya3,za3)、b3(xb3,yb3,zb3)、c3(xc3,yc3,zc3)以及d3(xd3,yd3,zd3)作为盒体工件的四个下顶点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910774689.6A CN110455187B (zh) | 2019-08-21 | 2019-08-21 | 一种基于三维视觉的盒体工件焊缝的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910774689.6A CN110455187B (zh) | 2019-08-21 | 2019-08-21 | 一种基于三维视觉的盒体工件焊缝的检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110455187A CN110455187A (zh) | 2019-11-15 |
CN110455187B true CN110455187B (zh) | 2020-06-09 |
Family
ID=68488299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910774689.6A Active CN110455187B (zh) | 2019-08-21 | 2019-08-21 | 一种基于三维视觉的盒体工件焊缝的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110455187B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179221B (zh) * | 2019-12-09 | 2024-02-09 | 中建科工集团有限公司 | 焊接坡口的检测方法、设备及存储介质 |
CN113177983B (zh) * | 2021-03-25 | 2022-10-18 | 埃夫特智能装备股份有限公司 | 基于点云几何特征的角焊缝定位方法 |
CN113188442B (zh) * | 2021-04-30 | 2022-03-15 | 哈尔滨工业大学 | 一种座椅类家具多角度点云测量工装及其拼接方法 |
CN113793344B (zh) * | 2021-08-31 | 2023-09-29 | 无锡砺成智能装备有限公司 | 一种基于三维点云的叶轮焊缝定位方法 |
CN114170176B (zh) * | 2021-12-02 | 2024-04-02 | 南昌大学 | 一种基于点云的钢格板焊缝自动检测方法 |
CN114419046B (zh) * | 2022-03-30 | 2022-06-28 | 季华实验室 | H型钢的焊缝识别方法、装置、电子设备和存储介质 |
CN114782526B (zh) * | 2022-06-22 | 2022-09-02 | 季华实验室 | H型钢的焊缝轨迹计算方法、装置、电子设备及存储介质 |
CN115439644B (zh) * | 2022-08-19 | 2023-08-08 | 广东领慧数字空间科技有限公司 | 一种相似点云数据对齐方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109865919A (zh) * | 2019-04-09 | 2019-06-11 | 云南安视智能设备有限公司 | 一种直角焊接机器人线激光实时焊缝追踪*** |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101961819B (zh) * | 2009-07-22 | 2013-10-30 | 中国科学院沈阳自动化研究所 | 一种激光焊接焊缝跟踪实现装置及其控制方法 |
NL2015839B1 (en) * | 2015-11-23 | 2017-06-07 | Exner Ingenieurstechniek B V | A method of, as well as an industrial robot for performing a processing step at a work piece. |
KR102634535B1 (ko) * | 2016-12-29 | 2024-02-07 | 한화오션 주식회사 | 포인트 집단 분석을 이용한 작업대상물의 터치교시점 인식방법 |
CN107914084A (zh) * | 2017-11-16 | 2018-04-17 | 惠州市契贝科技有限公司 | 曲面薄板及其激光焊接方法、激光焊接*** |
CN108145314A (zh) * | 2017-12-29 | 2018-06-12 | 南京理工大学 | 一种焊装车间机器人高速识别焊缝智能焊接***及方法 |
CN109541997B (zh) * | 2018-11-08 | 2020-06-02 | 东南大学 | 一种面向平面/近似平面工件的喷涂机器人快速智能编程方法 |
CN109978865A (zh) * | 2019-03-28 | 2019-07-05 | 中核建中核燃料元件有限公司 | 一种用于核燃料棒焊缝表面检测的方法、装置 |
-
2019
- 2019-08-21 CN CN201910774689.6A patent/CN110455187B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109865919A (zh) * | 2019-04-09 | 2019-06-11 | 云南安视智能设备有限公司 | 一种直角焊接机器人线激光实时焊缝追踪*** |
Non-Patent Citations (1)
Title |
---|
《Modeling outlier formation in scanning reflective surfaces using a laser stripe scanner》;Yutao Wang等;《Measurement》;20141231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110455187A (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110455187B (zh) | 一种基于三维视觉的盒体工件焊缝的检测方法 | |
CN110370286B (zh) | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 | |
CN110014426B (zh) | 一种利用低精度深度相机高精度抓取形状对称工件的方法 | |
CN106643551B (zh) | 一种叶片形状快速扫描装置及方法 | |
CN101359400B (zh) | 一种基于视觉的管口空间位置定位方法 | |
CN103192397B (zh) | 视觉机器人离线编程方法和*** | |
CN112509063A (zh) | 一种基于边缘特征匹配的机械臂抓取***及方法 | |
CN111598172B (zh) | 基于异构深度网络融合的动态目标抓取姿态快速检测方法 | |
CN114571153A (zh) | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 | |
KR102634535B1 (ko) | 포인트 집단 분석을 이용한 작업대상물의 터치교시점 인식방법 | |
CN116402866A (zh) | 基于点云的零件数字孪生几何建模与误差评定方法及*** | |
CN112017293A (zh) | 一种关于圆钢管几何初始缺陷的测量方法 | |
CN111476841A (zh) | 一种基于点云和图像的识别定位方法及*** | |
CN116740060B (zh) | 基于点云几何特征提取的装配式预制构件尺寸检测方法 | |
CN113532277A (zh) | 板状不规则曲面工件的检测方法及*** | |
CN113799130B (zh) | 一种人机协作装配中的机器人位姿标定方法 | |
CN110992416A (zh) | 基于双目视觉与cad模型的高反光面金属零件位姿测量方法 | |
CN117824502A (zh) | 基于激光三维扫描的复杂组装工件装配非接触检测方法 | |
CN110853103B (zh) | 一种用于深度学习姿态估计的数据集制作方法 | |
CN106447781B (zh) | 一种基于Minkowski和面向自动装配的碰撞检测方法 | |
Sun et al. | Precision work-piece detection and measurement combining top-down and bottom-up saliency | |
CN116385356A (zh) | 一种基于激光视觉的正六边形孔特征的提取方法和*** | |
CN113340215B (zh) | 基于平行约束的平面间断差在线测量方法 | |
Wang et al. | A binocular vision method for precise hole recognition in satellite assembly systems | |
CN110021027B (zh) | 一种基于双目视觉的切边点计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |