CN111192254B - 基于全局阈值与模板匹配的焊缝特征点滤波方法 - Google Patents

基于全局阈值与模板匹配的焊缝特征点滤波方法 Download PDF

Info

Publication number
CN111192254B
CN111192254B CN201911403915.6A CN201911403915A CN111192254B CN 111192254 B CN111192254 B CN 111192254B CN 201911403915 A CN201911403915 A CN 201911403915A CN 111192254 B CN111192254 B CN 111192254B
Authority
CN
China
Prior art keywords
point
template
points
sequence
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911403915.6A
Other languages
English (en)
Other versions
CN111192254A (zh
Inventor
覃高鄂
王昌龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xinje Electric Co Ltd
Original Assignee
Wuxi Xinje Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xinje Electric Co Ltd filed Critical Wuxi Xinje Electric Co Ltd
Priority to CN201911403915.6A priority Critical patent/CN111192254B/zh
Publication of CN111192254A publication Critical patent/CN111192254A/zh
Application granted granted Critical
Publication of CN111192254B publication Critical patent/CN111192254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于全局阈值与模板匹配的焊缝特征点滤波方法，涉及视觉处理技术领域，采用基于全局距离阈值滤波的方法，快速将一些误差较大的点滤除，对于一些误差较小、处于真实焊缝附近、但仍然会影响焊接轨迹的误差点，采用了基于模板滤波的方法将其滤除，最后得到了准确光滑的焊缝轨迹曲线。本方法可有效提高噪音点和误差点的滤波效率，获得准确完整的焊缝轨迹。

Description

基于全局阈值与模板匹配的焊缝特征点滤波方法
技术领域
本发明涉及视觉处理技术领域，尤其是基于全局阈值与模板匹配的焊缝特征点滤波方法。
背景技术
当代的自动化工业领域中，自动焊接技术对生产效率和质量有着越来越明显的改善和提高。虽然现在的焊接机器人大多数已经不需要人工示教和离线编程，但是基于激光引导的焊接仍然存在定位点误差，滤波效果不理想等问题，极大制约了自动焊接技术的发展。
因此，急需一种方案解决上述问题。
发明内容
本发明针对现有技术的不足，提出基于全局阈值与模板匹配的焊缝特征点滤波方法，采用基于全局距离阈值滤波的方法，快速将一些误差较大的点滤除，对于一些误差较小、处于真实焊缝附近、但仍然会影响焊接轨迹的误差点，采用了基于模板滤波的方法将其滤除，最后得到了准确光滑的焊缝轨迹曲线。本方法可有效提高噪音点和误差点的滤波效率，获得准确完整的焊缝轨迹。
为了实现上述发明目的，本发明提供以下技术方案：
基于全局阈值与模板匹配的焊缝特征点滤波方法，包括如下步骤：
(1)对图像定位后并转换到基坐标下的三维点进行降采样；
(2)将步骤(1)得到的降采样点按照焊缝方向的坐标轴排序，获得一组有序的特征点序列，并计算该序列点集中每个点的邻近点距离，得到其均值与方差；
(3)根据步骤(2)得到的距离均值与方差，计算滤波所需要的全局距离阈值；
(4)根据步骤(3)得到的全局阈值，对特征点序列中的点距进行判断：
a.若当前点的邻域均值大于阈值，则将其判断为离群点，将其滤除；
b.若前点的邻域均值小于或等于阈值，则判断为正常点，将其保留；
遍历所有点，得到滤波后点序列，并进行下一步操作；
(5)利用“从有到有”的规则采集模板焊缝，将步骤(4)中所述滤波后点序列作为初始模板点序列；
(6)利用基于梯度变换的迭代在线模板学习方法，对步骤(5)中初始模板点序列进行首尾延长，得到完整模板点序列；
(7)采用模板匹配的方法对步骤(6)中所述完整模板点序列与滤波后的当前扫描点序列进行配准，得配准后模板点；
(8)根据步骤(7)中得到的配准后模板点，通过模板滤波方法处理步骤(7)所述的当前点序列，得到准确的当前焊缝特征点；
(9)采用最小二乘曲线拟合的方法，对步骤(8)中所述特征点进行曲线拟合，得到较为平滑的三维焊接曲线，并发送给ABB工业机器人。
优选的，所述步骤(1)对图像定位后并转换到基坐标下的三维点进行降采样，具体为：利用体素化方法，对采集到的点建立三维栅格，每个栅格的大小为1mm*1mm*1mm。对于处于同一体素内的点，用重心点表示，公式为：
Figure BDA0002348035050000021
Figure BDA0002348035050000022
Figure BDA0002348035050000023
其中，Q为某个栅格内特征点的集合，N为该栅格内点数。
优选的，所述步骤(2)中计算该序列点集中每个点的邻近点距离，得到其均值与方差，公示为：
Figure BDA0002348035050000024
Figure BDA0002348035050000025
上式中，
Figure BDA0002348035050000027
为邻近点距离均值，D(dis)为邻近点距离方差。
优选的，步骤(3)所述中全局距离阈值的公示为：
Figure BDA0002348035050000026
上式中，dthresh为全局距离阈值，σ为人工设置的误差系数(通常取3～5)。
优选的，所述对特征点序列中的点距进行判断，具体为：计算特征点序列中某个点与其前后点之间的距离均值
Figure BDA0002348035050000031
判断其与dtresh的关系：
Figure BDA0002348035050000032
优选的，所述步骤(6)具体为：
(1)利用“从有到有”的规则采集模板焊缝，经过计算得到三维焊缝特征点序列Q0，经过全局阈值滤波处理，得到初始模板序列Q1；
(2)假设需要延长Q1的前半段，即模板焊缝的头部(尾部同理)。设Q1中包含的点数目为N1，
计算头部点序列各个点在其邻域内的局部拟合曲线：
Figure BDA0002348035050000033
Figure BDA0002348035050000034
表示在(xi,yi,zi)处的局部曲线函数，QD表示在该点邻域D中的所有点；
(3)沿焊缝相反方向l计算各个点在局部邻域内的梯度(尾部则方向相同)：
Figure BDA0002348035050000035
得到前N1/2个点在其局部邻域内的梯度；
(4)利用最小二乘法对Gi(i∈[1,N1/2])，计算与其匹配的直线回归方程，方程系数为σ1,σ2；
(5)根据回归方程和已知序列对特征点进行延长：
Figure BDA0002348035050000036
Figure BDA0002348035050000037
表示延长点与起始点之间的步长，
Figure BDA0002348035050000038
表示在初始点序列头部延长的第j个点；
(6)重复步骤(2)—(5)，直到j满足延长点个数。
优选的，步骤(7)中所述配准，具体为：
(1)设模板焊缝点集为M，待匹配点集为P，其对应的点个数分别为NM,NP。根据迭代最近点(ICP)算法，求解满足距离最小平方和的旋转矩阵R和平移举证T，即满足：
Figure BDA0002348035050000041
上式中，Pi表示在点集P中与Mi距离最近的点；
(2)定义两个点集的质心为Mcentroid、Pcentroid，则步骤1中的最小误差公式可转化为：
Figure BDA0002348035050000042
经过整理优化，上述问题可转化为：
Figure BDA0002348035050000043
其中
Figure BDA0002348035050000044
(3)假设最优解为R*，且R*为正交矩阵，则tr(R*H)≥tr(RH)＝tr(BR*H)；
(4)通过对H进行SVD分解，可求解得到R*，则T*＝Pcentroid-RMcentroid；
(5)将步骤(4)中得到的R*，T*作用到M，得到新的模板点集M'；
(6)将M'作为初始模板点集M，重复上述步骤，直到满足设置的迭代次数，或者E小于设定阈值。
有益效果
本发明所提出基于全局阈值与模板匹配的焊缝特征点滤波方法，传统的滤波算法主要通过优化图像定位算法，采用基于全局距离阈值滤波的方法，快速将一些误差较大的点滤除，对于一些误差较小、处于真实焊缝附近、但仍然会影响焊接轨迹的误差点，采用了基于模板滤波的方法将其滤除，最后得到了准确光滑的焊缝轨迹曲线。本方法可有效提高噪音点和误差点的滤波效率，获得准确完整的焊缝轨迹。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明所述基于全局阈值与模板匹配的焊缝特征点滤波方法的效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的滤波算法主要通过优化图像定位算法，减少在图像定位过程中的误差。但是在面对复杂的工业环境时，二维图像优化算法对减少误差点的改善受到了明显的制约。而在进行激光引导的自动焊接过程中，焊缝的轨迹，即机械臂的引导轨迹是一条光滑的三维曲线。
通过设置相机的曝光时间，机械臂的激光拍摄路径以及激光、手眼标定等过程，我们可以得到三维空间下一系列离散的焊缝特征点集。因此，在图像定位优化的基础上，增加了在三维空间下的滤波算法，极大地改善了滤波效果，并在实际的自动引导焊接过程中进行了验证。滤波方法分为两步：
1.基于全局距离阈值的快速三维焊缝点滤波；
2.离线三维模板学习与在线模板滤波。
基于全局阈值与模板匹配的焊缝特征点滤波方法，包括如下步骤：
(1)对图像定位后并转换到基坐标下的三维点进行降采样；
(2)将步骤(1)得到的降采样点按照焊缝方向的坐标轴排序，获得一组有序的特征点序列，并计算该序列点集中每个点的邻近点距离，得到其均值与方差；
(3)根据步骤(2)得到的距离均值与方差，计算滤波所需要的全局距离阈值；
(4)根据步骤(3)得到的全局阈值，对特征点序列中的点距进行判断：
a.若当前点的邻域均值大于阈值，则将其判断为离群点，将其滤除；
b.若前点的邻域均值小于或等于阈值，则判断为正常点，将其保留。
遍历所有点，得到滤波后点序列，并进行下一步操作；
(5)利用“从有到有”的规则采集模板焊缝，将步骤(4)中所述滤波后点序列作为初始模板点序列；
(6)利用基于梯度变换的迭代在线模板学习方法，对步骤(5)中初始模板点序列进行首尾延长，得到完整模板点序列；
(7)采用模板匹配的方法对步骤(6)中所述完整模板点序列与滤波后的当前扫描点序列进行配准，得配准后模板点；
(8)根据步骤(7)中得到的配准后模板点，通过模板滤波方法处理步骤(7)所述的当前点序列，得到准确的当前焊缝特征点；
(9)采用最小二乘曲线拟合的方法，对步骤(8)中所述特征点进行曲线拟合，得到较为平滑的三维焊接曲线，并发送给ABB工业机器人。
具体的，步骤(1)—(4)为基于全局距离阈值的快速三维焊缝点滤波，由于机械手在进行焊枪激光引导时，机械臂存在启动加速和停止减速的环节，使得起点和终点处的点过于密集，不利于机械手操作。且因为图像定位的误差，定位到的特征点甚至会存在轻微回退现象，针对该问题，首先需要对图像定位后的点进行降采样。利用体素化方法，对采集到的点建立三维栅格，每个栅格的大小为1mm*1mm*1mm，对于处于同一体素内的点，用重心点表示。
Figure BDA0002348035050000061
Figure BDA0002348035050000062
Figure BDA0002348035050000063
其中，Q为某个栅格内特征点的集合，N为该栅格内点数。
在机械手坐标系中，设焊枪的前进方向为y轴正方向，即y始终保持增大的规律。
因此，将上述得到的降采样点根据y大小排序，获得一组特征点序列。计算该序列点集的邻近点距离均值与距离方差。
Figure BDA0002348035050000064
Figure BDA0002348035050000065
上式中，
Figure BDA0002348035050000066
为邻近点距离均值，D(dis)为邻近点距离方差。
根据得到的距离均值与方差，计算所需要的全局距离阈值：
Figure BDA0002348035050000067
上式中，dthresh为全局距离阈值，σ为人工设置的误差系数(通常取3～5)。
根据得到的全局阈值，对特征点序列中的点距进行判断。计算特征点序列中某个点与其前后点之间的距离均值
Figure BDA0002348035050000068
判断其与dtresh的关系：
Figure BDA0002348035050000071
如果当前点的邻域均值大于阈值，则将其判断为离群点，将其滤除；若果小于阈值，则判断为正常点，将其保留。
由于位于两端的误差点同行分布比较集中，且其数量无法估计，所以为了能最大限度的将误差点滤除，需要对特征点序列进行循环过滤，滤波次数为Nfilter(一般不小于5)。
步骤(5)—(9)为离线三维模板学习与在线模板滤波，根据以上基于全局距离阈值的快速三维焊缝点滤波的过程，可以对识别定位到的焊缝特征点进行初步的滤波，将误差较大，分布密集的点滤除，得到均匀且排列较为一致的点序列。但是有的误差点与正常点集较为接近，且邻域均值处于正常范围以内，上述滤波过程无法将其滤除。这些误差点的存在对焊枪引导轨迹会存在较大的影响，使得轨迹发生偏移，导致焊接失败。
针对该问题，采用离线三维模板学***移到真实焊缝的位置后再进行模板滤波。
因此，如图1所示，模板滤波可以分为三个部分，离线模板学习，在线模板匹配与模板滤波。
其中，模板学习为：
为了能够使用模板匹配功能，首先需要有一个三维空间下完整且高精度的焊缝模板。离线人工设计模板的方法精度高，可以使模板焊缝有较高的重合度，但是过程较为繁琐，耗时长，不利于自动化生产的发展。因此设计了一种基于梯度变化的迭代模板学习方法。为了在模板学习模式下避免错误点的输入，学习到较好的模板，激光引导时需要以“从有到有”的规则进行焊缝定位，即在模板学习阶段激光线条全部位于焊缝处。由于上述误差点大多集中在焊缝两端，因此需要在两端保持与模板焊缝的高重合度才能使起到模板过滤的效果，否则无法将两端的错误点过滤。而经过初次引导学习到的模板，由于是以“从有到有”的规则采集特征点学习，因此在端口部分会有焊缝段的缺失。为了弥补这一缺失，采用了基于梯度变化的迭代在线模板学习方法，将原有的模板焊缝在两端进行延长。如果直接采用基于最小二乘曲线拟合并延长的方法，由于初始点在端口部分的缺失，无法保证延长后的曲线仍然保持沿焊缝延长方向的轨迹。
基于梯度变化的迭代在线模板学习方法：
1.利用“从有到有”的规则采集模板焊缝，经过计算得到三维焊缝特征点序列Q0，经过全局阈值滤波处理，得到初始模板序列Q1。
2.假设需要延长Q1的前半段，即模板焊缝的头部(尾部同理)。设Q1中包含的点数目为N1，
计算头部点序列各个点在其邻域内的局部拟合曲线：
Figure BDA0002348035050000081
Figure BDA0002348035050000082
表示在(xi,yi,zi)处的局部曲线函数，QD表示在该点邻域D中的所有点。
3.沿焊缝相反方向l计算各个点在局部邻域内的梯度(尾部则方向相同)：
Figure BDA0002348035050000083
得到前N1/2个点在其局部邻域内的梯度。
4.利用最小二乘法对Gi(i∈[1,N1/2])，计算与其匹配的直线回归方程，方程系数为σ1,σ2。
5.根据回归方程和已知序列对特征点进行延长：
Figure BDA0002348035050000084
Figure BDA0002348035050000085
表示延长点与起始点之间的步长，
Figure BDA0002348035050000086
表示在初始点序列头部延长的第j个点。
6.重复2-5步骤，直到j满足延长点个数。
延长效果图(前后各延长4个点，y方向步长为2mm)
模板匹配
为了使学习好的焊缝模板能够最大程度的与真实焊缝重合，使模板焊缝处于真实焊缝的位置上，采用模板匹配的方法进行三维点离散点的配准。
配准流程：
1.设模板焊缝点集为M，待匹配点集为P，其对应的点个数分别为NM,NP。根据迭代最近点(ICP)算法，求解满足距离最小平方和的旋转矩阵R和平移举证T。即满足：
Figure BDA0002348035050000087
上式中，Pi表示在点集P中与Mi距离最近的点。
2.定义两个点集的质心为Mcentroid、Pcentroid。则步骤1中的最小误差公式可转化为：
Figure BDA0002348035050000088
经过整理优化，上述问题可转化为：
Figure BDA0002348035050000091
其中
Figure BDA0002348035050000092
3.假设最优解为R*，且R*为正交矩阵，则tr(R*H)≥tr(RH)＝tr(BR*H)。
4.通过对H进行SVD分解，可求解得到R*，则T*＝Pcentroid-RMcentroid。
5.将步骤4中得到的R*，T*作用到M，得到新的模板点集M'。
6.将M'作为初始模板点集M，重复上述步骤，直到满足设置的迭代次数，或
者E小于设定阈值。
模板滤波
经过模板匹配过程，可以使得模板焊缝点集与当前焊缝真实轨迹基本重合。由于误差点的位置并不处在模板点集的轨迹上，可利用最小二乘曲线拟合方法对匹配后的模板点集进行曲线拟合，得到三维空间中一条光滑的焊缝模板曲线。以点集P中y坐标为自变量，求解得到在模板曲线上该y值对应的x与z，记做x',y'，并判断该点是否属于误差点：
Figure BDA0002348035050000093
上式中，(xi,yi,zi)是当前焊缝点集中的某一点，(xi',yi,zi')是以该点对应的模板坐标，dis表示求解两点之间的距离。D为距离阈值，通常为1.5～2mm。
通过模板滤波，可以将一些通过全局距离阈值难以滤除的误差点滤除，得到准确的焊缝特征点。
经过全局阈值滤波后仍然存在误差点，而经过模板学习，匹配，滤波后，该点已经得到滤除。
最后采用最小二乘曲线拟合的方法，对经过滤波处理后的特征点进行拟合，得到较为平滑的三维焊接曲线，并发送给ABB工业机器人。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.基于全局阈值与模板匹配的焊缝特征点滤波方法，其特征在于：包括如下步骤：
(1)对图像定位后并转换到基坐标下的三维点进行降采样；
(2)将步骤(1)得到的降采样点按照焊缝方向的坐标轴排序，获得一组有序的特征点序列，并计算该序列点集中每个点的邻近点距离，得到其均值与方差；
(3)根据步骤(2)得到的距离均值与方差，计算滤波所需要的全局距离阈值；
(4)根据步骤(3)得到的全局阈值，对特征点序列中的点距进行判断：
a.若当前点的邻域均值大于阈值，则将其判断为离群点，将其滤除；
b.若当前点的邻域均值小于或等于阈值，则判断为正常点，将其保留；
遍历所有点，得到滤波后点序列，并进行下一步操作；
(5)利用“从有到有”的规则采集模板焊缝，将步骤(4)中所述滤波后点序列作为初始模板点序列；
(6)利用基于梯度变换的迭代在线模板学习方法，对步骤(5)中初始模板点序列进行首尾延长，得到完整模板点序列；
(7)采用模板匹配的方法对步骤(6)中所述完整模板点序列与滤波后的当前扫描点序列进行配准，得配准后模板点；
(8)根据步骤(7)中得到的配准后模板点，通过模板滤波方法处理步骤(7)所述的当前点序列，得到准确的当前焊缝特征点；
(9)采用最小二乘曲线拟合的方法，对步骤(8)中所述特征点进行曲线拟合，得到较为平滑的三维焊接曲线，并发送给ABB工业机器人；
所述步骤(6)具体为：
(6.1)利用“从有到有”的规则采集模板焊缝，经过计算得到三维焊缝特征点序列Q0，经过全局阈值滤波处理，得到初始模板序列Q1；
(6.2)假设需要延长Q1的前半段，即模板焊缝的头部，尾部同理；设Q1中包含的点数目为N1，
计算头部点序列各个点在其邻域内的局部拟合曲线：
Figure FDA0003508457000000011
Figure FDA0003508457000000021
表示在(xi,yi,zi)处的局部曲线函数，QD表示在该点邻域D中的所有点；
(6.3)沿焊缝相反方向l计算各个点在局部邻域内的梯度：
Figure FDA0003508457000000022
得到前N1/2个点在其局部邻域内的梯度，尾部则方向相同；
(6.4)利用最小二乘法对Gi(i∈[1,N1/2])，计算与其匹配的直线回归方程，方程系数为σ1,σ2；
(6.5)根据回归方程和已知序列对特征点进行延长：
Figure FDA0003508457000000023
Figure FDA0003508457000000024
表示延长点与起始点之间的步长，
Figure FDA0003508457000000025
表示在初始点序列头部延长的第j个点；
(6.6)重复步骤(6. 2)—(6. 5)，直到j满足延长点个数。
2.根据权利要求1所述基于全局阈值与模板匹配的焊缝特征点滤波方法，其特征在于：所述步骤(1)对图像定位后并转换到基坐标下的三维点进行降采样，具体为：利用体素化方法，对采集到的点建立三维栅格，每个栅格的大小为1mm*1mm*1mm；对于处于同一体素内的点，用重心点表示，公式为：
Figure FDA0003508457000000026
Figure FDA0003508457000000027
Figure FDA0003508457000000028
其中，Q为某个栅格内特征点的集合，N为该栅格内点数。
3.根据权利要求2所述基于全局阈值与模板匹配的焊缝特征点滤波方法，其特征在于：所述步骤(2)中计算该序列点集中每个点的邻近点距离，得到其均值与方差，公示为：
Figure FDA0003508457000000029
Figure FDA00035084570000000210
上式中，
Figure FDA00035084570000000211
为邻近点距离均值，D(dis)为邻近点距离方差。
4.根据权利要求3所述基于全局阈值与模板匹配的焊缝特征点滤波方法，其特征在于：步骤(3)所述中全局距离阈值的公示为：
Figure FDA0003508457000000031
上式中，dthresh为全局距离阈值，σ为人工设置的误差系数取值范围为(3,5)。
5.根据权利要求4所述基于全局阈值与模板匹配的焊缝特征点滤波方法，其特征在于：所述对特征点序列中的点距进行判断，具体为：计算特征点序列中某个点与其前后点之间的距离均值
Figure FDA0003508457000000032
判断其与dtresh的关系：
Figure FDA0003508457000000033
6.根据权利要求1所述基于全局阈值与模板匹配的焊缝特征点滤波方法，其特征在于：步骤(7)中所述配准，具体为：
(1)设模板焊缝点集为M，待匹配点集为P，其对应的点个数分别为NM,NP；根据迭代最近点(ICP)算法，求解满足距离最小平方和的旋转矩阵R和平移举证T，即满足：
Figure FDA0003508457000000034
上式中，Pi表示在点集P中与Mi距离最近的点；
(2)定义两个点集的质心为Mcentroid、Pcentroid，则步骤(1)中的最小误差公式可转化为：
Figure FDA0003508457000000035
经过整理优化，上述问题可转化为：
Figure FDA0003508457000000036
其中
Figure FDA0003508457000000037
(3)假设最优解为R*，且R*为正交矩阵，则tr(R*H)≥tr(RH)＝tr(BR*H)；
(4)通过对H进行SVD分解，可求解得到R*，则T*＝Pcentroid-RMcentroid；
(5)将步骤(4)中得到的R*，T*作用到M，得到新的模板点集M'；
(6)将M'作为初始模板点集M，重复上述步骤，直到满足设置的迭代次数，或者E小于设定阈值。
CN201911403915.6A 2019-12-30 2019-12-30 基于全局阈值与模板匹配的焊缝特征点滤波方法 Active CN111192254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911403915.6A CN111192254B (zh) 2019-12-30 2019-12-30 基于全局阈值与模板匹配的焊缝特征点滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911403915.6A CN111192254B (zh) 2019-12-30 2019-12-30 基于全局阈值与模板匹配的焊缝特征点滤波方法

Publications (2)

Publication Number Publication Date
CN111192254A CN111192254A (zh) 2020-05-22
CN111192254B true CN111192254B (zh) 2022-03-29

Family

ID=70709715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911403915.6A Active CN111192254B (zh) 2019-12-30 2019-12-30 基于全局阈值与模板匹配的焊缝特征点滤波方法

Country Status (1)

Country Link
CN (1) CN111192254B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108982508A (zh) * 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN109900706A (zh) * 2019-03-20 2019-06-18 易思维（杭州）科技有限公司 一种基于深度学习的焊缝及焊缝缺陷检测方法
CN110091333A (zh) * 2019-05-17 2019-08-06 上海交通大学 复杂曲面表面焊缝特征识别和自动磨抛的装置及方法
CN110427966A (zh) * 2019-06-17 2019-11-08 青岛星科瑞升信息科技有限公司 一种基于特征点局部特征剔除误匹配特征点方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582705B2 (en) * 2014-08-31 2017-02-28 Qualcomm Incorporated Layered filtering for biometric sensors
US9953422B2 (en) * 2016-02-23 2018-04-24 Motorola Mobility Llc Selective local registration based on registration error

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108982508A (zh) * 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN109900706A (zh) * 2019-03-20 2019-06-18 易思维（杭州）科技有限公司 一种基于深度学习的焊缝及焊缝缺陷检测方法
CN110091333A (zh) * 2019-05-17 2019-08-06 上海交通大学 复杂曲面表面焊缝特征识别和自动磨抛的装置及方法
CN110427966A (zh) * 2019-06-17 2019-11-08 青岛星科瑞升信息科技有限公司 一种基于特征点局部特征剔除误匹配特征点方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Fast template matching with partial skipping using sub-template";Qiao Zhang 等;《2012 International Conference on Audio, Language and Image Processing》;20121211;889-892 *
"基于机器视觉的纽扣电池表面划痕检测方法研究";杨燕 等;《自动化与仪表》;20190430;第39卷(第4期);50-52 *

Also Published As

Publication number Publication date
CN111192254A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN111775152B (zh) 基于三维测量引导机械臂抓取散乱堆叠工件的方法及***
CN110227876A (zh) 基于3d点云数据的机器人焊接路径自主规划方法
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
CN109719734B (zh) 一种机器人视觉引导的手机闪光灯组装***及组装方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN105643062B (zh) 基于旋转电弧的复杂曲面形状识别及焊枪位姿控制方法
CN106651894B (zh) 基于点云和图像匹配的自动化喷涂***坐标变换方法
CN114571153B (zh) 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN111192307A (zh) 基于激光切割三维零部件的自适应纠偏方法
CN110625644B (zh) 一种基于机器视觉的工件抓取方法
CN109683552B (zh) 一种基面曲线导向的复杂点云模型上的数控加工路径生成方法
CN111311618A (zh) 一种基于高精度几何基元提取的圆弧工件匹配与定位方法
CN113096094A (zh) 三维物体表面缺陷检测方法
CN112536797A (zh) 一种工业机器人的位置与姿态误差综合补偿方法
CN113119108B (zh) 一种二指机械臂抓取方法、***、装置及存储介质
CN111784655A (zh) 一种水下机器人回收定位方法
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接***
CN115018813A (zh) 一种机器人自主识别与精确定位焊缝的方法
CN111192254B (zh) 基于全局阈值与模板匹配的焊缝特征点滤波方法
CN112588621B (zh) 一种基于视觉伺服的农产品分拣方法及***
CN112530267B (zh) 一种基于计算机视觉的机械臂智能示教方法及应用
CN113245094B (zh) 汽车制动鼓机器人喷涂***及方法
CN111709095B (zh) 一种面向复杂曲面6d虚拟夹具构造方法
CN116765569A (zh) 一种基于点云的机器人柱钉辊堆焊路径规划方法
CN115056213A (zh) 一种面向大型复杂构件的机器人轨迹自适应修正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A welding seam feature point filtering method based on global threshold and template matching

Granted publication date: 20220329

Pledgee: Bank of Jiangsu Limited by Share Ltd. Wuxi branch

Pledgor: WUXI XINJE ELECTRONIC Co.,Ltd.

Registration number: Y2024980002296

PE01 Entry into force of the registration of the contract for pledge of patent right