CN110455187B - 一种基于三维视觉的盒体工件焊缝的检测方法 - Google Patents

Abstract

一种基于三维视觉的盒体工件焊缝的检测方法，它属于焊接自动化中的焊缝检测技术领域。本发明采用精度较低但测量范围较大的Kinect2设备对焊接空间进行扫描，确定出盒体工件顶点的粗略位置后，将其依次作为焊缝轨迹的起点与终点，再采用精度高的线激光扫描仪从这些定位点出发，依次进行扫描，得到精确的焊缝点云信息。本发明方法与单纯采用线激光扫描仪进行焊缝的三维检测相比，在保证精确检测的同时极大地提高了检测速度。本发明可以应用于盒体工件的焊缝检测。

Description

一种基于三维视觉的盒体工件焊缝的检测方法

技术领域

本发明属于焊接自动化中的焊缝检测技术领域，具体涉及一种盒体工件焊缝的检测方法。

背景技术

随着先进制造技术的飞速发展，机器人自动化焊接技术正逐步取代人工焊接，成为目前焊接领域的主要发展方向。焊缝检测技术作为自动化焊接中的一项关键技术，其检测的精确度、效率及可靠性直接影响了后续的焊接质量。

盒体工件作为一种典型的焊接结构，在航空航天、工业及船舶制造等领域有着广泛的应用，因此实现盒体工件焊缝的自动化焊接具有很高的实际应用价值。

采用线激光扫描仪对盒体工件进行焊缝检测，检测精度高，可靠性好，适合于复杂的工业焊接环境，但其测量范围小，产生的点云稠密。在工件摆放位姿未知的情况下，由于线激光扫描仪视野范围小，用其扫描工件来识别焊缝会消耗大量的时间。同时在扫描的过程中还会产生大量的点云数据，加大了数据处理的难度，导致焊缝检测的效率较低。

发明内容

本发明的目的是为解决现有线激光扫描仪对盒体工件进行焊缝检测的效率低的问题，而提出了一种基于Kinect2与线激光扫描仪相结合的盒体工件焊缝的检测方法。

本发明为解决上述技术问题采取的技术方案是：一种基于三维视觉的盒体工件焊缝的检测方法，该方法包括以下步骤：

步骤一、将待检测的盒体工件置于平面工作台上，并采集一帧盒体工件和平面工作台空间的三维点云数据；

步骤二、采用随机采样一致性方法，从步骤一采集的三维点云数据中分割出平面工作台的点云数据，获得剩余的点云数据以及工作台所在平面的平面方程；

并对剩余的点云数据进行聚类处理，分离出盒体工件的点云数据；

步骤三、对步骤二获得的盒体工件点云数据进行预处理，获得去除离群点后的盒体工件点云；

步骤四、通过旋转变换将去除离群点后的盒体工件点云与相机坐标系进行轴向对齐，获得轴向对齐后的盒体工件点云；

步骤五、求取步骤四获得的轴向对齐后的盒体工件点云的轴向包围盒，将轴向包围盒的四个上顶点记为a、b、c和d；

步骤六、在轴向包围盒所包围的点云中，分别寻找出与顶点a、b、c、d距离最近的点，其中：与点a距离最近的点记为a₁，与点b距离最近的点记为b₁，与点c距离最近的点记为c₁，与点d距离最近的点记为d₁；

步骤七、通过旋转变换将点a₁、b₁、c₁和d₁转换回步骤三获得的去除离群点后的盒体工件点云，得到盒体工件的四个上顶点，将盒体工件的四个上顶点分别记为a₂、b₂、c₂和d₂；

步骤八、分别将点a₂、b₂、c₂和d₂向工作台所在的平面进行投影，获得盒体工件的四个下顶点；

步骤九、将步骤七得到的四个上顶点和步骤八得到的四个下顶点作为盒体工件顶点的粗略位置，并将获得的盒体工件顶点的粗略位置作为焊缝轨迹的起点与终点，利用线激光扫描仪从焊缝轨迹的起点出发，依次进行扫描，从而得到精确的焊缝点云信息。

本发明的有益效果是：本发明提出了一种基于三维视觉的盒体工件焊缝的检测方法，本发明采用精度较低但测量范围较大的Kinect2设备对焊接空间进行扫描，确定出盒体工件顶点的粗略位置后，将其依次作为焊缝轨迹的起点与终点，再采用精度高的线激光扫描仪从这些定位点出发，依次进行扫描，得到精确的焊缝点云信息。本发明方法与单纯采用线激光扫描仪进行焊缝的三维检测相比，在保证精确检测的同时极大地提高了检测速度，满足自动化焊接对效率、精确度及可靠性的要求，为后续的焊接工作提供了基础。

附图说明

图1是本发明的一种基于三维视觉的盒体工件焊缝的检测方法的流程图；

图2是实施例中Kinect2设备采集的一帧焊接空间点云的效果图；

图3是实施例中分割出工作台平面的点云后，对剩余点云进行欧式聚类的效果图；

图4是实施例中求取盒体工件点云的轴向包围盒，并分别寻找出与点a、b、c、d距离最近的点的效果图；(为展示顶点进行了局部放大)

图5是实施例中盒体工件的八个顶点a₂、b₂、c₂、d₂以及a₃、b₃、c₃、d₃的效果图。(为展示顶点进行了局部放大)

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式所述的一种基于三维视觉的盒体工件焊缝的检测方法，该方法包括以下步骤：

步骤一、将待检测的盒体工件置于平面工作台上，并采集一帧盒体工件和平面工作台空间的三维点云数据；

步骤二、采用随机采样一致性方法，从步骤一采集的三维点云数据中分割出平面工作台的点云数据，获得剩余的点云数据以及工作台所在平面的平面方程；

并对剩余的点云数据进行聚类处理，分离出盒体工件的点云数据；

步骤三、采用统计滤波算法，对步骤二获得的盒体工件点云数据进行预处理，获得去除离群点后的盒体工件点云；

步骤四、通过旋转变换将去除离群点后的盒体工件点云与相机坐标系进行轴向对齐，获得轴向对齐后的盒体工件点云；

步骤五、求取步骤四获得的轴向对齐后的盒体工件点云的轴向包围盒(AABB包围盒)，将轴向包围盒的四个上顶点记为a、b、c和d；

步骤六、在轴向包围盒所包围的点云中，分别寻找出与顶点a、b、c、d距离最近的点，其中：与点a距离最近的点记为a₁，与点b距离最近的点记为b₁，与点c距离最近的点记为c₁，与点d距离最近的点记为d₁；

步骤七、通过旋转变换将点a₁、b₁、c₁和d₁转换回步骤三获得的去除离群点后的盒体工件点云，得到盒体工件的四个上顶点，将盒体工件的四个上顶点分别记为a₂、b₂、c₂和d₂；

步骤八、分别将点a₂、b₂、c₂和d₂向工作台所在的平面进行投影，获得盒体工件的四个下顶点；

步骤九、将步骤七得到的四个上顶点和步骤八得到的四个下顶点作为盒体工件顶点的粗略位置，并将获得的盒体工件顶点的粗略位置作为焊缝轨迹的起点与终点，利用线激光扫描仪从焊缝轨迹的起点出发，依次进行扫描，从而得到精确的焊缝点云信息。

本实施方式采用Kinect2设备对焊接空间进行扫描，确定盒体工件顶点的粗略位置，并将其依次作为焊缝轨迹的起点与终点，再利用线激光扫描仪从这些定位点出发，依次进行扫描，从而得到精确的焊缝点云信息，同时提高了焊缝检测的效率，为后续的焊接工作提供了基础。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一的具体过程为：

将待检测的盒体工件置于平面工作台上，并利用Kinect2设备采集一帧盒体工件和平面工作台空间的三维点云数据；所述三维点云数据是表示在Kinect2设备的相机坐标系下的，所述相机坐标系以Kinect2设备的深度相机中心作为坐标原点，相机坐标系的X轴正方向为Kinect2照射方向的正左方向，Y轴正方向为Kinect2照射方向的正上方向，Z轴正方向为Kinect2照射方向，且X轴、Y轴和Z轴构成右手坐标系。

Kinect2设备固定于平面工作台的斜上方，以俯视的方式采集一帧焊接空间的三维点云数据。

其他步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式二不同的是：所述步骤二的具体过程为：

步骤二一、设置距离阈值d_th和最大迭代次数；

步骤二二、设工作台所在平面在相机坐标系下的平面方程为：Ax+By+Cz+D＝0，其中：A、B、C和D均为平面方程系数；从步骤一采集的点云数据中随机抽取出不共线的三个点，利用抽取出的不共线的三个点来估计平面方程系数；

步骤二三、抽取出不共线的三个点后，再分别计算剩余的各个点到步骤二二的平面方程的距离d_i′，其中：d_i′代表剩余的第i′个点到步骤二二的平面方程的距离；

若d_i′＜d_th，则剩余的第i′个点是步骤二二的平面方程内的点，直至剩余的每个点到步骤二二的平面方程的距离计算完成后，统计出步骤二二的平面方程内点的总个数；

步骤二四、重复步骤二二和步骤二三的过程，直至达到设置的最大迭代次数，将各次得到的平面方程内点的总个数进行降序排列，选取最大的总个数对应的平面方程系数作为最优估计，根据最优估计获得工作台所在平面的平面方程；

并将最大的总个数对应的平面方程内点从步骤一采集的点云中删去，得到剩余的点云数据；

步骤二五、对步骤二四获得的剩余点云数据进行欧式聚类(检查剩余点云中任意两点之间的欧式距离，如果两点之间的欧氏距离小于给定阈值，则认为这两个点属于同一簇，否则这两个点不属于同一簇)，分离出盒体工件点云。

其他步骤及参数与具体实施方式二相同。

具体实施方式四：本实施方式与具体实施方式三不同的是：所述步骤三的具体过程为：

步骤三一、对于盒体工件点云中的某个点(x_j,y_j,z_j)，从盒体工件的点云中寻找出该点的k个近邻点(x_i,y_i,z_i)，其中：i＝1,2,…,k；寻找的过程中采用KD树来提高搜索效率，并计算寻找出的k个近邻点到点(x_j,y_j,z_j)距离的算术平均值

即点(x_j,y_j,z_j)的邻域平均距离；

步骤三二、采用步骤三一中的方法，计算盒体工件点云中每个点的邻域平均距离，再计算盒体工件点云中每个点的邻域平均距离的平均值μ以及盒体工件点云中每个点的邻域平均距离的标准差σ，其中n代表盒体工件点云中点的总个数；

步骤三三、设定标准距离的置信区间R＝[μ-p×σ,μ+p×σ]，其中p为标准差权重，则邻域平均距离

在置信区间之外的点被认为是离群点，将离群点从盒体工件的点云数据中滤除，获得去除离群点后的盒体工件点云。

点(x_j,y_j,z_j)的k个近邻点(x_i,y_i,z_i)是指：从盒体工件的点云中，寻找出与点(x_j,y_j,z_j)距离最近的k个点。

其他步骤及参数与具体实施方式三相同。

具体实施方式五：本实施方式与具体实施方式四不同的是：所述步骤四的具体过程为：

步骤四一、将去除离群点后的盒体工件点云与相机坐标系的Z轴对齐：

工作台所在平面的平面方程的法向量

为：

相机坐标系Z轴的方向向量

为：

则由法向量

旋转至方向向量

的转轴

与转角θ分别为：

其中：n_x代表转轴

沿相机坐标系的X轴方向分量，n_y代表转轴

沿相机坐标系的Y轴方向分量，n_z代表转轴

沿相机坐标系的Z轴方向分量；

采用罗德里格斯旋转公式，求得去除离群点后的盒体工件点云与相机坐标系Z轴对齐的旋转变换矩阵

为：

采用旋转变换矩阵

将去除离群点后的盒体工件点云S与相机坐标系的Z轴对齐，得到第一次变换后的点云S′：

步骤四二、将第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐：

采用随机采样一致性方法(同步骤二一至步骤二四的过程)求取第一次变换后的点云S′的侧平面方程：A₁x+B₁y+C₁z+D₁＝0，其中A₁、B₁、C₁和D₁均为侧平面方程系数，则侧平面方程的法向量

为：

则第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐时，需要的转角

为：

其中：atan2(A₁,B₁)代表以相机坐标系的坐标原点O为起点，在XOY坐标平面上的指向为(B₁,A₁)的射线与X轴正方向之间的夹角；

则第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐的旋转变换矩阵

为：

采用旋转变换矩阵

将第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐，得到第二次变换后的点云S″，将第二次变换后的点云S″作为轴向对齐后的盒体工件点云；

其他步骤及参数与具体实施方式四相同。

具体实施方式六：本实施方式与具体实施方式五不同的是：所述步骤五的具体过程为：

步骤五一、遍历轴向对齐后的盒体工件点云，分别获得轴向对齐后的盒体工件点云在相机坐标系的X、Y、Z轴方向上的最大坐标值和最小坐标值，其中：X轴方向上的最大坐标值和最小坐标值分别记为x_max和x_min，Y轴方向上的最大坐标值和最小坐标值分别记为y_max和y_min，Z轴方向上的最大坐标值和最小坐标值分别记为z_max和z_min；

步骤五二、将步骤五一的X、Y、Z轴方向上的最大坐标值与最小坐标值进行组合，将8组不同的组合作为轴向对齐后的盒体工件点云的轴向包围盒的八个顶点，从而根据八个顶点构建出盒体工件点云的轴向包围盒；其中轴向包围盒的四个上顶点的坐标分别为：a(x_max,y_min,z_max)、b(x_max,y_max,z_max)、c(x_min,y_max,z_max)和d(x_min,y_min,z_max)。

其他步骤及参数与具体实施方式五相同。

具体实施方式七：本实施方式与具体实施方式六不同的是：所述步骤六的在轴向包围盒所包围的点云中，分别寻找出与顶点a、b、c、d距离最近的点，是通过采用KD树的方式来实现的。

其他步骤及参数与具体实施方式六相同。

本发明在进行欧式聚类、统计滤波及寻找最近点的过程中，均采用KD树结构来提高搜寻的效率，加快了程序运行的速度。

具体实施方式八：本实施方式与具体实施方式七不同的是：所述步骤七的具体过程为：

根据步骤四中的旋转变换关系，将点a₁(x_a1,y_a1,z_a1)转换回步骤三获得的去除离群点后的盒体工件点云，得到盒体工件的上顶点a₂(x_a2,y_a2,z_a2)：

其中：(x_a1,y_a1,z_a1)代表点a₁在相机坐标系下的坐标，(x_a2,y_a2,z_a2)代表点a₂在相机坐标系下的坐标；

同理，得到点b₁对应的盒体工件的上顶点b₂(x_b2,y_b2,z_b2)，得到点c₁对应的盒体工件的上顶点c₂(x_c2,y_c2,z_c2)，得到点d₁对应的盒体工件的上顶点d₂(x_d2,y_d2,z_d2)。

其他步骤及参数与具体实施方式七相同。

具体实施方式九：本实施方式与具体实施方式八不同的是：所述步骤八的具体过程为：

设点a₂(x_a2,y_a2,z_a2)对应的投影点为a₃(x_a3,y_a3,z_a3)，则向量

平行于法向量

且由于点a₃(x_a3,y_a3,z_a3)位于工作台所在的平面上，则联立求解得到：

其中：(x_a3,y_a3,z_a3)代表点a₃在相机坐标系下的坐标；

同理，得到b₂(x_b2,y_b2,z_b2)对应的投影点b₃(x_b3,y_b3,z_b3)，c₂(x_c2,y_c2,z_c2)对应的投影点c₃(x_c3,y_c3,z_c3)以及d₂(x_d2,y_d2,z_d2)对应的投影点d₃(x_d3,y_d3,z_d3)，将点a₃(x_a3,y_a3,z_a3)、b₃(x_b3,y_b3,z_b3)、c₃(x_c3,y_c3,z_c3)以及d₃(x_d3,y_d3,z_d3)作为盒体工件的四个下顶点。

本实施方式的投影平面是步骤二中获得的平面方程所表示的平面。

其他步骤及参数与具体实施方式八相同。

具体实施方式十：本实施方式与具体实施方式一、二、三、四、五、六、七、八或九不同的是：所述步骤九的具体过程为：

采用***标定的方法，确定线激光扫描仪所在机械臂的机械臂坐标系与Kinect2设备的相机坐标系之间的转化关系，将盒体工件顶点的粗略位置转化到机械臂坐标系中，获得转化后的盒体工件顶点位置；

将转化后的盒体工件顶点位置依次作为焊缝轨迹的起点与终点，利用线激光扫描仪从焊缝轨迹的起点出发，依次进行扫描，从而得到精确的焊缝点云信息。

本实施方式中采用的***标定方法为手眼标定，手眼标定又分为Eye-in-Hand和Eye-to-Hand两大类。本发明中机械臂与Kinect2设备的位置关系属于Eye-to-Hand(即Kinect2设备安装在机械臂本体外的固定位置，在机械臂工作过程中，Kinect2设备不随机械臂一起运动)。采用Eye-to-Hand的手眼标定方法，可以得到相机坐标系与机械臂坐标系之间的转化关系，进而，可以将机械臂末端移动到盒体工件顶点的粗略位置处。

其他步骤及参数与具体实施方式一至九相同。

实施例

采用以下实施例验证本发明的有益效果：

本实施例采用所述一种基于三维视觉的盒体工件焊缝的检测方法对工作台平面上的盒体工件焊缝进行检测，按照以下步骤进行：

步骤一、采用Kinect2设备采集一帧焊接空间的三维点云数据，如图2所示；

步骤二、对步骤一中采集得到的三维点云数据，采用随机采样一致性(RANSAC)算法，设置最大迭代次数300和距离阈值d_th＝0.01(单位：m)，分割出工作台平面的点云数据，估计出工作台所在平面方程：-0.51861x+0.59566y+0.613379z-1.01109＝0，并对分割后的点云进行欧式聚类，设置欧式距离阈值0.1，分离出盒体工件点云，如图3所示；

步骤三、采用统计滤波算法，设置近邻点个数k＝50和标准差权重p＝1.0，对步骤二中得到的盒体工件点云进行预处理去除离群点；

步骤四、对步骤三中得到的去除离群点后的盒体工件点云，通过旋转变换与Kinect2的相机坐标系进行轴向对齐；

步骤五、对步骤四中轴向对齐后的盒体工件点云，求取其整体的轴向包围盒，将包围盒的四个上顶点记为a、b、c、d；

步骤六、在包围盒包围的点云中分别寻找与a、b、c、d相距最近的点，分别记为a₁、b₁、c₁、d₁，如图4所示；

步骤七、根据之前的旋转变换关系，将a₁、b₁、c₁、d₁转换到去除离群点后的盒体工件所在的点云空间，得到盒体工件的四个上顶点，分别记为a₂、b₂、c₂、d₂；

步骤八、将a₂、b₂、c₂、d₂分别向工作台所在平面进行投影，从而得到盒体工件的四个下顶点a₃、b₃、c₃、d₃，如图5所示；

步骤九、将步骤七与步骤八中确定的盒体工件顶点的粗略位置，依次作为焊缝轨迹的起点与终点，用线激光扫描仪从这些定位点出发，依次进行扫描，从而得到精确地焊缝点云信息。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种基于三维视觉的盒体工件焊缝的检测方法，其特征在于，该方法包括以下步骤：

步骤一、将待检测的盒体工件置于平面工作台上，并采集一帧盒体工件和平面工作台空间的三维点云数据；

步骤二、从步骤一采集的三维点云数据中分割出平面工作台的点云数据，获得剩余的点云数据以及工作台所在平面的平面方程；

并对剩余的点云数据进行聚类处理，分离出盒体工件的点云数据；

步骤三、对步骤二获得的盒体工件点云数据进行预处理，获得去除离群点后的盒体工件点云；

步骤四、通过旋转变换将去除离群点后的盒体工件点云与相机坐标系进行轴向对齐，获得轴向对齐后的盒体工件点云；

步骤五、求取步骤四获得的轴向对齐后的盒体工件点云的轴向包围盒，将轴向包围盒的四个上顶点记为a、b、c和d；

步骤六、在轴向包围盒所包围的点云中，分别寻找出与顶点a、b、c、d距离最近的点，其中：与点a距离最近的点记为a₁，与点b距离最近的点记为b₁，与点c距离最近的点记为c₁，与点d距离最近的点记为d₁；

步骤七、通过旋转变换将点a₁、b₁、c₁和d₁转换回步骤三获得的去除离群点后的盒体工件点云，得到盒体工件的四个上顶点，将盒体工件的四个上顶点分别记为a₂、b₂、c₂和d₂；

步骤八、分别将点a₂、b₂、c₂和d₂向工作台所在的平面进行投影，获得盒体工件的四个下顶点；

步骤九、将步骤七得到的四个上顶点和步骤八得到的四个下顶点作为盒体工件顶点的粗略位置，并将获得的盒体工件顶点的粗略位置作为焊缝轨迹的起点与终点，利用线激光扫描仪从焊缝轨迹的起点出发，依次进行扫描，从而得到精确的焊缝点云信息；

所述步骤九的具体过程为：

采用***标定的方法，确定线激光扫描仪所在机械臂的机械臂坐标系与Kinect2设备的相机坐标系之间的转化关系，将盒体工件顶点的粗略位置转化到机械臂坐标系中，获得转化后的盒体工件顶点位置；

将转化后的盒体工件顶点位置依次作为焊缝轨迹的起点与终点，利用线激光扫描仪从焊缝轨迹的起点出发，依次进行扫描，从而得到精确的焊缝点云信息。

2.根据权利要求1所述的一种基于三维视觉的盒体工件焊缝的检测方法，其特征在于，所述步骤一的具体过程为：

将待检测的盒体工件置于平面工作台上，并利用Kinect2设备采集一帧盒体工件和平面工作台空间的三维点云数据；所述三维点云数据是表示在Kinect2设备的相机坐标系下的。

3.根据权利要求2所述的一种基于三维视觉的盒体工件焊缝的检测方法，其特征在于，所述步骤二的具体过程为：

步骤二一、设置距离阈值d_th和最大迭代次数；

步骤二二、设工作台所在平面的平面方程为：Ax+By+Cz+D＝0，其中：A、B、C和D均为平面方程系数；从步骤一采集的点云数据中随机抽取出不共线的三个点，利用抽取出的不共线的三个点来估计平面方程系数；

步骤二三、抽取出不共线的三个点后，再分别计算剩余的各个点到步骤二二的平面方程的距离d_i′，其中：d_i′代表剩余的第i′个点到步骤二二的平面方程的距离；

若d_i′＜d_th，则剩余的第i′个点是步骤二二的平面方程内的点，直至剩余的每个点到步骤二二的平面方程的距离计算完成后，统计出步骤二二的平面方程内点的总个数；

步骤二四、重复步骤二二和步骤二三的过程，直至达到设置的最大迭代次数，将各次得到的平面方程内点的总个数进行降序排列，选取最大的总个数对应的平面方程系数作为最优估计，根据最优估计获得工作台所在平面的平面方程；

并将最大的总个数对应的平面方程内点从步骤一采集的点云中删去，得到剩余的点云数据；

步骤二五、对步骤二四获得的剩余点云数据进行欧式聚类，分离出盒体工件点云。

4.根据权利要求3所述的一种基于三维视觉的盒体工件焊缝的检测方法，其特征在于，所述步骤三的具体过程为：

步骤三一、对于盒体工件点云中的某个点(x_j,y_j,z_j)，从盒体工件的点云中寻找出该点的k个近邻点(x_i,y_i,z_i)，其中：i＝1,2,…,k；并计算寻找出的k个近邻点到点(x_j,y_j,z_j)距离的算术平均值

即点(x_j,y_j,z_j)的邻域平均距离；

步骤三二、采用步骤三一中的方法，计算盒体工件点云中每个点的邻域平均距离，再计算盒体工件点云中每个点的邻域平均距离的平均值μ以及盒体工件点云中每个点的邻域平均距离的标准差σ，其中n代表盒体工件点云中点的总个数；

步骤三三、设定标准距离的置信区间R＝[μ-p×σ,μ+p×σ]，其中p为标准差权重，则邻域平均距离

在置信区间之外的点被认为是离群点，将离群点从盒体工件的点云数据中滤除，获得去除离群点后的盒体工件点云。

5.根据权利要求4所述的一种基于三维视觉的盒体工件焊缝的检测方法，其特征在于，所述步骤四的具体过程为：

步骤四一、将去除离群点后的盒体工件点云与相机坐标系的Z轴对齐：

工作台所在平面的平面方程的法向量

为：

相机坐标系Z轴的方向向量

为：

则由法向量

旋转至方向向量

的转轴

与转角θ分别为：

其中：n_x代表转轴

沿相机坐标系的X轴方向分量，n_y代表转轴

沿相机坐标系的Y轴方向分量，n_z代表转轴

沿相机坐标系的Z轴方向分量；

采用罗德里格斯旋转公式，求得去除离群点后的盒体工件点云与相机坐标系Z轴对齐的旋转变换矩阵

为：

采用旋转变换矩阵

将去除离群点后的盒体工件点云S与相机坐标系的Z轴对齐，得到第一次变换后的点云S′：

步骤四二、将第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐：

采用随机采样一致性方法求取第一次变换后的点云S′的侧平面方程：A₁x+B₁y+C₁z+D₁＝0，其中A₁、B₁、C₁和D₁均为侧平面方程系数，则侧平面方程的法向量

为：

则第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐时，需要的转角

为：

则第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐的旋转变换矩阵

为：

采用旋转变换矩阵

将第一次变换后的点云S′与相机坐标系的X轴和Y轴对齐，得到第二次变换后的点云S″，将第二次变换后的点云S″作为轴向对齐后的盒体工件点云；

6.根据权利要求5所述的一种基于三维视觉的盒体工件焊缝的检测方法，其特征在于，所述步骤五的具体过程为：

步骤五一、遍历轴向对齐后的盒体工件点云，分别获得轴向对齐后的盒体工件点云在相机坐标系的X、Y、Z轴方向上的最大坐标值和最小坐标值，其中：X轴方向上的最大坐标值和最小坐标值分别记为x_max和x_min，Y轴方向上的最大坐标值和最小坐标值分别记为y_max和y_min，Z轴方向上的最大坐标值和最小坐标值分别记为z_max和z_min；

步骤五二、将步骤五一的X、Y、Z轴方向上的最大坐标值与最小坐标值进行组合，将8组不同的组合作为轴向对齐后的盒体工件点云的轴向包围盒的八个顶点，其中：轴向包围盒的四个上顶点的坐标分别为：a(x_max,y_min,z_max)、b(x_max,y_max,z_max)、c(x_min,y_max,z_max)和d(x_min,y_min,z_max)。

7.根据权利要求6所述的一种基于三维视觉的盒体工件焊缝的检测方法，其特征在于，所述步骤六的在轴向包围盒所包围的点云中，分别寻找出与顶点a、b、c、d距离最近的点，是通过采用KD树的方式来实现的。

8.根据权利要求7所述的一种基于三维视觉的盒体工件焊缝的检测方法，其特征在于，所述步骤七的具体过程为：

将点a₁(x_a1,y_a1,z_a1)转换回步骤三获得的去除离群点后的盒体工件点云，得到盒体工件的上顶点a₂(x_a2,y_a2,z_a2)：

其中：(x_a1,y_a1,z_a1)代表点a₁在相机坐标系下的坐标，(x_a2,y_a2,z_a2)代表点a₂在相机坐标系下的坐标；

同理，得到点b₁对应的盒体工件的上顶点b₂(x_b2,y_b2,z_b2)，得到点c₁对应的盒体工件的上顶点c₂(x_c2,y_c2,z_c2)，得到点d₁对应的盒体工件的上顶点d₂(x_d2,y_d2,z_d2)。

9.根据权利要求8所述的一种基于三维视觉的盒体工件焊缝的检测方法，其特征在于，所述步骤八的具体过程为：

设点a₂(x_a2,y_a2,z_a2)对应的投影点为a₃(x_a3,y_a3,z_a3)，则向量

平行于法向量

且由于点a₃(x_a3,y_a3,z_a3)位于工作台所在的平面上，则联立求解得到：

其中：(x_a3,y_a3,z_a3)代表点a₃在相机坐标系下的坐标；

同理，得到b₂(x_b2,y_b2,z_b2)对应的投影点b₃(x_b3,y_b3,z_b3)，c₂(x_c2,y_c2,z_c2)对应的投影点c₃(x_c3,y_c3,z_c3)以及d₂(x_d2,y_d2,z_d2)对应的投影点d₃(x_d3,y_d3,z_d3)，将点a₃(x_a3,y_a3,z_a3)、b₃(x_b3,y_b3,z_b3)、c₃(x_c3,y_c3,z_c3)以及d₃(x_d3,y_d3,z_d3)作为盒体工件的四个下顶点。

Images