CN113344990A - 孔位表征投影***及自适应拟合的孔位对齐方法 - Google Patents

Abstract

本发明提供了一种孔位表征投影***，并基于该***提出一种自适应拟合的孔位对齐方法，基于边界特征和图像灰度实现生成圆形紧固件孔位完整的图像子区域，子区域内基于阈值自适应计算椭圆边界特征，获取圆形紧固件孔位边缘数据，并计算孔位内最大凹凸量，生成凹凸量信息融合图像，以阶梯颜色表征孔位凹凸特征，采用相机辅助孔位信息投影校验，测试圆形紧固件孔位凹凸量信息逆投影的准确性，能够较好的实现圆形紧固件孔位对齐及深度信息投影表征。

Description

孔位表征投影***及自适应拟合的孔位对齐方法

技术领域

本发明涉及孔位对齐领域，特别涉及一种孔位表征投影***及自适应拟合的孔位对齐方法。

背景技术

三维测量技术是计算机视觉领域的研究热点，在工业制造，医疗诊断，虚拟现实及增强现实中应用广泛。基于结构光的三维测量技术以其测量精度高、鲁棒性强和测量速度快等优势被广泛研究。结构光三维测量装置由投影装置和采集装置组成，其中编码图像经过投影装置投射到被测目标表面，采集装置采集经被测目标扭曲的编码图像，解算被测目标的三维数据。投影图案为不受被测目标表面信息干扰，因此感知精度和速度具有较大优势。

以铆钉为代表的圆形紧固件是工业制造的常见紧固件，其紧固件相对于其邻域紧固表面的凹凸量特征直接决定其表面气动特性，平整的紧固件钉头可以有效减少工件运动中的涡振和颤振，因此圆形紧固件凹凸信息的精确测量在工业制造中具有重要意义。

圆形紧固件孔位凹凸量测量的难点在于工业场景下的孔位提取与对齐，在相机坐标系下圆形紧固件通常为偏心椭圆，圆形紧固件表面与邻域表面的灰度级差较小，全局灰度阈值无法提取准确的圆形紧固件孔位边缘特征，导致圆形紧固件孔位内平面拟合误差较大。此外，圆形紧固件孔位凹凸量策略结果表征是测量与交互的基本途径，其效率与准确性在测量设备质量的重要考虑指标。因此，目前亟需一种***或方法，能够实现圆形紧固件孔位对齐及深度信息投影表征。

发明内容

本发明的目的在于：提供了一种孔位表征投影***，并基于该***提出一种自适应拟合的孔位对齐方法，基于边界特征和图像灰度实现生成圆形紧固件孔位完整的图像子区域，子区域内基于阈值自适应计算椭圆边界特征，获取圆形紧固件孔位边缘数据，并计算孔位内最大凹凸量，生成凹凸量信息融合图像，以阶梯颜色表征孔位凹凸特征，采用相机辅助孔位信息投影校验，测试圆形紧固件孔位凹凸量信息逆投影的准确性，能够较好的实现圆形紧固件孔位对齐及深度信息投影表征。

本发明采用的技术方案如下：

一种孔位表征投影***，包括结构光深度感知单元、阈值自适应图像圆形紧固件孔位分割单元、圆形紧固件孔位凹凸量信息计算单元和圆形紧固件孔位凹凸量信息逆投影单元。

所述的结构光深度感知单元包括结构光设备布设模块、投影图案设计模块和***标定模块，所述结构光设备布设模块用于构建孔位对齐深度信息感知的结构光***，结构光***由一个投影仪和一个相机构成；所述投影图案设计模块用于生成结构光***投影图案，采用双频外差相位移动深度感知方法，高频和低频相位用于求解相位序数，计算深度信息计算所需的绝对相位信息；所述***标定模块用于获取***深度感知所需的内部参数和外部参数；

所述的阈值自适应图像圆形紧固件孔位分割单元包括基于边界特征的圆形紧固件孔位区域分割模块、椭圆拟合阈值自适应计算模块和圆形紧固件孔位分割优化模块；所述圆形紧固件孔位区域分割模块用于在相机图像坐标系中分割圆形紧固件孔位区域，生成以边界特征和图像灰度为基准的圆形紧固件孔位子区域；所述椭圆拟合阈值自适应计算模块，用于计算圆形紧固件孔位在相机图像坐标系中椭圆边界的灰度阈值数据；所述圆形紧固件孔位分割优化模块用于分割圆形紧固件孔位子区域的椭圆数据；

所述圆形紧固件孔位凹凸量信息计算单元；包括孔位内平面拟合模块、孔位外邻域切平面拟合模块和圆形紧固件孔位凹凸量计算模块，所述孔位内平面拟合模块提取铆钉的除铆钉边界外的轮廓内的所有图像，提取螺钉的外轮廓与内轮廓之间的除边界外的同心圆平面；所述孔位外邻域切平面拟合模块获取圆形紧固件孔位邻域范围内二次曲面切平面数据；所述圆形紧固件孔位凹凸量计算模块用于计算孔位相对于孔位边缘切平面的距离信息，基于拟合的孔位内平面和孔位边缘切平面计算孔位内最大凹凸量；

所述圆形紧固件孔位凹凸量信息逆投影单元包括凹凸量信息图像融合模块、凹凸量信息图像仿射变换模块和相机辅助孔位信息投影校验模块；所述凹凸量信息图像融合模块用于融合凹凸量信息投影所需的基图像，以测量的圆形紧固件孔位凹凸量为基础，依据设定阈值分类为平整孔位、凸孔位和凹孔位，其中凸孔位和凹孔位还可以再细分小幅凹凸和大幅凹凸，以阶梯颜色表征孔位凹凸特征；所述凹凸量信息图像仿射变换模块用于计算与被测孔位对齐的凹凸量信息融合图像，依据标定的投影仪内部参数和外部参数确定被测目标的与待投影图像的仿射变换关系；所述相机辅助孔位信息投影校验模块用于测试圆形紧固件孔位凹凸量信息逆投影的准确性，在圆形紧固件孔位凹凸量信息逆投影完成后，采集被测目标区域的图像信息，计算圆形紧固件孔位外邻域灰度变化特征，计算圆形紧固件孔位凹凸量信息逆投影的准确性。

为了更好地实现本方案，进一步地，所述结构光***由一个投影仪和一个相机构成，投影仪与相机水平放置，竖直方向设备保持高度相等。

为了更好地实现本方案，进一步地，所述圆形紧固件孔位区域分割模块生成以边界特征和图像灰度为基准的圆形紧固件孔位子区域时，以灰度级差为基础，初步分割图像子区域，以Canny算子边缘检测为基础，拟合边界的椭圆曲率；区域分割边界在拟合椭圆边界向外延拓，构建分割区域内椭圆完整的图像子区域。

为了更好地实现本方案，进一步地，所述孔位外邻域切平面拟合模块获取圆形紧固件孔位邻域范围内二次曲面切平面数据时，要求圆形紧固件孔位拟合的椭圆边缘与切平面重合；

一种自适应拟合的孔位对齐方法，基于上述任一种所述的孔位表征投影***，包括以下步骤：

步骤S1，构建结构光***，建立孔位对齐深度信息感知：所述结构光***由一个投影仪和一个相机构成，投影图案采用双频外差相位移动深度感知方法，相位序数依据高频相位分段，结合低频数据计算投影仪坐标系下的坐标值：

其中Ts为低频编码图像的周期，Tm为高频编码图像的周期，

为低频相位信息，

为高频相位信息，round(·)为四舍五入取整函数；

使用***标定方法计算设备间的内部参数和外部参数，其中内部参数包括焦距、光心及畸变参数，外部参数包括平移矩阵和旋转矩阵；

步骤S2，圆形紧固件孔位自适应分割：基于图像灰度级差分割相机采集的圆形紧固件图像，其中灰度级差定义为：

其中T为拟分割级数，P(x,y)为坐标(x,y)的像素值，依据级数T将区域分为子区域，为了避免子区域的圆形紧固件孔位不完整，基于canny边缘检测算子计算子区域内边缘数据，将提取到的边缘数据依据8邻域连通特性分组，计算其拟合的椭圆圆心及边缘，椭圆拟合方法为：

依据拟合的椭圆边缘向外缘延拓s像素，与原区域分割子区域取并集，确保分割图像子区域内椭圆的完整性，使用高斯滤波对子区域图像进行平滑处理，降低部分高亮噪点，离散高斯卷积核模板分布公式为：

基于子区域内的灰度分布特征调节子区域内的图像对比度，判断横纵两个方向的梯度特征，通过双阈值边缘检测，当梯度大于预设高阈值θmax时，判定为边界点，反之低于预设低阈值θmin时，判定为非边界点；再次将提取到的边缘数据依据8邻域连通特性分组，计算其轮廓周长与轮廓面积比，表示为：

其中c_t为单个轮廓点集，C_T0为原始所有轮廓的集合，C_T为处理后的轮廓集合，l_ct为轮廓周长，S_ct为轮廓矩形区域面积，l_thrd为周长阈值，R_thrd为面周比阈值，再基于椭圆拟合算法计算子区域内的椭圆数据；

步骤S3，圆形紧固件孔位凹凸量信息计算：对螺钉与铆钉的平面提取进行分别处理；对于铆钉，提取除铆钉边界外的轮廓内所有图像；对于螺钉，提取其外轮廓与内轮廓之间的除边界外的同心圆平面；基于提取的圆形紧固件孔位边缘数据向内延拓，减少孔位边缘数据深度跳变数据干扰；对平面方程进行拟合，计算圆形紧固件孔位内平面方程，由此拟合圆形紧固件孔位内平面π₁和圆形紧固件孔位邻域切平面π₂，计算相机坐标系下坐标点关于π₁到π₂的距离d_f(x,y)，圆形紧固件孔位凹凸量定义为：

D_f＝max[df(x，y)] (x，y)∈π₁

步骤S4，圆形紧固件孔位凹凸量信息逆投影：凹凸量信息基于相机采集图像和椭圆分割结果融合，由于投影仪与相机的内部参数和外部参数已经标定，经过深度计算后，获取圆形紧固件孔位在投影仪和相机的像素对应关系，依据投影仪坐标系坐标赋值颜色，其中椭圆外区域定义为黑色，色值(0,0,0)，椭圆内区域颜色随凹凸量信息而变化，当凹凸量绝对值小于阈值θ_flat时定义为圆形紧固件孔位平整，区域颜色设定为C₁；当凹凸量为负，且绝对值大于θ_flat时，定义为凹陷，区域颜色设定为C₂；当凹凸量为正，且绝对值大于θ_flat时，定义为凸起，区域颜色设定为C₃；基于融合的投影仪坐标系图片将融合圆形紧固件孔位凹凸量信息逆投影到被测目标表面；通过相机采集逆投影信息，重新计算圆形紧固件孔位外的灰度变化，当灰度变化之和小于阈值θ_gray时，定义逆投影数据有效。

为了更好地实现本方案，进一步地，所述步骤S1中的***标定方法采用张正友标定法。

为了更好地实现本方案，进一步地，所述步骤S3中基于RANSAC算法和最小二乘法对平面方程进行拟合。

本发明提供了一种孔位表征投影***，并基于该***提出一种自适应拟合的孔位对齐方法，基于边界特征和图像灰度实现生成圆形紧固件孔位完整的图像子区域，区域内灰度分布特性相对一致。子区域内再基于阈值自适应计算椭圆边界特征，获取准确性较高的圆形紧固件孔位边缘数据。并设计圆形紧固件孔位凹凸量信息计算方法，基于圆形紧固件孔位边缘数据获取圆形紧固件孔位内平面和圆形紧固件孔位邻域切平面，基于拟合的孔位内平面和孔位边缘切平面计算孔位内最大凹凸量。设计圆形紧固件孔位凹凸量信息逆投影方法，基于凹凸量信息在投影仪坐标系下生成凹凸量信息融合图像。依据设定阈值分类为平整孔位、凸孔位和凹孔位，其中凸孔位和凹孔位还可以再细分小幅凹凸和大幅凹凸，以阶梯颜色表征孔位凹凸特征。采用相机辅助孔位信息投影校验，测试圆形紧固件孔位凹凸量信息逆投影的准确性。本发明提出的孔位表征投影***及自适应拟合的孔位对齐方法具有非常高的实用性和可行性。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明所述的一种孔位表征投影***，并基于该***提出一种自适应拟合的孔位对齐方法，基于边界特征和图像灰度实现生成圆形紧固件孔位完整的图像子区域，子区域内基于阈值自适应计算椭圆边界特征，获取圆形紧固件孔位边缘数据，并计算孔位内最大凹凸量，生成凹凸量信息融合图像，以阶梯颜色表征孔位凹凸特征，采用相机辅助孔位信息投影校验，测试圆形紧固件孔位凹凸量信息逆投影的准确性，能够较好的实现圆形紧固件孔位对齐及深度信息投影表征；

2.本发明所述的一种孔位表征投影***，并基于该***提出一种自适应拟合的孔位对齐方法，基于边界特征和图像灰度实现生成圆形紧固件孔位完整的图像子区域，子区域内基于阈值自适应计算椭圆边界特征，获取圆形紧固件孔位边缘数据，并计算孔位内最大凹凸量，生成凹凸量信息融合图像，以阶梯颜色表征孔位凹凸特征，采用相机辅助孔位信息投影校验，测试圆形紧固件孔位凹凸量信息逆投影的准确性，适用于不同的实用场景，实用性高。

附图说明

为了更清楚地说明本技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：

图1是本发明的***结构框架图；

图2是本发明的圆形紧固件孔位示意图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合图1至图2对本发明作详细说明。

实施例1：

一种孔位表征投影***，如图1，包括结构光深度感知单元、阈值自适应图像圆形紧固件孔位分割单元、圆形紧固件孔位凹凸量信息计算单元和圆形紧固件孔位凹凸量信息逆投影单元。

所述的结构光深度感知单元包括结构光设备布设模块、投影图案设计模块和***标定模块，所述结构光设备布设模块用于构建孔位对齐深度信息感知的结构光***，结构光***由一个投影仪和一个相机构成；所述投影图案设计模块用于生成结构光***投影图案，采用双频外差相位移动深度感知方法，高频和低频相位用于求解相位序数，计算深度信息计算所需的绝对相位信息；所述***标定模块用于获取***深度感知所需的内部参数和外部参数；

所述的阈值自适应图像圆形紧固件孔位分割单元包括基于边界特征的圆形紧固件孔位区域分割模块、椭圆拟合阈值自适应计算模块和圆形紧固件孔位分割优化模块；所述圆形紧固件孔位区域分割模块用于在相机图像坐标系中分割圆形紧固件孔位区域，生成以边界特征和图像灰度为基准的圆形紧固件孔位子区域；所述椭圆拟合阈值自适应计算模块，用于计算圆形紧固件孔位在相机图像坐标系中椭圆边界的灰度阈值数据；所述圆形紧固件孔位分割优化模块用于分割圆形紧固件孔位子区域的椭圆数据；

所述圆形紧固件孔位凹凸量信息计算单元；包括孔位内平面拟合模块、孔位外邻域切平面拟合模块和圆形紧固件孔位凹凸量计算模块，所述孔位内平面拟合模块提取铆钉的除铆钉边界外的轮廓内的所有图像，提取螺钉的外轮廓与内轮廓之间的除边界外的同心圆平面；所述孔位外邻域切平面拟合模块获取圆形紧固件孔位邻域范围内二次曲面切平面数据；所述圆形紧固件孔位凹凸量计算模块用于计算孔位相对于孔位边缘切平面的距离信息，基于拟合的孔位内平面和孔位边缘切平面计算孔位内最大凹凸量；

所述圆形紧固件孔位凹凸量信息逆投影单元包括凹凸量信息图像融合模块、凹凸量信息图像仿射变换模块和相机辅助孔位信息投影校验模块；所述凹凸量信息图像融合模块用于融合凹凸量信息投影所需的基图像，以测量的圆形紧固件孔位凹凸量为基础，依据设定阈值分类为平整孔位、凸孔位和凹孔位，其中凸孔位和凹孔位还可以再细分小幅凹凸和大幅凹凸，以阶梯颜色表征孔位凹凸特征；所述凹凸量信息图像仿射变换模块用于计算与被测孔位对齐的凹凸量信息融合图像，依据标定的投影仪内部参数和外部参数确定被测目标的与待投影图像的仿射变换关系；所述相机辅助孔位信息投影校验模块用于测试圆形紧固件孔位凹凸量信息逆投影的准确性，在圆形紧固件孔位凹凸量信息逆投影完成后，采集被测目标区域的图像信息，计算圆形紧固件孔位外邻域灰度变化特征，计算圆形紧固件孔位凹凸量信息逆投影的准确性。

实施例2

本实施例在实施例1的基础上，所述结构光***由一个投影仪和一个相机构成，投影仪与相机水平放置，竖直方向设备保持高度相等。

所述圆形紧固件孔位区域分割模块生成以边界特征和图像灰度为基准的圆形紧固件孔位子区域时，以灰度级差为基础，初步分割图像子区域，以Canny算子边缘检测为基础，拟合边界的椭圆曲率；区域分割边界在拟合椭圆边界向外延拓，构建分割区域内椭圆完整的图像子区域。

所述孔位外邻域切平面拟合模块获取圆形紧固件孔位邻域范围内二次曲面切平面数据时，要求圆形紧固件孔位拟合的椭圆边缘与切平面重合；

本实施例的其他部分与上述实施例1相同，故不再赘述。

实施例3

一种自适应拟合的孔位对齐方法，基于实施例1或2任一种所述的孔位表征投影***，包括以下步骤：

步骤S1，构建结构光***，建立孔位对齐深度信息感知：所述结构光***由一个投影仪和一个相机构成，投影图案采用双频外差相位移动深度感知方法，相位序数依据高频相位分段，结合低频数据计算投影仪坐标系下的坐标值：

其中Ts为低频编码图像的周期，Tm为高频编码图像的周期，

为低频相位信息，

为高频相位信息，round(·)为四舍五入取整函数；

使用***标定方法计算设备间的内部参数和外部参数，其中内部参数包括焦距、光心及畸变参数，外部参数包括平移矩阵和旋转矩阵；

步骤S2，圆形紧固件孔位自适应分割：基于图像灰度级差分割相机采集的圆形紧固件图像，其中灰度级差定义为：

其中T为拟分割级数，P(x,y)为坐标(x,y)的像素值，依据级数T将区域分为子区域，为了避免子区域的圆形紧固件孔位不完整，基于canny边缘检测算子计算子区域内边缘数据，将提取到的边缘数据依据8邻域连通特性分组，计算其拟合的椭圆圆心及边缘，椭圆拟合方法为：

依据拟合的椭圆边缘向外缘延拓s像素，与原区域分割子区域取并集，确保分割图像子区域内椭圆的完整性，使用高斯滤波对子区域图像进行平滑处理，降低部分高亮噪点，离散高斯卷积核模板分布公式为：

基于子区域内的灰度分布特征调节子区域内的图像对比度，判断横纵两个方向的梯度特征，通过双阈值边缘检测，当梯度大于预设高阈值θmax时，判定为边界点，反之低于预设低阈值θmin时，判定为非边界点；再次将提取到的边缘数据依据8邻域连通特性分组，计算其轮廓周长与轮廓面积比，表示为：

其中c_t为单个轮廓点集，C_T0为原始所有轮廓的集合，C_T为处理后的轮廓集合，l_ct为轮廓周长，S_ct为轮廓矩形区域面积，l_thrd为周长阈值，R_thrd为面周比阈值，再基于椭圆拟合算法计算子区域内的椭圆数据；

步骤S3，圆形紧固件孔位凹凸量信息计算：对螺钉与铆钉的平面提取进行分别处理；对于铆钉，提取除铆钉边界外的轮廓内所有图像；对于螺钉，提取其外轮廓与内轮廓之间的除边界外的同心圆平面；基于提取的圆形紧固件孔位边缘数据向内延拓，减少孔位边缘数据深度跳变数据干扰；对平面方程进行拟合，计算圆形紧固件孔位内平面方程，由此拟合圆形紧固件孔位内平面π₁和圆形紧固件孔位邻域切平面π₂，计算相机坐标系下坐标点关于π₁到π₂的距离d_f(x,y)，圆形紧固件孔位凹凸量定义为：

D_f＝max[df(x，y)] (x，y)∈π₁

步骤S4，圆形紧固件孔位凹凸量信息逆投影：凹凸量信息基于相机采集图像和椭圆分割结果融合，由于投影仪与相机的内部参数和外部参数已经标定，经过深度计算后，获取圆形紧固件孔位在投影仪和相机的像素对应关系，依据投影仪坐标系坐标赋值颜色，其中椭圆外区域定义为黑色，色值(0,0,0)，椭圆内区域颜色随凹凸量信息而变化，当凹凸量绝对值小于阈值θ_flat时定义为圆形紧固件孔位平整，区域颜色设定为C₁；当凹凸量为负，且绝对值大于θ_flat时，定义为凹陷，区域颜色设定为C₂；当凹凸量为正，且绝对值大于θ_flat时，定义为凸起，区域颜色设定为C₃；基于融合的投影仪坐标系图片将融合圆形紧固件孔位凹凸量信息逆投影到被测目标表面；通过相机采集逆投影信息，重新计算圆形紧固件孔位外的灰度变化，当灰度变化之和小于阈值θ_gray时，定义逆投影数据有效。

工作原理：本实施例基于实施例1或2的孔位表征投影***，提出一种自适应拟合的孔位对齐方法，基于边界特征和图像灰度实现生成圆形紧固件孔位完整的图像子区域，区域内灰度分布特性相对一致。子区域内再基于阈值自适应计算椭圆边界特征，获取准确性较高的圆形紧固件孔位边缘数据。并设计圆形紧固件孔位凹凸量信息计算方法，基于圆形紧固件孔位边缘数据获取圆形紧固件孔位内平面和圆形紧固件孔位邻域切平面，基于拟合的孔位内平面和孔位边缘切平面计算孔位内最大凹凸量。设计圆形紧固件孔位凹凸量信息逆投影方法，基于凹凸量信息在投影仪坐标系下生成凹凸量信息融合图像。依据设定阈值分类为平整孔位、凸孔位和凹孔位，其中凸孔位和凹孔位还可以再细分小幅凹凸和大幅凹凸，以阶梯颜色表征孔位凹凸特征。采用相机辅助孔位信息投影校验，测试圆形紧固件孔位凹凸量信息逆投影的准确性。本实施例提出的孔位表征投影***及自适应拟合的孔位对齐方法具有非常高的实用性和可行性。

实施例4

本实施例在实施例3的基础上，所述步骤S1中的***标定方法采用张正友标定法。

所述步骤S3中基于RANSAC算法和最小二乘法对平面方程进行拟合。

本实施例的其他部分与上述实施例3相同，故不再赘述。

实施例5

一种基于特征匹配的圆形紧固件孔位对齐方法，该方法包括以下步骤：

(1)构建基于结构光的孔位对齐深度信息感知***。结构光***中投影仪与相机水平放置，距离设定为10cm，竖直方向设备保持高度相等。待测圆形紧固件孔位目标距离结构光***距离为40cm-50cm。投影图案采用双频外差相位移动深度感知方法，其中高频相位移动图像周期设置为19，步长设置为38。低频相位移动图像周期W，W表示为投影仪横向分辨率。相位序数依据高频相位分段，结合低频数据计算投影仪坐标系下的坐标值，表示如下：

其中T_s为低频编码图像的周期，T_m为高频编码图像的周期。φ_s为低频相位信息φ_m为高频相位信息。round(·)为四舍五入取整函数。

采用张正友标定法计算设备间的内部参数和外部参数。其中内部参数包括焦距，光心及畸变参数。外部参数包括平移矩阵和旋转矩阵。

(2)圆形紧固件孔位自适应分割。基于图像灰度级差分割相机采集的圆形紧固件图像，其中灰度级差定义如下：

其中T为拟分割级数，设定为20，P(x,y)为坐标(x,y)的像素值。因此将采集图像区域分为20子区域。基于canny算子边缘检测计算子区域内边缘数据。将边缘点8邻域相连且长度大于10像素作为椭圆拟合基础数据组，计算其拟合的椭圆圆心及边缘

依据拟合的椭圆边缘向外缘延拓5像素，与原区域分割子区域取并集，确保分割图像子区域内椭圆的完整性。基于高斯滤波对子区域图像进行平滑处理，降低部分高亮噪点。基于子区域内的灰度分布特征调节子区域内的图像对比度，判断横纵两个方向的梯度特征，通过双阈值边缘检测，当梯度大于预设高阈值θ_max时，判定为边界点，反之低于预设低阈值θ_min时，判定为非边界点。其中θ_max设定为40，θ_min设定为10。再次将提取到的边缘数据依据8邻域连通特性分组，将边缘点8邻域相连且长度大于10像素椭圆候选组计算其轮廓周长与轮廓面积比，表示如下：

其中c_t为单个轮廓点集,C_T0为原始所有轮廓的集合,C_T为处理后的轮廓集合，l_ct为轮廓周长，S_ct为轮廓矩形区域面积，l_thrd和R_thrd分别为周长阈值和面周比阈值。再基于椭圆拟合算法计算子区域内的椭圆数据。

(3)圆形紧固件孔位凹凸量信息计算。对于铆钉，提取除铆钉边界外的轮廓内所有图像；对于螺钉，则提取其外轮廓与内轮廓之间的除边界外的同心圆平面。基于提取的圆形紧固件孔位边缘数据向内延拓3像素，减少孔位边缘数据深度跳变数据干扰。基于RANSAC(随机采样一致性)算法和最小二乘法对平面方程进行拟合，计算圆形紧固件孔位内平面是方程，平面模型如下：

A_fx_f+B_fy_f+C_fz_f＝1

其中A_f，B_f，C_f为平面方程待定系数，(x_f,y_f,z_f)为拟合平面上点坐标。由此拟合圆形紧固件孔位内平面π₁和圆形紧固件孔位邻域切平面π₂。计算相机坐标系下坐标点关于π₁到π₂的距离d_f(x,y)。

圆形紧固件孔位凹凸量信息逆投影。凹凸量信息基于相机采集图像和椭圆分割结果融合，颜色赋值时依据投影仪坐标系坐标赋值。其中椭圆外区域定义为黑色，色值(0,0,0)。椭圆内区域颜色随凹凸量信息而变化。当凹凸量绝对值小于阈值θ_flat时定义为圆形紧固件孔位平整，颜色为绿色，色值为(0,255,0)。当凹凸量为负，且绝对值大于θ_flat时，定义为凹陷，颜色为橘色，色值为(255,128,0)。当凹凸量为正，且绝对值大于θ_flat时，定义为凸起，颜色为粉色，色值为(255,0,128)。基于融合的投影仪坐标系图片将融合圆形紧固件孔位凹凸量信息逆投影到被测目标表面。在0.5s内通过相机采集逆投影信息，重新计算圆形紧固件孔位外的灰度变化，逆投影数据有效阈值设定为50。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种孔位表征投影***，包括结构光深度感知单元、阈值自适应图像圆形紧固件孔位分割单元、圆形紧固件孔位凹凸量信息计算单元和圆形紧固件孔位凹凸量信息逆投影单元，其特征在于：

所述的结构光深度感知单元包括结构光设备布设模块、投影图案设计模块和***标定模块，所述结构光设备布设模块用于构建孔位对齐深度信息感知的结构光***，结构光***由一个投影仪和一个相机构成；所述投影图案设计模块用于生成结构光***投影图案，采用双频外差相位移动深度感知方法，高频和低频相位用于求解相位序数，计算深度信息计算所需的绝对相位信息；所述***标定模块用于获取***深度感知所需的内部参数和外部参数；

所述的阈值自适应图像圆形紧固件孔位分割单元包括基于边界特征的圆形紧固件孔位区域分割模块、椭圆拟合阈值自适应计算模块和圆形紧固件孔位分割优化模块；所述圆形紧固件孔位区域分割模块用于在相机图像坐标系中分割圆形紧固件孔位区域，生成以边界特征和图像灰度为基准的圆形紧固件孔位子区域；所述椭圆拟合阈值自适应计算模块，用于计算圆形紧固件孔位在相机图像坐标系中椭圆边界的灰度阈值数据；所述圆形紧固件孔位分割优化模块用于分割圆形紧固件孔位子区域的椭圆数据；

所述圆形紧固件孔位凹凸量信息计算单元；包括孔位内平面拟合模块、孔位外邻域切平面拟合模块和圆形紧固件孔位凹凸量计算模块，所述孔位内平面拟合模块提取铆钉的除铆钉边界外的轮廓内的所有图像，提取螺钉的外轮廓与内轮廓之间的除边界外的同心圆平面；所述孔位外邻域切平面拟合模块获取圆形紧固件孔位邻域范围内二次曲面切平面数据；所述圆形紧固件孔位凹凸量计算模块用于计算孔位相对于孔位边缘切平面的距离信息，基于拟合的孔位内平面和孔位边缘切平面计算孔位内最大凹凸量；

所述圆形紧固件孔位凹凸量信息逆投影单元包括凹凸量信息图像融合模块、凹凸量信息图像仿射变换模块和相机辅助孔位信息投影校验模块；所述凹凸量信息图像融合模块用于融合凹凸量信息投影所需的基图像，以测量的圆形紧固件孔位凹凸量为基础，依据设定阈值分类为平整孔位、凸孔位和凹孔位，以阶梯颜色表征孔位凹凸特征；所述凹凸量信息图像仿射变换模块用于计算与被测孔位对齐的凹凸量信息融合图像，依据标定的投影仪内部参数和外部参数确定被测目标的与待投影图像的仿射变换关系；所述相机辅助孔位信息投影校验模块用于测试圆形紧固件孔位凹凸量信息逆投影的准确性，在圆形紧固件孔位凹凸量信息逆投影完成后，采集被测目标区域的图像信息，计算圆形紧固件孔位外邻域灰度变化特征，计算圆形紧固件孔位凹凸量信息逆投影的准确性。

2.根据权利要求1所述的一种孔位表征投影***，其特征在于：所述结构光***由一个投影仪和一个相机构成，投影仪与相机水平放置，竖直方向设备保持高度相等。

3.根据权利要求1所述的一种孔位表征投影***，其特征在于：所述圆形紧固件孔位区域分割模块生成以边界特征和图像灰度为基准的圆形紧固件孔位子区域时，以灰度级差为基础，初步分割图像子区域，以Canny算子边缘检测为基础，拟合边界的椭圆曲率；区域分割边界在拟合椭圆边界向外延拓，构建分割区域内椭圆完整的图像子区域。

4.根据权利要求1所述的一种孔位表征投影***，其特征在于：所述孔位外邻域切平面拟合模块获取圆形紧固件孔位邻域范围内二次曲面切平面数据时，要求圆形紧固件孔位拟合的椭圆边缘与切平面重合。

5.一种自适应拟合的孔位对齐方法，基于权利要求1-4中任一项所述的孔位表征投影***，其特征在于，包括以下步骤：

步骤S1，构建结构光***，建立孔位对齐深度信息感知：所述结构光***由一个投影仪和一个相机构成，投影图案采用双频外差相位移动深度感知方法，相位序数依据高频相位分段，结合低频数据计算投影仪坐标系下的坐标值：

其中Ts为低频编码图像的周期，Tm为高频编码图像的周期，

为低频相位信息，

为高频相位信息，round(·)为四舍五入取整函数；

使用***标定方法计算设备间的内部参数和外部参数，其中内部参数包括焦距、光心及畸变参数，外部参数包括平移矩阵和旋转矩阵；

步骤S2，圆形紧固件孔位自适应分割：基于图像灰度级差分割相机采集的圆形紧固件图像，其中灰度级差定义为：

其中T为拟分割级数，P(x,y)为坐标(x,y)的像素值，依据级数T将区域分为子区域，基于canny边缘检测算子计算子区域内边缘数据，将提取到的边缘数据依据8邻域连通特性分组，计算其拟合的椭圆圆心及边缘，椭圆拟合方法为：

依据拟合的椭圆边缘向外缘延拓s像素，与原区域分割子区域取并集，确保分割图像子区域内椭圆的完整性，使用高斯滤波对子区域图像进行平滑处理，降低部分高亮噪点，离散高斯卷积核模板分布公式为：

基于子区域内的灰度分布特征调节子区域内的图像对比度，判断横纵两个方向的梯度特征，通过双阈值边缘检测，当梯度大于预设高阈值θmax时，判定为边界点，反之低于预设低阈值θmin时，判定为非边界点；再次将提取到的边缘数据依据8邻域连通特性分组，计算其轮廓周长与轮廓面积比，表示为：

其中c_t为单个轮廓点集，C_T0为原始所有轮廓的集合，C_T为处理后的轮廓集合，l_ct为轮廓周长，S_ct为轮廓矩形区域面积，l_thrd为周长阈值，R_thrd为面周比阈值，再基于椭圆拟合算法计算子区域内的椭圆数据；

步骤S3，圆形紧固件孔位凹凸量信息计算：对螺钉与铆钉的平面提取进行分别处理；对于铆钉，提取除铆钉边界外的轮廓内所有图像；对于螺钉，提取其外轮廓与内轮廓之间的除边界外的同心圆平面；基于提取的圆形紧固件孔位边缘数据向内延拓，减少孔位边缘数据深度跳变数据干扰；对平面方程进行拟合，计算圆形紧固件孔位内平面方程，由此拟合圆形紧固件孔位内平面π₁和圆形紧固件孔位邻域切平面π₂，计算相机坐标系下坐标点关于π₁到π₂的距离d_f(x,y)，圆形紧固件孔位凹凸量定义为：

D_f＝max[df(x，y)] (x，y)∈π₁

步骤S4，圆形紧固件孔位凹凸量信息逆投影：凹凸量信息基于相机采集图像和椭圆分割结果融合，经过深度计算后，获取圆形紧固件孔位在投影仪和相机的像素对应关系，依据投影仪坐标系坐标赋值颜色，其中椭圆外区域定义为黑色，色值(0,0,0)，椭圆内区域颜色随凹凸量信息而变化，当凹凸量绝对值小于阈值θ_flat时定义为圆形紧固件孔位平整，区域颜色设定为C₁；当凹凸量为负，且绝对值大于θ_flat时，定义为凹陷，区域颜色设定为C₂；当凹凸量为正，且绝对值大于θ_flat时，定义为凸起，区域颜色设定为C₃；基于融合的投影仪坐标系图片将融合圆形紧固件孔位凹凸量信息逆投影到被测目标表面；通过相机采集逆投影信息，重新计算圆形紧固件孔位外的灰度变化，当灰度变化之和小于阈值θ_gray时，定义逆投影数据有效。

6.根据权利要求5所述的一种自适应拟合的孔位对齐方法，其特征在于：所述步骤S1中的***标定方法采用张正友标定法。

7.根据权利要求5所述的一种自适应拟合的孔位对齐方法，其特征在于：所述步骤S3中基于RANSAC算法和最小二乘法对平面方程进行拟合。

Images