CN112629440A - 一种光度和结构光3d结合的数据融合方法 - Google Patents

Abstract

一种光度和结构光3D结合的数据融合方法，它涉及一种数据融合方法，具体涉及一种光度和结构光3D结合的数据融合方法。本发明为了解决现有技术手段在物体表面存在不连续和遮挡时，无法直接改善图像渲染效果的问题。本发明包括至少三个不共线的投影机和至少一个摄像机，投影机分时向被观测物体表面投射二值条纹或正弦条纹，摄像机同步拍摄图像。依据光度法获得物体表面各点的法向量，依据三角法获得物体表面深度，通过表面深度计算的切向量与表面法向量的关系，构造目标函数，对表面深度进行优化。本发明属于工业检测技术领域。

Description

一种光度和结构光3D结合的数据融合方法

技术领域

本发明涉及一种数据融合方法，具体涉及一种光度和结构光3D结合的数据融合方法，属于工业检测技术领域。

背景技术

越来越多的物体3D扫描数据被用于渲染，可视化等应用。虽然3D扫描数据的精度可能较高，但在计算表面法线时，即使少量噪声也会导致较大的误差。此类3D数据渲染生成的图像质量不高。而光度法，可以直接测量表面法向量。虽然依据法向量可以获得高质量的渲染，但物体表面存在不连续和遮挡时也无法直接改善图像渲染效果。

发明内容

本发明为解决现有技术手段在物体表面存在不连续和遮挡时，无法直接改善图像渲染效果的问题，进而提出一种光度和结构光3D结合的数据融合方法。

本发明为解决上述问题采取的技术方案是：本发明的具体步骤如下：

步骤一、使用至少三个不共线的投影机和至少一个摄像机，将投影机和摄像机与计算机连接，计算机控制投影机投射二值化的条纹或正弦条纹，摄像机同步采集图像；

步骤二、摄影机分时投射二值化或正弦条纹，摄像机同步采集图像；

步骤三、投影机与摄像机组合成多个结构光三维扫描***，并生成多组物体表面深度数据；

步骤四、多个投影机作为光源与摄像机构成光度视觉***，并生成物体表面法向量数据；

步骤五、融合光度法获得的物体表面法向量和多组物体表面深度，对深度进行优化。

进一步的，步骤五中对深度进行优化的步骤如下：

步骤(一)、通过投影机、摄像机标定方法对***进行标定；获得作为光源的投影机的光源方向；

步骤(二)、用光度法计算与摄像机图像每个像素对应的被测物体表面各点的法向量；

步骤(三)、用结构光法计算被测物体表面深度，并用摄像机坐标表示；

步骤(四)、分别定义深度误差和法向量误差，构造目标函数；

步骤(五)、用最小二乘法优化深度。

进一步的，对深度进行优化的计算过程如下：

步骤A、假设物体表面3D坐标S(u，v)＝[X，Y，Z]^T；

步骤B、在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离：表面初始为 S⁰，使用上标0表示初始值；域[u，v]∈R²与图像像素[i，j]一一对应，法向量和深度分别表示为n(i，j)＝N_ij和z(i，j)＝z_ij；3D坐标和像素具有透视投影关系，可以用深度图Z_if表示深度：在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离：

公式(1)和(2)中，[f_x，f_y]表示摄像机焦距，[p_x，p_y]表示摄像机主点，μ_ij表示系数，T表示矩阵转置；

步骤C、定义代价函数：

公式(4)中，E_n表示法向量误差，i表示图像行坐标，j表示图像列坐标，

表示(i，j)对应的深度点的法向量，上标0表示初始值，

表示表面梯度u方向分量，

表示表面梯度v方向分量；

步骤D、物体表面S的偏导数：

公式(5)和(6)中，

和

表示深度Z的偏导数；

步骤E、结合公式(1)、(2)、(3)、(4)、(5)、(6)，通过最小化函数E＝λ_pE_p+λ_nE_n获得表面深度最优解；

函数E＝λ_pE_p+λ_nE_n中，λ_p+λ_n＝1并且λ_p，λ_n≥0是混合权重，λ_p表示深度误差权重，E_p表示深度误差，λ_n表示法向量权重，E_n表示法向量误差；由于深度的差分算子最终将表示一个矩阵乘法，因此可以通过线性最小二乘法求解。

本发明的有益效果是：本发明可以同时进行结构光3D扫描和光度计算，融合两种测量的深度数据，具有更为丰富的纹理细节。

具体实施方式

具体实施方式一：本实施方式所述一种光度和结构光3D结合的数据融合方法是通过如下步骤实现的：

步骤一、使用至少三个不共线的投影机和至少一个摄像机，将投影机和摄像机与计算机连接，计算机控制投影机投射二值化的条纹或正弦条纹，摄像机同步采集图像；

步骤二、摄影机分时投射二值化或正弦条纹，摄像机同步采集图像；

步骤三、投影机与摄像机组合成多个结构光三维扫描***，并生成多组物体表面深度数据；

步骤四、多个投影机作为光源与摄像机构成光度视觉***，并生成物体表面法向量数据；

步骤五、融合光度法获得的物体表面法向量和多组物体表面深度，对深度进行优化。

具体实施方式二：本实施方式所述一种光度和结构光3D结合的数据融合方法的步骤五中对深度进行优化的步骤如下：

步骤五中对深度进行优化的步骤如下：

步骤(一)、通过投影机、摄像机标定方法对***进行标定；获得作为光源的投影机的光源方向；

步骤(二)、用光度法计算与摄像机图像每个像素对应的被测物体表面各点的法向量；

步骤(三)、用结构光法计算被测物体表面深度，并用摄像机坐标表示；

步骤(四)、分别定义深度误差和法向量误差，构造目标函数；

步骤(五)、用最小二乘法优化深度。

具体实施方式三：本实施方式所述对深度进行优化的计算过程如下：

对深度进行优化的计算过程如下：

步骤A、假设物体表面3D坐标S(u，v)＝[X，Y，Z]^T；

步骤B、在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离：表面初始为 S⁰，使用上标0表示初始值；域[u，v]∈R²与图像像素[i，j]一一对应，法向量和深度分别表示为n(i，j)＝N_ij和z(i，j)＝z_ij；3D坐标和像素具有透视投影关系，可以用深度图Z_ij表示深度：在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离：

公式(1)和(2)中，[f_x，f_y]表示摄像机焦距，[p_x，p_y]表示摄像机主点，μ_ij表示系数，T表示矩阵转置；

步骤C、定义代价函数：

公式(4)中，E_n表示法向量误差，i表示图像行坐标，j表示图像列坐标，

表示 (i，j)对应的深度点的法向量，上标0表示初始值，

表示表面梯度u方向分量，

表示表面梯度v方向分量；

步骤D、物体表面S的偏导数：

公式(5)和(6)中，

和

表示深度Z的偏导数；

步骤E、结合公式(1)、(2)、(3)、(4)、(5)、(6)，通过最小化函数E＝λ_pE_p+λ_nE_n获得表面深度最优解；

函数E＝λ_pE_p+λ_nE_n中，λ_p+λ_n＝1并且λ_p，λ_n≥0是混合权重，λ_p表示深度误差权重，E_p表示深度误差，λ_n表示法向量权重，E_n表示法向量误差；由于深度的差分算子最终将表示一个矩阵乘法，因此可以通过线性最小二乘法求解。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (3)

1.一种光度和结构光3D结合的数据融合方法，其特征在于：所述一种光度和结构光3D结合的数据融合方法是通过如下步骤实现的：

步骤一、使用至少三个不共线的投影机和至少一个摄像机，将投影机和摄像机与计算机连接，计算机控制投影机投射二值化的条纹或正弦条纹，摄像机同步采集图像；

步骤二、摄影机分时投射二值化或正弦条纹，摄像机同步采集图像；

步骤三、投影机与摄像机组合成多个结构光三维扫描***，并生成多组物体表面深度数据；

步骤四、多个投影机作为光源与摄像机构成光度视觉***，并生成物体表面法向量数据；

步骤五、融合光度法获得的物体表面法向量和多组物体表面深度，对深度进行优化。

2.根据权利要求1所述一种光度和结构光3D结合的数据融合方法，其特征在于：步骤五中对深度进行优化的步骤如下：

步骤(一)、通过投影机、摄像机标定方法对***进行标定；获得作为光源的投影机的光源方向；

步骤(二)、用光度法计算与摄像机图像每个像素对应的被测物体表面各点的法向量；

步骤(三)、用结构光法计算被测物体表面深度，并用摄像机坐标表示；

步骤(四)、分别定义深度误差和法向量误差，构造目标函数；

步骤(五)、用最小二乘法优化深度。

3.根据权利要求2所述一种光度和结构光3D结合的数据融合方法，其特征在于：对深度进行优化的计算过程如下：

步骤A、假设物体表面3D坐标S(u，v)＝[X，Y，Z]^T；

步骤B、在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离：表面初始为S⁰，使用上标0表示初始值；域[u，v]∈R²与图像像素[i，j]一一对应，法向量和深度分别表示为n(i，j)＝N_ij和z(i，j)＝Z_ij；3D坐标和像素具有透视投影关系，可以用深度图Z_ij表示深度：在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离：

公式(1)和(2)中，[f_x，f_y]表示摄像机焦距，[p_x，p_y]表示摄像机主点，μ_ij表示系数，T表示矩阵转置；

步骤C、定义代价函数：

公式(4)中，E_n表示法向量误差，i表示图像行坐标，j表示图像列坐标，

表示(i，j)对应的深度点的法向量，上标0表示初始值，

表示表面梯度u方向分量，

表示表面梯度v方向分量；

步骤D、物体表面S的偏导数：

公式(5)和(6)中，

和

表示深度Z的偏导数；

步骤E、结合公式(1)、(2)、(3)、(4)、(5)、(6)，通过最小化函数E＝λ_pE_p+λ_nE_n获得表面深度最优解；

函数E＝λ_PE_p+λ_nE_n中，λ_p+λ_n＝1并且λ_p，λ_n≥0是混合权重，λ_p表示深度误差权重，E_p表示深度误差，λ_n表示法向量权重，E_n表示法向量误差；由于深度的差分算子最终将表示一个矩阵乘法，因此可以通过线性最小二乘法求解。