CN112629440A - 一种光度和结构光3d结合的数据融合方法 - Google Patents
一种光度和结构光3d结合的数据融合方法 Download PDFInfo
- Publication number
- CN112629440A CN112629440A CN202010878278.4A CN202010878278A CN112629440A CN 112629440 A CN112629440 A CN 112629440A CN 202010878278 A CN202010878278 A CN 202010878278A CN 112629440 A CN112629440 A CN 112629440A
- Authority
- CN
- China
- Prior art keywords
- depth
- camera
- structured light
- representing
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种光度和结构光3D结合的数据融合方法,它涉及一种数据融合方法,具体涉及一种光度和结构光3D结合的数据融合方法。本发明为了解决现有技术手段在物体表面存在不连续和遮挡时,无法直接改善图像渲染效果的问题。本发明包括至少三个不共线的投影机和至少一个摄像机,投影机分时向被观测物体表面投射二值条纹或正弦条纹,摄像机同步拍摄图像。依据光度法获得物体表面各点的法向量,依据三角法获得物体表面深度,通过表面深度计算的切向量与表面法向量的关系,构造目标函数,对表面深度进行优化。本发明属于工业检测技术领域。
Description
技术领域
本发明涉及一种数据融合方法,具体涉及一种光度和结构光3D结合的数据融合方法,属于工业检测技术领域。
背景技术
越来越多的物体3D扫描数据被用于渲染,可视化等应用。虽然3D扫描数据的精度可能较高,但在计算表面法线时,即使少量噪声也会导致较大的误差。此类3D数据渲染生成的图像质量不高。而光度法,可以直接测量表面法向量。虽然依据法向量可以获得高质量的渲染,但物体表面存在不连续和遮挡时也无法直接改善图像渲染效果。
发明内容
本发明为解决现有技术手段在物体表面存在不连续和遮挡时,无法直接改善图像渲染效果的问题,进而提出一种光度和结构光3D结合的数据融合方法。
本发明为解决上述问题采取的技术方案是:本发明的具体步骤如下:
步骤一、使用至少三个不共线的投影机和至少一个摄像机,将投影机和摄像机与计算机连接,计算机控制投影机投射二值化的条纹或正弦条纹,摄像机同步采集图像;
步骤二、摄影机分时投射二值化或正弦条纹,摄像机同步采集图像;
步骤三、投影机与摄像机组合成多个结构光三维扫描***,并生成多组物体表面深度数据;
步骤四、多个投影机作为光源与摄像机构成光度视觉***,并生成物体表面法向量数据;
步骤五、融合光度法获得的物体表面法向量和多组物体表面深度,对深度进行优化。
进一步的,步骤五中对深度进行优化的步骤如下:
步骤(一)、通过投影机、摄像机标定方法对***进行标定;获得作为光源的投影机的光源方向;
步骤(二)、用光度法计算与摄像机图像每个像素对应的被测物体表面各点的法向量;
步骤(三)、用结构光法计算被测物体表面深度,并用摄像机坐标表示;
步骤(四)、分别定义深度误差和法向量误差,构造目标函数;
步骤(五)、用最小二乘法优化深度。
进一步的,对深度进行优化的计算过程如下:
步骤A、假设物体表面3D坐标S(u,v)=[X,Y,Z]T;
步骤B、在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离:表面初始为 S0,使用上标0表示初始值;域[u,v]∈R2与图像像素[i,j]一一对应,法向量和深度分别表示为n(i,j)=Nij和z(i,j)=zij;3D坐标和像素具有透视投影关系,可以用深度图Zif表示深度:在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离:
公式(1)和(2)中,[fx,fy]表示摄像机焦距,[px,py]表示摄像机主点,μij表示系数,T表示矩阵转置;
步骤C、定义代价函数:
步骤D、物体表面S的偏导数:
步骤E、结合公式(1)、(2)、(3)、(4)、(5)、(6),通过最小化函数E=λpEp+λnEn获得表面深度最优解;
函数E=λpEp+λnEn中,λp+λn=1并且λp,λn≥0是混合权重,λp表示深度误差权重,Ep表示深度误差,λn表示法向量权重,En表示法向量误差;由于深度的差分算子最终将表示一个矩阵乘法,因此可以通过线性最小二乘法求解。
本发明的有益效果是:本发明可以同时进行结构光3D扫描和光度计算,融合两种测量的深度数据,具有更为丰富的纹理细节。
具体实施方式
具体实施方式一:本实施方式所述一种光度和结构光3D结合的数据融合方法是通过如下步骤实现的:
步骤一、使用至少三个不共线的投影机和至少一个摄像机,将投影机和摄像机与计算机连接,计算机控制投影机投射二值化的条纹或正弦条纹,摄像机同步采集图像;
步骤二、摄影机分时投射二值化或正弦条纹,摄像机同步采集图像;
步骤三、投影机与摄像机组合成多个结构光三维扫描***,并生成多组物体表面深度数据;
步骤四、多个投影机作为光源与摄像机构成光度视觉***,并生成物体表面法向量数据;
步骤五、融合光度法获得的物体表面法向量和多组物体表面深度,对深度进行优化。
具体实施方式二:本实施方式所述一种光度和结构光3D结合的数据融合方法的步骤五中对深度进行优化的步骤如下:
步骤五中对深度进行优化的步骤如下:
步骤(一)、通过投影机、摄像机标定方法对***进行标定;获得作为光源的投影机的光源方向;
步骤(二)、用光度法计算与摄像机图像每个像素对应的被测物体表面各点的法向量;
步骤(三)、用结构光法计算被测物体表面深度,并用摄像机坐标表示;
步骤(四)、分别定义深度误差和法向量误差,构造目标函数;
步骤(五)、用最小二乘法优化深度。
具体实施方式三:本实施方式所述对深度进行优化的计算过程如下:
对深度进行优化的计算过程如下:
步骤A、假设物体表面3D坐标S(u,v)=[X,Y,Z]T;
步骤B、在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离:表面初始为 S0,使用上标0表示初始值;域[u,v]∈R2与图像像素[i,j]一一对应,法向量和深度分别表示为n(i,j)=Nij和z(i,j)=zij;3D坐标和像素具有透视投影关系,可以用深度图Zij表示深度:在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离:
公式(1)和(2)中,[fx,fy]表示摄像机焦距,[px,py]表示摄像机主点,μij表示系数,T表示矩阵转置;
步骤C、定义代价函数:
步骤D、物体表面S的偏导数:
步骤E、结合公式(1)、(2)、(3)、(4)、(5)、(6),通过最小化函数E=λpEp+λnEn获得表面深度最优解;
函数E=λpEp+λnEn中,λp+λn=1并且λp,λn≥0是混合权重,λp表示深度误差权重,Ep表示深度误差,λn表示法向量权重,En表示法向量误差;由于深度的差分算子最终将表示一个矩阵乘法,因此可以通过线性最小二乘法求解。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质,在本发明的精神和原则之内,对以上实施例所作的任何简单的修改、等同替换与改进等,均仍属于本发明技术方案的保护范围之内。
Claims (3)
1.一种光度和结构光3D结合的数据融合方法,其特征在于:所述一种光度和结构光3D结合的数据融合方法是通过如下步骤实现的:
步骤一、使用至少三个不共线的投影机和至少一个摄像机,将投影机和摄像机与计算机连接,计算机控制投影机投射二值化的条纹或正弦条纹,摄像机同步采集图像;
步骤二、摄影机分时投射二值化或正弦条纹,摄像机同步采集图像;
步骤三、投影机与摄像机组合成多个结构光三维扫描***,并生成多组物体表面深度数据;
步骤四、多个投影机作为光源与摄像机构成光度视觉***,并生成物体表面法向量数据;
步骤五、融合光度法获得的物体表面法向量和多组物体表面深度,对深度进行优化。
2.根据权利要求1所述一种光度和结构光3D结合的数据融合方法,其特征在于:步骤五中对深度进行优化的步骤如下:
步骤(一)、通过投影机、摄像机标定方法对***进行标定;获得作为光源的投影机的光源方向;
步骤(二)、用光度法计算与摄像机图像每个像素对应的被测物体表面各点的法向量;
步骤(三)、用结构光法计算被测物体表面深度,并用摄像机坐标表示;
步骤(四)、分别定义深度误差和法向量误差,构造目标函数;
步骤(五)、用最小二乘法优化深度。
3.根据权利要求2所述一种光度和结构光3D结合的数据融合方法,其特征在于:对深度进行优化的计算过程如下:
步骤A、假设物体表面3D坐标S(u,v)=[X,Y,Z]T;
步骤B、在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离:表面初始为S0,使用上标0表示初始值;域[u,v]∈R2与图像像素[i,j]一一对应,法向量和深度分别表示为n(i,j)=Nij和z(i,j)=Zij;3D坐标和像素具有透视投影关系,可以用深度图Zij表示深度:在摄像机坐标系下用深度表示摄像机原点到表面上各点的距离:
公式(1)和(2)中,[fx,fy]表示摄像机焦距,[px,py]表示摄像机主点,μij表示系数,T表示矩阵转置;
步骤C、定义代价函数:
步骤D、物体表面S的偏导数:
步骤E、结合公式(1)、(2)、(3)、(4)、(5)、(6),通过最小化函数E=λpEp+λnEn获得表面深度最优解;
函数E=λPEp+λnEn中,λp+λn=1并且λp,λn≥0是混合权重,λp表示深度误差权重,Ep表示深度误差,λn表示法向量权重,En表示法向量误差;由于深度的差分算子最终将表示一个矩阵乘法,因此可以通过线性最小二乘法求解。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010878278.4A CN112629440A (zh) | 2020-08-27 | 2020-08-27 | 一种光度和结构光3d结合的数据融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010878278.4A CN112629440A (zh) | 2020-08-27 | 2020-08-27 | 一种光度和结构光3d结合的数据融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112629440A true CN112629440A (zh) | 2021-04-09 |
Family
ID=75300144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010878278.4A Pending CN112629440A (zh) | 2020-08-27 | 2020-08-27 | 一种光度和结构光3d结合的数据融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112629440A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115421349A (zh) * | 2022-11-02 | 2022-12-02 | 四川川大智胜软件股份有限公司 | 非数字光机结构光投射模组、采集装置及三维测量*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090195545A1 (en) * | 2008-01-31 | 2009-08-06 | University Fo Southern California | Facial Performance Synthesis Using Deformation Driven Polynomial Displacement Maps |
CN105654549A (zh) * | 2015-12-31 | 2016-06-08 | 中国海洋大学 | 基于结构光技术和光度立体技术的水下三维重建装置及方法 |
CN105787997A (zh) * | 2016-03-27 | 2016-07-20 | 中国海洋大学 | 水下高精度三维重建装置及方法 |
CN110487214A (zh) * | 2019-08-26 | 2019-11-22 | 中国计量大学 | 一种基于光度立体技术和结构光技术相结合的产品合格率的检测***及其检测方法 |
CN110874863A (zh) * | 2018-08-30 | 2020-03-10 | 中国石油化工股份有限公司 | 三维重建方法和用于三维重建的*** |
-
2020
- 2020-08-27 CN CN202010878278.4A patent/CN112629440A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090195545A1 (en) * | 2008-01-31 | 2009-08-06 | University Fo Southern California | Facial Performance Synthesis Using Deformation Driven Polynomial Displacement Maps |
CN105654549A (zh) * | 2015-12-31 | 2016-06-08 | 中国海洋大学 | 基于结构光技术和光度立体技术的水下三维重建装置及方法 |
CN105787997A (zh) * | 2016-03-27 | 2016-07-20 | 中国海洋大学 | 水下高精度三维重建装置及方法 |
CN110874863A (zh) * | 2018-08-30 | 2020-03-10 | 中国石油化工股份有限公司 | 三维重建方法和用于三维重建的*** |
CN110487214A (zh) * | 2019-08-26 | 2019-11-22 | 中国计量大学 | 一种基于光度立体技术和结构光技术相结合的产品合格率的检测***及其检测方法 |
Non-Patent Citations (3)
Title |
---|
DANIEL V. HAHN等: "Non-laser-based scanner for three-dimensional digitization of historical artifacts", 《APPLIED OPTICS》 * |
李健 等: "融合RGB-D相机和光度立体的三维数字化方法研究", 《陕西科技大学学报》 * |
杜希瑞: "基于Kinect的动态非刚性体三维数字化研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115421349A (zh) * | 2022-11-02 | 2022-12-02 | 四川川大智胜软件股份有限公司 | 非数字光机结构光投射模组、采集装置及三维测量*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Trobina | Error model of a coded-light range sensor | |
CN112634374B (zh) | 双目相机的立体标定方法、装置、***及双目相机 | |
Huang et al. | A fast and flexible projector-camera calibration system | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
US8406511B2 (en) | Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating | |
CN109727290B (zh) | 基于单目视觉三角测距法的变焦相机动态标定方法 | |
JP5633058B1 (ja) | 3次元計測装置及び3次元計測方法 | |
CN103337069B (zh) | 基于复合摄像机的高质量三维彩色图像获取方法及装置 | |
JP2007309660A (ja) | 3次元形状測定装置におけるキャリブレーション方法 | |
JP2013083505A (ja) | 3次元座標位置推定装置、その方法、そのプログラムおよび3次元座標推定システム、ならびに、カメラ較正情報生成装置 | |
Orghidan et al. | Structured light self-calibration with vanishing points | |
Garrido-Jurado et al. | Simultaneous reconstruction and calibration for multi-view structured light scanning | |
Elstrom et al. | Stereo-based registration of ladar and color imagery | |
CN112489109B (zh) | 一种三维成像***方法、装置及三维成像*** | |
Mahdy et al. | Projector calibration using passive stereo and triangulation | |
JP2002516443A (ja) | 3次元表示のための方法および装置 | |
CN108645353B (zh) | 基于多帧随机二元编码光场的三维数据采集***及方法 | |
CN115880369A (zh) | 线结构光3d相机和线阵相机联合标定的装置、***及方法 | |
CN116363226A (zh) | 一种实时的多相机多投影仪3d成像处理方法及装置 | |
US11284052B2 (en) | Method for automatically restoring a calibrated state of a projection system | |
CN112629440A (zh) | 一种光度和结构光3d结合的数据融合方法 | |
Knyaz | Multi-media projector–single camera photogrammetric system for fast 3D reconstruction | |
JP2011075336A (ja) | 3次元形状計測装置、3次元形状計測方法 | |
Garcia et al. | Geometric calibration for a multi-camera-projector system | |
CN111819468B (zh) | 三维图像传感***以及相关电子装置以及飞时测距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210409 |