CN113884027A - 基于自监督深度学习的几何约束相位展开方法 - Google Patents
基于自监督深度学习的几何约束相位展开方法 Download PDFInfo
- Publication number
- CN113884027A CN113884027A CN202111458588.1A CN202111458588A CN113884027A CN 113884027 A CN113884027 A CN 113884027A CN 202111458588 A CN202111458588 A CN 202111458588A CN 113884027 A CN113884027 A CN 113884027A
- Authority
- CN
- China
- Prior art keywords
- phase
- image
- method based
- deep learning
- geometric constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于自监督深度学习的几何约束相位展开方法,属于图像处理技术领域。包括如下步骤:S1:通过三维测量***采集原始的待测物体的条纹图片并计算得到包裹相位图以及背景光强图像,并通过标定得到***中投影仪与相机的标定参数;S2:将S1中的包裹相位图和背景光强图通过卷积神经网络转换成展开相位所需的条纹级次的图像;S3:将S2中的条纹级次图像经过相位深度映射与相应的***标定参数计算得到精确的三维信息。本发明可以解决基于监督学习进行相位展开存在的泛化能力低、强数据依赖的问题。
Description
技术领域
本发明涉及一种基于自监督深度学习的几何约束相位展开方法,属于图像分析技术领域。
背景技术
在条纹投影轮廓术中,相机拍摄的条纹图像通过相位恢复,可获得相位值呈周期性变化的包裹相位。为了实现投影仪坐标与相机坐标无歧义的一一对应,相机需要拍摄额外的条纹图像,以实现相位展开,即将包裹相位展开为连续的绝对相位。目前,在相位展开这一步骤,研究人员关注的重点在于如何在保证相位展开正确性的前提下,无需拍摄额外条纹图像便可计算出正确的条纹级次。
针对上述问题,为了实现高精度且具有较高鲁棒性的相位展开,典型的一类解决方案为增加额外的硬件设备,即在传统的单相机和单投影仪的三维测量***中,额外增加一台相机,此类方法可称之为几何约束相位展开法。
最近,深度学习被引入条纹投影轮廓术中,而在相位展开这一步骤中,因采用基于深度学习的方法,诸多技术瓶颈已被突破。然而,目前在条纹投影轮廓术中,所有基于深度学习的方法均为监督学习,此类方法一般包含训练和测试两个步骤。在训练过程中,需要提前拍摄大量有标记的数据,这是极为耗时的,且在一些特殊场景如动物心脏、运动的机器翅膀等,获取大量的有标记数据是不现实的。不仅如此,这些大量的有标记数据需保证独立且均匀分布,否则的话,训练后所获得的模型在测试过程中会出现严重的网络泛化问题。换句话说,当训练集数据量有限以及测试集中的数据分布与训练集差异较大时,采用训练后的模型无法获得理想的结果,而这对于基于监督学习的条纹投影轮廓术的实际应用带来了巨大的限制,也因此频频受到普适性低、数据依赖性强的质疑。
发明内容
本发明的目的在于,克服现有技术中存在的问题,提供一种基于自监督深度学习的几何约束相位展开方法,可以解决基于监督学习进行相位展开存在的泛化能力低、强数据依赖的问题。
为了解决上述问题,本发明的基于自监督深度学习的几何约束相位展开方法包括如下步骤:
S1:通过三维测量***采集原始的待测物体的条纹图片并计算得到包裹相位图以及背景光强图像,并通过标定得到***中投影仪与相机的标定参数;
S2:将S1中的包裹相位图和背景光强图通过卷积神经网络转换成展开相位所需的条纹级次的图像;
S3:将S2中的条纹级次图像经过相位深度映射与相应的***标定参数计算得到精确的三维信息。
进一步的,S2中所述的卷积神经网络包括Encoder模块和Decoder模块,所述Encoder模块对输入图像信息进行特征提取,所述Decoder模块对提取的特征进行处理,恢复出条纹级次信息。
进一步的,S2具体包括如下步骤:
S2.1:对输入的包裹相位图像进行相位展开,构造卷积神经网络模型;
S2.2:通过在卷积神经网络模型中添加一维非瓶颈残差模块对输入的包裹相位图像进行增强;
S2.3:对输入的包裹相位图像进行预测并回归,输出条纹级次图像。
进一步的,S3中相位映射的运算过程如下:
进一步的,S3中所述的标定参数运算过程如下:
进一步的,S2中构建卷积神经网络的迭代优化过程中所需的损失函数分别基于三维一致性、结构一致性以及相位一致性得到。
计算三维一致性的函数如下:
进一步的,计算结构一致性的损失函数如下:
进一步的,计算相位一致性的损失函数如下:
进一步的,S2.1中所述的卷积神经网络模型包括多个卷积层、Batch-norm层、ReLu层和drop-out层,所述卷积层的尺寸包括3x3,3x1,1x3。
本发明的有益效果是:1)能够仅需要输入包裹相位图像以及背景光强图像即可获得正确的展开相位图像,无需投影其他结构光图案,可高速高精度地进行相位展开。
2)可以解决监督学习存在的泛化能力弱,强数据依赖性等问题。
附图说明
图1为本发明基于自监督深度学习的几何约束相位展开方法的流程图;
图2为本发明中卷积神经网络GCPUNet的基本结构图;
图3为本发明三维测试***的结构示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
如图1所示,本发明的基于自监督深度学习的几何约束相位展开方法包括如下步骤:
S1:通过三维测量***采集原始的待测物体的条纹图片并计算得到包裹相位图以及背景光强图像,并通过标定得到***中投影仪与相机的标定参数。
S2:将S1中的包裹相位图和背景光强图通过卷积神经网络转换成展开相位所需的条纹级次的图像;S2中构建卷积神经网络的迭代优化过程中所需的损失函数分别基于三维一致性、结构一致性以及相位一致性得到。S2中的卷积神经网络包括Encoder模块和Decoder模块,Encoder模块对输入图像信息进行特征提取,Decoder模块对提取的特征进行处理,恢复出条纹级次信息。
三维一致性定义为一个相机和一个投影仪重建得到的三维数据,应与两个相机重建得到的三维数据一致。基于结构一致性的损失函数要求原始输入图像与基于解算的三维坐标重构的图像具有结构相似性。基于相位一致性的损失函数要求原始输入包裹相位与基于解算的三维坐标重构的包裹相位值一致。
如图3所示,利用和输出的条纹级次即可计算出坐标所对应的投影
仪坐标,从而获得坐标处的三维数据。在每次的迭代优化过程中,该三维数据被不断
更新,同时通过相机成像模型变换即可得到在相机上所对应的坐标。在相同的
世界坐标系下,采用基于相位匹配的三维测量方法,即在两个相机对应的极线上搜寻绝对
相位一致的坐标,同样可以获取在相机上所对应的坐标,该坐标设为,其同样
在每次的迭代优化过程中被更新。此时同样可以获得一组三维数据,当上述两组三维数据
一致时,坐标和应保持一致。基于三维一致性的损失函数为:
计算结构一致性的损失函数如下:
结构相似性SSIM(Structural Similarity Index)可以分别从亮度、对比度、结构三方面度量两幅图像的相似性,如下式所示:
计算相位一致性的损失函数如下:
S2.1:对输入的包裹相位图像进行相位展开,构造卷积神经网络模型;S2.1中的卷积神经网络模型包括多个卷积层、Batch-norm层、ReLu层和drop-out层,卷积层的尺寸包括3x3,3x1,1x3。
S2.2:如图2所示,通过在卷积神经网络模型中添加一维非瓶颈残差模块对输入的图像进行增强;非瓶颈残差模块中的残差连接建立在输入和输出之间,能够有效提高网络的学习能力,解决了深层网络的退化问题。
S2.3:预测并回归输出条纹级次图像。
S3:将S2中的条纹级次图像经过相位深度映射与相应的***标定参数得到精确的三维信息。
物体的三维信息如图1中的3D所示。
如图3所示,S3中相位映射的运算过程如下:
S3中的标定参数运算过程如下:
本发明针对条纹投影轮廓术即FPP技术,引入了深度学习设计了相位展开的卷积神经网络即GCPUNet,用来将包裹相位图像以及背景光强图像转换为用于计算展开相位的条纹级次图像,结合标定参数即可得到准确的三维信息。
本发明解决了FPP技术在特殊测量场景中,如动物心脏、运动的机器翅膀难以高速、高效率的获得待测物体的高精度展开相位的问题,有效提高了三维测量的精度与速度。同时使用自监督学习方案解决了基于监督学习的深度学习模型无法具有较强的泛化性能的问题,有效提高了神经网络的泛化效果。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
Claims (10)
1.一种基于自监督深度学习的几何约束相位展开方法,其特征在于,包括如下步骤:
S1:通过三维测量***采集原始的待测物体的条纹图片并计算得到包裹相位图以及背景光强图像,并通过标定得到***中投影仪与相机的标定参数;
S2:将S1中的包裹相位图和背景光强图通过卷积神经网络转换成展开相位所需的条纹级次的图像;
S3:将S2中的条纹级次图像经过相位深度映射与相应的***标定参数计算得到精确的三维信息。
2.根据权利要求1所述的基于自监督深度学习的几何约束相位展开方法,其特征在于,S2中所述的卷积神经网络包括Encoder模块和Decoder模块,所述Encoder模块对输入图像信息进行特征提取,所述Decoder模块对提取的特征进行处理,恢复出条纹级次信息。
3.根据权利要求1所述的基于自监督深度学习的几何约束相位展开方法,其特征在于,S2具体包括如下步骤:
S2.1:对输入的包裹相位图像进行相位展开,构造卷积神经网络模型;
S2.2:通过在卷积神经网络模型中添加一维非瓶颈残差模块对输入的包裹相位图像进行增强;
S2.3:对输入的包裹相位图像进行预测并回归,输出条纹级次图像。
6.根据权利要求3所述的基于自监督深度学习的几何约束相位展开方法,其特征在于:S2中构建卷积神经网络的迭代优化过程中所需的损失函数分别基于三维一致性、结构一致性以及相位一致性得到。
10.根据权利要求3所述的基于自监督深度学习的几何约束相位展开方法,其特征在于,S2.1中所述的卷积神经网络模型包括多个卷积层、Batch-norm层、ReLu层和drop-out层,所述卷积层的尺寸包括3x3,3x1,1x3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111458588.1A CN113884027B (zh) | 2021-12-02 | 2021-12-02 | 基于自监督深度学习的几何约束相位展开方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111458588.1A CN113884027B (zh) | 2021-12-02 | 2021-12-02 | 基于自监督深度学习的几何约束相位展开方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113884027A true CN113884027A (zh) | 2022-01-04 |
CN113884027B CN113884027B (zh) | 2022-03-18 |
Family
ID=79016251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111458588.1A Active CN113884027B (zh) | 2021-12-02 | 2021-12-02 | 基于自监督深度学习的几何约束相位展开方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113884027B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115914792A (zh) * | 2022-12-22 | 2023-04-04 | 长春理工大学 | 基于深度学习的实时多维度成像自适应调整***及方法 |
CN117689705A (zh) * | 2024-01-31 | 2024-03-12 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习条纹结构光深度重建方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110487216A (zh) * | 2019-09-20 | 2019-11-22 | 西安知象光电科技有限公司 | 一种基于卷积神经网络的条纹投影三维扫描方法 |
CN111523618A (zh) * | 2020-06-18 | 2020-08-11 | 南京理工大学智能计算成像研究院有限公司 | 一种基于深度学习的相位展开方法 |
CN111879258A (zh) * | 2020-09-28 | 2020-11-03 | 南京理工大学 | 基于条纹图像转换网络FPTNet的动态高精度三维测量方法 |
CN113505626A (zh) * | 2021-03-15 | 2021-10-15 | 南京理工大学 | 一种快速三维指纹采集方法与*** |
-
2021
- 2021-12-02 CN CN202111458588.1A patent/CN113884027B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110487216A (zh) * | 2019-09-20 | 2019-11-22 | 西安知象光电科技有限公司 | 一种基于卷积神经网络的条纹投影三维扫描方法 |
CN111523618A (zh) * | 2020-06-18 | 2020-08-11 | 南京理工大学智能计算成像研究院有限公司 | 一种基于深度学习的相位展开方法 |
CN111879258A (zh) * | 2020-09-28 | 2020-11-03 | 南京理工大学 | 基于条纹图像转换网络FPTNet的动态高精度三维测量方法 |
CN113505626A (zh) * | 2021-03-15 | 2021-10-15 | 南京理工大学 | 一种快速三维指纹采集方法与*** |
Non-Patent Citations (2)
Title |
---|
SHIJIE FENG: ""Fringe pattern analysis using deep learning"", 《ADVANCED PHOTONICS》 * |
冯世杰: ""深度学习技术在条纹投影三维成像中的应用"", 《红外与激光工程》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115914792A (zh) * | 2022-12-22 | 2023-04-04 | 长春理工大学 | 基于深度学习的实时多维度成像自适应调整***及方法 |
CN117689705A (zh) * | 2024-01-31 | 2024-03-12 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习条纹结构光深度重建方法及装置 |
CN117689705B (zh) * | 2024-01-31 | 2024-05-28 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习条纹结构光深度重建方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113884027B (zh) | 2022-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113884027B (zh) | 基于自监督深度学习的几何约束相位展开方法 | |
Josephson et al. | Pose estimation with radial distortion and unknown focal length | |
Zhang et al. | A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection | |
CN108038902A (zh) | 一种面向深度相机的高精度三维重建方法和*** | |
CN102445165B (zh) | 基于单幅彩色编码光栅的立体视觉测量方法 | |
CN109945802B (zh) | 一种结构光三维测量方法 | |
CN104182982A (zh) | 双目立体视觉摄像机标定参数的整体优化方法 | |
WO2022206020A1 (zh) | 图像场景深度的估计方法、装置、终端设备和存储介质 | |
CN114663509B (zh) | 一种关键点热力图引导的自监督单目视觉里程计方法 | |
CN115880344B (zh) | 一种双目立体匹配数据集视差真值获取方法 | |
Zheng et al. | Minimal solvers for 3d geometry from satellite imagery | |
CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
CN108305277A (zh) | 一种基于直线段的异源图像匹配方法 | |
CN103424087B (zh) | 一种大尺度钢板三维测量拼接方法 | |
CN105787464B (zh) | 一种大量图片在三维场景中的视点标定方法 | |
CN110378995A (zh) | 一种利用投射特征进行三维空间建模的方法 | |
Ye et al. | Accurate and dense point cloud generation for industrial Measurement via target-free photogrammetry | |
CN116592792A (zh) | 一种使用散斑辅助相对相位立体匹配的测量方法和*** | |
CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及*** | |
CN113066165B (zh) | 多阶段无监督学习的三维重建方法、装置和电子设备 | |
CN112330814B (zh) | 一种基于机器学习的结构光三维重建方法 | |
Albouy et al. | Accurate 3D structure measurements from two uncalibrated views | |
CN112927299B (zh) | 标定方法、装置及电子设备 | |
Tang et al. | An SIFT-Based Fast Image Alignment Algorithm for High-Resolution Image | |
CN111462199B (zh) | 基于gpu的快速散斑图像匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |