CN110487216A - 一种基于卷积神经网络的条纹投影三维扫描方法 - Google Patents
一种基于卷积神经网络的条纹投影三维扫描方法 Download PDFInfo
- Publication number
- CN110487216A CN110487216A CN201910891571.1A CN201910891571A CN110487216A CN 110487216 A CN110487216 A CN 110487216A CN 201910891571 A CN201910891571 A CN 201910891571A CN 110487216 A CN110487216 A CN 110487216A
- Authority
- CN
- China
- Prior art keywords
- phase
- bar graph
- parallax
- camera
- recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 24
- 238000011084 recovery Methods 0.000 claims abstract description 47
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 5
- 238000010587 phase diagram Methods 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的条纹投影三维扫描方法，该方法涉及计算机视觉，光学三维扫描和图像处理领域。该扫描方法用计算机生成一张正弦编码条纹图，利用投影装置将其投射在被扫描物体上，并用左右两个相机采集物体上的变形条纹图；对左右相机采集到的左右变形条纹图进行立体匹配，获得初始匹配视差；对左右变形条纹图中的编码相位信息进行相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；最后根据标定参数进行视差重建，得到被测物体的三维轮廓。
Description
技术领域
本发明涉及计算机视觉，光学三维扫描和图像处理领域，特别是一种基于卷积神经网络的条纹投影三维扫描方法。
背景技术
近年来，三维扫描技术在AR/VR、机器人、无人机、无人车等领域有着广泛应用，实现方案主要有结构光、立体视觉和TOF(飞行时间法)三种，其中结构光与立体视觉相结合的技术是当前主流的、应用最广泛的三维扫描方案。
结构光主要有线结构光、正弦条纹结构光、散斑结构光等方法，其中线结构光有较高的纵向分辨能力，但是横向分辨能力较差，并且扫描速度慢；散斑结构光仅需要投影一帧就可以实现三维扫描，但是精度较差；正弦条纹结构光的纵向分辨能力和横向分辨能力较为平均，扫描速度较线结构光快，是最常用的结构光编码方法。正弦条纹结构光的目的主要是为了解决立体视觉中的匹配问题，但是往往需要多帧投影来解决相位恢复和相位包裹，其过程中存在相位恢复难的问题。
发明内容
本发明的目的在于提供一种基于卷积神经网络的条纹投影三维扫描方法，解决使用多帧投影进行相位恢复难的问题。
本发明的实现过程如下：
一种基于卷积神经网络的条纹投影三维扫描方法，包括如下步骤：
(1)用计算机生成一张正弦编码条纹图；
(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；
(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；
(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；
(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓。
进一步，步骤(1)中计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹周期、初始相位。
进一步，步骤(2)所述左相机和右相机可以为两个相同的相机或两个不同的相机或一个相机和一个投影仪的组合。
进一步，所述步骤(2)具体包括如下步骤：
第一步，硬件搭建及标定参数，
条纹投影三维扫描技术的硬件部分由两个相机和一个投影装置构成；其中，左相机和右相机构成立体视觉***，投影装置位于两个相机中间，调节三者的夹角至视场范围重合，然后对左相机和右相机组成的立体视觉***进行标定，得到左相机和右相机的内参以及位置关系，即标定参数，所述参数包括相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵；
第二步，图像数据获取，
利用投影装置向被测物体投射编码正弦条纹，左相机和右相机同时对被测物体进行拍摄，得到左条纹图和右条纹图；根据立体视觉***的极线约束，利用标定参数将全局匹配转化为对应行的匹配，利用标定参数对左条纹图和右条纹图进行极线校正，得到行对准的左条纹图和右条纹图。
进一步，所述步骤(3)具体包括立体匹配模型的搭建、训练和使用；利用预先训练好的立体匹配模型，得到左条纹图和右条纹图之间的视差，将步骤(2)采集到的左条纹图和右条纹图同时输入到立体匹配模型中，利用视差范围约束提取出视差图中的有效区域，得到左右条纹图的匹配结果，即匹配视差图。
进一步，步骤(3)中所述立体匹配模型包括特征提取模块、匹配代价模块和视差估计模块；所述立体匹配模型是深度卷积神经网络，其以条纹图作为输入，以相位图作为输出。
进一步，所述步骤(4)具体包括如下步骤：
(a)单帧条纹图相位恢复，
利用预先训练好的相位恢复模型，从条纹图中恢复出相位信息，将步骤(2)采集到的左条纹图和右条纹图分别作为相位恢复模型的输入，用相位恢复模型的参数对输入图像进行卷积、激活操作，最终得到相位恢复模型恢复出来的相位图，其中，左相位图和右相位图中的相位值都是位于区间(-π，π]内的包裹相位；
(b)相位辅助视差优化，
根据步骤(a)中恢复出的左相位图和右相位图信息，对步骤(3)得到初始匹配视差进行优化，利用步骤(3)中的视差找出左相位图中点在右相位图中的匹配点位置，以该位置为中心在一定范围内进行对应点的相位值搜索，得到相位值相同的点的坐标，从而对视差进行优化。
进一步，所述相位恢复模型包括特征提取模块、正弦信息恢复模块、余弦信息恢复模块、相位计算模块；所述单帧条纹图相位恢复的方法具体是模型输入为条纹图，经过特征提取模块，进行特征图的提取；然后分别利用卷积模块对该特征进行正弦信息的恢复和余弦信息的恢复；最后四象限反正切操作将正余弦信息合并为一张相位图，作为网络的输出，该输出就是模型所要恢复的相位信息；
所述相位辅助视差优化相位辅助视差优化的方法，基于物理空间中某一点在左右相位图中具有相同的相位值这一理论基础，具体是在左相位图中每一点联合获得的立体匹配视差图就可以找到右相位图中对应点，但是立体匹配视差的值存在一定的误差，因此，需要在右相位图对应点的前后进行搜索，寻找与左相位图相位值相等或最接近的点，然后更新视差值，更新视差值的过程中用到了一维线性插值，应用上述方法，更新整张立体匹配视差图得到优化后的视差值。
进一步，所述步骤(5)的具体过程为：根据立体视觉***的标定参数和重建原理，对优化后的视差图进行立体重建，得到对应的三维点云模型，完成三维扫描。
进一步，所述立体重建是通过重投影矩阵Q重建得到空间点的三维坐标，如下公式：
式中：x,y是左相机上观测点的像素坐标；d是优化后的视差；cx,cy校正后左图像的主点位置；cx′,cy′校正后右图像的主点位置，左右图像校正后cy＝cy′；Tx是校正后的基线距离，fx是x方向的焦距，三维坐标是(X/W,Y/W,Z/W)。
本发明的积极效果：
(1)对比传统立体视觉技术，本发明方法能获的更高的测量精度，和更高的鲁棒性。
(2)对比传统正弦(余弦)结构光技术，本发明方法只需要单帧结构光就可以完成三维重建，使得本方法可以进行实时三维测量。而传统的方法需要多帧结构光来提取相位，难以进行实时三维测量。
(3)对比传统正弦(余弦)结构光技术，本发明方法无需投影不同频率结构光进行解包裹，本发明方法只需要一帧结构光就可以完成三维信息的获取。
(4)对比傅立叶变换等单帧相位提取技术，需要根据实际情况选取最优参数，本发明方法利用学习的技术，可以自动化的提取相位。
(5)对比傅立叶变换等单帧相位提取技术，对低频结构光的适应性较差，本发明方法对各种不同频率均具有很好的适应性，并且精度更高。
附图说明
图1为本发明所述基于卷积神经网络的条纹投影三维扫描方法的流程图；
图2为本发明所述基于卷积神经网络的条纹投影三维扫描方法中硬件搭建的位置示意图，图中，1为左相机；2为投影装置；3为右相机；4为被测物体；
图3为本发明所述立体匹配模型的流程图；
图4为本发明所述相位恢复模型的流程图。
具体实施方式
下面结合实施例对本发明做进一步说明。
为了解决使用多帧投影进行相位恢复难的问题，本发明提供一种基于卷积神经网络的条纹投影三维扫描方法。随着深度学习在计算机视觉、语音识别等方面的广泛应用，结构光与深度学习相结合的方法随之产生。基于卷积神经网络的条纹投影三维扫描技术解决相位恢复难的问题，有着重要的应用价值。
下述实施例中，训练集和测试集所采用的数据是由相移轮廓术的中间过程得到的。训练集有2000组图像组成，每组包括校正过的左右条纹图，对应的相位图真值和对应的视差图真值。测试集由200组图像组成，每组包括校正过的左右条纹图，对应的相位图真值和对应的视差图真值。
本实施例所述基于卷积神经网络的条纹投影三维扫描方法，见图1，包括如下步骤：
(1)用计算机生成一张正弦编码条纹图；其中，计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹周期、初始相位。
(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；所述左相机和右相机可以为两个相同的相机或两个不同的相机或一个相机和一个投影仪的组合。具体包括如下步骤：
第一步，硬件搭建及标定参数，
条纹投影三维扫描技术的硬件部分由两个相机和一个投影装置构成，如图2所示；其中，左相机和右相机构成立体视觉***，投影装置位于两个相机中间，调节三者的夹角至视场范围重合，然后对左相机和右相机组成的立体视觉***进行标定，得到左相机和右相机的内参以及位置关系，即标定参数，所述参数包括相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵；
第二步，图像数据获取，
利用投影装置向被测物体投射编码正弦条纹，左相机和右相机同时对被测物体进行拍摄，得到左条纹图和右条纹图；根据立体视觉***的极线约束，利用标定参数将全局匹配转化为对应行的匹配，利用标定参数对左条纹图和右条纹图进行极线校正，减小匹配范围，降低匹配难度，得到行对准的左条纹图和右条纹图。
(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；其具体包括立体匹配模型的搭建、训练和使用；利用预先训练好的立体匹配模型，得到左条纹图和右条纹图之间的视差，将步骤(2)采集到的左条纹图和右条纹图同时输入到立体匹配模型中，利用视差范围约束提取出视差图中的有效区域，得到左右条纹图的匹配结果，即匹配视差图。所述立体匹配模型如图3所示，包括特征提取模块、匹配代价模块和视差估计模块；在立体匹配任务中，最重要的就是匹配特征的选取以及匹配代价的计算。立体匹配网络作为卷积神经网络的一种，有着自动进行特征的选择和提取的特点，并且针对立体匹配问题搭建了特征提取模块和匹配代价模块，据此来进行图像的立体匹配和视差的求取。所述立体匹配模型是深度卷积神经网络，其以条纹图作为输入，以相位图作为输出。训练时，以条纹图和真实相位作为输入，以L1等作为损失函数进行迭代训练，直到损失函数收敛，获得最优的神经网络。所述损失函数包含但不限于L1损失。
(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；其具体包括如下步骤：
(a)单帧条纹图相位恢复，
利用预先训练好的相位恢复模型，从条纹图中恢复出相位信息，将步骤(2)采集到的左条纹图和右条纹图分别作为相位恢复模型的输入，用相位恢复模型的参数对输入图像进行卷积、激活操作，最终得到相位恢复模型恢复出来的相位图，其中，左相位图和右相位图中的相位值都是位于区间(-π，π]内的包裹相位；所述相位恢复模型如图4所示，包括特征提取模块、正弦信息恢复模块、余弦信息恢复模块、相位计算模块；所述单帧条纹图相位恢复的方法具体是模型输入为条纹图，经过特征提取模块，进行特征图的提取；然后分别利用卷积模块对该特征进行正弦信息的恢复和余弦信息的恢复；最后四象限反正切操作将正余弦信息合并为一张相位图，作为网络的输出，该输出就是模型所要恢复的相位信息；
(b)相位辅助视差优化，
根据步骤(a)中恢复出的左相位图和右相位图信息，对步骤(3)得到初始匹配视差进行优化，利用步骤(3)中的视差找出左相位图中点在右相位图中的匹配点位置，以该位置为中心在一定范围内进行对应点的相位值搜索，得到相位值相同的点的坐标，从而对视差进行优化。所述相位辅助视差优化相位辅助视差优化的方法，基于物理空间中某一点在左右相位图中具有相同的相位值这一理论基础，具体是在左相位图中每一点联合获得的立体匹配视差图就可以找到右相位图中对应点，但是立体匹配视差的值存在一定的误差，因此，需要在右相位图对应点的前后进行搜索，寻找与左相位图相位值相等或最接近的点，然后更新视差值，更新视差值的过程中用到了一维线性插值，应用上述方法，更新整张立体匹配视差图得到优化后的视差值。
(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓。其具体过程为：根据立体视觉***的标定参数和重建原理，对优化后的视差图进行立体重建，得到对应的三维点云模型，完成三维扫描。所述立体重建是通过重投影矩阵Q重建得到空间点的三维坐标，如下公式：
式中：x,y是左相机上观测点的像素坐标；d是优化后的视差；cx,cy校正后左图像的主点位置；cx′,cy′校正后右图像的主点位置，左右图像校正后cy＝cy′；Tx是校正后的基线距离，fx是x方向的焦距，三维坐标是(X/W,Y/W,Z/W)。
实施例2
本实施例所述基于卷积神经网络的条纹投影三维扫描方法，包括如下步骤：
(1)用计算机生成一张正弦编码条纹图；
(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；
(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；
(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；
(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，仍属于本发明技术方案的范围内。
Claims (10)
1.一种基于卷积神经网络的条纹投影三维扫描方法，其特征在于，包括如下步骤：
(1)用计算机生成一张正弦编码条纹图；
(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；
(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；
(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；
(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓。
2.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：步骤(1)中计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹周期、初始相位。
3.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：步骤(2)所述左相机和右相机可以为两个相同的相机或两个不同的相机或一个相机和一个投影仪的组合。
4.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于，所述步骤(2)具体包括如下步骤：
第一步，硬件搭建及标定参数，
条纹投影三维扫描技术的硬件部分由两个相机和一个投影装置构成；其中，左相机和右相机构成立体视觉***，投影装置位于两个相机中间，调节三者的夹角至视场范围重合，然后对左相机和右相机组成的立体视觉***进行标定，得到左相机和右相机的内参以及位置关系，即标定参数，所述参数包括相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵；
第二步，图像数据获取，
利用投影装置向被测物体投射编码正弦条纹，左相机和右相机同时对被测物体进行拍摄，得到左条纹图和右条纹图；根据立体视觉***的极线约束，利用标定参数将全局匹配转化为对应行的匹配，利用标定参数对左条纹图和右条纹图进行极线校正，得到行对准的左条纹图和右条纹图。
5.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：所述步骤(3)具体包括立体匹配模型的搭建、训练和使用；利用预先训练好的立体匹配模型，得到左条纹图和右条纹图之间的视差，将步骤(2)采集到的左条纹图和右条纹图同时输入到立体匹配模型中，利用视差范围约束提取出视差图中的有效区域，得到左右条纹图的匹配结果，即匹配视差图。
6.根据权利要求5所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：步骤(3)中所述立体匹配模型包括特征提取模块、匹配代价模块和视差估计模块；所述立体匹配模型是深度卷积神经网络，其以条纹图作为输入，以相位图作为输出。
7.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于，所述步骤(4)具体包括如下步骤：
(a)单帧条纹图相位恢复，
利用预先训练好的相位恢复模型，从条纹图中恢复出相位信息，将步骤(2)采集到的左条纹图和右条纹图分别作为相位恢复模型的输入，用相位恢复模型的参数对输入图像进行卷积、激活操作，最终得到相位恢复模型恢复出来的相位图，其中，左相位图和右相位图中的相位值都是位于区间(-π，π]内的包裹相位；
(b)相位辅助视差优化，
根据步骤(a)中恢复出的左相位图和右相位图信息，对步骤(3)得到初始匹配视差进行优化，利用步骤(3)中的视差找出左相位图中点在右相位图中的匹配点位置，以该位置为中心在一定范围内进行对应点的相位值搜索，得到相位值相同的点的坐标，从而对视差进行优化。
8.根据权利要求7所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：所述相位恢复模型包括特征提取模块、正弦信息恢复模块、余弦信息恢复模块、相位计算模块；所述单帧条纹图相位恢复的方法具体是模型输入为条纹图，经过特征提取模块，进行特征图的提取；然后分别利用卷积模块对该特征进行正弦信息的恢复和余弦信息的恢复；最后四象限反正切操作将正余弦信息合并为一张相位图，作为网络的输出，该输出就是模型所要恢复的相位信息；
所述相位辅助视差优化相位辅助视差优化的方法，基于物理空间中某一点在左右相位图中具有相同的相位值这一理论基础，具体是在左相位图中每一点联合获得的立体匹配视差图就可以找到右相位图中对应点，但是立体匹配视差的值存在一定的误差，因此，需要在右相位图对应点的前后进行搜索，寻找与左相位图相位值相等或最接近的点，然后更新视差值，更新视差值的过程中用到了一维线性插值，应用上述方法，更新整张立体匹配视差图得到优化后的视差值。
9.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于，所述步骤(5)的具体过程为：根据立体视觉***的标定参数和重建原理，对优化后的视差图进行立体重建，得到对应的三维点云模型，完成三维扫描。
10.根据权利要求9所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：所述立体重建是通过重投影矩阵Q重建得到空间点的三维坐标，如下公式：
式中：x,y是左相机上观测点的像素坐标；d是优化后的视差；cx,cy校正后左图像的主点位置；cx′,cy′校正后右图像的主点位置，左右图像校正后cy＝cy′；Tx是校正后的基线距离，fx是x方向的焦距，三维坐标是(X/W,Y/W,Z/W)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910891571.1A CN110487216B (zh) | 2019-09-20 | 2019-09-20 | 一种基于卷积神经网络的条纹投影三维扫描方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910891571.1A CN110487216B (zh) | 2019-09-20 | 2019-09-20 | 一种基于卷积神经网络的条纹投影三维扫描方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110487216A true CN110487216A (zh) | 2019-11-22 |
| CN110487216B CN110487216B (zh) | 2021-05-25 |
Family
ID=68558874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910891571.1A Active CN110487216B (zh) | 2019-09-20 | 2019-09-20 | 一种基于卷积神经网络的条纹投影三维扫描方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110487216B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111351450A (zh) * | 2020-03-20 | 2020-06-30 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| CN111563952A (zh) * | 2020-03-30 | 2020-08-21 | 北京理工大学 | 基于相位信息与空间纹理特征实现立体匹配方法及*** |
| CN111651954A (zh) * | 2020-06-10 | 2020-09-11 | 嘉兴市像景智能装备有限公司 | 基于深度学习对smt电子元件三维重建的方法 |
| CN111879258A (zh) * | 2020-09-28 | 2020-11-03 | 南京理工大学 | 基于条纹图像转换网络FPTNet的动态高精度三维测量方法 |
| CN111928794A (zh) * | 2020-08-04 | 2020-11-13 | 北京理工大学 | 基于深度学习的闭合条纹兼容单幅干涉图解相方法及装置 |
| CN111947599A (zh) * | 2020-07-24 | 2020-11-17 | 南京理工大学 | 基于学习的条纹相位恢复和散斑相关的三维测量方法 |
| CN111947600A (zh) * | 2020-07-24 | 2020-11-17 | 南京理工大学 | 基于相位级次代价滤波的鲁棒立体相位展开方法 |
| CN112212806A (zh) * | 2020-09-18 | 2021-01-12 | 南京理工大学 | 一种基于相位信息导向的立体相位展开方法 |
| CN112330814A (zh) * | 2020-11-24 | 2021-02-05 | 革点科技(深圳)有限公司 | 一种基于机器学习的结构光三维重建方法 |
| CN112419386A (zh) * | 2020-09-18 | 2021-02-26 | 南京理工大学 | 一种基于深度学习的端到端散斑投影三维测量方法 |
| CN112504162A (zh) * | 2020-12-04 | 2021-03-16 | 江苏鑫晨光热技术有限公司 | 一种定日镜面形快速解算***及方法 |
| CN112833818A (zh) * | 2021-01-07 | 2021-05-25 | 南京理工大学智能计算成像研究院有限公司 | 一种单帧条纹投影三维面型测量方法 |
| CN113310438A (zh) * | 2020-02-26 | 2021-08-27 | 广东博智林机器人有限公司 | 平整度测量方法、装置、计算机设备和存储介质 |
| WO2021184686A1 (zh) * | 2020-03-20 | 2021-09-23 | 南京理工大学 | 基于多尺度生成对抗神经网络的单帧条纹分析方法 |
| CN113884027A (zh) * | 2021-12-02 | 2022-01-04 | 南京理工大学 | 基于自监督深度学习的几何约束相位展开方法 |
| CN113916153A (zh) * | 2021-10-12 | 2022-01-11 | 深圳市其域创新科技有限公司 | 一种主被动结合的结构光三维测量方法 |
| CN115063468A (zh) * | 2022-06-17 | 2022-09-16 | 梅卡曼德（北京）机器人科技有限公司 | 双目立体匹配方法、计算机存储介质以及电子设备 |
| CN115379182A (zh) * | 2022-08-19 | 2022-11-22 | 四川大学 | 一种双向结构光编解码方法、装置、电子设备及存储介质 |
| CN115816471A (zh) * | 2023-02-23 | 2023-03-21 | 无锡维度机器视觉产业技术研究院有限公司 | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956597A (zh) * | 2016-05-04 | 2016-09-21 | 浙江大学 | 一种基于卷积神经网络的双目立体匹配方法 |
| CN106355570A (zh) * | 2016-10-21 | 2017-01-25 | 昆明理工大学 | 一种结合深度特征的双目立体视觉匹配方法 |
| CN107146248A (zh) * | 2017-04-27 | 2017-09-08 | 杭州电子科技大学 | 一种基于双流卷积神经网络的立体匹配方法 |
| CN108230338A (zh) * | 2018-01-11 | 2018-06-29 | 温州大学 | 一种基于卷积神经网络的立体图像分割方法 |
| CN108256504A (zh) * | 2018-02-11 | 2018-07-06 | 苏州笛卡测试技术有限公司 | 一种基于深度学习的三维动态手势识别方法 |
| KR101957089B1 (ko) * | 2018-01-08 | 2019-03-11 | 인하대학교 산학협력단 | 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템 |
| CN110148181A (zh) * | 2019-04-25 | 2019-08-20 | 青岛康特网络科技有限公司 | 一种通用双目立体匹配方法 |
| CN110163817A (zh) * | 2019-04-28 | 2019-08-23 | 浙江工业大学 | 一种基于全卷积神经网络的相位主值提取方法 |
-
2019
- 2019-09-20 CN CN201910891571.1A patent/CN110487216B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956597A (zh) * | 2016-05-04 | 2016-09-21 | 浙江大学 | 一种基于卷积神经网络的双目立体匹配方法 |
| CN106355570A (zh) * | 2016-10-21 | 2017-01-25 | 昆明理工大学 | 一种结合深度特征的双目立体视觉匹配方法 |
| CN107146248A (zh) * | 2017-04-27 | 2017-09-08 | 杭州电子科技大学 | 一种基于双流卷积神经网络的立体匹配方法 |
| KR101957089B1 (ko) * | 2018-01-08 | 2019-03-11 | 인하대학교 산학협력단 | 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템 |
| CN108230338A (zh) * | 2018-01-11 | 2018-06-29 | 温州大学 | 一种基于卷积神经网络的立体图像分割方法 |
| CN108256504A (zh) * | 2018-02-11 | 2018-07-06 | 苏州笛卡测试技术有限公司 | 一种基于深度学习的三维动态手势识别方法 |
| CN110148181A (zh) * | 2019-04-25 | 2019-08-20 | 青岛康特网络科技有限公司 | 一种通用双目立体匹配方法 |
| CN110163817A (zh) * | 2019-04-28 | 2019-08-23 | 浙江工业大学 | 一种基于全卷积神经网络的相位主值提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHIJIE FENG,ET AL.: "Fringe pattern analysis using deep learning", 《ADVANCED PHOTONICS》 * |
| 白鹏: "基于卷级神经网络的双目立体视觉研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113310438A (zh) * | 2020-02-26 | 2021-08-27 | 广东博智林机器人有限公司 | 平整度测量方法、装置、计算机设备和存储介质 |
| CN111351450A (zh) * | 2020-03-20 | 2020-06-30 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| CN111351450B (zh) * | 2020-03-20 | 2021-09-28 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| WO2021184686A1 (zh) * | 2020-03-20 | 2021-09-23 | 南京理工大学 | 基于多尺度生成对抗神经网络的单帧条纹分析方法 |
| CN111563952A (zh) * | 2020-03-30 | 2020-08-21 | 北京理工大学 | 基于相位信息与空间纹理特征实现立体匹配方法及*** |
| CN111563952B (zh) * | 2020-03-30 | 2023-03-14 | 北京理工大学 | 基于相位信息与空间纹理特征实现立体匹配方法及*** |
| CN111651954A (zh) * | 2020-06-10 | 2020-09-11 | 嘉兴市像景智能装备有限公司 | 基于深度学习对smt电子元件三维重建的方法 |
| CN111651954B (zh) * | 2020-06-10 | 2023-08-18 | 嘉兴市像景智能装备有限公司 | 基于深度学习对smt电子元件三维重建的方法 |
| CN111947599A (zh) * | 2020-07-24 | 2020-11-17 | 南京理工大学 | 基于学习的条纹相位恢复和散斑相关的三维测量方法 |
| CN111947600A (zh) * | 2020-07-24 | 2020-11-17 | 南京理工大学 | 基于相位级次代价滤波的鲁棒立体相位展开方法 |
| CN111928794A (zh) * | 2020-08-04 | 2020-11-13 | 北京理工大学 | 基于深度学习的闭合条纹兼容单幅干涉图解相方法及装置 |
| CN111928794B (zh) * | 2020-08-04 | 2022-03-11 | 北京理工大学 | 基于深度学习的闭合条纹兼容单幅干涉图解相方法及装置 |
| CN112212806A (zh) * | 2020-09-18 | 2021-01-12 | 南京理工大学 | 一种基于相位信息导向的立体相位展开方法 |
| CN112419386A (zh) * | 2020-09-18 | 2021-02-26 | 南京理工大学 | 一种基于深度学习的端到端散斑投影三维测量方法 |
| CN112212806B (zh) * | 2020-09-18 | 2022-09-13 | 南京理工大学 | 一种基于相位信息导向的立体相位展开方法 |
| CN111879258A (zh) * | 2020-09-28 | 2020-11-03 | 南京理工大学 | 基于条纹图像转换网络FPTNet的动态高精度三维测量方法 |
| CN112330814B (zh) * | 2020-11-24 | 2023-11-07 | 革点科技(深圳)有限公司 | 一种基于机器学习的结构光三维重建方法 |
| CN112330814A (zh) * | 2020-11-24 | 2021-02-05 | 革点科技(深圳)有限公司 | 一种基于机器学习的结构光三维重建方法 |
| CN112504162A (zh) * | 2020-12-04 | 2021-03-16 | 江苏鑫晨光热技术有限公司 | 一种定日镜面形快速解算***及方法 |
| CN112504162B (zh) * | 2020-12-04 | 2022-07-26 | 江苏鑫晨光热技术有限公司 | 一种定日镜面形快速解算***及方法 |
| CN112833818A (zh) * | 2021-01-07 | 2021-05-25 | 南京理工大学智能计算成像研究院有限公司 | 一种单帧条纹投影三维面型测量方法 |
| CN113916153A (zh) * | 2021-10-12 | 2022-01-11 | 深圳市其域创新科技有限公司 | 一种主被动结合的结构光三维测量方法 |
| CN113916153B (zh) * | 2021-10-12 | 2023-11-28 | 深圳市其域创新科技有限公司 | 一种主被动结合的结构光三维测量方法 |
| CN113884027B (zh) * | 2021-12-02 | 2022-03-18 | 南京理工大学 | 基于自监督深度学习的几何约束相位展开方法 |
| CN113884027A (zh) * | 2021-12-02 | 2022-01-04 | 南京理工大学 | 基于自监督深度学习的几何约束相位展开方法 |
| CN115063468A (zh) * | 2022-06-17 | 2022-09-16 | 梅卡曼德（北京）机器人科技有限公司 | 双目立体匹配方法、计算机存储介质以及电子设备 |
| CN115379182A (zh) * | 2022-08-19 | 2022-11-22 | 四川大学 | 一种双向结构光编解码方法、装置、电子设备及存储介质 |
| CN115379182B (zh) * | 2022-08-19 | 2023-11-24 | 四川大学 | 一种双向结构光编解码方法、装置、电子设备及存储介质 |
| CN115816471A (zh) * | 2023-02-23 | 2023-03-21 | 无锡维度机器视觉产业技术研究院有限公司 | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110487216B (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110487216A (zh) | 一种基于卷积神经网络的条纹投影三维扫描方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| US20220207776A1 (en) | Disparity image fusion method for multiband stereo cameras | |
| CN101853528B (zh) | 一种手持式三维型面信息提取方法及其提取仪 | |
| CN108613637B (zh) | 一种基于参考图像的结构光***解相方法及*** | |
| CN102411778B (zh) | 一种机载激光点云与航空影像的自动配准方法 | |
| US20200225030A1 (en) | Handheld large-scale three-dimensional measurement scanner system simultaneously having photogrammetric and three-dimensional scanning functions | |
| US8836766B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
| CN107194991B (zh) | 一种基于骨架点局域动态更新的三维全局可视化监控***构建方法 | |
| WO2018103152A1 (zh) | 一种三维数字成像传感器、三维扫描***及其扫描方法 | |
| CN101887589B (zh) | 一种基于立体视觉的实拍低纹理图像重建方法 | |
| CN104335005B (zh) | 3d扫描以及定位*** | |
| US8593524B2 (en) | Calibrating a camera system | |
| KR100513055B1 (ko) | 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 | |
| CN111028295A (zh) | 一种基于编码结构光和双目的3d成像方法 | |
| CN109754459B (zh) | 一种用于构建人体三维模型的方法及*** | |
| CN111091076B (zh) | 基于立体视觉的隧道限界数据测量方法 | |
| CN111210481A (zh) | 多波段立体相机的深度估计加速方法 | |
| CN112505065A (zh) | 一种实现室内无人机对大部件表面缺陷进行检测的方法 | |
| CN104539928A (zh) | 一种光栅立体印刷图像合成方法 | |
| CN104835158A (zh) | 基于格雷码结构光与极线约束的三维点云获取方法 | |
| CN109242957A (zh) | 一种基于多重约束的单帧编码结构光三维重建方法 | |
| CN104408772A (zh) | 一种基于网格投影的自由曲面三维重建方法 | |
| CN105844633A (zh) | 基于De序列和相位编码的单帧结构光深度获取方法 | |
| CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Huanhuan Inventor before: Yang Tao Inventor before: Zhang Guanliang Inventor before: Li Huanhuan |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |