CN117496499B - 3d结构光成像中虚假深度边缘的识别和补偿方法、*** - Google Patents

3d结构光成像中虚假深度边缘的识别和补偿方法、*** Download PDF

Info

Publication number
CN117496499B
CN117496499B CN202311809929.4A CN202311809929A CN117496499B CN 117496499 B CN117496499 B CN 117496499B CN 202311809929 A CN202311809929 A CN 202311809929A CN 117496499 B CN117496499 B CN 117496499B
Authority
CN
China
Prior art keywords
depth
edge
dimensional
detected
false
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311809929.4A
Other languages
English (en)
Other versions
CN117496499A (zh
Inventor
施陈博
秦政
祝长生
张淳
蒋鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202311809929.4A priority Critical patent/CN117496499B/zh
Publication of CN117496499A publication Critical patent/CN117496499A/zh
Application granted granted Critical
Publication of CN117496499B publication Critical patent/CN117496499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像数据处理技术领域，具体为3D结构光成像中虚假深度边缘的识别和补偿方法、***，该识别和补偿方法，首先利用了基于多张相移条纹图案和多张格雷码图案获得的待测面深度图，通过提取边缘点的深度值以及边缘点邻域范围内的邻居像素点的深度值，组成一维深度序列数据；然后，将一维深度序列数据进行特征提取后绘制为深度变化曲线进行分类识别，得到准确的分类边缘类型，最后，结合高分辨率纹理图案的纹理特征的标准一维深度序列数据，对虚假深度边缘进行深度误差补偿，该方法既能准确将虚假深度边缘分类出来，还能对虚假深度边缘进行小特征上的误差校正，提高深度误差消除效果，提高3D结构光成像的测量效果。

Description

3D结构光成像中虚假深度边缘的识别和补偿方法、***
技术领域
本发明涉及图像数据处理技术领域，具体为3D结构光成像中虚假深度边缘的识别和补偿方法、***。
背景技术
3D结构光测量***在精密检测、逆向工程、机器人引导等领域有着无可比拟的优势，3D结构光测量***由计算机、工业相机、DLP4500投影仪和测量场景组成，***结构可参见申请号为202310868687.X的中国发明。3D结构光成像的相位测量轮廓术方法具有高速、高精度的特点，但是在具有纹理变化图案、不均匀反射率的测量表面、以及不连续型边缘区域上难以实现高精度的三维测量。
原因是现有的结构光3D测量方法中，由于相机失焦、或物体反射率突变等，会引起纹理边缘的相位解码串扰，从而导致深度估计出现误差，导致虚假深度边缘的产生，且虚假深度边缘的误差很难消除，由此影响了3D结构光成像测量结果的准确性。
现有方法中，有人曾利用滑动窗口在反射率变化区域进行来回滑动，根据相位误差的生成和校正模型，在获取的相位中校正由于反射率突变导致的相位误差，该方法可以对较大特征的误差进行区分，但是对于小特征的误差，仍然会影响测量精度。还有人曾根据先前标定测量深度上的点扩散函数参数，在测量过程中利用求得的参数进行反卷积操作来消除深度误差，但是，如果用于标定点扩散函数参数的图像存在噪声或者误差，会很容易影响最终深度误差消除的效果。
发明内容
本发明的目的是提供一种用于深度边缘的识别和深度误差补偿的，3D结构光成像中虚假深度边缘的识别和补偿方法、***。
本发明技术方案如下：
一种3D结构光成像中虚假深度边缘的识别和补偿方法包括如下操作：
S1、基于获取的待测面的多张相移条纹图案和多张格雷码图案，得到待测面绝对相位；所述待测面绝对相位经三维高度重建处理，得到待测面三维相位；获取所述待测面三维相位中的待测面高度数据，得到待测面深度图；
S2、获取待测面的灰度图，提取所述灰度图中纹理边缘的像素点，得到边缘点，所有边缘点形成了边缘点集；
获取所述边缘点集中，每个边缘点的邻居像素点在所述待测面深度图中对应位置处的深度值，得到每个边缘点对应的邻居像素点深度值；
所有邻居像素点深度值，以及所有边缘点在所述待测面深度图中对应位置处的深度值，形成了一维深度序列数据；
S3、所述一维深度序列数据经特征提取处理，得到待检特征数据；
将所述待检特征数据绘制成深度变化曲线，
基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对所述深度变化曲线进行分类；
或使用神经网络对所述深度变化曲线进行分类，
得到无边缘、或真实深度边缘、或虚假深度边缘的分类结果；
S4、基于标准一维深度序列数据，对所述虚假深度边缘对应的一维深度序列数据进行校正补偿处理，得到补偿结果。
所述S3中，基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对所述深度变化曲线进行分类的操作具体为：
若所述深度变化曲线的线性相关系数超过第一系数，预设检测区间内深度变化值不超过第一阈值，则所述分类结果为无边缘；
若所述深度变化曲线的线性相关系数不超过第一系数，预设检测区间内深度变化值超过第一阈值，超过第一阈值的预设检测区间内深度变化值的数量小于第一数量，则所述分类结果为仅受纹理调制的边缘，为虚假深度边缘；
若所述深度变化曲线的线性相关系数不超过第一系数，预设检测区间内深度变化值超过第一阈值，超过第一阈值的预设检测区间内深度变化值的数量不小于第一数量，但小于第二数量，则所述分类结果为仅受深度调制的边缘，为真实深度边缘；
若所述深度变化曲线的线性相关系数不超过第一系数，预设检测区间内深度变化值超过第一阈值，超过第一阈值的预设检测区间内深度变化值的数量不小于第二数量，则所述分类结果为既受纹理调制又受深度调制的边缘，为虚假深度边缘。
所述S4中校正补偿处理的操作为：获取标准一维深度序列数据，与所述虚假深度边缘对应的一维深度序列数据，在对应边缘点处的深度差值；基于所述深度差值，对所述一维深度序列数据进行校准，得到校准一维深度序列数据；基于所述校准一维深度序列数据，更新所述待测面深度图，得到所述补偿结果。
所述S3中特征提取的操作为：所述一维深度序列数据依次经卷积、池化、语义特征提取、多头注意力处理、多线性处理，得到所述特征信息。
所述多线性处理的操作具体为：经所述多头注意力处理后得到的注意力特征数据，依次经归一化处理、第一线性处理、第一非线性处理、参数丢失处理、第二线性处理、第二非线性处理，得到所述待检特征数据。
所述S1中得到待测面绝对相位的操作具体为：所述多张相移条纹图案经相移法处理，得到包裹相位；所述包裹相位和多张格雷码图案经解包裹相位处理，得到所述待测面绝对相位。
所述S3中的特征提取处理的操作之前，还包括将所述一维深度序列数据进行去噪和归一化处理。
一种3D结构光成像中虚假深度边缘的识别和补偿***，包括：
待测面深度图生成模块，用于基于获取的待测面的多张相移条纹图案和多张格雷码图案，得到待测面绝对相位；所述待测面绝对相位经三维高度重建处理，得到待测面三维相位；获取所述待测面三维相位中的待测面高度数据，得到待测面深度图；
一维深度序列数据生成模块，用于获取待测面的灰度图，提取所述灰度图中纹理边缘的像素点，得到边缘点，所有边缘点形成了边缘点集；获取所述边缘点集中，每个边缘点的邻居像素点在所述待测面深度图中对应位置处的深度值，得到每个边缘点对应的邻居像素点深度值；所有邻居像素点深度值，以及所有边缘点在所述待测面深度图中对应位置处的深度值，形成了一维深度序列数据；
特征提取和分类模块，用于所述一维深度序列数据经特征提取处理，得到待检特征数据；将所述待检特征数据绘制成深度变化曲线，基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对所述深度变化曲线进行分类；或使用神经网络对所述深度变化曲线进行分类，得到无边缘、或真实深度边缘、或虚假深度边缘的分类结果；
补偿结果生成模块，用于基于标准一维深度序列数据，对所述虚假深度边缘对应的一维深度序列数据进行校正补偿处理，得到补偿结果。
一种3D结构光成像中虚假深度边缘的识别和补偿设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的3D结构光成像中虚假深度边缘的识别和补偿方法。
一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的3D结构光成像中虚假深度边缘的识别和补偿方法。
本发明的有益效果在于：
本发明提供的3D结构光成像中虚假深度边缘的识别和补偿方法，首先，利用基于多张相移条纹图案和多张格雷码图案获得的待测面深度图，通过提取边缘点的深度值以及边缘点邻域范围内的邻居像素点的深度值，组成一维深度序列数据；然后，将一维深度序列数据进行特征提取后绘制为深度变化曲线进行分类识别，得到准确的边缘类型，最后，结合高分辨率纹理图案的纹理特征的标准一维深度序列数据，对虚假深度边缘进行深度误差补偿，该方法既能准确将虚假深度边缘分类出来，还能对虚假深度边缘进行小特征上的误差校正，提高深度误差消除效果，提高3D结构光成像的测量效果。
附图说明
通过阅读下文优选实施方式的详细描述，本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为实施例中，识别和补偿方法的流程示意图；
图2为实施例中，无边缘的深度曲线和深度图示例；
图3为实施例中，仅受纹理调制的边缘的深度曲线和深度图示例；
图4为实施例中，仅受深度调制的边缘的深度曲线和深度图示例；
图5为实施例中，既受纹理调制又受深度调制的边缘的深度曲线和深度图示例；
图6为实施例中，经误差补偿后的仅受纹理调制的边缘的深度曲线和深度图示例；
图7为实施例中，经误差补偿后的既受纹理调制又受深度调制的边缘的深度曲线和深度图示例。
具体实施方式
下面将结合附图更详细地描述本公开的示例性实施方式。
本实施例提供了一种3D结构光成像中虚假深度边缘的识别和补偿方法，参见图1，包括如下操作：
S1、基于获取的待测面的多张相移条纹图案和多张格雷码图案，得到待测面绝对相位；所述待测面绝对相位经三维高度重建处理，得到待测面三维相位；获取所述待测面三维相位中的待测面高度数据，得到待测面深度图；
S2、获取待测面的灰度图，提取所述灰度图中纹理边缘的像素点，得到边缘点，所有边缘点形成了边缘点集；
获取所述边缘点集中，每个边缘点的邻居像素点在所述待测面深度图中对应位置处的深度值，得到每个边缘点对应的邻居像素点深度值；
所有邻居像素点深度值，以及所有边缘点在所述待测面深度图中对应位置处的深度值，形成了一维深度序列数据；
S3、所述一维深度序列数据经特征提取处理，得到待检特征数据；
将所述待检特征数据绘制成深度变化曲线；
基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对所述深度变化曲线进行分类；
或使用神经网络对所述深度变化曲线进行分类；
得到无边缘、或真实深度边缘、或虚假深度边缘的分类结果；
S4、基于标准一维深度序列数据，对所述虚假深度边缘对应的一维深度序列数据进行校正补偿处理，得到补偿结果。
S1、基于获取的待测面的多张相移条纹图案和多张格雷码图案，得到待测面绝对相位；绝对相位经三维高度重建处理，得到待测面三维相位；获取待测面三维相位中的待测面高度数据，得到待测面深度图。
获取待测面的多张相移条纹图案和多张格雷码图案。利用投影仪分别依次投影多幅相移条纹图案和格雷码图案在待测物的表面上，即待测面，相机依次拍摄待测面的相移条纹图案和格雷码图案，得到待测面的多张相移条纹图案和多张格雷码图案。
得到待测面绝对相位的操作为：多张相移条纹图案经相移法处理，得到包裹相位；包裹相位和多张格雷码图案经解包裹相位处理，得到待测面绝对相位。解包裹相位处理为现有技术，为节省篇幅，因此不在此过多叙述。
相移法的操作可通过如下公式实现：
，
为所述包裹相位，/>为相机捕获的第n张相移条纹图案中p位置的实际光照强度，N为相移条纹图案的总数。
三维高度重建处理得操作为：将待测面绝对相位，与相机内参数数据结合，根据标准相位高度模型，进行待测面绝对相位的三维数据分类和排列，得到待测面三维相位。待测面三维相位中，x轴方向的数据为待测面上某一点，至相机光心投影在待测面上点的水平距离，y轴方向的数据共同组成了为待测面上某一点，至相机光心的垂直距离，z轴方向的数据为待测面上某一点，至相机光心投影在待测面上点的垂直距离，也为待测面的高度数据。获取待测面三维相位中的待测面高度数据（z轴方向上的数据），作为待测面深度图。
S2、获取待测面的灰度图，提取灰度图中纹理边缘的像素点，得到边缘点，所有边缘点形成了边缘点集；获取边缘点集中，每个边缘点的邻居像素点在待测面深度图中对应位置处的深度值，得到每个边缘点对应的邻居像素点深度值；所有邻居像素点深度值，以及所有边缘点在待测面深度图中对应位置处的深度值，形成了一维深度序列数据。
首先，将相机获得的待测面的普通二维图像进行灰度化处理，得到待测面的灰度图。
然后，将灰度图中纹理边缘的像素点，作为边缘点，用于形成边缘点集，获取灰度图中纹理边缘的像素点的操作为：获取灰度图所有位置处的像素点，得到像素分布图；以像素分布图的几何中心点为标准中心点，标准中心点至像素分布图的四周边缘为像素值扫描方向，获取前一位置点与后一位置点的像素变化梯度，得到像素梯度分布图；获取像素梯度分布图中，像素变化梯度大于梯度阈值的位置点，作为灰度图中纹理边缘的像素点，即作为边缘点，所有边缘点形成了边缘点集。
最后，获取边缘点集中，每个边缘点邻域范围内的所有邻居像素点，分别在待测面深度图中对应位置处的深度值，得到的所有邻居像素点深度值，形成了邻居像素点数据；所有的边缘点在待测面深度图中对应位置处的深度值，形成了边缘点数据；邻居像素点数据和边缘点数据形成了一维深度序列数据。
S3、一维深度序列数据经特征提取处理，得到待检特征数据；将待检特征数据绘制成深度变化曲线，基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对深度变化曲线进行分类；或使用神经网络对深度变化曲线进行分类，得到无边缘、或真实深度边缘、或虚假深度边缘的分类结果。
将一维深度序列数据进行特征提取处理，得到的特征信息用于分类检测更能提高分类的准确度。
特征提取的操作可以为：将一维深度序列数据进行卷积、池化和全连接处理。
特征提取的操作还可以为：一维深度序列数据依次经卷积、池化、语义特征提取、多头注意力处理、多线性处理，得到特征信息。
语义特征提取的操作可通过如下公式实现：
，
，
，
，
x t 为池化一维深度序列数据（经卷积和池化处理的一维深度序列数据），h t-1 为t-1时刻的更新池化一维深度序列数据，W z 为更新门权重矩阵，σ( )为sigmod函数，Z t 为t时刻的更新门输出，W r 为重置门权重矩阵，R t 为t时刻的重置门输出，tanh( )双曲正切函数，⊙为元素乘法，为t时刻的中间池化一维深度序列数据，h t 为t时刻的更新池化一维深度序列数据。
多头注意力处理的操作为：将经语义特征提取处理后的语义特征数据，分别依次与不同的注意力影响因子和线性参数进行相乘后，进行加权融合，得到注意力特征数据。
多线性处理的操作具体为：经多头注意力处理后得到的注意力特征数据，依次经归一化处理、第一线性处理（可通过神经网络中的线性层实现）、第一非线性处理（可通过神经网络中的ReLU激活层实现）、参数丢失处理（可通过神经网络中的Dropout层实现）、第二线性处理（可通过神经网络中的线性层实现）、第二非线性处理（可通过神经网络中的ReLU激活层实现），得到待检特征数据。
为提高计算效率，特征提取处理的操作之前，还包括将一维深度序列数据进行去噪（优选小波降噪处理方法）和归一化处理。
接着，为获取待检特征数据的深度边缘类型，首先将待检特征数据绘制成x轴为边缘点在待测面深度图中的位置，y轴为深度值的深度变化曲线，然后对深度变化曲线进行具体的分类处理，参考下边的两种分类处理方法。
第一种分类方法为，基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对深度变化曲线进行分类，操作为：
若深度变化曲线的线性相关系数超过第一系数，预设检测区间内深度变化值不超过第一阈值，则分类结果为无边缘。参见图2，深度变化曲线的线性相关系数超过第一系数，深度变化曲线中的数据整体呈线性变化，深度变化曲线整体上是直线的，且预设检测区间内深度变化值不超过第一阈值，即预设检测区间内深度值的变化幅度较小，不明显，则分类结果为，无边缘（无边缘的平坦区域）。
若深度变化曲线的线性相关系数不超过第一系数，预设检测区间内深度变化值超过第一阈值，超过第一阈值的预设检测区间内深度变化值的数量小于第一数量，则分类结果为仅受纹理调制的边缘，为虚假深度边缘。参见图3，深度变化曲线的线性相关系数不超过第一系数，深度变化曲线中大部分为直线，但某些区域出现了较为突然的凸起或是凹陷，且预设检测区间内深度变化值超过了第一阈值，即预设检测区间内深度值的变化幅度中等，凸起或是凹陷较为明显，同时，超过第一阈值的预设检测区间内深度变化值的数量小于第一数量（凸起或是凹陷的数量较少），则分类结果为，仅受纹理调制的边缘，为虚假深度边缘。
若深度变化曲线的线性相关系数不超过第一系数，预设检测区间内深度变化值超过第一阈值，超过第一阈值的预设检测区间内深度变化值的数量不小于第一数量，但小于第二数量，则分类结果为仅受深度调制的边缘，为真实深度边缘。参见图4，深度变化曲线的线性相关系数不超过第一系数，并小于低于第一系数的第二系数，深度变化曲线中为直线的区域较少，会出现明显凸起或是凹陷，预设检测区间内深度变化值超过第一阈值，但不超过大于第一阈值的第二阈值，即预设检测区间内深度值变化幅度能超过仅受纹理调制的边缘对应的深度变化曲线，凸起或是凹陷比较明显，同时超过第一阈值的预设检测区间内深度变化值的数量不小于第一数量，但小于第二数量，也就是凸起或是凹陷的数量较多，则分类结果为，仅受深度调制的边缘，为真实深度边缘。
若深度变化曲线的线性相关系数不超过第一系数，预设检测区间内深度变化值超过第一阈值，超过第一阈值的预设检测区间内深度变化值的数量不小于第二数量，则分类结果为既受纹理调制又受深度调制的边缘，为虚假深度边缘。参见图5，深度变化曲线的线性相关系数不超过第一系数，并小于低于第二系数的第三系数，深度变化曲线中为直线的区域极少，凸起或凹陷很明显，预设检测区间内深度变化值超过了第一阈值，且超过了大于第一阈值的第二阈值，超过第一阈值的预设检测区间内深度变化值的数量不小于第二数量，凸起或是凹陷的数量非常多，则分类结果为，既受纹理调制又受深度调制的边缘，为虚假深度边缘。
第二种分类方法为，使用神经网络对深度变化曲线进行分类，操作为：分别获取多个，无边缘的平坦区域对应的标准深度变化曲线，仅受纹理调制的边缘对应的标准深度变化曲线，仅受深度调制的边缘对应的标准深度变化曲线，以及既受纹理调制又受深度调制的边缘对应的标准深度变化曲线，形成数据集；利用数据集训练处理DeepLap神经网络（或其他深度学习模型），得到训练DeepLap神经网络；利用训练DeepLap神经网络处理深度变化曲线，得到分类结果。
分类的损失函数为：
，
其中，M表示虚假边缘类型的标签，y ic 表示符号函数，p ic 表示观测样本i属于类别c的概率。
S4、基于标准一维深度序列数据，对虚假深度边缘对应的一维深度序列数据进行校正补偿处理，得到补偿结果。
通过上述的分类处理，可得到仅受纹理调制的边缘、和既受纹理调制又受深度调制的边缘2种虚假深度边缘，这种虚假深度边缘与真实深度边缘存在深度误差，需要进行校正补偿，以提高获取的待测面检测结果的准确度。
校正补偿处理的操作可以为：获取标准一维深度序列数据，与虚假深度边缘对应的一维深度数据，在对应边缘点处的深度差值；基于深度差值，对一维深度数据进行校准，得到校准一维深度数据；基于校准一维深度数据，更新待测面深度图，得到补偿结果。
具体为，将标准一维深度数据，与仅受纹理调制的边缘或既受纹理调制又受深度调制的边缘的一维深度数据在对应位置处的深度值差，作为误差，将一维深度数据对应位置处的深度值与对应误差值相加，实现对一维深度数据的校准，得到校准一维深度数据；接着，利用校准一维深度数据，将原待测面深度图中，每个位置处的深度值变为对应的校准深度值，实现待测面深度图的更新校正，得到补偿结果。标准一维深度数据能够提供更多关于物体表面特征的信息，可大批量对虚假深度边缘进行深度误差补偿校正，补偿结果分别参见图6与图7。
校正补偿处理的操作还可以为：因为物体表面存在纹理差异，所以可以考虑物体表面的反射特性，使用合适的反射模型(例如：兰伯特反射模型)减小相机捕获场景中相邻像素之间的光强影响，从而可计算出更加精确的待测面绝对相位来校正虚假边缘。
本实施例还提供一种3D结构光成像中虚假深度边缘的识别和补偿***，包括：
待测面深度图生成模块，用于基于获取的待测面的多张相移条纹图案和多张格雷码图案，得到待测面绝对相位；待测面绝对相位经三维高度重建处理，得到待测面三维相位；获取待测面三维相位中的待测面高度数据，得到待测面深度图；
一维深度序列数据生成模块，用于获取待测面的灰度图，提取灰度图中纹理边缘的像素点，得到边缘点，所有边缘点形成了边缘点集；获取边缘点集中，每个边缘点的邻居像素点在待测面深度图中对应位置处的深度值，得到每个边缘点对应的邻居像素点深度值；所有邻居像素点深度值，以及所有边缘点在待测面深度图中对应位置处的深度值，形成了一维深度序列数据；
特征提取和分类模块，用于一维深度序列数据经特征提取处理，得到待检特征数据；将待检特征数据绘制成深度变化曲线，基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对深度变化曲线进行分类；或使用神经网络对深度变化曲线进行分类，得到无边缘、或真实深度边缘、或虚假深度边缘的分类结果；
补偿结果生成模块，用于基于标准一维深度序列数据，对虚假深度边缘对应的一维深度序列数据进行校正补偿处理，得到补偿结果。
本实施例了还提供一种3D结构光成像中虚假深度边缘的识别和补偿设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的3D结构光成像中虚假深度边缘的识别和补偿方法。
本实施例了还提供一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的3D结构光成像中虚假深度边缘的识别和补偿方法。
本实施例提供的3D结构光成像中虚假深度边缘的识别和补偿方法，首先，利用基于多张相移条纹图案和多张格雷码图案获得的待测面深度图，通过提取边缘点的深度值以及边缘点邻域范围内的邻居像素点的深度值，组成一维深度序列数据；然后，将一维深度序列数据进行特征提取后绘制为深度变化曲线进行分类识别，得到准确的边缘类型，最后，基于高分辨率的纹理图案的标准一维深度序列数据，对虚假深度边缘进行深度误差补偿，该方法既能准确将虚假深度边缘分类出来，还能对虚假深度边缘进行小特征上的误差校正，提高深度误差消除效果，提高3D结构光成像的测量效果。

Claims (10)

1.一种3D结构光成像中虚假深度边缘的识别和补偿方法，其特征在于，包括如下操作：
S1、基于获取的待测面的多张相移条纹图案和多张格雷码图案，得到待测面绝对相位；所述待测面绝对相位经三维高度重建处理，得到待测面三维相位；获取所述待测面三维相位中的待测面高度数据，得到待测面深度图；
S2、获取待测面的灰度图，提取所述灰度图中纹理边缘的像素点，得到边缘点，所有边缘点形成了边缘点集；
获取所述边缘点集中，每个边缘点的邻居像素点在所述待测面深度图中对应位置处的深度值，得到每个边缘点对应的邻居像素点深度值；
所有邻居像素点深度值，以及所有边缘点在所述待测面深度图中对应位置处的深度值，形成了一维深度序列数据；
S3、所述一维深度序列数据经特征提取处理，得到待检特征数据；
将所述待检特征数据绘制成深度变化曲线，
基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对所述深度变化曲线进行分类；
或使用神经网络对所述深度变化曲线进行分类，
得到无边缘、或真实深度边缘、或虚假深度边缘的分类结果；
S4、基于标准一维深度序列数据，对所述虚假深度边缘对应的一维深度序列数据进行校正补偿处理，得到补偿结果。
2.根据权利要求1所述的3D结构光成像中虚假深度边缘的识别和补偿方法，其特征在于，所述S3中，基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对所述深度变化曲线进行分类的操作具体为：
若所述深度变化曲线的线性相关系数超过第一系数，预设检测区间内深度变化值不超过第一阈值，则所述分类结果为无边缘；
若所述深度变化曲线的线性相关系数不超过第一系数，预设检测区间内深度变化值超过第一阈值，超过第一阈值的预设检测区间内深度变化值的数量小于第一数量，则所述分类结果为仅受纹理调制的边缘，为虚假深度边缘；
若所述深度变化曲线的线性相关系数不超过第一系数，预设检测区间内深度变化值超过第一阈值，超过第一阈值的预设检测区间内深度变化值的数量不小于第一数量，但小于第二数量，则所述分类结果为仅受深度调制的边缘，为真实深度边缘；
若所述深度变化曲线的线性相关系数不超过第一系数，预设检测区间内深度变化值超过第一阈值，超过第一阈值的预设检测区间内深度变化值的数量不小于第二数量，则所述分类结果为既受纹理调制又受深度调制的边缘，为虚假深度边缘。
3.根据权利要求1所述的3D结构光成像中虚假深度边缘的识别和补偿方法，其特征在于，所述S4中校正补偿处理的操作为：
获取标准一维深度序列数据，与所述虚假深度边缘对应的一维深度序列数据，在对应边缘点处的深度差值；基于所述深度差值，对所述一维深度序列数据进行校准，得到校准一维深度序列数据；基于所述校准一维深度序列数据，更新所述待测面深度图，得到所述补偿结果。
4.根据权利要求1所述的3D结构光成像中虚假深度边缘的识别和补偿方法，其特征在于，所述S3中特征提取的操作为：
所述一维深度序列数据依次经卷积、池化、语义特征提取、多头注意力处理、多线性处理，得到所述特征信息。
5.根据权利要求4所述的3D结构光成像中虚假深度边缘的识别和补偿方法，其特征在于，所述多线性处理的操作具体为：
经所述多头注意力处理后得到的注意力特征数据，依次经归一化处理、第一线性处理、第一非线性处理、参数丢失处理、第二线性处理、第二非线性处理，得到所述待检特征数据。
6.根据权利要求1所述的3D结构光成像中虚假深度边缘的识别和补偿方法，其特征在于，所述S1中得到待测面绝对相位的操作具体为：
所述多张相移条纹图案经相移法处理，得到包裹相位；所述包裹相位和多张格雷码图案经解包裹相位处理，得到所述待测面绝对相位。
7.根据权利要求1所述的3D结构光成像中虚假深度边缘的识别和补偿方法，其特征在于，所述S3中的特征提取处理的操作之前，还包括将所述一维深度序列数据进行去噪和归一化处理。
8.一种3D结构光成像中虚假深度边缘的识别和补偿***，其特征在于，包括：
待测面深度图生成模块，用于基于获取的待测面的多张相移条纹图案和多张格雷码图案，得到待测面绝对相位；所述待测面绝对相位经三维高度重建处理，得到待测面三维相位；获取所述待测面三维相位中的待测面高度数据，得到待测面深度图；
一维深度序列数据生成模块，用于获取待测面的灰度图，提取所述灰度图中纹理边缘的像素点，得到边缘点，所有边缘点形成了边缘点集；获取所述边缘点集中，每个边缘点的邻居像素点在所述待测面深度图中对应位置处的深度值，得到每个边缘点对应的邻居像素点深度值；所有邻居像素点深度值，以及所有边缘点在所述待测面深度图中对应位置处的深度值，形成了一维深度序列数据；
特征提取和分类模块，用于所述一维深度序列数据经特征提取处理，得到待检特征数据；将所述待检特征数据绘制成深度变化曲线，基于线性相关系数，预设检测区间内深度变化值，和超过第一阈值的预设检测区间内深度变化值的数量，对所述深度变化曲线进行分类；或使用神经网络对所述深度变化曲线进行分类，得到无边缘、或真实深度边缘、或虚假深度边缘的分类结果；
补偿结果生成模块，用于基于标准一维深度序列数据，对所述虚假深度边缘对应的一维深度序列数据进行校正补偿处理，得到补偿结果。
9.一种3D结构光成像中虚假深度边缘的识别和补偿设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的3D结构光成像中虚假深度边缘的识别和补偿方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的3D结构光成像中虚假深度边缘的识别和补偿方法。
CN202311809929.4A 2023-12-27 2023-12-27 3d结构光成像中虚假深度边缘的识别和补偿方法、*** Active CN117496499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311809929.4A CN117496499B (zh) 2023-12-27 2023-12-27 3d结构光成像中虚假深度边缘的识别和补偿方法、***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311809929.4A CN117496499B (zh) 2023-12-27 2023-12-27 3d结构光成像中虚假深度边缘的识别和补偿方法、***

Publications (2)

Publication Number Publication Date
CN117496499A CN117496499A (zh) 2024-02-02
CN117496499B true CN117496499B (zh) 2024-03-15

Family

ID=89672951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311809929.4A Active CN117496499B (zh) 2023-12-27 2023-12-27 3d结构光成像中虚假深度边缘的识别和补偿方法、***

Country Status (1)

Country Link
CN (1) CN117496499B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
CN105931240A (zh) * 2016-04-21 2016-09-07 西安交通大学 三维深度感知装置及方法
CN109166125A (zh) * 2018-07-06 2019-01-08 长安大学 一种基于多边缘融合机制的三维深度图像分割算法
CN111402240A (zh) * 2020-03-19 2020-07-10 南京理工大学 基于深度学习的单帧彩色条纹投影的三维面型测量方法
CN116489333A (zh) * 2023-04-07 2023-07-25 南通大学 一种面向深度图编码单元划分的边缘分类模型构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
CN105931240A (zh) * 2016-04-21 2016-09-07 西安交通大学 三维深度感知装置及方法
CN109166125A (zh) * 2018-07-06 2019-01-08 长安大学 一种基于多边缘融合机制的三维深度图像分割算法
CN111402240A (zh) * 2020-03-19 2020-07-10 南京理工大学 基于深度学习的单帧彩色条纹投影的三维面型测量方法
CN116489333A (zh) * 2023-04-07 2023-07-25 南通大学 一种面向深度图编码单元划分的边缘分类模型构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Fast and Flexible Projector-Camera Calibration System;Bingyao Huang;《IEEE Transactions on Automation Science and Engineering》;20200603;全文 *
基于结构光的三维数据测量方法研究;翟鸣;《中国优秀硕士学位论文全文数据库》;20060315;全文 *

Also Published As

Publication number Publication date
CN117496499A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN109883533B (zh) 基于机器视觉的低频振动测量方法
Armangué et al. Overall view regarding fundamental matrix estimation
CN111046776B (zh) 基于深度相机的移动机器人行进路径障碍物检测的方法
CN109697736B (zh) 测量***的标定方法、装置、电子设备及可读存储介质
CN102169581A (zh) 一种基于特征向量的快速高精度鲁棒性匹配方法
CN108765476A (zh) 一种偏振图像配准方法
CN111462246B (zh) 一种结构光测量***的设备标定方法
CN115187676A (zh) 一种高精度线激光三维重建标定方法
WO2020136523A1 (en) System and method for the recognition of geometric shapes
CN113628170B (zh) 一种基于深度学习的激光线提取方法及***
CN112801165B (zh) 一种卡片审核方法及装置
CN116935181B (zh) 一种完全二值散斑嵌入脉宽调制模式三维测量方法
KR101129220B1 (ko) 레인지 영상의 노이즈 제거장치 및 방법
CN117496499B (zh) 3d结构光成像中虚假深度边缘的识别和补偿方法、***
CN112985258A (zh) 一种三维测量***的标定方法及测量方法
CN114136236A (zh) 一种结合极线约束的相位轮廓自适应投影测量方法
KR100933304B1 (ko) 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
CN112270693B (zh) 一种飞行时间深度相机运动伪差检测方法和装置
CN116188556A (zh) 镜面物体的三维测量方法、计算机可读存储介质
CN111899284B (zh) 一种基于参数化esm网络的平面目标跟踪方法
Olague et al. Hybrid evolutionary ridge regression approach for high-accurate corner extraction
CN112797917A (zh) 一种高精度的数字散斑干涉相位定量测量方法
CN113048899A (zh) 基于线结构光的厚度测量方法和***
Koljonen Computer vision and optimization methods applied to the measurements of in-plane deformations
JP2000207557A (ja) 位置ずれ量計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant