CN116518869A - 基于光度立体和双目结构光的金属表面测量方法及*** - Google Patents
基于光度立体和双目结构光的金属表面测量方法及*** Download PDFInfo
- Publication number
- CN116518869A CN116518869A CN202310230086.6A CN202310230086A CN116518869A CN 116518869 A CN116518869 A CN 116518869A CN 202310230086 A CN202310230086 A CN 202310230086A CN 116518869 A CN116518869 A CN 116518869A
- Authority
- CN
- China
- Prior art keywords
- point
- normal vector
- light source
- data
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 239000002184 metal Substances 0.000 title claims abstract description 24
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 24
- 238000004441 surface measurement Methods 0.000 title claims abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 97
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010587 phase diagram Methods 0.000 claims description 4
- 230000010363 phase shift Effects 0.000 claims description 4
- 238000002310 reflectometry Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 21
- 230000004927 fusion Effects 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000011084 recovery Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000001314 profilometry Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于三维测量技术领域,并具体公开了一种基于光度立体和双目结构光的金属表面测量方法及***。包括:采用双目相机获取待测面镜面区域数据缺失的原始深度点云;采用光立体法获取待测面完整的法向量数据;将所述原始深度点云与法向量数据进行融合以计算待测面的表面点云。本发明通过将双目结构光和近场光度立体的测量数据相结合,不仅补全了金属表面由于镜面反射造成的测量数据缺失,还利用高度数据和法向量数据的相互融合优化提高了表面重建的精度。
Description
技术领域
本发明属于三维测量领域,更具体地,涉及一种基于光度立体和双目结构光的金属表面测量方法及***。
背景技术
目前,机器视觉在工业领域的运用十分广泛。其中结构光三维测量技术,可以通过在目标表面投影条纹图来恢复表面高度,该方法测量精度高,且速度较快。然而该方法在一些细节方面存在过度平滑的现象。机器视觉中的光度立体技术通过使用不同方向的光源照射物体表面,获得高精度的表面法向量,然后利用法向量积分求出表面高度。虽然光度立体可以获得丰富的表面细节,但是该在积分求解高度时存在累积误差,使得恢复的表面三维信息精度较差。
为了解决上述问题,可以将两种方法进行融合,进一步提高测量精度。专利文献CN1130487214A公开了一种基于光度立体技术和结构光技术相结合的产品合格率的检测***及其检测方法。该方法使用面结构光测量出表面三维信息后求出各点法向量,结合光度立体测得的法向量数据,获得优化后的法向量,然后进行三维重建。由此获得精度更高,细节更清晰的三维数据。但是该方法在融合时需要保证两种方法都获得完整的表面点云,当测量存在镜面高光的金属表面时,结构光测得的数据会存在缺失孔洞,从而影响精度。
基于上述缺陷和不足,本领域亟需提出一种基于光度立体和双目结构光的金属表面融合测量方法,解决现有技术中金属表面由于镜面反射造成的测量数据缺失等问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于光度立体和双目结构光的金属表面测量方法及***,其中结合结构光方法中测量精度更高的双目结构光的特征及经过优化的透视投影下的近场点光源光度立体技术特点,相应设计了一种基于光度立体和双目结构光的金属表面融合测量方法,首先分别使用双目结构光获得镜面区域数据缺失的原始深度点云,以及光度立体获得待测表面完整的高精度法向量数据,然后将三维点云和法向量数据进行融合,从而提高提高了图像的完整性和准确性。具体的融合方法为用三维点云和法向数据分别估计位置误差和法向误差,通过最优化方法迭代使得位置误差和法向误差之和最小。为了区别高光射区域和其他区域的数据,设计了不同的权重因子值。此外,该方法的两种方法使用同一套相机***,有效避免了额外的设备误差、标定误差和配准误差,且无需重复调整设备参数,只需测量一次即可估计完整的点云,提高了表面重建效率。
为实现上述目的,按照本发明的一个方面,提出了一种基于光度立体和双目结构光的金属表面测量方法,包括以下步骤:
S1采用双目相机获取待测面镜面区域数据缺失的原始深度点云。本步骤中,使用的双目结构光技术是向目标表面投射正弦强度分布的条纹图,也就是条纹投影轮廓术,且通过与立体视觉的结合,使用两台相机拍摄目标表面,利用相位信息进行立体匹配,从而获得表面的三维信息。
S2采用光立体法获取待测面完整的法向量数据。本步骤中,基于朗伯反射模型,用表面辐照方程来描述物体表面在光源照射时的亮度,同时,为了解决金属表面的镜面反光问题,所以需要对图像中的镜面反射分量进行分离,同时阴影也会影响恢复精度,所以一并进行剔除。此外,本步骤中,使用了更为真实的透视投影相机模型和近场点光源模型来构建图像平面上的坐标点(x,y)到目标表面点(X,Y,Z)的映射关系,并据此来推导得到新的表面辐照度方程:
其中N(x,y)=(n1,n2,n3),k=1,2,...,m。方程(8)就是本发明提出的重建模型,由于引入透视投影和近场点光源模型,导致该方程定义的模型是非线性的,该模型一共有五个未知量(Z,ρ,n1,n2,n3),其中法向量(n1,n2,n3)为单位向量,所以只需求解任意两个分量。因为法向量与表面高度耦合在一起,提出使用参考平面Z0来代替真实目标表面的高度,用参考平面上各点的坐标与各光源位置之间的方向近似为目标表面各点的光源方向,如图7所示。然后利用最小二乘法求解表面反射率ρ和法向量(n1,n2,n3)。
S3将所述原始深度点云与法向量数据进行融合以计算待测面的表面点云。
进一步的,在S1之前,还需要对本发明测量***进行标定,以获取相机的内外参数。本发明中对相机的标定为常规技术手段,现有技术中的双目相机标定方法均适用于本发明,因此,文中不再赘述。
作为进一步优选的,步骤S1包括以下步骤:
S11获取一组相移的正弦波在任意空间点处的光强;
S12将上述相移的正弦波按顺序投影至待测面面,获取失真条纹分布;
S13对失真条纹分布进行解包裹,获取连续的相位图,并根据该连续的相位图计算待测面个点的三维坐标,从而获取待测面镜面区域数据缺失的原始深度点云。
作为进一步优选的,步骤S13中,包裹相位的求解方程如下:
式中,In(x,y)为失真条纹分布,n表示相移指数n=0,1,2,...,N-1。
作为进一步优选的,步骤S2包括以下步骤:
S21采用表面辐照方程来描述物体表面在光源照射时的亮度;
S22采用像素强度分离法去除高光和阴影区域,提取朗伯区域计算法向量;
S23根据透视投影相机模型和近场点光源模型,构建图像平面上的坐标点到目标表面点的映射关系,根据该映射关系以及透视投影的关系,得到表面上每个点处的光源方向,根据光源方向求解表面反射率和法向量。
作为进一步优选的,步骤S21中,所述亮度的计算模型包括:
式中,是第k个光源下的表面点亮度,Lk为光源方向向量,N(x,y)为表面法向量,ρ为表面反射系数,且等式中的向量都是单位向量;
步骤S22中,所述朗伯区域计算法向量的计算模型包括:
Ok d={ik(u,v)∈O|αik min<ik(u,v)<βik max}
式中,k为光源标号,Ok d为图像中提取出的朗伯分量的集合,ik(u,v)为图像中(u,v)位置处的像素强度,O为图像中所有像素强度的集合,ik min和ik max分别为图像目标区域中的最小和最大像素值,α,β为分离系数;
步骤S22中,在光源方向已知的情况下,每个像素点处的法向量通过至少三个朗伯点求出法向量。
作为进一步优选的,步骤S23包括:
S231构建透视投影相机模型和近场点光源模型,模型下图像平面上的坐标点(x,y)到目标表面点(X,Y,Z)的映射关系为:
式中,f为相机的焦距;
S232该模型下目标表面上每个点Pk(x,y)=(X,Y,Z)处的光源方向与LED点光源位置Pk=(Xk,Yk,Zk)和该点的连线平行,再代入透视投影的关系,得到目标表面上每个点处的光源方向;
S233根据所述亮度的计算模型以及目标表面上每个点处的光源方向构建新的表面辐照度方程。
作为进一步优选的,步骤S3包括以下步骤:
S31根据待测面完整的法向量数据,采用路径积分法重建表面得到高度数据;
S32假设图像法生成的曲面由多个微小的三角平面连接而成,每个三角平面的顶点对应成像平面中单个像素点的中心点,因此,法向量数据和原始深度点云的三维坐标都落在这个中心点上;
S33采用三角平面顶点处的法向量调整表面各点三维坐标,利用三维坐标作为位置约束,推导出位置误差和法向误差表达式,以此获得目标表面各点的优化位置,从而获得表面点云。
作为进一步优选的,步骤S33具体包括:
S331对于给定顶点s,位置误差EP定义为优化后的顶点位置Ps=(X,Y,Z)与原始顶点位置Ps 0=(X0,Y0,Z0)之间距离的平方和,利用法向量指向来约束顶点在优化过程中的调整方向,若Δs为优化后的调整值,由于法向量是单位向量,则调整向量为ΔsNs;
S332在曲面上,对切线和法向量之间夹角θ的误差进行优化,定义法向误差EN为夹角余弦值的平方和;
S333假设r、t为以s为顶点的三角网格的两个相邻顶点,则该网格上顶点s的切线可以用向量表示,且此处r和t的三维坐标要使用优化后的值,即
S334考虑到两个误差在不同条件下的影响不同,引入加权因子λ来构建位置误差和法向误差表达式,并将该表达式作为目标函数;
S335采用加权最小二乘法对所述目标函数进行优化,最终得到目标表面各点的优化位置P,从而获得表面点云。
更具体的,上述步骤S33中,为了提高重建的精度,利用顶点处的法向量调整表面各点三维坐标,利用三维坐标作为位置约束。推导出位置误差和法向误差表达式,以此获得三维坐标的优化值。
对于给定顶点s,位置误差EP定义为优化后的顶点位置Ps=(X,Y,Z)与原始顶点位置Ps 0=(X0,Y0,Z0)之间距离的平方和。利用法向量指向来约束顶点在优化过程中的调整方向,若Δs为优化后的调整值,由于法向量是单位向量,则调整向量为ΔsNs,定义位置误差为
在曲面上,某点处的法向量应与该点处的表面切线垂直。可以对切线和法向量之间夹角θ的误差进行优化,为了方便计算,定义法向误差EN为夹角余弦值的平方和:
其中Ts为三角平面的切线。假设r,t为以s为顶点的三角网格的两个相邻顶点,则该网格上顶点s的切线可以用向量表示,且此处r和t的三维坐标要使用优化后的值,即/>代入式(14)得到:
考虑到两个误差在不同条件下的影响不同,引入加权因子λ后将目标函数定义为:
加权因子λ∈[0,1],用来控制法向量在优化过程中的作用,λ越大,则优化过程众法向量的调整作用越大。由于双目结构光测量在高光区域以外的恢复效果较好,所以在这些区域设置λ值要小一些;而在缺失孔洞的区域,法向量积分计算的高度值需要进行较大的调整,所以在高光区域设置λ的值偏大,具体的数值需要根据经验进行选定。优化过程采用加权最小二乘法,最终得到目标表面各点的优化位置P,从而获得表面点云。
按照本发明的另一个方面,还提供了一种基于光度立体和双目结构光的金属表面测量***,用于实现上述的方法。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
1.本发明首先分别使用双目结构光获得镜面区域数据缺失的原始深度点云,以及光度立体获得待测表面完整的高精度法向量数据,然后将三维点云和法向量数据进行融合,从而提高提高了图像的完整性和准确性。具体的融合方法为用三维点云和法向数据分别估计位置误差和法向误差,通过最优化方法迭代使得位置误差和法向误差之和最小。为了区别高光射区域和其他区域的数据,设计了不同的权重因子值。此外,该方法的两种方法使用同一套相机***,有效避免了额外的设备误差、标定误差和配准误差,且无需重复调整设备参数,只需测量一次即可估计完整的点云,提高了表面重建效率。
2.本发明通过推导透视投影下的近场点光源光度立体的模型,提高了光度立体方法的适用性和准确性。
3.本发明通过像素强度去除了高光和阴影的影响,完成了金属表面完整的法向量恢复。
4.本发明通过将双目结构光和近场光度立体的测量数据相结合,不仅补全了金属表面由于镜面反射造成的测量数据缺失,还利用高度数据和法向量数据的相互融合优化提高了表面重建的精度。
附图说明
图1是本发明优选实施例涉及的一种基于光度立体和双目结构光的金属表面测量方法的流程图;
图2是本发明方法涉及的双目结构光算法流程图;
图3是本发明方法涉及的双目结构光测量装置示意图;
图4中的(a)为投影条纹时相机捕获的原始图像,图4中的(b)为放大区域的恢复点云缺失情况图;
图5是本发明方法涉及的近场光度立体算法流程图;
图6是本发明方法涉及的相机透视投影模型示意图;
图7是本发明方法涉及的参考平面示意图;
图8是本发明方法涉及的成像平面的三角网格划分示意图。
在所有附图中,同样的附图标记表示相同的技术特征,具体为:1-相机,2-目标表面,3-投影仪。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例提供的一种基于光度立体和双目结构光的金属表面测量方法,采用结构光方法中测量精度更高的双目结构光,以及经过优化的透视投影下的近场点光源光度立体技术,提出了一种解决金属表面镜面反光问题的融合测量方法。
首先分别使用双目结构光获得镜面区域数据缺失的原始深度点云,以及光度立体获得待测表面完整的高精度法向量数据,然后将三维点云和法向量数据进行融合,从而提高提高了图像的完整性和准确性。具体的融合方法为用三维点云和法向数据分别估计位置误差和法向误差,通过最优化方法迭代使得位置误差和法向误差之和最小。为了区别高光射区域和其他区域的数据,设计了不同的权重因子值。此外,该方法的两种方法使用同一套相机***,有效避免了额外的设备误差、标定误差和配准误差,且无需重复调整设备参数,只需测量一次即可估计完整的点云,提高了表面重建效率。
步骤1:***标定
该融合方法用到的两种方法(双目结构光测量以及近场光度立体测量)都需要进行标定。其中双目结构光需要进行左右相机的标定,本发明使用张正友标定法,获得两个相机的内部参数和相对位置。近场光度立体则需要标定光源的位置,本发明使用的是镜面陶瓷球进行标定。
步骤2:双目结构光测量
本发明使用的是双目结构光测量技术,具体流程图如图2所示。
本发明使用的双目结构光技术是向目标表面投射正弦强度分布的条纹图,也就是条纹投影轮廓术,且通过与立体视觉的结合,使用两台相机拍摄目标表面,利用相位信息进行立体匹配,从而获得表面的三维信息,装置示意图如图3所示。
当采用一组相移的正弦波形时,在投影仪空间中的点(xp,yp)处,强度值表示为:
其中n表示相移指数n=0,1,2,...,N-1。均值ap和振幅bp通常均为0.5,以覆盖投影仪的整个动态范围,是正弦条纹的频率(周期/像素)。本发明使用的是四步相移法,即N=4,/>(/1000像素)。
在将图案顺序地投影到对象表面上之后,由相机捕获的失真条纹分布(表示为In(x,y))为:
是对应的包裹相位,可以通过以下方程式求得:
可以看到,使用反正切公式求出的相位被限制在[-π,π]的范围内,被称为包裹相位,需要进行解包裹,来得到连续的相位图。本发明使用三频相位展开法,分别求解出左右相机下的绝对相位,再根据之前标定的相机相对位置,采用立体匹配的思想,计算目标表面各点的三维坐标,从而得到点云数据。
本发明使用的8位灰度相机,成像后的强度范围是0~255。当物体表面因镜面反光使得相机捕捉到的像素强度超过255后就会造成饱和。机加工产生的金属表面就属于非朗伯表面,对于高光区域,图像强度I已饱和,已经无法准确获得该点的条纹信息,因此也就无法获得高光区域的相位信息了。因此对于双目结构光,在高光区域产生点云缺失孔洞是无法避免的。图4展示了在测量金属叶片时的点云缺失情况。
步骤3:近场光度立体测量
光度立体技术是一种利用不同方向光源照射下的图像来估计表面法向量的技术。具体流程图如图5所示。
经典的光度立体是基于朗伯反射模型提出的,用表面辐照方程来描述物体表面在光源照射时的亮度:
其中是第k个光源下的表面点亮度,Lk为光源方向向量,N(x,y)为表面法向量,ρ为表面反射系数,且等式中的向量都是单位向量。
本发明主要解决金属表面的镜面反光问题,所以需要对图像中的镜面反射分量进行分离,同时阴影也会影响恢复精度,所以一并进行剔除。本发明使用像素强度分离法去除高光和阴影区域,提取朗伯区域计算法向量:
Ok d={ik(u,v)∈O|αik min<ik(u,v)<βik max} (5)
其中k为光源标号,Ok d为图像中提取出的朗伯分量的集合,ik(u,v)为图像中(u,v)位置处的像素强度,O为图像中所有像素强度的集合,ik min和ik max分别为图像目标区域中的最小和最大像素值,α,β为分离系数。在光源方向已知的情况下,每个像素点处的法向量只需要三个朗伯点就可以求出法向量,设置了14个光源,理论上有足够的强度信息来恢复表面法向量。
同时,本发明使用了更为真实的透视投影相机模型和近场点光源模型,如图6所示。
该模型下图像平面上的坐标点(x,y)到目标表面点(X,Y,Z)的映射关系为:
其中f为相机的焦距。该模型下目标表面上每个点Pk(x,y)=(X,Y,Z)处的光源方向与LED点光源位置Pk=(Xk,Yk,Zk)和该点的连线平行,再代入透视投影的关系,得到表面上每个点处的光源方向:
可见,目标表面上每个点的光源方向与该点的Z坐标直接相关,这也使得求解更加复杂。经过上述推导,得到新的表面辐照度方程:
其中N(x,y)=(n1,n2,n3),k=1,2,...,m。方程(8)就是本发明提出的重建模型,由于引入透视投影和近场点光源模型,导致该方程定义的模型是非线性的,该模型一共有五个未知量(Z,ρ,n1,n2,n3),其中法向量(n1,n2,n3)为单位向量,所以只需求解任意两个分量。因为法向量与表面高度耦合在一起,提出使用参考平面Z0来代替真实目标表面的高度,用参考平面上各点的坐标与各光源位置之间的方向近似为目标表面各点的光源方向,如图7所示。然后利用最小二乘法求解表面反射率ρ和法向量(n1,n2,n3)。
步骤4:三维数据与法向量数据融合计算表面点云
在获得目标表面完整的法向量数据后,需要通过法向量来重建表面得到高度数据,本发明使用的方法是路径积分法。已知任意曲面可以用下式表示:
Z=f(X,Y) (9)
由式(2.10),物体表面任一点P(X,Y,Z)的单位法线向量可表示为:
假设目标表面上某一点的单位法向量的测量值为(n1,n2,n3),则有:
沿着路径W对偏导数积分就可以得到曲面,即:
其中W是从某固定点到点(x,y)的任意曲线;c是积分常数,表示起始点的表面高度。
在本发明的测量***中,只需要计算数据缺失孔洞处的高度值,所以可以利用双目结构光测得的高度值作为积分过程中的边界条件,计算得到高度值,以进行后续的融合优化。
目标表面上任何三个不共线的相邻点可以确定一个平面,利用图像法生成的曲面可以看作由很多微小的三角平面连接而成的,而每个三角平面的顶点对应成像平面中单个像素点的中心点。而且,双目结构光测量与近场光度立体使用同一组相机,法向量图和深度图自然对齐,因此前面步骤求得的法向量和表面点三维坐标都落在这个中心点上。成像平面的三角网格划分示意图如图8所示。
为了提高重建的精度,利用顶点处的法向量调整表面各点三维坐标,利用三维坐标作为位置约束。推导出位置误差和法向误差表达式,以此获得三维坐标的优化值。
对于给定顶点s,位置误差EP定义为优化后的顶点位置Ps=(X,Y,Z)与原始顶点位置Ps 0=(X0,Y0,Z0)之间距离的平方和。利用法向量指向来约束顶点在优化过程中的调整方向,若Δs为优化后的调整值,由于法向量是单位向量,则调整向量为ΔsNs,定义位置误差为
在曲面上,某点处的法向量应与该点处的表面切线垂直。可以对切线和法向量之间夹角θ的误差进行优化,为了方便计算,定义法向误差EN为夹角余弦值的平方和:
其中Ts为三角平面的切线。假设r,t为以s为顶点的三角网格的两个相邻顶点,则该网格上顶点s的切线可以用向量表示,且此处r和t的三维坐标要使用优化后的值,即/>代入式(14)得到:
考虑到两个误差在不同条件下的影响不同,引入加权因子λ后将目标函数定义为:
加权因子λ∈[0,1],用来控制法向量在优化过程中的作用,λ越大,则优化过程众法向量的调整作用越大。由于双目结构光测量在高光区域以外的恢复效果较好,所以在这些区域设置λ值要小一些;而在缺失孔洞的区域,法向量积分计算的高度值需要进行进行较大的调整,所以在高光区域设置λ的值偏大,具体的数值需要根据经验进行选定。优化过程采用加权最小二乘法,最终得到目标表面各点的优化位置P,从而获得表面点云。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于光度立体和双目结构光的金属表面测量方法,其特征在于,包括以下步骤:
S1采用双目相机获取待测面镜面区域数据缺失的原始深度点云;
S2采用光立体法获取待测面完整的法向量数据;
S3将所述原始深度点云与法向量数据进行融合以计算待测面的表面点云。
2.根据权利要求1所述的方法,其特征在于,步骤S1包括以下步骤:
S11获取一组相移的正弦波在任意空间点处的光强;
S12将上述相移的正弦波按顺序投影至待测面面,获取失真条纹分布;
S13对失真条纹分布进行解包裹,获取连续的相位图,并根据该连续的相位图计算待测面个点的三维坐标,从而获取待测面镜面区域数据缺失的原始深度点云。
3.根据权利要求1所述的方法,其特征在于,步骤S13中,包裹相位的求解方程如下:
式中,In(x,y)为失真条纹分布,n表示相移指数n=0,1,2,...,N-1。
4.根据权利要求1所述的方法,其特征在于,步骤S2包括以下步骤:
S21采用表面辐照方程来描述物体表面在光源照射时的亮度;
S22采用像素强度分离法去除高光和阴影区域,提取朗伯区域计算法向量;
S23根据透视投影相机模型和近场点光源模型,构建图像平面上的坐标点到目标表面点的映射关系,根据该映射关系以及透视投影的关系,得到表面上每个点处的光源方向,根据光源方向求解表面反射率和法向量。
5.根据权利要求1所述的方法,其特征在于,步骤S21中,所述亮度的计算模型包括:
式中,是第k个光源下的表面点亮度,Lk为光源方向向量,N(x,y)为表面法向量,ρ为表面反射系数,且等式中的向量都是单位向量;
步骤S22中,所述朗伯区域计算法向量的计算模型包括:
Ok d={ik(u,v)∈O|αik min<ik(u,v)<βik max}
式中,k为光源标号,Ok d为图像中提取出的朗伯分量的集合,ik(u,v)为图像中(u,v)位置处的像素强度,O为图像中所有像素强度的集合,ik min和ik max分别为图像目标区域中的最小和最大像素值,α,β为分离系数;
步骤S22中,在光源方向已知的情况下,每个像素点处的法向量通过至少三个朗伯点求出法向量。
6.根据权利要求5所述的方法,其特征在于,步骤S23包括:
S231构建透视投影相机模型和近场点光源模型,模型下图像平面上的坐标点(x,y)到目标表面点(X,Y,Z)的映射关系为:
式中,f为相机的焦距;
S232该模型下目标表面上每个点Pk(x,y)=(X,Y,Z)处的光源方向与LED点光源位置Pk=(Xk,Yk,Zk)和该点的连线平行,再代入透视投影的关系,得到目标表面上每个点处的光源方向;
S233根据所述亮度的计算模型以及目标表面上每个点处的光源方向构建新的表面辐照度方程。
7.根据权利要求1所述的方法,其特征在于,步骤S3包括以下步骤:
S31根据待测面完整的法向量数据,采用路径积分法重建表面得到高度数据;
S32假设图像法生成的曲面由多个微小的三角平面连接而成,每个三角平面的顶点对应成像平面中单个像素点的中心点,因此,法向量数据和原始深度点云的三维坐标都落在这个中心点上;
S33采用三角平面顶点处的法向量调整表面各点三维坐标,利用三维坐标作为位置约束,推导出位置误差和法向误差表达式,以此获得目标表面各点的优化位置,从而获得表面点云。
8.根据权利要求1-7任一项所述的方法,其特征在于,步骤S33具体包括:
S331对于给定顶点s,位置误差EP定义为优化后的顶点位置Ps=(X,Y,Z)与原始顶点位置Ps 0=(X0,Y0,Z0)之间距离的平方和,利用法向量指向来约束顶点在优化过程中的调整方向,若Δs为优化后的调整值,由于法向量是单位向量,则调整向量为ΔsNs;
S332在曲面上,对切线和法向量之间夹角θ的误差进行优化,定义法向误差EN为夹角余弦值的平方和;
S333假设r、t为以s为顶点的三角网格的两个相邻顶点,则该网格上顶点s的切线可以用向量表示,且此处r和t的三维坐标要使用优化后的值,即
S334考虑到两个误差在不同条件下的影响不同,引入加权因子λ来构建位置误差和法向误差表达式,并将该表达式作为目标函数;
S335采用加权最小二乘法对所述目标函数进行优化,最终得到目标表面各点的优化位置P,从而获得表面点云。
9.一种基于光度立体和双目结构光的金属表面测量***,用于实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310230086.6A CN116518869A (zh) | 2023-03-10 | 2023-03-10 | 基于光度立体和双目结构光的金属表面测量方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310230086.6A CN116518869A (zh) | 2023-03-10 | 2023-03-10 | 基于光度立体和双目结构光的金属表面测量方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116518869A true CN116518869A (zh) | 2023-08-01 |
Family
ID=87407090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310230086.6A Pending CN116518869A (zh) | 2023-03-10 | 2023-03-10 | 基于光度立体和双目结构光的金属表面测量方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116518869A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117635679A (zh) * | 2023-12-05 | 2024-03-01 | 之江实验室 | 一种基于预训练扩散概率模型的曲面高效重建方法和装置 |
-
2023
- 2023-03-10 CN CN202310230086.6A patent/CN116518869A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117635679A (zh) * | 2023-12-05 | 2024-03-01 | 之江实验室 | 一种基于预训练扩散概率模型的曲面高效重建方法和装置 |
CN117635679B (zh) * | 2023-12-05 | 2024-05-28 | 之江实验室 | 一种基于预训练扩散概率模型的曲面高效重建方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
CN110514143B (zh) | 一种基于反射镜的条纹投影***标定方法 | |
CN111473744B (zh) | 一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及*** | |
WO2018171384A1 (zh) | 一种基于多模态复合编码和极线约束的高效三维图像获取方法 | |
CN110207614B (zh) | 一种基于双远心相机匹配的高分辨高精度测量***及方法 | |
EP2751521A1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
CN108195313A (zh) | 一种基于光强响应函数的高动态范围三维测量方法 | |
CN107610183B (zh) | 一种条纹投影相位高度转换映射模型的标定方法 | |
CN110692084B (zh) | 用于导出场景的拓扑信息的装置和机器可读存储介质 | |
JP2014115109A (ja) | 距離計測装置及び方法 | |
CN109307483A (zh) | 一种基于结构光***几何约束的相位展开方法 | |
CN115775303B (zh) | 一种基于深度学习与光照模型的高反光物体三维重建方法 | |
CN110425998A (zh) | 灰度图像耦合特征点高度的构件三维测量方法 | |
CN110345882A (zh) | 一种基于几何约束的自适应结构光三维测量***及方法 | |
CN111353997A (zh) | 一种基于条纹投影的实时三维面型缺陷检测方法 | |
CN116518869A (zh) | 基于光度立体和双目结构光的金属表面测量方法及*** | |
CN116295113A (zh) | 一种融合条纹投影的偏振三维成像方法 | |
CN117346694B (zh) | 复合面型样品的检测方法、检测*** | |
CN113551617B (zh) | 基于条纹投影的双目双频互补三维面型测量方法 | |
CN116242277A (zh) | 基于全场三维视觉的电源机箱结构件尺寸自动测量方法 | |
CN112294453B (zh) | 一种显微手术术野三维重建***及方法 | |
CN115701871A (zh) | 一种点云融合的方法、装置、三维扫描设备及存储介质 | |
CN112325799A (zh) | 一种基于近红外光投影的高精度三维人脸测量方法 | |
CN107941147B (zh) | 大型***三维坐标非接触在线测量方法 | |
KR100500406B1 (ko) | 위상오차 보정을 이용한 삼차원 표면형상 측정장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |