CN107607040B - 一种适用于强反射表面的三维扫描测量装置及方法 - Google Patents

一种适用于强反射表面的三维扫描测量装置及方法 Download PDF

Info

Publication number
CN107607040B
CN107607040B CN201710689618.7A CN201710689618A CN107607040B CN 107607040 B CN107607040 B CN 107607040B CN 201710689618 A CN201710689618 A CN 201710689618A CN 107607040 B CN107607040 B CN 107607040B
Authority
CN
China
Prior art keywords
dmd
image
camera
reflection surface
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710689618.7A
Other languages
English (en)
Other versions
CN107607040A (zh
Inventor
冯维
张福民
曲兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710689618.7A priority Critical patent/CN107607040B/zh
Publication of CN107607040A publication Critical patent/CN107607040A/zh
Application granted granted Critical
Publication of CN107607040B publication Critical patent/CN107607040B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种适用于强反射表面的三维扫描测量方法,采用一种基于DMD相机的三维扫描测量装置,该装置由数字微镜器件DMD、CMOS图像探测器、TIR棱镜、两个透镜组和处理器构成的线性空间不变的DMD相机和数字投影设备DLP4500组成。测量时,首先,采用四步相移法,数字投影设备DLP4500向被测强反射表面依次投射不同相位的正弦光栅图案;接着,利用DMD相机,实现对入射光线的自适应高动态范围成像,最终获得清晰的待测量图像;最后,利用基于光栅投影的相位法实现对待测量图像的三维测量。本发明可从根源上解决强反射表面的三维几何特征测量中因局部过曝光造成的三维点云缺失问题,增强环境适应性。

Description

一种适用于强反射表面的三维扫描测量装置及方法
技术领域
本发明属于机械测试领域,涉及一种基于结构光的强反射表面三维扫描测量方法,尤其涉及一种基于自适应高动态范围成像的强反射表面三维扫描测量装置与方法。
背景技术
结构光三维扫描测量技术以其非接触、高效率、较高精度和丰富的点云信息等优点已经广泛应用于先进制造领域,其大量的测量信息正是新型制造模式的基本保障和核心内容,其主要应用于评价产品的制造质量、零件装配中精确定位等;更进一步地实施于逆向工程,反馈设计质量和辅助设计等。目前,成熟的结构光三维扫描测量技术主要针对漫反射表面的三维几何特征测量,难以有效地实现对高亮、类镜面、透明物体以及无规则散射等强反射表面的三维几何特征测量,其主要原因是强反射表面的局部强反射光易形成高光区域(局部存在镜面反射导致),这种高光容易致使相机曝光量饱和,造成因结构光图像的局部相位信息缺失而导致被测表面特征提取不准确,从而引起测量失效或产生较大的测量误差。实际上,工业制造中存在着大量的高亮、类镜面等强反射表面,例如,汽车白车身、挡风玻璃、飞机机体、发动机叶片、抛光模具、电镀零件、光学元件、集成电路晶片、以及大量的精加工零部件等,其表面均存在全部或局部强反射性质,而它们的三维尺寸、形状和表面轮廓、表面缺陷等几何特征往往是这些产品的重要参数,直接与产品质量甚至是致命的缺陷信息等相关联,因此必须准确获取。
国内外学者为解决强反射表面的三维几何特征测量这类问题开展了大量的研究,但现有的技术仍存在一些问题。其中,多角度法有时难以找到合适的角度使得不同视场中高光位置不重叠;偏振法需外加偏振片且测量过程较复杂,会增加测量的复杂度;双色模型法需要通过空间聚类的方法分离高光与漫反射分支,这也使得这种方法受被测物体表面噪声的影响很大;条纹反射法适用于纯镜面物体的三维重构,而对混合表面效果不佳;而多次曝光法仅解决了拍摄图像中高光信息饱和的问题,但未能修正高光带来的条纹中心偏移现象。
发明内容
针对现有技术存在的缺陷,本发明基于数字微镜器件(Digital MicromirrorDevice,DMD)具有的调制入射光线空间信息的特性,研制了一套新型的三维扫描测量装置,并提出基于自适应高动态范围成像的强反射表面三维扫描测量方法方法,从根源上解决强反射表面的三维几何特征测量中因局部过曝光造成的三维点云缺失问题,提高三维视觉测量***的视觉显现力和测量精度,增强环境适应性。
为了解决上述技术问题,本发明提出的一种基于DMD相机的三维扫描测量装置,包括DMD相机、数字投影设备DLP4500和计算机,所述DMD相机和数字投影设备DLP4500按照交叉无约束放置,所述DMD相机与所述数字投影设备DLP4500的光心连线夹角在20°~45°之间;所述DMD相机和数字投影设备DLP4500可实现同步触发,所述DMD相机、数字投影设备DLP4500和计算机组成一光电反馈***A;所述DMD相机是一个由数字微镜器件DMD、CMOS图像探测器、TIR棱镜、第一透镜组、第二透镜组和处理器构成的线性空间不变的DMD相机;所述第一透镜组是变焦透镜组,所述第二透镜组是一个定倍成像物镜;所述数字微镜器件DMD形成一DMD像平面,所述CMOS图像探测器形成一CMOS像平面,所述DMD像平面与所述CMOS像平面垂直;所述第一透镜组处于由被测物、所述数字微镜器件DMD和所述TIR棱镜之间所形成的成像光轴上,所述第一透镜组用以将被测物所成的像完整投影到所述DMD像平面;所述第二透镜组处于由所述TIR棱镜和所述CMOS图像探测器之间所形成的反射成像光轴上,用以将所述DMD像平面所成的像经所述TIR棱镜发生内全反射后完整投影到所述CMOS像平面;所述数字微镜器件DMD中的每一个微镜与所述CMOS图像探测器中的每一个像元一一对应;所述数字微镜器件DMD、CMOS图像探测器、第二透镜组和处理器组成一光电反馈***B。
利用上述基于DMD相机的三维扫描测量装置进行测量的方法,包括以下步骤:
步骤一:采用四步相移法,数字投影设备DLP4500向被测强反射表面依次投射不同相位的正弦光栅图案,所述强反射表面是指类镜面或亮面的非漫反射表面或者无规则散射的非漫反射表面;利用DMD相机,实现对入射光线的自适应高动态范围成像,最终获得清晰的待测量图像,包括:
步骤1-1、将所述数字微镜器件DMD中所有的微镜打开,被测强反射表面反射光线进入所述的DMD相机成像,并得到原始图像I0(x,y);利用最大类间方差法判别原始图像I0(x,y)中是否存在过饱和区域;若原始图像I0(x,y)中不存在过饱和区域,所述原始图像I0(x,y)即为CMOS图像探测器最终获取的完整清晰图像Ii(x,y),则执行步骤1-4;若原始图像I0(x,y)中存在过饱和区域,执行步骤1-2;
步骤1-2、将上述的原始图像I0(x,y)作为处理图像,经所述数字微镜器件DMD编码调制后在CMOS图像探测器中成像,从而得到编码图像;步骤如下:
步骤1-2-1、利用自适应光强编码控制算法,通过数字微镜器件DMD与CMOS图像探测器之间的坐标匹配与映射关系生成DMD掩模,并将该DMD掩模导入至数字微镜器件DMD中完成对处理图像中存在的过饱和区域的入射光线进行有效衰减;包括:
步骤1-2-1-1、分割与判别:设定CMOS图像探测器所采集的处理图像的像素饱和值Vs小于255,且该像素饱和值Vs用于作为图像分割的阈值以判别该处理图像中的过饱和区域;如果该处理图像中存在过曝光区域,则执行步骤1-2-1-2;否则,执行步骤1-4;
步骤1-2-1-2、提取与映射:用Sobel算子检测经过上述分割后的图像的边缘,从而提取出分割后的图像中的过饱和区域Oc(x,y);数字微镜器件DMD与CMOS图像探测器的映射关系为:
U=R·X
式中,U和X分别代表DMD像平面和CMOS像平面对应映射点的齐次坐标,R是一个3×3的非齐次单应矩阵;按照下式计算DMD掩模所对应的区域Od(u,v):
Od(u,v)=R·Oc(x,y)
步骤1-2-1-3、DMD掩模设计:在线性空间不变的DMD相机中,设DMD掩模的调制函数Mi(u,v)与所述DMD掩模对应的CMOS图像探测器的图像Ii(x,y)的关系如下:
Figure GDA0002268712000000031
式中,α和β都是光强衰减因子,Vc是一均匀亮度值,其取值为0~100;C是常数且0<C≤255;从而根据上述调制函数Mi(u,v)生成一个DMD掩模;(u,v)表示DMD像平面上的任意一点,其与CMOS像平面上的某一点(x,y)相对应;
最后,将上述生成的DMD掩模导入到所述数字微镜器件DMD中,得到编码图像;
步骤1-3、利用最大类间方差法判别编码图像中是否存在过饱和区域;若编码图像中不存在过饱和区域,所述编码图像即为CMOS图像探测器最终获取的完整清晰图像Ii(x,y),则执行步骤1-4;若编码图像中存在过饱和区域,将该编码图像作为处理图像,返回步骤1-2-1;
步骤1-4、高动态范围图像重构:根据CMOS图像探测器最终获取的完整清晰图像Ii(x,y)的灰度值Vhdr(x,y)和DMD掩模的调制函数Mi(u,v),按照下述表达式重构出高动态场景的实际光强函数Ihdr(x,y),
Figure GDA0002268712000000032
步骤1-5、色调映射:采用对比度受限自适应直方图均衡化算法增强上述高动态场景的局部细节,在低动态范围的显示设备中将上述高动态场景显示出,记作待测量图像;
步骤二:利用基于光栅投影的相位法实现对待测量图像的三维测量;包括:
步骤2-1、基于DMD相机的三维扫描测量装置的标定:
DMD相机的标定:DMD相机依次采集十幅不同角度的棋盘格标定图像,采用张正友相机标定法解算出DMD相机的内部参数和外部参数;由DMD相机像平面上的点与空间物体点之间关系:
Figure GDA0002268712000000033
其中,s为尺度因子,(uc,vc,1)是DMD相机中的图像上任意点的二维齐次坐标,(xw,yw,zw,1)是其对应点的齐次三维坐标,Ac是DMD相机的内部参数矩阵,(RcTc)是DMD相机的外部参数,根据上述DMD相机的内部参数矩阵和外部参数计算出棋盘格角点的世界坐标;
数字投影设备DLP4500的投射模型如下:
Figure GDA0002268712000000041
其中:s为尺度因子,
Figure GDA0002268712000000042
是棋盘格角点的世界坐标(x,y,z,1);Ap是数字投影设备DLP4500的内部参数矩阵,旋转矩阵Rp、平移矩阵Tp均是数字投影设备DLP4500的外部参数矩阵;
Figure GDA0002268712000000043
是数字投影设备DLP4500的内部参数矩阵;
将根据公式(1)得到的所述棋盘格角点的世界坐标
Figure GDA0002268712000000044
代入至公式(2),得到数字投影设备DLP4500的旋转矩阵Rp、平移矩阵Tp和内部参数矩阵
Figure GDA0002268712000000045
步骤2-2、格雷码编码与相位解算:采用二进制格雷码编码图案,其中,用黑条纹表示逻辑值0,白条纹表示逻辑值1,由n幅不同频率且灰度呈交替规律变化的黑白光栅图获得n比特的格雷码,将格雷码编码图案分为2n个区域;
向被测强反射表面投射原二进制格雷码的反码图像,将正反格雷码转换为十进制数值后采用相位解算求解出2n个区域所对应包裹相位的周期数,即得到全部相位场的绝对相位,其中,被测强反射表面上的任意相位点的绝对相位值表示为
Figure GDA0002268712000000046
步骤2-3、点云获取:根据被测强反射表面上的任意相位点的绝对相位值表示为
Figure GDA0002268712000000047
及提取出被测强反射表面所在待测量图像中的像素坐标(m,n),最终测量出被测强反射表面的三维坐标。
与现有技术相比,本发明的有益效果是:
在结构光三维扫描测量中,强反射表面因编码结构光照射后易产生局部镜面反射的特性,引起相机曝光饱和,淹没了所要检测的表面几何特征信息,引起测量失效或产生较大的测量误差,其根本原因是光学成像动态范围带宽不够。本发明基于数字微镜器件DMD具有的调制入射光线空间信息的特性,设计并研制出一套基于DMD相机的三维扫描测量装置,并提出基于自适应高动态范围成像的强反射表面三维扫描测量方法,从根源上解决强反射表面的三维几何特征测量中因局部过曝光造成的三维点云缺失问题,提高三维视觉测量***的视觉显现力和测量精度,增强环境适应性。因此,相较于其他解决强反射表面三维测量方法,本发明方法具有设计成本低、更高的灵活性和更强的适应性。
附图说明
图1是本发明基于DMD相机的三维扫描测量装置结构图;
图2是本发明中DMD相机的光路原理图;
图3是本发明中自适应高动态范围成像步骤的流程图;
图4是本发明中DMD与CMOS图像探测器之间坐标映射关系的等效示意图;
图5(a)、图5(b)和图5(c)是本发明中DMD与CMOS图像探测器的映射关系与实验结果;其中,图5(a)是DMD标定图案;图5(b)是实验中CMOS相机采集的棋盘格图像;图5(c)是角点检测结果。
图6(a)至图6(f)是在不同测量方法下,不同的强反射表面被测物的三维几何特征测量结果对比图;其中:
图6(a)、图6(c)和图6(e)均是传统的基于光栅投影的三维扫描测量结果;图6(b)、图6(d)和图6(f)分别是利用本发明方法且与图6(a)、图6(c)和图6(e)对应的测量结果。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述,所描述的具体实施例仅对本发明进行解释说明,并不用以限制本发明。
本发明提出的一种基于DMD相机的三维扫描测量装置,包括DMD相机、数字投影设备DLP4500和计算机,如图1所示,所述DMD相机和数字投影设备DLP4500按照交叉无约束放置,所述DMD相机与所述数字投影设备DLP4500的光心连线夹角在20°~45°之间;所述DMD相机和数字投影设备DLP4500可实现同步触发,所述DMD相机、数字投影设备DLP4500和计算机组成一光电反馈***A;所述DMD相机是一个由数字微镜器件DMD、CMOS图像探测器、TIR棱镜、第一透镜组1、第二透镜组2和处理器构成的线性空间不变的DMD相机,如图2所示;其中,所述第一透镜组1是变焦透镜组,所述第二透镜组2是一个定倍成像物镜;所述数字微镜器件DMD形成一DMD像平面,所述CMOS图像探测器形成一CMOS像平面,所述DMD像平面与所述CMOS像平面垂直;所述第一透镜组1处于由被测物(即被测强反射表面)、所述数字微镜器件DMD和所述TIR棱镜之间所形成的成像光轴上,所述第一透镜组1用以将被测物所成的像完整投影到所述DMD像平面;所述第二透镜组2处于由所述TIR棱镜和所述CMOS图像探测器之间所形成的反射成像光轴上,用以将所述DMD像平面所成的像经所述TIR棱镜发生内全反射后完整投影到所述CMOS像平面;所述数字微镜器件DMD中的每一个微镜与所述CMOS图像探测器中的每一个像元一一对应;所述数字微镜器件DMD、CMOS图像探测器、第二透镜组2和处理器组成一光电反馈***B。
利用本发明所述基于DMD相机的三维扫描测量装置进行测量的方法,包括以下步骤:
步骤一:采用四步相移法,数字投影设备DLP4500向被测强反射表面依次投射不同相位的正弦光栅图案,所述强反射表面是指类镜面或亮面的非漫反射表面或者无规则散射的非漫反射表面;利用DMD相机,实现对入射光线的自适应高动态范围成像,最终获得清晰的待测量图像,如图3所示,包括:
步骤1-1、将所述数字微镜器件DMD中所有的微镜打开,被测强反射表面反射光线进入所述的DMD相机成像,并得到原始图像I0(x,y);利用最大类间方差法判别原始图像I0(x,y)中是否存在过饱和区域;若原始图像I0(x,y)中不存在过饱和区域,所述原始图像I0(x,y)即为CMOS图像探测器最终获取的完整清晰图像Ii(x,y),则执行步骤1-4;若原始图像I0(x,y)中存在过饱和区域,执行步骤1-2;
步骤1-2、将上述的原始图像I0(x,y)作为处理图像,经所述数字微镜器件DMD编码调制后在CMOS图像探测器中成像,从而得到编码图像;步骤如下:
步骤1-2-1、利用自适应光强编码控制算法,通过数字微镜器件DMD与CMOS图像探测器之间的坐标匹配与映射关系生成DMD掩模,并将该DMD掩模导入至数字微镜器件DMD中完成对处理图像中存在的过饱和区域的入射光线进行有效衰减;包括:
步骤1-2-1-1、分割与判别:设定CMOS图像探测器所采集的处理图像的像素饱和值Vs小于255,且该像素饱和值Vs用于作为图像分割的阈值以判别该处理图像中的过饱和区域;如果该处理图像中存在过曝光区域,则执行步骤1-2-1-2;否则,执行步骤1-4;
步骤1-2-1-2、提取与映射:用Sobel算子检测经过上述分割后的图像的边缘,从而提取出分割后的图像中的过饱和区域Oc(x,y);根据本发明中DMD相机的光路特征可得到其坐标映射等效示意图,如图4所示,可知DMD镜元阵列与CMOS像元阵列的对应关系实际上一种空间映射关系,两坐标系间可用三维投影变换矩阵表示。数字微镜器件DMD与CMOS图像探测器的映射关系为:
U=R·X (1)
式(1)中,U和X分别代表DMD像平面和CMOS像平面对应映射点的齐次坐标,R是一个3×3的非齐次单应矩阵;它可表示为:
Figure GDA0002268712000000061
式(2)中:rij为矩阵R的第i行与第j列相交的元素。设Pd(u,v)和Pc(x,y)分别是DMD像面和CMOS像面上的任意一点,则式(2)可进一步表示为:
Figure GDA0002268712000000062
因此,当Pd(u,v)和Pc(x,y)坐标均已知时,单应矩阵R可采用直接线性变换(DLT)算法求解。
事实上,根据本发明的成像***的特点,DMD镜元与CMOS像元的一一对应的详细标定步骤如下:
Step1:DMD显示棋盘格图案。它是4×6的棋盘格阵列,共存在15个角点。该棋盘格图案是标准尺寸图案,如图5(a)所示,因此原棋盘格上各角点坐标Pd(u,v)已知。
Step 2:CMOS相机采集DMD像平面的图像,如图5(b)所示。
Step 3:利用Harris算法检测CMOS相机中所采集的图像中存在的角点坐标Pc(x,y),如图5(c)所示。
Step 4:采用DLT算法,由Step1和Step 3的数据计算单应矩阵R,其结果为:
Figure GDA0002268712000000071
当单应矩阵R已知后,根据CMOS像面上的任意特征点Pc(x,y)都可式(4)解算出其对应在DMD所在的镜元Pd(u,v)。
Figure GDA0002268712000000072
按照下式计算DMD掩模所对应的区域Od(u,v):
Od(u,v)=R·Oc(x,y) (5)
步骤1-2-1-3、DMD掩模设计:在线性空间不变的DMD相机中,在线性空间不变的DMD相机中,设DMD掩模的调制函数Mi(u,v)与所述DMD掩模对应的CMOS图像探测器的图像Ii(x,y)的关系如下:
Figure GDA0002268712000000073
式(6)中,α和β都是光强衰减因子,Vc是一均匀亮度值,其取值为0~100;C是常数且0<C≤255。从而根据上述调制函数Mi(u,v)生成一个DMD掩模;(u,v)表示DMD像平面上的任意一点,其与CMOS像平面上的某一点(x,y)相对应;
最后,将上述生成的DMD掩模导入到所述数字微镜器件DMD中,得到编码图像;
步骤1-3、利用最大类间方差法判别编码图像中是否存在过饱和区域;若编码图像中不存在过饱和区域,所述编码图像即为CMOS图像探测器最终获取的完整清晰图像Ii(x,y),则执行步骤1-4;若编码图像中存在过饱和区域,将该编码图像作为处理图像,返回步骤1-2-1;
步骤1-4、高动态范围图像重构:根据CMOS图像探测器最终获取的完整清晰图像Ii(x,y)的灰度值Vhdr(x,y)和DMD掩模的调制函数Mi(u,v),按照下述表达式重构出高动态场景的实际光强函数Ihdr(x,y),
Figure GDA0002268712000000074
步骤1-5、色调映射:采用对比度受限自适应直方图均衡化算法增强上述高动态场景的局部细节,在低动态范围的显示设备中将上述高动态场景显示出,记作待测量图像;
步骤二:利用基于光栅投影的相位法实现对待测量图像的三维测量;包括:
步骤2-1、基于DMD相机的三维扫描测量装置的标定:
DMD相机的标定:DMD相机依次采集十幅不同角度的棋盘格标定图像,采用张正友相机标定法解算出DMD相机的内部参数和外部参数;由DMD相机像平面上的点与空间物体点之间关系:
Figure GDA0002268712000000081
式(8)中,s为尺度因子,(uc,vc,1)是DMD相机中的图像上任意点的二维齐次坐标,(xw,yw,zw,1)是其对应点的齐次三维坐标,Ac是DMD相机的内部参数矩阵,(RcTc)是DMD相机的外部参数,根据上述DMD相机的内部参数矩阵和外部参数计算出棋盘格角点的世界坐标;
数字投影设备DLP4500的投射模型如下:
Figure GDA0002268712000000082
式(9)中:s为尺度因子,
Figure GDA0002268712000000083
是棋盘格角点的世界坐标(x,y,z,1);Ap是数字投影设备DLP4500的内部参数矩阵,旋转矩阵Rp、平移矩阵Tp均是数字投影设备DLP4500的外部参数矩阵;
Figure GDA0002268712000000084
是数字投影设备DLP4500的内部参数矩阵;
将根据式(8)得到的所述棋盘格角点的世界坐标
Figure GDA0002268712000000085
代入至式(9),得到数字投影设备DLP4500的旋转矩阵Rp、平移矩阵Tp和内部参数矩阵
Figure GDA0002268712000000086
在具体实施中,首先,分别配置好DMD相机和数字投影设备DLP4500的内部参数,调整数字投影设备DLP4500的位置,使得投射到棋盘格标定板上的图案清晰;将棋盘格标定板摆放在合适的位置处,使DMD相机能清晰地采集棋盘格标定板上的图像;接着,控制DMD相机先后进行三次图像采集,第一次是采集棋盘格标定板不同位置的图案,用于DMD相机的标定;第二次采集数字投影设备DLP4500所投射在棋盘格标定板上的图像;第三次采集只采集棋盘格标定板上的图像,用于将数字投影设备DLP4500所投射的棋盘格图像分离出来,并得到其角点的坐标信息;通过单应性矩阵,将每个角点坐标转换到空间坐标系三维坐标,即可得到基于DMD相机的三维扫描测量装置的内部参数和外部参数。
步骤2-2、格雷码编码与相位解算:格雷码编码的基本原理是通过向被测物表面投影一系列格雷码编码图案,同时利用DMD相机采集对应的变形条纹图并进行格雷码解码,来完成出射点与成像点的匹配。采用二进制格雷码编码图案,其中,用黑条纹表示逻辑值0,白条纹表示逻辑值1,由n幅不同频率且灰度呈交替规律变化的黑白光栅图获得n比特的格雷码,将格雷码编码图案分为2n个区域。在本发明中,采用9-bit组合格雷码,将图像分为512个不同的区域。利用数字投影设备DLP4500依次投射9幅水平条纹和9幅竖直条纹的组合编码图案,实现点对点的对应。
解相位的方法是按照时域序列,投影足够多的不同频率的条纹图,利用充足的编码信息来确定相位图上各点的坐标值,解算出全场的相位。对于二进制格雷码图案的解码需要辅助光栅条纹。向被测强反射表面投射原二进制格雷码的反码图像,将正反格雷码转换为十进制数值后采用相位解算求解出2n个区域所对应包裹相位的周期数,即得到全部相位场的绝对相位,其中,被测强反射表面上的任意相位点的绝对相位值表示为采用这种时域方法解相位,方便准确,算法简洁,有效克服了复杂表面、高度跳变、阴影等引起的误判,但同时也增加了***的时间成本。
步骤2-3、点云获取:根据被测强反射表面上的任意相位点的绝对相位值表示为
Figure GDA0002268712000000092
及提取出被测强反射表面所在待测量图像中的像素坐标(m,n),最终测量出被测强反射表面的三维坐标。
实施例
该实施中分别对不同材质的强反射表面进行了三维扫描测量,通过调节光照强度、角度等环境,最终实现了对强反射表面的三维形貌测量。实验结果如图6(a)至图6(f)所示。图6(a)、图6(c)和图6(e)均是利用传统的光栅投影三维扫描测量技术得到的三种材质的被测物位深度图,可见被测物表面由于存在局部高光反射,导致三维扫描后的位深度图中有局部点云缺失问题,无法得到完整的三维坐标信息,在图中均已用白色圆圈标记;而利用基于DMD相机的三维扫描测量装置及方法,就可以很好的解决此类强反射表面的三维扫描测量中的成像与测量问题,其实验结果如图6(b)、图6(d)和图6(f)所示,可见较原图6(a)、图6(c)和图6(e)中的局部点云缺失问题得到了较为有效地解决,位深图中完整且不再有信息缺失,对比白色圆圈区域的图像特征。因此,本方法对强反射表面物体的三维扫描测量是切实有效的。
通过实施例的测量结果可知,本发明设计的基于DMD相机的三维扫描测量***可从根源上解决强反射表面的三维几何特征测量中因局部过曝光造成的三维点云缺失问题,提高三维视觉测量***的视觉显现力和测量精度,增强环境适应性。
尽管上面结合附图对本发明进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨的情况下,还可以做出很多变形,这些均属于本发明的保护之内。

Claims (1)

1.一种适用于强反射表面的三维扫描测量方法,其中,所使用的三维扫描测量装置包括DMD相机、数字投影设备DLP4500和计算机,所述DMD相机和数字投影设备DLP4500按照交叉无约束放置,所述DMD相机与所述数字投影设备DLP4500的光心连线夹角在20°~45°之间;所述DMD相机和数字投影设备DLP4500可实现同步触发,所述DMD相机、数字投影设备DLP4500和计算机组成一光电反馈***A;所述DMD相机是一个由数字微镜器件DMD、CMOS图像探测器、TIR棱镜、第一透镜组(1)、第二透镜组(2)和处理器构成的线性空间不变的DMD相机;所述第一透镜组(1)是变焦透镜组,所述第二透镜组(2)是一个定倍成像物镜;所述数字微镜器件DMD形成一DMD像平面,所述CMOS图像探测器形成一CMOS像平面,所述DMD像平面与所述CMOS像平面垂直;所述第一透镜组(1)处于由被测物、所述数字微镜器件DMD和所述TIR棱镜之间所形成的成像光轴上,所述第一透镜组(1)用以将被测物所成的像完整投影到所述DMD像平面;所述第二透镜组(2)处于由所述TIR棱镜和所述CMOS图像探测器之间所形成的反射成像光轴上,用以将所述DMD像平面所成的像经所述TIR棱镜发生内全反射后完整投影到所述CMOS像平面;所述数字微镜器件DMD中的每一个微镜与所述CMOS图像探测器中的每一个像元一一对应;所述数字微镜器件DMD、CMOS图像探测器、第二透镜组(2)和处理器组成一光电反馈***B;其特征在于,
该三维扫描测量方法包括以下步骤:
步骤一:采用四步相移法,数字投影设备DLP4500向被测强反射表面依次投射不同相位的正弦光栅图案,所述强反射表面是指类镜面或亮面的非漫反射表面或者无规则散射的非漫反射表面;利用DMD相机,实现对入射光线的自适应高动态范围成像,最终获得清晰的待测量图像,包括:
步骤1-1、将所述数字微镜器件DMD中所有的微镜打开,被测强反射表面反射光线进入所述的DMD相机成像,并得到原始图像I0(x,y);利用最大类间方差法判别原始图像I0(x,y)中是否存在过饱和区域;若原始图像I0(x,y)中不存在过饱和区域,所述原始图像I0(x,y)即为CMOS图像探测器最终获取的完整清晰图像Ii(x,y),则执行步骤1-4;若原始图像I0(x,y)中存在过饱和区域,执行步骤1-2;
步骤1-2、将上述的原始图像I0(x,y)作为处理图像,经所述数字微镜器件DMD编码调制后在CMOS图像探测器中成像,从而得到编码图像;步骤如下:
步骤1-2-1、利用自适应光强编码控制算法,通过数字微镜器件DMD与CMOS图像探测器之间的坐标匹配与映射关系生成DMD掩模,并将该DMD掩模导入至数字微镜器件DMD中完成对处理图像中存在的过饱和区域的入射光线进行有效衰减;包括:
步骤1-2-1-1、分割与判别:设定CMOS图像探测器所采集的处理图像的像素饱和值Vs小于255,且该像素饱和值Vs用于作为图像分割的阈值以判别该处理图像中的过饱和区域;如果该处理图像中存在过曝光区域,则执行步骤1-2-1-2;否则,执行步骤1-4;
步骤1-2-1-2、提取与映射:用Sobel算子检测经过上述分割后的图像的边缘,从而提取出分割后的图像中的过饱和区域Oc(x,y);数字微镜器件DMD与CMOS图像探测器的映射关系为:
U=R·X
式中,U和X分别代表DMD像平面和CMOS像平面对应映射点的齐次坐标,R是一个3×3的非齐次单应矩阵;按照下式计算DMD掩模所对应的区域Od(u,v):
Od(u,v)=R·Oc(x,y)
步骤1-2-1-3、DMD掩模设计:在线性空间不变的DMD相机中,设DMD掩模的调制函数Mi(u,v)与所述DMD掩模对应的CMOS图像探测器的图像Ii(x,y)的关系如下:
Figure FDA0002268711990000021
式中,α和β都是光强衰减因子,Vc是一均匀亮度值,其取值为0~100;C是常数且0<C≤255;从而根据上述调制函数Mi(u,v)生成一个DMD掩模;(u,v)表示DMD像平面上的任意一点,其与CMOS像平面上的某一点(x,y)相对应;
最后,将上述生成的DMD掩模导入到所述数字微镜器件DMD中,得到编码图像;
步骤1-3、利用最大类间方差法判别编码图像中是否存在过饱和区域;若编码图像中不存在过饱和区域,所述编码图像即为CMOS图像探测器最终获取的完整清晰图像Ii(x,y),则执行步骤1-4;若编码图像中存在过饱和区域,将该编码图像作为处理图像,返回步骤1-2-1;
步骤1-4、高动态范围图像重构:根据CMOS图像探测器最终获取的完整清晰图像Ii(x,y)的灰度值Vhdr(x,y)和DMD掩模的调制函数Mi(u,v),按照下述表达式重构出高动态场景的实际光强函数Ihdr(x,y),
Figure FDA0002268711990000022
步骤1-5、色调映射:采用对比度受限自适应直方图均衡化算法增强上述高动态场景的局部细节,在低动态范围的显示设备中将上述高动态场景显示出,记作待测量图像;
步骤二:利用基于光栅投影的相位法实现对待测量图像的三维测量;包括:
步骤2-1、基于DMD相机的三维扫描测量装置的标定:
DMD相机的标定:DMD相机依次采集十幅不同角度的棋盘格标定图像,采用张正友相机标定法解算出DMD相机的内部参数和外部参数;由DMD相机像平面上的点与空间物体点之间关系:
Figure FDA0002268711990000031
其中,s为尺度因子,(uc,vc,1)是DMD相机中的图像上任意点的二维齐次坐标,(xw,yw,zw,1)是其对应点的齐次三维坐标,Ac是DMD相机的内部参数矩阵,(RcTc)是DMD相机的外部参数,根据上述DMD相机的内部参数矩阵和外部参数计算出棋盘格角点的世界坐标;
数字投影设备DLP4500的投射模型如下:
Figure FDA0002268711990000032
其中:s为尺度因子,
Figure FDA0002268711990000033
是棋盘格角点的世界坐标(x,y,z,1);Ap是数字投影设备DLP4500的内部参数矩阵,旋转矩阵Rp、平移矩阵Tp均是数字投影设备DLP4500的外部参数矩阵;
Figure FDA0002268711990000034
是数字投影设备DLP4500的内部参数矩阵;
将根据公式(1)得到的所述棋盘格角点的世界坐标代入至公式(2),得到数字投影设备DLP4500的旋转矩阵Rp、平移矩阵Tp和内部参数矩阵
Figure FDA0002268711990000036
步骤2-2、格雷码编码与相位解算:采用二进制格雷码编码图案,其中,用黑条纹表示逻辑值0,白条纹表示逻辑值1,由n幅不同频率且灰度呈交替规律变化的黑白光栅图获得n比特的格雷码,将格雷码编码图案分为2n个区域;
向被测强反射表面投射原二进制格雷码的反码图像,将正反格雷码转换为十进制数值后采用相位解算求解出2n个区域所对应包裹相位的周期数,即得到全部相位场的绝对相位,其中,被测强反射表面上的任意相位点的绝对相位值表示为
Figure FDA0002268711990000037
步骤2-3、点云获取:根据被测强反射表面上的任意相位点的绝对相位值表示为
Figure FDA0002268711990000038
及提取出被测强反射表面所在待测量图像中的像素坐标(m,n),最终测量出被测强反射表面的三维坐标。
CN201710689618.7A 2017-08-11 2017-08-11 一种适用于强反射表面的三维扫描测量装置及方法 Expired - Fee Related CN107607040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710689618.7A CN107607040B (zh) 2017-08-11 2017-08-11 一种适用于强反射表面的三维扫描测量装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710689618.7A CN107607040B (zh) 2017-08-11 2017-08-11 一种适用于强反射表面的三维扫描测量装置及方法

Publications (2)

Publication Number Publication Date
CN107607040A CN107607040A (zh) 2018-01-19
CN107607040B true CN107607040B (zh) 2020-01-14

Family

ID=61064855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710689618.7A Expired - Fee Related CN107607040B (zh) 2017-08-11 2017-08-11 一种适用于强反射表面的三维扫描测量装置及方法

Country Status (1)

Country Link
CN (1) CN107607040B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11202006968PA (en) * 2018-01-24 2020-08-28 Cyberoptics Corp Structured light projection for specular surfaces
CN108320272A (zh) * 2018-02-05 2018-07-24 电子科技大学 图像去光的方法
CN108362226B (zh) * 2018-03-02 2020-05-01 西北工业大学 提高图像过曝区域相位测量精度的双四步相移法
JP6908556B2 (ja) * 2018-05-08 2021-07-28 京セラ株式会社 電磁波検出装置及び情報取得システム
CN110501070B (zh) * 2018-05-19 2021-09-03 南京理工大学 基于亚哈达玛矩阵的瞬态哈达玛变换光谱仪
CN108827176A (zh) * 2018-06-29 2018-11-16 北京信息科技大学 一种用于数字散斑干涉技术的偏振四步相移方法
CN108645354B (zh) * 2018-07-06 2019-10-18 四川大学 高反光对象表面的结构光三维成像方法及***
CN110728713B (zh) * 2018-07-16 2022-09-30 Oppo广东移动通信有限公司 测试方法及测试***
WO2020019245A1 (zh) 2018-07-26 2020-01-30 深圳大学 透明物体的三维重建方法、装置、计算机设备及存储介质
CN109118531A (zh) * 2018-07-26 2019-01-01 深圳大学 透明物体的三维重建方法、装置、计算机设备及存储介质
CN109242828B (zh) * 2018-08-13 2022-04-19 浙江大学 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法
CN110857855B (zh) * 2018-08-22 2022-09-02 杭州海康机器人技术有限公司 一种图像数据获取方法、装置及***
CN109374131B (zh) * 2018-09-03 2021-05-28 南京理工大学 一种基于dmd编码的瞬态哈达玛矩阵光谱仪
CN109443244B (zh) * 2018-10-19 2021-02-02 华中科技大学无锡研究院 剔除高光反射异常错误点的方法
CN111122568B (zh) * 2018-11-01 2022-04-22 华中科技大学苏州脑空间信息研究院 一种高通量光学层析成像方法及成像***
CN112867905A (zh) * 2018-11-16 2021-05-28 北京闻亭泰科技术发展有限公司 一种用于三维检测的光学引擎和三维检测设备
EP3956686A4 (en) * 2019-04-17 2022-12-28 The Regents Of The University Of Michigan SYSTEMS AND METHODS FOR DETECTING MULTIDIMENSIONAL MATERIALS
CN110337674B (zh) * 2019-05-28 2023-07-07 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质
CN110375651A (zh) * 2019-08-21 2019-10-25 湖北工业大学 基于双dmd的高反光表面动态三维面形测量***及方法
CN110411374B (zh) * 2019-08-26 2020-06-02 湖北工业大学 一种动态三维面形测量方法及***
CN110927921B (zh) * 2019-11-16 2022-09-23 安徽工程大学 一种数字光栅辅助自动聚焦方法及装置
CN110889810A (zh) * 2019-11-29 2020-03-17 合肥视展光电科技有限公司 一种基于偏振的滤光薄膜提取图像方法及***
TWI722703B (zh) * 2019-12-09 2021-03-21 財團法人工業技術研究院 投影設備與投影校正方法
CN111189417B (zh) * 2020-01-15 2020-11-27 浙江大学 基于高频图案干涉的二进制光栅图像投影反光抑制方法
CN112465787A (zh) * 2020-12-03 2021-03-09 天津大学 基于深度学习的数字微镜高亮缺陷检测方法
CN112729164B (zh) * 2020-12-21 2023-06-30 革点科技(深圳)有限公司 一种基于mems的自适应点阵结构光投射方法
CN112700369B (zh) * 2020-12-22 2023-03-03 安徽地势坤光电科技有限公司 一种数字微镜工作角度误差的修正方法及设备
CN112815874B (zh) * 2020-12-31 2022-08-02 浙江四点灵机器人股份有限公司 一种基于单帧投影强度阈值判断的高反射物体三维测量方法
CN113103226A (zh) * 2021-03-08 2021-07-13 同济大学 一种面向陶瓷素坯加工制造的视觉引导机器人***
CN114018819B (zh) * 2021-03-22 2022-11-11 北京航空航天大学 基于空间频域成像的光学特性测量方法、装置及***
CN113205593B (zh) * 2021-05-17 2022-06-07 湖北工业大学 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN113506348B (zh) * 2021-07-15 2023-02-28 吉林省凯迪科技有限公司 一种基于格雷码辅助的三维坐标计算方法
CN113639761B (zh) * 2021-08-25 2023-11-10 吉林大学 一种利用黑白网格图码的二维平动与转动位移和速度同步非接触测量方法
CN114383817B (zh) * 2021-12-24 2023-07-14 北京控制工程研究所 一种高精度同步扫描光学***装调精度评估方法
CN114018926B (zh) * 2022-01-04 2022-03-22 天津大学四川创新研究院 一种基于灰阶的数字微镜调光模板制作方法
CN114719780B (zh) * 2022-04-07 2022-12-16 昆明理工大学 基于深度学习的反光物体表面结构光投影三维测量方法
CN114998409B (zh) * 2022-05-05 2024-03-26 四川大学 一种自适应结构光测量方法、装置、电子设备及介质
CN117546091A (zh) * 2022-06-08 2024-02-09 李永春 对位校正***及其方法
CN115451820B (zh) * 2022-10-21 2024-05-14 哈尔滨师范大学 三通道偏振信息采集***
CN116538949B (zh) * 2023-07-03 2023-09-15 湖南大学 一种基于时域超分辨的高速动态过程dic测量装置与方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721375A (zh) * 2012-06-20 2012-10-10 北京航空航天大学 一种强反光金属结构件的在位测量中多次反光抑制方法
CN105466889A (zh) * 2015-11-18 2016-04-06 天津大学 一种空间频域成像中复杂组织体表面光照度的采集方法
CN105783775A (zh) * 2016-04-21 2016-07-20 清华大学 一种镜面及类镜面物体表面形貌测量装置与方法
CN106679591A (zh) * 2016-12-30 2017-05-17 合肥工业大学 一种基于数字微镜的高反光表面三维测量装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721375A (zh) * 2012-06-20 2012-10-10 北京航空航天大学 一种强反光金属结构件的在位测量中多次反光抑制方法
CN105466889A (zh) * 2015-11-18 2016-04-06 天津大学 一种空间频域成像中复杂组织体表面光照度的采集方法
CN105783775A (zh) * 2016-04-21 2016-07-20 清华大学 一种镜面及类镜面物体表面形貌测量装置与方法
CN106679591A (zh) * 2016-12-30 2017-05-17 合肥工业大学 一种基于数字微镜的高反光表面三维测量装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DMD成像分析***控制软件的研究;吴嘉辉;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20140815(第8期);C032-68 *

Also Published As

Publication number Publication date
CN107607040A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107607040B (zh) 一种适用于强反射表面的三维扫描测量装置及方法
CN109477710B (zh) 基于点的结构化光***的反射率图估计
EP1462992B1 (en) System and method for shape reconstruction from optical images
US7171037B2 (en) Optical inspection system and method for displaying imaged objects in greater than two dimensions
EP3516625A1 (en) A device and method for obtaining distance information from views
Lin et al. Review and comparison of high‐dynamic range three‐dimensional shape measurement techniques
Zhang et al. A robust surface coding method for optically challenging objects using structured light
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN107071248B (zh) 一种用于提取强反射表面几何特征的高动态范围成像方法
US10078907B2 (en) Distance measurement apparatus, distance measurement method, and storage medium
EP1604193A2 (en) Optical inspection system, illumination apparatus and method for imaging specular objects based on illumination gradients
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
CN112525107B (zh) 一种基于事件相机的结构光三维测量方法
CN113554575B (zh) 一种基于偏振原理的高反物体表面高光去除方法
WO2022126870A1 (en) Three-dimensional imaging method and method based on light field camera and three-dimensional imaging measuring production line
JP2015021862A (ja) 3次元計測装置及び3次元計測方法
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
CN112082508A (zh) 反光物体的三维测量方法、装置及终端设备
Einabadi et al. Discrete Light Source Estimation from Light Probes for Photorealistic Rendering.
Fu et al. High dynamic range structured light 3-D measurement based on region adaptive fringe brightness
CN116608794B (zh) 一种抗纹理3d结构光成像方法、***、装置及存储介质
Ikeuchi et al. Active lighting and its application for computer vision
Rantoson et al. 3D reconstruction of transparent objects exploiting surface fluorescence caused by UV irradiation
Xu et al. A unified spatial-angular structured light for single-view acquisition of shape and reflectance
WO2010133921A1 (en) Surface scanning system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200114

Termination date: 20200811

CF01 Termination of patent right due to non-payment of annual fee