CN108426538B - 一种3d形貌检测***及方法 - Google Patents

Abstract

本发明公开了一种3D形貌检测***及方法，***包括自动载物台、带有纵向色差的光学显微成像***、一个通道数N≥4的窄带多光谱图像传感器、控制单元及图像分析单元；所述载物台与所述控制单元电相连，所述图像分析单元与所述多光谱图像传感器和控制单元分别电相连，所述光学显微成像***与所述多光谱图像传感器机械相连。本发明可以一次曝光获得物体表面XY空间位置自然校准而聚焦清晰度不同的多幅窄带光谱图像，使用配套的如散焦模糊度算法及配套的自动聚焦方法，可以全自动的获得物体表面3D形貌，即任意空间位置XY的深度Z信息；本发明对于先进制造刀具、精密样品或者部件表面形貌快速在线检测具有广泛应用价值。

Description

一种3D形貌检测***及方法

技术领域

本发明涉及数字显微领域，具体涉及一种3D形貌检测***及方法。

背景技术

目前，3D形貌检测在先进制造刀具、精密样品及部件表面形貌检测中的应用越来越广泛，但是，现有的3D形貌检测***及方法往往通过彩色相机(彩色图像传感器)及消色差光学显微成像***来实现，存在如下的缺点：①采用彩色相机时，测得的光谱响应曲线只有3条(即可测波段个数是3)②采用彩色相机时，由于彩色相机波段分布较宽，(在光谱空间)光谱响应曲线彼此之间重叠；③已有的消色差光学显微成像***造价昂贵，如果是复消色差光学显微成像***则造价更加昂贵，导致检测成本过高。

发明内容

本发明的目的在于克服现有技术之不足，提供一种3D形貌检测***及方法，可以一次曝光获得物体表面XY空间位置自然校准而聚焦清晰度不同的多幅窄带光谱图像；使用配套的散焦模糊度算法及配套的自动聚焦方法，可以全自动的获得物体表面3D形貌，即任意空间位置XY的深度Z信息。

本发明解决其技术问题所采用的技术方案是：

一种3D形貌检测***，包括载物台、光学显微成像***、多光谱图像传感器、控制单元和图像分析单元，其特征在于，所述载物台与所述控制单元电相连，所述图像分析单元与所述多光谱图像传感器和控制单元分别电相连，所述光学显微成像***与所述多光谱图像传感器机械相连；

所述光学显微成像***是带纵向色差的光学显微成像***，所述光学显微成像***照明光源为透射光源、与物镜环绕的斜射光源或其它不通过物镜的落射照明光源；

所述多光谱图像传感器包括一个光学滤片和一个黑白图像传感器，所述光学滤片紧贴在所述黑白图像传感器的有效光电转换平面上；所述光学滤片包括若干个阵列周期设置的光学滤镜宏单元；每个所述光学滤镜宏单元包括N个空间位置互不重叠、透过光波段各不相同且彼此不重叠的光学窄带微滤镜单元；并且每个所述光学滤镜宏单元覆盖整数个所述黑白图像传感器的像素；其中，N≥4；

所述载物台为电动载物台，在电控制下沿着至少一个方向运动。

优选的，所述多光谱图像传感器光电转换平面放置在所述光学显微成像***镜头的成像面上，而且两者同光轴。

优选的，所述光学滤镜宏单元在横向上按周期排列的个数为M1≥10个，在纵向上按周期排列的个数M2≥10个。

优选的，每个所述光学滤镜宏单元包括4个光学窄带微滤镜单元，分别为：通透带中心波长为λ1、带宽为δλ1的第一波段光学窄带微滤镜单元；通透带中心波长为λ2、带宽为δλ2的第二波段光学窄带微滤镜单元；通透带中心波长为λ3、带宽为δλ3的第三波段光学窄带微滤镜单元；通透带中心波长为λ4、带宽为δλ4的第四波段光学窄带微滤镜单元。

优选的，所述λ1的取值范围为440-470纳米；所述λ2的取值范围为470-540纳米；所述λ3的取值范围为540-610纳米；所述λ4的取值范围为610-680纳米。

优选的，每个所述光学窄带微滤镜单元的通透带透光率高于80％，截止波段低于0.1％；每个所述光学窄带微滤镜单元的透光率从阻止带的低于1％到通透带的高于80％过渡区间带宽小于10纳米；每个所述光学窄带微滤镜单元的透光带互不重叠。需要说明的是，每个滤镜在光谱轴上只有一个透通带，透通带两侧各有一个不透光谱波段区域为阻止带。

优选的，所述光学显微成像***的物镜对不同波段的光波段成像距离不同；按距离物镜的距离由近到远分别是短波段、较短波段、中间波段、较长波段和长波段；

所述光学显微成像***的物镜对中心波长在绿色波段(如在540纳米附近)的成像做优化，不做特殊纵向消色差设计或者处理。所述绿色波段为绿光波长范围。

一种3D形貌检测方法，基于所述的3D形貌检测***，包括如下步骤：

步骤a，所述控制单元控制所述载物台将载物台上的标本移动到所述光学显微成像***成像范围内；所述控制单元控制所述多光谱图像传感器曝光获取一副原始图像，所述图像分析单元分析所述多光谱图像传感器每次曝光所获得的图像，将其在线拆分为N≥4幅窄带光谱图像，拆分方法为将所有M1*M2个光学滤镜宏单元中对应于第一波段的光学窄带微滤镜单元所覆盖的像素按序组成第一波段窄带光谱图像；将M1*M2个所述光学滤镜宏单元中对应于第二波段的光学窄带微滤镜单元所覆盖的像素按序组成第二波段窄带光谱图像；类似地获取第三，第四，…，第N波段窄带光谱图像；

步骤b，计算出每个位置每个窄带光谱图像的散焦模糊度F；所述散焦模糊度F根据能量最大值法、爬山算法、灰度梯度法、点扩散函数半径、基于傅里叶变换的空间频域分析中的一种或者多种方法进行计算；

步骤c，根据上述N个窄带光谱图像散焦模糊度的对比关系，对照不同窄带波段图像的散焦模糊度F与已知表面形貌物体的距离关系，获得图像每一像素所对应位置XY的深度信息Z；所述散焦模糊度F与物体距离关系为：当物体在光学显微成像***焦面上时，中间波段散焦最小；当物体在远离光学显微成像***焦面时，长波段散焦最小；当物体在靠近光学显微成像***焦面时，短波段散焦最小。

优选的，所述方法还包括对已知表面形貌物体进行刻度，包括：

采用一个已知表面形貌的物体作为刻度样本，将物体放置在所述载物台上并对其在绿色波段成像聚焦，所述控制单元控制所述多光谱图像传感器曝光获取一副原始图像，图像处理单元分析所述多光谱图像传感器每次曝光所获得的图像，将其在线拆分为N≥4幅窄带光谱图像，拆分方法为将所有M1*M2个光学滤镜宏单元中对应于第一波段的光学窄带微滤镜单元所覆盖的像素按序组成为第一波段窄带光谱图像；将M1*M2个所述光学滤镜宏单元中对应于第二波段的光学窄带微滤镜单元所覆盖的像素按序组成为第二波段窄带光谱图像；类似地获取第三，第四，…，第N波段窄带光谱图像；

计算出每个位置每个窄带波段图像的散焦模糊度F，所述散焦模糊度F根据能量最大值法、爬山算法、灰度梯度法、点扩散函数半径、基于傅里叶变换的空间频域分析中的一种或者多种方法进行计算；

建立N个光谱图像散焦模糊度F与刻度标本表面已知高度的对应关系；建立方法包括插值法和\或最小二乘法。

优选的，所述步骤c还包括如下实时自动聚焦步骤：

比较N个窄带光谱图像散焦模糊度F；如果中间波段窄带光谱图像聚焦最清晰，停止自动聚焦；如果短波长窄带光谱图像比长波长窄带光谱图像具有更小的散焦模糊度F，则该点处在比所述光学显微成像***聚焦面更近的位置，将载物台向距离物镜更远的方向运动；如果长波长窄带光谱图像比短波长窄带光谱图像具有更小的散焦模糊度F，则该点处在比焦面更远的位置，将载物台向距物镜更近的位置移动。

与现有技术相比，本发明的有益效果是：

(1)本发明***的多光谱图像传感器包括一个光学滤片和一个黑白图像传感器，能够产生N≥4条光谱响应曲线；且光谱响应曲线是窄带，而且(在光谱空间)彼此不重叠；

(2)本发明***的光学显微成像***是带纵向色差的光学显微成像***，因此造价低，能有效地节约成本；

(3)本发明方法可以一次曝光获得物体表面XY空间位置自然校准而聚焦清晰度不同的多幅窄带光谱图像；使用配套的如散焦模糊度算法及配套的自动聚焦方法，可以全自动的获得物体表面3D形貌，即任意空间位置XY的深度Z信息；对于先进制造刀具、精密样品或者部件表面形貌快速在线检测具有广泛应用价值。

以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种3D形貌检测***及方法不局限于实施例。

附图说明

图1为本发明实施例的3D形貌检测***的结构示意图；

图2为本发明实施例的窄带多光谱图像传感器光谱响应曲线及宏像素图；

图3为本发明实施例的彩色相机光谱响应曲线及宏像素图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案做进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所述，本发明一种3D形貌检测***，包括多光谱图像传感器、光学显微成像***、图像分析单元3、控制单元4和载物台5；本实施例中所述多光谱图像传感器包括窄带多光谱摄像头1，所述光学显微成像***为带色差光学成像***2；所述载物台5与所述控制单元4电相连，所述图像分析单元3与所述窄带多光谱摄像头1和控制单元4分别电相连，所述带色差光学成像***2与所述窄带多光谱摄像头1机械相连。所述控制单元4和图像分析单元3可以运行在同一终端上，也可以运行在不同的终端上，所述终端可以是PC，具体的，本发明不做具体限制。待测样本6(待测物体)放置在电动可移动载物台5上，控制单元4可以控制载物台5高度位置，使得放置在载物台5上的待测样本6待测区域表面处于该形貌测量***工作范围内。从照明***9经过整形设计的照明光，从物镜旁周落射到待测样本6上，被待测样本6反射的光进入带色差的带色差光学成像***2，经过带色差光学成像***2的管镜21后进入窄带多光谱摄像头1中。窄带多光谱摄像头1所获得的图像经过图像传输线路进入图像分析单元3。窄带多光谱摄像头1的每个宏像素7包含至少N(图中显示的N＝4)个对不同波段敏感的子像素，其对应的光电转换效率随波长关系曲线如图2所示(本实施例中，显示的N＝4)，子像素彼此之间的光电转换波段彼此不重叠。参见图3所示，为与本发明所使用的窄带多光谱摄像头1对比，给出某KODAK彩色相机光谱相应曲线及宏像素(贝尔滤镜8)图。附图2和附图3的区别在于：已有彩色相机光谱响应曲线只有3条(即可测波段个数是3)，不是N≥4；②已有彩色相机波段分布较宽，(在光谱空间)彼此之间重叠；而本发明的窄带多光谱摄像头1每个宏像素子单元光谱响应曲线是窄带，而且(在光谱空间)彼此不重叠。

综上，与已有技术相比，本发明具有如下有益效果：(1)已有技术采用彩色相机，而彩色相机光谱响应曲线只有3条(即可测波段个数是3)，不是N≥4；(2)已有彩色相机波段分布较宽，(在光谱空间)彼此之间重叠；而本发明的窄带多光谱摄像头1每个宏像素子单元光谱响应曲线是窄带，而且(在光谱空间)彼此不重叠；(3)已有技术光学成像***主要采用造价昂贵的消色差光学成像***，甚至是造价更昂贵的复消色差光学成像***，而本发明采用(Z向)带色差光学成像***2，因而造价低。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种3D形貌检测***，包括载物台、光学显微成像***、多光谱图像传感器、控制单元和图像分析单元，其特征在于，所述载物台与所述控制单元电相连，所述图像分析单元与所述多光谱图像传感器和控制单元分别电相连，所述光学显微成像***与所述多光谱图像传感器机械相连；

所述光学显微成像***是带纵向色差的光学显微成像***，所述光学显微成像***照明光源为透射光源、与物镜环绕的斜射光源或其它不通过物镜的落射照明光源；

所述多光谱图像传感器包括一个光学滤片和一个黑白图像传感器，所述光学滤片紧贴在所述黑白图像传感器的有效光电转换平面上；所述光学滤片包括若干个阵列周期设置的光学滤镜宏单元；每个所述光学滤镜宏单元包括N个空间位置互不重叠、透过光波段各不相同且彼此不重叠的光学窄带微滤镜单元；并且每个所述光学滤镜宏单元覆盖整数个所述黑白图像传感器的像素；其中，N≥4；

所述载物台为电动载物台，在电控制下沿着至少一个方向运动。

2.根据权利要求1所述的3D形貌检测***，其特征在于，所述多光谱图像传感器光电转换平面放置在所述光学显微成像***镜头的成像面上，而且两者同光轴。

3.根据权利要求1所述的3D形貌检测***，其特征在于，所述光学滤镜宏单元在横向上按周期排列的个数为M1≥10个，在纵向上按周期排列的个数M2≥10个。

4.根据权利要求1所述的3D形貌检测***，其特征在于，每个所述光学滤镜宏单元包括4个光学窄带微滤镜单元，分别为：通透带中心波长为λ1、带宽为δλ1的第一波段光学窄带微滤镜单元；通透带中心波长为λ2、带宽为δλ2的第二波段光学窄带微滤镜单元；通透带中心波长为λ3、带宽为δλ3的第三波段光学窄带微滤镜单元；通透带中心波长为λ4、带宽为δλ4的第四波段光学窄带微滤镜单元。

5.根据权利要求4所述的3D形貌检测***，其特征在于，所述λ1的取值范围为440-470纳米；所述λ2的取值范围为470-540纳米；所述λ3的取值范围为540-610纳米；所述λ4的取值范围为610-680纳米。

6.根据权利要求1所述的3D形貌检测***，其特征在于，每个所述光学窄带微滤镜单元的通透带透光率高于80％，截止波段低于0.1％；每个所述光学窄带微滤镜单元的透光率从阻止带的低于1％到通透带的高于80％过渡区间带宽小于10纳米；每个所述光学窄带微滤镜单元的透光带互不重叠。

7.根据权利要求1所述的3D形貌检测***，其特征在于：

所述光学显微成像***的物镜对不同波段的光波段成像距离不同；按距离物镜的距离由近到远分别是短波段、较短波段、中间波段、较长波段和长波段；

所述光学显微成像***的物镜对中心波长在绿色波段的成像做优化，不做特殊纵向消色差设计或者处理。

8.一种3D形貌检测方法，其特征在于，基于权利要求1至7中任意一项权利要求所述的3D形貌检测***，包括如下步骤：

步骤a，所述控制单元控制所述载物台将载物台上的标本移动到所述光学显微成像***成像范围内；所述控制单元控制所述多光谱图像传感器曝光获取一副原始图像，所述图像分析单元分析所述多光谱图像传感器每次曝光所获得的图像，将其在线拆分为N≥4幅窄带光谱图像，拆分方法为将所有M1*M2个光学滤镜宏单元中对应于第一波段的光学窄带微滤镜单元所覆盖的像素按序组成第一波段窄带光谱图像；将M1*M2个所述光学滤镜宏单元中对应于第二波段的光学窄带微滤镜单元所覆盖的像素按序组成第二波段窄带光谱图像；类似地获取第三，第四，…，第N波段窄带光谱图像；

步骤b，计算出每个位置每个窄带光谱图像的散焦模糊度F；所述散焦模糊度F根据能量最大值法、爬山算法、灰度梯度法、点扩散函数半径、基于傅里叶变换的空间频域分析中的一种或者多种方法进行计算；

步骤c，根据上述N个窄带光谱图像散焦模糊度的对比关系，对照不同窄带波段图像的散焦模糊度F与已知表面形貌物体的距离关系，获得图像每一像素所对应位置XY的深度信息Z；所述散焦模糊度F与物体距离关系为：当物体在光学显微成像***焦面上时，中间波段散焦最小；当物体在远离光学显微成像***焦面时，长波段散焦最小；当物体在靠近光学显微成像***焦面时，短波段散焦最小。

9.根据权利要求8所述的3D形貌检测方法，其特征在于，所述方法还包括对已知表面形貌物体进行刻度，包括：

采用一个已知表面形貌的物体作为刻度样本，将物体放置在所述载物台上并对其在绿色波段成像聚焦，所述控制单元控制所述多光谱图像传感器曝光获取一副原始图像，图像处理单元分析所述多光谱图像传感器每次曝光所获得的图像，将其在线拆分为N≥4幅窄带光谱图像，拆分方法为将所有M1*M2个光学滤镜宏单元中对应于第一波段的光学窄带微滤镜单元所覆盖的像素按序组成为第一波段窄带光谱图像；将M1*M2个所述光学滤镜宏单元中对应于第二波段的光学窄带微滤镜单元所覆盖的像素按序组成为第二波段窄带光谱图像；类似地获取第三，第四，…，第N波段窄带光谱图像；

计算出每个位置每个窄带波段图像的散焦模糊度F，所述散焦模糊度F根据能量最大值法、爬山算法、灰度梯度法、点扩散函数半径、基于傅里叶变换的空间频域分析中的一种或者多种方法进行计算；

建立N个光谱图像散焦模糊度F与刻度标本表面已知高度的对应关系；建立方法包括插值法和\或最小二乘法。

10.根据权利要求8所述的3D形貌检测方法，其特征在于，所述步骤c还包括如下实时自动聚焦步骤：

比较N个窄带光谱图像散焦模糊度F；如果中间波段窄带光谱图像聚焦最清晰，停止自动聚焦；如果短波长窄带光谱图像比长波长窄带光谱图像具有更小的散焦模糊度F，将载物台向距离物镜更远的方向运动；如果长波长窄带光谱图像比短波长窄带光谱图像具有更小的散焦模糊度F，将载物台向距物镜更近的位置移动。