CN1673666A - 基于相移干涉图像序列解析的微结构三维信息获取方法 - Google Patents

Abstract

本发明公开了一种可应用于相移干涉***的基于相移干涉图像解析的微结构三维信息提取方法。其特征在于对相移干涉图像序列进行线性叠加直接提取出无干涉条纹的微结构平面图像，用于平面几何参数的测试，对上述平面图像进行边缘提取和二值化得到被测区域的模板图像，用于相移干涉图像序列的相位展开运算，得到离面高度图像，该方法与频闪成像或高速摄像技术相结合，可得到包含运动信息的平面图像序列和被测区域表面高度图像序列，分别运用图像匹配算法和固定测量点的高度信息比较可实现平面和离面运动参数的提取。本发明的优点在于：在相移干涉***中实现高精度的平面几何和运动参数测试，并解决不规则测量区域的相位展开和三维耦合运动测量问题。

Description

基于相移干涉图像序列解析的微结构三维信息获取方法

                                技术领域

本发明涉及一种基于相移干涉图像序列解析的微结构三维信息获取方法。属于面向微机电***的光电非接触法的几何量和机械量测量技术。

                                背景技术

微机电***(MEMS)是在微电子技术的基础上发展起来的，是由电子和机械元件组成的集成化器件或***，采用与集成电路兼容的大批量处理工艺制造，尺寸在微米到毫米之间，将计算、传感与执行融为一体，从而改变了感知和控制自然界的方式。微机电***(MEMS)的大部分制造工艺与微电子技术领域的加工工艺相兼容，其微机械结构一般为三维，且相当数量的MEMS器件包含可运动的结构，这是与微电子器件的最大区别。

从测试角度来看，三维微机械结构几何量的测试包括平面和离面几何参数的测试；MEMS中可运动的微机械结构依据运动的坐标分布，也可分为平面运动参数测试和离面运动参数测试。

光学测试方法由于其非接触、快速、精度高等优点，在MEMS测试领域中得到广泛应用。由于尺寸的缩小，绝大多数微结构的运动频率都比较高，一般在50K～500KHz左右，甚至更高。利用光学方法进行微结构测试，最有效的方法是获得其运动瞬间的位置变化，直接的方法是采用高速摄像机进行瞬态运动状态的图像采集，另外一种间接的方法是采用频闪成像技术，该技术可采用每秒采集图像为十几帧的普通摄像机。由于单次频闪不能得到足够的光强进行成像，因此需要对相同运动瞬间进行若干次频闪成像，摄像机得到的图像来自于若干次频闪照明下光强的总和，这也就要求被测的微结构进行重复性很高的周期运动。

通过高速摄像或频闪成像的方法可得到包含微结构平面运动各个瞬间的运动信息的图像序列，对每一幅图像可提取微结构平面几何参数，运用图像匹配技术可从图像序列中提取出微结构平面运动参数；通过光学干涉技术可获得微结构表面的三维形貌，同样结合高速摄像或频闪成像技术可得到微结构因运动引起的三维形貌变化，其中包含了微结构平面和离面运动参数信息。

对微结构直接高速成像或频闪成像的方法可获得其平面几何参数和运动参数，虽然也可以用光切的方法，即采集不同焦平面下的表面图像，可获得离面的几何参数和运动参数，但是其精度较低。利用光学干涉和高速成像或频闪成像相结合的方法可得到微结构三维形貌和运动信息，通过对现有技术的综合分析和比较，目前所报道的技术方案在实际应用中主要存在以下几方面的问题：(1)MEMS器件中微结构在离面的尺寸范围可达到几十甚至几百微米，一般的单色光干涉方法在离面的测量范围一般只有几微米，因此在整个视场下只能在一定的区域才能形成干涉条纹，即不能得到整个视场下微结构的三维形貌；(2)虽然其中绝大部分运动的微结构的离面几何尺寸和运动幅度的范围在几微米，可调整工作距离使得运动的微结构表面形成干涉条纹，干涉条纹消失的边缘一般包含平面轮廓和运动信息，但是在运用相移干涉方法时需要先后进行相位提取和相位展开步骤，边缘干涉数据容易导致三维形貌提取的失败，一般都需要人为地去选择边缘内部的区域来进行干涉条纹处理，图像边缘信息的丢失将使得平面几何量参数和运动参数不能提取；(3)白光扫描干涉可得到高度变化范围大的表面形貌，但是直接利用三维形貌来提取平面几何参数和运动信息的算法复杂，精度较低。有文章报道在干涉测量中的参考光路上增加一可调整的遮光器，可以将直接成像与光学干涉测量的优点结合起来，当遮光器工作时为直接成像工作方式，可得到平面几何参数和运动参数，当遮光器不工作时为干涉测量方式，直接成像得到的平面结构可用于干涉图像的相位提取与展开，可得到离面几何参数和运动参数；但是上述两种测量方式的结合要求分别进行两次测量，直接成像获得的图像和干涉图像必须建立一一对应关系，这在静态测量中容易实现，但是在运动测量中容易引入同步误差，而且只能适用于分离干涉光路结构，如：迈克尔逊(Michelson)显微相移干涉光路和林尼克(Linnik)显微相移干涉光路，对结构紧凑的Mirau光路结构不适用。

                                发明内容

本发明的目的在于提供一种基于显微相移干涉图像序列解析的微机电***(MEMS)中微结构的三维信息提取方法，不仅可用于静态几何参数测量，而且也可用运动参数测量，并有效地解决不规则微结构的相位提取和展开及三维运动精确解耦合问题。

本发明是通过下述技术方案加以实现的，采用包括光学显微镜、Mirau干涉物镜、相移控制器、CCD摄像机、图像采集卡、数据处理和控制计算机，微结构运动激励驱动装置、频闪光源或高速摄像机的典型的Mirau显微相移干涉***硬件，基于相移干涉图像序列解析法，实现提取微机电***(MEMS)中微结构的三维信息的方法，其特征在于包括以下步骤：

(1)调整放置在光学显微镜载物台的被测微结构的垂直位置，使得显微视场下被测区域出现干涉条纹，此时相移控制器处于初始位置，利用CCD摄像机采集视场下的干涉图像；

(2)设置相移的步数为4的倍数，计算相移的步距＝单色光源光波长/(2×相移步数)，使得完成设置步数的相移后，干涉图像中每一像素点的灰度值产生一个周期的明暗变化；

(3)在每次相移之后，利用CCD摄像机采集光程改变后显微镜视场下的干涉图像；在完成相移之后，包括初始位置，得到相移步数+1幅干涉图像；

(4)将最终相移位置的干涉图像单独保存，其他干涉图像组成新的相移干涉图像序列1，对新序列中所有干涉图像或条纹对比度归一化处理后的干涉图像进行线性叠加，消除干涉条纹，得到被测微结构的平面图像；

(5)对微结构的平面图像中的边缘进行间距和相对位置分析就能得到平面几何参数；

(6)对微结构的平面图像中进行对比度增强和边缘提取，就能得到具有干涉条纹的被测区域的封闭轮廓线，然后进行二值化：封闭区域填充为1，外部区域填充为0，将上述处理后的图像存储成模板图像；

(7)按照所采用相移提取算法对相移控制的相应要求，从所有干涉图像中选取对应数量的干涉图像，组成相移干涉图像序列2，按照相移提取算法对所选取的干涉图像进行相移提取计算得到相位图；

(8)将相位图与二值化的模板图像中每一像素进行相乘，得到局部加权的相位图，即被测区域的权重为1，其它区域权重为0，并对被测区域运用基于留数判断的路径跟随算法进行相位展开，并计算得到被测区域的表面形貌；

(9)对被测微结构进行周期运动激励，频闪光源的工作频率与运动频率相同，在周期运动的不同时刻进行频闪，在相同频闪条件下进行以上步骤的相移干涉图像序列的采集与解析，对应于不同频闪时刻就可得到微结构平面图像序列和被测区域的表面形貌序列，对平面图像序列通过图像匹配就可得到平面运动参数，将被测区域的表面形貌与平面运动位移进行关联就可得到离面运动参数。

本发明的优点在于：相移干涉图像能获得高精度的离面高度信息，利用相移干涉图像序列解析可从中滤除干涉条纹，得到微结构平面图像，同时也能实现亚像元精度的平面几何和运动参数的测试；利用微结构平面图像可提取出被测区域的封闭边缘，增强干涉图像相位展开的正确性与不规则测试区域的测试能力，从而提高离面高度与运动信息的提取的准确性。

                            附图说明

图1基于相移干涉图像序列解析的微结构三维信息获取方法流程图；

图2基于相移干涉图像序列解析的微结构三维信息获取方法的典型应用***框图；

图3微谐振器干涉图像；

图4基于相移干涉图像序列解析后的微谐振器平面图像；

图5微谐振器平面图像获得的模板图像；

图6微谐振器包裹相位图像；

图7微谐振器表面形貌图像；

图8频闪照明实现高频运动参数测量的信号时序图。

                          具体实施方式

实施例1：

本实施例主要关注利用相移干涉图像序列解析获得微结构平面图像、平面信息的提取及用于离面信息提取的模板图像的生成。

图2为基于相移干涉图像序列解析的微结构三维信息获取方法在具体实施中典型***框图。

在该实施例中，微谐振器作为测试器件，相移的步数设置为16，LED光源的波长为617nm，计算出每步相移的位移为λ/32＝19.3nm。

在相移控制器的初始位置状态，利用CCD摄像机采集视场下的干涉图像，如图3所示。步进式控制相移控制器，步距为19.3nm，在每次控制完成后利用CCD摄像机采集视场下的干涉图像。完成16步相移后可得到17幅干涉图像F₀(x，y)～F₁₆(x，y)。

将前16幅干涉图像进行叠加，即叠加后的图像 $F_{\mathrm{add}}(x,y)=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{F}_i(x,y),$ 如图4所示，可看出干涉条纹已经被滤除，即获得了微谐振器的平面图像，对该图像进行对比度增强，利用边缘轮廓信息就可得到微谐振器的平面几何参数：如：叉齿的长度、宽度和相对位置等；继续对平面图像进行边缘提取，就可得到结构的轮廓线，对中央运动结构的区域填充为1，外部区域填充为0，得到模板图像F_templet(x，y)，如图5所示。在不同运动相位处进行以上处理，就可得到平面图像和模板图像序列，对平面图像中特征结构的相对位置进行分析就可提取出平面运动参数(Δx，Δy，Δθ)。

为了提高干涉图像叠加以消除干涉条纹的信噪比，可用二次曲面拟合得出干涉条纹灰度变化的最大灰度包络面F_i，max(x，y)和最小灰度包络面F_i，min(x，y)，取两个包络面的最大间距，在各自包络面对应的灰度值分别为I_max和I_min，对原始干涉条纹条纹进行归一化处理，其计算公式为：

$F_{i,\mathrm{normal}}(x,y)=F_i(x,y)\·\frac{I_{\max }+I_{\min }}{F_{i,\max }(x,y)+F_{i,\min }(x,y)}+\frac{I_{\max }+I_{\min }-F_{i,\max }(x,y){-F}_{i,\min }(x,y)}{2}$

最后对归一化的图像进行线性叠加， $F_{\mathrm{add}}(x,y)=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{F}_{i,\mathrm{normal}}(x,y).$

以上处理可得到平面即使存在变形情况下的模板图像。如果假设微结构存在刚性平面运动，为了简化处理，可先对静止状态或其中一个运动相位下所解析出的平面图像进行初始模板图像F_templet(x，y)提取，其他运动相位处的模板图像直接用所提取出的平面运动参数对初始模板图像中特征区域移动得到，即平移(Δx，Δy)，旋转Δθ。

实施例2：

本实施例主要关注利用相移干涉图像序列和实施例1得到的模板图像进行微结构离面信息的提取。

在本实施例中采用5步相位提取算法，因此从实施例1中所得到的17幅相移干涉图像的序列中选择5幅干涉图像，序号分别0、4、8、12、16，即：F₀、F₄、F₈、F₁₂、F₁₆，并重新编号为1-5，即为：I₁、I₂、I₃、I₄、I₅，相位图的计算公式为：

计算得到的相位图F_phase如图6所示，该相位图是包裹相位图，为了提取出离面信息，必须进行相位展开。由于在整幅图像中只有被测区域有干涉条纹，对整幅图像进行相位展开会出现错误，为此利用实施例1中所得到的图5所示模板图像对相位图进行截取，计算公式为_new(x，y)＝(x，y)·F_templet(x，y)，然后利用路径跟随算法进行相位展开，得到如图7所示的被测区域的表面高度形貌。路径跟随算法采用基于留数去除方法进行相位展开判断，留数的计算公式为

在本实施例中选择由四相邻象素构成最小的闭合回路，即M＝N＝2，当计算出留数为0时，表明该点的相位正确，进行传统相位展开，否则标记为不良数据，这样就能够实现只对有效数据进行相位展开，通过遍历就能完成整幅图像的相位展开。在本实施例中所采用的传统相位展开步骤为：

1)选一个小于2π的固定阈值T，比如1.2π；

2)先设置₀(x₀，y)＝0，然后由i＝0开始，进行以下操作：

3)计算相邻两点的相位差：

Δ(x_i，y)＝(x_i，y)-(x_i-1，y)

4)判断|Δ|≥T？

  如果|Δ|＜T，₀(x_i，y)＝₀(x_i-1，y)；否则

5)重复3)、4)操作，直至结束。

对于Y方向，也可以做类似的处理。

实施例3：

本实施例主要关注利用相移干涉图像序列解析进行微结构三维运动信息的提取。

在本实施例中，微谐振器作为测试器件，并被正弦波电信号激励产生运动，运动激励信号的频率为20kHz，偏置电压为20V，峰值电压为160V，在Y方向上产生周期往复运动，而且因位置的偏移和加工的非理想化因素导致在X和Z方向产生耦合运动。

频闪照明实现高频运动参数测量的信号时序如图8所示，两信号的延迟时间由测量与控制计算机控制，图中仅列举了0°和30°运动相位平面运动图像采集时两信号的延迟。运动激励信号为周期的正弦信号，频闪驱动信号为正脉冲，其宽度约为1微秒，出现在每个周期的特定相位处，并重复1000次，CCD摄像机采集光学显微镜视场下的图像，曝光时间为频闪1000次的总时间。

运用频闪成像，可认为将周期运动的某一瞬间进行了“冻结”，该“冻结”状态可看作为静止状态，可运用实施例1和实施列2所述的微谐振器静止状态下平面和离面信息的提取方法进行处理，得到平面图像和被测区域的离面高度图像。

通过调整频闪和运动激励信号的延迟时间，可分别将周期运动中的若干瞬间进行“冻结”，在每一“冻结状态”都可得到平面图像和离面高度图像。对平面图像序列进行图像匹配，包括图像块匹配、相位相关、光流场，可得到平面运动位移和旋转角度；利用平面运动位移和旋转角度对离面高度图像序列的相对位置进行调整，建立通过对离面高度图像中像素

综上所述，通过实施例1中基于图像匹配的方法确定微谐振器的平面运动参数，并以此来指导实施例2中基于相移干涉技术的离面运动分析，就可得到微谐振器三维运动参数。

Claims (1)

1.一种基于相移干涉图像序列解析的微结构三维信息获取方法，采用包括光学显微镜、Mirau干涉物镜、相移控制器、CCD摄像机、图像采集卡、数据处理和控制计算机，微结构运动激励驱动装置、频闪光源或高速摄像机的典型的Mirau显微相移干涉***硬件，实现提取微机电***中微结构的三维信息，其特征在于包括以下步骤：

(1)调整放置在光学显微镜载物台的被测微结构的垂直位置，使得显微视场被测区域出现干涉条纹，此时相移控制器处于初始位置，利用CCD摄像机采集视场下的干涉图像；

(2)设置相移的步数为4的倍数，计算相移的步距＝单色光源光波长/2×相移步数，使得完成设置步数的相移后，干涉图像中每一像素点的灰度值产生一个周期的明暗变化；

(3)在每次相移之后，利用CCD摄像机采集光程改变后显微镜视场下的干涉图像；在完成相移之后，包括初始位置，得到相移步数+1幅干涉图像；

(4)将最终相移位置的干涉图像单独保存，其他干涉图像组成新的相移干涉图像序列1，对新序列中所有干涉图像或条纹对比度归一化处理后的干涉图像进行线性叠加，消除干涉条纹，得到被测微结构的平面图像；

(5)对微结构的平面图像中的边缘进行间距和相对位置分析就能得到平面几何参数；

(6)对微结构的平面图像中进行对比度增强和边缘提取，就能得到具有干涉条纹的被测区域的封闭轮廓线，然后进行二值化：封闭区域填充为1，外部区域填充为0，将上述处理后的图像存储成模板图像；

(7)按照所采用相移提取算法对相移控制的相应要求，从所有干涉图像中选取对应数量的干涉图像，组成相移干涉图像序列2，按照相移提取算法对所选取的干涉图像进行相移提取计算得到相位图；

(8)将相位图与二值化的模板图像中每一像素进行相乘，得到局部加权的相位图，即被测区域的权重为1，其它区域权重为0，并对被测区域运用基于留数判断的路径跟随算法进行相位展开，并计算得到被测区域的表面形貌；

(9)对被测微结构进行周期运动激励，频闪光源的工作频率与运动频率相同，在周期运动的不同时刻进行频闪，在相同频闪条件下进行以上步骤的相移干涉图像序列的采集与解析，对应于不同频闪时刻就可得到微结构平面图像序列和被测区域的表面形貌序列，对平面图像序列通过图像匹配就可得到平面运动参数，将被测区域的表面形貌与平面运动位移进行关联就可得到离面运动参数。

Images