CN102155909B - 基于扫描电镜的纳米尺度三维形貌测量方法 - Google Patents

Abstract

本发明公开了一种基于扫描电镜的纳米尺度三维形貌测量方法。该方法将目前使用广泛的扫描电镜与宏观测量中的数字摄影测量有机结合起来。充分利用扫描电镜操作简单、可以拍摄出高放大倍数、大景深二维图像的特点，又有效地发挥了数字摄影测量方法可以从多角度拍摄的照片中自动、高精度地重建出被测物体表面完整三维数据的优势。通过使用扫描电镜在同样的放大倍数下从多个角度拍摄样件的照片，得到一组样件图片；对图片的畸变进行图像矫正；对矫正得到的图像通过数字图像相关算法进行重构，从矫正的图像和预先标定好的***参数中重建出样件表面完整的三维点云数据，实现在纳米级精确测量样件局部范围内三维形貌的密集点云数据；从而实现对纳米级微型器件形貌的三维测量。

Description

基于扫描电镜的纳米尺度三维形貌测量方法

技术领域

本发明属于精密测量领域，具体涉及一种基于扫描电镜的纳米尺度三维形貌测量方法。

背景技术

随着微/纳机电***(Micro/Nano Electro Mechanical System，MEMS/NEMS)的快速发展，各种微/纳米级的微型器件不断出现，如微齿轮、微型喷嘴、微型台阶等，为了保证这些微型器件的加工质量，需要对其进行精确的测量。而这些微型器件的几何尺寸几乎都处于微/纳米量级，常规的方法无法对其进行测量，因此，发展纳米尺度的高精度测量方法与技术至关重要。

将电子扫描显微镜(Scanning Electron Microscope，SEM)拍摄的电子图像与数字摄影测量方法相结合所形成的微纳结构三维形貌测量方法，能够充分发挥电子图像的高分辨率和大景深等优势，可与现有的纳米三坐标、扫描探针显微镜、共焦激光扫描显微镜和立体光学显微镜等微观结构三维重建方法互补，为相关研究领域提供一种有效的基础测量工具。

数字摄影测量方法利用不同方向拍摄的图像重建被测对象表面的三维形貌，在宏观尺度下，该方法已被证明是一种极为有效的三维形貌测量方法，在工业测量与检测、医学、娱乐和文物复制等多个领域均得到了广泛的应用，技术日趋成熟。该方法在宏观尺度上的成功应用，使得其从70年代开始便逐渐被引入到微观测量领域，众多学者就使用光学显微镜和电子扫描显微镜拍摄的放大图像进行微观形貌的三维重建进行了研究，其中图像的畸变、成像***的数学模型和参数标定方法是影响三维重建精度的核心问题。

考虑畸变(包括径向畸变和切向畸变)的透视投影模型和相应的模型参数标定方法，在宏观尺度下可以得到较高的测量精度，因此被很多科研机构和相关企业直接移植到微观三维重建领域。这种简单直接的技术移植，可以快速的对光学显微成像***和电子显微成像***进行数学建模和初步标定，并重建出微纳结构的三维形貌，在一定程度上促进了该技术的快速发展。但是，2004年美国南加州大学的H.Schreier等通过实验证明了将上述成像模型和标定方法直接移植到光学显微镜上无法得到较好的效果，重建出的微观三维形貌存在较大的残余误差。其原因在于光学显微镜的光学成像***比常用的数字相机复杂得多，上述模型无法准确描述和消除光学显微图像的空间畸变，从而影响了微观三维形貌的重建精度。为了更好的消除光学显微图像的空间畸变，提高标定和重建精度，该课题组提出了一种新的光学显微成像***参数标定算法。该方法首先使用一组在平面内平移的平面标靶图像，采用非参数化的变形函数对图像的空间畸变进行建模和矫正；然后于任意位置拍摄一组平面标靶图像，并使用已确定的变形函数进行矫正，得到理想的无畸变的图像；最后使用理想的小孔成像模型对成像***进行建模，并根据整体调整法(Bundle Adjustment)标定出***参数。实验结果表明，这种标定方法能够很好的消除光学显微图像的空间畸变，提高了光学显微成像***的标定精度和后续微观结构的三维重建精度。

与此同时，该课题组的Cornille等人尝试将这种标定方法引入到电子显微镜下，以期消除电子图像中的空间畸变，改善电子显微成像***的标定精度。研究结果表明，该方法所采用的非参数化畸变矫正方法比宏观领域常用的参数化畸变矫正方法效果更好，在较低的放大倍数下能够得到较好的标定结果，但是在高放大倍数下仍然存在明显的测量误差。造成这种现象的主要原因在于：电子图像的拍摄过程与光学图像不同，电子束的扫描过程使用电磁场进行控制(类似光学成像***中的镜头)，即使在目前最先进的SEM***中，其电子束的偏转仍然是一个开环***(即其实际偏转参数或位置不可控)，扫描过程受电磁场波动、扫描过程中的时间漂移、电子束位置变化、样品表面的热量变化和机械振动等因素的综合影响，拍摄得到的电子图像除了具有明显的空间畸变，还会产生复杂的具有随机特性的时间漂移(Time Drift)。2006年，M.A.Sutton等对电子图像产生时间漂移的原因进行了初步分析，并通过实验证明了现有的标定算法尚无法消除时间漂移对测量精度的影响。

除了上述空间畸变和时间漂移，电子成像***的成像模型是影响微纳结构三维重建的另一重要因素。SEM专家L.Reimer曾指出电子图像的成像过程可以近似为透视投影过程，但是近年来的研究表明，透视投影模型在较低的放大倍数下可以得到较好的效果，但是当放大倍数逐渐变大时，该模型无法对电子成像***进行准确的建模。即在不同的放大倍数下，电子成像***的成像模型不同：当放大倍数较低时，视场和视角较大，可使用经典的透视投影模型对成像***进行建模；而当放大倍数较大时，视场和视角均非常小，电子图像的成像过程则近似为平行投影。

综上所述，将SEM拍摄的电子图像与数字摄影测量方法结合，能够充分发挥两者的优势，实现快速、非接触式的、具有纳米级精度的微纳结构三维形貌测量。国内外相关研究单位在此方面取得了一定的进展，但是，由于SEM原本被设计为一种观测工具，不做度量使用，若想使之与数字摄影测量方法结合，形成一种有效的高精度的微纳结构三维重建方法，还存在以下两个主要问题：1)由于电子图像的成像过程与传统光学成像***不同，拍摄的电子图像存在非常严重的空间畸变和时间漂移，而现有研究尚无法消除时间漂移对测量精度的影响；2)在电子成像***的数学模型方面还存在较大的分歧，尚无法正确认知电子成像***的成像模型，影响了微纳结构的三维重建精度。因此之前的技术方法的价值有限。

发明内容

本发明的目的在于提供一种基于扫描电镜的纳米尺度三维形貌测量方法，该方法结合了扫描电镜(SEM)和数字摄影测量方法的优势，具有操作简单、测量自动化程度高、测量精度高等优点。

本发明提供的一种基于扫描电镜的纳米尺度三维形貌测量方法，其特征在于，该方法包括下述步骤：

第1步建立扫描电镜成像***的成像模型；

第2步使用表面带有随机图案的平面标定块对上述成像模型进行***参数标定；

第3步利用扫描电镜成像***从多个角度拍摄样件的照片，得到一组样件图像；

第4步对拍摄的多幅样件图像进行图像矫正，消除图像中的时间漂移，然后从上述样件图像中提取特征点；

第5步对特征点进行匹配，得到各特征点的对应点；

第6步在完成特征点的匹配之后，使用同形矩阵确定多幅图像拍摄时的相对位置关系，确定运动参数；

第7步最后根据预先标定的***参数、建立的对应点和运动参数进行三维重构，得到被测表面的完整三维点云数据。

本发明将目前使用广泛的的扫描电镜与宏观测量中的数字摄影测量方法有机结合起来。充分利用SEM操作简单、可以拍摄出高放大倍数、大景深二维图像的特点，又有效地发挥了数字摄影测量方法可以从多角度拍摄的照片中自动、高精度地重建出被测物体表面完整三维数据的优势。对基于扫描电镜的测量终端进行通用模型参数标定之后利用其对样件在不同的方向上进行拍摄得到一组样件图片，根据建立的通用成像模型对图片进行图像矫正；对矫正得到的图像通过数字图像相关算法进行重构，从矫正的图像和预先标定好的***参数中重建出样件表面完整的三维点云数据，从而实现在纳米级精确测量样件局部范围内三维形貌的密集点云数据；

附图说明

图1为本发明提供的纳米尺度三维形貌测量方法的流程图；

图2为通用的成像***模型示意图。

图3为电子成像***参数标定算法流程图

具体实施方式

下面结合附图和实例对本发明做进一步详细的说明。

基于扫描电镜的纳米尺度三维形貌测量方法的工作流程如下：使用扫描电镜成像***在同样的放大倍数下从至少二个角度对样件进行拍摄，得到一组电子图像；使用数字图像相关方法，如哈里斯探测法(Harris Detector)，从多幅电子图像中提取特征点集，并进行特征点匹配，找出特征对应点；然后使用同形矩阵(Homograph)确定多幅图像拍摄时的相对位置关系，即外部参数；最后根据找出的特征对应点、外部参数和预先标定的***参数进行三维重构，重建出样品表面的三维形貌结构。

如图1所示，本发明提供的纳米尺度三维形貌测量方法包括下述步骤：

第1步建立通用的成像模型。

电子图像的成像过程虽然与光学图像成像过程不同，但其本质均为三维空间到二维图像的映射，即二维图像上的任意一个像素均与三维空间中的一条射线对应。由于电子图像的成像***非常复杂，无法使用现有的光学***成像模型进行建模，本发明提出一种不依赖于任何假设的通用模型来描述电子图像的成像***，直接建立二维图像与三维空间的对应关系。该通用模型如图2所示，可由每个像素对应的空间直线方程表示，具体为：1)电子图像有W×H个像素，每个像素的坐标为(u，v)，其中u≤W，v≤H；2)二维图像中的每个像素对应三维空间中的一条射线L，该射线可使用普朗克(Plucker)参数化法进行表示：

$L=\left(\begin{array}{c}D\\ M\end{array}\right)=\left(\begin{array}{c}A-B\\ A\×B\end{array}\right)---\left(1\right)$

其中A，B为射线L上两点的非齐次坐标，D表示射线的方向，M为正交于由射线和坐标原点定义的平面。由上述扫描电镜成像***通用模型(如图2)可知，通用模型参数标定的目的是获取电子图像中各像素对应的空间直线参数，即D和M。

第2步参数标定

使用表面具有随机图案的微型标定块对上述通用成像模型进行参数标定。由于随机图案是稀疏的，只能标定出部分像素对应的空间直线的参数，但是由于扫描电镜成像***满足空间连续性假设，因此，可以使用插值的方法计算出所有像素的对应参数。为了增加标定过程的柔性，降低对成像***中工作台转动精度的依赖，提出如图3所示的柔性扫描电镜成像***通用模型参数标定算法。

具体标定步骤如下：

A1)使用原子力显微镜准确测量微型平面标定块的三维数据，并将每个点的三维坐标与微型平面上的随机图案的灰度值一一对应，即测量得到的标定块数据可表示为(a，b，c，gray)，其中a，b，c为某点的空间三维坐标，gray为灰度值；

A2)在任意N(N≥2)个位置各拍摄一幅电子图像，得到N幅电子图像，并进行图像矫正。每次拍摄时标定块与电子扫描电镜的相对位置不同，定义每次拍摄时标定块的坐标系为局部坐标系；

A3)对于拍摄得到的每个电子图像中给定的某个像素S，根据表面的随机图案，从上述N幅图像中找出对应点，从而确定其对应的N个空间三维点在局部坐标系下的齐次坐标为p_i，i＝1，2，…，N。不失一般性，将拍摄第一幅电子图像时标定块的局部坐标系设为全局坐标系，设R_i和T_i分别为其它位置到全局坐标系的旋转平移矩阵，根据N幅电子图像中标定块上的特征点，计算标定块对应的同形矩阵H_i；

A4)根据同形矩阵计算对应的旋转平移矩阵R_i和T_i，确定拍摄时的其它位置与第一个位置的相对位置关系；

A5)根据相对位置关系，确定电子图像中某个像素S在N个位置上对应的空间点的全局坐标；

A6)最后使用上述N个空间点拟合该像素对应的空间直线方程；

A7)重复步骤A5和A6，根据电子图像中的特征点和线性插值计算出所有像素对应的空间直线方程(即D和M)，完成通用模型的参数标定。

采用上述柔性的扫描电镜成像***通用模型参数标定算法获得每个像素对应的空间直线方程后，就可以使用标定出的参数，根据三角测量原理进行后续的三维重建。

第3步利用标定好的扫描电镜成像***从多个角度拍摄样件的照片，得到一组样件图像。

第4步对拍摄的多幅样件图像进行图像矫正，消除图像中的时间漂移，然后从上述多幅中提取特征点。

本发明根据电子图像的特性，选择哈里斯角点检测法提取特征点。哈里斯角点检测法利用图像的灰度级别来测量“角响应值”。“角响应值”是一个通过确定特征数量来探测特征点的值，可基于自动矫正矩阵Ω进行计算。自动矫正矩阵Ω可表示为：

$\mathrm{\Ω}(x,y)=\frac{\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})}{2\mathrm{\π}{\mathrm{\σ}}^2}\⊗\left(\begin{array}{cc}{\left(\frac{\∂I}{\∂x}\right)}^2& \frac{\∂I}{\∂x}\frac{\∂I}{\∂y}\\ \frac{\∂I}{\∂x}\frac{\∂I}{\∂y}& {\left(\frac{\∂I}{\∂y}\right)}^2\end{array}\right)---\left(2\right)$

其中(x，y)为图像的像素坐标，I为图像的灰度值。σ为高斯滤波器的标准偏差。这个函数描述了某个自定义区域内点(x，y)周围的光强值的变化情况，其值为图像光强的导数与一个高斯滤波函数的卷积。

设矩阵Ω的两个特征值分别为λ₁和λ₂，λ₁和λ₂可以根据矩阵特征值的计算方法得到。如果λ₁和λ₂都很大，则在任何一个方向上局部斑块的小的移动都将引起灰度值的显著变化，这就意味着这个点是特征点。这也就是角响应值依赖于Ω行列式的原因，由于矩阵的行列式的大小与矩阵两个特征值的大小成正比，可以根据下列公式(3)计算每张图片每个点的角响应值c(x，y)。

c(x，y)＝|Ω(x，y)|-0.04×trace(Ω(x，y))²        (3)

|Ω(x，y)|为矩阵Ω的行列式值，trace为矩阵的迹，即为矩阵对角线元素的和，得到函数c(x，y)的局部最大解作为特征点。

第5步特征点进行匹配。

对于哈里斯算子检测出的任一特征点O，可以得到O点的自动矫正矩阵Ω的两个特征值λ_O1和λ_O2，定义

假设Q₁和Q₂分别为Harris算子在两幅图像中检测出的特征点，定义S(Q₁，Q₂)为P和Q的相似度函数：

$S(Q_1,Q_2)=\frac{\min (T_{Q_1},T_{Q_2},)}{\max (T_{Q_1},T_{Q_2},)}---\left(4\right)$

对从不同角度拍摄的两幅图像对I₁和I₂，记P和Q分别为由Harris算子在中检测出的特征点p和q的集合。任取P中的一点p，利用相似度函数可以找到Q的一个子集Q_p，作为p点的待匹配点集：

Q_P＝{q|S(p，q)≥T_c，q∈Q}                    (5)

其中，Tc是用来判断两个特征点相似性程度的阈值，取Tc为0.65。在找到p点的待匹配点集之后，再通过零均值归一化互相关(ZNCC)函数来进一步匹配特征点。对p及其待匹配点集中的点q，分别以p点和q点为中心建立像素大小为(2m+1)×(2n+1)(m，n根据需要取相应的整数)的相关窗口，定义相关系数V(p，q)如式(6)所示。

$V(p,q)=\frac{\underset{i=-m}{\overset{m}{\mathrm{\Σ}}}\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}[I_1(x_p+i,y_p+j)-\stackrel{\‾}{I_1(x_p,y_p)}]\×[I_2(x_q+i,y_q+j)-\stackrel{\‾}{I_2(x_q,y_q)}]}{(2m+1)(2n+1)\sqrt{{\mathrm{\σ}}^2\left(I_1\right)\×{\mathrm{\σ}}^2\left(I_2\right)}}---\left(6\right)$

其中，k＝1，2为(x，y)点出灰度平均值，σ是标准差，计算过程如式(7)所示。

$\mathrm{\σ}\left(I_1\right)=\sqrt{\underset{i=-m}{\overset{m}{\mathrm{\Σ}}}\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}{[I_1(x_p+i,y_p+j)-\stackrel{\‾}{I_1(x_p,y_p)}]}^2/\left[(2m+1)(2n+1)\right]}---\left(7\right)$

由于归一化，相关系数V(p，q)的取值范围限制在区间[-1，1]内。在计算时，把相关窗口取为m＝n＝2，即5x5的正方形，相关系数的阈值取为0.8。当两个点的相关系数大于所选定的阈值0.8时，就认为这两个点是匹配点，通过对两幅图像中每个特征点进行计算从而完成所有特征点的匹配。

第6步在完成特征点的匹配之后，使用同形矩阵确定多幅图像拍摄时的相对位置关系，确定运动参数。

第7步最后根据预先标定的***参数和建立的对应点进行三维重构，得到被测表面的完整三维点云数据。

三维重构的过程是成像过程的逆过程，重构方法的确定以及对扫描电镜进行标定后，通过对式(7)的求逆过程，就可以得到物体在空间中的正确位置。但在成像过程中丢失了物体的深度信息，因此，需要通过SEM对物体在不同角度拍摄至少两幅图像来恢复物体的深度信息，从而达到三维重构的目的。具体方法如下：已知两幅照片的投影矩阵分别为M1和M2，其对应点在两幅图像中的像素坐标分别为(u1，v1)和(u2，v2)，X为对应点世界坐标系的齐次坐标，将已知值分别代入式(8)，对于投影矩阵M1，则有：

$Z_{e1}\left[\begin{array}{c}u1\\ v1\\ 1\end{array}\right]=\left[\begin{array}{c}{M}_{11}\\ M_{12}\\ M_{13}\end{array}\right]X\⇒\left\{\begin{array}{c}{Z}_{C1}u1=M_{11}X\\ Z_{C1}v1=M_{12}X\\ Z_{C1}=M_{13}X\end{array}\right.\⇒\left\{\begin{array}{c}{M}_{13}\mathrm{Xu}1=M_{11}X\\ M_{13}\mathrm{Xv}1=M_{12}X\end{array}\right.\⇒\left[\begin{array}{c}{M}_{13}u1-M_{11}\\ M_{13}v1-M_{12}\end{array}\right]X=0---\left(8\right)$

同理对于投影矩阵M2可得：

$\left[\begin{array}{c}{M}_{23}u1-M_{11}\\ M_{23}v1-M_{12}\end{array}\right]X=0---\left(9\right)$

联立方程(8)和(9)，得：

$\left[\begin{array}{c}{M}_{13}u1-M_{11}\\ M_{13}v1-M_{12}\\ M_{23}v2-M_{21}\\ M_{23}v2-M_{21}\end{array}\right]X=0---\left(10\right)$

从式(10)可以看出，此时可通过四个方程式求解三个未知数，在这种情况下，通过最小二乘法可求解出X的值，即对应点的世界坐标值。这样就可以完成特征点的三维坐标变换从而重构出纳米尺寸下的三维形貌数据。

上述具体实施方式的内容只是本发明的一个具体实例，本发明的内容并不局限于上述实例的内容。本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

Claims (1)

1.一种基于扫描电镜的纳米尺度三维形貌测量方法，其特征在于，该方法包括下述步骤：

第1步 建立扫描电镜成像***的成像模型，其过程为：

设扫描电镜成像***拍摄的电子图像有W×H个像素，每个像素的坐标为(u,v),其中u≤W,v≤ H；二维图像中的每个像素对应三维空间中的一条射线L，该射线使用普朗克参数化法表示为：

其中A，B为射线L上两点的非齐次坐标，D表示射线的方向，M为正交于由射线和坐标原点定义的平面；

第2步 使用表面带有随机图案的平面标定块对上述成像模型进行***参数标定，具体包括下述过程：

A1）使用原子力显微镜准确测量带随机图案的平面标定块的三维数据，并将三维数据中的每个点的三维坐标与微型平面上的随机图案的灰度值一一对应，即测量得到的标定块数据表示为（x,y,z,gray），其中x,y,z为某点的空间三维坐标，gray为灰度值；

A2）设N≥2，在任意N个位置各拍摄一幅电子图像，得到 N幅电子图像，并进行图像矫正；每次拍摄时标定块与电子扫描电镜的相对位置不同，定义每次拍摄时标定块的坐标系为局部坐标系；

A3）对于拍摄得到的每个电子图像中给定的某个像素S，根据表面的随机图案，从上述N幅图像中找出对应点，从而确定其对应的 N个空间三维点在局部坐标系下的齐次坐标为p _i ，i＝1,2,…,N；将拍摄的一幅电子图像时标定块的 局部坐标系设为全局坐标系，设R _i 和T _i 分别为其它位置到全局坐标系的旋转矩阵和平移矩阵，根据N幅电子图像中标定块上的特征点,计算标定块对应的同形矩阵H _i ；

A4）根据同形矩阵计算对应的旋转矩阵R _i 和平移矩阵T _i ，确定拍摄时的其它位置与全局坐标系下的位置之间的相对位置关系；

A5）根据相对位置关系，确定电子图像中某个像素S在N个位置上对应的空间点的全局坐标；

A6）最后使用上述N个空间点拟合像素S对应的空间直线方程；

A7）重复步骤A5)和A6)，根据电子图像中的特征点和线性插值计算出所有像素对应的空间直线方程，完成模型的参数标定；

第3步 利用扫描电镜成像***从多个角度拍摄样件的照片，得到一组样件图像；

第4步 对拍摄的多幅样件图像进行图像矫正，消除图像中的时间漂移，然后从上述样件图像中提取特征点；

第5步 对特征点进行匹配，得到各特征点的对应点；

第6步 在完成特征点的匹配之后，使用同形矩阵确定多幅图像拍摄时的相对位置关系，确定运动参数；

第7步 最后根据预先标定的***参数、建立的对应点和运动参数进行三维重构，得到被测表面的完整三维点云数据。 

Images