CN107590787A - 一种扫描电子显微镜的图像畸变校正方法 - Google Patents

一种扫描电子显微镜的图像畸变校正方法 Download PDF

Info

Publication number
CN107590787A
CN107590787A CN201710812587.XA CN201710812587A CN107590787A CN 107590787 A CN107590787 A CN 107590787A CN 201710812587 A CN201710812587 A CN 201710812587A CN 107590787 A CN107590787 A CN 107590787A
Authority
CN
China
Prior art keywords
mrow
msub
distortion
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710812587.XA
Other languages
English (en)
Other versions
CN107590787B (zh
Inventor
李中伟
刘行健
史玉升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Shenzhen Huazhong University of Science and Technology Research Institute
Original Assignee
Huazhong University of Science and Technology
Shenzhen Huazhong University of Science and Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Shenzhen Huazhong University of Science and Technology Research Institute filed Critical Huazhong University of Science and Technology
Priority to CN201710812587.XA priority Critical patent/CN107590787B/zh
Publication of CN107590787A publication Critical patent/CN107590787A/zh
Application granted granted Critical
Publication of CN107590787B publication Critical patent/CN107590787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开一种针对扫描电子显微镜的图像畸变校正方法,属于计算机视觉领域,其包括S1:在预设的时间序列上连续采集图像,建立时间漂移畸变Dd与图像采集时间t的关系Dd(t);S2:根据S1中获得的Dd(t),预先去除漂移畸变,利用拍摄标准标靶获得稀疏图像像素位置信息及对应的畸变向量样本集;S3:建立图像平面的任意一个像素点的像素坐标u与该像素点对应的固有畸变向量l间的关系,进而推算获得成像的固有畸变模型Df;S4:利用S2得到的稀疏位置信息及对应畸变向量样本集,解算畸变模型矩阵Df,结合Df(u)和Dd(t)对图像进行畸变校正。本发明方法分别对扫描电子显微镜图像的两种主要畸变场进行畸变建模及校正,该方法可在实际工程中应用。

Description

一种扫描电子显微镜的图像畸变校正方法
技术领域
本发明属于计算机视觉领域,具体涉及一种针对扫描电子显微镜(SEM)的图像畸变校正方法。
背景技术
随着微纳技术的不断发展,微纳器件在芯片制造、电子封装、生物医药等高新技术领域得到越来越广泛的应用。微纳器件通常由多种不同的纳米材料组成,材料的弹性模量和热膨胀系数不同,在不同的负载、湿度和温度条件下,材料连接处易产生裂纹导致微纳器件失效。因此,微纳米尺度下材料和结构的变形分析具有重要的意义。
扫描电子显微镜(SEM)在图像获取和采集方面有着其公认的优势,例如:具有较大的景深、纳米尺度级别的分辨率、易用性高并且放大倍率可由低倍(10×)到高倍(高达50000倍)调节。因此,SEM与部分宏观尺度下应变测量方法(例如:显微云纹及云纹干涉技术、数字图像相关技术等)的结合为微纳米尺度下材料和结构的变形分析提供了一种可实施路径。而上述方法均对精准的图像定位有极高的要求,成像对象及其变形的尺度也极其微小,因此尽可能需要扫描电子显微镜(SEM)的无畸变成像。然而,SEM图像的拍摄过程与光学成像***中所有像素并行成像不同,SEM成像过程中需要控制电子束对被观测对象进行顺序扫描,即使在目前最先进的SEM***中,其电子束的控制仍然是一个开环***,扫描过程受电磁场波动、样品表面的热量变化和机械振动等因素的综合影响,拍摄得到的SEM图像具有明显的时间漂移畸变(与时间相关的畸变)和空间固有畸变(与时间无关的畸变),且畸变规律与光学图像完全不同【Sutton M A,Li N,Joy D C,Reynolds A P&Li X.Scanningelectron microscopy for quantitative small and large deformation measurementspart I:SEM imaging at magnifications from 200to 10,000.Experimentalmechanics,2007,47(6):775-787.】,因此无法借鉴光学图像中成熟的参数化畸变模型进行建模和矫正。
M.A.Sutton等【Sutton M A,Li N,Garcia D,Cornille N,Orteu J J,McNeill SR,Schreier H W&Li X.Metrology in a scanning electron microscope:theoreticaldevelopments and experimental validation.Measurement Science and Technology,2006,17(10):2613.】使用FEI Quanta-200型SEM拍摄了大量的SEM图像,并对其畸变规律进行了统计分析,分析结果表明:当放大倍数小于2000×时,空间固有畸变占主导地位;当放大倍数大于10000×时,时间漂移畸变占主导地位;在2000×~10000×中间时,两种畸变的比重相当。
此外,M.A.Sutton等的实验还发现当放大倍数为10000×时,SEM图像中所有像素的时间漂移的平均值约为0.8像素,最大的偏差可达6个像素,在微纳米尺度下材料和结构的变形分析技术框架下,此偏差将会对***参数标定、位移计算和应变计算的精度产生严重影响,必须对其进行矫正。
SEM图像畸变产生的原因复杂、畸变无明显规律,对其进行建模和矫正非常困难,因此现有研究成果很少,仅有几个研究单位对此问题进行了初步研究。Lockwood等【Lockwood WD,Reynolds AP.Use and verification of digital image correlationfor automated 3-d surface characterization in the scanning electronmicroscope.Mater Charact,1999,42(23):123-134.】在验证将SEM与DIC方法进行结合的可行性时,直接忽略图像畸变对测量精度的影响。Sinram等【Sinram O,Ritter M,Kleindick S,Schertel A,Hohenberg H&Albertz J.Calibration of an SEM,using anano positioning tilting table and a microscopic calibrationpyramid.2002ISPRS Commission V Symp.(Corfu,Greece):210-214.】在较低的放大倍数下,忽略时间漂移畸变,借鉴光学图像中的参数化空间畸变模型,对SEM图像畸变进行了矫正,但矫正精度较低。Sutton等【Sutton M A,Li N,Joy D C,Reynolds A P&Li X.Scanningelectron microscopy for quantitative small and large deformation measurementspart I:SEM imaging at magnifications from 200to 10,000.Experimentalmechanics,2007,47(6):775-787.】与Li等【Jin P,Li X.Correction of image drift anddistortion in a scanning electron microscopy.Journal of Microscopy,2015,260(3):268-280.】从SEM成像原理出发,将时间漂移畸变和空间固有畸变分为独立的两个部分,并提出了基于时间的局部时间漂移模型(Time-based local model)和非参数化的空间畸变模型,分别对两种畸变进行了矫正,这种方法为探索SEM图像畸变规律、减小SEM图像畸变提供了一种可行的思路。
但是,上述方法均未考虑时间序列上和空间(像素)之间的连续性约束,即对于时间漂移畸变,邻近时间的图像具有相近的时间漂移畸变;对于空间固有畸变,邻近像素具有相似的空间固有畸变。如果可以参数化表征这种连续性约束,将有望形成一套全新且更为有效的SEM图像畸变校正算法。
综上所述,现有扫描电子显微镜(SEM)图像畸变校正方法在实际应用中仍存在着许多壁垒。因此,需要开发一种确实可行的针对扫描电子显微镜(SEM)的图像畸变校正方法。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种针对扫描电子显微镜(SEM)的图像畸变校正方法。针对于SEM的两种主要畸变:漂移畸变与固有空间畸变,该方法基于SEM畸变场在时间序列和空间序列上的连续性原理,分别建立了时间漂移畸变与图像采集时间之间的映射关系,针对空间固有畸变与图像像素位置之间的映射关系,在此基础上建立了SEM畸变模型以及提供对畸变图像进行校正的方法。
为实现上述目的,按照本发明的一个方面,提供了一种针对扫描电子显微镜(SEM)图像畸变的校正方法,其包括如下步骤:
S1:在预设的时间序列上连续采集图像,建立时间漂移畸变Dd与图像采集时间t的关系Dd(t),以用于后续步骤的时间漂移畸变去除,所述时间漂移畸变模型如下:
Dd(t)=[dx(t),dy(t)];
dx(t)=vxt;
dy(t)=vyy;
其中,dx(t),dy(t)为在图像采集时刻图像t所对应的在图像x方向和y方向对应的时间漂移畸变值,vx,vy为利用预设的时间序列上连续采集图像求解获得的在图像x方向和y方向对应的时间漂移畸变速度场。
S2:根据S1中获得的Dd(t),预先去除漂移畸变,利用拍摄标准标靶获得稀疏图像像素位置样本C={ci,i=1,...,N}及对应的固有空间畸变向量样本集L={li,i=1,...,N}。
S3:建立图像平面的任意一个像素点的像素坐标u=(x,y)与该像素点对应的固有畸变向量l间的关系,进而推算获得成像的空间固有畸变模型Df
S4:利用S2得到的稀疏位置信息及对应的固有空间畸变向量样本集,解算空间固有畸变模型矩阵Df,获得扫描电子显微镜全场固有畸变模型Df(u),接着,结合S1中获得的漂移畸变模型Dd(t)对图像进行畸变校正。
进一步的,步骤S1中,利用预设的时间序列上连续采集图像求解获得的在图像x方向和y方向对应的时间漂移畸变速度场vx,vy的具体过程如下:
设定连续采集图像的第一张图像为参考图像,且拍摄的总数量为K,利用数字图像相关、尺度不变算子特征点提取算法对后续(K-1)张图像与参考图像进行特征匹配,获得匹配集合Φ={Φi,i=2,...,K},进而获得图像x方向和y方向位移向量集合U={Ui,i=2,...K},V={Vi,i=2,...K}以及对应的图像拍摄时刻集合T={Ti,i=1,...,K},Ti表示参考图像拍摄时间,
则在图像x方向和y方向对应的时间漂移畸变速度场vx,vy可通过如下方法获得:
其中,num(Φ)表示特征匹配集合的点数量。
进一步的,步骤S3中,建立图像平面的任意一个像素点的像素坐标u=(x,y)与该像素点对应的固有畸变向量l间的关系,进而推算获得成像的固有畸变模型Df的具体过程如下:
采用了径向基算子来表达固有畸变向量l和像素坐标u的关系,具体的,将固有畸变向量l在图像坐标系下的两个参数分别用像素坐标u作为变元的径向基算子表示如下:
l=(l1,l2)=(s1(u),s2(u))
其中,(l1,l2)表示固有畸变向量l在图像坐标系下的两个参数,(s1(u),s2(u))表示利用径向基算子表达的所述的两个参数,其中,对于(s1(u),s2(u))中的一个算子s(u),其表达如下:
其中,C={ci,i=1,...,N}为步骤S2中选取的稀疏图像像素位置样本,ci表示已知的稀疏图像像素位置,N表示样品点个数,||.||向量的2范数,φ为径向基算子的核函数,a0,au与w1,w2,…,wN均为径向基算子待求系数,对于(s1(u),s2(u))中的一个算子表达s(u)的矩阵形式为:
其中,径向基算子待求系数a=(a0,au)与w=(w1,w2,…,wN)合并表示为hwa,称之为合并系数,Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)]表示核函数矩阵,p(u)=(1 u1 u2),其中,u1,u2为像素坐标u的两个向量坐标值,
则,对于图像平面上一个像素点的坐标u所对应的固有畸变向量l的两个参数可表示为:
接着进行推算,可表示为:
其中,为本发明空间提供的固有畸变的待求解矩阵,称之为空间固有畸变矩阵,
则,对于一个给定的稀疏图像像素位置样本C={ci,i=1,...,N},矩阵Df以及预设的核函数矩阵Mφ(u),图像平面上一个像素点的坐标u对应的固有畸变向量l可表示为:
l=(s1(u),s2(u))=(Mφ(u)p(u))Df
进一步的,步骤S4中解算空间固有畸变矩阵Df的具体过程如下:
根据步骤S2中通过拍摄微尺度标靶选取的稀疏图像像素位置样本C={ci,i=1,...,N},利用图像中心畸变较小这一成像特点,计算出对应的固有空间畸变向量样本集L={li,i=1,...,N}。
则,对于已知的稀疏图像像素位置ci及其对应的固有空间畸变li=(lix,liy)可得:
对于整个采集的数据样本,共有N组对应点,则可将上式子写成:
其中,由径向基因子的自身属性可有如下约束:
其中,ci(col),ci(row)分别表示稀疏图像像素位置ci的横坐标和纵坐标索引值。
将上两式结合可得:
其中,P=[p(c1) … p(cN)],Lx=[l1x … lNx]T,Ly=[l1y … lNy]T
对上式进行最小二乘求解即可解算空间固有畸变矩阵Df
本发明提供一种针对扫描电子显微镜图像畸变校正方法,该方法基于SEM畸变场在时间序列和空间序列上的连续性原理,分别建立了时间漂移畸变与图像采集时间之间的映射关系;针对空间固有畸变与图像像素位置之间的映射关系。在此基础上建立了SEM畸变模型并对畸变图像进行校正。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
此方法与传统参数化畸变模型(桶形畸变、枕形畸变等)相比,具有更强的普适性,尤其是针对SEM的非规则化畸变更加有效;同时兼顾了时间漂移畸变和空间固有畸变对SEM图像畸变的影响,分别建立了时间漂移畸变与图像采集时间之间的映射关系;针对空间固有畸变与图像像素位置之间的映射关系,解决了SEM畸变校正难、测量失准等不利于应用的问题,令SEM与部分宏观尺度下应变测量方法(例如:显微云纹及云纹干涉技术、数字图像相关技术等)的结合成为现实,为微纳米尺度下材料和结构的变形分析提供了一种可实施路径。
附图说明
图1为本发明实施例提供的扫描电子显微镜(SEM)的图像畸变校正流程图;
图2为本发明实施例提供的用于时间漂移畸变建模的人工制备散斑平面标靶;
图3为本发明实施例提供的用于空间固有畸变建模的标准平面标靶。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1为本发明实施例提供的针对扫描电子显微镜(SEM)的图像畸变校正流程图,其具体步骤如下:
第一步,在预设的时间序列(T={Ti,i=1,...,K})上连续采集图像,数量为K,设一张图像为参考图像。此图像序列通常为具有较多特征的图像,例如具有天然或者人工制造的斑点平面标靶样品。如图2所示,为本发明采用的一种人工制备的散斑平面标靶。
第二步,采用数字图像相关(DIC)、尺度不变算子(SIFT)等特征点提取算法对后续K-1张图像与参考图像进行特征匹配,本发明采用数字图像相关算法进行特征提取及匹配,获得较为稠密的匹配集合Φ={Φi,i=2,...,K},由匹配关系可得图像X方向和Y方向位移向量集合U={Ui,i=2,...K},V={Vi,i=2,...K}以及它们对应的图像拍摄时刻集合T={Ti,i=1,...,K}。
则在图像X方向和Y方向对应的时间漂移畸变速度场vx,vy可通过如下方法获得:
其中,num(Φ)表示特征匹配集合的点数量。
第三步,根据第二步中获得的时间漂移畸变速度场vx,vy,建立时间漂移畸变模型Dd(t),其中模型Dd(t)如下:
Dd(t)=[dx(t),dy(t)];
dx(t)=vxt;
dy(t)=vyy;
其中,dx(t),dy(t)为在图像采集时刻图像t所对应的在图像X方向和Y方向对应的时间漂移畸变值,vx,vy为利用预设的时间序列上连续采集图像求解获得的在图像X方向和Y方向对应的时间漂移畸变速度场。
第四步,拍摄如图3所示的标准标靶,并利用第三步中的时间漂移畸变模型对时间漂移畸变进行建模与校正,通过提取标靶中圆心获得稀疏图像像素位置样本C={ci,i=1,...,N},利用图像中心畸变较小这一成像特点,计算出对应的固有空间畸变向量样本集L={li,i=1,...,N}。
第五步,建立图像平面的任意一个像素点的像素坐标u=(x,y)与该像素点对应的固有畸变向量l间的关系,进而推算获得成像的空间固有畸变模型Df
本发明提供的空间固有畸变Df建模方法如下:
采用了径向基算子来表达固有畸变向量l和像素坐标u的关系,具体的,将固有畸变向量l在图像坐标系下的两个参数分别用像素坐标u作为变元的径向基算子表示如下:
l=(l1,l2)=(s1(u),s2(u))
其中,(l1,l2)表示固有畸变向量l在图像坐标系下的两个参数,(s1(u),s2(u))表示利用径向基算子表达的所述的两个参数,其中对于(s1(u),s2(u))中的一个算子s(u),其表达如下:
其中,C={ci,i=1,...,N}为步骤S2中选取的稀疏图像像素位置样本,N表示样品点个数。||.||向量的2范数,φ为径向基算子的核函数,a0,au与w1,w2,…,wN均为径向基算子待求系数,对于(s1(u),s2(u))中的一个算子表达s(u)的矩阵形式为:
其中,径向基算子待求系数a=(a0,au)与w=(w1,w2,…,wN)合并表示为hwa,称之为合并系数,Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)]表示核函数矩阵,p(u)=(1 u1 u2)中,u1,u2为像素坐标u的两个向量坐标值,
则,对于图像平面上一个像素点的坐标u所对应的固有畸变向量l的两个参数可表示为:
接着进行推算,可表示为:
其中,为本发明提供的空间固有畸变的待求解矩阵,称之为空间固有畸变矩阵。
解算空间固有畸变矩阵Df的具体过程如下:
根据第四步中通过拍摄微尺度标靶选取的稀疏图像像素位置样本C={ci,i=1,...,N}和对应的固有空间畸变向量样本集L={li,i=1,...,N}。
则,对于已知的稀疏图像像素位置ci及其对应的固有空间畸变li=(lix,liy)可得:
对于整个采集的数据样本,共有N组对应点,则可将上式子写成:
其中,由径向基因子的特点可有如下约束:
其中,ci(col),ci(row)分别表示稀疏图像像素位置ci的横坐标和纵坐标索引值。
将上两式结合可得:
其中,P=[p(c1) … p(cN)],Lx=[l1x … lNx]T,Ly=[l1y … lNy]T。对本式进行最小二乘求解即可解算空间固有畸变矩阵Df
本发明提供一种针对扫描电子显微镜图像畸变校正方法,该方法基于SEM畸变场在时间序列和空间序列上的连续性原理,分别建立了时间漂移畸变与图像采集时间之间的映射关系;针对空间固有畸变与图像像素位置之间的映射关系。在此基础上建立了SEM畸变模型以及对畸变图像进行校正。
本发明基于扫描电子显微镜漂移畸变与采集时间之间连续性变化原理,以及及固有畸变与图像像素位置之间的连续性变化原理,分别对扫描电子显微镜图像的两种主要畸变场进行畸变建模及校正,该方法可在实际工程中应用。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种扫描电子显微镜的图像畸变校正方法,其包括如下步骤:
S1:在预设的时间序列上连续采集图像,建立时间漂移畸变Dd与图像采集时间t的关系Dd(t),以用于后续步骤的时间漂移畸变去除,时间漂移畸变模型Dd(t)如下:
Dd(t)=[dx(t),dy(t)];
dx(t)=vxt;
dy(t)=vyy;
其中,dx(t),dy(t)为在图像采集时刻图像t所对应的在图像x方向和y方向对应的时间漂移畸变值,vx,vy为利用预设的时间序列上连续采集图像求解获得的在图像x方向和y方向对应的时间漂移畸变速度场,
S2:根据S1中获得的时间漂移畸变模型Dd(t),预先去除漂移畸变,通过拍摄标准标靶获得稀疏图像像素位置样本C={ci,i=1,...,N}及对应的固有空间畸变向量样本集L={li,i=1,...,N},
S3:建立图像平面的任意一个像素点的像素坐标u=(x,y)与该像素点对应的固有畸变向量l间的关系,进而推算获得成像的空间固有畸变模型矩阵Df
S4:利用S2得到的稀疏图像像素位置样本及对应的固有空间畸变向量样本集,解算空间固有畸变模型矩阵Df,进而获得扫描电子显微镜全场固有畸变模型Df(u),
最后,结合S1中获得的漂移畸变模型Dd(t)对图像进行畸变校正。
2.如权利要求1所述的方法,其特征在于,步骤S1中,利用预设的时间序列上连续采集图像求解获得的在图像x方向和y方向对应的时间漂移畸变速度场vx,vy的具体过程如下:
设定连续采集图像的第一张图像为参考图像,且拍摄的总数量为K,利用数字图像相关、尺度不变算子特征点提取算法对后续(K-1)张图像与参考图像进行特征匹配,获得匹配集合Φ={Φi,i=2,...,K},进而获得图像x方向和y方向位移向量集合U={Ui,i=2,...K},V={Vi,i=2,...K}以及对应的图像拍摄时刻集合T={Ti,i=1,...,K},Ti表示参考图像拍摄时间,
则在图像x方向和y方向对应的时间漂移畸变速度场vx,vy可通过如下方法获得:
<mrow> <msub> <mi>v</mi> <mi>x</mi> </msub> <mo>=</mo> <mo>&amp;lsqb;</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <msub> <mi>&amp;Phi;</mi> <mn>2</mn> </msub> </munder> <msub> <mi>U</mi> <mn>2</mn> </msub> </mrow> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>T</mi> <mn>1</mn> </msub> <mo>)</mo> <mi>n</mi> <mi>u</mi> <mi>m</mi> <mo>(</mo> <msub> <mi>&amp;Phi;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mfrac> <mo>+</mo> <mn>...</mn> <mo>+</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <msub> <mi>&amp;Phi;</mi> <mi>K</mi> </msub> </munder> <msub> <mi>U</mi> <mi>K</mi> </msub> </mrow> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mi>K</mi> </msub> <mo>-</mo> <msub> <mi>T</mi> <mrow> <mi>K</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> <mi>n</mi> <mi>u</mi> <mi>m</mi> <mo>(</mo> <msub> <mi>&amp;Phi;</mi> <mi>K</mi> </msub> <mo>)</mo> </mrow> </mfrac> <mo>&amp;rsqb;</mo> <mo>/</mo> <mrow> <mo>(</mo> <mi>K</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>v</mi> <mi>y</mi> </msub> <mo>=</mo> <mo>&amp;lsqb;</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <msub> <mi>&amp;Phi;</mi> <mn>2</mn> </msub> </munder> <msub> <mi>V</mi> <mn>2</mn> </msub> </mrow> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>T</mi> <mn>1</mn> </msub> <mo>)</mo> <mi>n</mi> <mi>u</mi> <mi>m</mi> <mo>(</mo> <msub> <mi>&amp;Phi;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mfrac> <mo>+</mo> <mn>...</mn> <mo>+</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <msub> <mi>&amp;Phi;</mi> <mi>K</mi> </msub> </munder> <msub> <mi>V</mi> <mi>K</mi> </msub> </mrow> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mi>K</mi> </msub> <mo>-</mo> <msub> <mi>T</mi> <mrow> <mi>K</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> <mi>n</mi> <mi>u</mi> <mi>m</mi> <mo>(</mo> <msub> <mi>&amp;Phi;</mi> <mi>K</mi> </msub> <mo>)</mo> </mrow> </mfrac> <mo>&amp;rsqb;</mo> <mo>/</mo> <mrow> <mo>(</mo> <mi>K</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中,num(Φ)表示特征匹配集合的点数量。
3.如权利要求3所述的方法,其特征在于,步骤S3中,建立图像平面的任意一个像素点的像素坐标u=(x,y)与该像素点对应的固有畸变向量l间的关系,进而推算获得成像的固有畸变模型Df的具体过程如下:
采用了径向基算子来表达固有畸变向量l和像素坐标u的关系,具体的,将固有畸变向量l在图像坐标系下的两个参数分别用像素坐标u作为变元的径向基算子表示如下:
l=(l1,l2)=(s1(u),s2(u))
其中,(l1,l2)表示固有畸变向量l在图像坐标系下的两个参数,(s1(u),s2(u))表示利用径向基算子表达的所述的两个参数,其中,对于(s1(u),s2(u))中的一个算子s(u),其表达如下:
<mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>+</mo> <msubsup> <mi>a</mi> <mi>u</mi> <mi>T</mi> </msubsup> <mi>u</mi> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <mi>u</mi> <mo>-</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>|</mo> <mo>|</mo> <mo>)</mo> </mrow> </mrow>
其中,C={ci,i=1,...,N}为步骤S2中选取的稀疏图像像素位置样本,ci表示已知的稀疏图像像素位置,N表示样品点个数,||·||向量的2范数,φ为径向基算子的核函数,a0,au与w1,w2,…,wN均为径向基算子待求系数,
对于(s1(u),s2(u))中的一个算子表达s(u)的矩阵形式为:
其中,径向基算子待求系数a=(a0,au)与w=(w1,w2,…,wN)合并表示为hwa,称之为合并系数,Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)]表示核函数矩阵,p(u)=(1 u1 u2),其中,u1,u2为像素坐标u的两个向量坐标值,
则,对于图像平面上一个像素点的坐标u所对应的固有畸变向量l的两个参数可表示为:
<mrow> <mi>l</mi> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>s</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mo>)</mo> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>M</mi> <mi>&amp;phi;</mi> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <msubsup> <mi>h</mi> <mrow> <mi>w</mi> <mi>a</mi> </mrow> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>M</mi> <mi>&amp;phi;</mi> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <msubsup> <mi>h</mi> <mrow> <mi>w</mi> <mi>a</mi> </mrow> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
接着进行推算,可表示为:
其中,为空间固有畸变矩阵。
4.如权利要求3所述的方法,其特征在于,步骤S4中解算空间固有畸变矩阵Df的具体过程如下:
根据步骤S2中通过拍摄标准标靶选取的稀疏图像像素位置样本C={ci,i=1,...,N},利用图像中心畸变较小的成像属性,计算出对应的固有空间畸变向量样本集L={li,i=1,...,N},
则,对于已知的稀疏图像像素位置ci及其对应的固有空间畸变li=(lix,liy)可得:
对于整个采集的数据样本,共有N组对应点,则可将上式子写成:
其中,
由径向基因子的自身属性可有如下约束:
<mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>0</mn> <mo>,</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> <msub> <mi>c</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>=</mo> <mn>0</mn> <mo>,</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> <msub> <mi>c</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>r</mi> <mi>o</mi> <mi>w</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>=</mo> <mn>0</mn> <mo>,</mo> </mrow>
其中,ci(col),ci(row)分别表示稀疏图像像素位置ci的横坐标和纵坐标索引值,
将上两式结合可得:
其中,P=[p(c1) … p(cN)],Lx=[l1x … lNx]T,Ly=[l1y … lNy]T
对上式进行最小二乘求解即可解算空间固有畸变矩阵Df
CN201710812587.XA 2017-09-11 2017-09-11 一种扫描电子显微镜的图像畸变校正方法 Active CN107590787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710812587.XA CN107590787B (zh) 2017-09-11 2017-09-11 一种扫描电子显微镜的图像畸变校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710812587.XA CN107590787B (zh) 2017-09-11 2017-09-11 一种扫描电子显微镜的图像畸变校正方法

Publications (2)

Publication Number Publication Date
CN107590787A true CN107590787A (zh) 2018-01-16
CN107590787B CN107590787B (zh) 2020-06-02

Family

ID=61051403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710812587.XA Active CN107590787B (zh) 2017-09-11 2017-09-11 一种扫描电子显微镜的图像畸变校正方法

Country Status (1)

Country Link
CN (1) CN107590787B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111024739A (zh) * 2019-12-31 2020-04-17 长江存储科技有限责任公司 透射电子显微镜图像畸变的表征方法及表征装置
CN112697062A (zh) * 2021-01-26 2021-04-23 湖南北斗微芯数据科技有限公司 一种铁路路基形变监测***及方法
CN113331809A (zh) * 2021-05-20 2021-09-03 浙江大学 基于mems微型振镜的腔道内三维血流成像方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815871A (zh) * 2016-12-26 2017-06-09 华中科技大学 一种扫描电子显微镜成像***的建模方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815871A (zh) * 2016-12-26 2017-06-09 华中科技大学 一种扫描电子显微镜成像***的建模方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
P.JIN: "Correction of image drift and distortion in a scanning electron microscopy", 《JOURNAL OF MICROSCOPY》 *
朱铮涛: "基于计算机视觉图像精密测量的关键技术研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *
贾和平: "振镜式激光扫描误差分析及几何校正算法", 《光电工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111024739A (zh) * 2019-12-31 2020-04-17 长江存储科技有限责任公司 透射电子显微镜图像畸变的表征方法及表征装置
CN112697062A (zh) * 2021-01-26 2021-04-23 湖南北斗微芯数据科技有限公司 一种铁路路基形变监测***及方法
CN113331809A (zh) * 2021-05-20 2021-09-03 浙江大学 基于mems微型振镜的腔道内三维血流成像方法和装置

Also Published As

Publication number Publication date
CN107590787B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN106595528B (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
CN110532591B (zh) 基于dic-efg联合仿真分析裂纹尖端应变场的方法
CN103729841B (zh) 一种基于方靶模型和透视投影的相机畸变校正方法
JP2005308553A (ja) 三次元画像計測装置及び方法
CN102322813B (zh) 三维网格应变测量方法
CN102778224B (zh) 一种基于极坐标参数化的航空摄影测量光束法平差的方法
CN108535097A (zh) 一种三轴试验试样柱面变形全场测量的方法
CN107590787A (zh) 一种扫描电子显微镜的图像畸变校正方法
Rüther et al. A comparison of close-range photogrammetry to terrestrial laser scanning for heritage documentation
CN106056121A (zh) 基于sift图像特征匹配的卫星装配工件快速识别方法
CN111127613A (zh) 基于扫描电子显微镜的图像序列三维重构方法及***
Leach et al. Fusion of photogrammetry and coherence scanning interferometry data for all-optical coordinate measurement
Wang et al. An improved measurement model of binocular vision using geometrical approximation
CN106815871A (zh) 一种扫描电子显微镜成像***的建模方法
Pang et al. A magnification-continuous calibration method for SEM-based nanorobotic manipulation systems
CN107941241A (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
CN108983702B (zh) 基于计算机显微视觉切片扫描技术的显微视觉***的显微视场数字化扩展方法及***
Ding et al. Automatic 3D reconstruction of SEM images based on Nano-robotic manipulation and epipolar plane images
Chen et al. A non-contact measurement method for rock mass discontinuity orientations by smartphone
Cui et al. Scanning electron microscope calibration using a multi-image non-linear minimization process
CN112819900B (zh) 一种智能立体摄影内方位、相对定向和畸变系数标定方法
Liu et al. Calibration of a stereo microscope based on non-coplanar feature points with iteratively weighted radial alignment constraint
CN110689582B (zh) 全站仪摄像机标定方法
Wang et al. Space quantization between the object and image spaces of a microscopic stereovision system with a stereo light microscope
CN114518070A (zh) 与扫描探针显微镜联用***的快速定位方法、***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant