CN116957943B - 一种基于图像融合的显微镜拼接校准方法 - Google Patents
一种基于图像融合的显微镜拼接校准方法 Download PDFInfo
- Publication number
- CN116957943B CN116957943B CN202311218943.7A CN202311218943A CN116957943B CN 116957943 B CN116957943 B CN 116957943B CN 202311218943 A CN202311218943 A CN 202311218943A CN 116957943 B CN116957943 B CN 116957943B
- Authority
- CN
- China
- Prior art keywords
- axis
- ambiguity
- observed
- along
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005259 measurement Methods 0.000 claims abstract description 38
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims description 14
- 238000001000 micrograph Methods 0.000 claims description 10
- 238000013459 approach Methods 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于图像融合的显微镜拼接校准方法,包括以下步骤:等间距采集相邻两帧间的显微图像;确定沿同一轴向的若干连续相邻的显微图像的模糊度变化量;获得待测物体的待观测面上关键位置点在测量平台所在坐标系下的位置坐标;拟合待观测面所在的平面;分析旋转角度并控制测量平台进行旋转;对相邻两显微图像的重叠区域进行拼接融合。本发明通过旋转变换模型分析出待观测面所在坐标系转换至测量平台所在坐标系需旋转角度,以对测量平台进行旋转角度调节,消除待观测面与相机平面间的夹角,使得各显微图像均位于同一镜头高度下的显微镜景深范围内,并图像拼接融合处理,满足不同倾斜角度下的拼接需求,提高了二维图像拼接的效果。
Description
技术领域
本发明属于图像拼接技术领域,涉及到一种基于图像融合的显微镜拼接校准方法。
背景技术
显微镜对待测物体的倾斜面进行二维图像拼接时,随着显微镜镜头相对于待测物体的倾斜面进行移动时,由于倾斜角度的存在,导致连续采集的多组显微图像逐渐离焦,甚至同一显微图像局部出现离焦画面,无法准确获得待测物体的倾斜面上的准确特征信息,若通过调节显微镜镜头相对于测量平台的高度,以满足倾斜面的图像拼接,则导致相邻两显微图像的拼接重叠区域的像素点的特征信息无法准确匹配,出现拼接质量差以及特征易丢失等问题,且增加了图像拼接融合难度大,同时拼接后的待测物体的倾斜面上各像素点的模糊度差异大,严重影响图像的拼接效果,无法真实还原处于倾斜面上的待测物体特征信息。
发明内容
本发明的目的在于提供的一种基于图像融合的显微镜拼接校准方法,解决了现有技术存在的问题。
本发明的目的可以通过以下技术方案实现:
一种基于图像融合的显微镜拼接校准方法,包括以下步骤:
相机依次沿轴向水平移动,等间距采集相邻两帧间的显微图像;
确定沿同一轴向的若干连续相邻的显微图像的模糊度变化量;
判断模糊度变化量的大小,获得待测物体的待观测面上关键位置点在测量平台所在坐标系下的位置坐标;
拟合出各关键位置点在待观测面所在坐标系下的位置坐标;
建立旋转变换模型,提取旋转变换模型中待观测面所在坐标系转换至测量平台所在坐标系绕x、y和z轴的旋转角度,并根据控制测量平台进行旋转;
控制相机在待观测面所在坐标系下沿轴向等间距采集显微图像,对相邻两显微图像的重叠区域进行拼接融合。
进一步地,显微图像的模糊度计算:,/>表示为显微图像上位置坐标为(x,y)的像素点所对应的模糊度数值,/>表示为位置坐标为(x,y)沿X轴方向上的横向模糊度,/>表示为位置坐标为(x,y)沿Y轴方向上的纵向模糊度,且,/>表示为卷积符号,/>和/>分别为沿X轴方向和沿Y轴方向的梯度数组,且/>,/>,/>表示为以坐标位置(x,y)为中心的显微图像中3x3的灰度值数组,,,/>表示为坐标位置(x,y)的像素点的灰度值,/>同理。
进一步地,沿同一轴向的显微图像的模糊度变化量:
,/>和/>分别表示为沿X轴向和沿Y轴向上连续若干相邻两显微图像的模糊度变化量的累计量,K表示为待观测面沿X轴方向上采集的显微图像的数量,H表示为待观测面沿Y轴方向上采集的显微图像的数量,/>和/>分别表示为沿X轴方向和沿Y轴方向上的第k个显微图像的位置坐标为(x,y)的模糊度数值,n*n为采集的显微图像中像素点个数。
进一步地,测量平台所在坐标系下待观测面上关键位置点的位置坐标,获取方法:
W1、调整相机移动至测量平台所在坐标系原点正上方,并等间距调整相机所在位置的Z轴高度;
W2、判断Z轴高度下相机采集的显微图像中心处s*s个像素点的模糊度是否大于设定的模糊度阈值,s<n,若大于设定的模糊度阈值,则等间距调整相机的Z轴高度,直至筛选出模糊度最小的相机所在的Z轴高度,记:关键位置点的坐标(xi,yi,zi),zi=相机当前所在的Z轴高度-工作距离;
W3、保持相机所在高度不变,沿X轴或Y轴方向水平移动相机,直至移动相机中心位于下一关键位置点正上方,重复步骤W2和W3,直至所有关键位置点的位置坐标均获得。
进一步地,所述步骤W4中第i个关键位置点的坐标(xi,yi,zi),其中,,i=1,2,...,n,n表示为关键位置点的数量,m为第/>为相机沿Z轴的调整方向,若向远离待观测面移动时,/>,若向靠近待观测面移动时,/>;
若从第i个关键位置点沿测量平台x方向移动至第i+1个关键位置点时,得到,若从第i个关键位置点沿测量平台y方向移动至第i+1个关键位置点时,得到/>,/>表示为沿X轴方向移动时,第i个关键位置点与第i+1个关键位置点间的图像拼接次数,/>表示为沿Y轴方向移动时,第i个关键位置点与第i+1个关键位置点间的图像拼接次数,D为显微图像所对应的实际宽度,d为相邻两显微图像间的拼接宽度,/>为沿X轴移动的第i个关键特征点在测量平台所在坐标系下平面坐标,/>表示为沿X轴移动的第i-1个关键特征点对应的Y轴上的坐标,/>表示为沿Y轴移动的第i个关键特征点在测量平台所在坐标系下平面坐标。
进一步地,根据同一物体从测量平台所在坐标系转换至待观测面所在坐标系需绕X轴的旋转角度、绕Y轴的旋转角度/>以及绕z轴的旋转角度/>以及旋转变换模型中旋转矩阵T,/>,推导出/>。
进一步地,相邻两显微图像的重叠区域内各像素点经拼接融合后的各像素点所对应的融合灰度值,/>表示为沿同一轴向上第c个显微图像中位置坐标(x,y)经拼接融合后所对应的灰度值,/>表示为沿同一轴向上第c个显微图像中位置坐标(x,y)对应的灰度值,表示为沿同一轴向上第c+1个显微图像中位置坐标对应的灰度值,且第c+1个显微图像中位置坐标与第c个显微图像中位置坐标(x,y)处的特征相对应。
进一步地,对待观测面所在坐标系下待观测面的图像融合进行评估。
进一步地,所述评估拼接融合效果所采用的公式为:,,/>表示为拼接融合差异系数,/>表示为沿同一轴向上第c个显微图像和第c+1个显微图像的拼接区域内各像素点所对应的模糊度,/>表示为沿同一轴向上第c个显微图像中位置坐标(x,y)对应的模糊度,/>表示为沿同一轴向上第c个显微图像中位置坐标/>对应的模糊度。
进一步地,本拼接校准方法还包括,旋转角度修正方法,具体如下:
R1、分别控制相机沿待观测面所在坐标系下的X轴和Y轴进行水平移动;
R2、采用模糊度计算公式分析沿X轴水平移动的显微图像的模糊度以及沿沿X轴水平移动的显微图像的模糊度;
R3、判断沿X轴水平移动的各显微图像的模糊度是否均大于设定的模糊度阈值,若存在大于设定的模糊度阈值,则分析出待观测面需绕Y轴的额外校正旋转角度,并执行步骤R4,若小于设定的模糊度阈值,则提取沿X轴方向上的任意两显微图像的最大模糊度差值,并执行步骤R4;
R4、判断沿Y轴水平移动的各显微图像的模糊度是否均大于设定的模糊度阈值,若存在大于设定的模糊度阈值,则分析出待观测面需绕X轴的额外校正旋转角度,若小于设定的模糊度阈值,则提取沿Y轴方向上的任意两显微图像的最大模糊度差值,执行步骤R5;
R5、计算相对最大模糊度差值,判断相对最大模糊度差值是否大于设定的模糊度阈值,若大于设定的模糊度阈值,则计算待观测面绕X轴和绕Y轴的额外校正旋转角度。
本发明的有益效果:
本发明通过对沿同一轴向的各显微图像的模糊度变化量进行分析,能够分析出处于显微镜景深范围内与测量平台存在倾斜夹角的待测物体的待观测面上关键位置点的三维位置坐标,根据各关键位置点构建各关键位置点所在待观测面的平面,并能够准确分析出同一关键位置点在两不同坐标系下的位置坐标,为后期测量平台与待观测面间的旋转角度的计算奠定基础。
本发明通过旋转变换模型分析出待观测面所在坐标系转换至测量平台所在坐标系需旋转角度,以对测量平台进行旋转角度调节,消除待观测面与相机平面间的夹角,保证显微镜镜头对待测物体上的待观测面进行图像采集时所采集的各显微图像均位于同一镜头高度下的显微镜景深范围内。
通过对经旋转角度调节后的测量平台上的待测物体的待观测面上的相邻两显微图像进行图像拼接融合处理,并对拼接融合后的图像进行效果评估,能够精准地根据待观测面的倾斜角度进行拼接前的旋转角度校准,大大提高了对处于倾斜状态的待观测面上特征的获取能力,满足不同倾斜角度下的二维拼接需求,解决了待观测面的倾斜角度所对应的倾斜高度大于显微镜的景深的问题,提高了二维图像拼接的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为测量平台角度调节的结构示意图;
图2为测量平台所在坐标系下各关键位置点位置,推导出各关键位置点转换至待观测面所在坐标系的结构示意图;
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
实施例一
当需要对待测物体进行二维图像拼接时,因待测物体的待观测面倾斜,导致待观测面上分布特征处于离焦状态,使得拼接后的图像逐渐模糊,拼接质量差,若调整镜头距离待观测面的距离,将存在不同高度下所获取相邻两显微图像在拼接过程中重叠区域的特征,导致重叠区域的特征无法准确匹配,拼接质量差以及特征易丢失等问题,需根据待测物体上待观测面的倾斜程度对测量平台进行角度调整,并对调整后所采集的显微图像进行拼接融合处理。
一种基于图像融合的显微镜拼接校准方法,包括以下步骤:
步骤1、相机依次沿轴向水平移动,等间距采集相邻两帧间的显微图像;
步骤2、确定沿同一轴向的若干连续相邻的显微图像的模糊度变化量;
沿X轴方向水平移动时,镜头的Z轴高度不变,通过采集X轴方向上的显微图像,并对沿X轴方向移动的各显微图像的模糊程度进行判断,同理,沿Y轴方向水平移动时,镜头的Z轴高度不变,通过采集Y轴方向上的显微图像,并对沿Y轴方向移动的各显微图像的模糊程度进行判断。
当待测物体的待观测面相对于测量平台X轴方向存在倾斜角度时,随着镜头沿X轴方向移动过程中采集显微图像的模糊程度逐渐变大,物镜下表面中心到待测物体表面的竖直距离L逐渐偏离显微镜的工作距离,使得随镜头移动方向下采集的各显微图像逐渐模糊,即镜头移动方向与待测面成钝角时,保持镜头高度不变,沿镜头移动方向,镜头下表面中心到待测物体表面的竖直距离逐渐增大时,当竖直距离大于显微镜工作距离与1/2焦点深度之和时,随镜头继续移动显微图像逐渐模糊,同理,镜头移动方向与待测面成锐角时,保持镜头高度不变,沿镜头移动方向,镜头下表面中心到待测物体表面的垂直距离逐渐减小时,当竖直距离小于显微镜工作距离与1/2焦点深度之差时,随相机移动显微图像逐渐模糊。
当待测物体的待观测面相对于测量平台Y轴方向存在倾斜角度时,随着相机沿Y轴方向移动采集显微图像,相机中心到待测物体表面的竖直距离逐渐减小或增大,使得沿镜头水平移动的方向采集的单帧显微图像逐渐模糊。
其中,显微图像的模糊度计算:,/>表示为显微图像上位置坐标为(x,y)的像素点所对应的模糊度数值,/>表示为位置坐标为(x,y)沿X轴方向上的横向模糊度,/>表示为位置坐标为(x,y)沿Y轴方向上的纵向模糊度,且,/>表示为卷积符号,/>和/>分别为沿X轴方向和沿Y轴方向的梯度数组,且/>,/>,/>表示为以坐标位置(x,y)为中心的显微图像中3x3的灰度值数组,,,/>表示为坐标位置(x,y)的像素点的灰度值,/>同理。
具体,沿同一轴向的显微图像的模糊度变化量:,/>和/>分别表示为沿X轴向和沿Y轴向上连续若干相邻两显微图像的模糊度变化量的累计量,K表示为待观测面沿X轴方向上采集的显微图像的数量,H表示为待观测面沿Y轴方向上采集的显微图像的数量,/>和/>分别表示为沿X轴方向和沿Y轴方向上的第k个显微图像的位置坐标为(x,y)的模糊度数值,n*n为采集的显微图像中像素点个数。
步骤3、判断模糊度变化量的大小,获得待测物体的待观测面上关键位置点在测量平台所在坐标系下的位置坐标;
判断同一轴向上连续若干相邻两显微图像的模糊度变化量的累积量是否大于设定的模糊度变化量阈值,若大于设定的模糊度变化量阈值,则表明该轴向与待测物体上的待观测面间存在夹角,需调整测量平台沿X轴、Y轴的旋转角度,使得放置在测量平台上的待测物体上的待观测面与相机相平行,避免因待观测面与相机存在夹角而影响显微镜对待测物体的图像拼接。
测量平台所在坐标系下的待观测面上关键位置点的位置坐标,获取方法:
W1、调整相机移动至测量平台所在坐标系原点正上方,并等间距调整相机所在位置的Z轴高度;
W2、判断Z轴高度下相机采集的显微图像中心处s*s个像素点的模糊度是否大于设定的模糊度阈值(s<n),若大于设定的模糊度阈值,则等间距调整相机的Z轴高度,直至筛选出模糊度最小的相机所在的Z轴高度,记:第1个关键位置点的坐标(x1,y1,z1),z1=相机所在的Z轴高度-工作距离;
W3、保持相机所在高度不变,沿X轴或Y轴方向水平移动相机,直至移动相机中心位于下一关键位置点正上方;
W4、判断相机采集的显微图像中心处s*s个像素点的模糊度是否大于设定的模糊度阈值,若大于设定的模糊度阈值,则等间距调整相机的Z轴高度,直至筛选出模糊度最小的相机所在的Z轴高度,调整的相机Z轴高度变化量,记:第i个关键位置点的坐标(xi,yi,zi),/>,也可理解为zi=相机当前所在的Z轴高度-工作距离,i=1,2,...,n,n表示为关键位置点的数量,m为第/>为相机沿Z轴的调整方向,若向远离待观测面移动时,/>,若向靠近待观测面移动时,/>;
若从第i个关键位置点沿测量平台x方向移动至第i+1个关键位置点时,得到,若从第i个关键位置点沿测量平台y方向移动至第i+1个关键位置点时,得到/>,/>表示为沿X轴方向移动时,第i个关键位置点与第i+1个关键位置点间的图像拼接次数,/>表示为沿Y轴方向移动时,第i个关键位置点与第i+1个关键位置点间的图像拼接次数,D为显微图像所对应的实际宽度,d为相邻两显微图像间的拼接宽度,/>为沿X轴移动的第i个关键特征点在测量平台所在坐标系下的平面坐标,/>表示为沿X轴移动的第i-1个关键特征点对应的Y轴坐标,/>表示为沿Y轴移动的第i个关键特征点在测量平台所在坐标系下的平面坐标。
W5、重复步骤W3和W4,直至所有关键位置点的位置坐标均获得。
通过测量平台所在坐标系下待观测面上各关键位置点的各像素点的模糊度进行分析,来动态调整相机在相邻两像素点上沿Z轴的高度变化量,能够相对准确定位出待观测面上各关键位置点的位置坐标。
步骤4、拟合出各关键位置点在待观测面所在坐标系下的位置坐标;
如图2所示,根据测量平台所在坐标系下各关键位置点位置,推导出各关键位置点转换至待观测面所在坐标系下各关键位置点位置坐标,/>表示为测量平台所在坐标系中第i个关键位置点在待观测面所在坐标系下对应的空间位置坐标。
以测量平台所在坐标系中关键位置点(xi,yi,zi)与关键位置点(x1,y1,z1)建立待观测面所在坐标系中的X轴,其中,关键位置点(x1,y1,z1)为测量平台中心处关键位置点所对应的待测物体表面的位置坐标。
在测量平台所在坐标系中的关键位置点(xj,yj,zj)在待观测面所在坐标系中的X轴上,该关键位置点在待观测面所对应的关键位置点坐标为,,/>表示为关键位置点(xj,yj,zj)是否位于待观测平台所在所在坐标系的X轴正方向,若在X轴正方向上,取值1,反之,取值-1,j和i均属于Q,Q为关键位置点的数量;
测量平台所在坐标系中其他关键位置点(xi,yi,zi)转换至待观测面所在坐标系中所对应的关键位置点坐标,待观测面上各关键位置点在在z轴上的高度均为0,即/>,且/>,其中,,/>,。
步骤5、建立相同关键位置点在测量平台所在坐标系与待观测面所在坐标系中的旋转变换模型;
测量平台所在坐标系与待观测面所在坐标系间的旋转变换模型,分别将各关键位置点在测量平台所在坐标系下的位置坐标和待观测面所在坐标系中的位置坐标待入旋转变换模型,采用多个关键位置点的计算,推导出旋转矩阵T,即:。
根据同一位置点从一坐标系转换至另一坐标系所需绕X轴的旋转角度、绕Y轴的旋转角度/>以及绕z轴的旋转角度/>,可知,,进而推导出。
步骤6、提取旋转变换模型中待观测面所在坐标系转换至测量平台所在坐标系绕x、y和z轴的旋转角度,/>,/>,并根据绕x、y和z轴的旋转角度控制测量平台进行旋转;
旋转角度可调的测量平台的具体结构示意,如图1所示,测量平台分别通过两电动伸缩杆一端以及铰接固定杆一端与测量底座固定连接,电动伸缩杆另一端以及铰接固定杆另一端与测量平台相铰接,铰接固定杆的轴线过测量平台所在坐标系中关键位置点(x1,y1,z1),通过配合调整两个电动伸缩杆的长度,实现对测量平台绕X轴和Y轴进行旋转,且测量底座下端设有旋转平台,旋转平台可待动测量平台以测量平台中心进行旋转,旋转平台的旋转中心与测量平台所在坐标系中的关键位置点(x1,y1,z1)相重合,关键位置点(x1,y1,z1)的坐标对应(0,0,0),待观测面所在坐标系的z轴过关键位置点(x1,y1,z1)且垂直于待观测面,能够实现测量平台绕z轴进行旋转。
建立测量平台以铰接固定杆与测量平台的连接处为转动圆心,进行不同X轴转动角度和Y轴转动角度下两电动伸缩杆的伸缩长度的数据库,进而根据步骤6所计算的测量平台所在坐标系绕X轴和Y轴的旋转角度来调整两电动伸缩杆的伸缩长度,使得测量平台绕X轴旋转、绕y旋转/>,并同时调整旋转平台,直至满足绕旋转平台中心进行旋转角度,测量平台绕待观测面所在坐标系中的z轴进行旋转角度/>,最后经对测量平台进行旋转后,待观测面与相机平面相平行。
通过对待测物体的待观测面进行拼接调整,实现对不同待观测面与测量平台存在倾斜角度下的拼接校准,以保证待观测面与相机处于相对平行状态,为后期相邻两显微图像的重叠区域融合提供基础。
步骤7、控制相机在待观测面所在坐标系下沿轴向等间距采集显微图像,对相邻两显微图像的重叠区域进行拼接融合,并对待观测面所在坐标系下待观测面的图像融合进行评估,评估出相邻两显微图像的重叠区域的拼接融合效果。
相邻两显微图像的重叠区域内各像素点经拼接融合后的各像素点所对应的融合灰度值,/>表示为沿同一轴向上第c个显微图像中位置坐标(x,y)经拼接融合后所对应的灰度值,/>表示为待观测面所在坐标系中沿同一轴向上第c个显微图像中位置坐标(x,y)对应的灰度值,表示为待观测面所在坐标系中沿同一轴向上第c+1个显微图像中位置坐标/>对应的灰度值,且第c+1个显微图像中位置坐标与第c个显微图像中位置坐标(x,y)处的特征相对应。
评估拼接融合效果所采用的公式为:,,/>表示为拼接融合差异系数,当拼接融合差异系数越小,表明经测量平台旋转后所采集的相邻两显微图像的重叠区域的拼接效果越佳,v为待观测面所在坐标系中相邻两像素点间的距离,/>表示为沿同一轴向上第c个显微图像和第c+1个显微图像的拼接区域内各像素点所对应的模糊度,且,/>为卷积符号,/>表示为沿同一轴向上第c个显微图像中位置坐标(x,y)对应的模糊度,/>表示为沿同一轴向上第c个显微图像中位置坐标/>对应的模糊度。
通过对相邻两拼接处的像素点的灰度值进行融合处理,以提高拼接重叠区域融合后与显微图像中非拼接区域间的过渡平滑,并对拼接融合效果进行评估,以判定拼接融合的效果是否满足需求,提高了待测物体的待观测面与测量平台存在倾斜并经调整后倾斜的待观侧面上特征融合的效果。
实施例二
因待测物体的待观测面为倾斜状态,无法保证各显微图像上关键位置点均恰处于工作距离处,可能关键位置点处于焦点深度范围内而非工作距离处,因此会导致各关键位置点的高度信息无法精准,因该问题的存在,会导致控制测量平台按照步骤5的旋转变换模型所获得的绕X轴的旋转角度、绕Y轴的旋转角度/>以及绕z轴的旋转角度/>进行旋转后,待测物体的待观测面所在坐标系与相机仍然存在夹角,进而导致对待观测面进行图像拼接时,随着沿轴向移动距离的增加,显微镜所采集待观测面逐渐超过显微镜景深范围,需对旋转角度进行校正。
一种基于图像融合的显微镜拼接校准方法,还包括,旋转角度修正方法,具体如下:
R1、分别控制相机沿待观测面所在坐标系下的X轴和Y轴进行水平移动;
R2、采用模糊度计算公式分析沿X轴水平移动的显微图像的模糊度以及沿沿X轴水平移动的显微图像的模糊度;
R3、判断沿X轴水平移动的各显微图像的模糊度是否均大于设定的模糊度阈值,若存在大于设定的模糊度阈值,则提取大于设定的模糊度阈值的显微图像沿该轴向移动的数量g,获得待观测面需绕Y轴的额外校正旋转角度,H为景深高度,并执行步骤R4,若小于设定的模糊度阈值,则提取沿X轴方向上的任意两显微图像间的最大模糊度差值/>,并执行步骤R4;
R4、判断沿Y轴水平移动的各显微图像的模糊度是否均大于设定的模糊度阈值,若存在大于设定的模糊度阈值,则提取大于设定的模糊度阈值的显微图像沿该轴向移动的数量p,获得待观测面需绕X轴的额外校正旋转角度,若小于设定的模糊度阈值,则提取沿Y轴方向上的任意两显微图像的最大模糊度差值/>,执行步骤R5;
R5、计算相对最大模糊度差值,判断相对最大模糊度差值是否大于设定的模糊度阈值,若大于设定的模糊度阈值,则计算待观测面绕X轴和绕Y轴的额外校正旋转角度,绕X轴和绕Y轴的额外校正旋转角度均为,/>表示为沿X轴方向上任意两显微图像的模糊度差值/>最大所对应的两显微图像间的间隔数量,/>表示为沿Y轴方向上任意两显微图像的模糊度差值/>最大所对应的两显微图像间间隔数量。
采用旋转角度修正方法对初始待观测面相对于测量平台进行旋转后的旋转角度进行修正,使得显微镜上的相机与待观测面间的夹角逐渐趋向于0°,进而为相机相对于测量平台发生移动下,任意位置处采集的待拼接的显微图像均处于显微镜的景深范围内,使得采集的显微图像中的模糊度小于设定的模糊度阈值,以完成显微镜的二维图像拼接,避免因待测物体的待观测面与测量平台或相机存在倾斜角度,而导致待观测面上的特征在拼接过程中丢失,提高了图像的拼接精度,以及拼接的自适应性,满足不同倾斜角度下的待观测面的拼接需求。
以上内容仅仅是对本发明的构思所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的构思或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (8)
1.一种基于图像融合的显微镜拼接校准方法,其特征在于:包括以下步骤:
相机依次沿轴向水平移动,等间距采集相邻两帧间的显微图像;
确定沿同一轴向的若干连续相邻的显微图像的模糊度变化量;
判断模糊度变化量的大小,获得待测物体的待观测面上关键位置点在测量平台所在坐标系下的位置坐标;
拟合出各关键位置点在待观测面所在坐标系下的位置坐标;
建立旋转变换模型,提取旋转变换模型中待观测面所在坐标系转换至测量平台所在坐标系绕x、y和z轴的旋转角度,并根据控制测量平台进行旋转;
控制相机在待观测面所在坐标系下沿轴向等间距采集显微图像,对相邻两显微图像的重叠区域进行拼接融合;
其中,测量平台所在坐标系下待观测面上关键位置点的位置坐标,获取方法:
W1、调整相机移动至测量平台所在坐标系原点正上方,并等间距调整相机所在位置的Z轴高度;
W2、判断Z轴高度下相机采集的显微图像中心处s*s个像素点的模糊度是否大于设定的模糊度阈值,s<n,若大于设定的模糊度阈值,则等间距调整相机的Z轴高度,直至筛选出模糊度最小的相机所在的Z轴高度,记:关键位置点的坐标(xi,yi,zi),zi=相机当前所在的Z轴高度-工作距离;
W3、保持相机所在高度不变,沿X轴或Y轴方向水平移动相机,直至移动相机中心位于下一关键位置点正上方,重复步骤W2和W3,直至所有关键位置点的位置坐标均获得;
第i个关键位置点的坐标(xi,yi,zi),其中,,i=1,2,...,n,n表示为关键位置点的数量,/>为相机Z轴高度变化量,m为第/>为相机沿Z轴的调整方向,若向远离待观测面移动时,/>,若向靠近待观测面移动时,/>;
若从第i个关键位置点沿测量平台x方向移动至第i+1个关键位置点时,得到,若从第i个关键位置点沿测量平台y方向移动至第i+1个关键位置点时,得到/>,/>表示为沿X轴方向移动时,第i个关键位置点与第i+1个关键位置点间的图像拼接次数,/>表示为沿Y轴方向移动时,第i个关键位置点与第i+1个关键位置点间的图像拼接次数,D为显微图像所对应的实际宽度,d为相邻两显微图像间的拼接宽度,/>为沿X轴移动的第i个关键特征点在测量平台所在坐标系下平面坐标,/>表示为沿X轴移动的第i-1个关键特征点对应的Y轴上的坐标,/>表示为沿Y轴移动的第i个关键特征点在测量平台所在坐标系下平面坐标。
2.根据权利要求1所述的一种基于图像融合的显微镜拼接校准方法,其特征在于:显微图像的模糊度计算:
,/>表示为显微图像上位置坐标为(x,y)的像素点所对应的模糊度数值,/>表示为位置坐标为(x,y)沿X轴方向上的横向模糊度,/>表示为位置坐标为(x,y)沿Y轴方向上的纵向模糊度,且/>,/>表示为卷积符号,/>和/>分别为沿X轴方向和沿Y轴方向的梯度数组,且/>, ,/>表示为以坐标位置(x,y)为中心的显微图像中3x3的灰度值数组/>,,/>表示为坐标位置(x,y)的像素点的灰度值,/>同理。
3.根据权利要求2所述的一种基于图像融合的显微镜拼接校准方法,其特征在于:沿同一轴向的显微图像的模糊度变化量:,和/>分别表示为沿X轴向和沿Y轴向上连续若干相邻两显微图像的模糊度变化量的累计量,K表示为待观测面沿X轴方向上采集的显微图像的数量,H表示为待观测面沿Y轴方向上采集的显微图像的数量,/>和/>分别表示为沿X轴方向和沿Y轴方向上的第k个显微图像的位置坐标为(x,y)的模糊度数值,n*n为采集的显微图像中像素点个数。
4.根据权利要求1所述的一种基于图像融合的显微镜拼接校准方法,其特征在于:根据同一物体从测量平台所在坐标系转换至待观测面所在坐标系需绕X轴的旋转角度、绕Y轴的旋转角度/>以及绕z轴的旋转角度/>以及旋转变换模型中旋转矩阵T, ,推导出/>。
5.根据权利要求1所述的一种基于图像融合的显微镜拼接校准方法,其特征在于:相邻两显微图像的重叠区域内各像素点经拼接融合后的各像素点所对应的融合灰度值,/>表示为沿同一轴向上第c个显微图像中位置坐标(x,y)经拼接融合后所对应的灰度值,/>表示为沿同一轴向上第c个显微图像中位置坐标(x,y)对应的灰度值,/>表示为沿同一轴向上第c+1个显微图像中位置坐标/>对应的灰度值,且第c+1个显微图像中位置坐标/>与第c个显微图像中位置坐标(x,y)处的特征相对应。
6.根据权利要求2所述的一种基于图像融合的显微镜拼接校准方法,其特征在于:对待观测面所在坐标系下待观测面的图像融合进行评估。
7.根据权利要求6所述的一种基于图像融合的显微镜拼接校准方法,其特征在于:所述评估拼接融合效果所采用的公式为:
,,/>表示为拼接融合差异系数,v为待观测面所在坐标系中相邻两像素点间的距离,/>表示为沿同一轴向上第c个显微图像和第c+1个显微图像的拼接区域内各像素点所对应的模糊度,且,/>为卷积符号,/>表示为沿同一轴向上第c个显微图像中位置坐标(x,y)对应的模糊度,/>表示为沿同一轴向上第c个显微图像中位置坐标/>对应的模糊度。
8.根据权利要求6所述的一种基于图像融合的显微镜拼接校准方法,其特征在于:本拼接校准方法还包括,旋转角度修正方法,具体如下:
R1、分别控制相机沿待观测面所在坐标系下的X轴和Y轴进行水平移动;
R2、采用模糊度计算公式分析沿X轴水平移动的显微图像的模糊度以及沿沿X轴水平移动的显微图像的模糊度;
R3、判断沿X轴水平移动的各显微图像的模糊度是否均大于设定的模糊度阈值,若存在大于设定的模糊度阈值,则分析出待观测面需绕Y轴的额外校正旋转角度,并执行步骤R4,若小于设定的模糊度阈值,则提取沿X轴方向上的任意两显微图像的最大模糊度差值,并执行步骤R4;
R4、判断沿Y轴水平移动的各显微图像的模糊度是否均大于设定的模糊度阈值,若存在大于设定的模糊度阈值,则分析出待观测面需绕X轴的额外校正旋转角度,若小于设定的模糊度阈值,则提取沿Y轴方向上的任意两显微图像的最大模糊度差值执行步骤R5;
R5、计算相对最大模糊度差值,判断相对最大模糊度差值是否大于设定的模糊度阈值,若大于设定的模糊度阈值,则计算待观测面绕X轴和绕Y轴的额外校正旋转角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311218943.7A CN116957943B (zh) | 2023-09-21 | 2023-09-21 | 一种基于图像融合的显微镜拼接校准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311218943.7A CN116957943B (zh) | 2023-09-21 | 2023-09-21 | 一种基于图像融合的显微镜拼接校准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116957943A CN116957943A (zh) | 2023-10-27 |
CN116957943B true CN116957943B (zh) | 2023-12-05 |
Family
ID=88458726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311218943.7A Active CN116957943B (zh) | 2023-09-21 | 2023-09-21 | 一种基于图像融合的显微镜拼接校准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116957943B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117237239B (zh) * | 2023-11-14 | 2024-02-02 | 南京凯视迈科技有限公司 | 一种拼接图像的暗区消除方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097303A (zh) * | 2016-05-30 | 2016-11-09 | 天水师范学院 | 一种适合处理显微图像pcnn模型的构建方法 |
CN111256616A (zh) * | 2020-03-30 | 2020-06-09 | 阳宇春 | 计量级3d超景深显微***及检测方法 |
CN112805747A (zh) * | 2018-10-02 | 2021-05-14 | 卡尔蔡司Smt有限责任公司 | 使用粒子显微镜来记录图像的方法 |
CN113424085A (zh) * | 2019-02-11 | 2021-09-21 | 脸谱科技有限责任公司 | 用于通过光波导的倾斜表面的光耦合的色散补偿 |
CN116643393A (zh) * | 2023-07-27 | 2023-08-25 | 南京木木西里科技有限公司 | 基于显微图像偏转的处理方法及*** |
CN116703723A (zh) * | 2023-05-16 | 2023-09-05 | 中山依数科技有限公司 | 一种基于显微镜***的高分辨率显微图像扫描拼接方法 |
-
2023
- 2023-09-21 CN CN202311218943.7A patent/CN116957943B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097303A (zh) * | 2016-05-30 | 2016-11-09 | 天水师范学院 | 一种适合处理显微图像pcnn模型的构建方法 |
CN112805747A (zh) * | 2018-10-02 | 2021-05-14 | 卡尔蔡司Smt有限责任公司 | 使用粒子显微镜来记录图像的方法 |
CN113424085A (zh) * | 2019-02-11 | 2021-09-21 | 脸谱科技有限责任公司 | 用于通过光波导的倾斜表面的光耦合的色散补偿 |
CN111256616A (zh) * | 2020-03-30 | 2020-06-09 | 阳宇春 | 计量级3d超景深显微***及检测方法 |
CN116703723A (zh) * | 2023-05-16 | 2023-09-05 | 中山依数科技有限公司 | 一种基于显微镜***的高分辨率显微图像扫描拼接方法 |
CN116643393A (zh) * | 2023-07-27 | 2023-08-25 | 南京木木西里科技有限公司 | 基于显微图像偏转的处理方法及*** |
Non-Patent Citations (2)
Title |
---|
基于尺度不变特征变换特征的显微图像在线拼接方法;孙明竹 等;《高技术通讯》;第19卷(第10期);1061-1066 * |
大范围扫描原子力显微镜自动调平控制技术;陈代谢 等;《仪器仪表学报》;第32卷(第1期);225-229 * |
Also Published As
Publication number | Publication date |
---|---|
CN116957943A (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648241B (zh) | 一种ptz摄像机现场标定及定焦方法 | |
CN101718536B (zh) | 三角形金刚石刀具角度高精度自动测量***和测量方法 | |
CN116957943B (zh) | 一种基于图像融合的显微镜拼接校准方法 | |
CN105043259B (zh) | 基于双目视觉的数控机床旋转轴误差检测方法 | |
CN112949478A (zh) | 基于云台相机的目标检测方法 | |
CN107392849B (zh) | 基于图像细分的靶标识别与定位方法 | |
CN102768762B (zh) | 一种针对盾构隧道病害数字照相检测的数码相机标定方法及其装置 | |
CN112132908B (zh) | 一种基于智能检测技术的相机外参数标定方法及设备 | |
JP2008298685A (ja) | 計測装置及びプログラム | |
CN107358628B (zh) | 基于靶标的线阵图像处理方法 | |
CN103698879A (zh) | 一种实时对焦的装置及方法 | |
CN113724337B (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
Yun et al. | Accurate 3-D shape recovery using curved window focus measure | |
JP2024523076A (ja) | 同心楕円の弦長比に基づく単結晶シリコン直径検出方法及び装置 | |
CN115468747A (zh) | 显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法 | |
CN110595374B (zh) | 基于传递像机的大型结构件实时形变监测方法 | |
CN114113115B (zh) | 一种大口径元件表面微缺陷高精度自动定位方法 | |
CN107976146B (zh) | 一种线阵ccd相机的自标定方法及测量方法 | |
CN105812669B (zh) | 曲面自动成像对焦方法及*** | |
CN112161581A (zh) | 一种考虑管片端面偏角的机器视觉盾尾间隙动态测量方法 | |
CN114815211B (zh) | 一种基于图像处理的显微镜自动对焦方法 | |
CN113920197A (zh) | 一种激光雷达辅助摄像机自动调焦聚焦的方法 | |
CN113079318B (zh) | 晶边缺陷自动对焦***及方法和计算机存储介质 | |
CN108833789A (zh) | 一种实时自动聚焦装置及自动聚焦方法 | |
Gao et al. | Development of a high-speed videogrammetric measurement system with application in large-scale shaking table test |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |