CN109001902A - 基于图像融合的显微镜聚焦方法 - Google Patents

Abstract

一种显微镜聚焦方法，本发明涉及显微镜聚焦方法。本发明的目的是为了解决因载物平台不平整引发的聚焦之后一张图片上一部分区域清晰，一部分区域不清晰的问题。为解决这个问题，本发明提出新的显微镜聚焦方法：使用平台前，通过测量并学***台的平整度作为平台参数；使用平台时，根据不同的平整度参考之前学***台参数，使用不同的策略进行图像采集并融合。采用多图像融合的方式，将同一视野下处于多个焦平面的清晰图像融合到一张图片上。实验表明，通过融合不同深度的清晰图像明显提高了图像质量。本发明应用于显微镜聚焦领域。

Description

基于图像融合的显微镜聚焦方法

技术领域

本发明涉及显微镜聚焦方法。

背景技术

近年来***高发，已经成为威胁妇女生命的社会问题。在***诊断方面，传统方法是采集人体宫颈脱落细胞制片，然后染色并置于显微镜下观察发现病变细胞后做出诊断；随着技术发展，显微镜自动阅片技术发展起来，采集标本后放置显微镜下自动扫描识别并分析异常细胞，这种技术增加了病理医生的诊断效率，同时提高了医生诊断的准确度。

使用显微镜自动阅片技术的前提是可以获得清晰的细胞图像，用于细胞的识别与分析；由于载玻片上的细胞可能不是散落在同一个焦平面下的，并且显微镜对细胞进行高倍放大，载物台移动时任何细微的偏差都会导致镜头下的图像模糊，所以自动聚焦在自动阅片***中起着关键性的作用。

目前聚焦效率较好的是使用变步爬山搜索策略加清晰度评价函数的方法，但是这种聚焦方法仅能应用于载物平台绝对平整的理想条件下使用，载物平台稍有不理想都会导致聚焦后的图像上一部分清晰，一部分不清晰的问题，图1是理想载物平台模型，图2是实际载物平台模型；问题的原因是物镜与载玻片没有构成成像最清楚的垂直角度，有一部分细胞不在焦平面上，不在焦平面上的细胞显示模糊，图3是非平整平台三维结构图，其中椭圆p是物镜在载玻片上的映射，虚线椭圆q是真实焦平面，高度差h为焦平面的偏移量；针对这个问题，已经存在基于像素点的融合和基于分块融合；基于像素点的融合，过程细致，效果也最好，但是像素点对比次数过多，导致聚焦效率较低；基于分块融合效率高，但是对于分块个数的把控较差，分块数较多使得平台平整度较好位置的分割和融合过于复杂，导致效率不理想，而分块数较低使得平整度较差的位置分割和融合过程较粗糙，导致效果不够理想；本发明基于学***整度，针对不同平整度制定合适的分割和融合策略；这种聚焦方法不但兼顾聚焦效率和聚焦效果，而且对于任意平台其普遍适用性较高；因此本发明中的方法的提出具有重要意义。

发明内容

本发明的目的是为了解决载物平台平整度不理想造成聚焦后的图片一部分不清晰的问题。

上述发明目的主要通过以下技术方案实现：

步骤一、建立平台三维空间模型。

使用平台前，首先使用变步爬山法配合灰度非零值统计法(GZV)和低灰度值统计法(LGV)两个聚焦评价函数，以盖玻片的中心为原点，环绕原点取三个较均匀的位置聚焦并记录坐标点，求三个坐标点的z轴坐标的均值代替三个点的原z坐标，新的三个点可以确定一个平面作为零平面，并且此平面垂直于物镜；再以载玻片中心为原点，蛇形扫描的方式扫描整个载玻片的有效区域，扫描路径如图4，并记录在每一个视野位置的三维坐标；扫描完成后将所有的点在零平面上还原出来，得到载物平台在三维空间中的位置模型。

变步爬山法的步长有三种：

第一种情况是距离焦点很远但是隐约看见图像区域，采用较大步长S ₁ 寻找焦点。

第二种情况是距离焦点较远并能看见模糊图像，采用较小步长S ₂ 寻找焦点。

第三种情况是在焦点附近，视野图像较模糊，采用小步长S ₃ 寻找焦点；其清晰度评价函数形式如下：

其中，GZV（x）为灰度非零值统计法函数，LGV（x）为低灰度值统计法，M是门限步长；灰度非零值统计法是统计灰度直方图中出现的像素个数不为零的个数作为聚焦的标准，具体如下：

其中G（i）表示灰度值为i的像素点个数。

低灰度值统计法是选取一个阈值T，划分出一个有效的区域作为观察区域，在图像清晰度变化时，对应区域面积的变化可以作为评价清晰的标准，公式下：

其中m, n是图像的长和宽，f ₁ (i, j)是对应坐标像素点的灰度值，T为阈值（T=80）。

步骤二、划分处理区域。

平台三维模型中，将具有同一斜度的区域作为一个处理区域，利用这种规则将整个有效载物平台全部视野分为若干处理区域；具体做法是：首先将载物台的三维模型在x，y坐标系上分成四块区域，在每一块区域上找一个z坐标最大的点p ₁ ，和三个z坐标最小的点p ₂ , p ₃ , p ₄ ，判断这三个点的位置关系，如果三个点在一条直线，这条直线与最高点可以确定一个平面，平面公式计算参数如下：

其中A,B,C,D为平面方程参数，最终平面方程：

说明这块区域只有一个斜度，并求出法向量如下：

构造一个z轴方向上的方向向量，如下：

再求平面的法向量和z轴方向上向量的夹角，即为平面斜度角如式：

此外情况，三个坐标小的点必围成一个三角形，如果最高点在三角形里，此时需要求出三个面，以及倾斜角度；否则三个最小点中最相邻的两点分别与最高点可以建立平面，同理求出倾斜角度。记录每一个斜面区域的位置，以便使用此平台时直接根据斜面方程求出焦点z轴坐标，找到焦点位置，再根据下面的步骤求出来的参数分割并融合处理。

步骤三、确定取图深度。

计算每一个处理区域的斜度，通过斜度确定取图个数（也可称取图深度）；将深度作为以后使用此平台的参数，在使用平台时，不同的处理区域使用对应的焦点、深度和分块数，深度选取如下：

实验测得，相邻深度之间距离为4个单位长度为最佳；其中，S为拍摄照片个数。

步骤四、确定分块数。

利用当前视野所对应的深度，在焦点位置附近取与深度对应的图片个数，并将这些图片参考与深度相对应的块数K进行分割，参数K选取如下：

其中，S为深度，K为分割块数。

步骤五、取每一位置最清晰的图片块，并融合。

使用平台时，首先将物镜移动至当前视野对应的处理域的平面上，再根据处理域的参数对当前视野取不同深度S的图片，并将这些图片切割K块，对比同一位置小块的灰度值，取最清晰的小块碎片融合，恢复成完整视野的图像，得到当前视野清晰图像；图像融合过程如图5，step为步长，picture1为同一视野焦点附近某一深度的图片，picture2为同一视野焦点附近另一深度的图片，假设当前平台参数S=5，K=6，对比相同位置的图片块的清晰度，分别取最清晰的融合在一起，得到清晰图像；但是图片拼接相切的地方可能会由于图片深度选取的差异，导致相切的地方会有清晰度变化，实际在切割图片的时候会加一个重叠区，在融合过程中，将重叠区的灰度值加权平均，使得最终完整图片看起来更完整；再使用同样方法扫描下一个视野，直至扫描完成规定的全部视野。

附图说明

图1是理想载物平台模型；

图2是实际载物平台模型；

图3是非平整平台三维结构图；

图4是显微镜扫描路径；

图5是图像融合过程；

图6是算法流程图；

具体实施方法

具体实施方式：本实施方式是显微镜聚焦方法，具体是按照以下步骤制备的：

步骤一、运行程序；

步骤二、以载玻片的中心为原点，并在有效区域内，均匀选取三个位置（三个位置保证不在同一直线上），使用变步爬山法配合灰度非零值统计法和低灰度值统计法两个聚焦评价函数聚焦，记录三个位置的焦点坐标，求这三个点z轴坐标的均值并分别代替三个点的z轴坐标，三个点确定一个平面，求的平面的方程作为零平面；

步骤二、使用变步爬山法配合灰度非零值统计法和低灰度值统计法两个聚焦评价函数扫描整个有效区域，并记录每个焦点的坐标，在零平面上还原真实载玻片的三维结构；

步骤三、将载物台的三维模型在以载玻片中心为原点，沿x，y坐标轴上分成四块区域，在每一块区域上找一个z坐标最大的点p ₁ ，和三个z坐标最小的点p ₂ , p ₃ , p ₄ ，判断这三个点的位置关系，如果三个点在一条直线，这条直线与最高点可以确定一个平面，说明这块区域只有一个斜度，那么利用求空间平面的方法求出平面方程如下：

其中，所求A, B, C, D为平面方程参数；并求出法向量如下：

再求平面的法向量和z轴方向上向量的夹角即为平面斜度角，公式如下：

此外情况，三个坐标小的点必围成一个三角形，如果最高点在三角形里，此时需要求出三个面，以及倾斜角度；否则三个最小点中最相邻的两点分别与最高点可以建立平面，同理求出倾斜角度。

步骤四、计算每一个处理块的斜度，通过斜度确定取图个数（也可称取图深度），公式如下：

将深度作为以后使用此平台的参数；相邻深度之间距离为4个单位长度；其中，S为拍摄照片个数。

步骤五、利用当前视野所对应的深度，在焦点位置附近取与深度对应的图片个数如下：

其中，S为深度，K为分割块数；并将这些图片参考与深度相对应的块数K进行分割。

步骤六、记录每个处理域的参数，在使用平台时，首先将物镜移动至当前视野对应处理域上，根据当前处理域参数S、K获取焦点附近不同深度的图片并切割，对比同一位置小块的灰度值，取清晰的小块融合；融合过程中，将相邻小块的重叠区的灰度值加权平均；这样恢复成完整视野的图像，得到当前视野清晰图像；再完成下一个视野的聚焦。

实施例：

本实施例，基于多深度拍摄图片融合的显微镜聚焦方法具体是按照一下步骤制备的：

此发明应用到我们自订研发的“癌细胞自动检测***”中，该***由PC机、全自动显微镜、全高清摄像机、以及软件组成。

该***中的自动扫描部分应用的是上述的发明“显微镜聚焦方法”，首先使用者先将准备好的带有组织样本的载玻片放置在载物台上，调节适当光照并启动软件进行扫描，具体步骤如下：

S1、扫描载玻片有效区域，并记录每一个焦点的三维坐标，绘制平台模型。

S2、将载物台的三维模型在x，y坐标系上分成四块区域，在每一块区域上找一个z坐标最大的点p ₁ ，和三个z坐标最小的点p ₂ , p ₃ , p ₄ ，判断这三个点的位置关系，根据位置关系，取p ₁ 与另外相邻的点构成一个平面，计算平面方程以及法向量：

其中，所求A, B, C, D为平面方程参数。

S3、计算每一个处理块的斜度，通过斜度确定取图个数（也可称取图深度）；将深度作为以后使用此平台的参数；相邻深度之间距离为4个单位长度；

其中，S为拍摄照片个数。

S4、利用当前视野所对应的深度，在焦点位置附近取与深度对应的图片个数，并将这些图片参考与深度相对应的块数K进行分割；将每一处理域的S和K作为这台显微镜的平台的参数，后续对显微镜的使用都是基于此参数的；

其中，S为深度，K为分割块数。

S5、使用平台时，首先将物镜移动至当前视野对应处理域上，根据当前处理域参数S、K获取焦点附近不同深度的图片并切割，对比同一位置小块的灰度值，取清晰的小块融合，恢复成完整视野的图像，得到当前视野清晰图像；图像融合过程如图5，step为步长，picture1为同一视野焦点附近某一深度的图片，picture2为同一视野焦点附近另一深度的图片，假设当前平台参数S=5，K=6，对比相同位置的图片块的清晰度，分别取最清晰的块融合在一起；融合过程中，将相邻小块的重叠区的灰度值加权平均，得到清晰图像；再使用同样方法扫描下一个视野，直至扫描完成规定的全部视野。

算法总流程图，如图6所示。

在不背离本发明精神及其实质的情况下，本领域研究人员可根据本发明做出相应的变形，但这些相应的变形都应属于本发明所附的权利要求的保护范围。

Claims (3)

1.基于图像融合的显微镜聚焦方法的使用步骤如下：一、开始；二、扫描载玻片，绘制载玻片模型；三、将载物台按倾斜度分区域，并求每个区域的倾斜角；四、按所求倾斜角求对应取图深度；五、按取图深度求每个视野分块个数；

在显微镜聚焦阶段，基于图像融合的显微镜聚焦方法提出策略如下：

扫描载玻片有效区域，并记录每一个焦点的三维坐标，绘制平台模型;

将载物台的三维模型在x，y坐标系上分成四块区域，在每一块区域上找一个z坐标最大的点p ₁ ，和三个z坐标最小的点p ₂ , p ₃ , p ₄ ，判断p ₂ , p ₃ , p ₄ 三个点的位置关系，根据位置关系，取p ₁ 与另外相邻的点构成一个平面，计算平面方程如公式(1)-(5)，以及法向量如式(6)：

(1)

(2)

(3)

(4)

其中，所求A, B, C, D为平面方程参数;

求得平面方程：

(5)

平面方程的法向量：

(6)

利用平面法向量和构造z轴方向上的向量如式(7)，计算两向量的夹角，即为平面倾斜角;

计算角如式(8)：

(7)

(8)

其中，是z轴方向上的向量。

2.计算每一个处理域的斜度，通过斜度确定取图个数（也可称取图深度），如式(9);

将深度作为以后使用此平台的参数;相邻深度之间距离为4个单位长度;

(9)

其中，S为拍摄照片个数。

3.利用当前视野所对应的深度，在焦点位置附近取与深度对应的图片个数，如式(10)，并将所述图片参考与深度相对应的块数K进行分割;将S和K作为显微镜的平台参数，后续对显微镜的使用都是基于此参数的;

(10)

其中，S为深度，K为分割块数;

如图5，对比同一位置不同深度的图片块的清晰度，取每一位置最清晰的小块碎片进行融合；融合过程中，将相邻小块的重叠区的灰度值加权平均；恢复成完整视野的图像，得到当前视野清晰图像。