CN110824689A - 全自动显微图像景深拓展***及其方法 - Google Patents

Abstract

本发明公开了一种全自动显微图像景深拓展***及其方法，包括图像采集部分和自动控制部分，所述图像采集部分包括彩色相机、筒镜、物镜、载物台、光源；所述自动控制部分包括步进电机、导轨、传感器、中间设备，整个***是在每个视野的聚焦面上下范围内等间隔不同位置采集图像，将这一系列图像经过图像融合处理后得到景深拓展后的结果。本发明采用基于图像融合的方式进行景深拓展，从而获得每个视野的最清晰图像，相对传统的景深拓展方式不会削弱光学***的光通量和分辨率；图像采集、图像融合全自动化，并且实现的融合算法简单不会丢弃图像细节信息。

Description

全自动显微图像景深拓展***及其方法

技术领域

本发明属于光学成像技术，特别是一种全自动显微图像景深拓展***及其方法。

背景技术

景深是显微镜的非常重要的参数之一，是指为能够保证成像清晰时物体前后移动的范围。通常普通光学显微镜的景深范围是非常有限的，尤其是需要在高倍镜下观察时，景深更加小，更加不利于观察者对图像的采集和观察。随着计算机数字图像处理的技术提升，可以将图像进行融合，去噪等等处理，景深拓展显微镜应运而生，目前对景深拓展的方法主要有两种实现方式：非图像融合方式；基于图像的融合方式。非图像融合方式是利用光学成像原理对传统显微镜进行改造，刚开始人们提出应用环形孔径方法，该方法通过改变显微镜孔径光阑形状，在此基础上后来有人提出振幅滤波法，该方法主要通过改变孔径形式，改进后的振幅分布满足高斯分布或者超高斯分布，这种方式虽然有效得到了景深拓展，但是削弱了***的光通量和分辨率。基于图像融合的方式是按照一定的位置采集若干图像，并按照一定的融合算法进行融合得到图像(赵红波.景深合成算法研究及其在超景深显微镜设计中的应用[D].2017)。总体来看通过非图像融合的方法会带来很多缺点，不是一个很理想的实现方案。

在整个景深拓展***中，首先要进行的就是自动聚焦操作，使得物体聚焦在焦平面位置，这样才能进入景深区域，通过在聚焦平面上下进行图像采集。所以选取一个合适的自动聚焦算法对于整个***尤为重要，聚焦平面图像相对离焦图像更为清晰，细节信息更丰富，在空间域上体现的是梯度值更大，在频率域上体现的是高频分量更多。基于频率域的清晰度评价函数主要是基于傅里叶变换，主要是由图像中的高频信息决定，虽然灵敏度较高，但是计算量相对较大。我们选择基于清晰度的高低来判断是否达到聚焦面，而基于空间域的清晰度评价函数有平方梯度函数、Tenengrad函数、Brenner函数、Reblur二次模糊，基于频域的清晰度评价函数主要是傅里叶变换函数(陈国秋.数字图像自动聚焦技术研究及***实现[D].西安电子科技大学.2007)。

自动聚焦过程就是通过驱动电机控制显微镜移动来获取不同平面下的图像，然后根据清晰度评价函数寻找最清晰图像位置的过程，常用的聚焦搜索方法包括爬山搜索法、遍历搜索法、曲线拟合法。(1)爬山搜索法：爬山搜索法首先是要求聚焦评价函数具有良好的单峰性，即要求聚焦评价函数曲线在极值点位置就是聚焦最佳清晰位置，同时在极值点的左侧单调递增，极值点右侧单调递减。爬山搜索法如图，主要思路是在聚焦评价函数具备良好单峰型的条件下，在远离聚焦位置处，通过增大移动步长快速到达聚焦位置，即山峰处，当移动位置临近聚焦位置时，通过步长减半的方法进行小步长搜索进一步细化聚焦的位置(陈国金.数字图像处理自动聚焦技术研究及其实现[D].西安电子科技大学.2007)。但是这种方法对于聚焦评价函数的单峰型有很高的要求，但有些样品在通过评价函数计算时容易受到其他因素影响可能会存在多个峰值点，所以这种方式适用普遍性不是很好。(2)曲线拟合法，在数学领域中，能够通过选取某些相关点进行函数的曲线拟合。我们假设聚焦评价函数具备良好的单峰型，函数图形像二次函数，使用二次曲线进行拟合，如公式：F(f(z))＝az²+bz+c，曲线拟合法将聚焦评价函数曲线具备良好的单峰性，且具备一个极值点，将函数曲线看做二次函数进行曲线拟合。在极值点附近选取三个点(x₁，y₁)、(x₂，y₂)、(x₃，y₃)进行二次拟合，对选取点要求比较高，选取的峰值点越靠近峰值点，拟合的精确度越高。(3)遍历搜索法，遍历搜索法通过控制步进电机移动，固定在每隔一段距离采图，然后对每层图像进行计算评价，同时计算每个位置上的图像清晰度。在最清晰位置处，图像的清晰度越大，通过比较图像的清晰度的大小，我们可以得知图像的聚焦位置。遍历搜索法简单易懂，抗干扰能力强，但是这种方法因为要对每层图像都进行计算评价，计算量比较大，而且移动的间隔距离不是很清楚，需要大量实验总结得出，如果间隔设置过大可能会跳过聚焦面，造成局部搜索的缺陷，如果间隔设置过小，聚焦精度很高，但是这样会因为间隔过小，移动的步数过多，计算量过大，所以遍历搜索法不具有普适性。

发明内容

本发明的目的在于提供一种全自动显微图像景深拓展***及其方法，解决了传统景深拓展方式会削弱***的光通量和分辨率的缺点，得到最清晰的图像。

实现本发明的技术解决方案为：一种全自动显微图像景深拓展***及其方法，包括图像采集部分和自动控制部分，所述图像采集部分包括彩色相机、筒镜、物镜、载物台、光源，其中彩色相机固定在筒镜尾端，用于实时采集显微镜的成像，物镜安装在筒镜前端下方位置，载物台固定在物镜垂直下方位置，光源固定在载物台下面的底座上；所述自动控制部分包括步进电机、导轨、传感器、中间设备，其中步进电机安装在导轨上，传感器安装在导轨上面，用于限定步进电机在导轨上的运动截止位置，筒镜通过中间设备与步进电机固定，通过前后左右移动步进电机改变采集视野，通过上下移动步进电机移动采集显微镜聚焦范围内图像，整个***是在每个视野的聚焦面上下范围内等间隔不同位置采集图像，将这一系列图像经过图像融合处理后得到景深拓展后的结果。

本发明与现有技术相比，其显著优点：(1)采用基于图像融合的方式进行景深拓展，从而获得每个视野的最清晰图像，相对传统的景深拓展方式不会削弱光学***的光通量和分辨率。(2)利用图像经过高斯滤波后求Tenengrad函数值来定义清晰度大小实现自动聚焦，相比直接求Tenengrad函数值来定义清晰度实现具有更高的准确度。(3)图像采集、图像融合全自动化，并且实现的融合算法简单不会丢弃图像细节信息。

下面结合附图对本发明作进一步详细说明。

附图说明

图1是本发明全自动显微图像景深拓展***二维结构简图。

图2是本发明全自动显微图像景深拓展方法流程图。

图3是本发明使用的变步距遍历法示意图。

图4是本发明中使用的图像融合算法融合后效果图。

图5是本发明对粉末状颗粒物在一个视野的聚焦位置上下移动物镜6采集到的若干图像。

图6是本发明采集完图5中的图像后，利用图像融合算法进行景深拓展后的图像。

图7是本发明对昆虫翅膀在一个视野的聚焦位置上下移动物镜6采集到的若干图像。

图8是本发明采集完图7中的图像后，利用图像融合算法进行景深拓展后的图像。

图9是本发明利用高斯滤波与Tenengrad函数相结合在不同位置得到的折线图。

图10是本发明基于基于傅里叶变换评价函数在不同位置的折线图。

图11是本发明基于Tenengrad评价函数在不同位置的折线图。

图12是本发明基于平方梯度评价函数在不同位置的折线图。

图13是本发明的***光路示意图。

具体实施方式

结合图1和图13，本发明全自动显微图像景深拓展***包括图像采集部分和自动控制部分，其中，图像采集部分包括彩色相机1、筒镜5、物镜6、载物台7、照明***(光源)8，其中彩色相机1固定在筒镜5尾端，用于实时采集显微镜的成像(显微图像)，物镜6安装在筒镜5前端下方位置，载物台7固定在物镜6垂直下方位置，光源8固定在载物台7下面的底座9上，距离载物台7约60-70mm；自动控制部分包括步进电机2、导轨3、传感器4、中间设备10，其中步进电机2安装在导轨3上，可以沿着导轨3移动，传感器4安装在导轨3上面，用于限定步进电机2在导轨3上的运动截止位置，中间设备10是一个带有螺孔的壳体，上面通过螺孔连接筒镜5，外壳里面通过螺孔连接步进电机2，筒镜5通过中间设备10与步进电机2固定。彩色相机1、步进电机2分别连接电脑，***在电脑上按照下述过程进行景深拓展。所以自动控制部分可以通过前后左右移动步进电机2改变采集视野，通过上下移动步进电机2可以移动采集显微镜聚焦范围内图像，整个***是在每个视野的聚焦面上下范围内等间隔不同位置采集图像，将这一系列图像经过图像融合算法处理后得到景深拓展后的结果。如图13所示是***的光路图，首先照明***8产生光源，光源产生光透射经过物体，然后经过物镜和管镜之后，照射在反射镜上面，最后在像面上形成放大的显微图像，该光学***是基于柯勒照明的显微成像设计模型，光源能够均匀照明，反射镜在其中起到光路转折的作用。

结合图2，本发明全自动显微图像景深拓展方法的步骤如下：

第一步：显微图像的自动聚焦处理，即多次移动步进电机2，带动物镜6移动采集图像，按照这种方式进行遍历，对采集到的图像进行处理，先是对图像进行高斯滤波，再对滤波后的图像求Tenengrad函数值，得到该图像的清晰度聚焦评价函数值，比较每一张图像的聚焦评价函数值，得到一个最大的聚焦评价函数值，回到该聚焦评价函数值对应的位置。

对背景技术中评价函数进行实验对比如图所示：结果发现Tenengrad评价函数、平方梯度函数以及傅里叶变换函数都能反应聚焦位置的峰值大小，并对这几种评价函数做了数据的仿真，图10是基于傅里叶变换评价函数在不同位置的折线图，图11是基于Tenengrad评价函数在不同位置的折线图，图12是基于平方梯度评价函数在不同位置的折线图。由此可见在其他离焦位置处由于外界的因素影响也出现了一些不小的峰值点，甚至可能会出现大于聚焦位置的峰值，这样不能准确反映出聚焦位置相对于景深范围内其他位置清晰度的值要高。本发明在图像基础上对图像进行高斯滤波处理，首先将每张图像利用σ＝1.4且大小为5×5的高斯核进行高斯滤波，然后使用Tenengrad函数计算梯度值得到聚焦评价函数值，通过高斯滤波处理之后发现能够很好的反应聚焦位置处的梯度值，其他离焦位置几乎没有任何峰值，如图9所示。所以本发明中以这种方式定义图像的清晰程度，下面是Tenengrad函数计算每个像素的计算公式。

首先f_x＝[f(x+1，y-1)+2f(x+1，y)+f(x+1，y+1)][f(x-1，y-1)+2f(x-1，y)+f(x-1，y+1)]。

其次f_y＝[f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)]-[f(x-1，y-1)+2f(x，y-1)+f(x+1，y-1)]。

计算其中

整个聚焦过程中的遍历方法在前人的方案中做了改进，这种方案避免了爬山搜索法、遍历搜索法、曲线拟合法反复进行搜索的结果，避免了物镜的的反复往返运动，通过遍历方法与聚焦评价函数实现本发明的自动聚焦方案，如图3所述，具体的遍历方法的步骤如下：

步骤一，第一次遍历，步进电机2运动，带动物镜6一起移动，估计离焦距离使得物镜6移动到图3中第一次遍历的起始位置a₁(图3的上限Upper Iimit)，并确定起始搜索域[a₁，b₁]，b₁是第一次遍历的结束位置(图3的下限Lower limit)，从区域上限即图中Upperlimit到下限Lower limit，以大步长(可以为0.04-0.08mm)遍历整个搜索区域，得到聚焦位置1(focus point1)，步进电机2移动使得物镜6移动到聚焦位置1处。

步骤二，步进电机2驱动物镜6运动到聚焦位置1处上一段距离，设置第二次搜索域[a₂，b₂]，a₂、b₂分别是第二次遍历的起始位置、结束位置。以小步长(可以为大步长的一半)进行第二次搜索，得到聚焦位置2(focus point2)。

步骤三，不断减小移动步长，重复步骤二，当步长小于阈值(0.01mm)聚焦结束，步进电机2控制物镜6返回到聚焦位置处(最后得到的聚集位置)，如图3所示为本发明改进的变步距遍历方法示意图。

第二步：自动聚焦步骤完成后，即可按照聚焦到的位置进行景深拓展，本发明采用的景深拓展方式是基于图像融合的方法得到目标图像。显微图像中对每个像素点而言，在聚焦位置处，信息最多，最清晰，但是亮度最小，这和不在聚焦位置处相反。本发明中通过照明***8、物镜6、筒镜5组成显微成像***，显微成像***成像后，相机1采集像面上的图像，如图13和图1所示。步进电机2移动，带动物镜6在设置的上下范围内采集图像，通过相机1采集到这一系列图像后，然后对所有图像中对应像素值进行比较，根据聚焦位置处亮度最小的特征，取每个像素位置处的最小像素值作为最佳像素值，依次遍历所有像素，得到目标图像每个像素的像素值，该目标图像就是景深拓展后的结果，并且这张图像包含的样本信息最多，由此可见该方法不会丢失图像的信息，而且计算量小，所以本发明采用该融合方法作为基于图像融合的景深拓展方法。图4左侧上面为聚焦到镜头的图像，但相机处于离焦状态，图4左侧下面为聚焦到相机的图像，但镜头处于离焦状态，右侧的大图为将这两张图像使用上述图像融合方法经过融合后的结果，可以看出将这两张图像的聚焦状态最清晰的信息都保留了下来。

结合图1和图2，本发明全自动显微图像景深拓展方法中，以两次聚焦为例说明其具体步骤：

第一步，假设目标图像总数目用行数row乘以列数col来表示，设置行方向运动步长(相邻位置的距离)row_d，列方向运动步长col_d，景深拓展中需要融合的图像数目为N，以及物镜6移动步长z_d，其次设置一次聚焦的总位移AF1_dis以及运动步长AF1_d，二次聚焦的总位移AF2_dis以及运动步长AF2_d，并且AF1_d大于AF2_d。

第二步，步进电机2按照上一步设置的参数首先移动到拍摄视野的第一行第一列的位置，首先进行第一次聚焦，进行步长AF1_d往下运动通过彩色相机1采集图像，并对图像进行自动聚焦处理，直到运动完AF1_dis总位移，会算出最清晰图像的位置，并返回该最清晰图像位置，该过程相当于粗聚焦，然后再往上移动二次聚焦总位移的一半距离AF2_dis/2，往下进行步长AF2_d的运动，进行第二次聚焦，同样运动完AF2_dis位移后会得到一个最清晰图像的位置，返回到第二次得到的最清晰图像的位置，即为该视野位置的聚焦点，第二次聚焦相当于细聚焦。

第三步，根据第二步第一行第一列聚焦到的位置，开始按照融合总张数N与运动步长z_d进行往上运动(N-1)*z_d/2位移，并从该位置开始进行采集图像，然后往下按步长由步进电机2移动总共(N-1)*z_d位移，每移动一个步长，彩色相机1采集一次图像，采集完后返回到上一步的二次聚焦位置。

第四步，将第三步在该视野位置采集到的一系列图像进行图像融合处理，最终得到该视野位置经过景深拓展后的图像，即目标图像。

第五步，在上一步处理完后得到第一张目标图像后，再沿行方向移动一个步长row_d到第一行第二列位置，也就是下一个视野位置，和上一个视野一样先进行二次聚焦，聚焦到聚焦面后进行上下范围内图像采集，采集完图片后进行图像融合，得到第二张目标图像。后面的移动过程和上面一样，每移动一个步长进行一次景深内的图像采集、融合，继续往行方向移动，一直移动到第col列，再以col_d步长移动到第二行第col列，再按行方向移动到第col-1、第col-2列……第2列、第1列，再以col_d步长移动到下一行第1列，再按行方向移动到第2列、第3列……第col-1列、第col列......一直按上述方法切换视野，直到获得row*col张目标图像到达最后视野位置结束整个过程。

本发明的方法不仅解决了传统景深拓展方式会削弱***的光通量和分辨率的缺点，而且通过自动聚焦和遍历方法在每个视野位置通过控制步进电机移动镜头进行自动聚焦，然后以聚焦到的位置自动进行对上下范围图像采集，进行对这一系列图像的融合，得到最终的景深拓展结果，即最清晰的图像。

Claims (4)

1.一种全自动显微图像景深拓展***，其特征在于包括图像采集部分和自动控制部分，所述图像采集部分包括彩色相机(1)、筒镜(5)、物镜(6)、载物台(7)、光源(8)，其中彩色相机(1)固定在筒镜(5)尾端，用于实时采集显微镜的成像，物镜(6)安装在筒镜(5)前端下方位置，载物台(7)固定在物镜(6)垂直下方位置，光源(8)固定在载物台(7)下面的底座(9)上；所述自动控制部分包括步进电机(2)、导轨(3)、传感器(4)、中间设备(10)，其中步进电机(2)安装在导轨(3)上，传感器(4)安装在导轨(3)上面，用于限定步进电机(2)在导轨(3)上的运动截止位置，筒镜(5)通过中间设备(10)与步进电机(2)固定，通过前后左右移动步进电机(2)改变采集视野，通过上下移动步进电机(2)移动采集显微镜聚焦范围内图像，整个***是在每个视野的聚焦面上下范围内等间隔不同位置采集图像，将这一系列图像经过图像融合处理后得到景深拓展后的结果。

2.一种全自动显微图像景深拓展方法，其特征在于步骤如下：

第一步：显微图像的自动聚焦处理，即多次移动步进电机(2)，带动物镜(6)移动采集图像，按照这种方式进行遍历，对采集到的图像进行处理，先是对图像进行高斯滤波，再对滤波后的图像求Tenengrad函数值，得到该图像的清晰度聚焦评价函数值，比较每一张图像的聚焦评价函数值，得到一个最大的聚焦评价函数值，回到该聚焦评价函数值对应的位置；

第二步：自动聚焦步骤完成后，按照聚焦到的位置进行景深拓展，对图像融合得到目标图像，通过照明***(8)、物镜(6)、筒镜(5)组成显微成像***，显微成像***成像后，相机(1)采集像面上的图像，步进电机(2)移动，带动物镜(6)在设置的上下范围内采集图像，通过相机(1)采集到这一系列图像后，然后对所有图像中对应像素值进行比较，根据聚焦位置处亮度最小的特征，取每个像素位置处的最小像素值作为最佳像素值，依次遍历所有像素，得到目标图像每个像素的像素值，该目标图像就是景深拓展后的结果。

3.根据权利要求2所述的方法，其特征在于遍历的步骤如下：

步骤一，第一次遍历，步进电机(2)运动，带动物镜(6)一起移动，估计离焦距离使得物镜(6)移动到第一次遍历的起始位置a₁，并确定起始搜索域[a₁，b₁]，b₁是第一次遍历的结束位置，以大步长遍历整个搜索区域，得到第一次遍历的聚焦位置1，步进电机(2)移动使得物镜(6)移动到第一次遍历的聚焦位置1处；

步骤二，步进电机(2)驱动物镜(6)运动到第一次遍历的聚焦位置1处上一段距离，设置第二次搜索域[a₂，b₂]，a₂、b₂分别是第二次遍历的起始位置、结束位置，以小步长进行第二次搜索，得到第二次遍历的聚焦位置2；

步骤三，不断减小移动步长，重复步骤二，当步长小于阈值聚焦结束，步进电机(2)控制物镜(6)返回到聚焦位置处。

4.根据权利要求2所述的方法，其特征在于两次聚焦实现景深拓展的具体步骤如下：

第一步，假设目标图像总数目用行数row乘以列数col来表示，设置行方向运动步长row_d，列方向运动步长col_d，景深拓展中需要融合的图像数目为N，以及物镜(6)移动步长z_d，其次设置一次聚焦的总位移AF1_dis以及运动步长AF1_d，二次聚焦的总位移AF2_dis以及运动步长AF2_d，并且AF1_d大于AF2_d；

第二步，步进电机(2)按照上一步设置的参数首先移动到拍摄视野的第一行第一列的位置，首先进行第一次聚焦，进行步长AF1_d往下运动通过彩色相机1采集图像，并对图像进行自动聚焦处理，直到运动完AF1_dis总位移，会算出最清晰图像的位置，并返回该最清晰图像位置，该过程相当于粗聚焦，然后再往上移动二次聚焦总位移的一半距离AF2_dis/2，往下进行步长AF2_d的运动，进行第二次聚焦，同样运动完AF2_dis位移后会得到一个最清晰图像的位置，返回到第二次得到的最清晰图像的位置，即为该视野位置的聚焦点，第二次聚焦相当于细聚焦；

第三步，根据第二步第一行第一列聚焦到的位置，开始按照融合总张数N与运动步长z_d进行往上运动(N-1)*z_d/2位移，并从该位置开始进行采集图像，然后往下按步长由步进电机2移动总共(N-1)*z_d位移，每移动一个步长，彩色相机(1)采集一次图像，采集完后返回到上一步的二次聚焦位置；

第四步，将第三步在该视野位置采集到的一系列图像进行图像融合处理，最终得到该视野位置经过景深拓展后的图像，即目标图像；

第五步，在上一步处理完后得到第一张目标图像后，再沿行方向移动一个步长row_d到第一行第二列位置，也就是下一个视野位置，和上一个视野一样先进行二次聚焦，聚焦到聚焦面后进行上下范围内图像采集，采集完图片后进行图像融合，得到第二张目标图像；后面的移动过程和上面一样，每移动一个步长进行一次景深内的图像采集、融合，继续往行方向移动，一直移动到第col列，再以col_d步长移动到第二行第col列，再按行方向移动到第col-1、第col-2列……第2列、第1列，再以col_d步长移动到下一行第1列，再按行方向移动到第2列、第3列……第col-1列、第col列......一直按上述方法切换视野，直到获得row*col张目标图像到达最后视野位置结束整个过程。

Images