CN111083365A

CN111083365A - 一种最佳焦平面位置快速检测方法及装置

Info

Publication number: CN111083365A
Application number: CN201911343111.1A
Authority: CN
Inventors: 陈根生
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-12-24
Filing date: 2019-12-24
Publication date: 2020-04-28
Anticipated expiration: 2039-12-24
Also published as: CN111083365B

Abstract

本发明公开一种最佳焦平面位置快速检测方法及装置，该方法利用构建的第一聚焦评价函数和第二聚焦评价函数对每幅原始图像进行预处理，第一聚焦评价函数和第二聚焦评价函数均为图像清晰度描述方式，本发明通过构建的第一聚焦评价函数和第二聚焦评价函数以提高深度学***面位置，进一步大大节省聚焦时间。

Description

一种最佳焦平面位置快速检测方法及装置

技术领域

本发明涉及自动聚焦技术领域，尤其是一种最佳焦平面位置快速检测方法及装置。

背景技术

随着计算机技术的快速发展和数字图像处理理论的日益成熟，自动聚焦技术进入一个新的数字时代。自动聚焦(Auto Focus)是利用物体光反射的原理，将反射的光被相机上的传感器CCD接受，通过计算机处理，带动电动对焦装置进行对焦的方式。在自动聚焦技术中，一个亟待解决的问题就是如何快速准确地确定最佳焦平面所在的位置。

通常，对于一个特定的成像***，其成像的清晰度体现了***的聚焦状态。当聚焦效果比较好的时候，图像较为清晰，轮廓细节等信息丰富，在空间域或频域上突出不同的特征信息。比如，在空间域上，图像的灰度值作为主要的特征信息；在频域上，特征信息为高频分量。图像的清晰度评价函数即图像聚焦函数(focus function)，可以用来衡量图像是否处于最佳聚焦状态。

现有技术中，如中国专利CN105785724中介绍了一种掩膜图形的优化方法、最佳焦平面位置测量方法及***，它通过初始掩膜图形上不同区域预设的透过率和相位，初始掩膜图形对应相移掩膜，构建目标函数，结合优化算法，不断优化目标函数的透过率和相位，找到最优掩膜图形的透过率和相位参数，即最佳焦平面参数。该专利采用优化算法反复地对目标函数进行优化，使得最佳焦平面位置检测时间大大增加。

发明内容

本发明提供一种最佳焦平面位置快速检测方法及装置，用于克服现有技术中检测时间长等缺陷，实现最佳焦平面位置检测时间短、精确度高。

为实现上述目的，本发明提出一种最佳焦平面位置快速检测方法，包括：

101获取N幅原始图像，N为正整数；

102基于构建的第一聚焦评价函数和第二聚焦评价函数对每幅原始图像进行预处理，并对预处理后的图像进行标记，获得数据集{X，Y}，X为特征数据集，Y为标签集；

103利用数据集{X，Y}对搭建的深度学习模型进行训练，以确定所述深度学习模型的权重参数和输入到输出的映射关系；

104将经第一聚焦评价函数和第二聚焦评价函数预处理后的待测图像输入训练好的深度学***面位置。

为实现上述目的，本发明还提出一种最佳焦平面位置快速检测装置，包括：

图像获取模块，用于获取原始图像；

图像处理模块，用于对原始图像进行标记，并基于构建的第一聚焦评价函数和第二聚焦评价函数对每幅原始图像进行预处理，获得数据集{X，Y}，X为特征数据集，Y为标签集；

模型训练模块，用于利用数据集{X，Y}对搭建的深度学习模型进行训练，以确定所述深度学习模型的权重参数和输入到输出的映射关系；

检测模块，用于将经第一聚焦评价函数和第二聚焦评价函数预处理后的待测图像输入训练好的深度学***面位置。

为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

与现有技术相比，本发明的有益效果有：

本发明提供的最佳焦平面位置快速检测方法，利用构建的第一聚焦评价函数和第二聚焦评价函数对每幅原始图像进行预处理，第一聚焦评价函数和第二聚焦评价函数均为图像清晰度描述方式，第一聚焦评价函数针对的是图像亮度变化均匀时，传统的聚焦评价函数存在单峰性差，抗造效果不好的问题；第二聚焦评价函数针对的是图像亮度变化剧烈时，传统的聚焦评价函数不能适用于各种类型的聚焦图像，计算速度慢，准确率低的问题。本发明通过构建的第一聚焦评价函数和第二聚焦评价函数以提高深度学***面或下焦平面等)，相比现有广泛采用的基于多幅图像清晰度评价的“盲人爬山搜索”方法(该方法在同一个视野需要若干副图像进行清晰度比对才能确定是否在焦平面，而且无法有效确定聚焦方向)，本发明提供的方法能快速找到拍摄***的最佳焦平面位置，进一步大大节省聚焦时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明提供的最佳焦平面位置快速检测方法流程图；

图2为本发明实施例中深度残差网络模型的结构示意图；

图3为本发明实施例中残差学习单元的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本实施例提出一种最佳焦平面位置快速检测方法，如图1所示，包括：

101获取N幅原始图像，N为正整数；

本实施例中所采用的方法是将最佳焦平面位置判断问题转化为不同焦平面图像的分类问题，结合人工智能技术，快速准确地检测图像的聚焦状态和离焦类型。本实施例中分类类型包括上焦平面、下焦平面和在焦平面(即最佳焦平面)三个分类，但本发明方法并不仅限于检测这三个分类，还可以包括左焦平面、右焦平面等等。

本实施例方法具体而言：在训练阶段，预先采集大量样本数据(即获取不同焦平面上的海量图像)并通过预处理获得数据集，通过数据集对搭建的深度学***面位置检测模型；给定一幅待测图像并预处理，然后将其输入训练好的深度学***面或下焦平面)。本实施例的方法通过图像绝对清晰度快速判断当前图像的质量，输出当前图像的聚焦状态和离焦类型，进一步地，对模糊图像进行快速重聚焦，准确输出拍摄***的最佳焦平面位置。

在101中，原始图像包括在拍摄***最佳聚焦平面位置拍摄的图像和在拍摄***离焦平面位置拍摄的图像。最佳聚焦平面位置拍摄的图像为清晰原始图像，而在离焦平面位置拍摄的图像为模糊原始图像，本实施例中离焦平面包括上焦平面和下焦平面，并且偏离最佳聚焦平面的偏差值越大，图像越模糊。

原始图像通过图像采集***进行采集，图像采集设***可以是任何可调节焦距的成像装置。例如：数字光学显微镜、网络监控相机等。本实施例采用网络监控相机。

依据图像采集***各自的调焦方式，采用固定的步长调整图像采集***的焦距，进而采集不同焦距下的原始图像。在各个非焦距平面位置，采集数量相同的原始图像。

此外，采集的原始图像包括在不同的环境、情况和场景下拍摄的大量样本。

本实施例中，共采集20000幅原始图像，包括10000幅清晰的原始图像，和10000幅模糊的原始图像。

在102中，所述第一聚焦评价函数和第二聚焦评价函数是基于灰度方差法进行构建的。

本实施例中，聚焦评价函数(第一聚焦评价函数和第二聚焦评价函数)是用来对图像进行预处理，以便于深度学习模型能够学习更复杂结构的图像特征，基于此，本实施例中采用的聚焦评价函数应该具有易于计算，且能提取图像中的底层特征(边缘、轮廓信息)。

灰度方差法是指利用图像的灰度变化作为聚焦评价的依据，其依据是当图像完全聚焦时，图像最清晰，图像中的高频分量也最多，在空间域上表现为图像的对比度变化较明显，即图像相邻像素的灰度值变化较大。

灰度方差法具有较好的计算性能，可充分提取图像中边缘和轮廓信息，综合计算速度和评价准确度，灰度方差法是传统方法中应用广泛的一种图像清晰度评价方法。

基于灰度方差法的图像聚焦函数，其缺点也是存在在，即当图像的亮度变化比较均匀时，灰度方差法计算所得到的数据值之间差异较小，不满足图像清晰度评价函数的单峰性要求，即在焦点附近灵敏度不够，从而导致对于灰度变化均匀的图像清晰度评价准确率不高。因此，本实施例采取改进的灰度方差法作为图像清晰度的聚焦评价函数。

基于灰度方差法的图像聚焦函数，在图像的亮度变化比较均匀时，灰度方差法计算所得的数据值之间差异较小，不满足图像聚焦函数的单峰性要求，因此其聚焦效果不好，不能明显表示不同焦平面位置图像的清晰程度。因此，本实施例提出一种基于灰度方差法构建的第一聚焦评价函数，计算方法如下，对每一个像素点f(x,y)的1邻域，计算该像素点f(x,y)在x方向上左、右两个像素灰度差值的中值，在y方向上上、下两个像素灰度差值的中值，然后计算这两个中值的乘积，该第一聚焦评价函数的定义如下：

式中，f(x+1,y)表示图像第x+1行、第y列像素的灰度值；f(x-1,y)表示图像第x-1行、第y列像素的灰度值；f(x,y+1)表示图像第x行、第y+1列像素的灰度值；f(x,y-1)表示图像第x行、第y-1列像素的灰度值；Q和P表示图像的行数和列数；

本实施例提出的第一聚焦评价函数，与传统的灰度差分法相比，通过计算每个像素1领域内x方向和y方向上灰度差值的中值的乘积，使得该聚焦评价函数在极值点附近陡峭，即图像聚焦评价函数有着更好的单峰性和实时性，采用灰度差值的中值进一步地可以避免图像中噪声的干扰，即抗噪效果好。

基于灰度方差法的图像聚焦函数，当图像的亮度变化比较剧烈时，灰度方差法计算所得到数据值之间差异较大，图像清晰度评价函数存在多个峰值，不利于快速准确地找到焦点位置。基于此，考虑到图像的灰度变化比较剧烈时，图像边缘越清晰，图像也越清晰。因此，本实施例中提出了另一种基于灰度方差法构建的第二聚焦评价函数，计算方法如下：对每一个像素点P(x,y)，以点P(x,y)为圆心画一个半径为2个像素的圆形区域，将该圆形区域的圆周上的8个像素点作为点P(x,y)的邻域像素点集合{P}，对圆形像素8邻域的灰度变化进行距离加权，考虑到权重的大小取决于距离，距离远，则权重小。因此，在本实施例中，圆形区域的圆周上的8个像素到点P(x,y)的距离相等，所有的权重值均为1。该第二聚焦评价函数的定义如下：

式中，I(x,y)表示像素点集合{P}内的一个像素，像素点集合{P}表示以像素点P(x,y)为圆心画一个半径为r个像素的圆形区域，该圆形区域的圆周上的n个像素点组成的像素点P(x,y)的领域像素点集合；dx表示两个像素点在x方向上的距离增量；Q和P表示图像的行数和列数。

本实施例提出的第二聚焦评价函数，采用灰度的变化率来描述图像的清晰度。在图像亮度变化剧烈时，计算8邻域像素点集合中每个像素点到该中心像素点的灰度变化率之和，灰度的变化率反映了图像的边缘锐度信息，图像边缘越清晰，图像也越清晰。

此外，第二聚焦评价函数不但具备易于实现和快速计算等空域灰度参数的特点，同时具备对图像灰度分布差异变化敏感的频域参数的特点，可以快速、准确地评价各类数字图像的清晰度。

然后，将在101获取的20000幅原始图像中的每幅图像都通过本实施例构建的第一聚焦评价函数和第二聚焦评价函数进行预处理，并将所有预处理后的图像构成一个特征数据集X。最后，对预处理后的20000幅图像进行标记，将清晰的原始图像标记为0，表示该图像是在最佳焦平面位置处拍摄的。将模糊的原始图像标记为1或-1，具体来说，对离焦平面采集的模糊原始图像，将在上焦平面位置拍摄的模糊原始图像标记为-1，将在下焦平面位置拍摄的模糊原始图像标记为1，并将每幅原始图像的标记构成一个标签集Y＝{y¹,y²,......,y^N}，其中y^N表示第N幅图像的标记，取值为0、1或-1。

在103中，所述深度学习模型为深度残差网络模型，依次包括：

输入层，用于向深度残差网络模型输入经第一聚焦评价函数和第二聚焦评价函数处理后的特征图像；

特征提取层，用于提取输入特征图像的特征，并降低特征的维度；

输出层，用于将图像特征进行分类以输出标签值。

所述特征提取层依次包括：

卷积层，用于提取图像在各个层次上的特征。首先是图像底层的颜色、亮度特征，其次是图像中边缘、角点、直线等局部细节特征，最后是图像纹理、集合形状等复杂的结构信息；

最大池化层，用于降低图像特征的维数、缩减模型参数。采用计算图像某一个区域最大值的方法，利用该最大值替代图像区域，实现图像特征维数的降低、缩减模型参数，提高模型计算速度，同时，使得图像对于平移和旋转不敏感；

若干残差学习单元，基于多个有参层来学习输入输出之间的残差表示以提高模型的准确率。通过使用多个有参层来学习输入输出之间的残差表示，使得网络能够在深度增加的情况下保持模型的准确率，同时缩小模型训练的时间；

平均池化层，用于降低图像的尺寸、缩减模型大小。采用计算图像某一个区域平均值的方法，利用该平均值替代图像区域，降低图像的尺寸，缩减模型大小，提高计算速度，使得图像对平移和旋转的鲁棒性好；

本实施例中采用的深度学习模型为深度残差网络模型，如图2所示。本实施例中深度学习模型的输入层的输入大小为224×224，输出层为softmax层。

本实施例中深度残差网络模型的特征提取层依次包括：

A：卷积层，卷积核尺寸为7 7，步长为2；

B：最大池化层，卷积核尺寸为3×3，步长为2；

C：8个残差学习单元，所述8个残差学习单元共包括16个卷积层，每两个卷积层增加一个短路连接(shortcut connection)。

将两个卷积层+短路连接构成的单元称为残差学习单元，如图3所示。每个残差学习单元中的卷积层均采用3×3的卷积核，8个残差学习单元输出的特征图数量依次为64、64、128、128、256、256、512和512。

本实施例中，所有的短路连接均采用恒等映射(Identity Mapping)，即当输入和输出维度一致时，可以直接将输入加到输出上，当维度不一致时(即对应的维度增加一倍时)，用补零(zero-padding)增加维度。

D：平均池化层，卷积核尺寸为7×7，步长为1，输出特征的维数为1000。

本实施例中，深度学习模型的训练过程为：

将数据集{X，Y}中的数据顺序随机打乱，并输入搭建的深度学习模型；

设置深度学习模型的初始学习率并开始进行训练；

当训练误差不再下降时，重新设置深度学习模型的学习率并设置训练迭代次数，以确定深度学习模型的权重参数和输入到输出的映射关系。

本实施例中具体训练过程为：将深度学***均池化等操作后，得到训练好的网络模型。在训练过程中，初始学***镜像，并减去均值，采用SGD优化算法进行训练，确定深度学习模型的权重参数和输入到输出的映射关系。

训练好的深度学习模型可用于图像的清晰度检测，即图像聚焦状态检测(在焦或离焦)，而且还能进一步判断离焦的类型(上焦面或下焦面)。

在104中，步骤104的具体过程为：

1041基于构建的第一聚焦评价函数和第二聚焦评价函数对待测图像进行预处理；

1042将预处理后的图像输入训练好的深度学***面；若输出的标签值为-1，则输入图像位于上焦平面；若输出的标签值为0，则输入图像位于最佳焦平面位置；

1043输出标签值为-1和1的图像，根据输出结果控制拍摄***移动重新获取图像并经预处理后重新输入训练好的深度学习模型进行检测，直至输出的标签值为0，并记录标签值为0时的拍摄***位置。

本实施例还提出一种最佳焦平面位置快速检测装置，包括：

图像获取模块，用于获取原始图像；

本实施例还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims

1.一种最佳焦平面位置快速检测方法，其特征在于，包括：

101获取N幅原始图像，N为正整数；

2.如权利要求1所述的最佳焦平面位置快速检测方法，其特征在于，所述原始图像包括在最佳聚焦平面位置拍摄的图像和在离焦平面位置拍摄的图像。

3.如权利要求1所述的最佳焦平面位置快速检测方法，其特征在于，所述102中，所述第一聚焦评价函数和第二聚焦评价函数是基于灰度方差法进行构建的。

4.如权利要求3所述的最佳焦平面位置快速检测方法，其特征在于，所述第一聚焦评价函数为：

所述第二聚焦评价函数为：

5.如权利要求1所述的最佳焦平面位置快速检测方法，其特征在于，所述深度学习模型为深度残差网络模型，依次包括：

输出层，用于将图像特征进行分类以输出标签值。

6.如权利要求5所述的最佳焦平面位置快速检测方法，其特征在于，所述特征提取层依次包括：

卷积层，用于提取图像在各个层次上的特征；

最大池化层，用于降低图像特征的维数、缩减模型参数；

若干残差学习单元，基于多个有参层来学习输入输出之间的残差表示以提高模型的准确率；

平均池化层，用于降低图像的尺寸、缩减模型大小。

7.如权利要求6所述的最佳焦平面位置快速检测方法，其特征在于，所述深度学习模型的训练过程为：

设置深度学习模型的初始学习率并开始进行训练；

8.如权利要求1所述的最佳焦平面位置快速检测方法，其特征在于，所述104具体包括：

9.一种最佳焦平面位置快速检测装置，其特征在于，包括：

图像获取模块，用于获取原始图像；

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～8中任一项所述方法的步骤。