CN109698901A - 自动对焦方法、装置、存储介质和计算机设备 - Google Patents

自动对焦方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN109698901A
CN109698901A CN201710994453.4A CN201710994453A CN109698901A CN 109698901 A CN109698901 A CN 109698901A CN 201710994453 A CN201710994453 A CN 201710994453A CN 109698901 A CN109698901 A CN 109698901A
Authority
CN
China
Prior art keywords
focusing
neural network
image
nextstate
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710994453.4A
Other languages
English (en)
Other versions
CN109698901B (zh
Inventor
杨芒
吴本涛
郑方圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Shunde Industrial Design Institute
Original Assignee
Guangdong Shunde Industrial Design Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Shunde Industrial Design Institute filed Critical Guangdong Shunde Industrial Design Institute
Priority to CN201710994453.4A priority Critical patent/CN109698901B/zh
Publication of CN109698901A publication Critical patent/CN109698901A/zh
Application granted granted Critical
Publication of CN109698901B publication Critical patent/CN109698901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种自动对焦方法、装置、存储介质和计算机设备，所述方法包括以下步骤：通过图像清晰度评价函数获取待处理图像的评价曲线，得到清晰的图像画面，获取通过损失函数完成拟合训练的BP神经网络模型，将评价曲线中的物***置数据输入BP神经网络模型，确定待处理图像的对焦点，使用损失函数对BP神经网络进行拟合训练，可以使误差达到最小，使用BP神经网络模型进行对焦点的预测，提高了自动对焦的速度；细对焦期间，使用模拟退火算法对对焦点进行优化处理，得到全局最优的对焦位置，避免了局部峰值的影响，提高了对焦的准确度，从而实现了快速准确地得到全局最佳对焦位置，完成自动对焦。

Description

自动对焦方法、装置、存储介质和计算机设备
技术领域
本申请涉及光学成像技术领域，特别是涉及一种自动对焦方法、装置、存储介质和计算机设备。
背景技术
近年来，随着电子科技行业突飞猛进的发展，各种装置的摄像功能越来越强大，例如提升影像像素、强化自拍功能、加大光圈、增强光学防抖功能、加快对焦速度、自动对焦等。
自动对焦技术作为计算机视觉和各类成像***的关键技术之一，在照相机、摄像机、显微镜、内窥镜等成像***中有着广泛的用途。自动对焦(Auto Focus)是通过相机的传感器CCD接受物体反射光，然后经过计算机处理，带动装置进行对焦的方法。传统的自动对焦方法有测距法、像偏移法、焦点检测自动对焦法等，自动对焦***中的另一个关键技术是对焦搜索策略，常见的有函数逼近法、Fibbonacci搜索法和爬山搜索法，但是现有的对焦技术中存在无法快速准确达到最佳对焦位置的问题。
发明内容
基于此，有必要针对无法快速准确达到最佳对焦位置的问题，提供一种能够快速准确达到最佳对焦位置的自动对焦方法、装置、存储介质和计算机设备。
一种自动对焦方法，包括以下步骤：
通过图像清晰度评价函数获取待处理图像的评价曲线；
获取通过损失函数完成拟合训练的BP神经网络模型；
将评价曲线中的物***置数据输入BP神经网络模型，确定待处理图像的对焦点；
采用模拟退火算法，对对焦点进行优化处理，获取全局最优对焦位置。
在其中一个实施例中，通过图像清晰度评价函数获取待处理图像的评价曲线的步骤之前还包括：
通过将离散余弦变换评价函数与平方梯度函数加权叠加，形成图像清晰度评价函数。
在其中一个实施例中，获取通过损失函数完成拟合训练的BP神经网络模型的步骤之前还包括：
建立BP神经网络模型；
获取预定义最佳对焦位置向量；
获取BP神经网络模型的训练样本，根据损失函数和预定义最佳对焦位置向量进行拟合训练。
在其中一个实施例中，BP神经网络模型包括输入层、隐藏层和输出层，获取BP神经网络模型的训练样本，根据损失函数和预定义最佳对焦位置向量进行拟合训练的步骤包括：
由输入层接收训练样本，经过隐藏层进行信息处理，然后由输出层输出实际结果；
当实际结果与预定义最佳对焦位置向量不符时，获取误差结果，并将误差结果向隐藏层传播，通过损失函数和误差结果修改隐藏层参数。
在其中一个实施例中，损失函数为：
式中，表示神经网络权值参数矩阵，是θ的总集合，m表示训练样本个数，K表示输出单元数，L表示网络层数，Sl表示l层的单元数，λ表示训练步长。
在其中一个实施例中，采用模拟退火算法，对对焦点进行优化处理，获取全局最优对焦位置的步骤包括：
将对焦点设置为当前状态，模拟退火算法的每一次搜索过程中引入一个随机位置，将随机位置设置为下一状态，获取当前状态和下一状态对应的能量；
若当前状态的能量小于下一状态的能量，则用下一状态取代当前状态，否则，获取当前状态和下一状态的能量差并计算能量差出现的概率；
若能量差出现的概率满足预设概率要求，则用下一状态取代当前状态，否则，丢弃下一状态对应的随机位置；
重复模拟退火算法中的搜索过程，且模拟退火算法中的温度随搜索过程次数的增加而下降，当温度下降到设定的***温度时，获取温度对应的搜索过程中的当前状态，将获取的当前状态的对应位置作为全局最优对焦位置。
在其中一个实施例中，若能量差出现的概率满足预设概率要求，则用下一状态取代当前状态的步骤包括：
当能量差出现的概率P(dE)大于给定随机概率时，用下一状态取代当前状态；
其中，能量差出现的概率P(dE)＝exp(dE/Tk)，
式中，dE为当前状态与下一状态的能量差，Tk为下一状态对应的能量值；
给定随机概率通过预设随机数生成函数生成的随机数满足的标准正态分布来确定。
一种自动对焦装置，包括：
图像清晰度评价模块，用于通过图像清晰度评价函数获取待处理图像的评价曲线；
快速定焦模块，用于获取通过损失函数完成拟合训练的BP神经网络模型，将评价曲线中的物***置数据输入BP神经网络模型，确定待处理图像的对焦点；
全局最优搜索模块，用于采用模拟退火算法，对对焦点进行优化处理，获取全局最优对焦位置。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现自动对焦方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现自动对焦方法的步骤。
上述自动对焦方法、装置、存储介质和计算机设备，通过图像清晰度评价函数获取待处理图像的评价曲线，得到清晰的图像画面，使用通过损失函数完成拟合训练的BP神经网络模型进行对焦点的预测，使用损失函数对BP神经网络进行拟合训练，可以使误差达到最小，使用BP神经网络模型进行对焦点的预测，提高了自动对焦的速度，细对焦期间，使用模拟退火算法得到全局最优的对焦位置，避免了局部峰值的影响，提高了对焦的准确度，从而实现了快速准确地得到全局最佳对焦位置，完成自动对焦。
附图说明
图1为一个实施例中自动对焦方法的流程示意图；
图2为另一个实施例中自动对焦方法的流程示意图；
图3为一个实施例中自动对焦方法的BP神经网络结构图；
图4为一个实施例中自动对焦方法的清晰度值与物***置关系图；
图5为一个实施例中自动对焦方法的模拟退火算法过程流程示意图；
图6为另一个实施例中自动对焦方法的流程示意图；
图7为一个实施例中自动对焦装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体地实施例的目的，不是旨在于限制本申请。应该理解的是，本申请的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图1所示的自动对焦方法的流程示意图，自动对焦方法包括以下步骤：
步骤S200，通过图像清晰度评价函数获取待处理图像的评价曲线。
自动对焦是决定图像质量的重要因素，图像的清晰度是衡量图像质量优劣的重要指标，对焦性能取决于图像清晰度评价函数的快速性和准确性，即评价函数的灵敏性和单峰性的性能，通过灵敏性高和单峰性好的图像清晰度评价函数对待处理图像进行处理，使得待处理图像的清晰度达到最大值。
步骤S400，获取通过损失函数完成拟合训练的BP神经网络模型。
BP神经网络模型是一种基于反向传播算法的模型，反向传播算法也称BP算法，本质上是一种为了解决多层前向神经网络的权值参数优化的神经网络自学习的数学模型，可以对神经网络中各层的权值参数进行修正，适用于多层网络的学习，损失函数是模型对数据拟合程度的反映，通过使用损失函数对BP神经网络模型的训练样本进行拟合训练，可以获得误差小，拟合程度高的训练结果。
步骤S600，将评价曲线中的物***置数据输入BP神经网络模型，确定待处理图像的对焦点。
评价曲线对应于相机和物体的距离关系，通过将评价曲线中的物***置数据输入BP神经网络模型，训练好的BP神经网络模型对输入数据进行处理，可以快速得到待处理图像的对焦点。
步骤S800，采用模拟退火算法，对对焦点进行优化处理，获取全局最优对焦位置。
模拟退火算法是一种基于概率的算法，通过赋予搜索过程一种时变且最终趋于零的概率突跳性，从而可有效避免陷入局部极小并最终趋于全局最优的串行结构的优化算法，通过BP神经网络处理得到的对焦点可能陷入局部最优，采用模拟退火算法对得到的对焦点进行优化处理，获取全局最优对焦位置。
上述自动对焦方法、装置、存储介质和计算机设备，通过图像清晰度评价函数获取待处理图像的评价曲线，得到清晰的图像画面，使用通过损失函数完成拟合训练的BP神经网络模型进行对焦点的预测，使用损失函数对BP神经网络进行拟合训练，可以使误差达到最小，使用BP神经网络模型进行对焦点的预测，提高了自动对焦的速度，细对焦期间，使用模拟退火算法得到全局最优的对焦位置，避免了局部峰值的影响，提高了对焦的准确度，从而实现了快速准确地得到全局最佳对焦位置，完成自动对焦。
如图2所示，在一个实施例中，步骤S200之前还包括：
步骤S100，通过将离散余弦变换评价函数与平方梯度函数加权叠加，形成图像清晰度评价函数。
目前常用的清晰度评价函数包括基于频域特征的评价函数，如离散余弦变换等，其灵敏度高，但计算量大，很难满足实时对焦的要求；基于空间域特征的评价函数，如平方梯度函数等，具有良好的单峰性却易受噪声影响，通过将离散余弦变换评价函数与平方梯度函数结合，可以兼顾较好的单峰性和灵敏度，使对焦过程更加快速有效，适合实时对焦***。
离散余弦变换，常用于图像处理和图像识别，仅使用余弦函数来表示信号，可以使用变换后的高频分量信息评价图像的清晰度。在离散余弦变换中，每幅图像被分割成8×8的小块，图像对应方向的灰度值转换为离散余弦变换系数，转换公式如式(1)所示。
F(x,y)＝Cf(x,y)CT (1)
式中，
其中，F(x，y)为离散余弦变换变换后的矩阵，f(x，y)为原始图像对应的灰度值矩阵，C为离散余弦变换变换矩阵，例如8×8图像中取N＝8，经过变换后，低频信息集中在矩阵的左上角，而高频信息集中在矩阵的右下角，图像的高频分量用来作为清晰度的衡量标准，对于一幅m×n的图像，其评价函数如式(3)所示。
其中，i，j为DCT转换后的图像X中对应的下标。
平方梯度函数表达式如下：
在图像处理中，梯度函数常被用来提取边缘信息，对焦良好的图像，边缘更尖锐，有更大的梯度值，平方梯度函数采用相邻点的差分计算一个点的梯度值，单峰性好，可靠性高。
平方梯度函数单峰性好，但灵敏度不高，而单独使用离散余弦变换不能得到单峰性较好的结果。将离散余弦变换评价函数与平方梯度函数进行加权叠加使用，使图像清晰度评价方法兼具好的单峰性和灵敏度，运算复杂度在精确对焦允许范围类，可以达到理想的效果。图像清晰度评价函数使用组合算子：
m(x)＝k1h(X)+k2g(X) (5)
式中，k1和k2为加权值，不同的图像对应不同的组合算子，可以通过调整加权值，选取效果最好的一对组合，获取清晰的图像。
在一个实施例中，步骤S400之前还包括：
步骤S320，建立BP神经网络模型。
在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器模型；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器模型，BP神经网络模型是一种按误差逆传播算法训练的多层前馈网络，是通过在神经网络学习中由外部提供的模式样本信号进行自学习拟合复杂的非线性模型的感知器模型。
如图3所示，在其中一个实施例中，BP神经网络模型包括输入层210、隐藏层220和输出层230，输入层210接收外来的输入样本，隐藏层220进行网络的权值参数调整，输出层230输出实际结果，可以根据问题的复杂度，选择隐藏层220的层数，层数越多，模型越复杂，训练越困难，但拟合能力也越强大，隐藏层220和外界不连接.但是它们的状态则影响输入输出之间的关系，这也是说，改变隐藏层220的权值系数可以改变整个多层神经网络的性能。
步骤S340，获取预定义最佳对焦位置向量。
将预定义最佳对焦位置向量作为期望的输出信号，与输出层230的实际输出结果进行比较，通过产生的误差去控制修改权值参数。
步骤S360，获取BP神经网络模型的训练样本，通过损失函数和预定义最佳对焦位置向量进行拟合训练。
在其中一个实施例中，步骤S360包括：
由输入层210接收训练样本，经过隐藏层220进行信息处理，然后由输出层230输出实际结果，当实际结果与预定义最佳对焦位置向量不符时，获取误差结果，并将误差结果向隐藏层220传播，通过损失函数和误差结果修改隐藏层220的参数。
具体地，预定义的最佳对焦位置向量可以调节物体和相机之间的距离提前测定，训练过程包括正向传播和反向传播过程，其中，正向传播是输入的训练样本从输入层210经过隐藏层220一层一层进行处理，通过所有的隐藏层220之后，则传向输出层230；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响，在输出层230把实际输出和期望输出进行比较，如果实际输出不等于期望输出，则得到误差信号，进入反向传播过程。反向传播时，把误差信号按原来正向传播的通路反向传回，隐藏层220按照损失函数根据误差去对权值参数进行修改，修改方向应使误差变小，不断进行下去，使到误差为零，这时实际输出值和期望输出值完全一样，则拟合训练过程结束。
在其中一个实施例中，BP神经网络权值参数的修改可以采用损失函数来进行，损失函数为：
式中，Θ表示BP神经网络权值参数矩阵，是θ的总集合，m表示训练样本个数，K表示输出单元数，L表示网络层数，Sl表示l层的单元数，λ表示训练步长。
如图3和图4所示，在一个实施例中，BP神经网络训练模型，隐藏层220的层数为2，每层神经元个数为5，输入层210为[s0，s1，s2]T，对应物体在当前相机状态下的不同位置，输出层230为[y0，y1，y2，y3]T对应神经网络对于当前位置的最佳预测，表示概率，且满足条件y0+y1+y2+y3＝1，预定义的最佳对焦位置向量[z0，z1，z2，z3]T，zi分别对应每种类型yi的最佳对焦位置。在***中，首先离线训练BP神经网络，然后将[s0，s1，s2]T输入到训练好的BP神经网络，预测出对应的类别，这样就可以对应到[z0，z1，z2，z3]T中的某个最佳对焦点，然后驱动镜头直接移动到该最佳对焦点，比如y0＝0，y1＝0.1，y2＝0.8，y3＝0.1，取最大概率yi对应的zi，最大概率为y2，则神经网络对最佳位置的预测为z2，对应为待处理图像的对焦点S3。可以理解，输入层210和输出层230的节点数、隐藏层220的层数和神经单元数可以根据实际情况进行替换。
通过BP神经网络处理得到的对焦点后，使用模拟退火算法进行细对焦处理，可以获得全局最优对焦位置。模拟退火算法是一种通用概率算法，用来在一个大的搜寻空间内找寻命题的最优解，该算法是源于对热力学中退火过程的模拟，在某一给定初温下，通过缓慢下降温度参数，使算法能够在多项式时间内给出一个近似最优解。算法先以搜寻空间内一个任意点作起始，每一步先选择一个“邻居”，然后再计算从现有位置到达“邻居”的概率。模拟退火是一种贪心算法，但是它的搜索过程引入了随机因素，模拟退火算法以一定的概率来接受一个比当前解要差的解，因此有可能会跳出这个局部的最优解，达到全局的最优解，具有良好的全局搜索能力。
如图5所示，在其中一个实施例中，步骤S800包括：
步骤S820，将对焦点设置为当前状态，模拟退火算法的每一次搜索过程中引入一个随机位置，将随机位置设置为下一状态，获取当前状态和下一状态对应的能量。
步骤S840，若当前状态的能量小于下一状态的能量，则用下一状态取代当前状态，否则，获取当前状态和下一状态的能量差并计算能量差出现的概率。
步骤S860，若能量差出现的概率满足预设概率要求，则用下一状态取代当前状态，否则，丢弃下一状态对应的随机位置。
步骤S880，重复模拟退火算法中的搜索过程，且模拟退火算法中的温度随搜索过程次数的增加而下降，当温度下降到设定的***温度时，获取温度对应的搜索过程中的当前状态，将获取的当前状态的对应位置作为全局最优对焦位置。
具体地，根据热力学原理，温度为T时，出现能量差为dE的降温的概率为P(dE)，因此接受概率表示为：
P(dE)＝exp(dE/Tk) (7)
式中，dE为当前状态与下一状态的能量差，Tk为下一状态对应的能量值，经过BP神经网络预测得到对焦点后，用对焦点位置信息来初始化模拟退火算法，进一步搜索得到全局最优的对焦位置。算法具体描述如下：
计算当前状态Y(i)和下一状态Y(i+1)的能量差dE＝Y(i)-Y(i+1)；
若dE<0，则接受下一状态，并将状态更新到Y(i+1)；
否则，计算概率P(dE)；
若P(dE)大于随机给定概率，则更新状态Y(i+1)；否则，放弃Y(i+1)；
逐渐降低***温度T，***最低温度为Tmin；
当T<Tmin时，结束算法。
其中，给定随机概率可以通过预设随机数生成函数生成的随机数满足的标准正态分布来确定，经过模拟退火算法可以快速求出最优对焦位置，并且可以避免局部最优，进一步提高了调焦的搜索速度。
如图4所示，更具体地，当前状态可以对应为图4中通过BP神经网络处理得到的预测的对焦点S3，经过模拟退火算法得到的全局最优的对焦位置为图4中的Sw，驱动相机镜头到达Sw对应位置，完成自动对焦。
如图6所示，在一个实施例中，自动对焦方法包括以下步骤：
步骤S100，通过将离散余弦变换评价函数与平方梯度函数加权叠加，形成图像清晰度评价函数。
步骤S200，通过图像清晰度评价函数获取待处理图像的评价曲线。
步骤S320，建立BP神经网络模型。
步骤S340，获取预定义最佳对焦位置向量。
步骤S360，由BP神经网络模型的输入层接收获取的训练样本，经过隐藏层进行信息处理，然后由输出层输出实际结果，当实际结果与预定义最佳对焦位置向量不符时，获取误差结果，并将误差结果向隐藏层传播，通过损失函数和误差结果修改隐藏层参数。
步骤S400，获取通过损失函数完成拟合训练的BP神经网络模型。
步骤S600，将评价曲线中的物***置数据输入BP神经网络模型，确定待处理图像的对焦点。
步骤S820，将对焦点设置为当前状态，模拟退火算法的每一次搜索过程中引入一个随机位置，将随机位置设置为下一状态，获取当前状态和下一状态对应的能量。
步骤S840，若当前状态的能量小于下一状态的能量，则用下一状态取代当前状态，否则，获取当前状态和下一状态的能量差并计算能量差出现的概率。
步骤S860，若能量差出现的概率满足预设概率要求，则用下一状态取代当前状态，否则，丢弃下一状态对应的随机位置。
步骤S880，重复模拟退火算法中的搜索过程，且模拟退火算法中的温度随搜索过程次数的增加而下降，当温度下降到设定的***温度时，获取温度对应的搜索过程中的当前状态，将获取的当前状态的对应位置作为全局最优对焦位置。
上述自动对焦方法，通过图像清晰度评价函数获取待处理图像的评价曲线，得到清晰的图像画面，使用通过损失函数完成拟合训练的BP神经网络模型进行对焦点的预测，使用损失函数对BP神经网络进行拟合训练，可以使误差达到最小，使用BP神经网络模型进行对焦点的预测，提高了自动对焦的速度，细对焦期间，使用模拟退火算法得到全局最优的对焦位置，避免了局部峰值的影响，提高了对焦的准确度，从而实现了快速准确地得到全局最佳对焦位置，完成自动对焦。
如图7所示，一种自动对焦装置，包括：
图像清晰度评价模块100，用于获取图像清晰度评价函数，采用图像清晰度评价函数对待处理图像进行评价，获取图像数据参数。
快速定焦模块200，用于获取已完成训练的BP神经网络模型，将图像数据参数输入BP神经网络模型，确定待处理图像的对焦点。
全局最优搜索模块300，用于采用模拟退火算法，对对焦点进行优化处理，获取全局最优对焦位置。
上述自动对焦装置，通过图像清晰度评价函数获取待处理图像的评价曲线，得到清晰的图像画面，使用通过损失函数完成拟合训练的BP神经网络模型进行对焦点的预测，使用损失函数对BP神经网络进行拟合训练，可以使误差达到最小，使用BP神经网络模型进行对焦点的预测，提高了自动对焦的速度，细对焦期间，使用模拟退火算法得到全局最优的对焦位置，避免了局部峰值的影响，提高了对焦的准确度，从而实现了快速准确地得到全局最佳对焦位置，完成自动对焦。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现自动对焦方法的步骤。
计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现自动对焦方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行自动对焦方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解上述结构仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在其中一个实施例中，本申请提供的自动对焦装置可以实现为一种计算机程序的形式，计算机程序可在计算机设备上运行。计算机设备的存储器中可存储组成该自动对焦装置的各个程序模块，比如，图7所示的图像清晰度评价模块100、快速定焦模块200和全局最优搜索模块300。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的自动对焦方法中的步骤。
例如，计算机设备可以通过如图7所示的自动对焦装置中的图像清晰度评价模块100执行步骤S200；计算机设备可通过快速定焦模块200执行步骤S400和步骤S600；计算机设备可通过全局最优搜索模块300执行步骤S800。
上述用于实现自动对焦方法的计算机设备，通过图像清晰度评价函数获取待处理图像的评价曲线，得到清晰的图像画面，使用通过损失函数完成拟合训练的BP神经网络模型进行对焦点的预测，使用损失函数对BP神经网络进行拟合训练，可以使误差达到最小，使用BP神经网络模型进行对焦点的预测，提高了自动对焦的速度，细对焦期间，使用模拟退火算法得到全局最优的对焦位置，避免了局部峰值的影响，提高了对焦的准确度，从而实现了快速准确地得到全局最佳对焦位置，完成自动对焦。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现自动对焦方法的步骤。
本领域普通技术人员可以理解实现上述实施例自动对焦方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述自动对焦方法的各个实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
上述用于实现自动对焦方法的计算机可读存储介质，通过图像清晰度评价函数获取待处理图像的评价曲线，得到清晰的图像画面，使用通过损失函数完成拟合训练的BP神经网络模型进行对焦点的预测，使用损失函数对BP神经网络进行拟合训练，可以使误差达到最小，使用BP神经网络模型进行对焦点的预测，提高了自动对焦的速度，细对焦期间，使用模拟退火算法得到全局最优的对焦位置，避免了局部峰值的影响，提高了对焦的准确度，从而实现了快速准确地得到全局最佳对焦位置，完成自动对焦。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自动对焦方法，其特征在于，包括以下步骤：
通过图像清晰度评价函数获取待处理图像的评价曲线；
获取通过损失函数完成拟合训练的BP神经网络模型；
将所述评价曲线中的物***置数据输入所述BP神经网络模型，确定待处理图像的对焦点；
采用模拟退火算法，对所述对焦点进行优化处理，获取全局最优对焦位置。
2.根据权利要求1所述的自动对焦方法，其特征在于，所述通过图像清晰度评价函数获取待处理图像的评价曲线的步骤之前还包括：
通过将离散余弦变换评价函数与平方梯度函数加权叠加，形成所述图像清晰度评价函数。
3.根据权利要求1所述的自动对焦方法，其特征在于，所述获取通过损失函数完成拟合训练的BP神经网络模型的步骤之前还包括：
建立BP神经网络模型；
获取预定义最佳对焦位置向量；
获取BP神经网络模型的训练样本，根据所述损失函数和所述预定义最佳对焦位置向量进行拟合训练。
4.根据权利要求3所述的自动对焦方法，其特征在于，所述BP神经网络模型包括输入层、隐藏层和输出层，所述获取BP神经网络模型的训练样本，根据所述损失函数和所述预定义最佳对焦位置向量进行拟合训练的步骤包括：
由所述输入层接收训练样本，经过所述隐藏层进行信息处理，然后由所述输出层输出实际结果；
当所述实际结果与所述预定义最佳对焦位置向量不符时，获取误差结果，并将所述误差结果向所述隐藏层传播，通过所述损失函数和所述误差结果修改所述隐藏层参数。
5.根据权利要求1所述的自动对焦方法，其特征在于，所述损失函数为：
式中，Θ表示神经网络权值参数矩阵，是θ的总集合，m表示训练样本个数，K表示输出单元数，L表示网络层数，Sl表示L层的单元数，λ表示训练步长。
6.根据权利要求1所述的自动对焦方法，其特征在于，所述采用模拟退火算法，对所述对焦点进行优化处理，获取全局最优对焦位置的步骤包括：
将所述对焦点设置为当前状态，所述模拟退火算法的每一次搜索过程中引入一个随机位置，将所述随机位置设置为下一状态，获取所述当前状态和所述下一状态对应的能量；
若所述当前状态的能量小于所述下一状态的能量，则用所述下一状态取代所述当前状态，否则，获取所述当前状态和所述下一状态的能量差并计算所述能量差出现的概率；
若所述能量差出现的概率满足预设概率要求，则用所述下一状态取代所述当前状态，否则，丢弃所述下一状态对应的随机位置；
重复所述模拟退火算法中的搜索过程，且所述模拟退火算法中的温度随所述搜索过程次数的增加而下降，当所述温度下降到设定的***温度时，获取所述温度对应的搜索过程中的当前状态，将获取的所述当前状态的对应位置作为全局最优对焦位置。
7.根据权利要求6所述的自动对焦方法，其特征在于，所述若所述能量差出现的概率满足预设概率要求，则用所述下一状态取代所述当前状态的步骤包括：
当能量差出现的概率P(dE)大于给定随机概率时，用所述下一状态取代所述当前状态；
其中，所述能量差出现的概率P(dE)＝exp(dE/Tk)，
式中，dE为所述当前状态与所述下一状态的能量差，Tk为所述下一状态对应的能量值；
所述给定随机概率通过预设随机数生成函数生成的随机数满足的标准正态分布来确定。
8.一种自动对焦装置，其特征在于，包括：
图像清晰度评价模块，用于通过图像清晰度评价函数获取待处理图像的评价曲线；
快速定焦模块，用于获取通过损失函数完成拟合训练的BP神经网络模型，将所述评价曲线中的物***置数据输入所述BP神经网络模型，确定待处理图像的对焦点；
全局最优搜索模块，用于采用模拟退火算法，对所述对焦点进行优化处理，获取全局最优对焦位置。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任意一项所述自动对焦方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述自动对焦方法的步骤。
CN201710994453.4A 2017-10-23 2017-10-23 自动对焦方法、装置、存储介质和计算机设备 Active CN109698901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710994453.4A CN109698901B (zh) 2017-10-23 2017-10-23 自动对焦方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710994453.4A CN109698901B (zh) 2017-10-23 2017-10-23 自动对焦方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN109698901A true CN109698901A (zh) 2019-04-30
CN109698901B CN109698901B (zh) 2020-07-10

Family

ID=66226800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710994453.4A Active CN109698901B (zh) 2017-10-23 2017-10-23 自动对焦方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN109698901B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531484A (zh) * 2019-07-24 2019-12-03 中国地质大学（武汉） 一种对焦过程模型可设定的显微镜自动对焦方法
CN111147737A (zh) * 2019-12-11 2020-05-12 广东工业大学 一种基于rbf神经网络的自动对焦方法及装置
CN111239999A (zh) * 2020-01-08 2020-06-05 腾讯科技（深圳）有限公司 一种基于显微镜的光学数据处理方法、装置及存储介质
CN111770271A (zh) * 2020-06-28 2020-10-13 青岛海洋地质研究所 一种基于图像处理的自动聚焦方法
CN112000226A (zh) * 2020-08-26 2020-11-27 杭州海康威视数字技术股份有限公司 一种人眼视线估计方法、装置及视线估计***
WO2021136050A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 一种图像拍摄方法及相关装置
CN113411497A (zh) * 2021-06-15 2021-09-17 中国航空工业集团公司北京航空精密机械研究所 一种基于曲线交点和高斯曲线拟合的自动对焦方法和装置
CN113656949A (zh) * 2021-07-30 2021-11-16 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 降温***的降温效果分析方法、装置、设备及存储介质
CN113747041A (zh) * 2020-05-29 2021-12-03 杭州海康威视数字技术股份有限公司 一种摄像机对焦方法及基于循环神经网络的对焦方法
CN114424518A (zh) * 2019-09-27 2022-04-29 索尼集团公司 信息处理装置、电子设备、终端装置、信息处理***、信息处理方法和程序
CN114760419A (zh) * 2022-06-15 2022-07-15 深圳深知未来智能有限公司 一种基于深度学习的自动对焦方法及***
CN114866688A (zh) * 2022-04-02 2022-08-05 深圳市爱为物联科技有限公司 一种工地用安防变倍球机中自动聚焦快速收敛的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387734A (zh) * 2007-09-14 2009-03-18 三星电子株式会社 用于自动聚焦的方法和设备
KR20130088666A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 다층 신경망을 이용한 시선 추적 시스템의 초점 측정 장치
CN104601879A (zh) * 2014-11-29 2015-05-06 深圳市金立通信设备有限公司 一种对焦方法
CN104700153A (zh) * 2014-12-05 2015-06-10 江南大学 基于模拟退火优化BP神经网络的pH值预测方法
CN104751186A (zh) * 2015-04-10 2015-07-01 山东师范大学 一种基于bp网络和小波变换的虹膜图像质量分类方法
CN105578048A (zh) * 2015-12-23 2016-05-11 北京奇虎科技有限公司 一种快速对焦方法和装置、移动终端
CN105933529A (zh) * 2016-04-20 2016-09-07 努比亚技术有限公司 拍摄画面的显示方法及装置
CN106101540A (zh) * 2016-06-28 2016-11-09 北京旷视科技有限公司 对焦点确定方法及装置
CN106296711A (zh) * 2016-08-22 2017-01-04 华南理工大学 一种手机摄像头模组的多轴主动对准方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387734A (zh) * 2007-09-14 2009-03-18 三星电子株式会社 用于自动聚焦的方法和设备
KR20130088666A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 다층 신경망을 이용한 시선 추적 시스템의 초점 측정 장치
CN104601879A (zh) * 2014-11-29 2015-05-06 深圳市金立通信设备有限公司 一种对焦方法
CN104700153A (zh) * 2014-12-05 2015-06-10 江南大学 基于模拟退火优化BP神经网络的pH值预测方法
CN104751186A (zh) * 2015-04-10 2015-07-01 山东师范大学 一种基于bp网络和小波变换的虹膜图像质量分类方法
CN105578048A (zh) * 2015-12-23 2016-05-11 北京奇虎科技有限公司 一种快速对焦方法和装置、移动终端
CN105933529A (zh) * 2016-04-20 2016-09-07 努比亚技术有限公司 拍摄画面的显示方法及装置
CN106101540A (zh) * 2016-06-28 2016-11-09 北京旷视科技有限公司 对焦点确定方法及装置
CN106296711A (zh) * 2016-08-22 2017-01-04 华南理工大学 一种手机摄像头模组的多轴主动对准方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHEN GUOJIN,LI YONGNING: "The Image Auto-focusing Method Based on Artificial", 《2010 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE FOR MEASUREMENT SYSTEMS AND APPLICATIONS》 *
吕琼帅, 王世卿: "基于遗传模拟退火算法优化的BP神经网络", 《计算机与现代化》 *
周爱武，翟增辉，刘慧婷: "基于模拟退火算法改进的BP神经网络算法", 《微电子学与计算机》 *
曹军，苏建民，孙丽平，胡昆仑: "遗传算法与模拟退火算法在神经网络优化中的性能分析", 《东北林业大学学报》 *
柴亚民: "用改进的模拟退火遗传算法优化BP神经网络的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
袁珂，徐蔚鸿: "基于图像清晰度评价的摄像头辅助调焦***", 《光电工程》 *
郏东耀，陈曦: "基于小波神经网络的自动调焦方法研究", 《电子测量与仪器学报》 *
黄德天: "基于图像技术的自动调焦方法研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531484A (zh) * 2019-07-24 2019-12-03 中国地质大学（武汉） 一种对焦过程模型可设定的显微镜自动对焦方法
CN110531484B (zh) * 2019-07-24 2021-04-20 中国地质大学（武汉） 一种对焦过程模型可设定的显微镜自动对焦方法
CN114424518A (zh) * 2019-09-27 2022-04-29 索尼集团公司 信息处理装置、电子设备、终端装置、信息处理***、信息处理方法和程序
CN111147737A (zh) * 2019-12-11 2020-05-12 广东工业大学 一种基于rbf神经网络的自动对焦方法及装置
WO2021136050A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 一种图像拍摄方法及相关装置
CN111239999A (zh) * 2020-01-08 2020-06-05 腾讯科技（深圳）有限公司 一种基于显微镜的光学数据处理方法、装置及存储介质
CN111239999B (zh) * 2020-01-08 2022-02-11 腾讯科技（深圳）有限公司 一种基于显微镜的光学数据处理方法、装置及存储介质
CN113747041A (zh) * 2020-05-29 2021-12-03 杭州海康威视数字技术股份有限公司 一种摄像机对焦方法及基于循环神经网络的对焦方法
CN111770271A (zh) * 2020-06-28 2020-10-13 青岛海洋地质研究所 一种基于图像处理的自动聚焦方法
CN111770271B (zh) * 2020-06-28 2021-07-27 青岛海洋地质研究所 一种基于图像处理的自动聚焦方法
CN112000226A (zh) * 2020-08-26 2020-11-27 杭州海康威视数字技术股份有限公司 一种人眼视线估计方法、装置及视线估计***
CN113411497A (zh) * 2021-06-15 2021-09-17 中国航空工业集团公司北京航空精密机械研究所 一种基于曲线交点和高斯曲线拟合的自动对焦方法和装置
CN113411497B (zh) * 2021-06-15 2022-11-11 中国航空工业集团公司北京航空精密机械研究所 一种基于曲线交点和高斯曲线拟合的自动对焦方法和装置
CN113656949A (zh) * 2021-07-30 2021-11-16 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 降温***的降温效果分析方法、装置、设备及存储介质
CN114866688A (zh) * 2022-04-02 2022-08-05 深圳市爱为物联科技有限公司 一种工地用安防变倍球机中自动聚焦快速收敛的方法
CN114760419A (zh) * 2022-06-15 2022-07-15 深圳深知未来智能有限公司 一种基于深度学习的自动对焦方法及***
CN114760419B (zh) * 2022-06-15 2022-09-20 深圳深知未来智能有限公司 一种基于深度学习的自动对焦方法及***

Also Published As

Publication number Publication date
CN109698901B (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN109698901A (zh) 自动对焦方法、装置、存储介质和计算机设备
Hossain et al. Crowd counting using scale-aware attention networks
Zhong et al. Hierarchical tracking by reinforcement learning-based searching and coarse-to-fine verifying
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN111246091B (zh) 一种动态自动曝光控制方法和装置及电子设备
Liu et al. Counting people by estimating people flows
CN110472594A (zh) 目标跟踪方法、信息***方法及设备
CN112000226B (zh) 一种人眼视线估计方法、装置及视线估计***
Tang et al. Learning spatial-frequency transformer for visual object tracking
Hoy et al. Learning to predict pedestrian intention via variational tracking networks
CN115035158B (zh) 目标跟踪的方法及装置、电子设备和存储介质
CN113393496A (zh) 一种基于时空注意力机制的目标跟踪方法
CN111105442A (zh) 切换式目标跟踪方法
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN111144497B (zh) 基于美学分析的多任务深度网络下的图像显著性预测方法
CN116895012A (zh) 一种水下图像异常目标识别方法、***和设备
CN113763417A (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN117036238A (zh) 基于视频目标跟踪的田间水果计数方法及***
CN116342978A (zh) 目标检测网络训练及目标检测方法、装置、电子设备
CN113869170B (zh) 一种基于图划分卷积神经网络的行人轨迹预测方法
CN115630361A (zh) 一种基于注意力蒸馏的联邦学习后门防御方法
CN114581353A (zh) 一种红外图像的处理方法、装置、介质及电子设备
CN114139805A (zh) 温度预测及模型训练方法和相关装置
Zheng et al. Real-time visual object tracking based on reinforcement learning with twin delayed deep deterministic algorithm
Li et al. Cascade-guided multi-scale attention network for crowd counting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant