CN117310962A - 显微成像的对焦控制方法及装置 - Google Patents

显微成像的对焦控制方法及装置 Download PDF

Info

Publication number
CN117310962A
CN117310962A CN202311172991.7A CN202311172991A CN117310962A CN 117310962 A CN117310962 A CN 117310962A CN 202311172991 A CN202311172991 A CN 202311172991A CN 117310962 A CN117310962 A CN 117310962A
Authority
CN
China
Prior art keywords
image
definition
target
sample
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311172991.7A
Other languages
English (en)
Inventor
谢俊
甘建伟
彭琳
吴笛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Shengtong Technology Group Co Ltd
Original Assignee
Hunan Shengtong Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Shengtong Technology Group Co Ltd filed Critical Hunan Shengtong Technology Group Co Ltd
Priority to CN202311172991.7A priority Critical patent/CN117310962A/zh
Publication of CN117310962A publication Critical patent/CN117310962A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本申请公开了一种显微成像的对焦控制方法及装置，方法包括：控制显微成像设备在Z轴上按照目标步长依次移动到采集位置，以得到显微成像设备对目标对象所采集到的至少一帧第一图像；使用目标检测模型对第一图像进行处理，以得到第一图像对应的位置标识，位置标识表征第一图像被采集时显微成像设备的物镜所处的位置与对焦位置之间的对应关系；目标检测模型基于训练样本训练得到，训练样本中的每帧样本图像具有位置标签，位置标签表征样本图像被采集时物镜所处的位置与对焦位置之间的对应关系；对焦位置为目标图像被采集时物镜所处的位置，目标图像为多个样本图像中清晰度满足清晰条件的图像；根据位置标识，确定对焦位置。

Description

显微成像的对焦控制方法及装置
技术领域
本申请涉及显微成像技术领域，尤其涉及一种显微成像的对焦控制方法及装置。
背景技术
显微成像设备在对物体进行图像采集的过程中，根据物体的清晰度实现对焦。
例如，显微成像设备中控制物镜相对于物体移动，物体从模糊渐渐变清晰，再从清晰渐渐变模糊，从而找到物镜的使得物体清晰的位置，即对焦位置，将物镜移动到对焦位置上，实现对焦。
但是，清晰与模糊具有一定的主观性，所找到的使得物体清晰的位置即对焦位置可能存在误差，导致显微成像设备对物体的对焦准确性较低。
发明内容
有鉴于此，本申请提供一种显微成像的对焦控制方法及装置，用以解决对焦准确性较低的缺陷，如下：
一种显微成像的对焦控制方法，所述方法包括：
控制显微成像设备在Z轴上按照目标步长依次移动到至少一个采集位置，以得到所述显微成像设备对目标对象所采集到的至少一帧第一图像；
使用目标检测模型对所述第一图像进行处理，以得到所述第一图像对应的位置标识，所述位置标识表征所述第一图像被采集时所述显微成像设备的物镜所处的位置与对焦位置之间的对应关系；
其中，所述目标检测模型基于训练样本训练得到，所述训练样本包含多帧样本图像，每帧所述样本图像具有位置标签，所述位置标签表征所述样本图像被采集时所述物镜所处的位置与所述对焦位置之间的对应关系；所述对焦位置为目标图像被采集时所述物镜所处的位置，所述目标图像为所述多个样本图像中清晰度满足清晰条件的图像；
根据所述位置标识，确定所述对焦位置，所述对焦位置用于所述显微成像设备采集到满足所述清晰条件的图像。
上述方法，优选的，所述多个样本图像通过以下方式获得：
控制所述显微成像设备在Z轴上按照所述目标步长依次移动到多个样本位置，以得到所述显微成像设备对样本对象所采集的多帧初始图像；所述采集位置中包含所述对焦位置；
在所述多帧初始图像中，确定所述目标图像，所述目标图像为所述多帧初始图像中清晰度满足清晰条件的图像；所述目标图像被设置有位置标签，所述目标图像的位置标签表征所述目标图像被采集时所述物镜处于所述对焦位置；
按照所述初始图像对应的样本位置与所述对焦位置之间的对应关系，根据所述目标图像的位置标签，分别为每帧所述初始图像设置位置标签，以得到每帧所述初始图像对应的样本图像。
上述方法，优选的，所述目标图像还具有至少一个对象标签，每个所述对象标签分别对应于所述目标图像中所包含的一个样本对象，所述目标图像的位置标签包含每个所述样本对象的位置标签，所述样本对象的位置标签表征所述样本对象所在的目标图像被采集时所述物镜所处的位置与所述对焦位置之间的对应关系；
其中，按照所述初始图像对应的样本位置与所述对焦位置之间的对应关系，根据所述目标图像的位置标签，分别为每帧所述初始图像设置位置标签，以得到每帧所述初始图像对应的样本图像，包括：
根据所述目标图像中每个样本对象对应的对象标签，分别为每帧所述初始图像中所包含的每个样本对象设置对象标签，且，按照所述初始图像对应的样本位置与所述对焦位置之间的对应关系，分别为每帧所述初始图像中所包含的每个样本对象设置位置标签，以得到每帧所述初始图像对应的样本图像。
上述方法，优选的，所述目标对象包括至少一个检测对象；所述第一图像对应的位置标识包括所述第一图像中每个所述检测对象的位置标识；
其中，根据所述位置标识，确定所述对焦位置，包括：
针对每帧所述第一图像，根据每个所述检测对象的位置标识，获得每个所述检测对象对应的清晰度值，所述清晰度值表征所述第一图像中所述检测对象的清晰程度；所述清晰度值为0到1之间的数值；
获得所述第一图像中所有检测对象对应的清晰度值之间的清晰度平均值；
将所述清晰度平均值满足所述清晰条件的第一图像被采集时所述物镜所处的位置确定为所述对焦位置。
上述方法，优选的，其特征在于，将所述清晰度平均值满足所述清晰条件的第一图像被采集时所述物镜所处的位置为所述对焦位置，包括：
判断当前帧图像对应的清晰度平均值是否小于前一帧图像对应的清晰度平均值，所述当前帧图像与所述前一帧图像为所述物镜分别处于前后两个相邻的采集位置上时所述显微成像设备所采集到的第一图像；
如果所述当前帧图像对应的清晰度平均值小于所述前一帧图像对应的清晰度平均值，判断所述前一帧图像对应的清晰度平均值是否大于或等于所述清晰度阈值；
如果所述前一帧图像对应的清晰度平均值大于或等于所述清晰度阈值，确定所述前一帧图像被采集时所述物镜所处的位置为所述对焦位置；
其中，所述方法还包括：
在所述显微成像设备采集到所述当前帧图像之后，控制所述显微成像设备停止进行图像采集。
上述方法，优选的，其特征在于，根据每个所述检测对象的位置标识，获得每个所述检测对象对应的清晰度值，包括：
按照位置标识与清晰度值之间的映射关系，将每个所述检测对象的位置标识分别进行数值转换，以得到每个所述检测对象对应的清晰度值；
其中，所述映射关系根据所述目标图像对应的位置标签建立。
上述方法，优选的，所述第一图像中包含多个图层，每个所述图层中包含有至少一个检测对象；
其中，获得所述第一图像中所有检测对象对应的清晰度值之间的清晰度平均值，包括：
在所述多个图层中，筛选所包含的检测对象最多的目标图层；
将所述目标图层中所包含的所有检测对象对应的清晰度值进行求平均，以得到清晰度平均值。
上述方法，优选的，所述目标检测模型为基于回归算法训练的机器学习模型；
其中，所述位置标签为0到M-1之间的正整数，所述第一图像对应的位置标识为0到M-1之间的自然数；M为所述样本图像的总数量值，所述目标图像对应的位置标签为M减1后的一半。
上述方法，优选的，根据所述位置标识，确定所述对焦位置，包括：
根据所述位置标识和所述目标图像对应的位置标签之间的对应关系，获得所述第一图像对应的采集位置与所述对焦位置之间的位置差距和位置方向；
根据所述第一图像对应的采集位置和所述位置差距，确定所述对焦位置，所述位置方向用于控制所述物镜移动所述位置差距，以使得所述物镜处于所述对焦位置。
一种显微成像的对焦控制装置，所述装置包括：
图像采集单元，用于控制显微成像设备在Z轴上按照目标步长依次移动到至少一个采集位置，以得到所述显微成像设备对目标对象所采集到的至少一帧第一图像；
模型处理单元，用于使用目标检测模型对所述第一图像进行处理，以得到所述第一图像对应的位置标识，所述位置标识表征所述第一图像被采集时所述显微成像设备的物镜所处的位置与对焦位置之间的对应关系；
其中，所述目标检测模型基于训练样本训练得到，所述训练样本包含多帧样本图像，每帧所述样本图像具有位置标签，所述位置标签表征所述样本图像被采集时所述物镜所处的位置与所述对焦位置之间的对应关系；所述对焦位置为目标图像被采集时所述物镜所处的位置，所述目标图像为所述多个样本图像中清晰度满足清晰条件的图像；
位置确定单元，用于根据所述位置标识，确定所述对焦位置，所述对焦位置用于所述显微成像设备采集到满足所述清晰条件的图像。
从上述技术方案可以看出，本申请公开的一种显微成像的对焦控制方法及装置中，预先构建具有位置标签的样本图像，且位置标签表征样本图像被采集时物镜所处位置与对焦位置之间的对应关系，这样，使用具有位置标签的样本图像训练目标检测模型，使得目标检测模型能够针对显微成像设备所采集到的任一图像输出对应的位置标识，位置标识能够表征其所属图像被采集时物镜所处的位置与对焦位置之间的对应关系，由此根据该位置标识确定对焦位置，使得显微成像设备采集到满足清晰条件的图像。可见，本申请中通过训练机器学习模型来客观量化图像被采集时物镜所处的位置与对焦位置之间的对应关系，这样就可以直接控制物镜移动到根据对应关系所确定的对焦位置上，实现对焦，由此使得显微成像设备采集到满足清晰条件的图像，无需用户主观判断图像是否满足清晰条件，以此避免所找到的对焦位置可能存在的误差，进而提高显微成像设备对物体的对焦准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种显微成像的对焦控制方法的流程图；
图2为本申请实施例一中显微成像设备采集第一图像的示例图；
图3为本申请实施例一中样本图像的示例图；
图4为本申请实施例一提供的一种显微成像的对焦控制方法的部分流程图；
图5以及图6分别为本申请实施例一中显微成像设备获得样本图像的示例图；
图7为本申请实施例一中目标图像的示例图；
图8、图9及图10分别为本申请实施例一提供的一种显微成像的对焦控制方法的另一部分流程图；
图11为本申请实施例二提供的一种显微成像的对焦控制装置的结构示意图；
图12为本申请实施例二提供的一种显微成像的对焦控制装置的另一结构示意图；
图13为本申请实施例三提供的一种电子设备的结构示意图；
图14为本申请适用于显微镜实现对焦控制的流程图；
图15为本申请适用于显微镜实现目标检测半自动标注的数据流程图；
图16为本申请适用于显微镜实现物距检测半自动标注的数据流程图；
图17为本申请适用于显微镜实现显微图像的图像清晰度评价AI模型架构图；
图18为本申请适用于显微镜实现清晰度转换函数变化的示例图；
图19为本申请适用于显微镜所获得的清晰度示例图；
图20为本申请适用于显微镜实现的序列图自动聚焦流程图；
图21为本申请适用于显微镜实现的单层显微图像实时自动聚焦流程图；
图22为本申请适用于显微镜实现的图像物距误差示意图；
图23为本申请适用于显微镜实现的监测扫描图像物距的具体流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1所示，为本申请实施例一提供的一种显微成像的对焦控制方法的实现流程图，该方法可以适用于能够进行数据处理的电子设备上，该电子设备连接到显微成像设备，以使得电子设备能够确定对焦位置后控制显微成像设备的物镜移动到对焦位置；或者，本实施例中的方法可以适用于显微成像设备中的处理器，使得显微成像设备中的处理器能够在确定对焦位置后控制显微成像设备的物镜移动到对焦位置。本实施例中的技术方案主要用于提高显微成像设备对物体的对焦准确性。
具体的，本实施例中的方法可以包括以下步骤：
步骤101：控制显微成像设备在Z轴上按照目标步长依次移动到至少一个采集位置，以得到显微成像设备对目标对象所采集到的至少一帧第一图像。
其中，步骤101中控制显微成像设备移动是指：控制显微成像设备中的物镜移动，以使得物镜与目标对象之间的物距依次发生变化。
例如，如图2中所示，目标步长为相邻两个采集位置之间的距离。控制物镜在Z轴上按照目标步长依次移动到每个采集位置，以使得物镜在每个采集位置上，显微成像设备均能够采集到目标对象的第一图像，每帧第一图像分别对应于一个物距，且每帧第一图像的物距均不相同。
需要说明的是，目标步长与显微成像设备的放大倍数有关。显微成像设备的放大倍数越小，目标步长越大；显微成像设备的放大倍数越大，目标步长越小。例如，油镜的步长S为H，相应的，高倍镜的步长S为a*H，其中a为大于或等于1的数值，低倍镜的步长S为b*H，其中b为大于或等于a的数值。具体的步长数值，可以根据实际使用场景中不同的需求和精度设计。
其中，目标对象为被检测物体，如皮肤组织；目标对象中可以包含有一个或多个检测对象，如皮肤组织中的组织细胞。
步骤102：使用目标检测模型对第一图像进行处理，以得到第一图像对应的位置标识，位置标识表征第一图像被采集时物镜所处的位置与对焦位置之间的对应关系。
其中，目标检测模型基于训练样本训练得到，训练样本包含多帧样本图像，每帧样本图像具有位置标签，位置标签表征样本图像被采集时物镜所处的位置与对焦位置之间的对应关系；对焦位置为目标图像被采集时物镜所处的位置，目标图像为多个样本图像中清晰度满足清晰条件的图像。
也就是说，本实施例中预先构建具有位置标签的样本图像，且位置标签表征样本图像被采集时物镜所处位置与对焦位置之间的对应关系，且样本图像中包含有物镜在对焦位置上时显微成像设备所采集到的目标图像。基于此，使用这些样本图像训练目标检测模型，使得目标检测模型能够检测到第一图像被采集时物镜所处的位置与对焦位置之间的对应关系。
例如，如图3中所示，目标检测模型的样本图像有2N+1帧：第0帧到第2N帧，每帧样本图像均具有位置标签：0到2N，其中第N帧为目标图像，目标图像为样本图像中清晰度值最高的图像，目标图像的位置标签N表征被采集时物镜处于对焦位置，每帧样本图像的位置标签表征样本图像被采集时物镜所处的位置与对焦位置之间的对应关系，如0到2N中的数值与N之间的对应关系。
其中，目标图像的清晰度满足清晰条件是指：目标图像对应的清晰度值大于或等于清晰度阈值。清晰度值为0到1之间的数值，清晰度值越大，表征图像的清晰度越高。
在具体的实施例中，目标检测模型为机器学习的模型。例如，目标检测模型为基于回归算法训练的机器学习模型。其中，位置标签为0到M-1之间的正整数，M为样本图像的总数量值即2N+1，第一图像对应的位置标识为0到M-1之间的自然数，目标图像对应的位置标签为M减1后的一半。
步骤103：根据位置标识，确定对焦位置，对焦位置用于显微成像设备采集到满足清晰条件的图像。
具体的，本实施例中根据位置标识表征的第一图像被采集时物镜所处的位置与对焦位置之间的对应关系，以及第一图像被采集时物镜所处的采集位置，确定对焦位置，这样就可以控制物镜移动到所确定的对焦位置上，此时显微成像设备可以采集到清晰度满足清晰条件的图像。
从上述技术方案可以看出，本申请实施例一提供的一种显微成像的对焦控制方法中，预先构建具有位置标签的样本图像，且位置标签表征样本图像被采集时物镜所处位置与对焦位置之间的对应关系，这样，使用具有位置标签的样本图像训练目标检测模型，使得目标检测模型能够针对显微成像设备所采集到的任一图像输出对应的位置标识，位置标识能够表征其所属图像被采集时物镜所处的位置与对焦位置之间的对应关系，由此根据该位置标识确定对焦位置，使得显微成像设备采集到满足清晰条件的图像。可见，本实施例中通过训练机器学习模型来客观量化图像被采集时物镜所处的位置与对焦位置之间的对应关系，这样就可以直接控制物镜移动到根据对应关系所确定的对焦位置上，实现对焦，由此使得显微成像设备采集到满足清晰条件的图像，无需用户主观判断图像是否满足清晰条件，以此避免所找到的对焦位置可能存在的误差，进而提高显微成像设备对物体的对焦准确性。
在一种实现方式中，训练样本中的多个样本图像可以通过以下方式实现，如图4中所示：
步骤401：控制显微成像设备在Z轴上按照目标步长依次移动到多个样本位置，以得到显微成像设备对样本对象所采集的多帧初始图像；采集位置中包含对焦位置。
例如，如图5中所示，控制物镜在Z轴上按照目标步长依次移动到每个样本位置，以使得物镜在每个样本位置上，显微成像设备均能够采集到样本对象的初始图像，初始图像有2N+1帧：第0帧到第2N帧。
步骤402：在多帧初始图像中，确定目标图像，目标图像为多帧初始图像中清晰度满足清晰条件的图像；目标图像被设置有位置标签，目标图像的位置标签表征目标图像被采集时物镜处于对焦位置。
例如，以图5所示为例，在多帧初始图像中找到第N帧，即多个样本位置的中间位置上对应的初始图像，第N帧初始图像即为目标图像，目标图像有位置标签N，对应于对焦位置。
具体的，本实施例中可以控制物镜以对焦位置为中心按照目标步长沿Z轴向前以及向后分别移动N次，由此采集到2N+1帧样本图像，其中的第N帧对应的物镜位置为对焦位置，如图6中所示。
步骤403：按照初始图像对应的样本位置与对焦位置之间的对应关系，根据目标图像的位置标签，分别为每帧初始图像设置位置标签，以得到每帧初始图像对应的样本图像。
例如，以图6中为例，按照样本位置与对焦位置之间所间隔的目标步长的数量，根据目标图像的位置标签N，分别为每帧初始图像设置位置标签，例如：对逐渐靠近样本对象的每帧初始图像将N逐次加1，以得到每帧初始图像的位置标签，如N+1、N+2、...，2N；对逐渐远离样本对象的每帧初始图像将N逐次减1，以得到每帧初始图像的位置标签，如N-1、N-2、...，0，由此，具有位置标签的初始图像即为样本图像。
进一步的，目标图像还具有至少一个对象标签，每个对象标签分别对应于目标图像中所包含的一个样本对象。例如，如图7中所示，样本对象可以为皮肤组织的组织细胞，样本对象可以为一个或多个，目标图像的位置标签包含每个样本对象的位置标签，样本对象的位置标签表征样本对象所在的目标图像被采集时物镜所处的位置与对焦位置之间的对应关系。以图7中为例，每个组织细胞均具有对象标签和位置标签，每个组织细胞的位置标签表征相应组织细胞所在的目标图像被采集时物镜所处的位置为对焦位置。
另外，对象标签以对象框的形式实现，且对象标签进一步表征对应的样本对象的对象类型。以图7中为例，每个组织细胞具有对象框，对象框上具有类型标识，类型标识表征组织细胞的细胞类型，如红细胞、白细胞、角质层细胞等，且每个组织细胞具有位置标签，位置标签表征该组织细胞所在的目标图像被采集时物镜所处的位置为对焦位置。
需要说明的是，本实施例中可以将用于检测对象的机器学习模型的训练样本添加位置标签，以得到目标检测模型，目标检测模型在能够进行对象检测以得到对象框和类型标识的对象标识的同时，还可以获得对象的位置标识。
基于此，步骤403在为每帧初始图像设置位置标签时，可以通过以下方式实现：
根据目标图像中每个样本对象对应的对象标签，分别为每帧初始图像中所包含的每个样本对象设置对象标签，且，按照初始图像对应的样本位置与对焦位置之间的对应关系，分别为每帧初始图像所包含的每个样本对象设置位置标签，以得到每帧初始图像对应的样本图像。
以图7中为例，每个组织细胞具有对象框，对象框上具有类型标识，类型标识表征组织细胞的细胞类型，如红细胞、白细胞、角质层细胞等，且每个组织细胞具有位置标签，位置标签表征该组织细胞所在的目标图像被采集时物镜所处的位置为对焦位置。
由此，使用通过以上方式所获得到的样本图像训练目标检测模型，使得目标检测模型能够针对第一图像获得第一图像对应的至少一个对象标识以及第一图像对应的位置标识，每个对象标识对应于第一图像中所包含的每个检测对象，检测对象为目标对象中的对象，如皮肤组织中的组织细胞。对象标识表征相应的检测对象的对象框和对象类型，第一图像对应的位置标识包括第一图像中每个检测对象的位置标识，位置标识表征检测对象所在的第一图像被采集时物镜所处的位置与对焦位置之间的对应关系。
基于以上实现，步骤103中在根据位置标识，确定对焦位置时，具体可以通过以下方式实现，如图8中所示：
步骤801：针对每帧第一图像，根据每个检测对象的位置标识，获得每个检测对象对应的清晰度值。
其中，清晰度值表征第一图像中检测对象的清晰程度，即检测对象所在图像区域的清晰程度，清晰度值为0到1之间的数值。清晰度值越高，表征检测对象的像素越清晰。
具体的，本实施例中可以针对每帧第一图像，按照位置标识与清晰度值之间的映射关系，将每个检测对象的位置标识分别进行数值转换，以得到每个检测对象对应的清晰度值。
其中，位置标识与清晰度值之间的映射关系根据目标图像对应的位置标签建立。例如，位置标识与清晰度值之间的映射关系为关于位置标识与清晰度值之间的一元一次函数。在一实施例中，可以通过如下公式(1)表示位置标识与清晰度值之间的映射关系，并据此将每个检测对象的位置标识转换成相应的清晰度值：
其中，x为检测对象的位置标识，N为目标图像的位置标签，y为检测对象对应的清晰度值。
步骤802：获得第一图像中所有检测对象对应的清晰度值之间的清晰度平均值。
具体的，本实施例中针对每帧第一图像，对第一图像中所有检测对象对应的清晰度值求平均值，以得到第一图像对应的清晰度平均值。
例如，以第一图像中的目标对象为皮肤组织为例，皮肤组织中包含3个组织细胞，每个组织细胞具有对象标识和位置标识x，本实施例中按照公式(1)将每个组织细胞的位置标识x转换成清晰度值，然后将这3个组织细胞的清晰度值求平均，以得到第一图像对应的清晰度平均值。
在一种实现方式中，第一图像中可以包含一个或多个图层，这里的图层是指目标对象中的检测对象所在的图层。每个图层中包含一个或多个检测对象。
在第一图像包含一个图层的情况下，步骤803中将该图层中所有检测对象对应的清晰度值求平均值，以得到第一图像对应的清晰度平均值。
在第一图像包含多个图层的情况下，步骤803中首先在多个图层中筛选所包含的检测对象最多的目标图层，然后将目标图层中所包含的所有检测对象对应的清晰度值进行求平均，以得到清晰度平均值。
例如，目标对象为液体对象，液体对象可能存在分层的情况，此时所采集到的第一图像中包含多个图层。基于此，本实施例中使用目标检测模型获得第一图像中每个图层所包含的每个检测对象的位置标识之后，将位置标识转换为清晰度值，再将所包含的检测对象的数量最多的图层中的检测对象的清晰度值进行求平均，以得到第一图像对应的清晰度平均值。
步骤803：将清晰度平均值满足清晰条件的第一图像被采集时物镜所处的位置确定为对焦位置。
在一种实现方式中，步骤803中可以将每帧第一图像对应的清晰度平均值与清晰度阈值进行大小判断，以筛选出清晰度平均值大于或等于清晰度阈值的第一图像，该第一图像被采集时物镜所处的位置即为对焦位置。
也就是说，本实施例中控制显微成像设备在Z轴上按照目标步长依次移动到多个采集位置，以得到所述显微成像设备对目标对象所采集到的多帧第一图像，每帧第一图像中包含目标对象中的每个检测对象，本实施例中使用目标检测模型对第一图像处理，以得到第一图像中每个检测对象的位置标识；然后，使用位置标识与清晰度值之间的映射关系，将第一图像中每个检测对象的位置标识转换成每个检测对象的清晰度值；然后将每帧第一图像中所包含的所有检测对象的清晰度值求平均，以得到每帧第一图像对应的清晰度平均值；最后，筛选出清晰度平均值最大且大于或等于清晰度阈值的第一图像，将该图像被采集时物镜所处的位置确定为对焦位置，这样可以控制物镜移动到所确定的对焦位置上，此时显微成像设备可以采集到清晰度满足清晰条件的图像。
在另一种实现方式中，步骤803中可以用第一图像中当前帧图像和前一帧图像进行清晰度平均值的比对，筛选出对应的清晰度平均值大于当前帧对应的清晰度平均值且大于或等于清晰度阈值的前一帧图像，将该前一帧图像被采集时物镜所处的位置确定为对焦位置，这样可以控制物镜移动到所确定的对焦位置上，此时显微成像设备可以采集到清晰度满足清晰条件的图像。
而进一步的，如果前一帧图像对应的清晰度平均值大于当前帧对应的清晰度平均值且大于或等于清晰度阈值，那么在显微成像设备采集到当前帧图像之后，控制显微成像设备停止进行图像采集，即在确定对焦位置之后，无需再控制显微成像设备继续在Z轴上按照目标步长移动，此时就可以控制物镜移动到所确定的对焦位置上，这样就可以减少对焦耗时，提高显微成像设备的对焦效率。
具体的，本实施例中在每次控制显微成像设备继续在Z轴上按照目标步长移动到一个采集位置上并使得显微成像设备采集到第一图像之后，将该第一图像作为当前帧图像，将在该第一图像之前采集到的第一图像作为前一帧图像，当前帧图像与前一帧图像为物镜分别处于前后两个相邻的采集位置上时显微成像设备所采集到的第一图像，据此执行如下流程，如图9中所示：
步骤901：判断当前帧图像对应的清晰度平均值是否小于前一帧图像对应的清晰度平均值，如果当前帧图像对应的清晰度平均值小于前一帧图像对应的清晰度平均值，执行步骤902，如果当前帧图像对应的清晰度平均值大于前一帧图像对应的清晰度平均值，那么不再执行后续流程，而是将当前帧图像作为前一帧图像，将显微成像设备在新的采集位置(即前一帧图像对应的采集位置的下一个采集位置上)上采集到的第一图像作为当前图像，重新执行步骤901。
步骤902：判断前一帧图像对应的清晰度平均值是否大于或等于清晰度阈值；如果前一帧图像对应的清晰度平均值大于或等于清晰度阈值，执行步骤903，如果前一帧图像对应的清晰度平均值小于清晰度阈值，表明前一帧图像对应的清晰度平均值为清晰度的局部极大值，但不是全局极大值，此时不再执行后续流程，而是将当前帧图像作为前一帧图像，将显微成像设备在新的采集位置(即前一帧图像对应的采集位置的下一个采集位置上)上采集到的第一图像作为当前图像，重新执行步骤901。
步骤903：确定前一帧图像被采集时物镜所处的位置为对焦位置。
进一步的，在步骤903之后，不再控制显微成像设备移动，也就是说，在显微成像设备采集到当前帧图像之后，本实施例中控制显微成像设备停止进行图像采集，而是控制物镜直接移动到所确定的对焦位置上，此时显微成像设备可以采集到清晰度满足清晰条件的图像，这样就可以减少操作流程(即减少显微成像设备采集后续其他第一图像的步骤)，由此减少对焦耗时，提高显微成像设备的对焦效率。
在一种实现方式中，步骤103中在根据位置标识，确定对焦位置时，可以通过以下方式实现，如图10中所示：
步骤1001：根据位置标识和目标图像对应的位置标签之间的对应关系，获得第一图像对应的采集位置与对焦位置之间的位置差距和位置方向。
其中，将位置标识与目标图像对应的位置标签做差，以所得到的差值作为位置差距，位置差距表征第一图像被采集值物镜所处的位置与目标位置之间的距离。而如果位置标识小于目标图像对应的位置标签，如位置标识的值小于N，那么确定第一图像被采集值物镜所处的位置相对于目标位置在远离目标对象的位置；如果位置标识大于目标图像对应的位置标签，如位置标识的值大于N，那么确定第一图像被采集值物镜所处的位置相对于目标位置在靠近目标对象的位置。
步骤1002：根据第一图像对应的采集位置和位置差距，确定对焦位置，位置方向用于控制物镜移动位置差距，以使得物镜处于对焦位置。
具体的，本实施例中在第一图像对应的采集位置上，按照位置差距和位置方向，推算出对焦位置，对焦位置处于以第一图像对应的采集位置为准向靠近目标对象或远离目标对象的位置方向上移动位置差距的位置上。
例如，以位置标识小于目标图像对应的位置标签，如位置标识的值小于N为例，以第一图像被采集值物镜所处的位置为准，向靠近目标对象的方向移动位置差距的位置，即对焦位置；以位置标识大于目标图像对应的位置标签，如位置标识的值大于N为例，以第一图像被采集值物镜所处的位置为准，向远离目标对象的方向移动位置差距的位置，即对焦位置。
参考图11，为本申请实施例二提供的一种显微成像的对焦控制装置的结构示意图，该装置可以配置在能够进行数据处理的电子设备上，该电子设备连接到显微成像设备，以使得电子设备能够确定对焦位置后控制显微成像设备的物镜移动到对焦位置；或者，本实施例中的装置可以配置在显微成像设备中的处理器，使得显微成像设备中的处理器能够在确定对焦位置后控制显微成像设备的物镜移动到对焦位置。本实施例中的技术方案主要用于提高显微成像设备对物体的对焦准确性。
具体的，本实施例中的装置可以包括以下单元：
图像采集单元1101，用于控制显微成像设备在Z轴上按照目标步长依次移动到至少一个采集位置，以得到所述显微成像设备对目标对象所采集到的至少一帧第一图像；
模型处理单元1102，用于使用目标检测模型对所述第一图像进行处理，以得到所述第一图像对应的位置标识，所述位置标识表征所述第一图像被采集时所述显微成像设备的物镜所处的位置与对焦位置之间的对应关系；
其中，所述目标检测模型基于训练样本训练得到，所述训练样本包含多帧样本图像，每帧所述样本图像具有位置标签，所述位置标签表征所述样本图像被采集时所述物镜所处的位置与所述对焦位置之间的对应关系；所述对焦位置为目标图像被采集时所述物镜所处的位置，所述目标图像为所述多个样本图像中清晰度满足清晰条件的图像；
位置确定单元1103，用于根据所述位置标识，确定所述对焦位置，所述对焦位置用于所述显微成像设备采集到满足所述清晰条件的图像。
从上述技术方案可以看出，本申请实施例二提供的一种显微成像的对焦控制装置中，预先构建具有位置标签的样本图像，且位置标签表征样本图像被采集时物镜所处位置与对焦位置之间的对应关系，这样，使用具有位置标签的样本图像训练目标检测模型，使得目标检测模型能够针对显微成像设备所采集到的任一图像输出对应的位置标识，位置标识能够表征其所属图像被采集时物镜所处的位置与对焦位置之间的对应关系，由此根据该位置标识确定对焦位置，使得显微成像设备采集到满足清晰条件的图像。可见，本实施例中通过训练机器学习模型来客观量化图像被采集时物镜所处的位置与对焦位置之间的对应关系，这样就可以直接控制物镜移动到根据对应关系所确定的对焦位置上，实现对焦，由此使得显微成像设备采集到满足清晰条件的图像，无需用户主观判断图像是否满足清晰条件，以此避免所找到的对焦位置可能存在的误差，进而提高显微成像设备对物体的对焦准确性。
在一种实现方式中，本实施例中的装置还可以包括以下单元，如图12中所示：
样本获得单元1104，用于通过以下方式获得所述多个样本图像：
控制所述显微成像设备在Z轴上按照所述目标步长依次移动到多个样本位置，以得到所述显微成像设备对样本对象所采集的多帧初始图像；所述采集位置中包含所述对焦位置；在所述多帧初始图像中，确定所述目标图像，所述目标图像为所述多帧初始图像中清晰度满足清晰条件的图像；所述目标图像被设置有位置标签，所述目标图像的位置标签表征所述目标图像被采集时所述物镜处于所述对焦位置；按照所述初始图像对应的样本位置与所述对焦位置之间的对应关系，根据所述目标图像的位置标签，分别为每帧所述初始图像设置位置标签，以得到每帧所述初始图像对应的样本图像。
在一种实现方式中，所述目标图像还具有至少一个对象标签，每个所述对象标签分别对应于所述目标图像中所包含的一个样本对象，所述目标图像的位置标签包含每个所述样本对象的位置标签，所述样本对象的位置标签表征所述样本对象所在的目标图像被采集时所述物镜所处的位置与所述对焦位置之间的对应关系；
其中，样本获得单元1104在分别为每帧所述初始图像设置位置标签时，可以通过以下方式实现：根据所述目标图像中每个样本对象对应的对象标签，分别为每帧所述初始图像中所包含的每个样本对象设置对象标签，且，按照所述初始图像对应的样本位置与所述对焦位置之间的对应关系，分别为每帧所述初始图像中所包含的每个样本对象设置位置标签，以得到每帧所述初始图像对应的样本图像。
在一种实现方式中，所述目标对象包括至少一个检测对象；所述第一图像对应的位置标识包括所述第一图像中每个所述检测对象的位置标识；
其中，位置确定单元1103具体用于：针对每帧所述第一图像，根据每个所述检测对象的位置标识，获得每个所述检测对象对应的清晰度值，所述清晰度值表征所述第一图像中所述检测对象的清晰程度；所述清晰度值为0到1之间的数值；获得所述第一图像中所有检测对象对应的清晰度值之间的清晰度平均值；将所述清晰度平均值满足所述清晰条件的第一图像被采集时所述物镜所处的位置确定为所述对焦位置。
具体的，位置确定单元1103在将所述清晰度平均值满足所述清晰条件的第一图像被采集时所述物镜所处的位置为所述对焦位置时，具体用于：判断当前帧图像对应的清晰度平均值是否小于前一帧图像对应的清晰度平均值，所述当前帧图像与所述前一帧图像为所述物镜分别处于前后两个相邻的采集位置上时所述显微成像设备所采集到的第一图像；如果所述当前帧图像对应的清晰度平均值小于所述前一帧图像对应的清晰度平均值，判断所述前一帧图像对应的清晰度平均值是否大于或等于所述清晰度阈值；如果所述前一帧图像对应的清晰度平均值大于或等于所述清晰度阈值，确定所述前一帧图像被采集时所述物镜所处的位置为所述对焦位置；
其中，图像采集单元1101还用于：在所述显微成像设备采集到所述当前帧图像之后，控制所述显微成像设备停止进行图像采集。
在一种实现方式中，位置确定单元1103在根据每个所述检测对象的位置标识，获得每个所述检测对象对应的清晰度值时，具体用于：按照位置标识与清晰度值之间的映射关系，将每个所述检测对象的位置标识分别进行数值转换，以得到每个所述检测对象对应的清晰度值；其中，所述映射关系根据所述目标图像对应的位置标签建立。
在一种实现方式中，所述第一图像中包含多个图层，每个所述图层中包含有至少一个检测对象；
其中，位置确定单元1103在获得所述第一图像中所有检测对象对应的清晰度值之间的清晰度平均值时，具体用于：在所述多个图层中，筛选所包含的检测对象最多的目标图层；将所述目标图层中所包含的所有检测对象对应的清晰度值进行求平均，以得到清晰度平均值。
在一种实现方式中，所述目标检测模型为基于回归算法训练的机器学习模型；其中，所述位置标签为0到M-1之间的正整数，所述第一图像对应的位置标识为0到M-1之间的自然数；M为所述样本图像的总数量值，所述目标图像对应的位置标签为M减1后的一半。
在一种实现方式中，位置确定单元1103具体用于：根据所述位置标识和所述目标图像对应的位置标签之间的对应关系，获得所述第一图像对应的采集位置与所述对焦位置之间的位置差距和位置方向；根据所述第一图像对应的采集位置和所述位置差距，确定所述对焦位置，所述位置方向用于控制所述物镜移动所述位置差距，以使得所述物镜处于所述对焦位置。
需要说明的是，本实施例中各单元的具体实现可以参考前文中的相应内容，此处不再详述。
参考图13，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以包含以下结构：
显微成像设备1301；
处理器1302，用于控制显微成像设备在Z轴上按照目标步长依次移动到至少一个采集位置，以得到所述显微成像设备对目标对象所采集到的至少一帧第一图像；使用目标检测模型对所述第一图像进行处理，以得到所述第一图像对应的位置标识，所述位置标识表征所述第一图像被采集时所述显微成像设备的物镜所处的位置与对焦位置之间的对应关系；其中，所述目标检测模型基于训练样本训练得到，所述训练样本包含多帧样本图像，每帧所述样本图像具有位置标签，所述位置标签表征所述样本图像被采集时所述物镜所处的位置与所述对焦位置之间的对应关系；所述对焦位置为目标图像被采集时所述物镜所处的位置，所述目标图像为所述多个样本图像中清晰度满足清晰条件的图像；根据所述位置标识，确定所述对焦位置，所述对焦位置用于所述显微成像设备采集到满足所述清晰条件的图像。
从上述技术方案可以看出，本申请实施例三提供的一种电子设备中，预先构建具有位置标签的样本图像，且位置标签表征样本图像被采集时物镜所处位置与对焦位置之间的对应关系，这样，使用具有位置标签的样本图像训练目标检测模型，使得目标检测模型能够针对显微成像设备所采集到的任一图像输出对应的位置标识，位置标识能够表征其所属图像被采集时物镜所处的位置与对焦位置之间的对应关系，由此根据该位置标识确定对焦位置，使得显微成像设备采集到满足清晰条件的图像。可见，本实施例中通过训练机器学习模型来客观量化图像被采集时物镜所处的位置与对焦位置之间的对应关系，这样就可以直接控制物镜移动到根据对应关系所确定的对焦位置上，实现对焦，由此使得显微成像设备采集到满足清晰条件的图像，无需用户主观判断图像是否满足清晰条件，以此避免所找到的对焦位置可能存在的误差，进而提高显微成像设备对物体的对焦准确性。
以显微镜为例，以下对本申请的技术方案进行详细说明：
首先，目标(即目标对象)与物镜的距离从远到近，其中经过焦点，在目镜中看到目标从模糊渐渐变清晰，再从清晰渐渐变模糊的一个过程，这个过程是连续的，但是很难找到一个相关的稳定的函数来表示图像的清晰度与距离(物距)的关系，但可以用离散点来模拟这个过程。本实施例中把目标与物镜的距离从远到近的过程经过离散化，设起点的距离d为0，采集一张图像，每经过步长S，同样采集一张图片，这样，每移动步长S，就有相对应的图像与之对立；然后把图像直接输入到AI模型(即前文中的目标检测模型)中，让图像与距离之间建立对应的关系，设计损失函数，让AI模型可以得到训练；训练完成后，直接输入一张图像到AI模型中就可以预测这张图像的距离(物距)是多少，再通过距离与清晰度的关联函数，就可以计算得到一张图像的清晰度值。
具体参考图14中所示的流程所示：
1、设计采集图像步长：
根据物距和放大倍数的关系，低倍镜的工作距离比较大，高倍镜的工作距离比较小。在移动目标与物镜之间相同距离，在低倍镜(10倍物镜)时，图像物距反应不明显，而在高倍镜(40倍物镜)或者油镜(100倍物镜)时，图像物距反应更明显。把Z轴移动一定步长采集的图像作为一个类别的图像，为了设计合适的类间差，针对不同的倍镜设计不同的步长，设油镜的步长为S＝H，那么高倍镜的步长S＝aH，其中a≥1，那么低倍镜的步长为S＝bH，其中b≥a，具体的值，可以根据不同的需求和精度设计。
2、采集序列图像：
以最清晰的图像(即目标图像)为标准，并且保证此位置的所有目标清晰，且目标是静态的，在此位置采集一张图像，保存为N.jpg(即目标图像的位置标签)；如图6中所示，Z轴往上每移动步长S，采集一张样本图像，直到采集的图像看不见或者看不清目标为止，采集的图像数量为N；同理，以最清晰的图像为标准位置，Z轴往下同样每移动步长S，采集一张图像，共采集N张图像；故往下移动的距离与往上移动的距离相同，采集的图像数量也相同，总共采集了2*NN+1张样本图像整个序列图像从上倒下，保存为0.jpg、1.jpg...N-1.jpg、N.jpg、N+1.jpg...2N+1.jpg。
3、半自动标注数据：
本实施例中的数据标注包括原始的目标检测数据标注(即设置对象标签)和物距检测数据标注(即设置位置标签)，故每张图像xxx.jpg会对应两个数据标注文件，一个是原始的目标检测数据,保存为xxx.xml，另一个是物距检测数据标注文件，保存为xxx_.xml。
3.1、目标检测数据标注：
对于同一个视野的序列图像，选取最清晰的图像N.jpg，利用目标检测数据标注工具标注，由于同一个序列的图像目标是静止的，目标位置不会改变，目标类型也不会变，同一个序列的其他2*N张图像利用最清晰图像的标注数据自动生成标注数据，其流程如图15中所示的目标检测半自动标注数据流程图。
首先，读取手动标注的第N张图像的标注信息：目标矩形框数据N.xml，获得全部矩形框的位置数据和类别，初始化i＝0后循环设置其他图像的标注信息：从上到下，建立i从0到2*N的循环。对于每一次循环：当i不等于N时，复制第N张图像的标注信息，保存为当前序号所对应的图像的目标检测标注文件i.xml。
3.2、物距检测数据标注：
对于同一个视野的序列图像，选取最清晰的图像，利用目标检测数据标注工具标注，类别标号为N，由于同一个序列的图像目标是静止的，目标位置不会改变，改变的物距，故利用目标检测的第N张图像的标注信息，获得每个目标的位置，其标注类别则由物距决定，物距检测自动生成标注数据，其流程如图16中所示的物距检测半自动标注数据流程图。
首先读取手动标注的第N张图像的目标矩形框数据N.xml，获得全部矩形框的位置数据，初始化i＝0后循环设置其他图像的标注信息：从上到下，建立从0到2*N的循环。每一次循环i对应着图像i.jpg，每次循环生成一个物距检测标注文件i_.xml,标注文件里的位置信息与手动标注的位置信息相同，类别标注为i，直到循环结束，可以得到一个序列2*N+1张图像所对应的2*N+1个物距检测标注文件，每个文件的类别标号为所对应的图像的序号，例如第i张图像，那么检测标注文件i_.xml里所有的目标的类别标记为i，故整个物距检测数据标注会有2*N+1个标注类别，与物距的变化一一对应。
4、图像清晰度评价AI模型：
本实施例提供的图像清晰度评价方案只需要在目标检测模型的最后预测的部分增加一个距离(物距)的预测，在这种设计下，不需要增加什么消耗，即可让目标检测模型在检测目标的同时具有图像清晰度评价预测能力。
虽然在数据标注时，标注了2*N+1个类别，但不需要要增加2*N+1个预测值，本实施例中不采用softmax进行预测，而是增加一个预测值，采用回归预测，这样做，不仅能减少计算量，而且可以使得距离近的预测值相近，距离远的预测值更远，不容易产生误判；最后预测值不是离散的点，而是连续的值，通过预测的值，可以反过来推算出图像与物距的精确距离，而不是以步长S为精度，而是可以精确到任意值。在此基础上，本文提出了一种简单、有效、高精度的图像清晰度评价的AI模型，目标检测模型以yolo系列为基础，但其原理同样适合其他的目标检测模型，具体流程如图17所示的显微图像的图像清晰度评价AI模型架构图。
其中，输入640*640*3的图像，经过backbone和Convs后，会得到三张特征图，三张特征图就是三个网格。第一个网格为80*80，第二个网格为40*40，第三个网格为20*20，通过1*1卷积，三张特征图的大小被改为80*80*3*(5+80)，40*40*3*(5+80)，20*20*3*(5+80)，也就是对应图17中head1、head2和head3中蓝色的部分，这是原本yolo模型的输出，为了使模型具备物距检测能力，在head1、head2和head3中，分别增加了一些特征图80*80*3*1，40*40*3*1，20*20*3*1。
4.1、损失函数：
损失函数如公式(2)所示：
L＝a1Lclass+a2Lobj+a3Lbox+a4Lfocus (2)
L中前面三项是目标检测的损失函数，后面的Lfocus是物距(位置标识)检测的损失函数，Lfocus可以采用huberrobustLoss损失函数。
4.2、训练过程：
把模型输出的特征图传入2*N*sigmod()函数，得到预测值，然后把预测值与真实值传入huberrobustLoss，计算损失，然后加上目标检测的损失，再反向传播，更新权重，真实值从图像所对应的xxx_.xml中文件读取。
4.3、预测过程：
把模型输出的特征图传入2*N*sigmod()函数，得到预测值，再传入清晰度转换函数如公式(1)，则得到了清晰度评价值(即清晰度值)。
4.4、清晰度转换函数：
由于聚焦是一个从模糊到清晰、再从清晰到模糊的对称过程，在中心位置图像是最清晰的，故设计公式(1)计算清晰度评价值。
在最清晰的位置，其清晰度是1，是最大值，离最清晰位置越远，则清晰度越低，故通过清晰度评价值与1的差值，就可以判断图像的清晰度值。假设N＝10，那么其清晰度变化图如图18中所示的清晰度转换函数变化图。
5、序列图自动聚焦：
本实施例中采用目标检测的AI模型。首先读取采集的同一个视野的序列图；
再利用AI模型计算每一张图的平均清晰度D和检测到的目标个数N；这里分两种情况，一种情况是，由于显微镜聚焦可能存在对液体目标，目标存在分层的情况，可以以特定目标为目标统计清晰度和目标个数；另外一种是单目标层，此种情况，可直接统计所有目标的清晰度和目标个数。
考虑到液体目标的分层情况，序列图中可能存在多个清晰度的极大值，如图19中所示，先统计序列图的平均清晰度focus，计算得到清晰度的局部极大值，然后判断局部极大值的个数，如果只存在一个，并且此极大值大于清晰度阈值t，那么这个极大值所对应的图片所在的位置就是聚焦清晰位置；如果局部极大值个数大于1个，则比较这些局部极大值的目标数量，找出目标数量最多的层，最后判断此位置的平均的清晰度是否大于清晰度阈值t，如果大于，则此位置就是图像最清晰的位置，其流程如图20中所示的序列图自动聚焦流程图。
首先，读取采集到的图像(第一图像)，遍历2*N+1帧图像，利用AI模型计算目标平均清晰度(清晰度平均值)D，并检测到所包含的目标(检测对象)的个数，存储队列中；之后，计算所有图像的清晰度D中的局部极大值，如果局部极大值的个数小于或等于1且D大于t，那么找到最佳聚焦位置(即该局部极大值对应的图像被采集时物镜所在的位置)；如果局部极大值的个数大于1，那么找目标数量最多且D大于t对应的图像，找到最佳聚焦位置(即目标数量最多且D大于t对应的图像被采集时物镜所在的位置)。
6、实时自动聚焦：
对于单层的显微聚焦图像，只存在一个清晰度极大值，可以采用此实时自动聚焦，不需要采集完整个聚焦图像序列后再自动聚焦。其流程如图21所示的单层显微图像实时自动聚焦流程图。
其中，显微镜物镜与目标图像由远到近，或者由近到远连续采集图像，从上到下循环图像，每采集到一张，就利用AI模型计算此图像的平均清晰度D，存入队列中；判断此点的前一个点(当前帧图像的平均清晰度)是否是极大值，如果不是，则继续采集下一张图像；如果判断是极大值，则继续判断极大值的平均清晰度D是否大于阈值t，如果小于阈值则继续采集下一张图像，如果D大于阈值t，则以此极大值所对应的位置为聚焦位置。
7、监测扫描图像物距：
本实施例设计的图像清晰度评价AI模型的另一个应用是检测扫描图像物距并实时调整扫描图像聚焦。在此应用中，不需要清晰度转换函数，扫描图像经过backbone和2*N*sigmod()函数的得到预测值P，接着利用|P-N|*S就能得到扫描图像与聚焦位置的误差距离，从而直接调整扫描位置，改善扫描图像的物距，如图22所示的图像物距误差示意图，得到的预测值P＝2.5，那么需要调整距离等于|2.5-10|*S，即15步，而P点在N点的左边还有右边，则代表调整的方向。当然也可以利用同样原理，来实现快速聚焦。
其中，监测扫描图像物距的具体流程如图23中所示：
1、采集一张图像，利用AI模型计算目标平均位置P(即位置标识)，并通过公式W＝|P-N|计算物距误差。
2、比较物距误差W与误差阈值tw的大小。
3、如果物距误差W小于误差阈值tw，则表示物距误差在可接受范围，不需要调整图像物距，转到第一步，继续采集下一张图像。
4、如果物距误差W大于误差阈值tw，则利用公式|P-N|*S，计算误差距离，并根据P-N的正负判断调整方向，从而调整图像物距，接着采集下一张图像。
由此，本实施例中为了克服显微镜图像聚焦的不稳定性，提出了一种显微图像的AI清晰度评价模型，针对不显微镜不同应用设计对应的自动聚焦方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种显微成像的对焦控制方法，其特征在于，所述方法包括：
控制显微成像设备在Z轴上按照目标步长依次移动到至少一个采集位置，以得到所述显微成像设备对目标对象所采集到的至少一帧第一图像；
使用目标检测模型对所述第一图像进行处理，以得到所述第一图像对应的位置标识，所述位置标识表征所述第一图像被采集时所述显微成像设备的物镜所处的位置与对焦位置之间的对应关系；
其中，所述目标检测模型基于训练样本训练得到，所述训练样本包含多帧样本图像，每帧所述样本图像具有位置标签，所述位置标签表征所述样本图像被采集时所述物镜所处的位置与所述对焦位置之间的对应关系；所述对焦位置为目标图像被采集时所述物镜所处的位置，所述目标图像为所述多个样本图像中清晰度满足清晰条件的图像；
根据所述位置标识，确定所述对焦位置，所述对焦位置用于所述显微成像设备采集到满足所述清晰条件的图像。
2.根据权利要求1所述的方法，其特征在于，所述多个样本图像通过以下方式获得：
控制所述显微成像设备在Z轴上按照所述目标步长依次移动到多个样本位置，以得到所述显微成像设备对样本对象所采集的多帧初始图像；所述采集位置中包含所述对焦位置；
在所述多帧初始图像中，确定所述目标图像，所述目标图像为所述多帧初始图像中清晰度满足清晰条件的图像；所述目标图像被设置有位置标签，所述目标图像的位置标签表征所述目标图像被采集时所述物镜处于所述对焦位置；
按照所述初始图像对应的样本位置与所述对焦位置之间的对应关系，根据所述目标图像的位置标签，分别为每帧所述初始图像设置位置标签，以得到每帧所述初始图像对应的样本图像。
3.根据权利要求2所述的方法，其特征在于，所述目标图像还具有至少一个对象标签，每个所述对象标签分别对应于所述目标图像中所包含的一个样本对象，所述目标图像的位置标签包含每个所述样本对象的位置标签，所述样本对象的位置标签表征所述样本对象所在的目标图像被采集时所述物镜所处的位置与所述对焦位置之间的对应关系；
其中，按照所述初始图像对应的样本位置与所述对焦位置之间的对应关系，根据所述目标图像的位置标签，分别为每帧所述初始图像设置位置标签，以得到每帧所述初始图像对应的样本图像，包括：
根据所述目标图像中每个样本对象对应的对象标签，分别为每帧所述初始图像中所包含的每个样本对象设置对象标签，且，按照所述初始图像对应的样本位置与所述对焦位置之间的对应关系，分别为每帧所述初始图像中所包含的每个样本对象设置位置标签，以得到每帧所述初始图像对应的样本图像。
4.根据权利要求3所述的方法，其特征在于，所述目标对象包括至少一个检测对象；所述第一图像对应的位置标识包括所述第一图像中每个所述检测对象的位置标识；
其中，根据所述位置标识，确定所述对焦位置，包括：
针对每帧所述第一图像，根据每个所述检测对象的位置标识，获得每个所述检测对象对应的清晰度值，所述清晰度值表征所述第一图像中所述检测对象的清晰程度；所述清晰度值为0到1之间的数值；
获得所述第一图像中所有检测对象对应的清晰度值之间的清晰度平均值；
将所述清晰度平均值满足所述清晰条件的第一图像被采集时所述物镜所处的位置确定为所述对焦位置。
5.根据权利要求4所述的方法，其特征在于，将所述清晰度平均值满足所述清晰条件的第一图像被采集时所述物镜所处的位置为所述对焦位置，包括：
判断当前帧图像对应的清晰度平均值是否小于前一帧图像对应的清晰度平均值，所述当前帧图像与所述前一帧图像为所述物镜分别处于前后两个相邻的采集位置上时所述显微成像设备所采集到的第一图像；
如果所述当前帧图像对应的清晰度平均值小于所述前一帧图像对应的清晰度平均值，判断所述前一帧图像对应的清晰度平均值是否大于或等于所述清晰度阈值；
如果所述前一帧图像对应的清晰度平均值大于或等于所述清晰度阈值，确定所述前一帧图像被采集时所述物镜所处的位置为所述对焦位置；
其中，所述方法还包括：
在所述显微成像设备采集到所述当前帧图像之后，控制所述显微成像设备停止进行图像采集。
6.根据权利要求4所述的方法，其特征在于，根据每个所述检测对象的位置标识，获得每个所述检测对象对应的清晰度值，包括：
按照位置标识与清晰度值之间的映射关系，将每个所述检测对象的位置标识分别进行数值转换，以得到每个所述检测对象对应的清晰度值；
其中，所述映射关系根据所述目标图像对应的位置标签建立。
7.根据权利要求4所述的方法，其特征在于，所述第一图像中包含多个图层，每个所述图层中包含有至少一个检测对象；
其中，获得所述第一图像中所有检测对象对应的清晰度值之间的清晰度平均值，包括：
在所述多个图层中，筛选所包含的检测对象最多的目标图层；
将所述目标图层中所包含的所有检测对象对应的清晰度值进行求平均，以得到清晰度平均值。
8.根据权利要求1或2所述的方法，其特征在于，所述目标检测模型为基于回归算法训练的机器学习模型；
其中，所述位置标签为0到M-1之间的正整数，所述第一图像对应的位置标识为0到M-1之间的自然数；M为所述样本图像的总数量值，所述目标图像对应的位置标签为M减1后的一半。
9.根据权利要求1或2所述的方法，其特征在于，根据所述位置标识，确定所述对焦位置，包括：
根据所述位置标识和所述目标图像对应的位置标签之间的对应关系，获得所述第一图像对应的采集位置与所述对焦位置之间的位置差距和位置方向；
根据所述第一图像对应的采集位置和所述位置差距，确定所述对焦位置，所述位置方向用于控制所述物镜移动所述位置差距，以使得所述物镜处于所述对焦位置。
10.一种显微成像的对焦控制装置，其特征在于，所述装置包括：
图像采集单元，用于控制显微成像设备在Z轴上按照目标步长依次移动到至少一个采集位置，以得到所述显微成像设备对目标对象所采集到的至少一帧第一图像；
模型处理单元，用于使用目标检测模型对所述第一图像进行处理，以得到所述第一图像对应的位置标识，所述位置标识表征所述第一图像被采集时所述显微成像设备的物镜所处的位置与对焦位置之间的对应关系；
其中，所述目标检测模型基于训练样本训练得到，所述训练样本包含多帧样本图像，每帧所述样本图像具有位置标签，所述位置标签表征所述样本图像被采集时所述物镜所处的位置与所述对焦位置之间的对应关系；所述对焦位置为目标图像被采集时所述物镜所处的位置，所述目标图像为所述多个样本图像中清晰度满足清晰条件的图像；
位置确定单元，用于根据所述位置标识，确定所述对焦位置，所述对焦位置用于所述显微成像设备采集到满足所述清晰条件的图像。
CN202311172991.7A 2023-09-12 2023-09-12 显微成像的对焦控制方法及装置 Pending CN117310962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311172991.7A CN117310962A (zh) 2023-09-12 2023-09-12 显微成像的对焦控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311172991.7A CN117310962A (zh) 2023-09-12 2023-09-12 显微成像的对焦控制方法及装置

Publications (1)

Publication Number Publication Date
CN117310962A true CN117310962A (zh) 2023-12-29

Family

ID=89254528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311172991.7A Pending CN117310962A (zh) 2023-09-12 2023-09-12 显微成像的对焦控制方法及装置

Country Status (1)

Country Link
CN (1) CN117310962A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117970595A (zh) * 2024-03-27 2024-05-03 笑纳科技(苏州)有限公司 一种基于深度学习和图像处理的显微镜自动对焦方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117970595A (zh) * 2024-03-27 2024-05-03 笑纳科技(苏州)有限公司 一种基于深度学习和图像处理的显微镜自动对焦方法

Similar Documents

Publication Publication Date Title
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
CN111007661B (zh) 一种基于深度学习的显微图像自动聚焦方法及装置
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
CN111462075B (zh) 一种全切片数字病理图像模糊区域的快速重聚焦方法及***
CN105578048B (zh) 一种快速对焦方法和装置、移动终端
CN111083365B (zh) 一种最佳焦平面位置快速检测方法及装置
CN111462076A (zh) 一种全切片数字病理图像模糊区域检测方法及***
JP5461630B2 (ja) 合焦位置を決定する方法及びビジョン検査システム
CN104471389A (zh) 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理***
CN117310962A (zh) 显微成像的对焦控制方法及装置
CN111932542B (zh) 一种基于多焦距的图像识别方法及装置、存储介质
CN113129335B (zh) 一种基于孪生网络的视觉跟踪算法及多模板更新策略
CN110519588A (zh) 用于调焦的图像清晰度检测方法、装置及摄像装置
CN112801967B (zh) 一种***形态分析方法和装置
CN113705298A (zh) 图像采集方法、装置、计算机设备及存储介质
CN106031148A (zh) 成像设备，成像设备中自动对焦的方法以及对应计算机程序
CN113538545B (zh) 一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质
CN106324820A (zh) 一种双通道荧光光学显微成像中基于图像处理的自动对焦方法
CN109544584A (zh) 一种实现巡检稳像精度测量的方法及***
CN117269193A (zh) 合成革表观质量智能化检测方法
Shajkofci et al. DeepFocus: a few-shot microscope slide auto-focus using a sample invariant CNN-based sharpness function
CN117850017B (zh) 显微镜自动对焦方法、装置、计算机设备及存储介质
CN113028997A (zh) 镜片组的行程余量测量方法、装置、设备和存储介质
JP2014142213A (ja) 撮影パラメータ決定装置及びその制御方法
CN115272249B (zh) 一种缺陷检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination