CN117232792A - 基于图像信息的显微镜缺陷检测*** - Google Patents

Abstract

本发明公开了基于图像信息的显微镜缺陷检测***，包括多源数据采集存储模块、图像质量预测模块、图像质量预测修正模块、光源检测模块、可靠度模块；基于时间和温度的交互影响，构建了光源干扰的图像质量预测模型；从显微镜采集的待测物对应的图像灰度数据出发，一方面能通过图像数据信息获得显微镜光源模块的损耗情况；另一方面也能检测出光源损耗对采集图像质量的影响，可以预测出光源动态和稳态情况以及图像的变化情况；另外通过光源检测模块，可对光源模块中led损坏进行检测，结合可靠度模块对图像质量和光源模块整体进行了可靠度分析，为提高产品的可靠性和稳定性提供依据；并且本***可为后期显微镜装置缺陷检测提供了依据。

Description

基于图像信息的显微镜缺陷检测***

技术领域

本发明属于光学仪器的技术领域，具体涉及基于图像信息的显微镜缺陷检测***。

背景技术

显微镜中的光源模块发光用于照明显微镜的视域范围，便于显微镜观察和待测物的图像采集，防止杂散光对图像采集***造成影响或干扰，影响采集图像的质量。

现有显微镜采用LED作为光源发出光照，光源模块在长期使用后会存在损耗，其光源光照性能降低，即光照效率降低，进而影响显微镜采集的图像质量；特别是针对成像精度高的显微镜，采集的图像质量十分重要，影响待测物图像的拼接与成像。

现有的显微镜光源模块损耗缺陷检测方案，存在直接对光源模块的光参数进行直接检测，如光通量、光强等，基于历史时间下检测的led光参数数据，获得光源损耗缺陷。现有技术中检测光源模块的光参数需要借助相应的检测仪器与相应的检测环境配合进行测量，由于显微镜中的光源模块已经装配在显微镜产品中，无法直接对光源的光参数进行检测，增加了检测的复杂程度；并且，针对光源模块灯珠安装后无法针对性的对各LED灯珠进行损坏情况的检测；另外，现有技术中大都是从显微镜光源模块自身的检测数据出发，检测光源的损耗缺陷，单一的检测光源的损耗缺陷，忽略了光源模块在显微镜成像过程中对采集的图像的影响，而显微镜采集的图像质量是最终成像的关键；并且现有技术中对光源损耗的预测中只是基于理论原理进行预测，没有结合实际值，导致预测结果缺乏精确性；因此需要研究一种基于图像信息的显微镜缺陷检测方案。

发明内容

为解决上述技术问题，本发明采用以下技术方案：

基于图像信息的显微镜缺陷检测***，包括：多源数据采集存储模块，采集并存储显微镜光源模块在各恒定工作温度下分别对应的光源模块使用的时间信息数据、以及各恒定工作温度对应的光源模块使用的时间信息数据中预设各使用时长下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据；在光源模块固定第一使用时长下，光源模块在不同工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据；还实时采集并存储光源模块各实际使用时长和工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据实际值；

图像质量预测模块，基于多源数据采集存储模块当前存储的数据，结合时间干扰图像质量模型、温度干扰图像质量模型，构建光源干扰的图像质量预测模型，预测显微镜光源模块缺陷干扰下的图像质量表征；进而基于图像质量可以反映出显微镜光源模块的损耗缺陷程度。

作为本发明的一种优选技术方案，所述图像质量预测模块中，通过以下步骤，构建图像质量预测模块：

步骤A1：基于多源数据采集存储模块中各恒定工作温度下分别对应的光源模块使用的时间信息数据、以及各恒定工作温度对应的光源模块使用的时间信息数据中预设各使用时长下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据，结合以下公式，获得显微镜光源模块对应的时间干扰图像质量模型；

,

式中，表示光源模块使用时长t下待测物图像的图像灰度数据；/>表示光源模块在初始状态时的待测物图像的图像灰度数据；/>表示光源模块在工作温度K下对应的预设系数，由实验获得；

步骤A2:基于多源数据采集存储模块中在光源模块固定第一使用时长下，光源模块在不同工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据，结合以下公式，获得显微镜光源模块对应的温度干扰图像质量模型；

,

式中，表示光源模块工作温度为/>时对应的待测物图像的图像灰度数据；/>表示常温工作温度；/>表示预设系数，由实验获得；

步骤A3：基于显微镜光源模块对应的时间干扰图像质量模型、温度干扰图像质量模型，通过以下公式，构建光源干扰的图像质量预测模型，预测显微镜光源模块缺陷干扰下的图像质量表征：

,

式中，表示光源模块使用时长t下工作温度为/>时待测物图像的图像灰度数据；/>表示光源模块使用时长t下的工作温度；/>、/>表示预设权重参数，/>。

作为本发明的一种优选技术方案，所述步骤A3中，

；

进而，。

作为本发明的一种优选技术方案，所述和单次使用时长关系如下所示：

；

式中，表示光源模块本次使用的环境温度；/>表示温度上升系数，/>表示达到热平衡的光源模块工作温度，/>表示光源模块本次使用时长/>下光源模块的工作温度；/>、均为预设经验值，由实验获得。

作为本发明的一种优选技术方案，还包括图像质量预测修正模块，基于图像质量预测模块获得的光源干扰的图像质量预测模型，预测获得在预设各时刻下的待测物图像的图像灰度数据预测值，进而结合与预设各时刻下时间对应的待测物图像的图像灰度数据实际值，对图像质量预测模块中的光源干扰的图像质量预测模型进行修正并更新。

作为本发明的一种优选技术方案，所述图像质量预测修正模块中，具体通过以下步骤，对光源干扰的图像质量预测模型进行修正：

步骤 B1：基于在预设各时刻下的待测物图像的图像灰度数据预测值，以及与预设各时刻下时间对应的待测物图像的图像灰度数据实际值，获得预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度；

步骤B2:基于在预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度，判断是否修正光源干扰的图像质量预测模型；当相关程度为1时，则不修正光源干扰的图像质量预测模型；当相关程度不为1时，则对光源干扰的图像质量预测模型进行修正。

作为本发明的一种优选技术方案，所述步骤B2中，具体通过以下步骤对光源干扰的图像质量预测模型进行修正：

基于在预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度，结合在预设各时刻下相关程度修正后的待测物图像的图像灰度数据预测值与图像灰度数据实际值的偏差，对光源干扰的图像质量预测模型进行修正；具体通过以下公式对光源干扰的图像质量预测模型进行修正；

具体通过以下公式对光源干扰的图像质量预测模型进行修正：

；

；

式中，，/>；/>；/>是光源干扰的图像质量预测模型表示光源模块使用时长t下工作温度为/>时待测物图像的图像灰度数据；/>表示系数，取值为（0，1）；/>表示修正后的光源干扰的图像质量预测模型；n表示第n个预设时刻；N表示预设各时刻的总数；/>表示第n个预设时刻下的待测物图像的图像灰度数据预测值；/>表示第n个预设时刻下的待测物图像的图像灰度数据实际值。

作为本发明的一种优选技术方案，所述系数通过以下步骤获得：

步骤C1：系数基于/>系数取值范围内的各取值，结合修正后的光源干扰的图像质量预测模型，获得/>系数在各取值下分别对应的在预设各时刻下对光源干扰的图像质量预测模型进行修正后的待测物图像的图像灰度数据预测值；

步骤C2：基于系数在各取值下分别对应的在预设各时刻下对光源干扰的图像质量预测模型进行修正后的待测物图像的图像灰度数据预测值，结合与预设各时刻时间对应下的待测物图像的图像灰度数据实际值，判断/>系数在各取值下修正后的光源干扰的图像质量预测模型分别对应的拟合程度，选取拟合程度最小时对应的/>系数取值作为对光源干扰的图像质量预测模型进行修正时的/>系数；

通过以下公式，计算所述判断系数在各取值下修正后的光源干扰的图像质量预测模型分别对应的拟合程度：

,

式中，表示拟合程度，/>表示与预设各时刻时间对应下的待测物图像的图像灰度数据实际值的平均值；/>表示第n个预设时刻下对光源干扰的图像质量预测模型进行修正后的待测物图像的图像灰度数据预测值。

作为本发明的一种优选技术方案，针对预设均匀光照模式下，获得经图像质量预测修正模块修正后的图像质量预测模型所预测的在当前待测物图像的图像灰度数据预测值，结合当前时刻下待测物图像的图像灰度数据实际值，判断当前时刻下预设均匀光照模式下LED灯珠是否发生损坏；

具体通过以下步骤，判断预设均匀光照模式下的各LED是否损坏：

步骤D1：确定采集的待测物图像的图像灰度数据中各LED灯珠分别对应的与其中心相距最小距离的像素点为各LED灯珠分别对应的主像素点、以及以该主像素点为中心的预设像素区域为各LED灯珠分别对应的主区域，并基于当前时刻下待测物图像的图像灰度数据实际值，获取各LED灯珠所对应的主区域的实际灰度均值，基于当前时刻下待测物图像的图像灰度数据预测值获取各主区域对应的预测灰度均值；分别针对各主区域，通过以下公式判断各主区域对应的各LED是否损坏，若主区域对应的实际灰度均值和预测灰度均值满足以下公式，则表示该LED没有损坏；若主区域对应的实际灰度均值和预测灰度均值不满足以下公式，则表示该主区域对应的LED存在损坏；

；

式中，表示主区域对应的实际灰度均值；/>表示主区域对应的预测灰度均值；M表示除了当前主区域外剩余的主区域总数，/>表示主区域m中的主像素点对应的待测物位置到主区域m对应的LED中心的直线距离；/>表示当前主区域中的主像素点对应的待测物位置到当前主区域对应的LED中心的最小距离；/>表示预设偏差系数。

作为本发明的一种优选技术方案，还包括可靠度模块，基于图像质量预测模块中的光源干扰的图像质量预测模型，获得经图像质量预测修正模块修正后的图像质量预测模型所预测的在预设时刻下待测物图像的图像灰度数据预测值，结合光源检测模块检测结果，获得在预设时刻下基于光源模块光照下的图像质量的可靠度；进而结合预设可靠度阈值，若在预设时刻下基于光源模块光照下的图像质量的可靠度不小于预设可靠度阈值，则表示光源模块可继续使用，若在预设时刻下基于光源模块光照下的图像质量的可靠度小于预设可靠度阈值，则进行光源模块预警提示；

具体的，所述在预设时刻下基于光源模块光照下的图像质量的可靠度公式如下：

，

，

式中，表示在光源模块使用时长t下基于光源模块光照下的图像质量的可靠度；/>是光源干扰的图像质量预测模型表示光源模块使用时长t下工作温度为/>时待测物图像的图像灰度数据；/>表示光源模块在初始状态时的待测物图像的图像灰度数据。

本发明的有益效果：本发明提出了基于图像信息的显微镜缺陷检测***，在温度和时间单独干扰下进行分析，拟合出温度和时间的共同干扰作用下对显微镜光源模块性能的影响，实现了对光源模块下对待测物的图像质量的预测，进而构建了光源干扰的图像质量预测模型；构建的图像质量预测模型从显微镜采集的待测物对应的图像灰度数据出发，一方面能通过图像数据信息获得显微镜光源模块的损耗情况，有利于对显微镜光源模块损耗的监测，并且避免了直接检测光源光参数数据的复杂性；另一方面也能检测出光源损耗对采集图像质量的影响，可以预测出光源动态和稳态情况以及图像的变化情况；

本发明通过采集预设使用时长下待测物图像的灰度值数据实际值与经图像质量预测模块在温度和时间共同干扰下所预测出的待测物图像的灰度值进行对比，以判断预测的灰度值与灰度值数据实际值间的差值，结合系数取值的方法，进一步减小图像质量预测模型预测值与实际值的误差，达到对图像质量预测模型的修正并更新，便于后续图像质量预测模型在时间和温度的共同干扰下所预测的图像灰度值接近灰度值数据实际值，进一步提高了图像质量预测模型预测的精确度；

本发明通过对各LED灯珠的主区域内的实际灰度均值与主区域对应的预测灰度均值进行分析，并结合光照度与距离所对应的公式，判断主区域所对应的LED灯珠是否发生损坏，解决了灯珠安装后无法针对性的对LED灯珠进行损坏情况的检测，提高了LED灯珠故障判断的准确性，为后期显微镜进行图像采集时所采集的图像的灰度值与待测物实际的灰度值是否受到LED灯珠干扰下进行精准分析，提高了后期图像采集的准确性。并且为提高产品的可靠性和稳定性提供依据，以及可为后期图像补偿和显微镜装置缺陷检测提供依据。

附图说明

图 1为本发明实施例中在光源模块各恒定工作温度下待测物的图像灰度数据随着时间的变化曲线图；

图2为本发明实施例中待测物的图像灰度数据随着光源模块工作温度的变化曲线图。

具体实施方式

下面结合附图对本发明进行进一步说明。下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。

针对显微镜光源模块在长期使用后，其光源模块会存在损耗，导致光源模块的光照性能降低，进而影响显微镜采集的图像质量，因此构建了基于图像信息的显微镜缺陷检测***，对待测物的图像灰度数据进行预测；则可以基于显微镜采集的待测物的图像数据信息检测显微镜光源模块损耗缺陷，以及检测显微镜光源模块损耗缺陷干扰影响下采集的图像质量；进而有利于检测显微镜采集的图像质量的变化以及显微镜光源模块缺陷的损耗缺陷。

本实施例中显微镜光源模块采用的LED作为显微镜光源模块的发光源提供均匀照明光照；并且本实施例中的显微镜包括变倍镜筒、物镜、相机，在光源模块发出的均匀光照下，基于变倍镜筒、物镜的配合，通过相机采集获得显微镜观测平台上的待测物的图像。

实施例一

本方案构建的基于图像信息的显微镜缺陷检测***包括：

多源数据采集存储模块，采集并存储显微镜光源模块在各恒定工作温度下分别对应的光源模块使用的时间信息数据、以及各恒定工作温度对应的光源模块使用的时间信息数据中预设各使用时长下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据；在光源模块固定第一使用时长下，光源模块在不同工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据；还实时采集并存储光源模块各实际使用时长和工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据实际值。

具体的，所述在光源模块固定第一使用时长下指采用光源模块未受时间和温度干扰下的使用时长下，即光源模块不受时间和温度干扰下，仍为初始状态（初始光效）时，采集光源模块在不同工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据；因此，光源模块为初始状态时显微镜采集的待测物图像的灰度值与待测物图像本身的灰度值接近，可以避免随着时间发展过程中光源模块本身的损耗状态对温度干扰造成的损耗的影响。所述光源模块使用的时间信息数据包括显微镜光源模块总使用时长。另外，本方案是基于显微镜光源模块一直在恒定驱动条件的工作模式下，本实施例中待测物图像的图像灰度数据均指显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据。

图像质量预测模块，与多源数据采集存储模块通信连接，基于多源数据采集存储模块当前存储的数据，结合时间干扰图像质量模型、温度干扰图像质量模型，构建光源干扰的图像质量预测模型，预测显微镜光源模块缺陷干扰下的图像质量表征；进而基于图像质量可以反映出显微镜光源模块的损耗缺陷程度。

具体的，所述图像质量预测模块中，通过以下步骤，构建图像质量预测模块：

步骤A1：基于多源数据采集存储模块中各恒定工作温度下光源模块使用的时间信息数据、以及各恒定工作温度对应的光源模块使用的时间信息数据中预设各使用时长下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据，结合以下公式，获得显微镜光源模块对应的时间干扰图像质量模型；

，

式中，表示光源模块使用时长t下待测物图像的图像灰度数据；/>表示光源模块在初始状态时的待测物图像的图像灰度数据；/>表示光源模块在工作温度K下对应的预设系数，由实验获得。如图 1所示为光源模块在各恒定工作温度下待测物的图像灰度数据随着时间的变化曲线图，图中温度1<温度2<温度3；则表明温度干扰会影响光源模块，温度越高，光源模块损耗越大，进而图像灰度数据越小，进而需要考虑温度干扰对光源模块的影响。

步骤A2：基于多源数据采集存储模块中在光源模块固定第一使用时长下，光源模块在不同工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据，结合以下公式，获得显微镜光源模块对应的温度干扰图像质量模型；

，

式中，表示光源模块工作温度为/>时对应的待测物图像的图像灰度数据；/>表示常温工作温度；/>表示预设系数，由实验获得。如图2所示为待测物的图像灰度数据随着光源模块工作温度的变化曲线图。本实施例中，设定常温为光源模块LED工作的最佳工作温度。

步骤A3：基于显微镜光源模块对应的时间干扰图像质量模型、温度干扰图像质量模型，通过以下公式，构建光源干扰的图像质量预测模型，预测显微镜光源模块缺陷干扰下的图像质量表征：

，

式中，表示光源模块使用时长t下工作温度为/>时待测物图像的图像灰度数据，为光源干扰的图像质量预测模型，指光源模块使用时长t下工作温度为/>时待测物图像的图像灰度数据预测值；/>表示光源模块使用时长t下的工作温度；/>、/>表示预设权重参数，/>；

其中，；

进而，。

进一步的，光源模块在单次的使用过程中显微镜光源模块的工作温度会随着时间发生变化，并最终达到热平衡状态，工作温度达到稳定值；进而为了预测光源模块在单次的使用过程中预设使用时长下显微镜光源模块缺陷干扰下的图像质量表征，基于光源模块在单次使用过程中设定的温度上升规律，可通过将时间与工作温度近似为线性关系模型代替上述光源模块使用的时长t下的工作温度；

具体的，显微镜光源模块的工作温度和单次使用时长关系模型如下所示：

；

式中，表示光源模块本次使用的环境温度；/>表示温度上升系数，/>表示达到热平衡的光源模块工作温度，/>表示光源模块本次使用时长/>下光源模块的工作温度；/>、均为预设经验值，由实验获得。

本方案中所述待测物为单一材料表面平整的待测物；待测物图像的图像灰度数据可使用待测物同一采样位置处待测物图像中预设区域对应的灰度像素矩阵，或者待测物同一采样位置处待测物图像的灰度像素矩阵。

另外，基于图像信息的显微镜缺陷检测***还包括图像质量预测修正模块，分别与多源数据采集存储模块、图像质量预测模块通信连接，基于图像质量预测模块获得的光源干扰的图像质量预测模型，预测获得在预设各时刻下的待测物图像的图像灰度数据预测值，进而结合与预设各时刻下时间对应的待测物图像的图像灰度数据实际值，对图像质量预测模块中的光源干扰的图像质量预测模型进行修正并更新，应用于后续的待测物图像灰度数据的预测。

具体的，所述图像质量预测修正模块中，具体通过以下步骤，对光源干扰的图像质量预测模型进行修正：

步骤 B1：基于在预设各时刻下的待测物图像的图像灰度数据预测值，以及与预设各时刻下时间对应的待测物图像的图像灰度数据实际值，获得预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度；

进一步的，所述步骤B1中的具体过程如下：

步骤B1.1：基于在预设各时刻下的待测物图像的图像灰度数据预测值，以及与预设各时刻下时间对应下的待测物图像的图像灰度数据实际值，获得预设各时刻下分别对应的待测物图像的图像灰度数据预测值与图像灰度数据实际值的比率；

步骤B1.2：基于预设各时刻下分别对应的待测物图像的图像灰度数据预测值与图像灰度数据实际值的比率，通过以下公式，获得在预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度：

，

式中，n表示第n个预设时刻；N表示预设各时刻的总数；表示第n个预设时刻下的待测物图像的图像灰度数据预测值；/>表示第n个预设时刻下的待测物图像的图像灰度数据实际值。

步骤B2：基于在预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度，判断是否修正光源干扰的图像质量预测模型；当相关程度为1时，则不修正光源干扰的图像质量预测模型；当相关程度不为1时，则对光源干扰的图像质量预测模型进行修正。

具体的，所述步骤B2中，具体通过以下步骤对光源干扰的图像质量预测模型进行修正：

基于在预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度，结合在预设各时刻下相关程度修正后的待测物图像的图像灰度数据预测值与图像灰度数据实际值的偏差，对光源干扰的图像质量预测模型进行修正；具体通过以下公式对光源干扰的图像质量预测模型进行修正：

，

，

式中，表示系数，取值为（0，1）；/>，/>。

进一步的，所述系数通过以下步骤获得：

步骤C1：系数基于/>系数取值范围内的各取值，结合修正后的光源干扰的图像质量预测模型，获得/>系数在各取值下分别对应的在预设各时刻下对光源干扰的图像质量预测模型进行修正后的待测物图像的图像灰度数据预测值；

步骤C2：基于系数在各取值下分别对应的在预设各时刻下对光源干扰的图像质量预测模型进行修正后的待测物图像的图像灰度数据预测值，结合与预设各时刻时间对应下的待测物图像的图像灰度数据实际值，判断/>系数在各取值下修正后的光源干扰的图像质量预测模型分别对应的拟合程度，选取拟合程度最小时对应的/>系数取值作为对光源干扰的图像质量预测模型进行修正时的/>系数。

具体的，通过以下公式，计算所述判断系数在各取值下修正后的光源干扰的图像质量预测模型分别对应的拟合程度，拟合程度数值越低表示拟合程度越好：

，

式中，表示拟合程度，/>表示与预设各时刻时间对应下的待测物图像的图像灰度数据实际值的平均值；/>表示第n个预设时刻下对光源干扰的图像质量预测模型进行修正后的待测物图像的图像灰度数据预测值。

进而，当相关程度为1时，则不修正光源干扰的图像质量预测模型，则图像质量的光源干扰模型为：；

当相关程度不为1时，则对光源干扰的图像质量预测模型进行修正，则图像质量的光源干扰模型为：

。

实施例二

针对显微镜光源模块，在预设均匀光照模式下，需要涉及多个LED共同对观测平台上的待测物提供均匀光照，进而设计了光源检测模块，基于预设均匀光照模式下的待测物的图像灰度数据，判断预设均匀光照模式下各LED中是否存在损坏，即判断预设均匀光照模式下各LED灯珠是否损坏。

由于预设均匀光照模式下，各led组合提供均匀的光照至观测平台的待测物上，无损坏情况下各LED光源处光照强度相同，并且各LED光源共同作用下光照到待测物图像中各像素点的光照强度近似一样，但当其中存在led损坏时，则导致预设均匀光照模式对观测平台上的待测物光照存在局部不均匀，进而导致待测物图像灰度变化分布不均匀，当其中一LED灯珠损坏时，对显微镜图像视野下与损坏的LED灯珠的距离最近的像素点的光照影响最大。本实施例中的预设均匀光照模式采用各LED光源直接光照到待测物上的光照模式，其中，LED灯珠均匀分布在镜头底部的环形区域内，且LED灯珠分布区域的中心点与镜头视野中心相重合。

光源检测模块，与多源数据采集模块、以及图像质量预测模块通信连接，针对预设均匀光照模式下，获得经图像质量预测修正模块修正后的图像质量预测模型所预测的在当前待测物图像的图像灰度数据预测值，结合当前时刻下待测物图像的图像灰度数据实际值，判断当前时刻下预设均匀光照模式下LED灯珠是否发生损坏；

具体通过以下步骤，判断预设均匀光照模式下的各LED是否损坏：

步骤D1：确定采集的待测物图像的图像灰度数据中各LED灯珠分别对应的与其中心相距最小距离的像素点为各LED灯珠分别对应的主像素点、以及以该主像素点为中心的预设像素区域为各LED灯珠分别对应的主区域，并基于当前时刻下待测物图像的图像灰度数据实际值，获取各LED灯珠所对应的主区域的实际灰度均值，基于当前时刻下待测物图像的图像灰度数据预测值获取各主区域对应的预测灰度均值；分别针对各主区域，基于光照度与距离的关系，通过以下公式判断各主区域对应的各LED是否损坏，若主区域对应的实际灰度均值和预测灰度均值满足以下公式，则表示该LED没有损坏；若主区域对应的实际灰度均值和预测灰度均值不满足以下公式，则表示该主区域对应的LED存在损坏；

，

式中，表示主区域对应的实际灰度均值；/>表示主区域对应的预测灰度均值；M表示除了当前主区域外剩余的主区域总数，/>表示主区域m中的主像素点对应的待测物位置到主区域m对应的LED中心的直线距离；/>表示当前主区域中的主像素点对应的待测物位置到当前主区域对应的LED中心的最小距离；由于采用高倍率显微镜，其实际采集的待测物区域远小于镜头轮廓所覆盖的区域大小，因此为了简化数据计算的难度，认为显微镜采集的图像中任意一像素点对应的待测物位置到物镜上LED灯珠的最小直线距离相同；/>表示预设偏差系数，取历史中光源模块在使用时长和温度下的主区域对应的实际灰度均值与主区域对应的预测灰度均值间偏差系数中的最大值，且主区域对应的实际灰度均值与主区域对应的预测灰度均值间偏差系数，计算公式为/>；其中，主区域可以设置为3*3像素点或者5*5像素，避免干扰；如本实施例中的预设均匀光照模式，共有5个LED，则共选取有五个主区域，则当前分析其中一个LED时，此时M数值为4。

实施例三

进一步的，还设计了可靠度模块，对基于光源模块光照下的图像质量进行可靠度分析。

可靠度模块，与光源检测模块、图像质量预测模块通信连接，基于图像质量预测模块中的光源干扰的图像质量预测模型，获得经图像质量预测修正模块修正后的图像质量预测模型所预测的在预设时刻下待测物图像的图像灰度数据预测值，结合光源检测模块检测结果，获得在在预设时刻下基于光源模块光照下的图像质量的可靠度；进而结合预设可靠度阈值，若在在预设时刻下基于光源模块光照下的图像质量的可靠度不小于预设可靠度阈值，则表示光源模块可继续使用，若在预设时刻下基于光源模块光照下的图像质量的可靠度小于预设可靠度阈值，则进行光源模块预警提示，表示光源模块需要更换，不能继续使用。本实施例中，基于行业内设定LED流明维持率为70%时，LED不能继续使用，因此所述预设可靠度阈值采用0.7。

具体的，所述在预设时刻下基于光源模块光照下的图像质量的可靠度公式如下：

，

，

式中，表示在光源模块使用时长t下基于光源模块光照下的图像质量的可靠度。

本方案中在预设时刻对应的待测物图像的图像灰度数据预测值，可通过预设时刻对应的光源模块使用时长和温度结合光源干扰的图像质量预测模型获得待测物图像的图像灰度数据预测值。另外，本方案中的可靠度模块还可以应用于对未来在预设时刻下基于光源模块光照下的图像质量的可靠度进行预测，预测时可设定不为0的情况下，对未来在预设时刻下基于光源模块光照下的图像质量的可靠度进行预测，进而获得未来在预设时刻下基于光源模块光照下的图像质量的可靠度，进而结合预设可靠度阈值，对未来基于光源模块光照下的图像质量进行预测，即对光源模块损耗干扰进行预测。

本发明设计了基于图像信息的显微镜缺陷检测***，包括多源数据采集存储模块、图像质量预测模块、图像质量预测修正模块、光源检测模块、可靠度模块；本发明考虑了温度和时间对显微镜光源模块性能的影响，并且基于时间和温度的交互影响，构建了光源干扰的图像质量预测模型；从显微镜采集的待测物对应的图像灰度数据出发，一方面能通过图像数据信息获得显微镜光源模块的损耗情况，有利于对显微镜光源模块损耗的监测，并且避免了直接检测光源光参数数据的复杂性；另一方面也能检测出光源损耗对采集图像质量的影响，可以预测出光源动态和稳态情况以及图像的变化情况；另外通过光源检测模块，可对光源模块中led损坏进行检测，结合可靠度模块对图像质量和光源模块整体进行了可靠度分析，为提高产品的可靠性和稳定性提供依据；并且本***可为后期显微镜装置缺陷检测提供了依据。。

以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (10)

1.基于图像信息的显微镜缺陷检测***，其特征在于，包括：多源数据采集存储模块，采集并存储显微镜光源模块在各恒定工作温度下分别对应的光源模块使用的时间信息数据、以及各恒定工作温度对应的光源模块使用的时间信息数据中预设各使用时长下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据；在光源模块固定第一使用时长下，光源模块在不同工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据；还实时采集并存储光源模块各实际使用时长和工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据实际值；

图像质量预测模块，基于多源数据采集存储模块当前存储的数据，结合时间干扰图像质量模型、温度干扰图像质量模型，构建光源干扰的图像质量预测模型，预测显微镜光源模块缺陷干扰下的图像质量表征；进而基于图像质量可以反映出显微镜光源模块的损耗缺陷程度。

2.根据权利要求1所述基于图像信息的显微镜缺陷检测***，其特征在于，所述图像质量预测模块中，通过以下步骤，构建图像质量预测模块：

步骤A1：基于多源数据采集存储模块中各恒定工作温度下分别对应的光源模块使用的时间信息数据、以及各恒定工作温度对应的光源模块使用的时间信息数据中预设各使用时长下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据，结合以下公式，获得显微镜光源模块对应的时间干扰图像质量模型；

；

式中，表示光源模块使用时长t下待测物图像的图像灰度数据；/>表示光源模块在初始状态时的待测物图像的图像灰度数据；/>表示光源模块在工作温度K下对应的预设系数，由实验获得；

步骤A2:基于多源数据采集存储模块中在光源模块固定第一使用时长下，光源模块在不同工作温度下显微镜在同一采样高度下的待测物同一采样位置处待测物图像的图像灰度数据，结合以下公式，获得显微镜光源模块对应的温度干扰图像质量模型；

；

式中，表示光源模块工作温度为/>时对应的待测物图像的图像灰度数据；/>表示常温工作温度；/>表示预设系数，由实验获得；

步骤A3：基于显微镜光源模块对应的时间干扰图像质量模型、温度干扰图像质量模型，通过以下公式，构建光源干扰的图像质量预测模型，预测显微镜光源模块缺陷干扰下的图像质量表征：

；

式中，表示光源模块使用时长t下工作温度为/>时待测物图像的图像灰度数据；/>表示光源模块使用时长t下的工作温度；/>、/>表示预设权重参数，/>。

3.根据权利要求2所述基于图像信息的显微镜缺陷检测***，其特征在于，所述步骤A3中，；

进而，。

4.根据权利要求2所述基于图像信息的显微镜缺陷检测***，其特征在于，所述和单次使用时长关系如下所示：

；

式中，表示光源模块本次使用的环境温度；/>表示温度上升系数，/>表示达到热平衡的光源模块工作温度，/>表示光源模块本次使用时长/>下光源模块的工作温度；/>、/>均为预设经验值，由实验获得。

5.根据权利要求1所述基于图像信息的显微镜缺陷检测***，其特征在于，还包括图像质量预测修正模块，基于图像质量预测模块获得的光源干扰的图像质量预测模型，预测获得在预设各时刻下的待测物图像的图像灰度数据预测值，进而结合与预设各时刻下时间对应的待测物图像的图像灰度数据实际值，对图像质量预测模块中的光源干扰的图像质量预测模型进行修正并更新。

6.根据权利要求5所述基于图像信息的显微镜缺陷检测***，其特征在于，所述图像质量预测修正模块中，具体通过以下步骤，对光源干扰的图像质量预测模型进行修正：

步骤 B1：基于在预设各时刻下的待测物图像的图像灰度数据预测值，以及与预设各时刻下时间对应的待测物图像的图像灰度数据实际值，获得预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度；

步骤B2:基于在预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度，判断是否修正光源干扰的图像质量预测模型；当相关程度为1时，则不修正光源干扰的图像质量预测模型；当相关程度不为1时，则对光源干扰的图像质量预测模型进行修正。

7.根据权利要求6所述基于图像信息的显微镜缺陷检测***，其特征在于，所述步骤B2中，具体通过以下步骤对光源干扰的图像质量预测模型进行修正：

基于在预设各时刻下待测物图像的图像灰度数据预测值与图像灰度数据实际值的相关程度，结合在预设各时刻下相关程度修正后的待测物图像的图像灰度数据预测值与图像灰度数据实际值的偏差，对光源干扰的图像质量预测模型进行修正；

具体通过以下公式对光源干扰的图像质量预测模型进行修正：

；

；

式中，，/>；/>；/>是光源干扰的图像质量预测模型表示光源模块使用时长t下工作温度为/>时待测物图像的图像灰度数据；/>表示系数，取值为（0，1）；/>表示修正后的光源干扰的图像质量预测模型；n表示第n个预设时刻；N表示预设各时刻的总数；/>表示第n个预设时刻下的待测物图像的图像灰度数据预测值；/>表示第n个预设时刻下的待测物图像的图像灰度数据实际值。

8.根据权利要求7所述基于图像信息的显微镜缺陷检测***，其特征在于，所述系数通过以下步骤获得：

步骤C1：系数基于/>系数取值范围内的各取值，结合修正后的光源干扰的图像质量预测模型，获得/>系数在各取值下分别对应的在预设各时刻下对光源干扰的图像质量预测模型进行修正后的待测物图像的图像灰度数据预测值；

步骤C2：基于系数在各取值下分别对应的在预设各时刻下对光源干扰的图像质量预测模型进行修正后的待测物图像的图像灰度数据预测值，结合与预设各时刻时间对应下的待测物图像的图像灰度数据实际值，判断/>系数在各取值下修正后的光源干扰的图像质量预测模型分别对应的拟合程度，选取拟合程度最小时对应的/>系数取值作为对光源干扰的图像质量预测模型进行修正时的/>系数；

通过以下公式，计算所述判断系数在各取值下修正后的光源干扰的图像质量预测模型分别对应的拟合程度：

；

式中，表示拟合程度，/>表示与预设各时刻时间对应下的待测物图像的图像灰度数据实际值的平均值；/>表示第n个预设时刻下对光源干扰的图像质量预测模型进行修正后的待测物图像的图像灰度数据预测值。

9.根据权利要求2所述基于图像信息的显微镜缺陷检测***，其特征在于，针对预设均匀光照模式下，获得经图像质量预测修正模块修正后的图像质量预测模型所预测的在当前待测物图像的图像灰度数据预测值，结合当前时刻下待测物图像的图像灰度数据实际值，判断当前时刻下预设均匀光照模式下LED灯珠是否发生损坏；

具体通过以下步骤，判断预设均匀光照模式下的各LED是否损坏：

步骤D1：确定采集的待测物图像的图像灰度数据中各LED灯珠分别对应的与其中心相距最小距离的像素点为各LED灯珠分别对应的主像素点、以及以该主像素点为中心的预设像素区域为各LED灯珠分别对应的主区域，并基于当前时刻下待测物图像的图像灰度数据实际值，获取各LED灯珠所对应的主区域的实际灰度均值，基于当前时刻下待测物图像的图像灰度数据预测值获取各主区域对应的预测灰度均值；分别针对各主区域，通过以下公式判断各主区域对应的各LED是否损坏，若主区域对应的实际灰度均值和预测灰度均值满足以下公式，则表示该LED没有损坏；若主区域对应的实际灰度均值和预测灰度均值不满足以下公式，则表示该主区域对应的LED存在损坏；

；

式中，表示主区域对应的实际灰度均值；/>表示主区域对应的预测灰度均值；M表示除了当前主区域外剩余的主区域总数，/>表示主区域m中的主像素点对应的待测物位置到主区域m对应的LED中心的直线距离；/>表示当前主区域中的主像素点对应的待测物位置到当前主区域对应的LED中心的最小距离；/>表示预设偏差系数。

10.根据权利要求9所述基于图像信息的显微镜缺陷检测***，其特征在于，还包括可靠度模块，基于图像质量预测模块中的光源干扰的图像质量预测模型，获得经图像质量预测修正模块修正后的图像质量预测模型所预测的在预设时刻下待测物图像的图像灰度数据预测值，结合光源检测模块检测结果，获得在预设时刻下基于光源模块光照下的图像质量的可靠度；进而结合预设可靠度阈值，若在预设时刻下基于光源模块光照下的图像质量的可靠度不小于预设可靠度阈值，则表示光源模块可继续使用，若在预设时刻下基于光源模块光照下的图像质量的可靠度小于预设可靠度阈值，则进行光源模块预警提示；

具体的，所述在预设时刻下基于光源模块光照下的图像质量的可靠度公式如下：，/>，

式中，表示在光源模块使用时长t下基于光源模块光照下的图像质量的可靠度；是光源干扰的图像质量预测模型表示光源模块使用时长t下工作温度为/>时待测物图像的图像灰度数据；/>表示光源模块在初始状态时的待测物图像的图像灰度数据。