CN111353971B - 基于图像的维修预测和操作误差检测 - Google Patents

Abstract

介绍了一种用于确定显微镜***预测性维护需求的计算机实现的方法。该方法包括：提供一种显微镜***，该显微镜***包括用于记录样本的数字图像的图像传感器；在显微镜***的常规操作期间记录数字图像；以及将数字图像作为输入数据集提供给图像分析***。该方法还包括：确定与常规操作期间显微镜***的故障相关的至少一个特征；产生状态信号；以及确定需要维护程序的显微镜***的组件组。

Description

基于图像的维修预测和操作误差检测

技术领域

本发明总体上涉及一种用于预测维护程序需求的***，并且尤其涉及一种用于显微镜***前瞻性维护的计算机实现的方法、对应的维护监控***以及计算机程序产品。

背景技术

现代技术设备通常需要根据规定的维护计划进行复杂且耗时的维护程序。维护计划利用过去的经验来确定维护间隔，以这种方式确保技术设备不会因缺乏维护工作而出现故障。这种情况导致的事实是，维护程序实际上执行得比一些技术设备所需的更频繁。如果由高素质的人员以适合***的方式小心地处理设备，情况尤其如此。这不仅适用于飞行员，他们有时甚至会因为轻微地处理发动机而获得附加额外报酬(很少在满载时)，还适用于高精度仪器，诸如高度复杂的精密显微镜***。所述***例如用于医学、生物医学或材料科学领域；即使在本文，由于维护工作导致的***停机时间保持尽可能短也是重要的，以允许尽可能快地摊销在所述设备中的投资。

操作误差会导致维护周期缩短，或者甚至出现意外维护。因此，现代维护方法将***的实际使用考虑在内，其中，在某些情况下，***的数字孪生已经被保存下来，特别是由***制造商保存下来，以便动态确定维护周期。然而，这需要显微镜***与制造商之间持续地进行电子连接(互联网)。出于数据保护和其它原因，这种耦合通常是不期望的。另外，这种类型的持续监控需要显微镜***配备多个附加传感器，以准确捕获显微镜***的操作和使用。然而，为显微镜***配备附加传感器将需要大量附加成本以使制造商推荐的前瞻性维护(预测性维护)意义内的动态维护周期成为可能。预测性维护的概念包括仅在可能实际需要的地方执行维护工作。为了使这种动态预测维护成为可能，通常需要获得与***使用相关的数据，这将由显微镜***内的附加传感器提供。如前所述，这导致了额外且不小的技术支出和相当大的附加成本。

因此，可以认为本文介绍的概念的基本目标是使得预测性维护成为可能，而不需要显微镜***中复杂的附加内部传感器和/或数字孪生概念的附加网络连接。

发明内容

这个目的通过根据独立权利要求提出的用于识别显微镜***的预测性维护需求的计算机实现的方法、用于显微镜***的预测性维护的对应的维护监控***和计算机程序产品来实现。进一步的配置由相应的从属权利要求描述。

根据本发明的一个方面，介绍了一种用于确定显微镜***的预测性维护需求的计算机实现的方法。该方法包括提供一种显微镜***，该显微镜***包括用于记录样本的数字图像的图像传感器，并且在显微镜***的常规操作期间使用图像传感器记录数字图像。

所记录的数字图像作为至少一个输入数据集可用于图像分析***。基于此，由图像分析***在至少一个记录的数字图像中确定至少一个特征，其中该特征与常规操作期间显微镜***的故障相关。

该方法还包括基于至少一个数字图像和包含在其中的至少一个特征，通过图像分析***产生显微镜***状态的状态信号，并且通过使用状态信号确定需要维护程序的显微镜***的组件组。

根据本发明的不同方面，介绍了一种用于确定显微镜***的预测性维护需求的维护监控***。维护监控***包括显微镜***，该显微镜***具有用于记录样本的数字图像的图像传感器，以及用于在显微镜***的常规操作期间记录数字图像的图像传感器。

维护监控***还包括图像分析***，其适于接收至少一个记录的数字图像作为图像分析***的至少一个输入数据集。在本文，图像分析***适于通过图像分析***在至少一个记录的数字图像中确定至少一个特征，其中该特征与常规操作期间显微镜***的故障相关。维护监控***还包括基于至少一个数字图像和包含在其中的至少一个特征通过图像分析***产生显微镜***状态的状态信号，并且通过使用状态信号确定需要维护程序的显微镜***的组件组。

此外，实施例可以以对应的计算机程序产品的形式实现，该计算机程序产品可以使用计算机可用或计算机可读介质来访问，该计算机可用或计算机可读介质具有供计算机或指令执行***使用或与之结合使用的程序代码。在本说明书的上下文中，计算机可用或计算机可读介质可以是包括用于存储、通信、传输或传送程序的器件的任何装置，该程序由指令执行***、对应的装置或设备使用或结合指令执行***、对应的装置或设备使用。

用于确定显微镜***的预测性维护的计算机实现的方法表现出多个优点和技术效果：

所提出的概念允许执行预测性维护原理，而无需采取物联网(工业4.0)的相应路径，也就是说，无需为显微镜***配备附加复杂内部传感器。所提出的概念不需要直接在要监控的显微镜***的组件处进行任何附加昂贵的温度数据、电压值和/或使用数据的捕获和收集。

相反，所提出的概念是基于至少在显微镜***的正常操作和正常使用期间产生的数据的评估和使用。另外，不再需要记录附加(参考)图像。相反，用于确定预测性维护程序需求的分析是基于用户在设备正常使用期间(例如在实验中)记录的图像。不需要附加维护或校准记录。

此外，以时间序列记录和评估在正常操作过程中记录的图像允许对使用行为进行相对长期的分析，结果反过来可以推断已经存在或将来可能出现的显微镜***的缺陷。

多个显微镜***(可能是相同型号范围/相同类型)之间的比较也有助于更精确地预测维护需求。

因此，所提出的概念允许对***上的现有误差(例如，有缺陷的组件、未对准等)进行状态确定和识别，对未来出现的误差(包括时间范围)进行估计，并且对原因进行分析，例如，区分由于设备、样本和使用造成的误差。

改进显微镜***维护的现有方法的大多数缺点可以通过本文提出的概念来克服：(a)由于技术或成本原因，附加需要的传感器通常不能改装，(b)从显微镜***的单个组件上的单个传感器的单个测量参数值导出设备的状态通常不允许对显微镜***的状态进行整体评估，或者需要一组非常复杂的规则和大量传感器以及对应的测量值。然而，这些通常不能代表对显微镜***的整体状态的评估。

相比之下，新提出的概念有可能通过调整显微镜***的记录参数来补偿由用户引起的误差，以实现显微镜***的全部性能。当评估显微镜***的不同操作者对设备状态的使用时，可以附加地进行补偿，附加内部传感器将对其提供不同的测量值。

人工智能、图像识别和机器学习的技术的使用现在允许对显微镜***的结果进行评估，特别是在显微镜***的常规操作期间对一个或多个记录的图像进行评估，以便从图像的评估中得出与整个显微镜***或其单个组件相关的结论，并且使用训练的神经网络作为图像分析***的示例，从具有已知***误差的先前记录的图像中得出“经验”。

此处不需要参考样本、参考模式或参考设置。显微镜***的正常运行足以允许对显微镜***的整体状态进行持续评估/评价，从而确定、建议和计划预防性维护程序，以尽可能缩短显微镜***的停机时间，从而使用户和/或客户获得最大的满意度。

优点实质上是，需要的或推荐的维护程序不需要由附加设备和/或延伸部分(特别是机械、机电和/或电子传感器)来补充和延伸，而是已经存在的显微镜***的组件被用于确定对预测性维护程序的需求。因此，显微镜***的复杂性没有增加，这意味着不需要针对不需要的扩展增加附加维护程序。相反，使用已经存在的子***，并且根据该方法在显微镜***的正确、例程、常规操作期间更好地使用，特别是由于记录的数字图像(其已经在常规操作期间记录)的改进的评估。相应调整的图像分析***构成此解决方案的基础。

总之，可以说，由于双重利用(也就是说，关于必要的维护程序对于至少在显微镜***的常规操作期间获得的图像进行评估)，记录的图像允许显微镜***的使用周期有显著的改善。

下面将介绍该方法的发明概念的进一步的示例性实施例，其可以相应地以类似的方式应用于对应的维护监控***。

根据该方法的一个有利的示例性实施例，图像分析***可以包括具有机器学习的属性的学习***。附加地，该方法还可以包括通过机器学习使用一组数字图像来训练学习***，以生成学习模型，用于在显微镜***的常规操作期间识别样本的其中一个记录的数字图像中的至少一个特征，诸如异常或其它特性。该学习***可以是例如用于监督学习的***，例如深层神经网络(DNN)或用于人工智能或机器学习的另一合适的***。用于进行监督学习以生成学习模型的该组数字图像中的图像可以附加地用元数据注释，也就是说，用于监督学习的该组数字图像的相应图像由描述例如训练图像中的异常或其它特性和特征的元数据补充。附加地，还可以根据元数据中图像的特性、异常和特征来补充所提出的维护程序。

根据该方法的一个补充示例性实施例，相应地，元数据可以包括以下组中的至少一个：需要维护程序的时间间隔值、显微镜***的组件的预期故障时间、显微镜***的单个组件(或组)的数字状态指示(例如评估阶段1至10)，以及显微镜***的缺陷组件的命名。以这种方式，通过该方法训练学习***，以基于记录图像的特定特征，确定在显微镜***的常规操作期间变得必要的显微镜***的单个组件或组件组的维护程序。

根据该方法的另一补充示例性实施例，显微镜***的组件组的确定可以还包括确定需要维护程序的时间间隔值。以这种方式，未来的维护程序可以动态地存储在维护计划中。维护人员可以以这种方式更好地协调相同类型的维护程序或不同位置处显微镜***的维护程序。

根据该方法的扩展示例性实施例，当通过图像分析***产生状态信号时，可以捕获显微镜***的至少一个进一步捕获的传感器值-尤其不是来自图像传感器的传感器值，其将用作学习***的附加输入数据。在本文，在训练学习***时，也考虑这种传感器测量值是有用的。在这方面，也对应地注释附加传感器值的输入数据集可能是有用的，这些附加传感器值可附加地用于学习***，其结果是，在常规操作期间，维护程序可以从传感器值与分析的记录的图像的组合中导出。作为这种附加传感器测量值的一个示例，可以评估照明的强度值–被动地，即使用传感器，或者主动地，即例如使用流过发光器件的电流来测量。

根据该方法的另一有利示例性实施例，在常规操作期间包含在至少一个记录的数字图像中的至少一个特征包括以下组中的至少一个：条纹、抖动、不规则亮度(例如由于不均匀的场照明引起的)、降低的分辨率、过量的图像噪声(例如从一个或多个指定的或动态确定的极限值导出的)、低信号背景比、低激光输出、降低的灵敏度和数字图像中的缺陷。原则上，这可以包括数字图像的所有可捕获和可执行的参数。

根据该方法的一个可能实施例，可以为单个显微镜***或多个显微镜***生成学习模型。以这种方式，学习模型可以用于例如属于一个显微镜系列的模型范围的所有显微镜***，而不需要在每种情况下重复训练。

根据该方法的补充实施例，在显微镜***的常规操作期间可以测量操作元件的至少一个操作参数值(理想地作为时间序列)，其结果是捕获用户行为，该操作参数值还用于状态信号的确定或影响状态信号。本文可以确定，在常规操作期间，在显微镜***的单个致动器处持续地执行手动重调，这些致动器在数量和它们之间的时间距离方面偏离显微镜***的正常操作，并且在这种程度上被识别为在正常操作期间由传感器测量值产生的异常或特殊特征。

用户相对于显微镜***的典型操作行为的这种附加捕获在本文可以落入学习***的无监督学习和训练的范围。为此，学习***适于识别在捕获的单个操作元件的测量参数值的所述时间序列中的特性和异常。

根据该方法的进一步开发的示例性实施例，在学习模型中可以识别待受影响的至少一个类别的至少一个特征，该至少一个特征选自包括以下的组：显微镜***的服务阶段的分类、显微镜***的预期故障时间的回归、数字图像的至少一个特征或多个特征的组合与确定显微镜***的可分配组件或组件组的维护需求的相关。以这种方式，容易创建维护人员易于计划的详细维护计划。

根据该方法的扩展示例性实施例，状态信号可以从控制信号的组合中产生。本文，在每种情况下，控制信号中的一个可以指以下中的至少一个：显微镜***中的误差源、误差源的信号的置信因子、误差类型(特别是缺陷或磨损)、质量损失的等效数量(例如百分比)、必要的维护程序、推荐的或必要的维护程序的时间间隔，对需要或变得需要维护程序的组件的指示、与至少部分地补偿组件故障的替代显微镜***设置相关的信息(特别是建议)、与定位误差源或样本制备不正确相关的信息等。原则上，所有组件和可能的设置(尤其是定期维护的组件)，都可以以这种方式捕获。

根据该方法的另一扩展的示例性实施例，状态信号可以由学习***通过与在常规操作期间捕获的显微镜***的操作元件的传感器参数的组合与显微镜***的操作元件的传感器参数的组合的预期值的时间序列的比较来确定，该预期值提供显著的偏差，例如大于动态确定的阈值。这种时间序列也可以通过学习***(特别是通过显微镜***的常规操作期间的无监督学习)用于传感器参数的评估、偏差的确定以及维护程序或维护时间点的确定或建议。正常范围内的值的待确定的偏差(正示例)可以通过***和/或技术(诸如自动编码器、一类分类和新颖性检测)来确定。

根据该方法的进一步可能的示例性实施例，通过图像分析***确定至少一个特征可以通过在常规操作期间在显微镜***的记录的图像的序列中检测重复特征来确定，该重复特征在记录的图像的长期排列序列中具有梯度或波动或突变、不规则的偏差，或者在每个图像中(不正确地)出现相同的偏差，结果是从正常值或异常中***偏差变得可识别。

在这种情况下，可以在显微镜***实际使用之前或者可替换地在显微镜常规操作期间，通过无监督学习来确定正常值或多个正常值。

确定的梯度可以是正值或负值。例如，在激光随时间变弱的情况下，将获得照明值的负梯度。以这种方式，即使显微镜***的普通用户通常不会立即看到的蠕变劣化也是可以无缝捕获的。对激光器的描述也相应地适用于其它传感器值以及记录的数字图像中的特征。因此，对人类用户通常不明显的***误差也是可捕获的，例如图像传感器的单个缺陷像素、以稍微倾斜的方式定位的挡块等。

发生波动的一个示例可能是显微镜***的主图像传感器的控制单元不再正常工作，并且结果是记录的数字图像中的波动型不规则性可能随着时间而发生。

突变行为的一个示例可能是连接松动的有缺陷的照明器件，其结果是样本的照明强度发生变化–可能甚至没有人眼检测到它。

根据该方法的进一步扩展的可能的示例性实施例，常规操作期间显微镜***的记录的图像的序列可以是常规操作期间显微镜***的全部记录的图像中的选定子集。以这种方式，可以使用各种过滤器进行选择。可以想象，在每种情况下，每天使用一幅图像、最近几天的图像或与特定图像内容或特定应用相关的图像，例如记录来自细胞(诸如全细胞、细胞核、细胞壁等)的特定其它元素。

也可以根据同样进行存储的记录的图像的元数据来选择记录的图像；每个记录的元数据可以包括例如：时间/日期、相应操作者的用户标识、用于样本的染料、样本类型、所用颜色通道的类型和数量、光路的设置参数、实验类别(或这方面的完整数据集)、一般实验数据(使用全文搜索)等。

根据该方法的有利示例性实施例，学习***可以是神经网络–或者例如支持向量机。可以使用监督学习或无监督学习来训练神经网络。然后，学习允许分类、检测和/或回归(例如，提前计算未来维护时间点)。关于分类操作，可以使用多类算法或一类算法。神经网络可以体现为深层神经网络、CNN(卷积NN)或RNN(递归NN)。

在无监督学习的情况下，可以使用诸如深度自动编码器、一类分类、多类分类或新颖性检测的算法。原则上，可以使用允许在常规操作期间检测和确定记录的数字图像中的异常和训练的特征的任何学习***。

附图说明

应当注意，本发明的示例性实施例可以针对不同的实现类别来描述。具体地，一些示例性实施例是针对方法来描述的，而其它示例性实施例可以在对应的装置的上下文中描述。尽管如此，除非另有说明，本领域技术人员可以从先前和随后的描述中识别和组合该方法的特征的可能组合以及与对应的***的可能特征组合–即使它们属于不同的权利要求类别。

上文已经描述的方面和本发明的附加方面尤其从所描述的示例性实施例和参考附图描述的附加进一步具体配置中是显而易见的。

本发明的优选示例性实施例将通过示例并且参考以下附图进行描述：

图1示出用于确定显微镜***维护程序需求的本发明计算机实现的方法的示例性实施例的框图。

图2示出图1中示出的计算机实现的方法的可能扩展的框图。

图3示出出于选择目的而记录图像的示例性图表。

图4示出用于确定显微镜***维护程序需求的维护监控***的示例性实施例的框图。

图5示出计算机***的框图，该计算机***包括维护监控***的至少一部分。

具体实施方式

在本说明书的上下文中，惯例、术语和/或表达应当以以下方式理解：

本文档的上下文中的术语“预测性维护”(有时也包括预防***)描述了如何根据设备(在本情况中为显微镜***)的状态仅执行特定时间点所需的程序来优化维护程序。在这种情况下，不遵循固定的时间表，但是显微镜***的确定状态用于动态地确定建议的维护程序，以防止显微镜***的故障。从显微镜***的正在进行的操作或正在进行的使用中获得用于导出与组件组或单个组件的必要维护相关的警告的对应信号的决策数据。不需要附加维护程序或特定设置。以这种方式，至少可以获得以下结果：(i)在使用时间内设备停机时间少，(ii)服务时间短，以及(iii)停机时间对显微镜***的使用时间影响小。另外，更换零件的供应可以得到优化，这是由于只需要储备少量的更换和磨损零件。

术语“维护程序”在本文指的是任何护理、修理、调整或校准程序，其结果是显微镜***的使用得到持续保证并且停机时间被最小化。由于在使用显微镜***期间的永久观察(对记录的图像的评估)，甚至蠕变劣化也是可以无缝捕获的。

术语“显微镜***”描述用于放大和呈现小结构的光学或光学/电子***。通常，由一个或可替换地多个物镜捕获的小结构使用图像传感器捕获，其结果是记录的图像可以进一步经电子和数字地处理。待检查的样本通常以放大的方式显示在屏幕上或目镜中。现代高性能显微镜***还包括倾向于具有机械性质并且偶尔需要维护程序的进一步的组件。这可以包括可以在所有三个空间方向上移动的样本台、挡块、用于保持样本台的支架、一个或多个照明***、多个手动和/或自动操作和设置元件等。

术语“图像传感器”描述一种光敏电子半导体组件，在显微镜***中，该组件可以经常采用区域传感器的形式，其中记录的图像被直接转换成像素信息。

术语“样本”描述待检查的物体，例如在诸如多阱板的样本载体上。

术语“常规操作”描述一个或多个用户每天或定期使用显微镜***–或以自动化方法–以待检查样本的数字图像的形式直接产生有用的数据。常规操作不包括专门为维护的目的或其它校准目的而制作的数字图像的单独附加记录。相反，常规日常操作的记录的数字图像用于从中导出对应的维护程序。

术语“图像分析***”描述一种***–通常与对应的软件一起工作–非常概括地说，该***适用于从记录的图像的像素信息生成元数据。所述元数据可以基于用于分割图像子区域的像素的分类，或者回归技术可以用于例如外推值。本文也可以使用机器学习技术。

术语“学习***”描述来自人工智能领域的硬件支持或软件***，其适于从示例中学习，以便将例如图像或其部分区域的内容与抽象术语(诸如“好的”或“差的”或含义结构)相关联，而无需程序指定和手动产生的程序指令，例如图像内容的分割。一般来说，学习输入数据到输出数据的映射。

术语“学习***的训练”是指例如机器学习***通过多个示例性图像，通过部分重复评估的示例性图像来调整例如神经网络中的参数，以便在训练阶段之后将甚至未知的图像与学习***已经训练的一个或多个类别相关联。示例性图像通常被注释(也就是说被提供元数据)，以便基于输入图像提供期望的结果，诸如与要执行的维护程序相关的通知。

另外，例如可以使用回归方法来预测必要的或推荐的维护程序的时间点或预期的故障时间。

术语“机器学习”是人工智能的一个基本术语，其中，例如统计方法用于赋予计算机***“学习”的能力。例如，特定任务范围内的特定行为模式被优化。所使用的方法使机器学习的***能够分析数据，而不需要进行任何明确的过程化编程。通常，CNN(卷积神经网络)是用于机器学习的***、充当人工神经元的节点网络以及人工神经元之间的人工连接(也称为链接)的一个示例，其中例如参数(例如用于连接的加权参数)可以与人工连接相关联。在神经网络的训练期间，连接的加权参数基于输入信号自动适应以产生期望的结果。在监督学习的情况下，作为输入值提供的图像由元数据(注释)补充，以便指示期望的输出值。在无监督学习的情况下，这种注释是不必要的。

在这方面，还应该提到递归神经网络(RNN)，其同样代表一种深层神经网络，其中权重自适应是递归的，使得可以产生与可变幅度的输入数据相关的结构化预测。通常，这种RNN用于顺序输入数据。与CNN的情况完全一样，除了预测权重自适应之外，本文使用反向传播函数。RNN也可以用于图像分析。

术语“卷积神经网络”描述一类基于前馈技术的人工神经网络。它们通常用于以图像作为输入数据的图像分析。这里卷积神经网络的主要组成部分是卷积层(因此得名)，其允许通过参数共享进行有效的评估。

还应当注意，深层神经网络包括多个不同功能的层：例如输入层、输出层和一个或多个***层，例如用于卷积运算、非线性函数的应用、维数降低、归一化函数等。这些功能可以以软件来执行，或者专用硬件组件可以执行相应函数值的计算。此外，硬件和软件元素的组合是已知的。

术语“深度自动编码器”指基于DNN原理的自动编码器***。当使用自动编码器学习一组数据的压缩表示(编码)并且还提取重要特征时，这通常是一个目标。以这种方式，其可以用于维数降低和/或异常检测。实际的编码器层在这里位于人工神经元的输入层与输出层之间。

术语“一类分类”也应该在本上下文中确定。对应的方法也被称为“一元分类”或“类别建模”，它们试图将记录的数字图像中的特定对象识别为其它对象中的特定类别。训练操作在本文也是必要的。以这种方式，可以识别一系列数字图像中的异常。

术语“新颖性检测”描述一种机制，通过这种机制，“智能”***(例如智能生物)可以识别迄今未知的输入感觉模式。此原理也可以应用于人工神经网络。如果到达人工神经网络的感觉模式不产生识别概率高于特定(或动态适配的)阈值的输出信号，或者产生识别概率大约相同大小的多个输出信号，则输入的感觉模式(例如数字图像)可以被分类为具有新颖内容(新颖性)的感觉模式。

另一方面，如果新的示例性图像被提供给已经通过已知的示例性图像(例如配置成自动编码器)训练的神经网络并且通过自动编码器运行，则后者应该能够在输出端重建新的示例性图像。这是可能的，因为当通过自动编码器运行时，新的示例性图像被极大地压缩，以随后通过神经网络再次扩展/重建它。如果新的输入图像(很大程度上)对应于扩展/重建的图像，则新的示例性图像对应于已知的模式，或者其表现出与训练图像数据库的内容非常相似。如果在将新的示例性图像与扩展/重建图像进行比较时存在显著差异，也就是说，如果重建误差显著，则示例性图像是迄今未知的分布(图像内容)。也就是说，如果神经网络不能映射数据分布，则与已知数据库(认为是正常情况)相比出现了异常。

附图的详细描述如下。本文应该理解，所有细节和指令在附图中示意性示出。首先示出用于确定显微镜***预测性维护程序需求的本发明计算机实现的方法的示例性实施例的框图。下面将描述进一步的示例性实施例和对应***的示例性实施例：

图1示出用于确定显微镜***维护程序需求的本发明计算机实现的方法的示例性实施例的框图。该方法包括：提供102显微镜***，该显微镜***包括用于记录样本的数字图像的图像传感器；在显微镜***的常规操作期间使用图像传感器记录104数字图像；以及将至少一个记录的数字图像作为至少一个输入数据集提供106给图像分析***。

该方法还包括：通过图像分析***在至少一个记录的数字图像中确定108至少一个特征，其中该特征与常规操作期间显微镜***的故障相关；基于至少一个数字图像和其中包含的至少一个特征通过图像分析***产生110显微镜***的状态的状态信号；以及通过使用状态信号确定112需要维护程序的显微镜***的组件组。这一必要的维护程序或待执行的维护程序，将向用户指示。这可以通过文本或通过图形的方式，通过呈现显微镜***的图像同时特别标记待维护的组件来完成。附加地，可以输出与维护程序的类型相关的指示(例如清洁光学***、更换照明等)。

图2示出图1中示出的计算机实现的方法的可能扩展的框图。为此目的，函数池214是可用的，根据图1的方法100可以通过请求从该函数池中集成附加函数。这包括：确定202显微镜***处的必要的或推荐的维护程序的时间间隔；捕获204显微镜***的组件的进一步的参数值；以不同的形式训练206学习***(监督/无监督学习)；捕获208操作元件的参数值(也可能以时间相关的方式)；使用210参数值的组合来为显微镜***的确定的维护程序产生状态信号；以及使用212进一步的参数值作为学习***的输入数据。为此，进一步的参数值可以输入数据的形式用于学习***–有利地作为时间序列。另外，函数池中“选择记录的图像的子集”的函数可用。可以根据前述选择参数进行选择。

图3示出出于选择目的而记录图像的示例性图表300。在x轴(时间/日期组合)上绘制了产生记录的图像的时间或进行对应的实验的时间。实验测量值作为示例绘制在y轴上。每个测量点308代表一个记录的图像。然后，图像的选择可以根据各种标准来执行(见上文)。根据选择标准，本文获得不同组302、306和308的记录图像，如由示例性的圆周所示。

图4示出用于确定显微镜***维护程序需求的维护监控***400的示例性实施例的框图。维护监控***在本文包括：显微镜***402，该显微镜***具有用于记录样本的数字图像的图像传感器406，其中图像传感器406用于在显微镜***402的常规操作期间记录数字图像。

此外，维护监控***包括图像分析***404，其适于接收至少一个记录的数字图像作为至少一个输入数据集。图像分析***404还适于确定至少一个记录的数字图像中的至少一个特征，其中该特征与常规操作期间显微镜***的故障相关，基于至少一个数字图像和其中包含的至少一个特征通过图像分析***产生显微镜***状态的状态信号，并且通过使用该状态信号确定需要维护程序的显微镜***的组件组。

图5示出计算机***的框图，该计算机***可以包括维护监控***的至少一部分。本文提出的概念的实施例原则上可以与实际上任何类型的计算机一起使用，而不管其中使用的平台如何，用于存储和/或执行程序代码。图5示出计算机***500的示例，其适合于根据本文介绍的方法执行程序代码。已经存在于显微镜***中的计算机***也可以作为执行本文介绍的概念的计算机***–可能有适当的扩展。

计算机***500包括多个通常可利用的功能(通用功能)。本文，计算机***可以是平板计算机、膝上型/笔记本计算机、另一便携式或移动电子设备、微处理器***、基于微处理器的***、智能手机或具有特定设置功能的计算机***。计算机***500可以设置用于执行能够由计算机***执行的指令，例如程序模块，其可以被执行以实现本文提出的概念的功能。为此，程序模块可以具有例程、程序、对象、组件、逻辑、数据结构等来实现特定的任务或特定的抽象数据类型。

计算机***的组件可以包括以下：一个或多个处理器或处理单元502、存储***504和连接包括存储***504和处理器502的不同***组件的总线***506。计算机***400通常包括计算机***400可访问的多个易失性或非易失性存储介质。存储介质的数据和/或指令(命令)可以以易失性形式存储在存储***404中，诸如存储在RAM(随机存取存储器)408中，以便由处理器402执行。所述数据和指令实现本文已经介绍的概念的单个或多个功能。存储***504的其它组件可以是永久存储器(ROM)510和长期存储器512，其中可以存储程序模块和数据(附图标记516)。

计算机***具有一系列用于通信目的的专用装置(键盘518、鼠标/定点设备(未示出)、屏幕520等)。这些专用装置也可以组合在触敏显示器中。单独提供的I/O控制器514确保与外部设备的无缝数据交换。网络适配器522可用于使用本地或全球网络(LAN、WAN，例如因特网)的通信。计算机***500的其它组件可以通过总线***506访问网络适配器。本文应当理解，尽管未示出，但是其它装置也可以连接到计算机***500。

此外，维护监控***400(参见图3)的至少部分可以连接到总线***506，诸如图像传感器406和/或图像分析***404。图像传感器406的数字图像数据也可以由单独的预处理***(未示出)来准备。

为了提供更好的理解，示出本发明的各种示例性实施例的描述，但是其并不用于将本发明的概念直接限制到所述示例性实施例。本领域技术人员易于进行进一步的修改和变化。选择本文使用的术语是为了最好地描述示例性实施例的原理，并且使本领域技术人员容易理解它们。

本文介绍的原理可以以***、方法、它们的组合和/或计算机程序产品的形式两者来体现。在这种情况下，计算机程序产品可以具有(或多个)计算机可读存储介质，该计算机可读存储介质具有计算机可读程序指令，以使处理器或控制***执行本发明的各个方面。

用作传输介质的合适介质是电子、磁、光、电磁、红外介质或半导体***，例如SSD(固态硬盘(solid state device/drive))、RAM(随机存取存储器)和/或ROM(只读存储器)、EEPROM(电可擦除只读存储器)或它们的任何期望的组合。其它传输介质也传播电磁波、波导中的电磁波或其它传输介质(例如光缆中的光脉冲)或有线传输的电信号。

计算机可读存储介质可以是保存或存储供指令执行设备使用的指令的具体化装置。本文描述的计算机可读程序指令也可以下载到对应的计算机***，例如作为(智能手机)应用程序从服务提供商经由电缆连接或移动无线电网络下载。

用于执行本文描述的本发明的操作的计算机可读程序指令可以是机器相关或机器无关的指令、微码、固件、状态定义数据或任何源代码或目标代码，这些代码或目标代码例如以C++、Java或类似语言或以常规的过程化编程语言(诸如编程语言“C”或类似编程语言)编写。计算机可读程序指令可以完全由计算机***执行。在一些示例性实施例中，这可以包括电子电路，诸如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，它们通过使用计算机可读程序指令的状态信息来根据本发明的方面配置或个性化电子电路来执行计算机可读程序指令。

此外，参考根据本发明示例性实施例的方法、装置(***)和计算机程序产品的流程图和/或框图来说明本文介绍的本发明。应当注意，实际上流程图和/或框图的任何块都可以实现为计算机可读程序指令。

计算机可读程序指令可用于通用计算机、专用计算机或数据处理***(其可编程以创建机器)，使得由处理器或计算机或其它可编程数据处理装置执行的指令创建用于实现流程图和/或框图中示出的功能或过程的器件。所述计算机可读程序指令也可以相应地存储在计算机可读存储介质上。

在这种情况下，所示流程图或框图中的任何块可以表示模块、指令的一段或部分，这些指令表示用于实现特定逻辑功能的多个可执行指令。在一些示例性实施例中，各个块中示出的功能可以以不同的顺序执行，甚至可能并行执行。

在下面的权利要求中，所示的结构、材料、序列和所有具有相关功能的器件和/或步骤的等同物旨在应用权利要求所表达的所有结构、材料或序列。

附图标记列表

100 方法

102 方法步骤

104 方法步骤

106 方法步骤

108 方法步骤

110 方法步骤

112 方法步骤

202、……、216 可能扩展的方法步骤

300 用于选择图像的图表

302、304、306 可能选择的图像组

308 示例测量值

400 维护监控***

402 显微镜***

404 图像分析***

406 图像传感器

500 计算机***

502 处理器

504 存储器***

506 总线***

508 RAM

510 ROM

512 长期存储器

514 I/O控制器

516 程序模块和数据

518 键盘

520 屏幕

522 网络适配器

Claims (15)

1.用于确定显微镜***（402）的预测性维护需求的计算机实现的方法（100），所述方法（100）包括：

提供显微镜***（402），所述显微镜***包括用于记录样本的数字图像的图像传感器（406），

在所述显微镜***（402）的正常操作期间，使用所述图像传感器（406）记录数字图像，

向图像分析***（404）提供至少一个记录的数字图像作为至少一个输入数据集，

由所述图像分析***（404）确定所述至少一个记录的数字图像中的至少一个特征，其中所述特征与正常操作期间所述显微镜***（402）的故障相关，

基于所述至少一个数字图像和其中包含的所述至少一个特征，通过所述图像分析***（404）产生所述显微镜***（402）的状态的状态信号，以及

通过使用所述状态信号确定所述显微镜***（402）的需要维护程序的组件；

其中所述状态信号从控制信号的组合中产生，其中在每种情况下，所述控制信号中的一个至少与以下中的至少一个相关：所述显微镜***（402）中的误差源、所述误差源的信号的置信因子、误差的类型、质量损失的数值、维护程序的时间间隔，需要维护程序的组件的指示、与至少部分补偿组件的故障的可替代的显微镜***设置相关的信息、与定位的误差源或样本的制备不正确相关的信息。

2.根据权利要求1所述的方法（100），其中所述图像分析***（404）是具有机器学习属性的学习***，并且其中所述方法（100）还包括：

通过机器学习使用一组数字图像来训练（206）所述学习***，以生成学习模型，用于在所述显微镜***（402）的正常操作期间识别样本的其中一个记录的数字图像中的至少一个特征。

3.根据权利要求2所述的方法（100），其中所述学习***是用于监督学习的***，并且其中用于监督学习的所述一组数字图像的图像用元数据注释，以生成所述学习模型。

4.根据权利要求3所述的方法（100），其中所述元数据选自包括以下项的组中的至少一个：需要所述维护程序的时间间隔值、所述显微镜***（402）的组件的预期故障时间、所述显微镜***（402）的单个组件的数字状态指示以及所述显微镜***（402）的缺陷组件的命名。

5.根据权利要求1所述的方法（100），其中确定所述显微镜***（402）的需要维护程序的组件还包括：

确定需要所述维护程序的时间间隔值。

6.根据权利要求2所述的方法（100），其中所述显微镜***（402）的至少一个进一步捕获的传感器值用作所述学习***的附加输入数据，用于通过所述图像分析***（404）产生状态信号，其中所述传感器值不是来自所述图像传感器（406）的传感器值。

7.根据权利要求1所述的方法（100），其中在正常操作期间，在所述至少一个记录的数字图像中包含的至少一个特征选自包括以下项的组中的至少一个：条纹、抖动、不规则亮度、降低的分辨率、过量的图像噪声、低信号背景比、低激光输出和降低的灵敏度。

8.根据权利要求2所述的方法（100），其中为单个显微镜***（402）或为多个显微镜***（402）生成所述学习模型。

9.根据权利要求1所述的方法（100），其中在所述显微镜***（402）的正常操作期间，测量所述显微镜***（402）的操作元件的至少一个操作参数值，所述至少一个操作参数值附加地用于状态信号的确定。

10.根据权利要求2所述的方法（100），其中用于识别所述至少一个特征的学习模型涉及至少一个类别，所述至少一个类别选自包括以下项的组：所述显微镜***（402）的服务阶段的分类、所述显微镜***（402）的预期故障时间的回归、所述数字图像的至少一个特征或多个特征的组合与确定所述显微镜***（402）的需要维护程序的组件的相关。

11.根据权利要求1所述的方法（100），其中确定至少一个特征是由所述图像分析***（404）通过以下方式来执行：

在正常操作期间，在所述显微镜***（402）的记录的图像序列中检测重复特征，所述重复特征在记录的图像的按时间顺序排列的序列中具有梯度、波动或突变行为，或者在每个图像中出现相同。

12.根据权利要求11所述的方法（100），其中，在正常操作期间，所述显微镜***（402）的记录的图像序列是在正常操作期间从所述显微镜***（402）的全部记录的图像中选择的子集。

13.根据权利要求2所述的方法，其中所述学习***是神经网络。

14.根据权利要求13所述的方法，其中所述神经网络基于以下技术中的至少一种：深度自动编码器或新颖性检测。

15.用于显微镜***（402）的预测性维护的维护监控***（400），所述维护监控***（400）包括：

显微镜***（402），具有用于记录样本的数字图像的图像传感器（406），其中所述图像传感器用于在所述显微镜***（402）的正常操作期间记录数字图像；

图像分析***（404），适于向所述图像分析***提供至少一个记录的数字图像作为至少一个输入数据集，其中所述图像分析***（404）适于：

由所述图像分析***（404）确定所述至少一个记录的数字图像中的至少一个特征，其中所述特征与正常操作期间所述显微镜***（402）的故障相关，

基于所述至少一个数字图像和其中包含的所述至少一个特征，通过所述图像分析***（404）产生所述显微镜***（402）的状态的状态信号，以及

通过使用所述状态信号确定所述显微镜***的需要维护程序的组件；

其中所述状态信号从控制信号的组合中产生，其中在每种情况下，所述控制信号中的一个至少与以下中的至少一个相关：所述显微镜***（402）中的误差源、所述误差源的信号的置信因子、误差的类型、质量损失的数值、维护程序的时间间隔，需要维护程序的组件的指示、与至少部分补偿组件的故障的可替代的显微镜***设置相关的信息、与定位的误差源或样本的制备不正确相关的信息。