CN112241065A - 显微镜和用于产生具有扩展的景深的显微图像的方法 - Google Patents

Abstract

本发明涉及显微镜和用于产生具有扩展的景深的显微图像的方法。本发明首先涉及一种借助显微镜产生具有扩展的景深的显微图像的方法，显微镜的聚焦位置能通过能手动改变显微镜的至少一个透镜与要拍摄的样品之间的距离的方式来手动改变。在该方法的一个步骤中，识别显微镜的用户是否根据周期函数(01)手动改变聚焦位置。在识别出用户根据周期函数(01)改变聚焦位置之后，以不同的聚焦位置拍摄样品的多个显微单图。将多个显微单图处理成具有扩展的景深的显微图像。此外，本发明还涉及一种显微镜，其具有用于对待显微检测的样品进行成像的至少一个光学透镜。

Description

显微镜和用于产生具有扩展的景深的显微图像的方法

技术领域

本发明首先涉及一种用于利用显微镜产生具有扩展的景深的显微图像的方法。本发明还涉及一种显微镜，其具有用于使待显微检测的样品成像的至少一个光学透镜。

背景技术

DE 10 2014 006 717 A1描述了一种用于在数字显微镜中产生对象物的三维信息的方法。在这种方法中，针对各一个聚焦位置拍摄图像，并与相配属的聚焦位置一起保存在图像栈中。从图像栈的所拍摄的图像中计算出具有扩展的景深的图像，也就是所谓的EDoF(Enhanced Depth of Field，扩展景深)图像。

US 2015/0185462 A1示出了一种显微镜，该显微镜具有在z方向上的第一电动驱动器以用于定位包括物镜和照相机的单元，并且具有在z方向上的第二电动驱动器以用于定位用于拍摄样品的物镜台。通过第一电动驱动器应能够实现拍摄具有扩展的景深的图像。

由US 8,581,996 B2公知有一种图像采集设备，利用该图像采集设备可以拍摄其中样品的较大区域并将其数字化，并且可以输出具有扩展的景深的图像。该图像采集器包括用于拍摄样品的可运动的物镜台和用于改变聚焦位置的单元。

US 2015/0185465 A1教导了一种数字式的显微镜，其用于拍摄和产生具有扩展的景深的图像。该显微镜被构造成用于异步且并行地实施在z方向上的定位、图像采集和图像处理，以产生具有扩展的景深的图像。

来自制造商基恩士(Keyence)的“VHX2000”和“VHX5000”型号的数字式的显微镜允许拍摄具有扩展的景深的显微图像。

制造商卡尔蔡司显微镜有限公司(Carl Zeiss Microscopy GmbH)的“SmartZoom5”型号的显微镜允许了在约25秒内通过具有约60张图像的图像栈来用显微镜拍摄高度为10mm的样品，其中，接下来对具有扩展的景深的显微图像的计算占用大约19秒。

DE 10 2017 123 511 A1示出了一种用于利用显微镜产生具有扩展的景深的显微图像的方法。以不同聚焦位置拍摄样品的多个显微单图。这些显微单图被处理成具有扩展的景深的显微图像。在以可变的速度或可变的加速度拍摄其中至少一些显微单图期间，连续改变聚焦位置。

卡尔蔡司显微镜有限公司提供以“ZEN”命名的用于数字式的显微镜的模块化构建的图像采集、图像处理和图像分析软件。该软件包括用于在使用显微镜的情况下扩展景深的模块，在这些显微镜中，只能手动改变聚焦位置。在此模块中，可以对所要实现的不同质量、不同的检测和内插方法以及不同的触发事件进行选定。触发事件在时间上可以是等距的，或者可以是由用户对按钮的操纵。但是，用户无法收到有关其参数选定是否合适的反馈。

Media Cybernetics，Inc.公司提供命名为“Image-Pro Plus”的图像处理软件。该软件包括模块“Live Tiling and Live EDF(实时拼图和实景深扩展)”，利用该模块尤其能够针对图像采集器实现扩展的景深，其中，仅能手动改变聚焦位置。在此模块中，可以对不同的处理方法和不同的显示模式进行选定。该流程必须由用户手动启动和结束。用户得到了形式为所获知的具有扩展的景深的图像的简单的反馈。

发明内容

从现有技术出发，本发明的任务在于，在基于手动改变聚焦位置来获取具有扩展的景深的图像的情况下对显微镜的用户进行支持。尤其地，由此应当能够实现实时地利用具有仅能手动改变聚焦位置的显微镜来获得具有扩展的景深的图像。

所述任务通过根据所附的权利要求1的方法和通过根据所附的独立权利要求10的显微镜来解决。

根据本发明的方法用于产生具有扩展的景深的显微图像，其也被称为EDoF图像。为此使用如下显微镜，该显微镜尤其是数字式的显微镜。显微镜优选包括物镜和图像传感器，图像传感器用于转换直接或间接地从物镜成像到图像传感器的图像。

显微镜的聚焦位置可以手动改变。因此显微镜的用户可以通过对操作元件的操作来手动改变聚焦位置。聚焦位置与对操作元件的操作同步改变。操作元件优选地由可转动的操作轮形成。优选地，在该显微镜中能手动改变聚焦位置，但不能自动化地改变。

通过手动改变聚焦位置，引起了显微镜的不同聚焦位置。显微镜的聚焦位置能通过能手动改变显微镜的至少一个透镜与要拍摄的样品之间的距离的方式来手动改变。因此，不同的聚焦位置由待显微检测的样品与显微镜的至少一个透镜之间的不同程度的距离形成。该距离也可以描述为z坐标。通过聚焦位置的改变，使得z坐标的值被改变。

在该方法的步骤中，识别显微镜的用户是否根据周期函数手动改变聚焦位置，也就是说，用户是否手动改变显微镜的至少一个透镜与要拍摄的样品之间的距离。当然，通过手动改变聚焦位置，无法精确地实现变化的诸如正弦函数之类的周期函数，从而原则上在应用容错误差的情况下来识别用户是否根据周期函数手动改变聚焦位置。因此，即使当改变仅是准周期性或仅大致是周期性地进行时，也可以识别出变化的周期函数。可以例如借助传感器或通过对所拍摄到的图像进行图像处理来识别用户是否根据周期函数手动改变聚焦位置。传感器优选是位置传感器、加速度传感器或图像传感器，其优选被装入在显微镜的壳体中或附接到显微镜的可旋转的操作元件上。传感器可以是显微镜的常规的部件或者是匹配于操作元件并且优选与计算机连接的用于显微镜的附加部件。在根据周期函数改变聚焦位置时，多次经过位于由周期函数的幅度确定的间隔之内的不同的聚焦位置。根据周期函数进行的聚焦位置的手动改变优选通过让用户来回转动操作元件、尤其是操作轮的方式来进行。对聚焦位置的周期性的手动改变以优选小于4s并且特别优选小于2s的周期时长来进行。由于聚焦位置根据周期函数手动改变，因此即使在对多个显微单图进行逐个拍摄期间，聚焦位置也连续地改变。

首先，优选要求用户根据周期函数手动改变聚焦位置，或者优选等待用户的输入，由此表明用户打算根据周期函数手动改变聚焦位置，以便拍摄显微单图，由这些单图产生具有扩展的景深的显微图像。

在识别出用户根据周期函数改变聚焦位置之后，在用户根据周期函数改变聚焦位置期间，以不同的聚焦位置拍摄样品的多个显微单图。由于以不同的聚焦位置来拍摄显微图像，因此样品的各个区域优选分别在显微单图的至少一个中被清晰地成像。显微单图形成栈。栈的单图在其照片的z坐标的中不同，从而它们也可以被称为z栈或z堆。

在根据本发明的方法的另一步骤中，将所拍摄的多个显微单图处理成具有扩展的景深的显微图像。为此目的，尽可能仅使用来自各个拍摄到的显微单图的清晰成像的区域，以便从中计算具有扩展的景深的显微图像。所要计算的显微图像成像出具有扩展的景深的样品。

根据本发明的方法的一个特别的优点在于，在使用只能够手动改变聚焦位置，而不能够自动改变聚焦位置的显微镜的情况下其允许快速产生具有扩展的景深的显微图像。在使用只能手动改变聚焦位置的显微镜的情况下，根据现有技术通过用户以耗时的方式设定特定的聚焦位置的方式来产生具有扩展的景深的显微图像。在根据本发明的方法中，用户在一定时间间隔内周期性地改变聚焦位置，而不必选择特定的聚焦位置并且不必在其中原地不动，从而用户可以非常快速地进行这种改变。根据本发明，该周期性的改变被自动识别并且以不同的聚焦位置拍摄样品的显微单图，由此计算出具有扩展的景深的显微图像。

根据本发明的对聚焦位置的手动改变在如下持续时间上进行，该持续时间优选明显短于根据现有技术如下所需的持续时间，在其中，用户设定特定的聚焦位置、在其中原地不动并且分别拍摄显微单图、并且最后从显微单图产生具有扩展的景深的图像。根据本发明的对聚焦位置手动改变在如下持续时间上进行，该持续时间优选比根据现有技术所描述的持续时间短至少五倍，并且更优选短至少十倍。

在显微镜中，显微镜的至少一个透镜与要拍摄的样品之间的距离能手动改变。该透镜优选形成显微镜物镜的部件，其中，该物镜优选包括另外的透镜。优选地，整个物镜与样品之间的距离是能改变的。因此，优选地，相应地通过手动地改变样品与显微镜的物镜之间的距离来手动地改变聚焦位置。因此，可以识别出显微镜的用户是否根据周期函数手动改变样品与物镜之间的距离。

替选地，显微镜优选被构造成用于内部聚焦。相应地，至少一个透镜构成显微镜的物镜的部件，其中，至少一个透镜与要拍摄的样品之间的距离在物镜内部被手动改变。

用于拍摄其中各个显微单图的拍摄时间优选小于10ms；特别优选小于4ms，更优选在1ms至4ms之间。拍摄速率优选为至少60Hz，并且更优选为至少200Hz。

在根据本发明的方法的优选实施方式中，将多个、至少是两个显微单图处理成具有扩展的景深的显微图像的步骤已经随着对这些显微单图进行的各次拍摄开始了，在此期间也仍拍摄其中另外的显微单图。因此，各个显微单图在对其进行拍摄期间就已经开始分别被处理，并且同时还继续拍摄另外的显微单图和/或改变聚焦位置。因此，至少暂时地同时执行拍摄显微单图的方法步骤和将显微单图处理为具有扩展的景深的显微图像的方法步骤，其中，将显微单图处理成具有扩展的景深的显微图像的方法步骤持续时间可以长于拍摄显微单图的方法步骤。除了以不同聚焦位置拍摄的显微单图之外，显微单图还可以包括以相同聚焦位置拍摄的一些单图。

在这些实施方式中，多个显微单图在其拍摄期间被连续处理成具有扩展的景深的显微图像，从而使具有扩展的景深的显微图像的景深连续增加。因此，具有扩展的景深的显微图像一直改变，直到所有显微单图都被拍摄和处理。就这方面来说，具有扩展的景深的显微图像在其产生期间进行改变。优选地，在显微镜的用户根据手动改变聚焦位置期间，持续地显示所生成的具有扩展的景深的图像。因此，用户得到形式为所生成的具有扩展的景深的图像的反馈，从中，用户可以推断出由他所引起的根据周期函数进行的手动改变聚焦位置对产生具有扩展的景深的显微图像的适合性。

优选地，将所产生的具有扩展的景深的显微图像存储起来。优选地，在达到提前限定的扩展的景深之后将所产生的具有扩展的景深的显微图像存储起来。优选地，在持续地产生具有扩展的景深的显微图像达到提前限定的质量之后，将所产生的具有扩展的景深的显微图像存储起来。替选地，优选在识别出用户输入用于存储、例如操纵功能键或触发器或发出语音命令之后，将所产生的具有扩展的景深的显微图像存储起来。

在根据本发明的方法的另外的优选实施方式中，输出适合性值，该适合性值描述了所识别出的由用户根据周期函数手动进行聚焦位置改变对产生具有扩展的景深的显微图像的合适性。优选地显示适合性值；例如作为数值或刻度。优选地，在用户根据周期函数手动改变聚焦位置期间，持续地、尤其是实时地显示适合性值。在此期间适合性值可以变化。

适合性值示例性地优选依赖于所识别出的手动改变聚焦位置的周期函数的频率与最大频率之间的差有多小。最大频率定义的是，可以以该最大频率拍摄显微单图的最大速率，以便能够确定具有扩展的景深的图像，这依赖于所使用的显微镜和待显微检测的样品。优选地，最大频率由针对其中各个显微单图的拍摄时间和显微单图的数量(它们被拍摄用于具有扩展的景深的显微图像)乘积的倒数形成。

适合性值还优选地依赖于所识别出的手动改变聚焦位置的周期函数的频率有多恒定。该频率越恒定，就可以越精确地确定具有扩展的景深的图像。优选地获知如下时间间隔，在这些时间间隔中，所识别出的手动改变聚焦位置的周期函数的频率相比于其他时间间隔具有更大的恒定性。优选地，仅将在所获知的时间间隔内拍摄到的显微单图用于确定具有扩展的景深的图像。

适合性值还优选地依赖于识别出的对聚焦位置的手动改变的周期函数的幅度在多大程度上适合于对具有扩展的景深的显微图像的景深扩展。

在幅度至少很大程度上恒定的情况下，当将所识别的手动改变聚焦位置的周期函数的频率选择得大时，则其中一些所拍摄的显微单图可能是冗余的。然而，这些冗余的显微单图有利于产生具有扩展的景深的显微图像，这是因为它们可以改善具有扩展的景深的显微图像的质量。

在幅度至少很大程度上恒定的情况下，当将所识别的手动改变聚焦位置的周期函数的频率选择得过大，则具有扩展的景深的显微图像的质量将下降。

用于各个显微单图的拍摄时间依赖于所用的显微镜；尤其是依赖于显微镜的图像转换器。用于各个显微单图的拍摄时间与由显微镜决定的可以用来拍摄显微单图的最大速率相关。

在根据本发明的方法的优选实施方式中，为用户预定出最小频率和/或最大频率，用户必须利用该最小频率和/或最大频率手动改变聚焦位置。此外，最大频率优选依赖于可以利用哪个最大速率拍摄显微单图，以便能够确定具有扩展的景深的图像，这依赖于所用的显微镜和待显微检测的样品。此外，最小频率优选依赖于样品发生的横向移动或样品自身的移动，这些需要足够快速进行手动改变聚焦位置，以便确定至少一个具有扩展的景深的图像。最佳频率在最小频率与最大频率之间。优选地连续显示所识别出的手动改变聚焦位置的周期函数的当前频率与最佳频率之间的差有多大。

在根据本发明的方法的优选实施方式中，连续显示识别出的手动改变聚焦位置的周期函数的图形，从而用户可以识别出，该用于如何准确地根据周期函数进行手动改变聚焦位置。该图形优选实时显示。还优选显示出，所识别出的手动改变聚焦位置的周期性是否足够用于以不同的聚焦位置拍摄多个显微单图并将其处理成具有扩展的景深的显微图像。

在根据本发明的方法的优选实施方式中，预定出手动改变聚焦位置的周期函数的幅度，以便能够实现最佳地扩展具有扩展的景深的显微图像的景深。在用户手动改变聚焦位置时，用户必须尝试达到这些幅度。所预定的幅度优选地以图形方式显示。

在使用传感器的情况下识别显微镜的用户是否根据周期函数手动改变聚焦位置优选地。传感器可以例如基于电容性、电感性、磁性或光学的测量。传感器可以整合到显微镜中并且可以被构造成用于输出经编码的距离，尤其是输出经编码的z值。传感器也可以构造为显微镜的附加的部件；其优选以照相机的形式以用于拍摄透镜、物镜或利用其能手动改变显微镜的聚焦位置的操作元件的姿态。

利用传感器优选地能测量显微镜的至少一个透镜与要拍摄的样品之间的距离。利用传感器优选地能测量显微镜的物镜与要拍摄的样品之间的距离。替选地，利用传感器优选能测量利用其能手动改变显微镜的聚焦位置的操作元件、尤其是可转动的操作轮的姿态。传感器优选构造为用于显微镜的附加模块。

替选地，识别显微镜的用户是否根据周期函数手动改变聚焦位置优选通过对由显微镜拍摄的显微单图进行图像处理来进行。在图像处理中，优选地分析显微单图。在此优选获知质量参数。质量参数优选地包括用于锐度和/或对比度的质量参数；例如用于三个RGB值或单个通道的质量参数。

根据本发明的显微镜优选数字式地构造，并且首先包括至少一个光学透镜，以用于在图像平面中对样品的光学成像进行放大。至少一个光学透镜优选地由显微镜的物镜的部件形成。显微镜的聚焦位置能通过能手动改变至少一个透镜与要拍摄的样品之间的距离的方式来手动改变。显微镜的聚焦位置优选只能手动改变，而不能自动改变。显微镜优选不具有用于改变聚焦位置的驱动器。

显微镜优选地还包括图像传感器，以用于将由透镜直接或间接地成像到图像传感器上的图像转换为电信号。

根据本发明的显微镜还包括图像处理单元，该图像处理单元至少用于处理显微单图。图像处理单元被配置成用于实施根据本发明的方法。优选地，图像处理单元被配置成用于实施根据本发明的方法的其中一个所描述的优选实施例。另外，根据本发明的显微镜优选还具有结合根据本发明的方法及其优选实施方式所说明的特征。

图像处理单元优选由FPGA、GPU模块、PC、小型PC或手提电脑形成。

附图说明

参照附图从本发明的优选实施方式的以下描述中得出本发明的另外的细节和改进方案。其中：

图1：示出对显微镜的聚焦位置进行根据本发明识别出的手动改变的图表；

图2：示出对显微镜的聚焦位置进行另外的根据本发明识别出的手动改变的图表；

图3：示出根据本发明的显微镜的图形化的用户界面；以及

图4：示出图3中所示的图形化的用户界面的扩展。

具体实施方式

图1示出了根据本发明的方法的优选实施方式识别出的显微镜的聚焦位置的手动改变的图表。在图表的轴Z上绘制了聚焦位置，该聚焦位置作为在显微镜的透镜(未示出)与要拍摄的样品(未示出)之间在z方向的距离被测量。在图表的轴t上绘制了时间。显微镜的用户根据正弦函数周期性地改变聚焦位置，从而识别出正弦形的函数曲线01，这例如可以利用显微镜上的传感器(未示出)来进行。该图表还示出了拍摄时间点02，在这些时间点中拍摄了在各自的拍摄时间点02得到的聚焦位置Z的显微单图。时间t₁例如为1s。

图2示出了根据本发明的方法的优选实施方式识别出的显微镜的聚焦位置的手动改变的另外的图表。该图表非常类似于图1中所示的图表。与图1中所示的图表不同地，识别出三角形的函数曲线03，这是因为显微镜的用户以恒定的速度值和对方向的突然改变来周期性地改变聚焦位置。

图3示出了用于执行根据本发明的方法的优选实施方式的根据本发明的显微镜的优选的实施方式的图形化的用户界面。图形化的用户界面允许基于以不同的聚焦位置拍摄的显微单图来选定要生成的具有扩展的景深的图像的要实现的质量，其中，可以在“低”、“中”和“高”等级中选定质量。图形化的用户界面还允许选定要使用的处理方法，其可以在“单道”、“立体”和“非远心”之间进行选择。以这种方式，例如在使用“单道”处理方法时，可以在采用单目光学***的情况下确定具有扩展的景深的图像或三维图像。在选定“立体”处理方法时，可以针对立体可视化仪器，例如目镜、虚拟现实眼镜、三维显示器等确定三维图像。在选定“非远心”处理方法时，也就是说在使用非远心光学器件时，可以在确定具有扩展的景深的图像或三维图像之前执行对图像的远心进行数字式的校正。

在图形化的用户界面中，适合性值以刻度显示，该适合性值定量地指示用户手动进行的对聚焦位置的周期性改变在多大程度上适合于产生具有扩展的景深的图像，也就是说在多大程度上适合于进行手动扩展景深。定量刻度从“低”到“高”。

图形化的用户界面还允许选定用于识别聚焦位置的手动周期性改变的方法。在此提供“周期性运动”、“上下快速”、“时间间隔”和“击键(F12)”。

图形化的用户界面还允许选定用来触发启动对聚焦位置的手动周期性改变的识别的模式。作为替选方案地，为此提供“时间”、“传感器”和“图像改变”。

图形化的用户界面还允许选定用来触发停止对聚焦位置的手动周期性改变的识别的模式。作为替选方案地，为此提供“时间”、“传感器”和“图像质量”。

图4示出了图3中所示的图形化的用户界面的扩展。替选或补充地，该扩展用于使用户能够识别出他根据周期函数如何精确地进行手动改变聚焦位置。为此，将在其时间曲线中识别出的周期函数显示为图表。此外，给出对聚焦位置的手动改变的识别出的周期函数的周期性的评估，也就是说对运动的周期性的评估。评估可以作为“差”或“好”给出。

附图标记列表

01 正弦形的函数曲线

02 拍摄时间点

03 三角形的函数曲线

Claims (10)

1.用于借助显微镜产生具有扩展的景深的显微图像的方法，其中，所述显微镜的聚焦位置能通过能手动改变所述显微镜的至少一个透镜与要拍摄的样品之间的距离的方式来手动改变，并且其中，所述方法包括以下步骤：

-识别所述显微镜的用户是否根据周期函数(01；03)手动改变聚焦位置；

-在识别出用户根据所述周期函数(01；03)改变聚焦位置之后，以不同的聚焦位置拍摄样品的多个显微单图；并且

-将所述多个显微单图处理成具有扩展的景深的显微图像。

2.根据权利要求1所述的方法，其特征在于，通过手动改变所述样品与所述显微镜的包括所述至少一个透镜的物镜之间的距离来改变聚焦位置。

3.根据权利要求1或2所述的方法，其特征在于，通过操作机械的操作元件来手动改变聚焦位置，其中，能通过操作所述机械的操作元件来改变所述显微镜的至少一个透镜与要拍摄的样品之间的距离。

4.根据权利要求1或2所述的方法，其特征在于，随着对显微单图的各次拍摄而开始进行将所述多个显微单图处理成具有扩展的景深的显微图像的步骤，而在此期间仍然拍摄另外的所述显微单图，其中，在所述显微镜的用户根据所述周期函数(01；03)手动改变聚焦位置期间，持续地显示所生成的具有扩展的景深的图像。

5.根据权利要求1或2所述的方法，其特征在于，输出适合性值，所述适合性值描述了识别出的由用户手动进行的对聚焦位置的改变对于产生具有扩展的景深的显微图像的适合性。

6.根据权利要求5所述的方法，其特征在于，所述适合性值依赖于识别出的对聚焦位置的手动改变的周期函数(01；03)的频率有多恒定。

7.根据权利要求5所述的方法，其特征在于，所述适合性值依赖于识别出的对聚焦位置的手动改变的周期函数(01；03)的幅度在多大程度上适合于对所述具有扩展的景深的显微图像的景深扩展。

8.根据权利要求1或2所述的方法，其特征在于，连续显示识别出的对聚焦位置的手动改变的周期函数(01；03)的图形。

9.根据权利要求1或2所述的方法，其特征在于，在使用位置传感器的情况下来识别所述显微镜的用户是否根据周期函数(01；03)手动改变聚焦位置。

10.显微镜，所述显微镜包括：

-用于对待显微检测的样品进行成像的至少一个光学透镜，其中，所述显微镜的聚焦位置能通过能手动改变所述透镜与要拍摄的样品之间的距离的方式来手动改变；以及

-用于处理显微单图的图像处理单元，所述图像处理单元被构造成用于实施根据权利要求1至2中任一项所述的方法。

Images