CN104111524B - 数码显微镜以及优化数码显微镜中工作流程的方法 - Google Patents

Abstract

本发明涉及数码显微镜及优化这种数码显微镜中工作流程的方法。根据本发明数码显微镜包括至少一个用于观察样本（08）、样本台（04）、光学单元（02）或用户的第一监测传感器，以及监控单元。在根据本发明的方法中，获取第一监测传感器的第一操作数据，并在监控单元中以自动方式分析和评估该第一操作数据，以生成控制数据，并使用所述数据来控制数码显微镜的工作流程。

Description

数码显微镜以及优化数码显微镜中工作流程的方法

技术领域

本发明涉及数码显微镜以及优化数码显微镜中工作流程的方法，特别是用在金相显微镜中以及在质量控制中应用。

背景技术

在显微镜检查中，为了文档编制的目的，常常要用独立的的相机或以低分辨率为样本拍摄微距照片（macro photographs）。在生物医学显微镜检查应用中，通过把许多显微镜图像连接起来（拼接），能够生成概览图像或整体图像。在地图的计算机表示中，通常也使用概览图像以向用户提供额外的信息。

根据WO19998/044446A1，已知一种用于计算机控制的显微镜中图像表示的***和方法。这里，具有低分辨率的微距图像首先由单个图块生成。使用这个微距图像的选定区域，将样本台移至预先确定的位置以便生成相应的高分辨率图像作为整体图像的图块。

US20060092505A1公开了连续的缩放***以及使用若干光路和数码缩放技术的方法。

根据JP7015721A，已知包括整体图像摄像头以及显微镜摄像头的显微镜***。使用转换开关在邻近设置的摄像头之间进行转换是可行的；样本相应地以自动方式放置在各自选择的摄像头之下。

USRE34622E1描述了一种显微镜显示***，其中图像被分成两个具有不同分辨率等级的光路，由两个不同的摄像头记录，并表示在各自的监控器上。

当用显微镜检查样本时，用户通常首先必须目视检查样本是否正确地放置在镜头下，并且必须估计，例如，样本与镜头之间的距离，以避免检查过程中样本和镜头之间的碰撞。这个预检查对用户来说是花费时间的，尽管仔细检查了，但不可能总是能够可靠地防止光学器件或样本的损坏。

发明内容

本发明的问题是提供一种改进的数码显微镜，以及在显微镜工作过程中使工作流程简化并实质上自动化成为可能的方法。

该问题通过具有权利要求1特征的数码显微镜，并通过具有权利要求7特征的方法来解决。

根据本发明数码显微镜首先包括，以已知方法设置在优选可旋转的显微镜主体上的光学单元和数字图像处理单元（光学引擎）。显微镜图像传感器用于俘获放在样本台上以检查的样本的图像。光学单元和图像俘获的功能对于本领域的技术人员来说是已知的，因此不再进一步讨论这些细节。

根据本发明，数码显微镜包括至少一个第一监测传感器，其监测数据用于控制显微镜工作过程中工作流程的各种功能。此外，数码显微镜包括监控单元以自动评估监测传感器的数据。工作流程的控制本质上包括软件功能。

第一监测传感器主要用来观察样本，优选地用于获取样本的二维概览图像。基于这个概览图像，例如，可以以自动方式检查样本是否已经正确地放置在样本台上。为了定位样本，通过参考载物台的概览图像，沿X和Y方向移动样本直到已达到期望的位置。

例如，如果概览图像与第一图像传感器的显微镜图像至少在某些部分匹配，那么就是这种情况。已知的图像处理过程提供了这种功能。

此外，在显微镜工作过程中，概览图像是在样本上导航的基础，这意味着通过“指定”概览图像中的区域并选择期望的放大率，取决于这个选择，样本台能够以自动方式移动，并且光学单元能够以自动方式调节。

概览图像能够作为即时图像，特别地，用于对准并定位样本。借助于快照功能，在显微镜工作过程中某些状况的快照具有最高分辨率是可能的。另外，即时图像与快照的组合结合了即时图像的自动功能和快照提高的分辨率是可能的。

还可以同时或先后或交替地执行概览图像的俘获以及显微镜图像的俘获。

特别地，本发明的有益效果是在显微镜工作和显微镜操作的过程中，能够以简单且有效的方法显著地简化自动化的工作流程。

根据本发明的方法用于优化数码显微镜中的工作流程，该数码显微镜包括光学单元、数字图像处理单元、以及至少一个第一监测传感器。首先，在观察设置在样本台上的样本的过程中、或在观察样本台的过程中、或在观察光学单元的过程中、或在观察用户的过程中，获取第一监测传感器的第一观测数据。

以自动方式分析和评估这些第一观测数据，并由这些观测数据生成控制数据。

控制数据用于控制各种组件，也就是说，用于控制数码显微镜的工作流程。

在特别优选的实施方式中，第一观测数据是二维概览图像，如上面已经描述的使用这个概览图像。

在本发明的优选实施方式中，数码显微镜包括第二监测传感器和/或附加的监测传感器。这里，在优选实施方式中，单个监测传感器体现为图像传感器或摄像头，并设置在数码显微镜的不同空间位置上。这里优点是能够在监控单元中把第一和第二监测传感器的数据处理成三维概览信息。

或者，能够根据第一监测传感器的数据借助于软件来计算三维图像，该第一监测传感器具有不同的样本台位置或不同的焦距。

三维概览信息能够用于评估Z-拓扑结构，即样本的高度信息。这个信息转而有益地用来支持数码显微镜的自动聚焦功能和/或建立近似的三维概览图像。

当使用第三监测传感器时，能够以简单的方式额外地实现碰撞控制。碰撞控制能够在样本台移动或光学单元移动的情况下有效，如果存在碰撞的风险，其能够中断各自的流程。

第三监测传感器或附加的监测传感器也可能是电容式传感器、电阻式传感器、超声波传感器、红外传感器或其它合适的传感器，以代替图像传感器。

例如，接触式传感器能在样本台的移动过程中或在光学单元的移动过程中检测与样本台的接触，如果存在碰撞的风险，若有必要则能够停止相应的移动。本领域的技术人员会认识到可能的变形并相应地适应于各自需要的配置和传感器选择。

自然地，为了一切可能的工作流程简化，不同的监测传感器的组合是能够想得到的，并被本发明所覆盖。

在工作过程中，第一监测传感器和可选择地附加监测传感器能够有差别地设计并合并。这里，在若干传感器的情况下，这些传感器不必全都具有相同的结构和设计。

如果图像传感器或摄像头作为监测传感器，它们能够

-各包括“它们自己的”图像处理处理器，

-提供观测数据（图像信息）以在主要的媒体处理器中进一步处理，

-提供观测数据（图像信息）以在数码显微镜的数字可编程逻辑（主现场可编程门阵列，Main-FPGA）中进一步处理，

-在FPGA中评估“它们各自的”观测数据（图像信息）。

数码显微镜另一个有益的实施方式还包括辅助照明装置。

后者可能是通过，例如，LED或OLED产生连续光照的独立照明装置。

然而，使用与图像获取同步的闪光灯也是可能的，有利地，其允许大面积的节能照明。

辅助照明装置附加的替换或变形是结构式照明，例如，激光或LED行投射或图案投射，其尤其适合于样本、应用、显微镜对比度或附加的特性。这对生成样本的3D剖面信息以及相对于某些区域的距离判定可能是有帮助的。

类似地，对于不同的测量问题以不同的次序照明是可行的；例如，借助于行程时间判定、能够十分精确地确定相对于样本的距离或区域的距离图。

所有上述的选项和变形能够适应于需要的测量问题和显微镜结构。

监测传感器的功能有效地合并在数码显微镜的自动化工作流程中。取决于具体的单个配置，在数码显微镜的硬件和软件中需要不同的集成等级。例如，如果需要重新定位样本或者循序改变样本的位置以生成概览图像或显微镜图像，样本台的移动必须相应地集成在数码显微镜的控制装置中。

下面，作为实施例，提出了两个可行的工作流程，其能够由根据本发明的数码显微镜执行。

-工作流程1：“开始并设定最小视场”

-工作流程2：“在同一显微镜预览中搜索另一个显微镜视场”

在另一区域中生成图像的另一个工作流程包括基本步骤：

-在概览图像中选择另一个中心

-重新定位样本

-图像获取

表1表示的这个实施例示出了工作流程中从接通数码显微镜到获取图像的步骤的可能次序。指出了所有的用户操作及数码显微镜的自动操作。

附图说明

下面参照附图描述本发明的若干优选实施方式。

图1示出数码显微镜中若干监测传感器的优选布置的图解表示；

图2示出具有不同的监测传感器的数码显微镜的图解表示；

图3示出数码显微镜中第一监测传感器的定位可能性的表示；

图4示出数码显微镜中第一和第二监测传感器，以及辅助照明装置的定位可能性的表示；

图5示出监测传感器的定位可能性的其他的图解表示；

图6示出倒置的数码显微镜中第一监测传感器的定位可能性的表示；

图7示出在数码显微镜中第一监测传感器不同布置的情况下光路的图解表示；

图8示出不同概览图像的汇总；

图9示出具有不同景深的不同概览图像；

图10示出如根据本发明数码显微镜中的实施例所表示的工作流程；

图11示出数码显微镜的优选实施方式，其中三维概览图像由第一监测传感器生成；

图12示出图11示出的实施方式的三维概览图像的实施例；

图13示出仅使用第一监测传感器生成三维概览图像的替代实施方式的基本表示；

图14示出用不同镜头拍摄的概览图像和显微镜照片的尺寸比，其能够以传感器全分辨率俘获；以及

图15示出数码显微镜特别优选的实施方式的基本图。

具体实施方式

在图1中，示出数码显微镜的图解表示。数码显微镜包括镜头01，高度可调的光学单元02，优选可旋转的显微镜主体03，以及样本台04。样本台04能够以已知方式在水平面上并垂直于其移动。

根据本发明数码显微镜包括设计为图像传感器06（优选是相机传感器）的第一监测传感器，其设置在光学单元02上，并对着样本台04。基于图像传感器06的观测数据，在集成在光学单元中的监控单元（未示出）中生成概览图像。

在这个实施方式中由两个设置在镜头01上的图像传感器07构成的第二监测传感器能够提供，例如，在样本台04位置上的即时参考信息作为第二观测数据。为此，可以观察样本08内的部位，或者例如照明点的部位（未表示）。或者，可在镜头周围分布设置仅一个传感器或两个以上的传感器。

附加的图像传感器09作为第三监测传感器用于观察样本台04的周围状况。在这种情况下，能够评估第三观测数据以判定在那个时候用户是用一只手还是两只手在样本台或镜头的区域中精确地移动。

在图2中，不仅示出能够用作监测传感器的图像传感器。图2以图解表示示出具有上述基本组件的数码显微镜。

这里，第一、第二和第三监测传感器作为概览摄像头12附装在数码显微镜的不同位置处（主体03、光学单元02）。在倒置的显微镜的情况下，概览相机13自然地能够也设置在样本台04的下面。此外，在样本台04上，监测传感器能够设置为红外传感器14、电容或电阻式传感器16、17，在监控单元中评估这些传感器的监测数据以在显微镜工作过程中监控工作流程。

在图3至6中，表示出至少第一监测传感器在数码显微镜中的不同定位。尽管这里在不同情况下，描述了图像传感器06或相机传感器，但意图并不是把本发明限于这种传感器类型。在不同情况下，这些实施方式中的图像传感器06包括附加的光学组件组18。

这里，图3示出图像传感器06在光学单元02的中心的定位（图a）—从侧面向显微镜主体03上看）。在图b）中，图像传感器06倾斜地对着物平面19，所以，关于物平面一贯的清晰表示，“斯凯姆普夫拉格”（Scheimpflug）相机必须形成需要的尺寸。图c）示出了垂直地对着物平面19的图像传感器06。在不同情况下，辅助照明单元21设置在显微镜主体03上。

在图4的图a）中，能够看出两个图像传感器6设置在显微镜主体03上，彼此的距离为a。在优选实施方式中，距离a可以是120mm。这里，辅助照明单元21也设置在显微镜主体03上。根据图b），“斯凯姆普夫拉格”相机形成了需要的尺寸，而图像传感器06根据图c）生成了“正常的”概览。

图5示出了图像传感器06在显微镜主体03上的布置，其中观察平面22取向为垂直于物平面19。

在图6中，示出了具有透射光照明装置23的倒置的显微镜中的传感器布置。在这种情况下，设计为图像传感器06具有光学组件组18的监测传感器设置在样本台04上。

图7以图解表示示出了数码显微镜的光学元件的不同布置。在图a）中，示出了光学布置，其中样本08必须移动以生成在位置POS2处的概览图像，位置POS2与镜头位置POS1不同。在图b）中，能够看出“斯凯姆普夫拉格”摄像头的布置，而图c）示出了不需要附加的光学组件组的布置。图像偏转装置能够集成在光学单元中，它包括平面玻璃24和附加的偏转镜25。在这种情况下，被样本反射的光经由平面玻璃24指向图像获取单元（未示出），并经由图像偏转装置指向图像传感器06。

图8示出作为第一图像传感器的图像传感器在视场150×150mm内的概览图像的实施例。

图9示出具有景深（depth of field，DoF）变化并聚焦在不同高度水平的概览图像的实施例。在图a）中，样本平面19离焦，但物体26的表面是焦点对准的，而在图b）中，样本平面19是聚焦的。

在图10中，示出了可行的工作流程的表示。从显微镜概览图像27开始，在概览图像27上放大80倍（图像28）。以80倍的倍率，得到了由1μm分辨率的合成显微图像（microimages）构成的显微视图（micro view）29。通过在显微视图29及它的放大图中选择区域31，用户得到了放大500倍的显微镜图像32。

图11示出了仅用第一监测传感器（体现为图像传感器06）及相应的光学组件组（未示出）来生成样本08的三维概览图像的基本过程的基本图。在这个实施例中，设定图像传感器06和样本台04之间的距离z为181mm。

具有视场A，例如，150×150mm的第一图像由样本台04（样本33放在该样本台04上）的第一位置POS1纪录。样本台04的第一位置POS1从中心位置（未示出，x=0）移动，例如，多达-25mm（x）。

随后，实现了用样本台04的第二位置POS2获取第二图像，该第二位置POS2从中心位置移动多达+25mm（x），第二图像具有视场B的设置，其在这种情况下具有202×150mm的大小。随后，样本33的三维特性重建借助于使用摄影测量法和立体摄影测量学的软件实现。用于这个目的的算法对于本领域的技术人员来说是已知的。

在图12中，示出了借助于立体摄影测量学来生成三维概览图像的实施例。图a）示出了遥控装置34的二维图像，其具有表现为框架的区域36（关注区域，region ofinterest，ROI）。借助于立体摄影测量学算法，建立了遥控装置34的高程图（图b））。图c）示出了高程图的放大。尽管在拓扑结构中有一些不确定性，但是识别深度小于1mm（ROI）的细节是可能的。

图13示出了用单个的设计为图像传感器06的第一监测传感器来生成三维概览图像的更多可能性。通过焦距变化（焦距z），生成了不同的分辨率平面37的视图，根据这些视图使用已知的方法生成了三维视图。

图14表示相对于概览图像27具有不同放大率（5x、1.6x、0.5x）以及相应不同数值孔径（NA=0.03、0.1、0.3）的不同镜头38的显微镜图像，其能够以全分辨率表示。

这里，在能够用概览传感器表示样本台各自表面面积的概览图像范围是130×100mm的情况下，左边的各显微镜图像39示出了最小缩放，而右边的各显微镜图像40示出了能够以第一图像传感器的全分辨率用最高放大率表示的表面。

图15以图解表示示出了具有第一监测传感器（设计为摄像头41）的数码显微镜特别优选的布置。这里摄像头41和辅助照明装置设置在光学单元02的底部上紧挨镜头01。显微镜主体03可以以已知方式绕旋转轴线42旋转。样本台08能够与这个旋转轴线42（样本台08的枢转点）对齐（aligned with this swivelaxis42）。

附图标记列表

01 镜头

02 光学单元

03 主体

04 样本台

05 -

06 图像传感器

07 图像传感器

08 样本

09 图像传感器

10 -

11 -

12 概览摄像头

13 概览摄像头

14 红外传感器

15 -

16 电容式传感器

17 电阻式传感器

18 光学组件组

19 样本平面

20 -

21 辅助照明装置

22 观察平面

23 透射光照明装置

24 平面玻璃

25 偏转镜

26 物体

27 显微镜概览图像

28 图像

29 显微视图

30 -

31 区域

32 显微镜图像

33 样本

34 遥控装置

35 -

36 区域（关注区域）

37 分辨率平面

38 镜头

39 显微镜图像

40 显微镜图像

41 摄像头

42 旋转轴

Claims (8)

1.一种数码显微镜，具有设置在显微镜主体(03)上的光学单元(02)和数字图像处理单元，以及用于俘获设置在样本台(04)上的样本(08)的图像的显微镜图像传感器，其特征在于：所述数码显微镜还包括至少一个用于观察所述样本(08)、所述样本台(04)、所述光学单元(02)或用户的第一监测传感器，以及监控单元，其中，在所述监控单元中，所述监测传感器的数据以自动方式评估，并用于所述数码显微镜的自动控制，并且

所述数码显微镜还包括第二监测传感器，其中所述第一监测传感器和所述第二监测传感器设置在所述数码显微镜的不同空间位置上，并且所述两个监测传感器的数据在所述监控单元中处理成三维概览信息。

2.根据权利要求1所述的数码显微镜，其特征在于：其包括第三监测传感器，其中所述第一监测传感器和所述第三监测传感器设置在所述数码显微镜的不同空间位置上，并且所述第一和第三监测传感器的数据在所述监控单元中处理成碰撞控制信息。

3.根据权利要求1所述的数码显微镜，其特征在于：所述第一监测传感器是图像传感器(06，07，09)或摄像头(41)。

4.根据权利要求1所述的数码显微镜，其特征在于：所述第二监测传感器是图像传感器(06，07，09)。

5.根据权利要求1所述的数码显微镜，其特征在于：所述数码显微镜还包括辅助照明装置(21)。

6.优化数码显微镜中工作流程的方法，该数码显微镜具有光学单元(02)和第一监测传感器，所述方法包括以下步骤：

-在观察设置在样本台(04)上的样本(08)、所述样本台(04)、所述光学单元(02)或用户时，获取所述第一监测传感器的第一观测数据；

-自动分析和评估所述监测传感器的所述观测数据，并生成控制数据；

-使用所述控制数据来控制所述数码显微镜的所述工作流程，

其中，所述方法还包括以下附加的步骤：

-获取第二监测传感器的第二观测数据，所述第二监测传感器设置在所述数码显微镜中，在空间上相对于所述第一监测传感器偏离；

-根据所述第一和第二观测数据生成所述样本的三维概览图像或高程图。

7.根据权利要求6所述的方法，还包括以下步骤：

-使用所述第一和第二观测数据来大概地定位所述样本台(04)和/或

-使用所述第一和第二观测数据来自动调节镜头(01)的焦距。

8.根据权利要求6中其中一个所述的方法，其特征在于：在获取照明数据的过程中还实现了所述样本台(04)的照明。