CN109031643A - 一种增强现实显微镜 - Google Patents

Abstract

本发明涉及一种增强现实显微镜，包括目镜(2)、物镜(3)、设置在所述目镜(2)和所述物镜(3)之间的分光装置(1)、图像获取装置(4)、图像投影装置(5)和图像处理装置(6)；所述分光装置(1)包括第一分光器(11)和第二分光器(12)。通过设置在目镜和物镜之间的分光装置与图像获取装置和图像投影装置配合，可实时捕捉显微图像至图像处理***，并同时将计算处理的结果图像及提示信息与真实图像实现重合，使得操作人员在观察到图像的同时，也可以观察到处理结果和提示信息，既能减轻操作人员的工作强度，同时可以提高检测速度和检测质量。

Description

一种增强现实显微镜

技术领域

本发明涉及显微成像技术领域，尤其涉及一种增强现实显微镜。

背景技术

目前显微镜技术已经发展成光学仪器的一个重要分支，在生物、医疗、电子、半导体、光学制造等众多领域有着广泛的应用。随着显微镜技术的成熟，显微镜结构也发展出了多种形式、结构及成像方式，在不同的应用中均发挥了重要的作用。但目前显微镜的使用还属于人工操作，尤其是作为现场检验及判断的用途，例如医疗领域中的病理分析，主要工作是通过显微镜对目标物体进行观察。目前，许多显微镜都具有图像获取***，即电子成像器件接收显微图像，再显微在屏幕上观察，这样可以减轻人工观察所造成的疲劳。然而，在屏幕上所观察到的图像与直接通过显微镜观察到的图像在感觉上是存在差异的，因此，在类似病理分析的应用中，操作人员还是更倾向于直接观察，保证观察结果的准确性，如此，当被分析的样品数量过多是，操作人员的工作强度、疲劳强度会大大增加，从而会影响观察、分析的结果。

随着图像处理、模式识别以及人工智能技术的发展，可以对获取的显微图像进行处理，并对关键目标进行自动探测，由于自动探测结果不能作为最终结果，往往需要人工核对。这样如何将人工智能自动探测结构与人工直接观察图像相结合、以期在大批量观测中既能减轻操作人员工作强度又能提高检测速度与质量成为亟待解决的难题。

此外，人工操作观测时，随着观测样本数量的逐渐增多，如何减小显微镜的体积，使得显微镜操作更为方便也是值得研究的方向。

发明内容

本发明的目的在于提供一种增强现实的显微镜，可以实时捕捉显微图像信息，并将经过处理的图像及信息与实际显微图像融合，以达到减轻人工观测强度，提高检测质量的目的。

为实现上述发明目的，本发明提供一种增强现实显微镜，包括目镜、物镜、设置在所述目镜和所述物镜之间的分光装置、图像获取装置、图像投影装置和图像处理装置；

所述分光装置包括第一分光器和第二分光器。

根据本发明的一个方面，所述物镜、所述第一分光器、所述第二分光器和所述目镜构成目视观察光路；

所述物镜、所述第一分光器和所述图像获取装置构成图像获取光路；

所述图像投影装置、所述第二分光器和所述目镜构成图像投影光路。

根据本发明的一个方面，所述图像获取装置和所述图像投影装置位于所述分光装置的同一侧或者两侧。

根据本发明的一个方面，所述图像处理装置可以为计算机、嵌入式带有计算功能的装置或者可编程逻辑控制器中的一种；

所述图像处理装置并通过第一接口与所述图像获取装置相互电连接，且通过第二接口与所述图像投影装置相互电连接。

根据本发明的一个方面，所述图像处理装置接收所述图像获取装置所摄取的图像并处理，并将处理结果发送到所述图像投影装置进行投影。

根据本发明的一个方面，所述的图像处理装置，还包括：显示装置及人机交互设备。

根据本发明的一个方面，所述显示装置与所述图像处理装置及人机交互设备相互电连接，并且向所述图像处理装置输出信息或者接收并显示所述图像处理装置发送的信息。

根据本发明的一个方面，所述图像投影装置、所述图像处理装置和所述分光装置工作波段在可见光波段。

根据本发明的一个实施方案，通过在物镜与目镜之间设置分光装置、图像获取装置和图像投影装置，可以实现对图像信息的实时捕捉及处理并将计算处理的结果及提示信息与真实图像实现重合，使得操作人员在观察到图像的同时，也可以观察到图像处理结果和提示信息。从而可以有效的将计算机智能处理结果与人工直接观察图像相结合，既能减轻操作人员的工作强度，同时可以提高检测速度和检测质量。

根据本发明的一个实施方案，由于采用两个分光器，可以灵活地安排图像获取装置和图像投影装置的设置，例如在分光装置的同一侧或者两侧，这样可以根据需要来优化现实增强显微镜的结构，以便保留更多的操作空间。

根据本发明的一个实施方案，分光装置包括依次设置的第一分光器和第二分光器，并且在第一分光器一侧设置图像获取装置，在第二分光器的一侧设置图像投影装置。这样将图像获取和图像投影分为两个独立的***来完成，即通过物镜、第一分光器和图像获取装置构成的图像获取光路完成图像获取；通过图像投影装置、第二分光器和目镜构成的图像投影光路完成图像的投影。上述设置能够保证图像获取装置和图像投影装置独立进行相应的处理步骤，图像获取光路和图像投影光路的调试更为方便，同时避免因只设置一个分光镜来进行图像获取和图像投影对彼此操作产生的干扰因素，使投影图像与实际图像能够更好的重合，从而有利于提升成像精度，保证最终处理结果和人工观测的精确性。

附图说明

图1示意性表示根据本发明一种实施方式的显微镜的结构图；

图2示意性表示根据本发明一种方式的显微镜的光路图；

图3示意性表示根据本发明一种实施方式的显微镜局部结构图；

图4示意性表示根据本发明一种实施方式的容纳腔、分光装置、图像获取装置和图像投影装置的结构图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

如图1所示，根据本发明的一种实施方式，本发明的增强现实显微镜包括分光装置1、目镜2、物镜3、图像获取装置4、图像投影装置5、图像处理装置6和显示装置7。在本实施方式中，分光装置1设置在目镜2和物镜3之间，用于将部分经过物镜3的光束分出，图像获取装置4和图像投影装置5分别接在分光装置1上，在本实施方式中，图像投影装置5、图像处理装置6和分光装置1工作波段在可见光波段。在本实施方式中，图像获取装置4可以通过分光装置1产生的分光路径来拍摄被观测物体的图像，之后将图像传输至图像处理装置6，经过软件处理可以得到经过人工智能识别后的结果及提示信息。图像投影装置5用于显示图像处理装置6处理后的结果及提示信息，并通过分光装置1投影至图像观察的主光路中。

以下对本发明的显微镜进行详细说明。

结合图1和图2所示，本发明的显微镜具有三条光路，分别为由物镜3、分光装置1和目镜2依次构成的目视观察光路、由物镜3、分光装置1和图像获取装置4依次构成的图像获取光路、由图像投影光路5、分光装置1和目镜2依次构成的图像投影光路。

具体来说，在本发明中，分光装置1包括第一分光器11和第二分光器12，在本实施例中，第一分光器11位于第二分光器12的下侧，即沿着主光路方向，物镜3、第一分光器11、第二分光器12和目镜2依次排列。在本实施例中，图像获取装置4位于第一分光器11的一侧，图像投影装置5位于第二分光器12的一侧，并且位于图像获取装置4的正上方，也就是说，图像获取装置4和图像投影装置5位于分光装置1的同一侧。在本实施例中，物镜3、第一分光器11、第二分光器12、目镜2依次构成目视观察光路。物镜3、第一分光器11和图像获取装置4依次构成图像获取光路。图像投影装置5、第二分光镜12和目镜2依次构成图像投影光路。根据本发明的构思，由于分光装置1包括第一分光器11和第二分光器12，可以灵活地安排图像获取装置4和图像投影装置的设置5，除了上述将图像获取装置4和图像投影装置5设置在分光装置1的同一侧之外，还可以设置在分光装置1的两侧，这样可以根据需要来增强现实显微镜的结构，以便保留更多的操作空间。

本发明的显微镜，通过在物镜3与目镜2之间设置分光装置1、图像获取装置4和图像投影装置5，将部分经过物镜3成像的光从目视观察光路中分出来投射到图像获取装置4处，图像获取装置4包括摄像镜头和成像器件，之后所获取的图像经特定的接口方式(包括但不限于USB、ISA Net、Mipi等方式)传输至图像处理装置6处进行分析处理，获取人工智能识别后的结果和提示信息。这些结果与提示信息可以传至显示装置7上进行显示，同时会输出至图像投影装置5进行显示，显示的信息包括处理后的图形和文字。之后，图像投影装置5将显示信息经过第二分光器12目镜2进行投射，投射的图像与直接经过显微镜成像的图像(由目视察光路产生的图像)在物镜3焦面上完全重合，并且两幅图像的尺寸与位置完全一致。当由图像投影光路显示的图像与由目视察光路显示的图像比例为1:1时，两幅图像在光轴方向完全叠加在一起，这样可以实现将计算处理的结果及提示信息与真实图像实现重合，使得操作人员在观察到图像的同时，也可以观察到处理结果和提示信息。从而可以有效的将计算机智能处理结果与人工直接观察图像相结合，既能减轻操作人员的工作强度，同时可以提高检测速度和检测质量。

此外，由于采用含有两块分光器的分光装置，可以将图像获取和图像投影分为两个独立的***来完成，不仅可以使图像获取光路和图像投影光路的调试更为方便，还可以根据需要配置图像获取装置和图像投影装置的相对位置。如图像获取装置4和图像投影装置5设置在分光装置1的同一侧，将大大减小了显微镜的体积，以便保留更多的操作空间。

在本实施例中，图像处理装置6包含但不限于计算机、嵌入式带有计算功能的装置或者可编程逻辑控制器，可以通过特定的接口(包含但不限于USB、Ethernet、Mipi、CameraLink、GigeVision)与所述图像获取装置4及特定的接口(包含但不限于HDMI、VGA、Mipi、RGB等方式)与图像投影装置5相互电连接。

显示装置7与图像处理装置6相互电连接，用于向图像处理装置输出信息或者接收并显示图像处理装置6发送的信息。本发明的增强现显微镜还包括人机交互设备，包括但不限于键盘、鼠标等。

结合图3和图4所示，本发明物镜3与目镜2之间设有容纳腔8，分光装置1、图像获取装置4和图像投影装置5均设置在容纳腔8中。如此，使得本发明的显微镜整体结构更为紧凑，同时容纳腔8可以对分光装置1、图像获取装置4和图像投影装置5起到保护作用。

在本实施方式中，容纳腔8的内壁上涂覆有消光材料，以降低杂散光对于显微镜成像的影响，从而有利于提升成像品质，保证观测结果的准确性。

如图3和图4所示，容纳腔8中设置有支承架81，支承架81用于固定分光装置1。在本实施方式中，支承架81包括相互垂直设置第一支承件811和第二支承812，其中第一支承件811与容纳腔8内壁相平行地固定连接在容纳箱8的内壁上，第二支承件812与分光装置1固定连接，在本实施方式中，通过粘接的方式直接将第一分光器11、第二分光器12与第二支承件812进行固定连接。此外，在本实施方式中，所有机械零件外表面都涂敷消光材料，以减少杂散光对成像品质的影响，保证成像品质。

上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。

以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种增强现实显微镜，其特征在于，包括目镜(2)、物镜(3)、设置在所述目镜(2)和所述物镜(3)之间的分光装置(1)、图像获取装置(4)、图像投影装置(5)和图像处理装置(6)；

所述分光装置(1)包括第一分光器(11)和第二分光器(12)。

2.根据权利要求1所述的显微镜，其特征在于，所述物镜(3)、所述第一分光器(11)、所述第二分光器(12)和所述目镜(2)构成目视观察光路；

所述物镜(3)、所述第一分光器(11)和所述图像获取装置(4)构成图像获取光路；

所述图像投影装置(5)、所述第二分光器(12)和所述目镜(2)构成图像投影光路。

3.根据权利要求1或2所述的显微镜，其特征在于，所述图像获取装置(4)和所述图像投影装置(5)位于所述分光装置(1)的同一侧或者两侧。

4.根据权利要求1所述的显微镜，其特征在于，所述图像处理装置(6)可以为计算机、嵌入式带有计算功能的装置或者可编程逻辑控制器中的一种；

所述图像处理装置(6)并通过第一接口与所述图像获取装置(4)相互电连接，且通过第二接口与所述图像投影装置(5)相互电连接。

5.根据权利要求4所述的显微镜，其特征在于，所述图像处理装置(6)接收所述图像获取装置(4)所摄取的图像并处理，并将处理结果发送到所述图像投影装置(5)进行投影。

6.根据权利要求4所述的显微镜，其特征在于，所述的图像处理装置(6)，还包括：显示装置(7)及人机交互设备。

7.根据权利要求6所述的显微镜，其特征在于，所述显示装置(7)与所述图像处理装置(6)及人机交互设备相互电连接，并且向所述图像处理装置(6)输出信息或者接收并显示所述图像处理装置(6)发送的信息。

8.根据权利要求1所述的显微镜，其特征在于，所述图像投影装置(5)、所述图像处理装置(6)和所述分光装置(1)工作波段在可见光波段。