CN103180769B - 显微镜、图像获取装置和图像获取*** - Google Patents
显微镜、图像获取装置和图像获取*** Download PDFInfo
- Publication number
- CN103180769B CN103180769B CN201180051439.1A CN201180051439A CN103180769B CN 103180769 B CN103180769 B CN 103180769B CN 201180051439 A CN201180051439 A CN 201180051439A CN 103180769 B CN103180769 B CN 103180769B
- Authority
- CN
- China
- Prior art keywords
- image
- imageing sensor
- light
- microscope
- travel mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
Abstract
显微镜1包括用于照明对象30的照明器件10、用于形成对象30的图像的光学***40、以及用于捕捉对象30的图像的成像器件50。成像器件50包括多个成像单元。每个成像单元包括图像传感器和用于移动该图像传感器的移动机构。
Description
技术领域
本发明涉及一种显微镜、图像获取装置和图像获取***。
背景技术
在病理学领域中,如下图像获取***吸引了关注,该图像获取***通过使用显微镜(数字显微镜)来捕捉载片(slide)的图像以获取数字图像(虚拟载片图像),并且在显示单元上以高分辨率显示数字图像。
要求显微镜迅速地以高分辨率捕捉载片的图像。为了满足这个要求,有必要一次以高分辨率捕捉载片上尽可能宽的区域的图像。PTL1讨论了利用宽视场、高分辨率的物镜并且将图像传感器组布置在物镜的视场中的显微镜。
PTL2讨论了如下显微镜,为了高效率地获取高分辨率数字图像,该显微镜作为初步测量以低分辨率捕捉载片的图像,然后以高分辨率仅针对载片上存在样本(生物样本)的存在区域捕捉载片的图像。PTL3讨论了如下显微镜,该显微镜在捕捉包括多个生物样本的载片的图像时改变物镜对于每个生物样本的焦点。
引文列表
专利文献
PTL1日本专利申请公开No.2009-003016
PTL2日本专利申请公开No.2007-310231
PTL3日本专利申请公开No.2007-233098
发明内容
技术问题
提高物镜的分辨率减小了物镜的焦深。通过胶合载玻片和盖玻片将样本密封在载玻片与盖玻片之间可改变样本和盖玻片的形状。如果样本变形并且它的表面起伏,则样本的一部分不能装入物镜的焦深中,从而使得不能获取几乎不模糊的优选图像。
问题的解决方案
本发明涉及一种显微镜,该显微镜即使在使用宽视场、高分辨率的物镜时也能够获取几乎不模糊的优选数字图像。
根据本发明的一方面,一种用于捕捉对象的图像的显微镜,包括:照明器件,被配置为照明对象;光学***,被配置为形成所述对象的图像;以及成像器件,用于捕捉所述对象的图像,其中,所述成像器件包括多个成像单元,以及其中,所述成像单元中的每一个包括图像传感器和用于移动所述图像传感器的移动机构。
【本发明的有益效果】
可提供一种能够获取几乎不模糊的优选数字图像的显微镜。
从以下参照附图对示例性实施例的详细描述,本发明的进一步的特征和方面将变得清楚。
附图说明
合并在本说明书中并构成本说明书的一部分的附图示出了本发明的优选实施例、特征和方面,并且与描述一起用于解释本发明的原理。
图1示出图像获取***100。
图2A是示出测试对象30的俯视图。
图2B是示出测试对象30的截面图。
图3示出物镜40。
图4A是示出成像器件50的俯视图。
图4B是示出成像器件50的截面图。
图5示出测量装置2。
图6示出测试对象30上的透射光T和反射光R。
图7示出测试对象30存在的存在区域E。
图8A是示出Shack-Hartmann波前传感器902的截面图(当入射光具有平面波前W时)。
图8B是示出Shack-Hartmann波前传感器902的截面图(当入射光具有畸变波前W时)。
图9A是示出检测器阵列922的俯视图(当入射光具有平面波前W时)。
图9B是示出检测器阵列922的俯视图(当入射光具有畸变波前W时)。
图10示出作为测量装置2的变型的测量装置2a。
图11是示出对焦(in-focus)曲面的示意图。
图12A示出样本302的图像的对焦曲线。
图12B是示出图像传感器组555的俯视图。
图13A示出样本302的图像的对焦曲线和图像传感器501a至501d的成像表面。
图13B是示出成像器件50的截面图。
图13C示出样本302的图像的对焦曲线和图像传感器501a至501d的成像表面。
图13D是示出成像器件50的截面图。
图14示出作为成像器件50的变型的成像器件50a。
图15是示出图像获取装置的操作的流程图。
图16A示出样本302的图像的对焦曲线和图像传感器501a至501d的成像表面。
图16B是示出成像器件50的截面图。
图16C是示出作为成像器件50的变型的成像器件50b的截面图。
具体实施方式
以下将参照附图来详细描述本发明的各种示例性实施例、特征和方面。
根据本发明的一方面的图像获取装置包括多个图像传感器和多个移动机构,并且被配置为使得每个移动机构移动每个图像传感器。
以下将具体描述每个移动机构移动每个图像传感器的配置。移动机构中的一个或多个(在下述情况下,通常为三个)与一个图像传感器连接。所述一个或多个移动机构改变一个图像传感器的位置和/或倾角。作为最典型的情况,一个或多个移动机构与所有图像传感器连接,使得能够独立地控制每个图像传感器的位置和/或倾角。
以下将参照附图来描述本发明的优选示例性实施例。在每个图中,相同的元件用相同的标号表示,并将省略重复解释。
图1示出图像获取***100。以下将参照图1描述根据本示例性实施例的图像获取***100。图像获取***100捕捉测试对象(载片)的图像并显示该图像。
图像获取***100包括显微镜(数字显微镜)1、测量装置2、控制装置3和显示装置4,显微镜1用于捕捉载片30的图像,测量装置2用于对载片30执行初步测量,控制装置3用于控制显微镜1和测量装置2以创建数字图像,显示装置4用于显示数字图像。图像获取***100首先经由测量装置2对载片30执行初步测量,然后经由显微镜1捕捉载片30的图像。显微镜1、测量装置2和控制装置3构成用于获取载片30的数字图像的图像获取装置。
以下将描述显微镜1。显微镜1包括照明器件10、物镜40、成像器件50、成像器件载物台(stage)60和载片载物台20,照明器件10用于照明载片30,物镜40用于形成载片30的图像,成像器件50用于捕捉载片30的图像,成像器件载物台60用于保持成像器件50,载片载物台20用于保持和移动载片30。
照明器件10包括光源单元和用于将来自光源单元的光引向载片30的光学***。光源单元可以是白光光源或者能够选择R、G和B波长光的光源。在本示例性实施例中,使用能够选择R、G和B光的发光二极管(LED)光源。
光学***包括准直器和Kohler照明***,准直器用于将来自光源单元的发散光准直为平行光,Kohler照明***用于引导该平行光并将Kohler照明施加于载片30。光学***可包括光学滤光器。照明器件10优选地被配置为使得对于载片30能够在普通照明与环形照明之间切换。
载片载物台20包括用于保持载片30的保持构件(未示出)、用于在X方向和Y方向上移动保持构件的XY载物台22、以及用于在Z方向上移动保持构件的Z载物台24。Z方向是物镜40的光轴方向。X方向和Y方向是垂直于光轴方向的方向。
XY载物台22和Z载物台24均设有开口,来自照明器件10的光通过该开口。载片载物台20可在显微镜1与测量装置2之间往复移动。
图2A是示出测试对象30的俯视图。图2B是示出测试对象30的截面图。如图2A和图2B所示,载片玻片(制备标本)30(测试对象的例子)包括盖玻片301、样本302和载玻片303。
放置在载玻片303上的样本302(生物样本,比如组织切片)用盖玻片301和粘合剂(未示出)密封。记录管理载片30(样本302)所需的信息(比如,载玻片303的标识号和盖玻片301的厚度)的标签(条形码)333可被粘贴到载玻片303上。尽管在本示例性实施例中载片30被示为经受图像获取的测试对象的例子,但是可使用其他对象作为测试对象。
图3示出物镜40。物镜40是用于以预定倍率放大载片30的图像并且在成像器件50的成像表面上形成图像的成像光学***。具体地讲,如图3所示,物镜40包括透镜和反射镜,并且被配置为使放置在物面A上的对象的图像聚焦到像面B上。
在本示例性实施例中,物镜40被设置为使得载片30与成像器件50的成像表面光学共轭。对象相当于载片30,像面B相当于成像器件50的成像表面。物镜40的物面侧的数值孔径NA优选为0.7或更大。物镜40优选被配置为使得载片的至少10mmx10mm方形区域可优选地被一次成像到像面上。
图4A是示出成像器件50的俯视图。如图4A所示,成像器件50包括图像传感器组555,图像传感器组555由(以矩阵形式)二维布置在物镜40的视场F内的多个图像传感器501组成。图像传感器501被配置为同时捕捉载片30的多个不同部分的图像。
图像传感器501可以是电荷耦合器件(CCD)传感器或金属氧化物半导体(CMOS)器件传感器。安装在成像器件50上的图像传感器501的数量根据物镜40的视场F的面积被适当地确定。图像传感器501的布置也根据物镜40的视场F的形状以及图像传感器501的形状和配置被适当地确定。
在本示例性实施例中,为了使解释更易于理解,图像传感器组555包括布置在X方向和Y方向上的5x4CMOS器件传感器。就一般的成像器件50而言,因为图像传感器501的成像表面周围的基板表面,所以没有间隙地布置图像传感器501是不可能的。所以,通过成像器件50的单次图像捕捉而获取的图像包括与图像传感器501之间的间隙对应的丢失部分。
因此,根据本示例性实施例的图像获取装置在移动载片载物台20(即,改变载片30与图像传感器组555之间的相对位置)以填充图像传感器501之间的间隙的同时多次捕捉图像,从而获取样本302的图像,所述图像没有丢失部分。以更高速度执行该操作使得能够在更短的图像捕捉时间内捕捉更宽区域的图像。
因为成像器件50被设置在成像器件载物台60上,所以可移动成像器件载物台60来代替移动载片载物台20,以改变载片30与图像传感器组555之间的相对位置。
成像器件50还包括由多个移动机构组成的移动单元。每个移动机构移动每个图像传感器501的成像表面。以下将参照图4B来具体描述图像传感器501。
图4B是沿着图4A的B-B线截取的截面图。如图4B所示,图像传感器501设有基板502、电路503、保持构件504、连接构件505和移动构件(汽缸)506,从而形成成像单元500。移动构件506被设置在顶板560上。连接构件505和移动构件506构成移动机构。图像传感器501设有三个连接构件505和三个移动构件506。(图4B示出三个连接构件505中的两个和三个移动构件506中的两个)。
连接构件505被固定到保持构件504,并且可以以与移动构件506的连接部分为中心旋转。所以,移动机构被配置为改变图像传感器501的成像表面的Z方向位置和倾角这二者。
成像器件载物台60可在X方向、Y方向和Z方向中的每个方向上移动,并且被配置为调整图像传感器组555的位置。成像器件载物台60可在X轴、Y轴和Z轴中的每个轴上旋转,并且被配置为调整图像传感器组555的倾角和旋转。
以下将描述测量装置2。如图1所示,测量装置2包括用于照明载片30的照明单元70、用于测量载片30的样本存在的区域(存在区域)的存在区域测量单元80、以及用于测量载片30的表面形状的表面形状测量单元90。
图5示出测量装置2。如图5所示,照明单元70包括光源701、聚光透镜702、针孔板703、准直透镜704、孔径710、偏振分束器705、四分之一波长板706和光圈711。来自光源701的光通过聚光透镜702会聚到针孔板703的针孔上。来自针孔的光(球面波)通过准直透镜704成形为平行光(平面波)。
平行光通过光圈710,被偏振分束器705反射,通过四分之一波长板706和光圈711,并入射到载片30。
光源可以是LED光源或半导体激光器器件。针孔板703被配置为发射可被认为是理想球面波的球面波。来自照明单元70的平行光被配置为至少照明盖玻片301的整个区域。
图6示出测量对象30上的透射光T和反射光R。如图6所示,入射到载片30的盖玻片301的入射光I(平面波)被分离为通过载片30的透射光T和被盖玻片301的表面反射的反射光R。
反射光R的波前W与盖玻片301的表面上的起伏对应地畸变。在本示例性实施例中,透射光T入射到存在区域测量单元80,反射光R通过光圈711和四分之一波长板706,通过偏振分束器705,并入射到表面形状测量单元90。
如图5所示,存在区域测量单元80包括滤光器801和照相机803。滤光器801是调整入射到照相机803的光量的ND滤光器。照相机803(例如,CCD照相机)被配置为捕捉盖玻片301的至少整个区域的图像。
使用激光器作为光源701可引起斑点。在这样的情况下,优选的是,将随机相位板802设置在透射光T的光路中并且通过使用移动机构(未示出)移动(例如,旋转)随机相位板802。
入射到照相机803的光中通过样本302的光量小于未通过样本302的光量。所以,可通过使用通过了盖玻片301、样本302和载玻片303的光与通过了盖玻片301和载玻片303的光之间的对比差异来获得载片30的样本302的存在区域。
例如,照相机803捕捉的图像信息被输入到控制装置3,并且控制装置3执行用于将具有等于或小于预定阈值L的亮度的区域辨识为样本302的存在区域的操作。
图7示出测试对象30存在的存在区域E。如图7所示,当将存在区域E定义为矩形区域时,可通过计算坐标值X1、X2、Y1和Y2来确定样本302存在的存在区域E。
如图5所示,表面形状测量单元90包括可变光学***901和波前传感器902,波前传感器902用于测量入射光的波前。可变光学***901被配置为使得载片30与波前传感器902光学共轭,并且被配置为改变成像倍率。
尽管在本示例性实施例中Shack-Hartmann波前传感器被用作波前传感器902,但是干涉仪(例如,剪切干涉仪)可代替Shack-Hartmann波前传感器被用于检测反射光R的波前。
能够一次检测盖玻片301的表面的波前传感器的使用使得能够快速且准确地测量盖玻片301的表面形状。
因为表面形状测量单元90通过使用来自盖玻片301的表面的反射光R来测量盖玻片301的表面形状,所以测量结果受样本302和载玻片303的影响程度比通过使用透射光T测量表面形状的情况下的影响程度小。所以,如图5所示那样设置的表面形状测量单元90使得能够更准确地测量盖玻片301的表面形状。
图8A和图8B示出Shack-Hartmann波前传感器902。如图8A和图8B所示,Shack-Hartmann波前传感器902包括透镜阵列912和检测器阵列922,透镜阵列912由多个二维布置的透镜组成,检测器阵列922由多个二维布置的检测器组成。
透镜阵列912的透镜分离入射光(反射光R)的波前,并将多段分离光会聚到检测器阵列922的各个检测器上。以下将参照图8A至图9B来描述通过使用Shack-Hartmann波前传感器902测量表面形状的方法。图9A和图9B是Shack-Hartmann波前传感器902的检测器阵列922的俯视图。白色圆圈指示每个检测器的中心,黑色圆圈指示每个检测器的会聚位置。
当入射光具有如图8A所示的平面波前W时,如图9A所示,每段分离光正好会聚到每个检测器的中心上(每个透镜的光轴上)。然而,当入射光具有如图8B所示的畸变波前W时,如图9B所示,根据每段分离光的倾角,入射光的会聚位置偏离每个检测器的中心。控制装置3基于会聚位置的偏移量的测量值来计算入射光的波前形状,并从计算的波前形状获得盖玻片301的表面形状。
在本示例性实施例中,透射光T被存在区域测量单元80使用,反射光R被表面形状测量单元90使用。然而,如图10所示,存在区域测量单元80和表面形状测量单元90的位置可交换。这意味着,反射光R被存在区域测量单元80使用,透射光T被表面形状测量单元90使用。
当由于盖玻片301的起伏表面形状而导致的波前起伏比由于样本302和载玻片303而导致的波前起伏大到一定程度时,这种配置是有效的。
因为穿透载片30的透射光T的光量通常大于被载片30反射的反射光R的光量,所以当波前传感器902具有低灵敏度时,这种配置是有效的。图10示出作为测量装置2的变型的测量装置2a。
就测量装置2和测量装置2a这二者而言,透射光T和反射光R中的一个被存在区域测量单元80使用,另一个被表面形状测量单元90使用,并且照明单元70在存在区域测量单元80与表面形状测量单元90之间共享。这使得能够缩小测量装置的大小,并且同时测量存在区域和表面形状,从而缩短测量时间。
以下将描述控制装置3。控制装置3包括计算机,该计算机包括中央处理单元(CPU)、存储器和硬盘。控制装置3控制显微镜1捕捉载片30的图像,并对显微镜1捕捉的载片30的图像的数据进行处理以创建数字图像。
具体地讲,控制装置3调整在X方向和Y方向上移动载片载物台20的同时捕捉的多个图像的位置,然后拼接这些图像以创建样本302的没有间隙的图像。
根据本示例性实施例的图像获取装置针对来自光源单元的R光、G光和B光中的每一个捕捉样本302的图像。所以,控制装置3组合这些图像的数据以创建样本302的彩色图像。
控制装置3控制显微镜1和测量装置2,以使得显微镜1基于测量装置2对载片30的初步测量的结果来捕捉载片30的图像。具体地讲,控制装置3基于通过使用测量装置2而获得的样本302的存在区域来确定将被显微镜1捕捉的成像区域,然后,显微镜1仅捕捉成像区域的图像。
这使得能够仅捕捉病理诊断所需的区域的图像。作为结果,可减少载片30的数字图像数据的量以使得更容易处理数字图像数据。通常,成像区域被确定为使得它变为等于存在区域。
控制装置3还基于通过使用测量装置2而获得的盖玻片301的表面形状和物镜40的倍率来计算样本302的图像的对焦平面(对焦曲面)。
图11是示出计算的对焦平面的示意图。当盖玻片301的表面起伏时,样本302的对焦平面也起伏而形成曲面。在这种情况下,如果在图像传感器组555的成像表面被布置在相同的单个平面上的状态下捕捉样本302的图像,则某成像表面与对焦平面(对焦位置)分离,并且不能装入物镜40的焦深中。
作为结果,样本302的投射到所述某成像表面上的图像部分变为未对焦,所以图像获取装置将获取具有模糊部分的数字图像。
就根据本示例性实施例的图像获取装置而言,基于测量装置2测量的表面形状,移动机构移动图像传感器组555中具有与对焦平面分离的成像表面的图像传感器,以使这些图像传感器的成像表面接近对焦平面。在本说明书中,“移动”意指改变位置和/或倾角。在上述状态下,根据本示例性实施例的图像获取装置获取样本302的图像以获取几乎不模糊的优选数字图像。
以下将参照图12A至图13D来具体描述图像传感器。图12A和图12B示出沿着Yi轴布置的图像传感器。图12A示出样本302的图像的对焦曲线。图12B是示出图像传感器组555的俯视图。
图13A至图13D示出用于移动图像传感器的方法。图13A示出样本302的图像的对焦曲线和图像传感器501a至501d的成像表面。图13B是示出成像器件50的截面图。图13C示出样本302的图像的对焦曲线和图像传感器501a至501d的成像表面。图13D是示出成像器件50的截面图。
如图12A所示,样本302的图像的对焦曲面在包括Yi轴和Zi轴的截面上形成曲线。如图12B所示,四个图像传感器501a至501d沿着Yi轴布置。当图像传感器组555的成像表面被布置在Yi轴上时,图像传感器501b的成像表面将与对焦曲线分离ΔZ。当ΔZ大并且成像表面超过焦深时,相关部分处的图像变为未对焦。
为了解决这个问题,如图13A和图13B所示,移动机构移动图像传感器501a至501d中的三个图像传感器501a、501b和501d,即,改变它们的位置和/或倾角以使得图像传感器501a至501d的成像表面几乎与对焦曲线一致。例如,图13B示出在Z方向位置和Z方向倾角这二者上改变图像传感器501a和501d、并且仅在Z方向位置上改变图像传感器501b的状态。
因为图像传感器501c的成像表面从初始状态装入焦深中,所以移动机构无需移动图像传感器501c。参照图13A,对焦曲线上的实线指示图像传感器501a至501d的成像表面(这也适用于图13C)。
以下将参照图16A至图16C来描述对焦曲面倾斜的情况。在本说明书中,对焦曲面倾斜的情况是指当对焦曲面逼近于平坦平面时该平坦平面不平行于包括X轴和Y轴的平面的情况。
首先,以下将描述对焦曲面在包括Yi轴和Zi轴的截面上的曲线不平行于Yi轴的情况。图16A对应于图13A。图16B对应于图13B。图16C是示出作为成像器件50的变型的成像器件50b的截面图。
图16A示出样本302的图像的对焦曲面倾斜倾角k的情况。在这种情况下,为了使图像传感器501a至501d的成像表面接近于对焦曲面,有必要如图16B所示那样通过长行程(stroke)移动图像传感器501a至501d。
然而,可能难以创建用于通过长行程移动图像传感器501a至501d的移动机构506a至506d。在这种情况下,如图16C所示,移动机构可被分成两组,即,第一移动机构组(移动机构506a至506d)和第二移动机构组(移动机构1600a和1600b)。第一移动机构组(移动机构506a至506d)可对应于对焦曲面的曲面成分,第二移动机构组(移动机构1600a和1600b)可对应于对焦曲面的倾角。
移动机构1600a由连接构件1605a和移动构件(汽缸)1606a组成,并且被设置在顶板1660上(这也适用于移动机构1600b)。第二移动机构组(移动机构1600a和1600b)移动图像传感器组(图像传感器501a至501d)和第一移动机构组(移动机构506a至506d)以调整它们的倾角。
当通过改变载片30的表面形状的倾角来使对焦曲面的倾角k最小时,载片载物台20的Z载物台24可被配置为不仅在Z方向上移动而且还在θx方向和θy方向上移动,并且代替第二移动机构组,可通过Z载物台24来改变载片30的倾角。代替载片载物台20,可通过成像器件载物台60来改变成像器件50的倾角。
以下将考虑倾角k的定义。尽管在图16A中通过截面图来考虑倾角k,但是因为图像传感器501是二维布置的,所以有必要在两个方向(X方向和Y方向)上考虑最佳倾角。
因此,有必要在图像传感器501a至501d相对于以图12B中的图像传感器组555的中心为中心的X轴和Y轴倾斜的假定下计算图像传感器501a至501d的倾角。
所以,通过使用最小二乘法将每个图像传感器的Z方向位置拟合到线性函数以获得倾角k,并且与倾角k的差异可被辨识为曲面。在计算了倾角k和曲面之后,优选的是将来自控制装置3的移动指令值发送到图16C中的第一移动机构组(移动机构506a至506d)和第二移动机构组(移动机构1600a和1600b)。
通过类似地将上述成像表面移动控制应用于图像传感器组555的其他16个图像传感器,图像传感器组555的所有成像表面变为几乎与样本302的图像的对焦曲线一致,并且图像传感器组555的所有成像表面都能装入焦深中。通过在这种状态下捕捉样本302的图像,根据本示例性实施例的图像获取装置可获取没有模糊的优选对焦数字图像。
当在X方向和Y方向上移动载片载物台20(或者成像器件载物台60)并且再次捕捉样本302的图像以填充图像传感器501之间的间隙时,图像传感器501a至501d的成像表面将由于载片载物台20的移动而与对焦曲线分离。
如图13C和图13D所示,移动机构根据载片载物台20(或者成像器件载物台60)在X方向和Y方向上的移动而再次移动图像传感器501,以使得图像传感器501的成像表面接近于样本302的图像的对焦平面。
当焦深没那么浅时,移动机构无需被配置为改变图像传感器501的位置和倾角这二者,而是如图14所示,可被配置为仅改变图像传感器501的位置。图14示出作为成像器件50的变型的成像器件50a。因为如上所述成像区域是预定的,所以优选的是仅移动图像传感器组555中存在于成像区域内的图像传感器。
显示装置4(例如,LCD显示器)用于显示操作图像获取装置100所需的操作画面,或者显示由控制装置3创建的样本302的数字图像。
以下将参照图15所示的流程图来描述根据本示例性实施例的图像获取装置100的处理。
在步骤S10中,从载片盒取出载片30,然后将载片30放置在载片载物台20上。然后,保持载片30的载片载物台20移动到测量装置2。在步骤S20中,测量装置2同时测量载片30上的样本302存在的存在区域(成像区域)和载片30的表面形状。测量结果被存储在控制装置3的存储单元中。在步骤S30中,载片载物台20从测量装置2移动到显微镜1。
图像获取装置100基于存储在控制装置3的存储单元中的表面形状和物镜40的倍率来计算样本302的对焦曲面。在步骤S40中,成像器件50的移动机构移动图像传感器501的成像表面,以使得图像传感器501的成像表面变为与所计算的对焦曲面一致。
尽管图15示出载片载物台20在步骤S30中移动并且移动机构在步骤S40中移动图像传感器501,但是步骤S30和S40中的处理可同时或者按相反次序执行。
在步骤S50至S70中,在图像传感器501的成像表面与对焦曲面一致的状态下,图像传感器组555获取样本302的图像。具体地讲,在步骤S50中,在载片30被来自照明器件10的R(红色)光照明时,图像传感器组555获取样本302的R(红色)图像。
在步骤S60中,图像获取装置100选择G(绿色)光作为将从照明器件10发射的光,并且在载片30被G光照明时,图像传感器组555获取样本302的G(绿色)图像。在步骤S70中,图像获取装置100选择B(蓝色)光作为将从照明器件10发射的光,并且在载片30被B光照明时,图像传感器组555获取样本302的B(蓝色)图像。
因为物镜40的色差的影响或者盖玻片301的形状或厚度的影响,样本302的由R光、G光和B光导致的对焦曲面可能彼此不同。在这种情况下,可预先基于存储在控制装置3的存储单元中的表面形状来计算样本302的由R光、G光和B光导致的对焦曲面。
如果图像传感器501的成像表面不能装入焦深中,则可能优选的是,在获取G图像之前和/或在获取B图像之前,通过使用各个移动机构来改变图像传感器501的位置或姿势,以使得成像表面接近于对焦曲面并装入焦深中。在这种情况下,可通过使用成像器件载物台60来改变图像传感器501的位置或姿势。
在步骤S80中,确定对于成像区域的所有部分是否完成图像捕捉。当样本302在以矩阵形式布置的图像传感器501之间的间隙处的图像还未被获取(即,图像捕捉对于成像区域的所有部分未完成(在步骤S80中为否))时,那么,在步骤S90中,图像获取装置100在X方向和Y方向上移动载片载物台20,以改变载片30与成像器件50之间的相对位置。然后,所述处理返回到步骤S40。在步骤S40中,移动机构再次移动图像传感器501的成像表面。在步骤S50至S70中,图像传感器组555再次获取载片30的R图像、G图像和B图像,从而获取样本302在图像传感器501之间的间隙处的图像。另一方面,如果对于成像区域的所有部分完成图像捕捉(在步骤S80中为是),则所述处理结束。
尽管在本示例性实施例中图像获取装置100通过移动载片载物台20来改变载片30与成像器件50之间的相对位置,但是可移动成像器件载物台60来代替载片载物台20,或者可移动载片载物台20和成像器件载物台60这二者。当图像获取装置100多次(例如,三次)重复在X方向和Y方向上移动载片载物台20的步骤S90、移动图像传感器501的成像表面的步骤S40以及获取R图像、G图像和B图像的步骤S50至S70时,对于成像区域的所有部分完成图像捕捉。
根据本示例性实施例的图像获取***100通过使用测量装置2对载片30的表面形状执行初步测量,然后基于测量结果通过使用显微镜1来捕捉载片30的图像,从而获取并显示几乎不模糊的优选数字图像。
尽管已具体描述了本发明的优选示例性实施例,但是本发明不限于此,并且在所附权利要求的范围内,可以以不同方式修改本发明。
例如,尽管在上述示例性实施例中每个图像传感器设有一个或多个移动机构,但是移动机构的配置不限于此。每两个或更多个图像传感器501可设有一个或更多个移动机构,并且可对每两个或更多个图像传感器501调整位置和/或倾角。
尽管在上述示例性实施例中每个图像传感器设有一个或多个移动机构,但是当物镜40的焦深没那么浅时,或者当盖玻片301不大程度地起伏时,每个图像传感器不需要设有一个或多个移动机构。在这种情况下,优选的是通过使用成像器件载物台60一次调整图像传感器组555的Z方向位置或倾角,并且还优选的是在物镜40的光路中提供用于改变像差的光学元件并且移动该光学元件。
图像获取装置100基于测量装置2测量的存在区域和表面形状通过使用显微镜1来捕捉载片300的图像。然而,当存在区域和表面形状已知时,图像获取装置100不需要设有测量装置2。
例如,关于存在区域和表面形状的信息可被优选地记录在载片30上的标签333上。在这种情况下,在显微镜1上提供用于读取标签333的装置并基于所读取的信息通过使用显微镜1来捕捉载片300的图像使得能够仅用显微镜1获取几乎不模糊的优选数字图像。
尽管在上述示例性实施例中使用由多个二维布置的图像传感器组成的图像传感器组555,但是图像传感器组555的配置不限于此。图像传感器组555可由多个一维或三维布置的图像传感器组成。尽管在上述示例性实施例中使用二维图像传感器,但是图像传感器的类型不限于此。可使用一维图像传感器(线传感器)。
尽管在上述示例性实施例中多个图像传感器被布置在相同的单个基板(顶板)上,但是图像传感器的布置不限于此。多个图像传感器可被布置在多个基板上,只要载片300的多个不同部分的图像可被同时捕捉即可。
本说明书或附图中描述的技术要素可单独地或者组合地表现出技术实用性,并且组合不限于如提交的权利要求中描述的那些组合。本说明书或附图中所示的技术可同时实现多个目的,并且仅实现这些目的中的一个目的具有技术实用性。
尽管已参照示例性实施例描述了本发明,但是要理解本发明不限于所公开的示例性实施例。以下权利要求的范围应遵循最宽泛的解释以便包含所有的修改方式、等同结构和功能。
本申请要求于2010年10月29日提交的日本专利申请No.2010-243802、于2010年10月29日提交的日本专利申请No.2010-243803和于2011年9月1日提交的日本专利申请No.2011-190375的优先权,这些申请的全部内容通过引用合并于此。
Claims (11)
1.一种用于捕捉对象的图像的显微镜,包括:
照明器件,被配置为照明所述对象;
光学***,被配置为形成所述对象的图像;以及
多个成像单元,用于经由所述光学***捕捉所述对象的多个不同部分的图像,
其中,所述多个成像单元中的每一个包括图像传感器和移动机构,所述移动机构用于移动所述图像传感器,以使得所述图像传感器的成像表面接近于所述对象的图像的对焦曲面。
2.根据权利要求1所述的显微镜,其中,所述移动机构根据所述对象的表面形状来移动所述图像传感器。
3.根据权利要求1所述的显微镜,还包括:
载物台,被配置为保持和移动所述对象,
其中,所述移动机构根据所述载物台在垂直于所述光学***的光轴的方向上的移动来移动所述图像传感器。
4.根据权利要求1所述的显微镜,还包括:用于移动所述多个成像单元的移动机构组。
5.根据权利要求4所述的显微镜,其中,所述移动机构组根据所述对象的图像的对焦曲面的倾角来移动所述多个成像单元。
6.根据权利要求1所述的显微镜,还包括:
载物台,被配置为保持和移动所述对象,
其中,所述载物台根据所述对象的图像的对焦曲面的倾角来移动所述对象。
7.一种用于获取对象的图像的图像获取装置,所述图像获取装置包括:
根据权利要求1至6中的任何一个所述的显微镜;以及
测量装置,用于测量所述对象的表面形状,
其中,所述显微镜的移动机构根据所述测量装置测量的表面形状来移动图像传感器。
8.根据权利要求7所述的图像获取装置,其中,所述测量装置测量所述对象的样本存在的存在区域,以及
其中,所述显微镜根据所述测量装置测量的表面形状和存在区域来移动图像传感器以捕捉所述存在区域的图像。
9.根据权利要求8所述的图像获取装置,其中,所述测量装置包括表面形状测量单元和存在区域测量单元,所述表面形状测量单元用于通过使用被所述对象反射的光来测量所述表面形状,所述存在区域测量单元用于通过使用通过所述对象的光来测量所述存在区域。
10.根据权利要求8所述的图像获取装置,其中,所述测量装置包括:
照明单元,用于用光照明所述对象;
表面形状测量单元,用于通过使用穿透所述对象的光和被所述对象反射的光中的一个来测量所述表面形状;以及
存在区域测量单元,用于通过使用穿透所述对象的光和被所述对象反射的光中的另一个来测量所述存在区域。
11.一种图像获取***,包括:
根据权利要求7所述的图像获取装置;以及
显示装置,被配置为显示由所述图像获取装置获取的对象的图像。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010243802 | 2010-10-29 | ||
JP2010-243802 | 2010-10-29 | ||
JP2010-243803 | 2010-10-29 | ||
JP2010243803A JP2012098351A (ja) | 2010-10-29 | 2010-10-29 | 画像取得装置および画像取得システム |
JP2011190375A JP6071177B2 (ja) | 2010-10-29 | 2011-09-01 | 顕微鏡、画像取得装置及び画像取得システム |
JP2011-190375 | 2011-09-01 | ||
PCT/JP2011/073774 WO2012056920A1 (en) | 2010-10-29 | 2011-10-11 | Microscope, image acquisition apparatus, and image acquisition system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103180769A CN103180769A (zh) | 2013-06-26 |
CN103180769B true CN103180769B (zh) | 2016-02-24 |
Family
ID=48639387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180051439.1A Expired - Fee Related CN103180769B (zh) | 2010-10-29 | 2011-10-11 | 显微镜、图像获取装置和图像获取*** |
Country Status (7)
Country | Link |
---|---|
US (1) | US20130169788A1 (zh) |
EP (1) | EP2633358A1 (zh) |
KR (1) | KR20130083453A (zh) |
CN (1) | CN103180769B (zh) |
BR (1) | BR112013009408A2 (zh) |
RU (1) | RU2540453C2 (zh) |
WO (1) | WO2012056920A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6394960B2 (ja) * | 2014-04-25 | 2018-09-26 | パナソニックIpマネジメント株式会社 | 画像形成装置および画像形成方法 |
US10867443B2 (en) | 2015-07-16 | 2020-12-15 | Koninklijke Philips N.V. | Information transformation in digital pathology |
JP6522533B2 (ja) * | 2016-02-26 | 2019-05-29 | 富士フイルム株式会社 | 顕微鏡および観察方法 |
JP6698421B2 (ja) * | 2016-05-17 | 2020-05-27 | 富士フイルム株式会社 | 観察装置および方法並びに観察装置制御プログラム |
JP6619315B2 (ja) * | 2016-09-28 | 2019-12-11 | 富士フイルム株式会社 | 観察装置および方法並びに観察装置制御プログラム |
JP6667411B2 (ja) * | 2016-09-30 | 2020-03-18 | 富士フイルム株式会社 | 観察装置および方法並びに観察装置制御プログラム |
NL2020618B1 (en) * | 2018-01-12 | 2019-07-18 | Illumina Inc | Real time controller switching |
CN116387221A (zh) * | 2021-12-22 | 2023-07-04 | 拓荆键科(海宁)半导体设备有限公司 | 用于晶圆键合对准的装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101256113A (zh) * | 2007-02-26 | 2008-09-03 | 大塚电子株式会社 | 显微测量装置 |
CN201540400U (zh) * | 2009-11-19 | 2010-08-04 | 福州福特科光电有限公司 | 光纤熔接机的显微成像光路的调节结构 |
CN201555809U (zh) * | 2009-11-19 | 2010-08-18 | 西北工业大学 | 一种无损检测非平面物品表面的装置 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100525521B1 (ko) * | 1996-10-21 | 2006-01-27 | 가부시키가이샤 니콘 | 노광장치및노광방법 |
US6947587B1 (en) * | 1998-04-21 | 2005-09-20 | Hitachi, Ltd. | Defect inspection method and apparatus |
GB9813041D0 (en) * | 1998-06-16 | 1998-08-12 | Scient Generics Ltd | Eye tracking technique |
JP4206192B2 (ja) * | 2000-11-09 | 2009-01-07 | 株式会社日立製作所 | パターン検査方法及び装置 |
US7518652B2 (en) * | 2000-05-03 | 2009-04-14 | Aperio Technologies, Inc. | Method and apparatus for pre-focus in a linear array based slide scanner |
US6711283B1 (en) * | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
US6268957B1 (en) * | 2000-09-25 | 2001-07-31 | Rex A. Hoover | Computer controlled stereo microscopy |
GB2373945A (en) * | 2001-03-29 | 2002-10-02 | Isis Innovation | Stereo microscopy |
GB2383487B (en) * | 2001-12-18 | 2006-09-27 | Fairfield Imaging Ltd | Method and apparatus for acquiring digital microscope images |
US20110015518A1 (en) * | 2002-06-13 | 2011-01-20 | Martin Schmidt | Method and instrument for surgical navigation |
US7456377B2 (en) * | 2004-08-31 | 2008-11-25 | Carl Zeiss Microimaging Ais, Inc. | System and method for creating magnified images of a microscope slide |
US8164622B2 (en) * | 2005-07-01 | 2012-04-24 | Aperio Technologies, Inc. | System and method for single optical axis multi-detector microscope slide scanner |
EP1785714B1 (en) * | 2005-11-15 | 2017-02-22 | Olympus Corporation | Lens evaluation device |
JP4917331B2 (ja) | 2006-03-01 | 2012-04-18 | 浜松ホトニクス株式会社 | 画像取得装置、画像取得方法、及び画像取得プログラム |
JP4890096B2 (ja) * | 2006-05-19 | 2012-03-07 | 浜松ホトニクス株式会社 | 画像取得装置、画像取得方法、及び画像取得プログラム |
JP4891057B2 (ja) * | 2006-12-27 | 2012-03-07 | オリンパス株式会社 | 共焦点レーザー走査型顕微鏡 |
US8059336B2 (en) * | 2007-05-04 | 2011-11-15 | Aperio Technologies, Inc. | Rapid microscope scanner for volume image acquisition |
JP2009003016A (ja) | 2007-06-19 | 2009-01-08 | Nikon Corp | 顕微鏡、画像取得システム |
WO2009029810A1 (en) * | 2007-08-31 | 2009-03-05 | Historx, Inc. | Automatic exposure time selection for imaging tissue |
US8712116B2 (en) * | 2007-10-17 | 2014-04-29 | Ffei Limited | Image generation based on a plurality of overlapped swathes |
US7784946B2 (en) * | 2007-12-21 | 2010-08-31 | Alcon Refractivehorizons, Inc. | Virtual microscope system for monitoring the progress of corneal ablative surgery and associated methods |
US20090309022A1 (en) * | 2008-06-12 | 2009-12-17 | Hitachi High-Technologies Corporation | Apparatus for inspecting a substrate, a method of inspecting a substrate, a scanning electron microscope, and a method of producing an image using a scanning electron microscope |
US8455825B1 (en) * | 2008-08-28 | 2013-06-04 | Brian W. Cranton | Opto-mechanical infrared thermal viewer device |
CN102301268B (zh) * | 2009-01-29 | 2014-08-06 | 株式会社尼康 | 成像光学***、具有该成像光学***的显微镜装置及实体显微镜装置 |
JP2010243802A (ja) | 2009-04-07 | 2010-10-28 | Seiko Epson Corp | 液滴吐出装置とその製造方法及びカラーフィルター製造方法 |
JP2010243803A (ja) | 2009-04-07 | 2010-10-28 | Seiko Epson Corp | ルーバーフィルム及びその製造方法 |
DE102009037841B4 (de) * | 2009-08-18 | 2020-01-23 | Carl Zeiss Meditec Ag | Optisches System mit Wellenfrontanalysesystem und Baugruppe mit Wellenfrontanalysesystem für ein Mikroskop mit Mikroskopchassis |
KR101423897B1 (ko) * | 2009-10-19 | 2014-07-28 | 벤타나 메디컬 시스템즈, 인코포레이티드 | 슬라이드 스캐닝을 위한 디바이스 및 방법 |
JP5653056B2 (ja) | 2010-03-16 | 2015-01-14 | 株式会社Ihiインフラシステム | 接着方法 |
US9479759B2 (en) * | 2010-03-29 | 2016-10-25 | Forstgarten International Holding Gmbh | Optical stereo device and autofocus method therefor |
US8396269B2 (en) * | 2010-04-08 | 2013-03-12 | Digital Pathco LLC | Image quality assessment including comparison of overlapped margins |
-
2011
- 2011-10-11 BR BR112013009408A patent/BR112013009408A2/pt not_active IP Right Cessation
- 2011-10-11 WO PCT/JP2011/073774 patent/WO2012056920A1/en active Application Filing
- 2011-10-11 RU RU2013124820/28A patent/RU2540453C2/ru not_active IP Right Cessation
- 2011-10-11 CN CN201180051439.1A patent/CN103180769B/zh not_active Expired - Fee Related
- 2011-10-11 US US13/823,062 patent/US20130169788A1/en not_active Abandoned
- 2011-10-11 KR KR1020137012934A patent/KR20130083453A/ko not_active Application Discontinuation
- 2011-10-11 EP EP11779865.2A patent/EP2633358A1/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101256113A (zh) * | 2007-02-26 | 2008-09-03 | 大塚电子株式会社 | 显微测量装置 |
CN201540400U (zh) * | 2009-11-19 | 2010-08-04 | 福州福特科光电有限公司 | 光纤熔接机的显微成像光路的调节结构 |
CN201555809U (zh) * | 2009-11-19 | 2010-08-18 | 西北工业大学 | 一种无损检测非平面物品表面的装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2633358A1 (en) | 2013-09-04 |
CN103180769A (zh) | 2013-06-26 |
RU2540453C2 (ru) | 2015-02-10 |
BR112013009408A2 (pt) | 2017-10-31 |
KR20130083453A (ko) | 2013-07-22 |
US20130169788A1 (en) | 2013-07-04 |
WO2012056920A1 (en) | 2012-05-03 |
RU2013124820A (ru) | 2014-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103180769B (zh) | 显微镜、图像获取装置和图像获取*** | |
TW498152B (en) | Confocal microscope | |
KR101600094B1 (ko) | 유리 시트 검사 시스템 | |
CN107526156B (zh) | 光片显微镜以及用于运行光片显微镜的方法 | |
KR101150755B1 (ko) | 영상촬영장치 | |
US9360665B2 (en) | Confocal optical scanner | |
JP3610569B2 (ja) | 能動共焦点撮像装置とそれを用いた三次元計測方法 | |
US9829441B2 (en) | Wafer image inspection apparatus | |
TW201126624A (en) | System and method for inspecting a wafer (2) | |
CN103782155A (zh) | 具有多个传感器区域的光学生物传感器 | |
CN101467087A (zh) | 对无限远校正显微镜进行自动聚焦的方法和装置 | |
US20140160267A1 (en) | Image Pickup Apparatus | |
CN102349017B (zh) | 焦点信息生成设备和焦点信息生成方法 | |
JP6071177B2 (ja) | 顕微鏡、画像取得装置及び画像取得システム | |
TWI699842B (zh) | 使用用於半導體檢查及度量之差分偵測技術而改善高度感測器之橫向解析度之方法 | |
JP2015108582A (ja) | 3次元計測方法と装置 | |
JP2007010447A (ja) | 寸法測定装置 | |
CN109470145A (zh) | 偏振调制高分辨力立体视觉测量***与方法 | |
JP2012098351A (ja) | 画像取得装置および画像取得システム | |
NL2028376B1 (en) | Method of and arrangement for verifying an alignment of an infinity-corrected objective. | |
JP2003279311A (ja) | 光学式高さ測定装置及び方法 | |
RU59828U1 (ru) | Прибор для измерения оптических свойств и картографирования оптических объектов (варианты) | |
JP2021043038A (ja) | 偏心測定装置及び偏心測定方法 | |
JP2004138828A (ja) | テレセントリック光学系およびそれを用いた検査装置 | |
JP2013130687A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160224 Termination date: 20161011 |