CN103765277B - 使用误差信号的聚焦和成像***以及技术 - Google Patents

使用误差信号的聚焦和成像***以及技术 Download PDF

Info

Publication number
CN103765277B
CN103765277B CN201280043657.5A CN201280043657A CN103765277B CN 103765277 B CN103765277 B CN 103765277B CN 201280043657 A CN201280043657 A CN 201280043657A CN 103765277 B CN103765277 B CN 103765277B
Authority
CN
China
Prior art keywords
error signal
focus
lens
shake
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280043657.5A
Other languages
English (en)
Other versions
CN103765277A (zh
Inventor
G.C.洛尼
G.施塔尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ventana Medical Systems Inc
Original Assignee
Ventana Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ventana Medical Systems Inc filed Critical Ventana Medical Systems Inc
Publication of CN103765277A publication Critical patent/CN103765277A/zh
Application granted granted Critical
Publication of CN103765277B publication Critical patent/CN103765277B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

用于光学扫描显微镜和/或其它适当成像***的***和技术包括用于扫描并收集设置在载片上的组织样品和/或其它对象的聚焦图像的部件。本文描述的调焦***提供了在捕获快照时确定用于每个快照的最佳聚焦,可以将其称为“动态即时聚焦”。可以使用根据抖动聚焦透镜的移动生成的误差函数来确定最佳聚焦。本文提供的装置和技术导致形成病理载片中的区域的数字图像所需的时间的显著减少并以高吞吐量提供样本的高质量数字图像的创建。

Description

使用误差信号的聚焦和成像***以及技术
技术领域
本申请涉及成像领域,并且更特别地,涉及用于获得和捕获图像的***和技术。
背景技术
指示疾病的细胞结构中的变化的分子成像识别仍然是在医学科学中更好地理解的关键。显微术应用适用于微生物学(例如,革兰氏染色法等)、植物组织培养、动物细胞培养(例如,相衬显微术等)、分子生物学、免疫学(例如,ELISA等)、细胞生物学(例如,免疫荧光,染色体分析等)、共焦显微术、时移和活细胞成像,逐幅及三维成像。
在共焦显微术中已经具有了进展,其已经解开了在细胞内发生的许多秘密,并且可以使用荧光标记检测转录和翻译水平变化。共焦方法的优点起因于通过样本依次以高分辨率对单独的光学切面成像的能力。然而,仍然存在对用于病理组织的图像的数字处理的***和方法的需要,其以相对低的成本提供病理组织的精确分析。
数字病理学中的一个理想目标是获得用于在短的时间段中进行观察的高分辨率数字图像。病理学家籍以通过显微镜的目镜观察载片的当前手动方法允许在检查细胞特性或被感染细胞对比未被感染细胞的计数时进行诊断。理想的是籍以收集数字图像、在高分辨率监视器上观察数字图像并且可以将数字图像共享并存档以用于稍后使用的自动化方法。有利的是以高吞吐量并用高分辨率和高质量图像来高效地完成数字化处理。
在常规的虚拟显微术***中,成像技术能产生在大部分图像上可能明显散焦的单独图像。针对由照相机拍到的每个单独的快照,常规的成像***被限制于单一焦距,因此,当正被扫描的主题样本不具有均匀表面时,这些“视场”中的每一个具有散焦的区域。在虚拟显微术中采用的高放大水平下,具有均匀表面的样本极为稀少。
常规***使用基于两步处理的预聚焦技术来应对高比例的散焦图像,该两步骤处理包括:(1)在第一通过中确定布置在二维网格上的由n个图像帧分离的点阵列处的最佳焦点,所述二维网格被放置在组织切片的顶部上;以及(2)在另一通过中,移动到每个聚焦点并且获取图像帧。对于这些最佳聚焦点之间的点,内插焦点。虽然该两步骤处理可以减少或者甚至消除散焦图像,但是处理导致在获取倾斜图像的速度方面的明显损失。
因此,提供克服常规成像***中固有的明显问题并以高吞吐量高效地提供聚焦的高质量图像将是理想的。
发明内容
根据本文描述的***,一种用于获得样本的聚焦图像的装置包括被设置成用于样本检查的物镜。缓慢聚焦台可以被耦合至物镜,其中缓慢聚焦台控制物镜的移动。包括抖动透镜的抖动聚焦台和抖动聚焦台可以使抖动透镜移动。聚焦传感器可以根据经由抖动透镜传输的光提供聚焦信息。至少一个电部件可以使用聚焦信息来确定度量并根据度量确定物镜的第一聚焦位置。至少一个电部件可以包括误差信号部件,其处理基于度量生成的误差信号信息以确定第一聚焦位置。至少一个电部件可以将位置信息发送到缓慢聚焦台以用于使物镜移动到第一聚焦位置。图像传感器可以在物镜移动到第一聚焦位置之后捕获样本的图像。可以根据误差信号函数确定误差信号信息,该误差信号函数使用基于根据抖动透镜的运动的度量生成的波形的点。误差信号函数可以是对比误差信号函数,并且第一聚焦位置可以被确定为在对比误差信号函数为零处。可以基于针对在其中抖动透镜的运动处于中心的锐度响应曲线上的至少一个位置中的每一个计算的锐度波形的至少三个点来确定对比误差信号函数。对比误差信号(CES)可以由等式CES=(a-c)/b表示,其中a为锐度波形的谷值,b为锐度波形的峰值,并且c为锐度波形的后续的谷值。可以提供XY移动台,在XY移动台上设置样本,并且至少一个电部件可以控制XY移动台的移动并且/或者XY移动台可以与抖动透镜的运动相位锁定。抖动聚焦台可以包括在平移运动中使抖动透镜移动的音圈致动的挠曲组件。抖动透镜可以以至少60Hz的谐振频率移动,并且其中至少一个电部件使用聚焦信息以每秒执行至少60次聚焦计算。聚焦传感器和抖动聚焦台可以被设置为双向地操作并且聚焦传感器可以在谐振频率下的抖动透镜的运动的正弦波形的向上和向下部分的两者上产生聚焦信息。度量可以包括下述中的至少一个:对比度信息、锐度信息和色度信息。
进一步根据本文描述的***,提供了一种用于获得样本的聚焦图像的方法。该方法可以包括控制被设置成用于样本检查的物镜的移动。可以控制抖动透镜的运动。可以根据经由抖动透镜传输的光来提供聚焦信息。聚焦信息可以被用来确定度量并且根据度量确定物镜的第一聚焦位置。确定第一聚焦位置可以包括处理基于度量生成的误差信号信息。可以发送被用来使物镜移动到第一聚焦位置的位置信息。可以根据使用基于根据抖动透镜的运动的度量生成的波形的点的误差信号函数来确定误差信号信息。误差信号函数可以是对比误差信号函数,并且第一聚焦位置可以被确定为在对比误差信号函数为零处。可以基于针对在其中抖动透镜的运动处于中心的锐度响应曲线上的至少一个位置中的每一个计算的锐度波形的至少三个点来确定对比误差信号函数。对比误差信号(CES)可以由等式CES=(a-c)/b表示,其中a为锐度波形的谷值,b为锐度波形的峰值,并且c为锐度波形的后续的谷值。第一聚焦位置可以被确定为最佳聚焦位置,并且该方法可以进一步包括在物镜被移动到最佳聚焦位置之后捕获样本的图像。抖动透镜可以以至少60Hz的谐振频率移动,并且每秒可以执行至少60次聚焦计算。度量可以包括下述中的至少一个:包括锐度信息、对比度信息和色度信息。
进一步根据本文描述的***,一种非暂态计算机可读介质存储用于获得样本的聚焦图像的软件。软件可以包括控制被设置成用于样本检查的物镜的移动的可执行代码。可以提供控制抖动透镜的运动的可执行代码。可以提供根据经由抖动透镜传输的光来提供聚焦信息的可执行代码。可以提供使用聚焦信息以确定度量并根据度量确定物镜的第一聚焦位置的可执行代码。确定第一聚焦位置可以包括处理基于度量生成的误差信号信息。可以提供发送被用来使物镜移动到第一聚焦位置的位置信息的可执行代码。可以根据误差信号函数确定误差信号信息,该误差信号函数使用基于根据抖动透镜的运动的度量生成的波形的点。误差信号函数可以是对比误差信号函数,并且第一聚焦位置可以被确定为在对比误差信号函数为零处。可以基于针对在其中抖动透镜的运动处于中心的锐度响应曲线上的至少一个位置中的每一个计算的锐度波形的至少三个点来确定对比误差信号函数。对比误差信号(CES)可以由等式CES=(a-c)/b表示,其中a为锐度波形的谷值,b为锐度波形的峰值,并且c为锐度波形的后续的谷值。
附图说明
本文将在此基于如下面简要描述的附图的图更详细地解释描述的***的实施例。
图1是根据本文描述的***的各种实施例的扫描显微镜和/或其它扫描装置的成像***的示意图,该扫描显微镜和/或其它扫描装置可以包括与数字病理学样品扫描和成像结合地使用的各种部件装置。
图2是示出根据本文描述的***的实施例的包括聚焦***的成像装置的示意图。
图3A和3B是示出控制***可以包括适当的电子器件的控制***的实施例的示意图。
图4是根据本文描述的***的实施例更详细地示出抖动聚焦台的示意图。
图5A-5E是示出根据本文描述的***的聚焦操作的迭代的示意图。
图6A是示出根据本文描述的***的实施例的抖动聚焦光学器件的命令波形和锐度确定的绘图的示意图。
图6B是示出用于抖动透镜的正弦波运动的一部分的所计算的锐度(Zs)值的绘图的示意图。
图7A和7B是示出根据本文描述的***的实施例的样本(组织)的聚焦确定和调整的示意图。
图8是示出根据本文描述的***的实施例的具有与聚焦处理和成像相关的图像帧和聚焦帧的照相机窗口的示意图。
图9是示出根据本文描述的***的实施例的包括用于在由抖动聚焦光学器件采样的多个点处的每个锐度响应的锐度曲线和对比误差信号的锐度轮廓(profile)的示例的示意图。
图10示出说明产生控制缓慢聚焦台的控制信号的对比度函数的使用的功能性控制环框图。
图11是示出根据本文描述的***的实施例的被拆分成与聚焦处理和成像相关的各区的聚焦帧的示意图。
图12A和12B示出用于根据本文的技术的实施例的可在各时间点处获得的不同锐度值的图形说明。
图13是示出根据本文描述的***的实施例的在被检查的样本的扫描期间的动态即时(on-the-fly)聚焦处理的流程图。
图14是示出根据本文描述的***的实施例的在缓慢聚焦台处进行处理的流程图。
图15是示出根据本文描述的***的实施例的图像捕获处理的流程图。
图16是示出根据本文描述的***的实施例的用于聚焦处理的替代布置的示意图。
图17是示出根据本文描述的***的另一实施例的用于聚焦处理的替代布置的示意图。
图18是示出根据本文描述的***的实施例的用以获取载片上的组织的马赛克图像的处理的流程图。
图19是示出可以与本文描述的***的实施例相关地使用的XY台的精密台(例如,Y台部分)的实施方式的示意图。
图20A和20B是可以与本文描述的***的实施例相关地使用的精密台的移动台块的更详细的视图。
图21示出根据本文讨论的精密台特征的并且包括Y台、X台和底板的整个XY复合台的实施方式,其可以与本文描述的***的实施例相关地使用。
图22是示出使用发光二极管(LED)照明组件来对载片进行照明的照明***的示意图,其可以与本文描述的***的实施例相关地使用。
图23是示出用于LED照明组件的实施例的更详细视图的示意图,其可以与本文描述的***相关地使用。
图24是示出LED照明组件的特定实施方式的***视图的示意图,其可以与本文描述的***的实施例相关地使用。
具体实施方式
图1是根据本文描述的***的各种实施例的扫描显微镜和/或其它扫描装置的成像***5的示意图,扫描显微镜和/或其它扫描装置可以包括与数字病理学样品扫描和成像相关地使用的各种部件装置。根据本文于别处进一步讨论的实施例,成像***5可以包括具有聚焦***10的成像装置。另外,在各种实施例中,成像***5可以包括与成像或其它适当的操作相关地使用的其它***,包括除了其它部件***50以外的一个或多个载片台***20、载片缓存***30和照明***40,如本文于别处进一步详细地讨论的那样。参考通过引用并入本文的Loney等的题为“Imaging System and Techniques (成像***和技术)”的WO2011/049608,其描述了可以被用于成像和其它适当操作,特别是用于显微术成像的各种部件***和技术的示例。还应注意到,可以与如在Dietz等人的题为“Digital MicroscopeSlide Scanning System and Methods(数字显微镜载片扫描***和方法)”的美国专利申请公开号2008/0240613A1(通过引用将其并入本文)中描述的用于图像捕获、拼接以及放大的显微镜载片扫描仪器架构和技术相关地使用本文描述的***,其包括与在没有大的精确度损失的情况下利用放大重构图像并显示或存储被重构的图像相关的特征。
图2是示出根据本文描述的***的实施例的光学扫描显微镜和/或其它适当成像***的成像装置100的示意图,其包括用于取得被设置在载片上的组织样品101和/或其它对象的聚焦图像的聚焦***的部件。当快照被捕获时,本文描述的聚焦***为每个快照提供确定最佳的聚焦,可以将其称为“动态即时聚焦”。本文提供的装置和技术导致形成病理学载片中的区域的数字图像所需的时间的明显减少。本文描述的***将常规***的两步方法的步骤整合并实质上消除了预聚焦所需的时间。本文描述的***提供使用用于捕获快照的动态即时处理来创建显微镜载片上的样本的数字图像,其中用于捕获所有快照的总时间小于在捕获快照之前为每个快照预定聚焦点的步骤使用的方法所需的时间。
成像装置100可以包括成像传感器110,诸如电荷耦合器件(CCD)和/或互补金属氧化物半导体(CMOS)图像传感器,其可以是捕获数字病理学图像的照相机111的一部分。成像传感器110可以从显微镜物镜120接收经由镜筒透镜112、束分离器114以及包括诸如聚光器116和光源118和/或其它适当光学部件119的被传输光显微镜的其它部件传输的被传输光。可以对显微镜物镜120进行无限大校正。在一个实施例中,束分离器114可以提供分配将光束源的约70%指向图像传感器110并且将约30%的其余部分沿着路径指向抖动聚焦台150和聚焦传感器160。可以将被成像的组织样品101设置在可以沿着X和Y方向移动并且可以如本文于别处被进一步讨论的那样进行控制的XY移动台130上。缓慢聚焦台140可以控制显微镜物镜120沿Z方向的移动以使由图像传感器110捕获的组织101的图像聚焦。缓慢聚焦台140可以包括用于使显微镜物镜120移动的电动机和/或其它合适的装置。抖动聚焦台150和聚焦传感器160被用来根据本文描述的***提供对动态即时聚焦的精细聚焦控制。在各种实施例中,聚焦传感器160可以是CCD和/或CMOS传感器。
抖动聚焦台150和聚焦传感器160根据在成像过程期间快速地计算的锐度值和/或其它度量来提供动态即时聚焦以当每个图像快照被捕获时获得用于每个图像快照的最佳聚焦。如本文于别处进一步详细地讨论的,可以使抖动聚焦台150以一定的频率(例如以正弦运动)来进行移动,其独立于并且超过对于显微镜物镜120的更缓慢运动而言可行的移动频率。由聚焦传感器160进行聚焦信息的多次测量用以在抖动聚焦台150的运动的范围内观察组织。聚焦电子器件和控制***170可以包括用于控制聚焦传感器和抖动聚焦台150的电子器件、主时钟、用于控制缓慢聚焦台140(Z方向)的电子器件、X-Y移动台130以及根据本文的技术的***的实施例的其它部件。聚焦电子器件和控制***170可以被用来使用来自抖动聚焦台150和聚焦传感器160的信息来执行锐度计算。可以通过由抖动移动定义的正弦曲线的至少一部分来计算锐度值。聚焦电子器件和控制***170然后可以使用该信息来确定用于组织的最佳聚焦图像的位置并命令缓慢聚焦台140使显微镜物镜120移动到理想的位置(沿着Z轴,如所示那样)以便在成像过程期间获得最佳聚焦图像。控制***170还可以使用该信息来控制XY移动台130的速度,例如,台130沿Y方向的移动的速度。在实施例中,可以通过对相邻像素的对比度值进行差分化,对其求平方并将那些值在一起求和以形成一个分数来计算锐度值。本文于别处进一步讨论了用于确定锐度值的各种算法。
在根据本文描述的***的各种实施例中,并且根据本文于别处讨论的部件,一种用于创建显微镜载片上的样本的数字图像的装置可以包括:被无限大校正的显微镜物镜;束分离器;照相机聚焦透镜;高分辨率照相机;传感器聚焦透镜组;抖动聚焦台;聚焦传感器;聚焦粗(缓慢)台;以及聚焦电子器件。该装置可以允许在不需要在捕获快照之前预定用于所有快照的聚焦点的情况下使物镜聚焦并通过照相机来捕获每个快照,并且其中用于捕获所有快照的总时间小于在捕获快照之前需要为每个快照预定聚焦点的步骤的***所需的时间。该***可以包括计算机控制,用于:(i)在组织上确定第一聚焦点或几个聚焦点(本文称作预扫描、锚定或明确的组织点),以通过使粗聚焦台移动通过整个z范围并监视锐度值来建立标称聚焦面;(ii)在所关心区域的一角处开始以x和y来对组织进行定位;(iii)将抖动精细聚焦台设置为移动,其中抖动聚焦台被同步到主时钟,该主时钟也控制xy台的速度;(iv)命令台从帧移动到邻近帧,和/或(v)产生触发信号以获取图像传感器上的帧并触发光源创建光脉冲。
进一步地,根据另一实施例,本文描述的***可以提供用于创建已经被堆放在显微镜载片上的样本的数字图像的计算机实施的方法。该方法可以包括确定包含显微镜载片的区域(该区域包括样本的至少一部分)的扫描区域。可以将该扫描区域划分成多个快照。可以使用显微镜物镜和照相机来捕获快照,其中可以在捕获快照之前不需要为所有快照预定聚焦点的情况下为每个快照进行使物镜和显微镜聚焦并通过照相机来捕获每个快照。用于捕获所有快照的总时间可以小于在捕获快照之前需要为每个快照预定聚焦点的步骤的方法所需的时间。
图3A是包括聚焦电子器件161、主时钟163和台控制电子器件165的聚焦电子器件和控制***170的实施例的示意图。图3B是聚焦电子器件161的实施例的示意图。在图示的实施例中,聚焦电子器件161可以包括诸如适当地快速的A/D转换器171和具有微处理器173的现场可编程门阵列(FPGA)172的适当的电子器件,该微处理器可以用来作出锐度计算和/或如本文于别处进一步讨论那样执行其它处理。A/D转换器171可以从被耦合到FPGA 172和微处理器173并被用来输出锐度信息的聚焦传感器160接收信息。包括在170中的主时钟可以向聚焦电子器件161、台控制电子器件165以及***的其它部件供应主时钟信号。台控制电子器件165可以生成被用来控制缓慢聚焦台140、X-Y移动台130、抖动聚焦台150的控制信号和/或其它控制信号和信息,如本文于别处进一步讨论的那样。除了其它信息以外,FPGA172可以向聚焦传感器160供应时钟信号。实验室中的测量示出可以在18微秒内作出对640×32像素帧的锐度计算,容易地快到足以用于本文描述的***的合适的操作。在实施例中,聚焦传感器160可以包括被窗口化成640×32条的单色CCD照相机,如本文于别处进一步讨论的那样。
扫描显微镜可以获取包括RGB或某个其它色彩空间中的对比度信息和/或强度信息的1D或2D像素阵列,如本文于别处进一步讨论的那样。***在例如25 mm×50 mm玻璃载片上的大的场上找到最佳聚焦点。许多商用***对由具有CCD阵列的20x,0.75 NA显微镜物镜产生的场景进行采样。给定0.75的物镜和聚光器的NA和500 nm的波长,光学***的横向分辨率为大约0.5微米。为了以尼奎斯特频率对该分辨率元素进行采样,对象处的像素大小为大约0.25微米。对于具有7.4微米的像素大小、以30 fps运行的4 M像素照相机(例如Dalsa Falcon 4M30/60)而言,从对象到成像照相机的放大是7.4/0.25=30x。理想的是在聚焦尺寸的组织空间改变比对象处的帧大小低得多的情况下使用本文描述的***。实际上聚焦的改变发生在更大的距离上并且作出大部分聚焦调正以校正倾斜。在对象处这些倾斜一般地在每帧尺寸0.5-1微米的范围内。
对于当前扫描***(例如BioImagene iScan Coreo***)而言所得到的时间是对于20x 15 mm×15 mm场的预扫描和扫描而言为大约3.5分钟并且对于15 mm×15 mm场上的40x扫描而言为大约15分钟。通过在26个通过中运行35个帧来扫描15 mm×15 mm场。可以用1秒的回扫时间单向地完成扫描。使用根据本文描述的***的技术来进行扫描的时间可以为大约5秒以找到标称聚焦面,每个通过1.17秒(25个通过),总共5+25×(1.17+1)=59.25秒(大约1分钟)。相比于常规方法而言这是相当大的时间节省。本文描述的***的其它实施例可以允许甚至更快的聚焦时间,但是可能发生对短照明时间所需要的光量的限制以避免连续扫描时的运动模糊。使光源118脉冲调制或选通以允许高峰值照明可以缓解该问题,光源118可以如本文于别处进一步讨论的那样为LED光源。在实施例中,可以由聚焦电子器件和控制***170来控制光源118的脉冲调制。另外,双向地运行***将消除回扫时间,对于20x扫描节省大约25秒导致35秒的扫描时间。
应当注意到,与聚焦电子器件和控制***170相关地使用的部件还可以更一般地被称为用来执行与本文描述的技术的实施例相关的多种不同功能的电部件。
图4是根据本文描述的***的实施例的更详细地示出抖动聚焦台150的示意图。抖动聚焦台150可以包括可被一个或多个诸如音圈致动器的致动器152a,b移动并且可以被安装到刚性外壳153的抖动聚焦透镜151。在实施例中,透镜可以是如市售的具有50 mm焦距的消色差透镜,参见例如Edmund Scientific,NT32-323。替换地,抖动聚焦透镜151可以是由塑料构造,非球面的并且被成形为使得透镜的重量被减小(极其低质量)。可以将挠曲结构154附着于刚性外壳153并附着于刚性接地点并且其可以仅允许抖动聚焦透镜151的例如大约600-1000微米的小距离的平移运动。在实施例中,挠曲结构154可以由沿弯曲方向的大约0.010''厚的适当的不锈钢片构造并且形成四连杆机构。挠曲部154可以由处于远离其疲劳极限(其五分之一以下)的工作应力下的合适的弹簧钢来设计以在许多周期上操作。
可以将抖动聚焦透镜151和挠曲部154的移动质量设计成提供大约60 Hz或以上的第一机械谐振。可以用诸如电容传感器或涡流传感器的合适的高带宽(例如,大于1 kHz)位置传感器155来监视移动质量,以向控制***170提供反馈(参见图2)。例如,KLA Tencor的ADE部门制造了对于此应用合适的具有1 kHz带宽、1 mm测量范围和77纳米分辨率的电容传感器5 mm 2805探针。诸如由包括在元件170中的功能表示的抖动聚焦和控制***可以将抖动聚焦透镜151的振幅保持到规定聚焦范围。抖动聚焦和控制***可以依赖于众所周知的增益控制振荡器电路。当谐振地操作时,可以以低电流来驱动抖动聚焦透镜151,在音圈绕组中耗散低功率。例如,使用BEI Kimco LAO8-10(绕组A)致动器,平均电流可以小于180 mA并且耗散的功率可以小于0.1 W。
应注意到,可以与本文描述的***的各种实施例相关地使用抖动透镜的其它类型的运动以及其它类型的致动器152a,b。例如,可以使用压电致动器作为致动器152a,b。进一步地,抖动透镜的运动可以是处于除保持独立于显微镜物镜120的运动的谐振频率之外的频率下的运动。
在根据本文的技术的实施例中可以包括的并且诸如上面提示的电容传感器的传感器155可以提供关于抖动聚焦透镜位于何处的反馈(例如,关于对应于透镜移动的正弦波或周期)。如将于本文别处描述的那样,可以作出关于使用聚焦传感器获得的哪个图像帧产生最佳锐度值的确定。对于该帧,可以关于如由传感器155指示的正弦波位置来确定抖动聚焦透镜的位置。如由传感器155所指示的位置可以被170的控制电子器件使用以确定对于缓慢聚焦台140的适当调整。例如,在一个实施例中,可以由缓慢聚焦台140的缓慢步进电动机来控制显微镜物镜120的移动。由传感器155所指示的位置可以被用来确定相对应的移动量(以及对应的(多个)控制信号)以将显微镜物镜120定位于沿Z方向的最佳聚焦位置处。可以将(多个)控制信号传输至缓慢聚焦台140的步进电动机以引起在最佳聚焦位置处的显微镜物镜120任何必要的重新定位。
图5A-5E是示出根据本文描述的***的聚焦操作的迭代的示意图。该图示出图像传感器110、聚焦传感器160、具有抖动透镜的抖动聚焦台150和显微镜物镜120。组织101被图示为沿着y轴,即在XY移动台130上移动,同时执行聚焦操作。在示例中,抖动聚焦台150可以以所需的频率,诸如60 Hz或以上(例如,80 Hz,100 Hz)来使抖动透镜移动,然而应该注意在其它实施例中,本文描述的***还可以根据适用的情况对以更低的频率(例如50 Hz)移动的抖动透镜进行操作。可以命令XY移动台130例如沿Y方向从帧移动到邻近帧。例如,可以命令台130以13 mm/sec的恒量移动,其对于20x物镜而言对应于大约30帧/秒的获取速率。因为抖动聚焦台150和XY移动台130可以被锁相,所以抖动聚焦台150和传感器160可以每秒作出60次聚焦计算,或者每秒120个聚焦点或每帧4个聚焦点双向地运行(对正弦波的向上和向下运动进行读取)。对于1728像素的帧高度而言,这等同于每432个像素一个聚焦点或者对于20x物镜而言每108微米一个聚焦点。因为XY移动台130在移动,因此应在非常短的时间段内捕获聚焦点,例如330 μsec(或更少),以将场景中的改变保持在最小。
在各种实施例中,如本文于别处进一步讨论的那样,该数据可以被存储并被用来对下一帧的聚焦位置进行外插,或者替换地可以不使用外插并将最后一个聚焦点用于活动帧的聚焦位置。用60 Hz的抖动频率和每秒30帧的帧速率,在离被快拍帧的中心不超过帧的1/4的位置处取得聚焦点。一般地,组织高度不会在帧的1/4中变化得足以使该聚焦点不精确。
可以在组织上找到第一聚焦点以建立标称聚焦面或参考面101'。例如,可以通过最初使用缓慢聚焦台140使显微镜物镜120移动通过整个Z范围,例如+1/-1 mm,并且监视锐度值来确定参考面101'。一旦找到参考面101',则可以在所关心区域的一角和/或其它特定位置处开始沿X和Y将组织101定位,并且将抖动聚焦台150设置成移动,和/或否则继续监视抖动聚焦台150的移动,在图5A中开始。
可以使抖动聚焦台150同步到控制***170中的主时钟(参见图2),其还可以与控制XY移动台130的速度相关地使用。例如,如果抖动聚焦台150将在60赫兹下通过0.6毫米p-v(峰值至谷值)正弦运动来进行移动,采取32%的占空比以使用正弦波的更多线性范围,则可以在2.7兆秒时段内通过聚焦范围来收集8个点。在图5B-5D中,抖动聚焦台150以正弦运动来使抖动透镜移动,并且携带聚焦样品通过正弦曲线的至少一部分。因此将每330 μsec或以3 kHz的速率来取得聚焦样品。在对象与聚焦传感器160之间的5.5x的放大的情况下,0.6 mm p-v的抖动透镜处的运动等同于物镜处的20微米p-v运动。该信息被用来将被计算的最高锐度处的位置(即最佳聚焦)传递到缓慢聚焦台140的更慢的步进电动机。如图5E中所示,命令缓慢聚焦台140使显微镜物镜120及时地移动到最佳聚焦位置(由运动范围120'示出)以便图像传感器110捕获组织101的所关心区域的最佳聚焦图像110'。在实施例中,可以例如由控制***170来触发图像传感器110以在抖动透镜运动的特定数目的周期之后对图像进行快照。XY移动台130移动到下一帧,抖动聚焦台150中的抖动透镜的周期运动继续,并且重复图5A-5E的聚焦操作。可以以不妨碍处理的速率,例如3 kHz来计算锐度值。
图6A是示出根据本文描述的***的实施例的抖动聚焦光学器件的命令波形和锐度确定的绘图200的示意图。在基于与图5A-5E的示例相关地讨论的时间的实施例中:
T=16.67 msec,/*透镜在60 Hz下谐振的情况下的抖动透镜正弦波的周期*/
F=300 μm,/*聚焦值的正范围*/
N=8,/*在周期E中获得的聚焦点的数目*/
Δt=330 μsec,/*每330 μsec获得的聚焦点样品*/
E=2.67 msec,/*在其内获得N个聚焦点的时段*/
在聚焦行程的中心处Δf=1.06 μm。/*聚焦曲线的步长*/
因此,用32%的该占空比,通过聚焦处理对8.48 μm(8×1.06 μm=8.48 μm)进行采样。
图6B是示出对于绘图210所示的抖动透镜的正弦波运动的部分所计算的锐度(Zs)值的绘图210的示意图。由等式1给出作为每个点i的函数来采样的每个聚焦面的位置(z):
   等式1
将CCD照相机向下窗口化可以提供适合于本文描述的***的高帧速率。例如,加拿大安大略市沃特卢的公司Dalsa生产了Genie M640-1/3 640×480黑白照相机。GenieM640-1/3将以640×32的帧大小在3,000帧/秒下操作。CCD阵列上的像素大小是7.4微米。在对象与聚焦面之间的5.5x放大下,一个聚焦像素等价于对象处的大约1.3微米。虽然可能发生每个聚焦像素的大约16个对象像素(4×4)的某些平均,但是保留了足够高的空间频率对比度变化以获得良好的聚焦信息。在实施例中,可以根据锐度计算绘图210的峰值来确定最佳聚焦位置。在附加实施例中,应注意可以使用其它聚焦计算和技术来根据其它度量确定最佳聚焦位置,包括对比度度量的使用,如本文于别处进一步讨论的那样。
图7A和7B是示出根据本文描述的***的实施例的样本(组织)的聚焦确定和调整的示意图。在图7A中,例图250是根据本文讨论的XY移动台130的移动的与沿着Y轴的样本移动相关的近似图像帧中示出的样本的视图。在250中图示了与沿着Y轴和X轴的样本移动(例如,根据XY台的移动)相关的在样本上的一次往返或通过,图示了横断样本的蛇形图案。例图250'是例图250的一部分的放大版本。例图250'的一个帧被指定为dtp,参考样本的明确的组织点或锚定点。在例图250'的示例中,示出了样本边界,并且在其上面的扫描期间,根据本文描述的***执行了多次聚焦计算。在帧251中,并且作为示例,图示了在与对样本进行成像相关地执行4次聚焦计算(被示出为聚焦位置1、2、3和0*)之后作出最佳聚焦确定,然而可以与本文描述的***相关地执行更多的聚焦计算。图7B示出了显示显微镜物镜的Z轴位置相对于正在被检查的样本的Y轴位置的绘图的示意图260。图示的位置261示出根据本文描述的***的实施例的用于调整显微镜物镜120以实现最佳聚焦的沿着Z轴的确定的位置。
应当注意到,本文描述的***相比于常规***而言提供了显著的优点,常规***诸如在被通过引用合并于此的美国专利号7,576,307和7,518,642中描述的那些,其中整个显微镜物镜以正弦波或三角形图案移动通过聚焦。本文提供的***有利之处在于其适于供显微镜物镜和沉重的(尤其是如果经由转动架来添加其它物镜时)并且不能在使用抖动光学器件所描述的更高频率下移动的随附台使用。本文描述的抖动透镜可以具有已调整的质量(例如,使得更轻,更少的玻璃)并且对聚焦传感器的成像要求比由显微镜物镜强加的更小。如本文所描述的那样,可以以高速率取得聚焦数据以将在计算锐度时的场景改变最小化。通过将场景改变最小化,本文描述的***减少了由于组织在显微镜物镜下移动的同时***聚焦和散焦地移动所致的锐度度量的不连续性。在常规***中,这种不连续性将噪声添加到最佳聚焦计算。
图8是示出包括图像传感器的图像帧304和聚焦传感器的聚焦帧306的照相机窗口302的示意图300。聚焦帧306和图像帧304中的每一个的视场被示出为是对准的。图像帧304可以沿着台130的行进方向定向从而在成像期间获取的帧的列与照相机窗口302对准。使用21x放大的镜筒透镜,使用例如Dalsa 4M30/60 CCD照相机(2352×1728像素,7.4微米方形像素)的图像帧304中的视场为0.823mm×0.604 mm。图像帧的更宽的尺寸(0.823 mm)可以被定向成垂直于聚焦帧306的更长的尺寸。在聚焦分支(focus leg)中使用5x放大,聚焦传感器(例如Dalsa Genie 640×480像素,7.4微米方形像素)的聚焦帧306可以被窗口化成在对象处的100像素乘以320像素,或者0.148 mm×0.474 mm的矩形306'。聚焦帧306因此看到了大量的由图像帧304看到的组织。即使组织切面被稀疏地分布在帧内,这也增加在聚焦操作中捕获组织的可能性。由聚焦帧306观察的组织的大的区域在确定最佳聚焦方面提供了更少的噪声以及更高的灵敏度,并且可以在非组织和组织区域之间的区别中被有利地使用。根据本文描述的***的实施例,每秒可以作出60次最佳聚焦确定,并且为每个聚焦传感器周期计算20个锐度,导致对于60 Hz聚焦抖动而言每秒1200次锐度计算。与对样本进行成像相关地执行聚焦计算(例如,如在图7A和7B中描述的聚焦位置1、2、3、0*)。最佳聚焦图像帧被示出为图像帧304'。通过执行横断所关心的全部区域的蛇形图案来建立组织的覆盖。
在等式2中示出了锐度计算的示例(例如,基于被窗口化成320×100的区域的照相机的使用)。在z是针对其计算锐度的区的数目的情况下,对于维度n达100的行i和维度m达320/z的列j,区的锐度可以由等式2来表示:
锐度    等式2
其中k为在1和5之间的整数或者等于1和5。对于该实施例,z=1(只有一个区),然而在其它实施例中,如本文于别处进一步讨论的那样,可以与本文描述的***相关地使用多于一个区。还可以与本文描述的***相关地使用其它锐度度量和算法。在XY移动台130沿着y轴移动时,***获取用于聚焦帧306中的当前区的锐度信息,该信息被用来确定最佳聚焦位置。
图9是示出根据本文描述的***的实施例的包括用于在由抖动聚焦光学器件采样的多个点处的每个锐度响应的锐度响应曲线360和对比误差信号370的、从移动通过聚焦位置产生的锐度轮廓的示例的示意图350。绘图360沿着x轴以微米示出抖动透镜振幅并且沿着y轴示出锐度单位。如图示的那样,抖动透镜运动可以以代表性位置A,B,C,D和E处为中心;然而,应注意到本文描述的计算可以被应用于锐度曲线上的点中的每一个。在波形绘图361-365中分别示出了当抖动透镜的运动以位置A,B,C,D和E中的每一个处为中心时,从聚焦传感器160产生的针对抖动透镜正弦波的半个周期的锐度响应。
如本文所讨论的那样,抖动透镜可以在60 Hz处以近似300微米的峰值到峰值(p-t-p)振幅振动。这产生如由聚焦传感器所看到的在组织处的大约+/-5微米的聚焦的变化。可以由聚焦传感器通过在每个聚焦帧处计算锐度来测量最佳聚焦。该计算可以在照相机的FPGA中完成。因此在抖动透镜以60 Hz振动的同时,每个抖动周期可以计算20个锐度度量(每秒1200次锐度计算)。根据显微镜物镜相对于最佳聚焦的位置来测量特性波形361-365。例如,在最佳聚焦(位置C)处抖动透镜对锐度响应的任一侧采样并且以抖动振动频率的两倍来产生正弦波(波形363)。可以例如通过在图像传感器110捕获图像110'之前控制缓慢聚焦台140使显微镜物镜120移动到最佳聚焦位置,来使用在正弦波谷值处的点‘a’,在峰值处的点‘b’和在后续的谷值处的点‘c’以计算被用来控制聚焦的误差信号。点a,b和c是来自波形361-365的锐度值,波形361-365是与在用于计算对比误差信号370的锐度响应曲线360上示出的抖动透镜运动的每个中心点(例如,A,B,C,D,E)相关地获得的。
在实施例中,对比误差信号(CES)370可以是如由等式3所示那样计算的误差函数:
CES=(a-c)/b      等式3
在离焦位置处,例如在位置A处(参见波形361),CES是负的,在位置B处(参见波形362)移动到更小的负数。在位置C处(参见波形363,因为从中取得点a,b和c)CES变为0,并且随着***通过位置D和E(参见波形364和365)从聚焦移开时而愈加为正。CES为0处的点(位置C)指示用于聚焦电动机的最佳聚焦位置372。该CES误差函数可以然后被用在反馈环中以控制缓慢聚焦电动机,如本文于别处进一步讨论的那样。在+/-5微米的“锁定范围”外部的区域具有等于抖动频率的特性频率。进一步地散焦移动产生逐渐地更小的波形的振幅。在恒定对比度的区域或非组织区域中,波形的振幅将是非常小的或者提供不具有振荡的恒定信号。对波形的振幅设置阈值可以确定组织是在被观察或是没有被观察。
图10示出说明产生控制缓慢聚焦台140的控制信号的对比误差信号的使用的功能性控制环的框图400。Ud可以被考虑成是对聚焦控制环的干扰并且可以例如表示载片倾斜或变化的组织表面高度。功能块402示出了锐度矢量信息的生成,该锐度矢量信息可以由聚焦传感器160生成并且被传达到聚焦电子器件和控制***170。功能块404示出了在抖动透镜对聚焦进行采样的点处的对比度数字(例如,诸如通过等式3的对比误差信号的值)的生成。将该对比度数字与在其中最佳聚焦被事先建立的初始步骤处产生的设置点或参考值(Ref)比较。
比例(P),积分(I)和微分(D)(PID)功能块406使用相对应的已知控制理论技术来对进行动作(在功能块408处)以保持场景聚焦并且提供最优的稳定性和对干扰(诸如聚焦的突然变化)的响应的缓慢聚焦电动机进行校正。基于适当的控制环响应速度,***能够动态地聚焦同时获取图像数据的列。应当注意,实施例可以依照移动的最小或阈值量来调整显微镜物镜120的位置。因此,这样的实施例可以避免作出比阈值更小的调整。
替换地,在另一实施例中,***可以使Y台/载片沿着Y方向移动以使用上面的方法获取聚焦数据并存储用于列的最佳聚焦位置。由于抖动聚焦方法的原因这可以被非常快速地完成。***可以使用该聚焦数据回溯对场景成像的列。以相同的方式扫描下一列。列扫描继续直到所关心的区域已经被获取为止。
替换地,在又一实施例中,数据的第一列可以被用来更新由稀疏预扫描数据产生的最佳聚焦表面。例如,通过对第一列成像,存储由上面的抖动透镜方法产生的最佳聚焦数据,使用该聚焦数据以重新计算最佳聚焦表面,然后对第二列成像等,来以蛇形图案扫描所关心的区域,直到所关心的区域被扫描为止。
替换地,在又一实施例中,聚焦传感器可以像其视场整个地处在邻近的列中那样被对准。以蛇形图案扫描所关心的区域。所扫描的数据的第一列(列1)仅存储用于邻近的列(列2)的最佳聚焦数据。在返回通过上使用最佳聚焦数据对列2成像并且存储列3最佳聚焦数据并且依次类推直到整个所关心的区域被扫描为止。
本文描述的方法在提供更多聚焦信息以将组织保持在最佳聚焦处的同时提供非常快的扫描。
图11是示出根据本文描述的***的另一实施例的与聚焦处理相关地被拆分成各区的聚焦窗口456的照相机窗口452的示意图。在所图解的实施例中,聚焦帧456被再分成8个区;然而,可以与本文描述的***相关地使用更少的或多于8个的区。区的第一子集可以在快照n内并且区的第二子集在快照n+1内。例如,区2,3,4,5在时间t1的快拍的图像帧454内。区6和7可以全部在随着XY移动台130在图中从底部横断到顶部而被快拍的下一图像帧内并且/或者区0和1可以全部在随着台130从图的顶部横断到底部而被快拍的下一图像帧内。聚焦位置0,1,2和3可以被用于外插用于在位置0*处的下一被快拍帧的最佳聚焦位置。例如可以通过执行横断全部所关心的区域的蛇形图案来建立组织的覆盖。图像帧的406更宽尺寸可以被定向成垂直于聚焦帧456的更长尺寸并且允许在组织切片上横断的最小数目的列。在各种实施例中,聚焦传感器的聚焦帧456可以在各种范中比图像传感器的图像帧404更长,并且可以有利地与涉及多个区的先行聚焦技术相关地使用,如本文于别处进一步讨论的那样。当使用多个区为单个聚焦点计算锐度度量时,可以针对每个区确定锐度度量,并且可以例如诸如通过将用于在这样的单个点处被考虑的所有区的所有锐度度量相加来组合锐度度量。在帧454'中示出了最佳聚焦图像。
在扫描过程期间,确定***是否正从空白空间(没有组织)过渡到更暗的空间(组织)可能是有利的。随着XY移动台130沿y轴移动,***获取在聚焦窗口402中的所有区0-7的锐度信息。理想的是随着台130移动而得知组织切片高度如何改变。通过计算锐度,在区6和7中,例如,预测该过渡是否将发生是可能的。在扫描列的同时,如果区6和7示出增加的锐度,则可以命令XY移动台130减速以在组织边界上创建更靠近地分隔的聚焦点。另一方面,如果检测到从高锐度向低锐度的移动,那么可以确定扫描器观察正进入空白空间,并且可能理想的是使台130减速以在组织边界上创建更靠近地分隔的聚焦点。在其中不发生这些过渡的区域中,可以命令台130以更高的恒定速度移动以增加载片扫描的总的吞吐量。可以如与等式2相关地讨论的那样,并且在该实施例中基于被窗口化成640×32条的照相机的使用来作出锐度计算。例如,行i,维度n可以达到32,以及列j,维度m可以达到640/z,其中z是区的数目(例如,8个区;区0-7)。该方法可以允许有利地快速扫描组织。根据本文描述的***,可以在收集聚焦数据的同时取得快照。更进一步地,可以在第一扫描中收集所有的聚焦数据并将其存储,并且可以在后续的扫描期间在最佳聚焦点处取得快照。实施例可以用锐度值以与本文描述的类似的方式来使用对比度函数值以检测聚焦的变化并因此确定进或出包含组织或空白空间的区域的过渡。
在另一实施例中,可以使用彩色照相机作为聚焦传感器160并且可以替代地和/或另外地将色度度量确定到锐度对比度度量。例如,根据本实施例,可以合适地使用640×480Genie照相机的Dalsa色彩版本作为聚焦传感器160。可以将色度度量描述为相对于被类似地照亮的白色的亮度的彩度。以等式形式(等式4A和4B),色度(C)可以是R,G,B色彩测量的线性组合:
      等式4A
      等式4B
注意对于R=G=B,CB=CR=0。基于CB和CR,可以确定用于C的值(例如,诸如通过添加CB和CR),表示总色度。
随着XY移动台130沿y轴移动,聚焦传感器160可以获取色彩(R,G,B)信息,如在亮场显微镜中那样。RGB色彩信息的使用可以如用对比度技术那样被使用以确定***是否正从空白空间(没有组织)过渡到彩色空间(组织)。在实施例中,可以依照聚焦帧的处理来作出关系到从空白空间到彩色空间的过渡的信息,聚焦帧具有实质上与图像帧视场一样大的视场,并且如与例图300相关地讨论的那样仅使用一个区。
在另一实施例中,可以与本文描述的***相关地使用先行处理技术。通过计算区6和7中的色度,例如,预测在空白空间(没有组织)和彩色空间(组织)之间是否要发生过渡是可能的。如果,例如,检测到很少的色度,那么C=0并且可以认识到没有组织边界在接近。然而,在扫描聚焦列的同时,如果区6和7示出增加的色度,则可以命令台130减速以在组织边界上创建更靠近地分隔的聚焦点。另一方面,如果检测到从高色度向低色度的移动,则可以确定扫描器正进入空白空间,并且使台130减速以在组织边界上创建更靠近地分隔的聚焦点可能是理想的。在其中不发生这些过渡的区域中,可以命令台130以更高的恒定速度移动以增加载片扫描的总的吞吐量。
可以与用以确定视场或要到来的(多个)帧何时进入或离开具有组织的载片区域的锐度值,对比率值和/或色度值的使用相关地作出处理改变。例如,当从空白空间(例如,组织区域之间)进入具有组织的区域时,可以减缓沿着Y方向的移动并且所获得的聚焦点的数目还可以增加。当观察空白空间或组织样品之间的区域时,可以增加沿着Y方向的移动并且确定更少的聚焦点直到检测到在包含组织的区域上的移动为止(例如,诸如通过增加的色度和/或锐度值)。应注意,本文讨论的实施例可以被配置成供先行技术使用并且/或者可以被配置成供不使用先行处理的仅一个区使用。例如,更宽的矩形聚焦帧可能更合适用于仅使用一个区的聚焦处理,而可以延伸超出图像帧的更长的条样的聚焦帧可能更适合用于供先行聚焦处理技术使用。
图12A和12B示出依照本文描述的***的实施例的与使用可在各时间点处获得的锐度值的聚焦技术相关的绘图的图形图解470,480。
图12A示出用于如本文描述的***的绘图图解470,其中***当前为合焦并且不需要校正。对照于以秒计的时间来绘制微米数的顶部绘图471将抖动透镜位置示出为对应于抖动透镜移动的半个正弦波周期(例如,单个峰值到峰值周期或时段的一半)的曲线。绘图472示出在抖动正弦波运动的线性区上的采样时钟,其中对于1的时钟值发生采样。绘图473示出根据使用就像每个点被线性地移动通过聚焦(沿着z方向)采样而获得的锐度值的集合的锐度度量来计算锐度(以任意单位)。绘图474示出在抖动正弦波运动的线性区上采样的锐度曲线。根据采样的锐度数据来内插最佳聚焦z位置。在该情况下,看到***是合焦的并且不需要校正;就是说,峰值锐度对应于所示出的在零位置处(其周围的锐度响应被计算)的抖动透镜位置(参见例如,图9中用于位置C的波形363)。
图12B示出用于如本文描述的***的绘图图解480,其中***并非为合焦并且需要聚焦校正。对照于以秒计时间来绘制微米数的顶部绘图481将抖动透镜位置示出为对应于抖动透镜移动的半个正弦波周期(例如,单个峰值到峰值周期或时段的一半)的曲线。绘图482示出在抖动正弦波运动的线性区上的采样时钟,其中对于1的时钟值发生采样。绘图483示出根据使用就像每个点被线性地移动通过聚焦(沿着z方向)采样而获得的锐度值的集合的锐度度量来计算锐度(以任意单位)。绘图484示出在抖动正弦运动的线性区上采样的锐度曲线。根据采样的锐度数据来内插最佳聚焦z位置。在该情况下,看到***需要依照本文讨论的技术的聚焦校正;就是说,发现峰值锐度在离抖动透镜位置大约-1微米处(参见例如,图9中用于位置B的波形362)。如本文讨论的,可以根据本文的技术确定误差校正信号并且校正信息可以被馈给缓慢聚焦电动机以保持场景合焦。
图13是示出根据本文描述的***的实施例的在被检查的样本的扫描期间的动态即时聚焦处理的流程图500。在步骤502处,可以针对被检查的样本确定标称聚焦面或参考面。在步骤502之后,处理进行到步骤504,其中根据本文描述的***,将抖动透镜设置成以特定的谐振频率移动。在步骤504之后,处理进行到步骤506,其中命令XY移动台以以特定的速度移动。应该注意到,与本文讨论的处理的其它步骤一样,可以依照本文描述的***适当地修改步骤504和506的顺序。在步骤506之后,处理进行到步骤508,其中根据本文描述的***,与抖动透镜的运动(例如正弦的)相关地执行相对于被检查的样本的聚焦点的锐度计算。锐度计算可以包括对比度,色度和/或其它适当测量的使用,如本文于别处进一步讨论的那样。
在步骤508之后,处理进行到步骤510,其中根据本文描述的***,针对与图像传感器相关地使用以捕获图像的显微镜物镜的最佳聚焦定位,基于锐度计算并使用所计算的误差信号信息(诸如对比误差信号(CES)函数)来确定最佳聚焦位置。在步骤510之后,处理进行到步骤512,其中关系到最佳聚焦位置的控制信号被发送到控制显微镜物镜的位置(z轴)的缓慢聚焦台。步骤512还可以包括向照相机(例如图像传感器)发送触发信号以捕获在物镜下面的样本部分的图像。触发信号可以是引起图像传感器进行的图像捕获的控制信号,诸如例如在特定数目的周期(例如如与抖动透镜移动有关)之后。在步骤512之后,处理进行到测试步骤514,其中确定是否应调整将样本保持在扫描下的XY移动台的速度。在实施例中,如本文于别处进一步详细讨论的那样,可以使用聚焦视场中的多个区的锐度和/或其它信息根据先行处理技术作出确定。在其它实施例中,可以不使用先行处理而仅基于用于一个区的一个锐度和/或其它信息来作出确定。如果在测试步骤514处,确定要调整XY台的速度,则处理进行到步骤516,其中调整XY移动台的速度。在步骤516之后,处理返回进行到步骤508。如个在测试步骤514处,确定将不作出对XY移动台的速度的调整,则处理进行到测试步骤518,其中确定聚焦处理是否将继续。如果处理将继续,则处理返回到步骤508。否则,如果处理不继续(例如,当前样本的扫描已完成),则结束聚焦处理并且处理完成。
图14是示出根据本文描述的***的实施例的缓慢聚焦台处的处理的流程图530。在步骤532处,控制显微镜物镜的位置(例如沿着Z轴)的缓慢聚焦台接收具有用于调整正在检查样本的显微镜物镜的位置的信息的控制信号。在步骤532之后,处理进行到步骤534,其中根据本文描述的***,缓慢聚焦台调整显微镜物镜的位置。在步骤534之后,处理进行到等待步骤536,其中缓慢聚焦台等待接收另一控制信号。在步骤536之后,处理返回进行到步骤532。
图15是示出根据本文描述的***的实施例的图像捕获处理的流程图550。在步骤552处,照相机的图像传感器接收触发器信号和/或其它指令,其触发处理以捕获被显微镜检查的样本的图像。在各种实施例中,根据本文描述的***,可以从控制***接收触发信号,控制***控制在聚焦处理中使用的抖动透镜的运动的特定数目的周期之后的图像传感器图像捕获处理的触发。替换地,可以基于XY移动台上的位置传感器来提供触发信号。在实施例中,位置传感器可以是Renishaw线性编码器型号No. T1000-10A。在步骤552之后,处理进行到步骤554,其中图像传感器捕获图像。如本文详细讨论的那样,根据本文描述的***,由图像传感器捕获的图像与聚焦***的操作相关而可以是合焦的。依照本文参考的其它技术,可以将所捕获的图像拼接在一起。在步骤554之后,处理进行到步骤556,其中图像传感器等待接收另一触发信号。在步骤556之后,处理返回进行到步骤552。
图16是示出根据本文描述的***的实施例的用于聚焦处理的替换布置的示意图600。窗口化聚焦传感器可以具有可以被倾斜或者以别的方式定位为对角地扫描与成像传感器帧FOV 604的宽度实质上相等的一行的帧视场(FOV)602。如本文所描述那样,可以使窗口沿着行进的方向倾斜。例如,可以使倾斜聚焦传感器的帧FOV 602旋转至45度,其将在对象(组织)处具有0.94×0.707=0.66 mm的有效宽度。成像传感器的帧FOV 604可以具有0.558 mm的有效宽度,因此随着保持组织的XY移动台在物镜下移动,倾斜聚焦传感器帧FOV602看到由图像传感器所观测到的该行的边缘。在视图中,示出了在时间上在中间位置(0,1,2和3)处被叠加在图像传感器帧FOV 604上的倾斜聚焦传感器的多个帧。可以在聚焦列中的邻近帧的中心之间的三个点处取得聚焦点。使用聚焦位置0,1,2和3来对用于位置0*处的下一快拍帧的最佳聚焦位置进行外插。用于这种方法的扫描时间将与于本文别处描述的方法类似。尽管倾斜聚焦传感器的帧FOV 602具有更短的先行,这种情况下,0.707×(0.94-0.432)/2=0.18 mm或倾斜聚焦传感器42%地侵占将要获取的下一帧,倾斜聚焦传感器的帧FOV 602相对于图像传感器帧FOV 604是倾斜的,在扫描行的边缘上看到组织,这在某些情况下可能有利于提供边缘聚焦信息。
图17是示出根据本文描述的***的另一实施例的用于聚焦处理的替换布置的示意图650。如在图解650中那样,示出了倾斜聚焦传感器的帧FOV 652和图像传感器的帧FOV654。倾斜传感器的帧FOV 652可以用于获取关于跨组织的向前通过的聚焦信息。在向后通过中,成像传感器在聚焦台使用在先向前通过的聚焦数据进行调整的同时对帧进行快拍。如果一个人要在在先方法中在跳过中间位置0,1,2,3的每个图像帧处取得聚焦数据,则给定聚焦点获取的高速率,XY移动台可以在向前通过中以4x速度移动。例如,对于20x下的15mm×15 mm而言,一列数据是35个帧。因为每秒在120个点处获取聚焦数据,所以可以在0.3秒中执行向前通过(每秒35帧/120个焦点)。在该示例中列的数目为26,因此可以在26×0.3或7.6秒中完成聚焦部分。在30 fps下的图像获取约为32秒。因此,总扫描时间的聚焦部分仅为20%,这是高效的。此外,如果允许聚焦每隔一个帧跳跃,则扫描时间的聚焦部分将进一步大大地下降。
应注意,在其它实施例中,与本文描述的***相关地可以在不使用先行处理的情况下仅与一个区相关地使用用于聚焦传感器的聚焦区域的位置和定向的上面提及的实施例。因此,聚焦帧可以不超过图像帧延伸并且可以比在示意图600和650中图解的更宽和/或另外更大,以及替代地为与图解300的聚焦帧相似的大小。在又一实施例中,聚焦区域可以被定位在视场内的其它位置并在其它方向来对数据的邻近列采样以提供附加的聚焦信息,包括可以与本文描述的***相关地使用的附加的先行信息。
传递载片的XY移动台可以相对于向后行进时产生的最佳聚焦点重复在向前移行时产生的那些。对于其中聚焦深度为0.9微米的20x 0.75 NA物镜而言,重复至约0.1微米将是理想的。台可以被构造为满足0.1微米向前/向后可重复性,并且因此,这个要求在技术上是可行的,如本文于别处进一步讨论的那样。
在实施例中,根据本文描述的***的正在被检查的玻璃载片上的组织或涂片可以覆盖整个载片或近似25 mm×50 mm区域。分辨率取决于物镜的数值孔径(NA)、到载片的耦合介质、聚光器的NA和光的波长。例如,在60x下,对于0.9 NA显微镜物镜、平场复消色差物镜(Plan APO)而言,在绿光(532 nm)下的空气中,显微镜的横向分辨率为大约0.2 μm,具有0.5 μm的聚焦深度。
与本文描述的***的操作相关地,可以通过经由线扫描传感器或CCD阵列在所关心区域上使有限的视场移动并将有限视场或帧或瓦片组装在一起以形成马赛克来获得数字图像。理想的是在观察者跨整个图像操纵时,马赛克看起来是无缝的,没有可见的缝、聚焦或辐照不规则。
图18是示出根据本文描述的***的实施例的用以获取载片上的组织的马赛克图像的处理的流程图700。在步骤702处,可以获取载片的缩略图像。缩略图像可以是大约1x或2x放大的低分辨率。如果在载片标签上存在条形码,则可以在该步骤处对该条形码解码并将其附着于载片图像。在步骤702之后,处理进行到步骤704,其中可以使用标准图像处理工具在载片上找到组织。可以对组织划定界限以将扫描区域缩窄至给定的所关心的区域。在步骤704之后,处理进行到步骤706,其中可以将XY坐标系附着于组织面。在步骤706之后,处理可以进行到步骤708,其中可以针对组织以规则的X和Y间距生成一个或多个聚焦点,并且可以使用聚焦技术来确定最佳聚焦,诸如本文于别处讨论的动态即时聚焦技术中的一个或多个。在步骤708之后,处理可以进行到步骤710,其中可以保存所需聚焦点的坐标和/或其它适当的信息并且可以将其称为锚定点。应注意到在帧位于锚定点之间的情况下可以对聚焦点进行内插。
在步骤710之后,处理可以进行到步骤712,其中依照本文于别处讨论的技术,将显微镜物镜定位于最佳聚焦位置处。在步骤712之后,处理进行到步骤714,其中对图像进行收集。在步骤714之后,处理进行到测试步骤716,其中确定是否整个所关心的区域已被扫描并成像。如果没有,则处理进行到步骤718,其中根据本文于别处所讨论的技术,XY台使组织沿着X和/或Y方向移动。在步骤718之后,处理返回进行到步骤708。如果在测试步骤716处,确定整个所关心的区域已被扫描和成像,则处理进行到步骤720,其中根据本文描述的***并使用本文于别处讨论的技术(参考例如美国专利申请公开号2008/0240613,本文于别处提及),将所收集的图像帧缝合或另外组合在一起以创建马赛克图像。在步骤720之后,处理完成。应注意还可以与本文描述的***相关地使用其它适当的顺序以获取一个或多个马赛克图像。
为了本文描述的***的有利操作,z位置可重复性可以可重复至物镜的聚焦深度的一小部分。在平铺***(2D CCD或CMOS)中和在线扫描***的邻近列中,容易地看到聚焦电动机返回至z位置的小的误差。对于60x情况下的上面提到的分辨率而言,大约150纳米或以下的z峰值可重复性是理想的,并且这种可重复性将因此合适于其它物镜,诸如4x,20x和/或40x物镜。
进一步根据本文描述的***,提供了用于病理学显微术应用的包括XY台的载片台***的各种实施例,其可以与用于本文讨论的数字病理学成像的特征和技术相关地使用,包括例如用作与动态即时聚焦技术相关的本文于别处讨论的XY移动台130。根据实施例,并且如本文于别处进一步详细地讨论的那样,XY台可以包括硬质基座块。该基座块可以包括被支撑在提高凸台上的扁平玻璃块和被支撑在提高凸台上的具有三角形截面的第二玻璃块。两个块可以被用作用以引导移动台块的平滑并且笔直的轨道或道路。
图19是示出可以与本文描述的***的实施例相关地使用的XY台的精密台800(例如Y台部分)的实施方式的示意图。例如,精密台800可以在25 mm×50 mm区域上实现大约150纳米或以下的z峰值可重复性。如本文于别处进一步讨论的那样,可以与本文于别处讨论的特征和技术相关地使用精密台800,包括例如与关于动态即时聚焦技术讨论的XY移动台130相关地工作。精密台800可以包括硬质基座块810,其中扁平玻璃块812被支撑在提高凸台上。这些凸台的间距使得简单支撑体上的玻璃块的由于精密台800的重量而引起的下垂被最小化。具有三角形截面的第二玻璃块814被支撑在提高凸台上。可以用不损伤玻璃块的半刚性环氧树脂将玻璃块812,814粘性地结合到基座块810。玻璃块812,814可以是笔直的并且被抛光至500 nm情况下的光的一个或两个波。可以采用诸如Zerodur的低热膨胀的材料作为用于玻璃块812,814的材料。还可以与本文描述***相关地使用其它适当类型的玻璃。切口816可以允许来自显微镜聚光器的光照亮载片上的组织。
可以使用两个玻璃块812,814作为用以引导移动台块820的平滑并且笔直的轨道或道路。移动台块820可以包括接触玻璃块的硬塑球形按钮(例如,5个按钮),如在位置821a-e处所示。由于这些塑料按钮是球形的,所以可以使接触表面局限于由塑料的弹性模数确定的非常小的区域<<0.5 mm)。例如,可以使用来自英国GGB Bearing技术公司的PTFE或其它热塑混合物加其它润滑剂添加剂并将其浇铸成约3 mm直径的接触按钮的形状。在实施例中,塑料按钮与抛光玻璃之间的摩擦系数应尽可能低,但是可能理想的是避免使用液体润滑剂以节省仪器维护。在实施例中,可以在无润滑运转的情况下易于实现在0.1和0.15之间的摩擦系数。
图20A和20B是可以与本文描述***的实施例相关地使用的移动台块820的更详细的视图并且示出在位置821a-e处接触玻璃块810,812的球形按钮822a-e。可以将按钮布置在允许沿除驱动方向(Y)之外的所有方向的优良硬度的位置上。例如,两个塑料按钮可以彼此面对以接触三角形玻璃块814的侧面(即4个按钮822b-e)并将一个塑料按钮822a定位为接触扁平玻璃块812。移动台块820可以包括轻重量的一个或更多个孔824并被成形为将重力中心放在由塑料支撑按钮822a-e的位置形成的三角形的质心826处。以这种方式,三角形828的角落处的塑料按钮822a-e中的每个可以在台800的运动期间的所有时间具有相等的重量。
在精密台800中,经由载片嵌套832中的弹簧加载臂830夹住载片801。可以将载片801手动地放置在嵌套832中和/或用辅助机构以机器人方式放置在嵌套832中。硬质悬臂840支撑并刚性地夹紧可以由高疲劳强度钢制成的小直径弯曲杆842的端部。在一个示例中,此直径可以是0.7 mm。可以将杆弯曲部842的另一端部附着于移动台820上的质心位置826。可以将悬臂840附着于可以在硬化钢导轨852上经由再循环承载设计运行的承载块850。可以将导引螺钉组件854附着于承载块850并且可以由步进电动机856来使导引螺钉组件854旋转。用于上面提及的元件的合适的组件可以是通过诸如日本的THK的几家公司可得到的。导引螺钉组件854在导轨852上驱动承载块850,其经由杆弯曲部842拉动或推动移动台块820。
杆弯曲部842的弯曲劲度可以是小于其塑料垫片上的移动台块820的硬度(这是与正交于沿z方向的移动台的面的力相对的硬度)大于6000x的因数。这有效地将移动台块820与由承载噪声产生的承载块850/悬臂840的上下运动隔离。
本文描述的精密台800的设计中的精细的质量平衡和对几何形状的注意使将产生小的摇摆运动的移动台块820上的力矩最小化。另外,由于移动台块820在抛光玻璃上运行,所以移动台块820具有小于足以用于60x放大下的扫描的150纳米峰值的z位置可重复性。由于60x条件是最严格的,所以诸如20x和40x的其它更低放大的高NA物镜也示出与在60x条件下获得的性能类似的合适的性能。
图21示出根据本文讨论的精密台特征的并且包括可以根据本文描述的***的实施例使用的Y台920,X台940和底板960的整个XY复合台900的实施方式。在该情况下,用于Y台920的基座块变成作为沿X方向的移动台的X台940。用于X台940的基座块是可以被紧固至地面的底板960。根据本文描述的***,XY复合台900提供大约150纳米的沿Z方向的可重复性以及沿X和Y方向的大约1-2微米(或以下)的可重复性。如果台经由带刻度包括反馈位置,诸如由英国Gloucestershire的Renishaw生产的那些,则根据本文描述的***,可以实现亚微米精确度。
根据本文描述的***的台设计可以优越于球形承载支撑的移动台,因为根据本文描述的***的XY台不遭受由于非球形滚珠承载或非圆筒形交叉辊子承载而引起的可重复性误差。另外,在重复循环承载设计中,不同大小滚珠处的新滚珠补充可以引起非可重复运动。本文描述的实施例的附加益处是台的成本。玻璃元件利用标准研磨和抛光技术并且不是过于昂贵的。承载块和导引螺钉组件不需要特别高的质量,因为杆弯曲部将移动台从承载块解耦。
进一步根据本文描述的***,可以与可应用于本文描述***的各种技术和特征的显微术实施例相关地使用照明***。已知的是显微镜可以一般地使用用于亮场显微术的柯勒照明。柯勒照明的主要特征是照明的数值孔径和面积二者是经由可调整虹彩(iris)可控的,使得可以使照明适应于具有变化的放大、视场和数值孔径的大范围的显微镜物镜。柯勒照明提供理想的结果,但是可能需要占用大量空间体积的多个部件。因此,本文描述***的各种实施例进一步为显微术应用中的有利照明提供了特征和技术,其在保持柯勒照明的优点的同时避免了已知柯勒照明***的某些缺点。
图22是示出使用可以与本文描述***的实施例相关地使用的发光二极管(LED)照明组件1002来照亮载片1001的照明***1000的示意图。应注意还可以与本文描述的***相关地使用其它适当的照明***。LED照明组件1002可以具有根据如本文进一步讨论的多个实施例的各种特征。来自LED照明组件1002的光经由反射镜1004和/或其它适当光学组件被传输至聚光器1006。聚光器1006可以是具有合适的工作距离(例如至少28mm)以容纳XY台1008的任何需要的工作距离的聚光器,如本文于别处进一步讨论的那样。在实施例中,聚光器可以是具有28 mm工作距离的由Motic制造的聚光器SG03.0701。聚光器1006可以包括控制照亮载片1002上的样本的光的数值孔径(锥角)的可调整虹彩光圈。可以将载片1001设置在显微镜物镜1010下面的XY台1008上。可以与对载片1001上的样本进行扫描和成像相关地使用LED照明组件1002,根据本文描述***的特征和技术,包括例如关于用于动态聚焦的XY台的移动的操作。
LED照明组件1002可以包括LED 1020,诸如亮白LED、可以被用作收集器元件的透镜1022以及可以控制载片1001上的照明区域的可调整虹彩场光圈1024。LED 1020的发射表面可以被透镜1022成像到聚光器1006的入射光瞳1006a上。入射光瞳1006a可以与聚光器1006的NA调整光圈1006b共同定位。可以将透镜1022选择为收集LED 1020的输出光的一大部分,并且还以适当的放大使LED 1020的图像聚焦到聚光器1006的NA调整光圈1006b上,使得LED 1002的图像填充聚光器1006的NA调整光圈1006b的孔径。
利用NA调整光圈1006b可以将聚光器1006用来使LED 1020的光聚焦到载片1001上。可以由安装在LED照明组件1002中的场光圈1024来控制载片1001上的照明区域。可以调整场光圈和/或聚光器1006与场光圈1024之间的间距以将来自LED 1020的光成像到载片1001的面上,使得场光圈1024可以控制被照亮的载片1001的区域。
因为图像传感器在包含载片的Y台移动的同时获取帧,所以可以使LED 1020脉冲接通和关断(例如选通)以允许在短时间内的非常高的亮度。例如,对于以大约13 mm/sec移动的Y台而言,为了保持不超过0.5像素(0.250微米/像素)模糊,可以将LED 1020脉冲接通达10微秒。依照本文于别处进一步讨论的聚焦***和技术,LED光脉冲可以被主时钟触发,该主时钟被锁定于抖动透镜谐振频率。
图23是示出可以与本文描述的***的实施例相关地使用且对应于本文关于LED照明组件1002描述的特征的用于LED照明组件1002'的实施例的更详细侧视图的示意图。相对于且与其它结构支撑和调整部件1036相关地示出了LED 1030、透镜1032以及场光圈1034的实施方式和配置。
图24是示出可以与本文描述***的实施例相关地使用,具有与相对于LED照明组件1002所讨论的相似的特征和功能的LED照明组件1002"的特定实施方式的***视图的示意图。可以使用适配器1051、底座1052、夹钳1053以及底座1054来将LED 1055牢固地安装并定位于LED照明组件1002"中,从而被相对于透镜1062牢固地定位。可以进一步使用适当的螺钉和垫圈部件1056-1061来固定和安装LED照明组件1002"。在各种实施例中,LED 1055可以是Luminus、PhlatLight White LED CM-360系列,这是具有4,500流明的光学输出和70,000小时的长寿命的亮白LED和/或由Luxeon制造的合适的LED。透镜1062可以是MG9P6mm、12mm OD(外径)透镜。可以使用镜筒透镜部件1063、适配器1064、堆叠镜筒透镜部件和挡圈1067来相对于可调整场光圈部件1065对透镜1062进行定位和安装。可调整场光圈部件1065可以是由Thor Labs制造的环激活虹彩光圈,零件号码SM1D12D。堆叠镜筒透镜1066可以是由Thor Labs制造的P3LG堆叠镜筒透镜。镜筒透镜1063可以是由Thor Labs制造的P50D或P5LG镜筒透镜。可以在适当的情况下使用其它垫圈1068和螺钉部件1069来进一步固定和安装LED照明组件1002"的元件。
可以与本文描述的***相关地以适当的组合将本文所讨论的各种实施例相互组合。另外,在某些实例中,在适当的情况下,可以修改流程图、程序图和/或所描述的流程处理中的步骤的顺序。此外,可以使用软件、硬件、软件和硬件的组合和/或具有所描述的特征并执行所描述的功能的其它计算机实现模块或装置来实现本文描述的***的各种方面。本文描述的***的软件实现可以包括存储在非暂态计算机可读存储介质中并由一个或多个处理器来执行的可执行代码。非暂态计算机可读存储介质可以包括计算机硬盘驱动器、ROM、RAM、闪速存储器、便携式计算机存储介质,诸如CD-ROM、DVD-ROM、闪速驱动器和/或例如具有通用串行总线(USB)接口的其它驱动器和/或可以在其上面存储并由处理器来执行可执行代码的任何其它适当有形存储介质或计算机存储器。可以与任何适当的操作***相关地使用本文描述的***。
根据本文公开的本发明的说明书或实践的考虑,本发明的其它实施例对于本领域的技术人员来说将是显而易见的。应注意本说明书和例子仅仅被视为示例性的,由下面的权利要求来指示本发明的真实范围和精神。

Claims (19)

1.一种用于获得样本的聚焦图像的装置,包括:
物镜,其被设置用于样本的检查;
缓慢聚焦台,其被耦合到所述物镜,其中所述缓慢聚焦台控制所述物镜的移动;
抖动聚焦台,其包括抖动透镜,其中所述抖动聚焦台使所述抖动透镜移动;
聚焦传感器,其根据经由所述抖动透镜传输的光来提供聚焦信息;
至少一个电部件,其使用所述聚焦信息以确定度量并根据所述度量确定所述物镜的第一聚焦位置,其中所述至少一个电部件包括误差信号部件,所述误差信号部件处理基于所述度量生成的误差信号信息以确定所述第一聚焦位置,其中所述至少一个电部件向所述缓慢聚焦台发送位置信息以便使所述物镜移动到所述第一聚焦位置;以及
图像传感器,其在所述物镜被移动到所述第一聚焦位置之后捕获样本的图像,其中根据使用基于根据所述抖动透镜的运动的所述度量生成的波形的点的误差信号函数来确定所述误差信号信息,其中所述误差信号函数是对比误差信号函数,并且其中所述第一聚焦位置被确定为在所述对比误差信号函数为零处。
2.根据权利要求1所述的装置,其中所述对比误差信号函数是基于针对在其中所述抖动透镜的运动处于中心的锐度响应曲线上的至少一个位置中的每个而计算的锐度波形的至少三个点来确定的。
3.根据权利要求2所述的装置,其中所述对比误差信号由等式CES=(a-c)/b表示,其中CES是对比误差信号,a为锐度波形的谷值,b为锐度波形的峰值,并且c为锐度波形的后续的谷值。
4.根据权利要求1所述的装置,进一步包括:
XY移动台,其中样本被设置在所述XY移动台上,并且其中提供如下当中的至少一个:(i)所述至少一个电部件控制所述XY移动台的移动,或者(ii)所述XY移动台与所述抖动透镜的运动相位锁定。
5.根据权利要求1所述的装置,其中所述抖动聚焦台包括使所述抖动透镜在平移运动中移动的音圈致动的挠曲组件。
6.根据权利要求1所述的装置,其中所述抖动透镜以至少60 Hz的谐振频率移动,并且其中所述至少一个电部件使用聚焦信息以每秒执行至少60次聚焦计算。
7.根据权利要求1所述的装置,其中所述聚焦传感器和所述抖动聚焦台被设置为双向地操作,其中所述聚焦传感器在谐振频率下的抖动透镜的运动的正弦波形的向上和向下部分的两者上产生聚焦信息。
8.根据权利要求1所述的装置,其中所述度量包括下述中的至少一个:对比度信息、锐度信息和色度信息。
9.一种用于获得样本的聚焦图像的方法,包括:
控制被设置成用于样本的检查的物镜的移动;
控制抖动透镜的运动;
根据经由所述抖动透镜传输的光来提供聚焦信息;
使用所述聚焦信息来确定度量并根据所述度量来确定所述物镜的第一聚焦位置,其中确定所述第一聚焦位置包括处理基于所述度量生成的误差信号信息;
发送用来使所述物镜移动到所述第一聚焦位置的位置信息,其中所述误差信号信息是根据使用基于根据所述抖动透镜的运动的所述度量生成的波形的点的误差信号函数来确定的,其中所述误差信号函数是对比误差信号函数,并且其中所述第一聚焦位置被确定为在所述对比误差信号函数为零处。
10.根据权利要求9所述的方法,其中所述对比误差信号函数是基于针对在其中所述抖动透镜的运动处于中心的锐度响应曲线上的至少一个位置中的每一个计算的锐度波形的至少三个点确定的。
11.根据权利要求10所述的方法,其中所述对比误差信号由等式CES=(a-c)/b表示,其中CES是对比误差信号,a为锐度波形的谷值,b为锐度波形的峰值,并且c为锐度波形的后续的谷值。
12.根据权利要求9所述的方法,其中所述第一聚焦位置被确定为最佳聚焦位置,并且所述方法进一步包括:
在使所述物镜移动到所述最佳聚焦位置之后捕获样本的图像。
13.根据权利要求9所述的方法,其中所述抖动透镜以至少60 Hz的谐振频率移动,并且其中每秒执行至少60次聚焦计算。
14.根据权利要求9所述的方法,其中所述度量包括下述中的至少一个:锐度信息、对比度信息和色度信息。
15.一种用于获得样本的聚焦图像的装置,所述装置包括:
用于控制被设置成用于样本的检查的物镜的移动的装置;
用于控制抖动透镜的运动的装置;
用于根据经由所述抖动透镜传输的光来提供聚焦信息的装置;
用于使用所述聚焦信息来确定度量并根据所述度量来确定所述物镜的第一聚焦位置的装置,其中确定所述第一聚焦位置包括处理基于所述度量生成的误差信号信息;以及
用于发送用来使所述物镜移动到所述第一聚焦位置的位置信息的装置,
其中所述误差信号信息是根据使用基于根据所述抖动透镜的移动的所述度量生成的波形的点的误差信号函数来确定的,其中所述误差信号函数是对比误差信号函数,并且其中所述第一聚焦位置被确定为在所述对比误差信号函数为零处。
16.根据权利要求15所述的装置,其中所述对比误差信号函数是基于针对在其中所述抖动透镜的移动处于中心的锐度响应曲线上的至少一个位置中的每一个计算的锐度波形的至少三个点确定的。
17.一种用于获得样本的聚焦图像的装置,包括:
物镜,其被设置用于样本的检查;
缓慢聚焦台,其被耦合到所述物镜,其中所述缓慢聚焦台控制所述物镜的移动;
抖动聚焦台,其包括抖动透镜,其中所述抖动聚焦台使所述抖动透镜移动;
聚焦传感器,其根据经由所述抖动透镜传输的光来提供聚焦信息;
至少一个电部件,其使用所述聚焦信息以确定度量并根据所述度量确定所述物镜的第一聚焦位置,其中所述至少一个电部件包括误差信号部件,所述误差信号部件处理基于所述度量生成的误差信号信息以确定所述第一聚焦位置,其中所述至少一个电部件向所述缓慢聚焦台发送位置信息以便使所述物镜移动到所述第一聚焦位置;以及
图像传感器,其在以蛇形方式对样本进行扫描期间在逐列的基础上捕获样本的图像,并且其中当沿第一方向扫描样本的第一列时,将所述聚焦传感器的视场与邻近于所述第一列的第二列对准以便生成所述第二列的聚焦数据,
其中所述误差信号信息是根据使用基于根据所述抖动透镜的移动的所述度量生成的波形的点的误差信号函数来确定的,其中所述误差信号函数是对比误差信号函数,并且其中所述第一聚焦位置被确定为在所述对比误差信号函数为零处。
18.根据权利要求17所述的装置,进一步包括使用所述第二列的聚焦数据沿与扫描所述第一列的所述第一方向相反的方向扫描所述第二列。
19.根据权利要求18所述的装置,其中所述第一列的聚焦数据是预定的,并且其中当所述第一列的聚焦数据不同于所述第二列的聚焦数据时将所述物镜移动到第二聚焦位置。
CN201280043657.5A 2011-09-09 2012-08-21 使用误差信号的聚焦和成像***以及技术 Expired - Fee Related CN103765277B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161532709P 2011-09-09 2011-09-09
US61/532709 2011-09-09
PCT/EP2012/066265 WO2013034429A1 (en) 2011-09-09 2012-08-21 Focus and imaging system and techniques using error signal

Publications (2)

Publication Number Publication Date
CN103765277A CN103765277A (zh) 2014-04-30
CN103765277B true CN103765277B (zh) 2016-11-09

Family

ID=46763063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280043657.5A Expired - Fee Related CN103765277B (zh) 2011-09-09 2012-08-21 使用误差信号的聚焦和成像***以及技术

Country Status (11)

Country Link
US (1) US20140204196A1 (zh)
EP (1) EP2753966A1 (zh)
JP (1) JP6074429B2 (zh)
KR (1) KR101734628B1 (zh)
CN (1) CN103765277B (zh)
AU (1) AU2012306571B2 (zh)
BR (1) BR112014005012A2 (zh)
CA (1) CA2844989C (zh)
IL (1) IL230591A0 (zh)
SG (1) SG2014011217A (zh)
WO (1) WO2013034429A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4235254A3 (en) * 2012-05-02 2023-10-11 Leica Biosystems Imaging Inc. Real-time focusing in line scan imaging
WO2015164843A1 (en) * 2014-04-24 2015-10-29 Vutara, Inc. Galvo scanning mirror for super-resolution microscopy
US9438802B2 (en) 2014-05-30 2016-09-06 Apple Inc. Optical image stabilization calibration
CN107003505B (zh) * 2014-08-13 2021-03-05 丹尼尔·萨默·加鲁 线扫描、样品扫描、多模式共聚焦显微镜
JP2016051167A (ja) * 2014-08-29 2016-04-11 キヤノン株式会社 画像取得装置およびその制御方法
KR102640848B1 (ko) 2016-03-03 2024-02-28 삼성전자주식회사 시료 검사 방법, 시료 검사 시스템, 및 이들을 이용한 반도체 소자의 검사 방법
JP6619315B2 (ja) * 2016-09-28 2019-12-11 富士フイルム株式会社 観察装置および方法並びに観察装置制御プログラム
WO2018078841A1 (ja) * 2016-10-31 2018-05-03 三菱電機株式会社 撮像機器連携装置、撮像機器連携プログラム、連携サポートシステムおよび制御システム
US10585296B2 (en) 2017-03-03 2020-03-10 Apton Biosystems, Inc. High speed scanning system with acceleration tracking
JP6812562B2 (ja) * 2017-08-30 2021-01-13 富士フイルム株式会社 観察装置および方法並びに観察装置制御プログラム
US10585273B2 (en) * 2017-09-29 2020-03-10 Leica Biosystems Imaging, Inc. Two pass macro image
AU2018339011B2 (en) 2017-09-29 2023-11-02 Leica Biosystems Imaging, Inc. Real-time autofocus scanning
CA3075287C (en) 2017-09-29 2022-06-14 Leica Biosystems Imaging, Inc. Real-time autofocus focusing algorithm
TWI791046B (zh) * 2017-10-02 2023-02-01 美商奈米創尼克影像公司 減少顯微鏡成像中之暈影的設備及方法
US10502944B2 (en) 2017-10-02 2019-12-10 Nanotronics Imaging, Inc. Apparatus and method to reduce vignetting in microscopic imaging
US10247910B1 (en) 2018-03-14 2019-04-02 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscopic focus
US10146041B1 (en) * 2018-05-01 2018-12-04 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscope focus
US11624710B2 (en) * 2019-05-24 2023-04-11 Lawrence Livermore National Security, Llc Fast image acquisition system and method using pulsed light illumination and sample scanning to capture optical micrographs with sub-micron features
WO2021099061A1 (en) * 2019-11-22 2021-05-27 Robert Bosch Gmbh A device for controlling a movement of an objective lens on a sample and a method thereof
CN112444212B (zh) * 2020-12-17 2022-08-02 北京微链道爱科技有限公司 一种由色差引起的结构光三维测量误差的补偿方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR81726E (fr) * 1962-05-23 1963-11-02 Centre Nat Rech Scient Procédé de mesure interférentielle et ses applications
JPS584109A (ja) * 1981-06-30 1983-01-11 Canon Inc プレ検出装置
JPS61239780A (ja) * 1985-04-16 1986-10-25 Matsushita Electric Ind Co Ltd オ−トフオ−カス装置
JPH0352459A (ja) * 1989-07-20 1991-03-06 Ricoh Co Ltd 自動合焦装置
GB2258109B (en) * 1991-07-25 1995-05-17 Sony Broadcast & Communication Autofocus systems
US5589938A (en) * 1995-07-10 1996-12-31 Zygo Corporation Method and apparatus for optical interferometric measurements with reduced sensitivity to vibration
US6665008B1 (en) 1997-07-15 2003-12-16 Silverbrook Research Pty Ltd Artcard for the control of the operation of a camera device
DE19746575A1 (de) * 1997-10-22 1999-04-29 Zeiss Carl Fa Optische Bildaufnahmeeinrichtung und Verfahren zu deren Nutzung
US6445662B1 (en) * 1998-12-24 2002-09-03 Victor Company Of Japan, Ltd. Reproducing apparatus
NO314323B1 (no) * 2000-03-24 2003-03-03 Optonor As Framgangsmåte og interferometer for måling av mikroskopisk vibrasjon
JP3794670B2 (ja) * 2000-04-28 2006-07-05 株式会社日立国際電気 顕微鏡のオートフォーカス方法及び装置
US7518652B2 (en) * 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
US6690635B2 (en) * 2000-07-18 2004-02-10 Victor Company Of Japan, Ltd. Reproducing apparatus
US6871527B2 (en) * 2001-07-18 2005-03-29 The Regents Of The University Of California Measurement head for atomic force microscopy and other applications
JP3990177B2 (ja) * 2002-03-29 2007-10-10 独立行政法人放射線医学総合研究所 顕微鏡装置
US7379104B2 (en) * 2003-05-02 2008-05-27 Canon Kabushiki Kaisha Correction apparatus
US7196300B2 (en) * 2003-07-18 2007-03-27 Rudolph Technologies, Inc. Dynamic focusing method and apparatus
JP2005202092A (ja) * 2004-01-15 2005-07-28 Hitachi Kokusai Electric Inc 合焦点検出方法及びそれを用いた光学顕微鏡
US20060103969A1 (en) * 2004-11-12 2006-05-18 Samsung Electronics Co., Ltd. System and apparatus for position error signal linearization
US7508583B2 (en) * 2005-09-14 2009-03-24 Cytyc Corporation Configurable cytological imaging system
JP2007086559A (ja) * 2005-09-26 2007-04-05 Pentax Corp カメラ
JP4708143B2 (ja) * 2005-09-30 2011-06-22 シスメックス株式会社 自動顕微鏡及びこれを備える分析装置
JP2007140278A (ja) * 2005-11-21 2007-06-07 Eastman Kodak Co デジタルカメラ、露出条件決定方法
US7697831B1 (en) * 2007-02-20 2010-04-13 Siimpel Corporation Auto-focus with lens vibration
US8098956B2 (en) 2007-03-23 2012-01-17 Vantana Medical Systems, Inc. Digital microscope slide scanning system and methods
US8179432B2 (en) * 2007-04-30 2012-05-15 General Electric Company Predictive autofocusing
US7576307B2 (en) 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
KR101423896B1 (ko) * 2009-10-19 2014-07-28 벤타나 메디컬 시스템즈, 인코포레이티드 슬라이드 캐싱을 위한 디바이스 및 방법

Also Published As

Publication number Publication date
WO2013034429A1 (en) 2013-03-14
IL230591A0 (en) 2014-03-31
KR101734628B1 (ko) 2017-05-11
CN103765277A (zh) 2014-04-30
KR20140094504A (ko) 2014-07-30
BR112014005012A2 (pt) 2017-03-28
CA2844989C (en) 2016-10-11
AU2012306571A1 (en) 2014-02-06
CA2844989A1 (en) 2013-03-14
AU2012306571B2 (en) 2015-05-14
SG2014011217A (en) 2014-06-27
US20140204196A1 (en) 2014-07-24
EP2753966A1 (en) 2014-07-16
JP2014529102A (ja) 2014-10-30
JP6074429B2 (ja) 2017-02-01

Similar Documents

Publication Publication Date Title
CN103765277B (zh) 使用误差信号的聚焦和成像***以及技术
CN104020553B (zh) 成像***和技术
AU2013205438B2 (en) Imaging system and techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1197455

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1197455

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161109

Termination date: 20210821