CN102053355B - 用于具有增强景深的成像的***和方法 - Google Patents

Abstract

提供用于成像的方法。该方法包括使用具有物镜和用于固持将成像的样品的平台的成像装置在多个样品距离处采集对应于重叠视场的多个图像。此外，该方法包括确定对应于在该多个采集的图像的每个中的每个像素的品质因数。该方法还包括基于确定品质因数合成复合图像。

Description

用于具有增强景深的成像的***和方法

技术领域

本发明的实施例涉及成像，并且更具体地涉及具有增强景深的图像的构建。

背景技术

例如癌症、传染病和其他病症等生理状况的预防、监测和治疗要求这些生理状况的及时诊断。一般，来自患者的生物样本用于疾病的分析和识别。显微镜分析是在这些样品的分析和评估中广泛使用的技术。更具体地，样品可研究以检测可指示疾病状态的异常数量或类型的细胞和/或组织的存在。自动化显微镜分析***已经开发以便于这些样品的快速分析并且具有超过人工分析(其中技术人员可能随时间而感到疲劳从而导致样品的误读)的准确性的优势。典型地，在载玻片上的样品装载到显微镜上。该显微镜的透镜或物镜可聚焦到样品的特定区域上。然后样品的一个或多个感兴趣对象被扫描。可注意到适当地聚焦样品/物镜以便于高质量图像的采集是最重要的。

数字光学显微镜用于观察很多种样品。景深限定为沿视轴的对应于正由透镜***成像到图像平面的三维(3D)场景的焦点对准部分的深度范围的度量。通过使用数字显微镜采集的图像典型地以高数值孔径采集。以高数值孔径获得的图像一般对从样品到物镜的距离高度敏感。甚至几微米的偏差可足够使样品立即处于离焦。另外，甚至在显微镜的单个视场内，仅通过调节光学***使整个样品一次聚焦可能是不可能的。

此外，该问题在扫描显微镜的情况下进一步扩大，其中要采集的图像从多个视场合成。除样品的变化外，显微镜载玻片具有它的表面形貌上的变化。当提升、降低和倾转载玻片时，用于在垂直于显微镜的光轴的平面上平移载玻片的机构也可在图像质量中引入不完美，由此导致在采集的图像中的不完美聚焦。另外，不完美聚焦的问题在设置在载玻片上的样品在显微镜的单个视场内不是充分平坦的情况下进一步恶化。具体地，设置在载玻片上的这些样品可具有可观数量的在非载玻片平面内的材料。

许多技术已经开发用于成像，其解决与将具有可观数量的在非平面内的材料的样品成像关联的问题。这些技术一般需要捕捉显微镜的整个视场并且将它们缝合在一起。然而，当样品的深度在单个视场内显著变化时这些技术的使用引起聚焦不足。共焦显微镜已经被采用以获得三维(3D)显微镜场景的深度信息。然而，这些***趋向于是复杂并且昂贵的。同样，因为共焦显微镜典型限制于显微镜样本的成像，它们对于将宏观场景成像一般是不实用的。

某些其他技术通过采集并且保留在多个焦平面的图像来解决当样品的深度在单个视场内显著变化时的自动聚焦的问题。尽管这些技术提供显微镜的操作者熟悉的图像，这些技术要求保留3-4倍的数据量，并且对于高吞吐量仪器这很可能是成本不允许的。

另外，某些其他当前可用的技术牵涉将图像分成固定区域并且基于在这些区域中获得的对比度选择源图像。不幸地，这些技术的使用在产生的图像中引入不满意的伪像。此外，这些技术趋向于产生具有有限聚焦质量的图像(特别当面对在单个视场内不是充分平坦的设置在载玻片上的样品时)，由此限制这些显微镜在病理实验室中用于诊断这样的样品中的异常情况(特别在该诊断要求高放大率情况下)(如关于骨髓抽出物)。

开发配置成构建具有有利地增强图像质量的增强景深的图像的健全技术和***因此可是可取的。此外，需要有配置成将具有可观的在非载玻片平面内的材料的样品准确成像的***。

发明内容

根据本技术的方面，提供用于成像的方法。该方法包括使用具有物镜和用于固持将成像的样品的平台的成像装置在多个样品距离处采集对应于重叠视场的多个图像。此外，该方法包括确定对应于该多个采集的图像的每个中的每个像素的品质因数。该方法还包括基于确定品质因数合成复合图像。

根据本技术的另一个方面，提供成像装置。该装置包括物镜。此外，该装置包括配置成产生样品的多个图像的初级图像传感器。另外，该装置包括配置成沿光轴调节物镜和样品之间的样品距离以将样品成像的控制器。该装置还包括扫描台以支撑样品并且至少在大致上正交于光轴的横向上移动样品。此外，该装置包括处理子***以在多个样品距离处采集对应于重叠视场的多个图像，确定对应于在多个采集的图像的每个中的每个像素的品质因数，以及基于该确定的品质因数合成复合图像。

附图说明

当下列详细说明参照附图(其中相似的符号在整个附图中代表相似的部件)阅读时，本发明的这些和其他的特征、方面和优势将变得更好理解，其中：

图1是例如数字光学显微镜等成像装置的框图，其包含本技术的方面；

图2是具有可观的设置在非载玻片上平面内的材料的样品的图解图示；

图3-4是根据本技术的方面的多个图像的采集的图解图示；

图5是图示根据本技术的方面将例如在图2中图示的样品等样品成像的示范性过程的流程图；

图6是根据本技术的方面用于在图5的成像的过程中使用的采集的图像的部分的图解图示；

图7-8是根据本技术的方面的图6的采集的图像的部分的分段的图解图示；以及

图9A-9B是图示根据本技术的方面合成复合图像的方法的流程图。

具体实施方式

如将在下文中详细描述的，提供用于将例如具有可观的在非载玻片平面内的材料的样品等样品成像、同时增强图像质量并且优化扫描速度的方法和***。通过采用在下文中描述的方法和装置，可获得增强的图像质量和相当大地增加的扫描速度，同时简化样品扫描的临床工作流程。

尽管，在下文中图示的示范性实施例在数字显微镜的上下文中描述，将意识到成像装置在例如但不限于望远镜、照相机或医疗扫描仪(例如X射线计算机断层摄影术(CT)成像***等)等其他应用中的使用也与本技术结合考虑。

图1图示例如数字光学显微镜等成像装置10的一个实施例，其包含本发明的方面。该成像装置10包括物镜12、初级图像传感器16、控制器20和扫描台22。在该图示的实施例中，样品24设置在盖玻片26和载玻片28之间，并且样品24、盖玻片26和载玻片28由扫描台22支撑。盖玻片26和载玻片28可由例如玻璃等透明材料制成，同时样品24可代表很多种对象或样品，包括生物样品。例如，样品24可代表例如集成电路芯片或微机电***(MEMS)等工业对象和例如包括肝或肾细胞的活体检视组织等生物样品。在非限制性示例中，这样的样品可具有平均从大约5微米到大约7微米并且变化若干微米的厚度，并且可具有大约15×15毫米的横向表面积。更特别地，这些样品可具有大量在非载玻片28平面内的材料。

物镜12从样品24分隔开一样品距离，其沿Z(竖直)方向上的光轴延伸，并且物镜12具有在大致上正交于Z或竖直方向的X-Y平面(横向或水平方向)中的焦平面。物镜12采集从特定视场中的样品24发射的光30，将该光30放大并且将该光30引导到初级图像传感器16。物镜12可根据例如应用和待成像的样品特征的尺寸而在放大倍率上变化。通过非限制性示例，在一个实施例中，物镜12可以是提供20X或更大放大率并且具有0.5或大于0.5(小焦深)的数值孔径的高倍率物镜。物镜12可根据物镜12的设计工作距离从样品24分隔开一样品距离(范围在从大约200微米到大约几毫米之间)，并且可从例如在焦平面中的750×750微米的视场采集光30。然而，工作距离、视场和焦平面还可根据显微镜配置或待成像的样品24的特性而变化。此外，在一个实施例中，物镜12可耦合于例如压力致动器等位置控制器以向物镜12提供精准电动机控制和快速微小视场调节。

在一个实施例中，初级图像传感器16可使用例如初级光路32产生对应于至少一个视场的样品24的一个或多个图像。初级图像传感器16可代表例如基于从市场获得的电荷耦合器件(CCD)的图像传感器等任意数字成像装置。

此外，成像装置10可使用包括明场、相位衬度(phase contrast)、微分干涉衬度和荧光的很多种成像模式照射样品24。从而，光30可使用明场、相位衬度或微分干涉衬度从样品24透射或反射，或光30可使用荧光从样品24(荧光标记的或固有的)发射。另外，光30可使用透射型照射(其中光源和物镜12在样品24的相反侧上)或反射型照射(其中光源和物镜12在样品24的相同侧上)产生。如此，成像装置10可进一步包括光源(例如高强度LED或水银或氙弧或金属卤化物灯等)，其为了图示方便从图中省略。

此外，在一个实施例中，成像装置10可以是配置成快速捕捉样品24的大量原始数字图像的高速成像装置，其中每个初级图像代表在特定视场的样品24的快照。在某些实施例中，该特定视场可以是整个样品24的仅一小部分的代表。该原始数字图像中的每个然后可数字结合或缝合在一起以形成整个样品24的数字表示。

如之前提到的，初级图像传感器16可使用初级光路32产生对应于至少一个视场的样品24的大量图像。然而，在某些其他实施例中，初级图像传感器16可使用初级光路32产生对应于多个重叠视场的样品24的大量图像。在一个实施例中，成像装置10捕捉并且利用这些在变化的样品距离获得的样品24的图像以产生具有增强景深的样品24的复合图像。此外，在一个实施例中，控制器20可调节物镜12和样品24之间的距离以便于与至少一个视场关联的多个图像的采集。同样，在一个实施例中，成像装置10可存储该多个采集的图像在数据存储库34和/或存储器38中。

根据本技术的方面，成像装置10还可包括用于将例如具有在非载玻片28平面内的材料的样品24等样品成像的示范性处理子***36。特别地，该处理子***36可配置成确定对应于在多个采集的图像的每个中的每个像素的品质因数。该处理子***36还可配置成基于确定品质因数合成复合图像。该处理子***36的工作将参照图5-9更详细地描述。在目前考虑的配置中，尽管存储器38示为从该处理子***36分开的，在某些实施例中，该处理子***36可包括存储器38。另外，尽管目前考虑的配置描绘该处理子***36为从控制器20分开的，在某些实施例中，该处理子***36可与控制器20结合。

精准聚焦一般通过用致动器在Z方向上调节物镜12的位置达到。具体地，该致动器配置成在大致上垂直于载玻片28的平面的方向上移动物镜12。在一个实施例中，该致动器可包括用于高速采集的压电换能器。在某些其他实施例中，该致动器可包括齿条-齿轮传动机构(rack and pinion mechanism)，其具有用于大范围运动的电动机和减速传动器(motor and reduction drive)。

可注意到成像问题一般在设置在载玻片28上的样品24在显微镜的单个视场内不是平的情况下出现。特别地，样品24可具有在非载玻片28平面内的材料，由此产生聚焦欠佳的图像。现在参照图2，描绘载玻片28和设置在其上的样品24的图解图示40。如在图2中描绘的，在某些情况下，设置在载玻片28上的样品24可不是平的。通过示例，当样品24被去物质形态时，样品24的材料膨胀由此致使样品在显微镜的单个视场内具有在非载玻片28平面内的材料。因此，样品的某些区域可能对于给定的样品距离是离焦的。因此，如果物镜12聚焦在关于样品24的第一样品距离处，例如在较低的成像平面A42处等，那么样品24的中心将是离焦的。相反，如果物镜12聚焦在第二样品距离，例如在较高成像平面B44处等，那么样品24的边缘将是离焦的。更具体地，可能不存在其中整个样品24处于可接受的聚焦的折衷样品距离。术语“样品距离”在下文中用于指物镜12和待成像的样品24之间的分开距离。同样，术语“样品距离”和“焦距”可交换地使用。

根据本技术的示范性方面，成像装置10可配置成提高景深，由此允许具有实质表面形貌的样品被准确成像。为此，成像装置10可配置成采集对应于至少一个视场的多个图像同时物镜12放置在离样品24一系列样品距离处，确定对应于在该多个图像中的每个像素的品质因数并且基于确定的品质因数合成复合图像。

因此，在一个实施例中，多个图像可通过将物镜12放置在离样品24的多个对应样品距离(Z高度)处采集，同时扫描台22和样品24留在固定X-Y位置。在某些其他实施例中，多个图像可通过在Z方向上移动物镜12和在X-Y方向上移动扫描台22(和样品24)采集。

图3是通过将物镜12放置在离样品24的多个对应的样品距离(Z高度)处同时扫描台22和样品24留在固定X-Y位置来采集多个图像的方法的图解图示50。具体地，对应于单个视场的多个图像可通过将物镜12放置在关于样品24的多个样品距离处采集。如本文使用的，术语“视场”用于指来自其中的光到达初级图像传感器16的工作表面上的载玻片28的区域。标号52、54和56分别是通过将物镜12分别放置在关于样品24的第一样品距离、第二样品距离和第三样品距离处获得的第一图像、第二图像和第三图像的代表。同样，标号53是对应于物镜12的单个视场的第一图像52的部分的代表。相似地，标号55是对应于物镜12的单个视场的第一图像54的部分的代表。此外，标号57是对应于物镜12的单个视场的第三图像52的部分的代表。

通过示例，当物镜12分别放置在关于样品24的第一、第二和第三样品距离处时成像装置10可使用初级图像传感器16捕捉第一图像52、第二图像54和第三图像56。控制器20或致动器可在第一方向上移置物镜12。在一个实施例中，第一方向可包括Z方向。因此，控制器20可在Z方向上关于样品24移置或竖直移位物镜12以获得在多个样品距离处的多个图像。在图3中图示的示例中，控制器20可在Z方向上关于样品24竖直移位物镜12同时保持扫描台22在固定X-Y位置以获得在多个样品距离处的多个图像52、54、56，其中多个图像52、54、56对应于单个视场。备选地，控制器20可竖直移位扫描台22和样品24同时物镜12留在固定竖直位置，或控制器20可竖直移位扫描台22(和样品24)和物镜12两者。这样采集的图像可存储在存储器38(参见图1)中。备选地，图像可存储在数据存储库34(参见图1)中。

根据本技术的另外方面，可采集对应多个视场的多个图像。具体地，可采集对应于重叠视场的多个图像。现在转向图4，描绘当物镜12在第一方向(Z方向)上移动并且扫描台22(和样品24)在第二方向上移动时多个图像的采集的图解图示60。可注意到在某些实施例中，第二方向可大致上正交于第一方向。同样，在一个实施例中，第二方向可包括X-Y方向。更特别地，描绘对应于多个重叠视场的多个图像的采集。标号62、64和66分别是通过将物镜12分别放置在关于样品24的第一样品距离、第二样品距离和第三样品距离处同时扫描台22在X-Y方向上移动时获得的第一图像、第二图像和第三图像的代表。

可注意到物镜12的视场随扫描台22在X-Y方向上运动而移位。根据本技术的方面，可评价多个采集的图像之间的大致上相似的区域。因此，与扫描台22的运动同步移位的区域可选择使得相同的区域在每个样品距离处评价。标号63、65和67可分别是在第一图像62、第二图像64和第三图像66中与扫描台22的运动同步移位的区域的代表。

在图4中图示的示例中，控制器20可竖直移位物镜12同时还在X-Y方向上移动扫描台22(和样品24)以便于在不同样品距离处对应于重叠视场的图像的采集使得每个视场的每个部分在不同的样品距离处采集。具体地，可采集多个图像62、64和66使得对于扫描台22的任何给定X-Y位置，存在多个图像62、64和66之间的大量重叠。因此，在一个实施例中，可对样品24扫描超出感兴趣区并且对应于不具有图像平面之间的重叠的区域的图像数据可随后被丢弃。这些图像可存储在存储器38中。备选地，这些采集的图像可存储在数据存储库34中。

再次参照图1，根据本技术的示范性方面，一旦对应于至少一个视场的多个图像被采集，成像装置10可确定在多个样品距离处捕捉的样品24的相应多个采集的图像的定量特性。定量特性代表图像质量的定量测量并且还可称为品质因数。在一个实施例中，品质因数可包括梯度矢量的离散近似。更特别地，在一个实施例中，品质因数可包括绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似。因此，在某些实施例中，成像装置10并且更特别地处理子***36可配置成确定多个采集图像的每个中的每个像素的采用以下形式的品质因数：对绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似。在某些实施例中，低通滤波器可应用于梯度以在梯度的计算期间消除任何噪音。可注意到尽管品质因数描述为绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似，使用例如但不限于拉普拉斯算子滤波器、Sobel滤波器、Canny边缘检测器或局部图像对比度的估计等其他品质因数也与本技术结合考虑。

每个采集的图像可由成像装置10处理以通过确定对应于图像中的每个像素的品质因数提取关于聚焦质量的信息。更特别地，处理子***36可配置成确定对应于在多个采集的图像的每个中的每个像素的品质因数。如之前提到的，在某些实施例中，对应于每个像素的品质因数可包括对梯度矢量的离散近似。具体地，在一个实施例中，品质因数可包括对绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似。备选地，品质因数可包括拉斯算子滤波器、Sobel滤波器、Canny边缘检测器或局部图像对比度的估计。

随后，根据本技术的方面，对于在每个采集的图像中的每个像素，处理子***36可配置成在多个图像中找出产生对应于横跨多个采集的图像的该像素的最好品质因数的图像。如本文使用的，术语“最好品质因数”可用于指在空间位置产生最好聚焦质量的品质因数。此外，对于在每个图像中的每个像素，处理子***36可配置成指派第一值给该像素(如果对应图像产生最好品质因数)。另外，处理子***36还可配置成指派第二值给像素(如果在多个图像中的另一个图像产生最好品质因数)。在某些实施例中，第一值可以是“1”，而第二值可以是“0”。这些指派值可存储在数据存储库34和/或存储器38中。

根据本技术的另外的方面，处理子***36还可配置成基于确定的品质因数合成复合图像。更特别地，该复合图像可基于指派给像素的值合成。在一个实施例中，这些指派值可采用阵列的形式存储。可注意到尽管本技术描述使用阵列以存储指派值，还设想用于存储指派值的其他技术。因此，处理子***36可配置成产生对应于多个采集的图像中的每个的阵列。同样，在一个实施例中，这些阵列可具有与对应采集的图像的尺寸大致上相似的尺寸。

一旦这些阵列产生，可填充在每个阵列中的每个元素。根据本技术的方面，在阵列中的元素可基于对应于该像素的品质因数填充。更特别地，如果在图像中的像素被指派第一值，那么在对应阵列中的对应元素可被指派第一值。采用相似的方式，在对应于像素的阵列中的元素可被指派第二值(如果在对应图像中的该像素被指派第二值)。处理子***36可配置成基于指派给在采集的图像中的像素的值填充所有阵列。在该处理之后，可产生填充阵列集。填充的阵列也可存储在例如数据存储库34和/或存储器38中。

在某些实施例中，处理子***36还可通过位屏蔽(bit mask)处理填充的阵列集以产生位屏蔽滤波阵列。通过示例，通过位屏蔽滤波器处理填充阵列可便于产生仅包括具有第一值的元素的位屏蔽滤波阵列。

另外，处理子***36可基于位屏蔽滤波阵列从多个采集的图像中的每个选择像素。具体地，在一个实施例中，可选择对应于在关联的位屏蔽滤波阵列中具有第一值的元素的在采集的图像中的像素。此外，处理子***36可使用选择的像素混合采集的图像以产生复合图像。然而，这样的多个采集的图像的混合可在复合图像中产生不期望的混合伪像。在某些实施例中，不期望的混合伪像可包括条带的形成，例如在复合图像中的马赫带等。

根据本技术的方面，采用条带形式的不期望的混合伪像可通过对位屏蔽滤波阵列应用滤波器使得平滑从一个图像到下一个的转变而相当大地最小化。更特别地，根据本技术的方面，条带可通过使用双三次低通滤波器平滑从一个图像到下一个的转变而相当大地最小化。通过双三次滤波器处理位屏蔽滤波阵列引起滤波输出的产生。在某些实施例中，滤波输出可包括对应于多个图像的双三次滤波阵列。处理子***36然后可配置成使用该滤波输出作为α通道以将图像混合在一起以产生复合图像。特别地，在α混合中，一般在从大约0到大约1的范围中的权重可指派给在多个图像的每个中的每个像素。该指派的权重一般可命名为α。具体地，在最终复合图像中的每个像素可通过对在采集的图像中的像素值和它们的对应α值的乘积求和并且将该总和除以α值的总和来计算。在一个实施例中，在复合图像中的每个像素(R_C，G_C，B_C)可计算为：

$(R_C,G_C,B_C)=\left[\begin{array}{c}\frac{{\mathrm{\α}}_1{R}_1+{\mathrm{\α}}_2{R}_2+...+{\mathrm{\α}}_n{R}_n}{{\mathrm{\α}}_1+{\mathrm{\α}}_2+...+{\mathrm{\α}}_n},\frac{{\mathrm{\α}}_1{G}_1+{\mathrm{\α}}_2{G}_2+...+{\mathrm{\α}}_n{G}_n}{{\mathrm{\α}}_1+{\mathrm{\α}}_2+...+{\mathrm{\α}}_n},\\ \frac{{\mathrm{\α}}_1{B}_1+{\mathrm{\α}}_2{B}_2+...+{\mathrm{\α}}_n{B}_n}{{\mathrm{\α}}_1+{\mathrm{\α}}_2+...+{\mathrm{\α}}_n}\end{array}\right]---\left(1\right)$

其中n可以是在多个采集的图像中的像素的数量的代表，(α₁，α₂，...α_n)可对应地是指派给在多个采集的图像中的每个像素的权重的代表，(R₁，R₂，...R_n)可以是在多个采集的图像中的像素的红色值的代表，(G₁，G₂，...G_n)可是在多个采集的图像中的像素的绿色值的代表并且(B₁，B₂，...B_n)可是在多个采集的图像中的像素的蓝色值的代表。

因此，每个选择的像素可按基于滤波输出的横跨多个图像的对应像素的加权平均值来混合在一起以产生具有增强景深的复合图像。

根据本技术的另外的方面，成像装置10可配置成采集多个图像。在一个实施例中，样品24的多个图像可通过将物镜12放置在多个样品距离(Z高度)处同时扫描台22保持固定在离散X-Y位置而采集。特别地，采集对应于至少一个视场的多个图像可包括通过沿Z方向移置物镜12将物镜12放置在多个样品距离处同时扫描台22沿X-Y方向保持在固定的离散位置。因此，样品24的对应多个图像可通过将物镜12放置在多个样品距离(Z高度)处同时扫描台22保持固定在一系列离散X-Y位置而采集。具体地，对应的图像集可通过沿Z方向移置物镜12将物镜12放置在多个样品距离处同时扫描台22沿X-Y方向放置在一系列离散位置处而采集。可注意到扫描台22可通过在X-Y方向上平移扫描台放置在一系列离散X-Y位置处。

在另一个实施例中，多个重叠图像可通过沿Z方向移动物镜12同时扫描台22在X-Y方向上同时平移而采集。这些重叠图像可采集使得重叠图像在每个可能的Z高度处覆盖所有X-Y位置。

随后，处理子***36可配置成确定对应于在多个采集的图像的每个中的每个像素的品质因数。此外，根据本技术的方面，品质因数可包括梯度矢量的离散近似。具体地，在某些实施例中，品质因数可包括梯度矢量的离散近似。更特别地，在一个实施例中，品质因数可包括绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似。复合图像然后可基于由处理子***36确定的品质因数合成，如之前关于图1描述的。

如之前提到的，混合多个采集的图像可由于像素从不同图像选择并且由此引起从一个图像到另一个的突然转变而引起条带在复合图像中形成。根据本技术的方面，多个采集的图像可通过使用双三次滤波器处理。通过使用双三次滤波器处理多个采集的图像使从一个图像到另一个的任何突然转变平滑，由此最小化在复合图像中的任何条带。

现在转向图5，描绘图示用于将样品成像的示范性方法的流程图80。更特别地，提供用于将具有在非载玻片平面内的材料的大部分的样品成像的方法。该方法80可在计算机可执行指令的一般上下文中描述。一般，计算机可执行指令可包括例程、程序、对象、部件、数据结构、规程、模块、函数等，其执行特定功能或实现特定抽象数据类型。在某些实施例中，计算机可执行指令可位于例如存储器38(参见图1)等计算机存储介质中，其对于成像装置10(参见图1)是本地的，并且与处理子***36操作关联。在某些其他实施例中，计算机可执行指令可位于例如存储器存储装置等计算机存储介质中，其从成像装置10(参见图1)移走。此外，该成像方法80包括可采用硬件、软件或其的组合实现的一系列操作。

该方法在步骤82开始，其中可采集与至少一个视场关联的多个图像。更特别地，包含样品的载玻片装载到成像装置上。通过示例，具有样品24的载玻片28可装载到成像装置10的扫描台22上(参见图1)。随后，可采集对应于至少一个视场的多个图像。在一个实施例中，对应于单个视场的多个图像可通过在Z方向上移动物镜12同时扫描台22(和样品24)留在固定X-Y位置而采集。通过示例，该对应于单个视场的多个图像可如参照图3描述的采集。因此，在单个视场处，样品24的第一图像可通过将物镜12放置在关于样品24的第一样品距离(Z高度)处采集。第二图像可通过将物镜12放置在关于样品24的第二样品距离处获得。采用相似的方式，多个图像可通过将物镜12放置在关于样品24的对应样品距离处获得。在一个实施例中，步骤82的图像采集可需要样品24的3-5个图像的采集。备选地，扫描台22(和样品24)可竖直移位同时物镜12留在固定竖直位置，或扫描台22(和样品24)和物镜12两者可竖直移位以采集对应于单个视场的多个图像。

然而，在某些其他实施例中，多个图像可通过在Z方向上移动物镜12同时扫描台22和样品24在X-Y方向上移动而采集。通过示例，对应于多个视场的多个图像可如参照图4描述的采集。具体地，对应于重叠视场的多个图像的采集可间隔为相当足够近使得对于物镜12的每个位置(Z高度)至少一个采集的图像覆盖图像平面中的任何位置。因此，第一图像、第二图像和第三图像可通过将物镜12分别放置在关于样品24的第一样品距离、第二样品距离和第三样品距离处同时扫描台22在X-Y方向上移动而采集。

继续参照图5，一旦采集了多个图像，可确定对应于在多个图像的每个中的每个像素的例如品质因数等质量特性，如由步骤84指示的。如之前提到的，根据本技术的方面，在一个实施例中，对应于每个像素的品质因数可是对梯度矢量的离散近似的代表。更特别地，在一个实施例中，对应于每个像素的品质因数可以是对绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似的代表。在某些其他实施例中，品质因数可包括拉斯算子滤波器、Sobel滤波器、Canny边缘检测器或局部图像对比度的估计，如之前提到的。对应于在多个图像的每个中的每个像素的品质因数的确定参照图6-8可更好地理解。

典型地，例如第一图像52(参见图3)等图像包括红色“R”、蓝色“B”和绿色“G”像素的设置。图6是在多个图像中的采集的图像的部分100的代表。例如，该部分100可是第一图像52的部分的代表。标号102是部分100的第一分段的代表，而部分100的第二分段一般可由标号104代表。

如之前提到的，品质因数可以是对绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似的代表。图7图示图6的部分100的第一分段102的图解代表。因此，如在图7中描绘的，绿色“G”像素106的梯度矢量的离散近似可确定为：

$|\▿G|\≈\sqrt{{\left[\frac{(G_{\mathrm{LR}}-G_{\mathrm{UL}})\sqrt{2}}{4}\right]}^2+{\left[\frac{(G_{\mathrm{LL}}-G_{\mathrm{LR}})\sqrt{2}}{4}\right]}^2}---\left(2\right)$

其中G_LR、G_LL、G_UL和G_UR是绿色“G”像素106的相邻绿色“G”像素的代表。

图8是图6的部分100的第二分段104的代表。因此，如果像素包括红色“R”像素或蓝色“B”像素，红色“R”像素108(或蓝色“B”像素)的梯度矢量的离散近似可确定为：

$|\▿G|\≈\sqrt{{\left[\frac{(G_R-G_L)}{2}\right]}^2+{\left[\frac{(G_U-G_D)}{2}\right]}^2}---\left(3\right)$

其中G_R、G_L、G_U和G_D是红色“R”像素106或蓝色“B”像素的相邻绿色“G”像素的代表。

返回参照图5，在步骤84，对应于多个图像的每个中的每个像素的采用对绿色通道的强度的梯度矢量的离散近似的形式的品质因数可如参照图6-8描述的确定。标号86一般可是确定的品质因数的代表。在一个实施例中，在步骤84这样确定的品质因数可存储在数据存储库34(参见图1)中。

可注意到在需要采集对应于重叠视场的多个图像的实施例中，物镜12的视场随扫描台22在X-Y方向上运动而移位。根据本技术的方面，可评估横跨多个采集的图像的大致上相似的区域。因此，与扫描台22的运动同步移位的区域可选择使得相同区域在每个样品距离处评估。在多个图像中的区域选择后，对应于仅选择的区域的品质因数可确定使得大致上相似的区域在每个样品距离处评估。

随后，在步骤88，根据本技术的示范性方面，具有增强景深的复合图像可基于在步骤84确定的品质因数合成。步骤88可参照图9更好地理解。现在转向图9A-9B，图示描绘基于确定的与多个图像中的像素关联的品质因数86合成复合图像的流程图110。更特别地，图5的步骤88在图9A-9B中更详细地描绘。

如之前提到的，在一个实施例中，多个阵列可在复合图像的产生中使用。因此，该方法在步骤112开始，其中可形成对应于多个图像中的每个的阵列。在某些实施例中，阵列可形成尺寸使得每个阵列具有大致上相似于在多个图像中的对应图像尺寸的尺寸。通过示例，如果在多个图像中的每个图像具有(M×N)的尺寸，那么对应的阵列可形成以具有(M×N)的尺寸。

另外，在步骤114，对于在多个采集的图像的每个中的每个像素，可识别多个图像中产生横跨多个图像中的对应像素的该像素的最好品质因数的图像。如之前提到的，最好品质因数是在空间位置产生最好聚焦质量的品质因数的代表。随后，在每个图像中的每个像素可被指派第一值(如果对应图像产生该像素的最好品质因数)。另外，第二值可指派给像素(如果在多个图像中的另一个图像产生最好品质因数)。在某些实施例中，第一值可是“1”，而第二值可是“0”。在一个实施例中这些指派值可存储在数据存储库34中。

此外，根据本技术的示范性方面，可填充在步骤112产生的阵列。具体地，每个阵列可通过基于识别的品质元素指派第一值或第二值给在该阵列中的每个元素来填充。通过示例，可选择在多个采集的图像中的图像中的像素。具体地，可选择代表在具有(1，1)的(x，y)坐标的第一图像52(参见图3)中的第一像素的像素p_1，1。

随后，在步骤116，可执行校验以证实对应于第一图像52的像素p_1，1的品质因数是否是对应于在多个图像52、54、56(参见图3)中的所有第一像素的“最好”品质因数。更特别地，在步骤116，可执行校验以证实像素是否具有与该像素关联的第一值或第二值。在步骤116，如果确定对应于像素p_1，1的图像产生最好品质因数并且因此具有关联的第一值，那么在与第一图像52关联的阵列中的对应表目可被指派第一值，如由步骤118指示的。在某些实施例中，第一值可是“1”。然而，在步骤116，证实对应于第一像素p_1，1的第一图像52不产生最好品质因数并且因此具有关联的第二值，那么在与第一图像52关联的阵列中的对应表目可被指派第二值，如由步骤120指示的。在某些实施例中，第二值可以是“0”。因此，在阵列中对应于像素的表目可被指派第一值(如果在对应图像中的该像素产生横跨多个图像的最好品质因数)。然而，如果在多个采集的图像中的另一个图像产生最好品质因数，那么在阵列中对应于该像素的表目可被指派第二值。

填充对应于在多个图像中的每个图像的阵列的该过程可重复直到在阵列中的所有表目被填充。因此，在步骤122，可执行校验以证实在图像的每个中的所有像素是否已经处理。在步骤122，如果证实在多个图像的每个中的所有像素已经处理，控制可转移到步骤124。然而，在步骤122，如果证实在多个图像的每个中的所有像素尚未处理，控制可转移回到步骤114。作为步骤114-122的处理的结果，可产生其中每个表目具有第一值或第二值的填充阵列124集。更特别地，在填充阵列集中的每个阵列包括在其中图像产生最好品质因数的空间位置处的第一值和在其中另一个图像产生最好品质因数的空间位置处的第二值。可注意到在图像中具有关联的第一值的空间位置可以是在该图像中产生最好聚焦质量的空间位置的代表。相似地，在该图像中具有关联的第二值的空间位置可以是其中另一个图像产生最好聚焦质量的空间位置的代表。

继续参照图9，复合图像可基于填充阵列124集来合成。在某些实施例中，这些填充阵列124中的每个可通过使用位屏蔽处理以产生位屏蔽滤波填充阵列，如由步骤126指示的。可注意到在某些实施例中步骤126可以是可选步骤。在一个实施例中，这些位屏蔽滤波阵列可仅包括例如具有关联的第一值的元素。随后，该位屏蔽滤波阵列可用于合成复合图像。

根据本技术的方面，适当的像素可基于对应的位屏蔽滤波阵列从多个图像选择，如由步骤128指示的。更特别地，可选择在采集的图像的每个中的对应于在位屏蔽滤波阵列中具有关联的第一值的表目的像素。多个采集的图像可基于选择的像素混合。可注意到如在上文中描述的选择像素可引起相邻像素从在不同样品距离(Z高度)采集的图像挑选。因此，该基于选择的像素的图像混合由于像素从在不同样品距离采集的图像挑选可在混合图像中产生例如马赫带等不期望的混合伪像。

根据本技术的方面，这些不期望的混合伪像可通过使用双三次滤波器而相当大地最小化。更特别地，位屏蔽滤波阵列可在基于选择的像素混合图像之前通过双三次滤波器处理以便于在混合图像中的任何条带的最小化，如由步骤130指示的。在一个实施例中，该双三次滤波器可包括具有对称特性的双三次滤波器使得

k(s)+k(r-s)＝1                (4)

其中s是像素离滤波器的中心的位移的代表并且r是恒定半径。

可注意到该恒定半径r的值可选择使得滤波器向图像提供平滑外观，而不引起模糊或重影图像。在一个实施例中，该恒定半径可具有从大约4到大约32的范围中的值。

此外，在一个实施例中，双三次滤波器可具有如下表示的特性：

$k\left(s\right)=\left\{\begin{array}{cc}2{\left(\frac{s}{r}\right)}^3-3{\left(\frac{s}{r}\right)}^2+1,& s\≤1\\ 0,& s>1\end{array}\right.---\left(5\right)$

其中如之前提到的，s是离滤波器的中心的像素位移并且r是恒定半径。

可注意到滤波器特性可以是旋转对称的。备选地，滤波器特性可独立应用在X和Y轴上。

在步骤130通过使用双三次滤波器处理位屏蔽滤波阵列产生滤波输出132。在一个实施例中，该滤波输出132可包括双三次滤波阵列。具体地，通过使用双三次滤波器处理位屏蔽滤波阵列产生滤波输出132，其中每个像素具有与该像素关联的对应权重。根据本技术的示范性方面，该滤波输出132可用作α通道以帮助混合多个采集的图像以产生复合图像90。更特别地，在滤波输出132中，在位屏蔽滤波阵列的每个中的每个像素将具有与该像素关联的权重。通过示例，如果像素横跨这些位屏蔽滤波阵列具有值1、0、0，那么通过使用双三次滤波器处理位屏蔽滤波阵列可在滤波输出132中产生横跨这些双三次滤波阵列的具有权重0.8、0.3、0.1的该像素。因此，对于给定像素，横跨双三次滤波阵列的转变比在对应的位屏蔽滤波阵列中的1到0或0到1的突然转变更平滑。另外，通过使用双三次滤波器的滤波处理还使任何急剧的空间特征平滑并且掩饰空间不确定性，由此便于去除从一个图像到另一个的任何突然转变。

随后，在步骤136，多个采集的图像可采用在步骤128选择的像素并且使用滤波输出132作为α通道来混合以产生复合图像90。更特别地，在复合图像90中的每个(x，y)位置处的像素可确定为基于在滤波输出132中的双三次滤波阵列的该像素横跨多个图像的加权平均值。具体地，根据本技术的方面并且如之前参照图1提到的，在成像装置10中的处理子***36可配置成通过对对应于选择像素的像素值和它们的对应α值的乘积求和并且将该总和除以α值的总和来计算在复合图像中的每个像素从而产生复合图像。例如，在一个实施例中，在例如复合图像90(参见图5)等复合图像中每个像素(R_C，G_C，B_C)可通过使用方程(1)计算。

作为该处理的结果，产生具有增强景深的复合图像90(参见图5)。具体地，由于采用具有横跨在不同样品距离处采集的多个图像的最好品质因数的像素以产生复合图像90，复合图像90具有大于采集的图像景深的景深。

此外，前述示例、呈现和处理步骤(例如可由成像装置10和/或处理子***36执行的那些等)可由适当代码在例如通用或专用计算机等基于处理器的***上实现。还应该注意到本技术的不同实现可采用不同顺序或大致上同时(即，并行)执行本文描述的步骤中的一些或所有。此外，功能可采用包括但不限于C++或Java的多种编程语言实现。这样的代码可存储或适应于存储在一个或多个有形的机器可读介质上，例如在数据存储库芯片、本地或远程硬盘、光盘(即，CD或DVD)、例如存储器38(参见图1)等存储器或其他介质上，其可由基于处理器的***访问以执行存储的代码。注意有形介质可包括指令印刷在其上的纸或另一个适合的介质。例如，指令可通过纸或其他介质的光学扫描电子地捕捉，然后如果需要的话采用适合的方式编译、解释或另外处理，并且然后存储在数据存储库34或存储器38中。

在上文中描述的用于将样品成像的方法和成像装置显著地增强图像质量(特别当将具有可观的在非载玻片平面内的材料的样品成像时)。更特别地，在上文中描述的方法和***的使用便于具有增强景深的复合图像的产生。具体地，该方法通过用物镜12在离样品的一系列距离处采集图像来扩展“景深”以适应具有表面形貌的样品。另外，图像还可通过沿Z方向移动物镜12同时扫描台22和样品24沿X-Y方向移动采集。图像质量然后在图像的每个中在图像的表面之上评定。像素从在对应于提供最锐聚焦的样品距离的各种样品距离上采集的图像选择。另外，混合功能的使用便于一个焦深和另一个之间的平滑转变，由此最小化在复合图像中的条带的形成/出现。双三次滤波器的使用允许使用在对应的多个样品距离处采集的多个图像产生具有增强景深的复合图像。沿深度(Z)轴的变化可与在X和Y方向上扫描载玻片结合，由此产生跟踪样品的深度变化的单个大平面图像。

尽管本文仅图示和描述本发明的某些特征，本领域内技术人员将想到许多修改和改变。因此，要理解附上的权利要求意在覆盖所有这样的修改和改变，其落入本发明的真正精神内。

部件列表

Claims (9)

1.一种用于成像的方法，其包括：

使用具有物镜和用于固持待成像的样品的平台的成像装置在多个样品距离处采集对应于重叠视场的多个图像；

确定对应于所述多个采集的图像的每个中的每个像素的品质因数；其中所述品质因数包括对绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似；

以及基于所确定的品质因数合成复合图像。

2.如权利要求1所述的方法，其中在所述多个样品距离处采集对应于所述重叠视场的多个图像包括沿第一方向移置所述物镜。

3.如权利要求2所述的方法，进一步包括沿第二方向移动扫描台。

4.如权利要求3所述的方法，其中确定所述品质因数包括确定对应于与所述扫描台在所述第二方向上的移动同步移位的样品中的区域的品质因数。

5.如权利要求2所述的方法，其中在所述多个样品距离处采集对应于所述重叠视场的所述多个图像包括在不同样品距离处采集对应于所述重叠视场的图像使得每个视场的每个部分在不同样品距离处采集。

6.如权利要求5所述的方法，其中在所述多个样品距离处采集对应于所述重叠视场的所述多个图像进一步包括：

采集对应于在所述样品中感兴趣区域外面的区域的图像数据；以及

丢弃对应于在所述多个采集的图像之间不重叠的区域的图像数据。

7.如权利要求1所述的方法，其中合成所述复合图像包括：

对于在所述多个采集的图像的每个中的每个像素，识别所述多个图像中产生该像素的最好品质因数的图像；以及

如果对应于像素的第一图像产生最好品质因数，指派第一值给该像素，

如果在另一个图像中的对应像素产生最好品质因数，指派第二值给第一图像中的所述像素，

产生所述多个图像中的每个图像的阵列；以及

基于所确定的品质因数填充所述阵列以产生填充的阵列集。

8.如权利要求7所述的方法，进一步包括：

使用位屏蔽处理所述填充的阵列集中的每个填充的阵列以产生位屏蔽滤波阵列；

使用双三次滤波器处理所述位屏蔽滤波阵列以产生滤波输出；

按基于所述滤波输出的横跨所述多个图像的对应像素的加权平均值来混合选择的像素以产生具有增强景深的所述复合图像，

在显示器上显示所述复合图像。

9.一种成像装置(10)，其包括：

物镜(12)；

配置成产生样品(24)的多个图像的初级图像传感器(16)；

配置成沿光轴调节所述物镜(12)和所述样品(24)之间的样品距离以将所述样品(24)成像的控制器(20)；

扫描台(22)，其用于支撑所述样品(24)并且至少在正交于所述光轴的横向上移动所述样品(24)；

处理子***(36)，其用于：

在多个样品距离采集对应于重叠视场的多个图像；

确定对应于所述多个采集图像的每个中的每个像素的品质因数；其中所述品质因数包括对绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似；

以及基于所确定的品质因数合成复合图像。