CN108351504A - 用于在不同照射条件下生成图像的计算显微镜及方法 - Google Patents
用于在不同照射条件下生成图像的计算显微镜及方法 Download PDFInfo
- Publication number
- CN108351504A CN108351504A CN201680065388.0A CN201680065388A CN108351504A CN 108351504 A CN108351504 A CN 108351504A CN 201680065388 A CN201680065388 A CN 201680065388A CN 108351504 A CN108351504 A CN 108351504A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- irradiation condition
- controller
- irradiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/02—Objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/245—Devices for focusing using auxiliary sources, detectors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
Abstract
公开了用于使用在多个照射条件下获取的多个图像来构建样本的图像的***和方法。在一个实现方式中,显微镜可以包括图像捕获设备、照射组件和控制器。控制器可以使照射组件在一系列不同照射条件下照射样本。控制器还可以从图像捕获设备获取样本的多个图像,其中多个图像包括关于每个照射条件的至少一个图像。控制器还可以从至少一个图像中确定样本关于每个照射条件的图像数据。控制器还可以从确定的关于每个照射条件的图像数据并用非迭代过程生成样本的重建图像。重建图像可以具有比第一图像分辨率高的第二图像分辨率。
Description
相关申请的交叉引用
本申请要求以下申请文件的优先权益:于2015年11月11日提交的美国临时专利申请号为62/253,723;于2015年11月11日提交的美国临时专利申请号为62/253,726;以及于2015年11月11日提交的美国临时专利申请号为62/253,734。所有上述申请均通过引用以其整体并入本文。
背景
I.技术领域
本公开总体上涉及计算显微镜,并且更具体地,涉及用于在不同照射条件下生成图像的***和方法。
II.背景信息
当今的商用显微镜依赖昂贵而精细的光学镜头,并且通常需要额外的硬件来共享和处理获取的图像。此外,对于扫描光学显微镜,需要额外昂贵的装备,如精确的机械和科学相机。被称为计算显微镜的新一代显微镜技术已经开始出现,并利用先进的图像处理算法(通常进行硬件修改)以克服传统显微镜的局限。在某些情况下,计算显微镜可以在不使用昂贵的光学镜头的情况下产生样本的高分辨率数字图像。另外,计算显微镜可能会为基于计算机视觉、共享数据等的附加功能打开大门。
概述
公开的***和方法涉及计算显微镜领域。某些公开的实施例针对用于使用在多个照射条件下获取的图像来聚焦显微镜的***和方法。所公开的实施例还包括用于在多个照射条件下获取图像以生成样本的高分辨率图像的***和方法。
符合所公开的实施例的是,提供了一种用于使用在多个不同照射条件下获取的图像信息来构建样本的图像的显微镜。显微镜可以包括至少一个图像捕获设备,所述至少一个图像捕获设备被配置为以第一图像分辨率捕获样本的图像。显微镜还可以包括具有第一数值孔径的透镜。显微镜还可以包括照射组件,所述照射组件包括至少一个光源,该至少一个光源被配置为照射样本,其中,照射的最大入射角度表示第二数值孔径,所述第二数值孔径至少是所述第一数值孔径的1.5倍。显微镜还可以包括至少一个控制器,所述至少一个控制器被编程为:使照射组件以一系列不同照射条件照射样本;从至少一个图像捕获设备获取样本的多个图像,其中,多个图像包括关于每个照射条件的至少一个图像;从所述至少一个图像中确定样本关于每个照射条件的图像数据;以及从确定的关于每个照射条件的图像数据并用非迭代过程生成样本的重建图像,所述重建图像具有比所述第一图像分辨率高的第二图像分辨率。
还符合所公开的实施例的是,提供了一种用于使用在在多个不同照射条件下获取的图像信息来构建样本的图像的显微镜。显微镜可以包括至少一个图像捕获设备,所述至少一个图像捕获设备被配置为以第一图像分辨率捕获样本的图像。显微镜还可以包括具有第一数值孔径的透镜。显微镜还可以包括照射组件,所述照射组件包括至少一个光源,该至少一个光源被配置为照射样本,其中,照射的最大入射角度表示第二数值孔径,所述第二数值孔径至少是所述第一数值孔径的1.5倍。显微镜还可以包括至少一个控制器,所述至少一个控制器被编程为:使照射组件以一系列不同照射角度照射样本;从至少一个图像捕获设备获取样本的多个图像,其中,多个图像包括关于每个照射角度的至少一个图像;从所述至少一个图像中确定样本关于每个照射角度的图像数据,其中,所述图像数据包括所述样本在每个照射条件下的相位信息;以及从关于一系列不同照射角度的图像数据生成样本的重建图像,所述重建图像具有比所述第一图像分辨率高的第二图像分辨率。
符合公开的实施例的是,提供了一种用于使用在多个不同照射条件下获取的图像信息来构建样本的图像的方法。方法可以包括:以一系列不同照射条件照射样本,其中,对样本的照射是以一入射角度进行的,所述入射角度表示的数值孔径至少是与图像捕获设备相关联的数值孔径的1.5倍;从所述图像捕获设备获取以第一图像分辨率捕获的所述样本的多个图像,其中,所述多个图像包括关于每个照射条件的至少一个图像;从所述至少一个图像,确定所述样本关于每个照射条件的图像数据,其中,所述图像数据包括所述样本在每个照射条件下的相位信息;以及从确定的关于每个照射条件的图像数据并用非迭代过程生成所述样本的重建图像,所述重建图像具有比所述第一图像分辨率高的第二图像分辨率。
另外,非暂时性计算机可读存储介质可以存储程序指令,该程序指令由至少一个控制器执行,并实现本文描述的任何方法。
前面的总体描述和下面的详细描述仅是示例性和解释性的,并不限制权利要求。
附图说明
并入并构成本公开的一部分的附图示出了各种公开的实施例。在附图中:
图1是符合所公开的实施例的示例性显微镜的图形表示;
图2A是符合所公开的实施例的在图1中的显微镜失焦时两个光束对的光路的图形表示;
图2B是符合所公开的实施例的在图1中的显微镜聚焦时的两个光束对的光路图形表示;
图3A是符合所公开的实施例的在图1中的显微镜失焦时显示在显示器上的示例性图像的图形表示;
图3B是符合所公开的实施例的在图1中的显微镜聚焦时显示在显示器上的示例性图像的图形表示;
图4是符合所公开的实施例示出使用在多个照射条件下获取的图像来聚焦样本的图像的示例性过程的流程图;
图5是符合所公开的实施例的使用在多个照射条件下获取的图像来构建样本的图像的示例性过程的表示;
图6A是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的配置的图形表示;
图6B是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示;
图6C是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示;
图6D是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示;
图6E是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示;
图6F是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示;
图7是符合所公开的实施例示出使用图6A中的配置的图5的过程的实现的流程图;
图8是符合所公开的实施例的图1中的显微镜的数值孔径的图形表示;
图9A是符合所公开的实施例的在单个照射条件下获取的图像数据的傅里叶平面中的图示;
图9B是符合所公开的实施例的在多个不同照射条件下获取的图像数据的傅里叶平面中的图示;和
图10是符合所公开的实施例使用在多个照射条件下获取的图像来重建样本的图像的示例性过程的流程图。
详细描述
下面的详细描述参照附图。在任何可能的情况下,在附图和以下描述中使用相同的附图标记来指代相同或相似的部分。尽管本文描述了若干说明性实施例,但是修改、更改和其他实现方式是可能的。例如,可以对附图中示出的组件进行替换、添加或修改,并且可以通过替代、重新排序、移除或向所公开的方法添加步骤来修改本文描述的说明性方法。因此,以下详细描述不限于所公开的实施例和示例。相反,适用范围由所附的权利要求限定。
所公开的实施例提供了使用一个或更多个相机来提供可位于平台上的样本的高分辨率图像的显微镜和方法。在各种实施例中,显微镜可以使用在多个照射条件下捕获的样本的图像。例如,多个照射条件可以包括不同照射角度。在本公开的一个方面中,显微镜可以在捕获的图像中识别样本的与多个照射条件相对应的多次出现。显微镜可估计多次出现之间的偏移并确定显微镜失焦的程度。本公开的该方面参考图2-4进行了详细描述。在本公开的另一方面,显微镜可以在每个照射条件下捕获样本的多个图像,聚合来自这些图像的图像数据,并且从该图像数据构建高分辨率图像。在一个示例中,显微镜可以聚合傅里叶平面中的图像数据,并且然后使用傅里叶逆变换来重建高分辨率图像。本公开的该方面参考图5-10进行了详细描述。
图1是符合示例性公开的实施例的显微镜100的图形表示。术语“显微镜”是指用于放大比肉眼可易观察到的物体小的物体的任何设备或仪器,即,为用户创建物体的图像,其中图像比物体大。显微镜的一种类型可以是“光学显微镜”,其使用光与光学***的组合以放大物体。光学显微镜可以是具有一个或更多个放大镜的简单显微镜。显微镜的另一种类型可以是“计算显微镜”,其包括图像传感器和图像处理算法以增强或放大物体的尺寸或其他特性。计算显微镜可以是专用设备,或者可以是通过将软件和/或硬件与现有光学显微镜结合以产生高分辨率数字图像而创建的。如图1所示,显微镜100包括图像捕获设备102、聚焦致动器104、连接到存储器108的控制器106、照射组件110和用户接口112。显微镜100的示例性用途可以是:捕获安装在位于图像捕获设备102的视场(FOV)内的平台116上的样本114的图像,处理捕获的图像并且在用户接口112上呈现样本114的放大的图像。
图像捕获设备102可用于捕获样本114的图像。在本说明书中,术语“图像捕获设备”包括将进入透镜的光信号记录为图像或图像序列的设备。光信号可以在近红外、红外、可见光和紫外光谱中。图像捕获设备的示例包括CCD相机、CMOS相机、光传感器阵列、摄像机、配备有相机的移动电话等。一些实施例可以仅包括单个图像捕获设备102,而其他实施例可以包括两个、三个或甚至四个或更多个图像捕获设备102。在一些实施例中,图像捕获设备102可以被配置成捕获在限定的视场(FOV)中的图像。而且,当显微镜100包括若干图像捕获设备102,图像捕获设备102可以在其相应的FOV中具有重叠区域。图像捕获设备102可以具有用于捕获样本114的图像数据的一个或更多个图像传感器(未在图1中示出)。在其他实施例中,图像捕获设备102可以被配置成以高于1000万像素、高于1200万像素、高于1500万像素或高于2000万像素的图像分辨率捕获图像。另外,图像捕获设备102还可以被配置为具有小于5微米、小于3微米或小于1.6微米的像素尺寸。
在一些实施例中,显微镜100包括聚焦致动器104。术语“聚焦致动器”是指能够将输入信号转换成物理运动以调整样本114与图像捕获设备102之间的相对距离的任何设备。各种聚焦致动器可以被使用,包括:例如,线性马达、电致伸缩致动器、静电马达、电容马达、音圈致动器、磁致伸缩致动器等。在一些实施例中,聚焦致动器104可以包括模拟位置反馈传感器和/或数字位置反馈元件。聚焦致动器104被配置为接收来自控制器106的指令,以便使光束会聚以形成样本114的清晰且边界限定明确的图像。在图1所示的示例中,聚焦致动器104可以被配置为通过移动图像捕获设备102来调整距离。然而,在其他实施例中,聚焦致动器104可以被配置为通过移动平台116或通过移动图像捕获设备102和平台116两者来调整距离。
根据所公开的实施例,显微镜100还可以包括用于控制显微镜100的操作的控制器106。控制器106可以包括各种类型的设备,以用于根据提供期望的功能的所存储的或可访问的软件指令对图像数据和其他数据的一个或更多个输入执行逻辑操作。例如,控制器106可以包括中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、高速缓冲存储器或用于图像处理和分析的任何其他类型的设备,诸如图形处理单元(GPU)。CPU可以包括被配置为处理来自图像传感器的图像的任何数量的微控制器或微处理器。例如,CPU可以包括任何类型的单核处理器或多核处理器、移动设备微控制器等。可以使用各种处理器,包括例如可从诸如 等制造商处获得的处理器,以及可以包括各种体系结构(例如,x86处理器、等)。支持电路可以是本领域中通常公知的任何数量的电路,包括高速缓存、电源、时钟和输入-输出电路。
在一些实施例中,控制器106可以与存储器108相关联,存储器108用于存储当被控制器106执行时控制显微镜100的操作的软件。另外,存储器108还可以存储与显微镜100的操作相关联的电子数据,诸如例如捕获或生成的样本114的图像。在一个实施例中,存储器108可以被集成在控制器106内。在另一个例子中,存储器108可以与控制器106分开。具体而言,存储器108可以指位于控制器106处或远程位置(诸如云服务器)处的多个结构或计算机可读存储介质。存储器108可以包括任意数量的随机存取存储器、只读存储器、闪存、磁盘驱动器、光存储装置、磁带存储装置、可移动存储装置和其他类型的存储装置。
显微镜100可以包括照射组件110。术语“照射组件”是指能够投射光以照射样本114的任何设备或***。照射组件110可以包括任何数量的光源,诸如发光二极管(LED)、激光器和被配置为发光的灯。在一个实施例中,照射组件110可以仅包括单个光源。或者,照射组件110可以包括以阵列或矩阵组织的四个、十六个或甚至多于一百个的光源。在一些实施例中,照射组件110可以使用位于平行于照射样本114的表面处的一个或更多个光源。在其他实施例中,照射组件110可以使用位于与样本114垂直或成一定角度的表面处的一个或更多个光源。
另外,照射组件110可以被配置为在一系列不同照射条件下照射样本114。在一个示例中,照射组件110可以包括以不同照射角度布置的多个光源,诸如二维光源布置。在这种情况下,不同照射条件可以包括不同照射角度。例如,图1描绘了从第一照射角度α1投射的光束118和从第二照射角度α2投射的光束120。在一些实施例中,第一照射角度α1和第二照射角度α2可以具有相同的值但符号相反。在其他实施例中,第一照射角度α1可以与第二照射角度α2分开。但是,这两个角度源自于光学器件的接收角内的点。在另一个示例中,照射组件110可以包括被配置为发射不同波长的光的多个光源。在这种情况下,不同照射条件可以包括不同波长。在又一个示例中,照射组件110可以被配置为在预定时间使用多个光源。在这种情况下,不同照射条件可以包括不同照射图案。因此并且符合本公开,可以从包括以下项的组中选择不同照射条件:不同持续时间、不同强度、不同位置、不同照射角度、不同照射图案、不同波长或其任何组合。
符合所公开的实施例,显微镜100可以包括用户接口112,与之(例如,通过网络或无线地,例如通过蓝牙)连接或通信。术语“用户接口”是指适于呈现样本114的放大图像的任何设备或适合于从显微镜100的一个或更多个用户接收输入的任何设备。图1示出了用户接口112的两个示例。第一个示例是直接或通过远程服务器、通过蓝牙、蜂窝连接或Wi-Fi连接与控制器106无线通信的智能电话或平板电脑。第二个示例是物理连接到控制器106的PC显示器。在一些实施例中,用户接口112可以包括用户输出设备,包括:例如,显示器、再现设备、扬声器等。在其他实施例中,用户接口112可以包括用户输入设备,包括:例如,触摸屏、麦克风、键盘、指向器设备、相机、旋钮、按钮等。利用该输入设备,用户可以通过以下方式能够将信息输入或命令提供给显微镜100:键入指令或信息,提供声音指令,使用按钮、指向器或眼睛跟踪能力或通过任何其他合适的技术在屏幕上选择菜单选项以用于将信息传达给显微镜100。用户接口112可以与一个或更多个处理设备(诸如控制器106)(物理地或无线地)连接以向用户提供信息并从用户接收信息并处理该信息。在一些实施例中,这样的处理设备可以执行用于响应键盘输入或菜单选择的指令,识别和解释在触摸屏上做出的触摸和/或手势,识别和追踪眼球运动,接收和解释语音命令等。
显微镜100还可以包括平台116或连接到平台116。平台116包括其中可以安装样本114以用于检查的任何水平的刚性表面。平台116可以包括用于将包含样本114的载玻片保持在固定位置的机械连接器。机械连接器可以使用以下中的一个或更多个:安装件、附接构件、保持臂、夹具、夹子、可调整框架、锁定机构、弹簧或其任何组合。在一些实施例中,平台116可以包括用于允许光照射样本114的半透明(translucent)部分或开口。例如,从照射组件110发射的光可以穿过样本114并且朝向图像捕获设备102。在一些实施例中,可以使用XY平面中的马达或手动控件来移动平台116和/或样本114以使样本的多个区域成像。
图2A和图2B描绘了两种情况下的显微镜100的更近的视图。具体而言,图2A示出了当显微镜100失焦时两个光束对的光路,而图2B示出了当显微镜100聚焦时两个光束对的光路。
如图2A和2B所示,图像捕获设备102包括图像传感器200和透镜202。在显微镜中,透镜202可以被称为显微镜100的物镜。术语“图像传感器”是指能够检测光信号并将其转换为电信号的设备。电信号可以用于基于检测到的信号形成图像或视频流。图像传感器200的示例可以包括半导体电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)中的有源像素传感器或者N型金属氧化物半导体(NMOS,Live MOS)。术语“透镜”可以指玻璃、塑料或其他透明材料的基础或模制件(a ground or molded piece),其相对的表面中的一者或两者是弯曲的,借助于该相对的表面,光线被折射,以使得光线会聚或发散以形成图像。术语“透镜”还指包含如上定义的一个或更多个透镜的元件,诸如在显微镜物镜中。透镜至少大致横向于图像传感器200的光轴定位。透镜202可用于聚集来自样本114的光束并将它们引导朝向图像传感器200。在一些实施例中,图像捕获设备102可以包括固定透镜或变焦透镜。
当样本114位于焦平面204处时,从透镜202投射的图像被完全聚焦。术语“焦平面”在本文中用于描述垂直于透镜202的光轴并穿过透镜的焦点的平面。焦平面204和透镜202的中心之间的距离称为焦距并且由D1表示。在一些情况下,样本114可能不完全平坦,并且在焦平面204和样本114的各个区域之间可能存在小的差异。因此,焦平面204与样本114之间的距离或样本114的感兴趣区域(ROI)被标记为D2。距离D2对应于样本114的图像或样本114的ROI的图像失焦的程度。例如,距离D2可以在0mm与约3mm之间。在一些实施例中,D2可以大于3mm。当距离D2等于零时,样本114的图像(或样本114的ROI的图像)被完全聚焦。相反,当D2具有非零值时,样本114的图像(或样本114的ROI的图像)失焦。
图2A描绘了样本114的图像失焦的情况。例如,当从样本114接收的光束不汇聚在图像传感器200上时,样本114的图像可能会失焦。图2A描绘了波束对206和波束对208。两个对都不汇聚在图像传感器200上。为了简单起见,未示出样本114下方的光路。符合本公开的是,光束对206可以与在照射角度α2下从照射组件110投射的光束120对应,以及光束对208可以与在照射角度α1下从照射组件110投射的光束118对应。另外,光束对206可以与光束对208同时击中图像传感器200。在此背景下,术语“同时”意味着图像传感器200在一致的或重叠时间段期间、或者在一个开始和结束时是在另一个的开始和结束期间的情况下、或者是在另一个完成之前后者开始的情况下记录与两个或更多个光束对相关联的信息。在其他实施例中,光束对206和光束对208可以顺序地接触图像传感器200。术语“顺序地”意味着图像传感器200在完成记录与例如光束对208相关联的信息之后开始记录与例如光束对206相关联的信息。
如上所述,D2是焦平面204和样本114之间的距离,并且其对应于样本114失焦的程度。在一个示例中,D2可以具有50微米的值。聚焦致动器104被配置为通过将来自控制器106的输入信号转换成物理运动来改变距离D2。在一些实施例中,为了聚焦样本114的图像,聚焦致动器104可以移动图像捕获设备102。在该示例中,为了聚焦样本114的图像,聚焦致动器104可以将图像捕获设备102向上移动50微米。在其他实施例中,为了聚焦样本114的图像,聚焦致动器104可以将平台116向下移动。因此,在该示例中,取代将图像捕获设备102向上移动50微米,聚焦致动器104可以将平台116向下移动50微米。
图2B示出了样本114的图像聚焦的情况。在这种情况下,光束对206和208都汇聚在图像传感器200上,并且距离D2等于零。换句话说,聚焦样本114的图像(或样本114的ROI的图像)可能需要调整图像捕获设备102和样本114之间的相对距离。相对距离可以由D1-D2表示,并且当距离D2等于零时,图像捕获设备102和样本114之间的相对距离等于距离D1,这意味着样本114的图像被聚焦。在图2A和2B所示的实施例中,透镜202具有固定焦距,即距离D1恒定。因此,聚焦样本114的图像所需的缺失参数是距离D2。本公开提供了一种用于确定距离D2的值的显微镜和方法。
图3A和图3B示出了显微镜100如何使用在多个不同照射条件下获取的图像来确定距离D2的值。具体地,图3A示出了当样本114的图像失焦时在用户接口112上示出的示例性图像(或者彼此重叠的两个图像),并且图3B示出了当样本114的图像聚焦时用户接口112上示出的示例图像。
图3A示出了显示从与图2A所示的情况对应的图像传感器200获得的信息的用户接口112。如所示,用户接口112显示样本114的第一表示300和样本114的第二表示302。每种表示都对应不同照射条件。例如,第一表示300可以对应于第一照射角度α1,而第二表示302可以对应于第二照射角度α2。在一个实施例中,由于来自第一照射角度α1的光可以与以第二照射角度α2投射的光同时击中图像传感器200,所以第一表示300和第二表示302两者一起显示为捕获图像的一部分。在另一个实施例中,第一表示300被捕获为第一图像而第二表示302被捕获为第二图像。两个图像可以重叠在一起并显示为单个图像或一起用于计算。
在一些实施例中,控制器106可以被配置成使用样本114的至少一个共同图像特征来识别两个(或更多)表示的相对位置。如本文所使用的,术语“图像特征”是指数字图像中的可识别元素,诸如线条、点、斑点、边缘、具有相似亮度的区域、相似的形状、图像的区域等或包括样本114的图像的像素的其他区别特征。两个(或更多)表示之间的变化可以用肉眼和/或借助于包括特征检测或者使用感兴趣的区域(其可以是图像的一部分或全部)作为输入特征的图像分析算法,如Marr-Hildreth算法、尺度不变特征变换(SIFT)算法、加速鲁棒特征(SURF)算法、数字图像相关(DIC)算法、互相关等来进行区分。如在图3A中所示,第一表示300和第二表示302在表示的上侧上都包括尖锐突起。因此,控制器106可以识别尖锐突起的第一次出现304和尖锐突起的第二次出现306作为样本114的共同图像特征。符合本公开的是,第一次出现304可以与第一照射角度α1相关联并且第二次出现306可以与第二照射角度α2相关联。
在识别样本114的与多个照射条件相关联的至少一个图像特征的多个出现之后,控制器106可以估计出现之间的偏移量。在图3A中,第一次出现304与第二次出现306之间的偏移由D3表示。可以通过对相同的一个或更多个图像特征的两次出现之间的像素的数量进行计数来测量第一次出现304和第二次出现306之间的偏移。理论上,偏移D3的测量值源自于比较第一表示和第二表示中的多个图像特征,并且应当基本相同。然而,正如在实际应用中经常发生的那样,当估计多个图像特征的偏移时,偏移D3的测量值可能存在显着变化。这些变化可能是由显微镜100的倾斜、非平坦样本、透镜202的场曲率等引起的。因此,为了估计第一表示300和第二表示302之间的偏移D3,控制器106可以对测量值应用统计计算。统计计算可能包括以下一项或更多项操作:中值、中位数、平均值、最频值、百分位数或标准偏差。当使用多于两个照射条件(例如多于两个照射角度)时,控制器106可以在确定多个偏移值或矢量偏移时额外地应用这些统计计算。
在一个实施例中,在估计第一表示300与第二表示302之间的移位D3之后,控制器106可以使用照射源之间的距离L、照射源平面与当前焦平面之间的距离Z以及D3来计算距离D2,以便确定距离D2。在一个示例中,距离D2可以使用以下线性方程来计算:
为了使控制器106减小样本114与焦平面204之间的距离,控制器106也可以确定所需调整的方向。例如,在一些情况下,焦平面204可以在样本114下方(如图2A所示),并且控制器106将需要增加图像捕获设备102和样本114之间的相对距离以聚焦图像。但是在其他情况下,焦平面204可以在样本114上方,并且控制器106可能需要减小图像捕获设备102和样本114之间的相对距离以聚焦图像。在一个实施例中,控制器106可以使用两步过程来确定所需调整的方向。例如,假设D2具有1mm的值,则控制器106可以指示聚焦致动器104将图像捕获设备102向上移动0.3mm,并且检查图像的聚焦是否已经改善。如果确实改善,控制器106可以指示聚焦致动器104继续将图像捕获设备102再向上移动0.7mm。但是如果没有改善,控制器106可以指示聚焦致动器104将图像捕获设备102向下移动1.3mm。在另外的实施例中,控制器106可以使用一个步骤的过程(诸如,例如,有目的地在样本114和聚焦平面204之间引入已知间隔)来确定所要调整的方向。已知间隔可以对应于已知偏移,并且对已知偏移的改变可以指示实际偏移D3的大小和方向。在另一个实施例中,控制器106可以使用一步过程来确定所需调整的方向,诸如,例如测量物体图像300和302之间的特征的偏移的方向并且使用所使用的照射条件的知识来理解样本是高于还是低于焦平面。
图3B描绘了显示从与图2B所示的情况对应的图像传感器200获得的信息的用户接口112。如所示,用户接口112显示样本114的表示308。在该示例中,用户接口112显示单个表示,因为样本114的图像聚焦。也就是说,在控制器106调整图像捕获设备102和样本114之间的相对距离之后,第一次出现304和第二次出现306被合并到表示308。
在一些实施例中,控制器106可以确定图像的质量不足。例如,与样本114的图像相关联的锐度水平可能低于预定义的阈值。锐度水平可能由于例如显微镜100的无意移动、样本114的ROI的变化等而变化。为了改善图像的质量,控制器106可以重新聚焦显微镜100。另外,控制器106可确定与图像捕获设备102的视场的多个部分对应的多个偏移值以确定三维信息。三维信息可以包括显微镜100与样本114之间的倾斜信息、物体的3D形状和/或透镜202的场曲率。当重建样本114的图像时,控制器106可以使用倾斜信息来改善样本114的图像的锐度。以下参照图5-10提供关于重建样本114的图像的表示的其他示例。
图4是示出用于使用在两个照射条件下照射样本114时捕获的两个图像来聚焦样本114的图像的示例性过程400的流程图。然而,过程400可以适用于使用在两个照射条件下照射样本114时捕获的单个图像或者使用在两个以上的照射条件下照射样本时的一个或更多个图像来聚焦样本114的图像。过程400的步骤可以通过自动聚焦显微镜来执行。术语“自动聚焦显微镜”是指用于以自动或半自动方式聚焦样本114的图像(或样本114的ROI的图像)的能力放大样本114的任何设备。在下面的描述中,为了说明的目的,参考显微镜100的某些部件。然而,应该理解的是,其他实现方式也是可能的,并且可以利用其他组件来实现示例过程。
在步骤402,控制器106可以使照射组件110在第一照射条件下照射样本114。在步骤404,控制器106可以从图像捕获设备102获取在第一照射条件下照射的样本114的第一图像。在一些实施例中,控制器106可使照射组件110使用位于图像捕获设备102的数值孔径内的单个光源照射样本114。可选地,控制器106可使照射组件110使用位于图像捕获设备102的数值孔径内的多个光源照射样本114。
在步骤406,控制器106可以使照射组件110在不同于第一照射条件的第二照射条件下照射样本114。接下来,在步骤408处,控制器106可以从图像捕获设备102获取在第二照射条件下照射的样本114的第二图像。在一些实施例中,照射条件可以包括以下中的至少一个:不同照射角度、不同照射图案、不同波长或其组合。例如,照射条件可以包括相对于图像捕获设备102的光轴对称地定位的第一照射角度和第二照射角度。可选地,照射条件可包括相对于图像捕获设备102的光轴不对称地定位的第一照射角度和第二照射角度。可选地,照射条件可以包括在图像捕获设备102的数值孔径内的第一照射角度和第二照射角度。在图1所描绘的示例中,第一照射角度α1大于第二照射角度α2,因此第一照射角度和第二照射角度相对于图像捕获设备102的光轴不对称地定位。
在步骤410,控制器106可以确定样本114的第一图像中存在的一个或更多个图像特征与样本114的第二图像中存在的对应的一个或更多个图像特征之间的偏移量D3。在一些实施例中,控制器106可以基于多个图像特征来确定多个偏移值并且计算与偏移D3相关联的总体偏移。例如,总体偏移可以是多个偏移值的平均值、中值、最频值。在其他实施例中,控制器106可以基于偏移D3的幅度来确定距离改变的大小。另外,控制器106还可以基于偏移D3的方向确定距离改变的方向,或者通过有意地在样本和焦平面之间引入已知间隔来确定距离改变的方向。如上所述,在一些情况下,焦平面204可以在样本114下方(如图2A所示),并且在其他情况下,焦平面204可以在样本114上方。这些不同情况可能需要不同方向的距离改变来聚焦显微镜100。在一些实施例中,控制器106可基于偏移(例如,横向方向上的偏移D3)来计算从焦平面204到样本114的距离。
在步骤412,控制器106可以在确定的偏移D3的量为非零的情况下使聚焦致动器104改变样本114与焦平面204之间的距离D2。如上所述,104可移动图像捕获设备102以调整样本114与焦平面204之间的距离D2,或移动平台116以调整样本114与焦平面204之间的距离。在一些实施例中,例如,如图2B所示,控制器106可使聚焦致动器104将样本114与焦平面204之间的距离减小到基本为零。在一些实施例中,当聚焦致动器104沿第一方向(例如,向上)改变距离D2时,控制器106可以确定在第一方向上的改变之后,偏移D3的量已经增加,并且使聚焦致动器104在第二方向(例如,向下)改变该距离。
在一些实施例中,控制器106可重复步骤402至410以在调整样本114与焦平面204之间的距离D2之后确定新偏移的量。如果新偏移的数量仍然不为零,或高于预定阈值。控制器106可使聚焦致动器104再次改变样本114与焦平面204之间的距离D2。在一些实施例中,控制器106可以重新调整样本114与焦平面204之间的距离D2,直到偏移D3将基本为零或低于预定阈值。当新偏移的量低于预定阈值时,控制器106可以存储所确定的偏移的量以用于将来的聚焦补偿计算。在完成过程400之后,显微镜100完全聚焦。之后,并且根据本公开的另一方面,显微镜100可以获取多个聚焦图像以生成样本114的高分辨率图像。如图1所示,样本114的高分辨率图像可以被发送到显示器(如,屏幕或电话),被存储在存储器中,被发送用于进一步处理或者通过网络进行发送。
在一些实施例中,控制器106可使用所确定的距离D2来执行针对伴随物理运动平台116运动或不使平台116运动的情况下计算校正聚焦的计算。此外,在一些实施例中,可以在XY平面中使用马达或手动控件来移动平台116和/或样本114,以使样本114的多个区域能够成像。
在用于从一组低分辨率图像产生样本的高分辨率图像的计算成像处理领域方面存在若干已知的方法。例如,这些方法中的一个方法是重叠关联成像术(Ptychography)。这些方法可以使用迭代过程以便以每次迭代中的重建图像与预迭代高分辨率图像进行比较的方式计算高分辨率图像,并且它们之间的差异用作汇聚条件。本公开描述了用于从在不同照射条件下拍摄的一组低分辨率图像来产生高分辨率图像的显微镜和方法,但不需要如已知方法所使用的迭代。因此,所公开的显微镜和方法能够减少重建高分辨率图像所需的计算时间。
符合本公开的是,控制器106可以获取第一图像分辨率的图像并且生成样本114的具有第二(增强的)图像分辨率的重建图像。术语“图像分辨率”是图像表示样本114的精细细节的程度的量度。例如,数字图像的质量也可能与像素的数量和每个像素可用的亮度值范围有关。在一些实施例中,生成样本114的重建图像是基于具有低于增强的图像分辨率的图像分辨率的图像。增强的图像分辨率可能比较低图像分辨率图像具有至少多2倍、5倍、10倍或100倍的像素。例如,所捕获的图像的第一图像分辨率在下文中可以被称为低分辨率,并且可以具有在200万像素和2500万像素之间、在1000万像素和2000万像素之间或者大约1500万像素的值。而重建图像的第二图像分辨率在下文中可以被称为高分辨率,并且可以具有高于4000万像素、高于1亿像素、高于5亿像素或高于10亿像素的值。
图5是符合所公开的实施例的用于重建样本114的图像的示例性过程500的图示。在步骤502处,控制器106可以从图像捕获设备102获取样本114的多个低分辨率图像。多个图像包括用于每个照射条件的至少一个图像。如上所述,不同照射条件可以包括以下中的至少一个:不同照射角度、不同照射图案、不同波长或其组合。在一些实施例中,多个不同照射条件的总数(N)在2至10之间、在5至50之间、在10至100之间、在50至1000之间或大于1000。
在步骤504处,控制器106可以确定与每个照射条件相关联的样本114的图像数据。例如,控制器106可对从图像捕获设备102获取的图像应用傅里叶变换以获得经傅里叶变换的图像。傅里叶变换是一种图像处理工具,其用于将图像分解为正弦和余弦分量。变换的输入可以是标准图像空间(normal image space)(也称为实平面)中的图像,而变换的输出可以是频域(也称为傅里叶平面)中图像的表示。符合本公开的是,诸如傅里叶变换的变换的输出也被称为“图像数据”。可选地,控制器106可以使用其他变换,诸如拉普拉斯变换、Z变换、Gelfand变换或小波变换。为了快速有效地将捕获的图像转换成傅里叶平面中的图像,控制器106可以使用快速傅里叶变换(FFT)算法来通过将DFT矩阵分解为稀疏(主要是零)因子的乘积来计算离散傅里叶变换(DFT)。
在步骤506,控制器106可以聚合从在多个照射条件下捕获的图像确定的图像数据以形成组合的复合图像。控制器106聚合图像数据的一种方式是通过定位在图像数据中的傅里叶平面重叠区域中。控制器106聚合图像数据的另一种方式是通过确定每个照射条件下获取的低分辨率图像的强度和相位。以这种方式,对应于不同照射条件的图像数据不一定包括重叠区域。通过消除或减少所需的重叠量,该方法在减少为了以特定分辨率重建图像所需的照射条件的数量方面具有很大的优势,并且因此增加了图像信息的获取速度。图6A-6F示出了用于在各个照射条件下确定相位信息的显微镜100的不同配置。
在步骤508处,控制器106可以生成样本114的重建的高分辨率图像。例如,控制器106可以应用傅里叶逆变换来获得重建图像。在一个实施例中,如图5所示,样本114的重建的高分辨率图像可以显示在显示器(例如,用户接口112)上。在另一个实施例中,样本114的重建的高分辨率图像可以用于识别重建图像中的样本114的至少一个元素。样本114的至少一个要素可以包括使用显微镜可识别的任何有机或无机材料。至少一种要素的示例包括但不限于生物分子、全细胞、细胞部分(如各种细胞组分(例如细胞质、线粒体、细胞核、染色体、核仁、核膜、细胞膜、高尔基体、溶酶体))、细胞分泌成分(例如分泌到细胞间隙的蛋白质、分泌到体液中的蛋白质,如血清、脑脊液、尿液)、微生物等。在一些实施方式中,重建图像可用于以下程序中:血细胞识别、染色体和核型的鉴定、寄生虫感染的检测、怀疑为恶性的组织的鉴定等等。
本公开提供了若干种确定每个照射条件下的相位信息的方式。根据可以在图6A的配置中实现的一个实施例,显微镜100可以包括照射组件110、聚焦致动器104、透镜202和图像传感器200。在该实施例中,控制器106可以针对每个照射条件从不同焦平面获取一组图像。因此,控制器106可以使用来自不同焦平面的信息来确定在每个照射条件下的相位信息。图7描述了控制器106可以如何使用图6A的配置来生成样本114的重建的高分辨率图像的详细示例过程。
根据可以在图6B的配置中实现的另一个实施例,显微镜100可以包括照射组件110、透镜202、分束器600、第一图像传感器200A和第二图像传感器200B。在该实施例中,第一图像传感器200A和第二图像传感器200B可以捕获不同类型的图像,并且控制器106可以组合来自第一图像传感器200A和第二图像传感器200B的信息以确定在每个照射条件下的相位信息。在一个示例中,图像传感器200A可以捕获傅里叶平面图像并且第二图像传感器200B可以捕获实平面图像。相应地,控制器106可以从第一图像传感器200A获取针对每个照射条件的傅里叶平面图像和从第二图像传感器200B获取实平面图像。因此,控制器106可以组合来自傅里叶平面图像和实平面图像的信息以确定在每个照射条件下的相位信息。在另一个示例中,图像传感器200A可以被配置为捕获聚焦图像,而第二图像传感器200B被配置为捕获未聚焦图像。也可能增加额外的传感器。例如,可以配置3个不同传感器以捕获3个不同焦平面中的图像。
根据可以在图6C和图6D的配置中实现的另一个实施例,显微镜100可以包括光源602、分束器600、透镜202和图像传感器200。在该实施例中,光源602可向分束器600投射光束(相干或至少部分相干),分束器生成两个光束,这两个光束行进通过两个不同光路并创建干涉图案。在图6C的配置中,在样本114上创建干涉图案,而在图6D中,在图像传感器200上创建干涉图案。在图6D所示的情况下,控制器106可以针对每个照射条件识别行进通过不同光路的两个光束之间的干涉图案,并且根据干涉图案确定与每个照射条件相关联的相位。
根据可以在图6E和图6F的配置中实现的又一个实施例,显微镜100可以包括照射组件110、透镜202、光学元件604和至少一个图像传感器200。在该实施例中,光学元件604被配置为对从样本114接收的光施加某种形式的调制。调制可以施加在光束的相位、频率、振幅或偏振上。在图6E所示的配置中,显微镜100可以包括动态光学元件,例如空间光调制器(SLM),其可以动态地改变调制。控制器106可以使用由动态光学元件引起的不同信息来确定每个照射条件下的相位信息。可选地,在图6F所示的配置中,显微镜100可以包括固定光学元件,诸如相移掩模、分束器600、第一图像传感器200A和第二图像传感器200B。控制器106可组合来自第一图像传感器200A和第二图像传感器200B的信息以确定每个照射条件下的相位信息。
在一个实施例中,控制器106可以独立地确定每个照射条件下的相位信息。图7是示出使用图6A的配置的图5的过程的流程图。该过程在控制器106使照射组件110在第一照射条件下照射样本114时开始(方框700)。接下来,当样本114处于焦平面204中时,控制器106可以获取图像(方框702)。然后,控制器106可以使得聚焦致动器104改变图像捕获设备102和样本114之间的距离(方框704),并且当样本114不在焦平面204中时获取附加图像(方框706)。在一些实施例中,图像捕获设备102和样本114之间的距离可以构成从透镜202到样本114的距离、从图像传感器200到样本144的距离或者从透镜202到样本114的距离与从图像传感器200到样本114的距离的和。之后,控制器106可以确定是否有足够的数据来确定相位信息(判定方框708)。如果没有足够的数据来确定相位信息,则控制器106可以重复方框704-708中的步骤,直到有足够的数据来确定在当前照射条件下的样本114的相位信息。可以使用诸如强度传输(TIE)、误差减少算法、混合输入输出(HIO)、诸如梯度下降等的优化算法等方法来计算相位。
当控制器106将从焦平面204中的真实空间捕获的图像变换为傅里叶空间时(方框710)时,图7的示例性过程可以继续。之后,控制器106可以将与当前照射条件相关联的图像数据添加到组合的复合图像(方框712)。如果控制器106收集了与所有照射条件相关联的所有图像数据并将它们添加到组合复合图像(判定方框714),则控制器106可将组合的复合图像变换到图像平面中以生成样本114的重建图像。但是,如果不是与所有照射条件相关联的全部图像数据都被收集,则控制器106可以使照射组件110在另一照射条件下照射样本114(方框716),并且然后可以重复步骤702-714。
图8是识别显微镜100的数值孔径(NA)的示意图。符合本公开的是,显微镜100可以包括具有第一数值孔径的透镜(例如透镜202)。术语“数值孔径”是指中等折射率(例如,n1)乘以在透镜的光轴和透镜可以接受光的光束锥之间形成的最大角度(例如,θ1)的正弦值,即NA1=n1*Sinθ1。例如,第一数值孔径可以小于1,小于0.8,小于0.6,小于0.4,小于0.2或小于0.1,或者可以大于1。另外,照射组件110可以照射的入射角照射样本114。术语“照射的入射角”是指在透镜的光轴与从照射组件110投射的光束之间形成的角度(例如,θ2)。在一些实施例中,照射的最大入射角表示第二数值孔径,即NA2=n2*SinMaxθ2,其是第一数值孔径的至少1.5倍。例如,第二数值孔径可以大于2×NA1,大于2.5×NA1,大于3.5×NA1,或大于5×NA1。
图9A和图9B描绘了傅里叶平面中的两个示意图。具体地,图9A是在单个照射条件下获取的图像数据的傅里叶平面中的图示,而图9B是在多个不同照射条件下获取的图像数据的傅里叶平面中的图示。图9A的图示包括傅里叶平面中的图像,其具有在傅里叶平面中的半径等于NA1的第一圆形区域900和半径等于NA2的第二理论圆形区域902。如图所示,第二圆形区域902的半径至少是第一圆形区域900的半径的1.5倍。第一圆形区域900与当照射角度等于0度时的样本114的图像数据相关联。在一个实施例中,生成重建图像的非迭代过程包括使用关于组合的复合图像中的每个点的与单个照射条件相关联的图像数据。图9B示出了该实施例。具体地说,图9B描绘了傅里叶平面中的多个圆。每个圆表示组合的复合图像中的一个点,并与在单个照射条件下获取的图像数据相关联。例如,图9B中的每个圆与不同照射角度相关联。由于圆形区域902的半径至少是第一圆形区域900的半径的1.5倍,所以在一些实施例中,***不限于围绕区域900的第一“级”附加区域,而是可以具有远离第一圆形区域900的“多级”附加的圆形区域。这对于实现最终图像的更高分辨率而言非常重要。该方法不限于将数值孔径仅增大2倍。如以上参考图1所述,样本114的照射可以是由位于与样本114平行的表面处的光源和/或由位于与样本114垂直的表面处的光源引起的。例如,如图1所示,照射组件110上可以包括光源。此外,在一些实施例中,光源可以位于显微镜100的任何适当位置处并且以任何适当的角度照射样本114。此外,光源可以位于其他表面上,例如位于平台116下方的半球或立方体的表面上。
图10是示出用于使用在多个不同照射条件下获取的图像信息来构建样本114的高分辨率图像的示例性过程1000的流程图。在步骤1002,控制器106可以使照射组件在一系列不同照射条件下照射样本114。如上所述,照射条件可以包括以下中的至少一个:不同照射角度、不同照射图案、不同波长或其组合。在步骤1004,控制器106可以从图像捕获设备102获取样本114的多个图像,并且该多个图像可以包括针对每个照射条件的至少一个图像。在一些实施例中,所获取的图像是在水平和垂直维度上以高于1200万像素的图像分辨率以及小于200万像素的像素尺寸捕获的。具有小像素尺寸的高分辨率传感器成本低并且导致大视场,但由于高存储器带宽和大视场,因此需要花费大量精力来处理低信噪比(小像素尺寸的结果)和速度优化。然而,我们的方法能够使用这种传感器进行操作,而其他方法则不能。
在步骤1006,控制器106可以从至少一个图像中确定关于每个照射条件的样本114的图像数据。在一些实施例中,为了确定关于每个照射条件的样本114的图像数据,控制器106可以将至少一个图像从真实空间变换到傅里叶空间,将傅里叶空间中的样本的图像数据聚合以形成组合的复合图像,并将组合的复合图像数据变换回图像空间以生成样本114的重建图像。符合一些实施例的是,确定关于每个照射条件的样本114的图像数据可以包括独立地确定在每个照射条件下的样本114的相位信息。如以上参考图6A-6F所讨论的,确定在每个照射条件下的相位信息可以使用显微镜100的不同配置来实现。
在第一实施例中,控制器106可以从图像捕获设备102获取关于每个照射条件的来自不同焦平面的一组第一图像,并且从该组第一图像中独立地确定每个照射条件下的相位信息。在第二实施例中,控制器106可以从第一图像传感器200A获取关于每个照射条件的第一图像;从第二图像传感器200B获取关于每个照射条件的不同于第一图像的第二图像;并组合来自第一图像和第二图像的信息以独立地确定每个照射条件下的相位信息。在第三实施例中,控制器106可以针对每个照射条件识别第一光束和第二光束之间的干涉图案,并且根据干涉图案独立地确定与每个照射条件相关联的相位信息。在第四实施例中,控制器106可以获取关于每个照射条件的来自第一图像传感器200A的第一图像和来自第二图像传感器200B的第二图像,其中第二图像相对于第一图像被不同地进行调制;并且组合来自第一图像和第二图像的信息以确定每个照射条件下的相位信息。
在步骤1008处,控制器106可以根据关于每个照射条件所确定的图像数据来生成样本114的重建图像。重建图像具有比第一图像分辨率更高的第二图像分辨率。在一些实施例中,控制器106可以在非迭代过程中生成重建图像。术语“在非迭代过程中生成重建图像”是指其中重建图像不与所获取图像进行比较的过程,也不是所获取图像与其自身进行比较的过程。非迭代过程可以包括使用关于组合的复合图像中的每个点与单个照射条件相关联的图像数据,如图9所示。为了在非迭代过程中重建图像,控制器106可以确定关于每个照射条件的样本114的强度和相位信息。之后,控制器106可以使用强度和相位信息来在其位置中组织拼图中的所有块(即,在每个照射条件下确定的图像数据)。如本领域技术人员将认识到的,使用这种非迭代过程能够减少重建高分辨率图像所需的计算时间。有可能的是,但不强制性的是,独立地确定每个照射条件的相位信息或其他信息将使用迭代过程完成。然而,根据从多个照射条件确定的信息生成最终的高分辨率图像将在非迭代过程中完成。在这种情况下,傅里叶空间中的区域之间的重叠仍然可以被减少或消除。
在控制器106生成样本114的重建图像之后,其可以使重建图像显示在显示器上(步骤1010)或识别重建图像中样本114的至少一个要素(步骤1012)。在一些实施例中,控制器106可以在使用其之前确认重建图像的质量。例如,控制器106可以使用第一组构建参数来生成重建图像,并且确定重建图像不具有期望的质量。在一个示例中,确定重建图像不具有期望的质量是基于重建图像或其部分的锐度水平,或者是基于现有知识与预期或已知结果的比较。之后,控制器106可以使用第二组构建参数来生成第二重建图像。另外,控制器106可以在改变显微镜100的聚焦之后获取样本114的另一组图像,如以上参照图4所述。
上述描述已经被呈现用于说明和描述的目的。这不是穷尽的,并且不限于所公开的确切形式或实施例。从对所公开的***和实施例的说明和实践的考量中,修改和调整对于本领域技术人员将是明显的。另外,虽然所公开的实施例的各方面被描述为存储在存储器中,但本领域技术人员将会理解,这些方面也可以存储在其他类型的计算机可读介质上,例如辅助存储设备;例如硬盘、软盘、CD ROM、其他形式的RAM或ROM、USB介质、DVD或其他光驱介质。
基于书面描述和公开方法的计算机程序是在有经验的开发人员的技能范畴内的。可以使用本领域技术人员已知的任何技术来创建各种程序或程序模块,或者可以结合现有软件来设计各种程序或程序模块。例如,程序段或程序模块可以用或通过.NetFramework、.Net Compact Framework(以及相关语言,如Visual Basic、C等)、Java、C++、Objective-C、python、Matlab、Cuda、HTML、HTML/AJAX组合、XML或包含Java小程序的HTML来进行设计。一个或更多个这样的软件段或模块可以被集成到计算机***或现有的电子邮件或浏览器软件中。
此外,虽然本文已经描述了说明性实施例,但是任何和所有实施例的范围具有等同元素、修改、省略、(例如,对跨越各种实施例的各方面的)组合、调整和/或更改都将是本领域技术人员基于本公开将理解的。权利要求中的限制要基于权利要求中使用的语言来广义地解释,并且不限于本说明书中或在本申请的审查期间中描述的示例。这些示例将被解释为非排他性的。此外,所公开的例程的步骤可以以任何方式进行修改,包括通过重新排序步骤和/或***或删除步骤。因此,其主旨在于,说明书和示例仅被认为是示例性的,其中真实的范围和精神由所附权利要求及其等同物的全部范围进行指示。
Claims (20)
1.一种使用在多个不同照射条件下获取的图像信息来构建样本的图像的显微镜,所述显微镜包括:
至少一个图像捕获设备,所述至少一个图像捕获设备被配置为捕获第一图像分辨率的、样本的图像;
具有第一数值孔径的透镜;
照射组件,所述照射组件包括至少一个光源,所述至少一个光源被配置为照射所述样本,其中,照射的最大入射角度表示第二数值孔径,所述第二数值孔径至少是所述第一数值孔径的1.5倍;
至少一个控制器,所述至少一个控制器被编程为:
使所述照射组件以一系列不同照射条件照射所述样本;
从所述至少一个图像捕获设备获取所述样本的多个图像,其中,所述多个图像包括关于每个照射条件的至少一个图像;
从所述至少一个图像中确定所述样本关于每个照射条件的图像数据;以及
从确定的关于每个照射条件的图像数据并用非迭代过程生成所述样本的重建图像,所述重建图像具有比所述第一图像分辨率高的第二图像分辨率。
2.根据权利要求1所述的显微镜,其中,所述至少一个控制器还被编程为使所述重建图像显示在显示器上。
3.根据权利要求1所述的显微镜,其中,所述至少一个控制器还被编程为在所述重建图像中识别所述样本的至少一个元素。
4.根据权利要求1所述的显微镜,其中,所述不同照射条件包括以下中的至少一个:不同照射角度、不同照射图案、不同波长或其组合。
5.根据权利要求1所述的显微镜,其中,确定所述样本关于每个照射条件的图像数据包括独立地确定所述样本在每个照射条件下的相位信息。
6.根据权利要求5所述的显微镜,其中,为了确定在每个照射条件下的所述相位信息,所述至少一个控制器被编程为:
从所述至少一个图像捕获设备获取关于每个照射条件的来自不同焦平面的第一图像组;和
从所述第一图像组中,独立地确定在每个照射条件下的所述相位信息。
7.根据权利要求5所述的显微镜,其中,所述至少一个图像捕获设备包括分束器、第一图像传感器和第二图像传感器,所述第一图像传感器被配置为捕获第一图像,而所述第二图像传感器被配置为捕获第二图像,并且其中,为了确定在每个照射条件下的所述相位信息,所述至少一个控制器被编程为:
从所述至少一个图像捕获设备获取在每个照射条件下的第一图像和第二图像,其中,所述第二图像不同于所述第一图像;以及
组合来自所述第一图像和所述第二图像的信息以独立地确定在每个照射条件下的所述相位信息。
8.根据权利要求5所述的显微镜,还包括分束器,所述分束器被配置为生成第一光束和第二光束,所述第一光束经由第一光路朝向所述至少一个图像捕获设备行进,且所述第二光束经由第二光路朝向所述至少一个图像捕获设备行进,其中,为了确定在每个照射条件下的所述相位信息,所述至少一个控制器被编程为:
关于每个照射条件识别在所述第一光束和所述第二光束之间的干涉图案;以及
从所述干涉图案中,独立地确定在每个照射条件下的所述相位信息。
9.根据权利要求5所述的显微镜,还包括光学元件,所述光学元件被配置为调制从所述样本反射的光,其中,为了确定在每个照射条件下的所述相位信息,所述至少一个控制器被编程为:
从所述至少一个图像捕获设备,获取关于每个照射条件的第一图像和第二图像,其中,所述第二图像与所述第一图像被不同地调制;以及
组合来自所述第一图像和所述第二图像的信息以独立地确定在每个照射条件下的所述相位信息。
10.根据权利要求1所述的显微镜,其中,为了确定所述样本关于每个照射条件的所述图像数据,所述至少一个控制器还被编程为:
将来自真实平面的至少一个图像变换到傅里叶平面;
聚合所述傅里叶平面中的所述样本的所述图像数据以形成组合的复合图像;以及
将组合的复合图像数据变换回所述图像空间以生成所述样本的所述重建图像。
11.根据权利要求10所述的显微镜,其中,生成所述重建图像的所述非迭代过程包括使用关于所述组合的复合图像中的每个点的与单个照射条件相关联的图像数据。
12.根据权利要求1所述的显微镜,其中,所述至少一个图像捕获设备被配置为捕获高于1200万像素的第一图像分辨率且像素尺寸小于2微米的图像。
13.一种使用在多个不同照射条件下获取的图像信息来构建样本的图像的显微镜,所述显微镜包括:
至少一个图像捕获设备,所述至少一个图像捕获设备被配置为捕获第一图像分辨率的、所述样本的图像;
具有第一数值孔径的透镜;
照射组件,所述照射组件包括至少一个光源,所述至少一个光源被配置为照射所述样本,其中,照射的最大入射角度表示第二数值孔径,所述第二数值孔径至少是所述第一数值孔径的1.5倍;
至少一个控制器,所述至少一个控制器被编程为:
使所述照射组件以一系列不同照射角度照射所述样本;
从所述至少一个图像捕获设备获取所述样本的多个图像,其中,所述多个图像可以包括关于每个照射角度的至少一个图像;
从所述至少一个图像中,确定所述样本关于每个照射角度的图像数据,其中,所述图像数据包括所述样本在每个照射条件下的相位信息;以及
从关于所述一系列不同照射角度的所述图像数据中,生成所述样本的重建图像,所述重建图像具有比所述第一图像分辨率高的第二图像分辨率。
14.根据权利要求13所述的显微镜,其中,所述至少一个控制器还被编程为使所述重建图像在显示器上显示或在所述重建图像中识别所述样本的至少一个元素。
15.根据权利要求13所述的显微镜,其中,所述至少一个控制器还被编程为:
使用第一组构建参数生成所述重建图像;
确定所述重建图像不具备期望的质量;以及
使用第二组构建参数来生成第二重建图像。
16.根据权利要求15所述的显微镜,其中,确定所述重建图像不具备所述期望的质量是基于所述重建图像的锐度等级。
17.一种使用在多个不同照射条件下获取的图像信息来构建样本的图像的方法,所述方法包括:
以一系列不同照射条件照射样本,其中,对所述样本的照射是以一入射角度进行的,所述入射角度表示的数值孔径至少是与图像捕获设备相关联的数值孔径的1.5倍;
从所述图像捕获设备获取以第一图像分辨率捕获的所述样本的多个图像,其中,所述多个图像包括关于每个照射条件的至少一个图像;
从所述至少一个图像,确定所述样本关于每个照射条件的图像数据,其中,所述图像数据包括所述样本在每个照射条件下的相位信息;以及
从确定的关于每个照射条件的图像数据并用非迭代过程生成所述样本的重建图像,所述重建图像具有比所述第一图像分辨率高的第二图像分辨率。
18.根据权利要求17所述的方法,其中,所述不同照射条件包括不同照射角度。
19.根据权利要求17所述的方法,其中,所述不同照射条件包括不同照射图案。
20.根据权利要求17所述的方法,其中,所述不同照射条件包括不同波长。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562253723P | 2015-11-11 | 2015-11-11 | |
US201562253726P | 2015-11-11 | 2015-11-11 | |
US201562253734P | 2015-11-11 | 2015-11-11 | |
US62/253,734 | 2015-11-11 | ||
US62/253,723 | 2015-11-11 | ||
US62/253,726 | 2015-11-11 | ||
PCT/IB2016/001725 WO2017081542A2 (en) | 2015-11-11 | 2016-11-10 | Computational microscopes and methods for generating an image under different illumination conditions |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108351504A true CN108351504A (zh) | 2018-07-31 |
Family
ID=57543083
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680065388.0A Pending CN108351504A (zh) | 2015-11-11 | 2016-11-10 | 用于在不同照射条件下生成图像的计算显微镜及方法 |
CN201680064749.XA Active CN108351506B (zh) | 2015-11-11 | 2016-11-10 | 用于计算显微镜的自动聚焦*** |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680064749.XA Active CN108351506B (zh) | 2015-11-11 | 2016-11-10 | 用于计算显微镜的自动聚焦*** |
Country Status (5)
Country | Link |
---|---|
US (2) | US10705326B2 (zh) |
EP (2) | EP3374816A2 (zh) |
JP (1) | JP2018537709A (zh) |
CN (2) | CN108351504A (zh) |
WO (2) | WO2017081542A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113039471A (zh) * | 2018-11-09 | 2021-06-25 | 莱卡微***Cms有限责任公司 | 显微的透射光对比方法 |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9864184B2 (en) | 2012-10-30 | 2018-01-09 | California Institute Of Technology | Embedded pupil function recovery for fourier ptychographic imaging devices |
US10652444B2 (en) | 2012-10-30 | 2020-05-12 | California Institute Of Technology | Multiplexed Fourier ptychography imaging systems and methods |
CN104885187B (zh) | 2012-10-30 | 2018-06-29 | 加州理工学院 | 傅立叶重叠关联成像***、设备和方法 |
JP2016534389A (ja) | 2013-07-31 | 2016-11-04 | カリフォルニア インスティチュート オブ テクノロジー | 開口走査フーリエタイコグラフィ撮像 |
EP3036753B1 (en) | 2013-08-22 | 2022-10-05 | California Institute of Technology | Variable-illumination fourier ptychographic imaging devices, systems, and methods |
US11468557B2 (en) | 2014-03-13 | 2022-10-11 | California Institute Of Technology | Free orientation fourier camera |
US10162161B2 (en) | 2014-05-13 | 2018-12-25 | California Institute Of Technology | Ptychography imaging systems and methods with convex relaxation |
JP2018504577A (ja) | 2014-12-22 | 2018-02-15 | カリフォルニア インスティチュート オブ テクノロジー | 厚膜サンプル用落射照明フーリエタイコグラフィ撮像 |
WO2016118761A1 (en) | 2015-01-21 | 2016-07-28 | California Institute Of Technology | Fourier ptychographic tomography |
EP3251144A4 (en) | 2015-01-26 | 2018-09-05 | California Institute of Technology | Array level fourier ptychographic imaging |
AU2016233588A1 (en) | 2015-03-13 | 2017-10-26 | California Institute Of Technology | Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques |
US9993149B2 (en) | 2015-03-25 | 2018-06-12 | California Institute Of Technology | Fourier ptychographic retinal imaging methods and systems |
US10228550B2 (en) | 2015-05-21 | 2019-03-12 | California Institute Of Technology | Laser-based Fourier ptychographic imaging systems and methods |
US11092795B2 (en) | 2016-06-10 | 2021-08-17 | California Institute Of Technology | Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography |
US10568507B2 (en) | 2016-06-10 | 2020-02-25 | California Institute Of Technology | Pupil ptychography methods and systems |
US10558029B2 (en) | 2016-10-27 | 2020-02-11 | Scopio Labs Ltd. | System for image reconstruction using a known pattern |
DE102016123154A1 (de) * | 2016-11-30 | 2018-05-30 | Carl Zeiss Microscopy Gmbh | Bestimmung der Anordnung eines Probenobjekts mittels winkelselektiver Beleuchtung |
US10477097B2 (en) * | 2017-01-03 | 2019-11-12 | University Of Connecticut | Single-frame autofocusing using multi-LED illumination |
WO2018140697A1 (en) * | 2017-01-26 | 2018-08-02 | Navitar, Inc. | High etendue modular zoom lens for machine vision |
DE102017111718A1 (de) * | 2017-05-30 | 2018-12-06 | Carl Zeiss Microscopy Gmbh | Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes |
DE102017115658A1 (de) * | 2017-07-12 | 2019-01-17 | Carl Zeiss Microscopy Gmbh | Flackern bei Winkel-variabler Beleuchtung |
EP3698193A1 (en) | 2017-10-19 | 2020-08-26 | Scopio Labs Ltd. | Adaptive sensing based on depth |
WO2019090149A1 (en) | 2017-11-03 | 2019-05-09 | California Institute Of Technology | Parallel digital imaging acquisition and restoration methods and systems |
WO2019097523A1 (en) | 2017-11-20 | 2019-05-23 | Scopio Labs Ltd. | Multi/parallel scanner |
EP3714307A4 (en) | 2017-11-20 | 2021-04-28 | Scopio Labs Ltd. | ACCELERATING DIGITAL MICROSCOPY SCANS WITH EMPTY / DIRTY AREA DETECTION |
FR3076912A1 (fr) * | 2018-01-16 | 2019-07-19 | Francois Perraut | Dispositif d’eclairage de microscope permettant d’effectuer la mise au point de l’image d’un objet |
FR3076911A1 (fr) * | 2018-01-16 | 2019-07-19 | Francois Perraut | Dispositif d’eclairage de microscope permettant de mesurer un defaut de mise au point |
DE102018107356A1 (de) | 2018-03-28 | 2019-10-02 | Carl Zeiss Microscopy Gmbh | Autofokus mit winkelvariabler Beleuchtung |
WO2019185174A1 (en) * | 2018-03-29 | 2019-10-03 | Leica Microsystems Cms Gmbh | Apparatus and method, particularly for microscopes and endoscopes, using baseline estimation and half-quadratic minimization for the deblurring of images |
CN108398775B (zh) * | 2018-04-24 | 2019-11-22 | 清华大学 | 荧光显微镜***的对焦方法及装置 |
EP3899621A4 (en) * | 2018-12-21 | 2022-09-28 | Scopio Labs Ltd. | COMPRESSED RECORDING OF MICROSCOPIC IMAGES |
US11356593B2 (en) * | 2019-05-08 | 2022-06-07 | University Of Connecticut | Methods and systems for single frame autofocusing based on color- multiplexed illumination |
US11523046B2 (en) * | 2019-06-03 | 2022-12-06 | Molecular Devices, Llc | System and method to correct for variation of in-focus plane across a field of view of a microscope objective |
US11650405B2 (en) | 2019-11-15 | 2023-05-16 | Scopio Labs Ltd. | Microscope and method for computational microscopic layer separation |
KR102484708B1 (ko) * | 2019-11-18 | 2023-01-05 | 단국대학교 산학협력단 | 다파장 광원 기반 3차원 영상의 보정방법 |
JP2023537892A (ja) * | 2020-08-07 | 2023-09-06 | ナノトロニクス イメージング インコーポレイテッド | 自動焦点合わせ顕微鏡システムのための深層学習モデル |
CN112799225A (zh) * | 2020-12-31 | 2021-05-14 | 安徽大学 | 一种基于强度传输方程的智能手机显微*** |
DE102021102990A1 (de) | 2021-02-09 | 2022-08-11 | Carl Zeiss Microscopy Gmbh | Verfahren und Vorrichtung zur Bestimmung der optimalen Position der Fokalebene zum Mikroskopieren einer Probe |
EP4092462A1 (en) * | 2021-05-18 | 2022-11-23 | Leica Instruments (Singapore) Pte. Ltd. | Laser assisted autofocus |
CN114967100B (zh) * | 2022-08-02 | 2022-11-18 | 杭州德适生物科技有限公司 | 一种染色体核型分析显微拍摄装置及其参数矫正方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200449A (zh) * | 2014-08-25 | 2014-12-10 | 清华大学深圳研究生院 | 一种基于压缩感知的fpm算法 |
WO2015027188A1 (en) * | 2013-08-22 | 2015-02-26 | California Institute Of Technoloby | Variable-illumination fourier ptychographic imaging devices, systems, and methods |
CN104796609A (zh) * | 2015-04-17 | 2015-07-22 | 南京理工大学 | 基于最优哈达玛编码的大视场高分辨率显微成像方法 |
CN104885187A (zh) * | 2012-10-30 | 2015-09-02 | 加州理工学院 | 傅立叶重叠关联成像***、设备和方法 |
WO2015134924A1 (en) * | 2014-03-07 | 2015-09-11 | The Regents Of The University Of California | Partially coherent phase recovery |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2423136C3 (de) | 1974-05-13 | 1982-07-29 | Fa. Carl Zeiss, 7920 Heidenheim | Vorrichtung zur automatischen Fokussierung von Stereomikroskopen |
JPS58153327A (ja) | 1982-03-08 | 1983-09-12 | Toshiba Corp | パタ−ン検査装置 |
DE3328821C2 (de) | 1983-08-10 | 1986-10-02 | Fa. Carl Zeiss, 7920 Heidenheim | Autofokus für Mikroskope |
JPH0769162B2 (ja) | 1990-04-23 | 1995-07-26 | 大日本スクリーン製造株式会社 | 光学的検査システムのための自動焦点合わせ装置 |
IL111229A (en) | 1994-10-10 | 1998-06-15 | Nova Measuring Instr Ltd | Autofocusing microscope |
EP0819953A3 (en) * | 1994-11-29 | 1998-03-25 | Minnesota Mining And Manufacturing Company | Graphic media, transfer graphic, and decorative article formed therefrom |
US6677565B1 (en) | 1998-08-18 | 2004-01-13 | Veeco Tucson Inc. | High speed autofocus and tilt for an optical imaging system |
US7034317B2 (en) * | 2002-12-17 | 2006-04-25 | Dmetrix, Inc. | Method and apparatus for limiting scanning imaging array data to characteristics of interest |
JP2005045164A (ja) * | 2003-07-25 | 2005-02-17 | Toshiba Corp | 自動焦点合わせ装置 |
US20050213037A1 (en) * | 2004-03-29 | 2005-09-29 | Erkin Abdullayev | Method and apparatus of cornea examination |
US7075046B2 (en) * | 2004-07-28 | 2006-07-11 | University Of Vermont And State Agricultural College | Objective lens reference system and method |
JP2006174415A (ja) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 |
JP4790420B2 (ja) * | 2006-01-12 | 2011-10-12 | オリンパス株式会社 | 自動焦点機構を備えた顕微鏡およびその調整方法 |
JP4822925B2 (ja) | 2006-04-28 | 2011-11-24 | 日本電子株式会社 | 透過型電子顕微鏡 |
KR20090018711A (ko) * | 2006-06-09 | 2009-02-20 | 위구-디바이스 아이엔씨. | 무한 보정 현미경의 자동 포커싱을 위한 방법 및 장치 |
DE102006027836B4 (de) | 2006-06-16 | 2020-02-20 | Carl Zeiss Microscopy Gmbh | Mikroskop mit Autofokuseinrichtung |
KR101629044B1 (ko) * | 2008-07-25 | 2016-06-09 | 코넬 유니버시티 | 광 필드 이미지 센서, 방법 및 적용 |
US8994811B2 (en) | 2010-01-27 | 2015-03-31 | National University Corporation Hokkaido University | Diffraction microscopy |
EP2373043A1 (en) * | 2010-03-29 | 2011-10-05 | Swiss Medical Technology GmbH | Optical stereo device and autofocus method therefor |
JP5938401B2 (ja) * | 2010-06-24 | 2016-06-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 差分測定に基づき顕微鏡検査をスキャンするためのオートフォーカス |
DE102011077236A1 (de) | 2011-06-08 | 2012-12-13 | Carl Zeiss Microlmaging Gmbh | Autofokusverfahren für Mikroskop und Mikroskop mit Autofokuseinrichtung |
DE102011082756A1 (de) | 2011-09-15 | 2013-03-21 | Leica Microsystems (Schweiz) Ag | Autofokussierverfahren und -einrichtung für ein Mikroskop |
JP2013088513A (ja) * | 2011-10-14 | 2013-05-13 | Panasonic Corp | 撮像レンズ及びそれを用いた撮像装置 |
GB201201140D0 (en) | 2012-01-24 | 2012-03-07 | Phase Focus Ltd | Method and apparatus for determining object characteristics |
US10652444B2 (en) | 2012-10-30 | 2020-05-12 | California Institute Of Technology | Multiplexed Fourier ptychography imaging systems and methods |
JP2015052663A (ja) * | 2013-09-06 | 2015-03-19 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置およびプログラム |
US10162161B2 (en) * | 2014-05-13 | 2018-12-25 | California Institute Of Technology | Ptychography imaging systems and methods with convex relaxation |
CN104932092B (zh) * | 2015-06-15 | 2017-09-08 | 上海交通大学 | 基于偏心光束法的自动对焦显微镜及其对焦方法 |
WO2019090149A1 (en) * | 2017-11-03 | 2019-05-09 | California Institute Of Technology | Parallel digital imaging acquisition and restoration methods and systems |
-
2016
- 2016-11-10 CN CN201680065388.0A patent/CN108351504A/zh active Pending
- 2016-11-10 US US15/775,370 patent/US10705326B2/en active Active
- 2016-11-10 WO PCT/IB2016/001725 patent/WO2017081542A2/en active Application Filing
- 2016-11-10 WO PCT/IB2016/001703 patent/WO2017081539A1/en active Application Filing
- 2016-11-10 EP EP16810021.2A patent/EP3374816A2/en not_active Withdrawn
- 2016-11-10 US US15/775,389 patent/US20190235224A1/en not_active Abandoned
- 2016-11-10 JP JP2018524197A patent/JP2018537709A/ja not_active Withdrawn
- 2016-11-10 EP EP16834094.1A patent/EP3374817B1/en active Active
- 2016-11-10 CN CN201680064749.XA patent/CN108351506B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104885187A (zh) * | 2012-10-30 | 2015-09-02 | 加州理工学院 | 傅立叶重叠关联成像***、设备和方法 |
WO2015027188A1 (en) * | 2013-08-22 | 2015-02-26 | California Institute Of Technoloby | Variable-illumination fourier ptychographic imaging devices, systems, and methods |
WO2015134924A1 (en) * | 2014-03-07 | 2015-09-11 | The Regents Of The University Of California | Partially coherent phase recovery |
CN104200449A (zh) * | 2014-08-25 | 2014-12-10 | 清华大学深圳研究生院 | 一种基于压缩感知的fpm算法 |
CN104796609A (zh) * | 2015-04-17 | 2015-07-22 | 南京理工大学 | 基于最优哈达玛编码的大视场高分辨率显微成像方法 |
Non-Patent Citations (1)
Title |
---|
GUOAN ZHENG: "Microscopy refocusing and dark-field imaging by using a simple LED array", 《OPTICS LETTERS》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113039471A (zh) * | 2018-11-09 | 2021-06-25 | 莱卡微***Cms有限责任公司 | 显微的透射光对比方法 |
CN113039471B (zh) * | 2018-11-09 | 2023-08-01 | 莱卡微***Cms有限责任公司 | 显微的透射光对比方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3374816A2 (en) | 2018-09-19 |
EP3374817A1 (en) | 2018-09-19 |
US20180329194A1 (en) | 2018-11-15 |
WO2017081539A1 (en) | 2017-05-18 |
CN108351506B (zh) | 2020-12-04 |
WO2017081542A3 (en) | 2017-07-06 |
CN108351506A (zh) | 2018-07-31 |
EP3374817B1 (en) | 2020-01-08 |
WO2017081542A2 (en) | 2017-05-18 |
JP2018537709A (ja) | 2018-12-20 |
US10705326B2 (en) | 2020-07-07 |
US20190235224A1 (en) | 2019-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108351504A (zh) | 用于在不同照射条件下生成图像的计算显微镜及方法 | |
US10558029B2 (en) | System for image reconstruction using a known pattern | |
JP5033802B2 (ja) | タスク型画像化システム | |
CN105308949B (zh) | 图像获取装置、图像获取方法以及记录介质 | |
JP5866383B2 (ja) | 画像における焦点誤差推定 | |
TW201126624A (en) | System and method for inspecting a wafer (2) | |
US20230005281A1 (en) | Adaptive sensing based on depth | |
CN105659143A (zh) | 孔径扫描傅立叶重叠关联成像 | |
TW201100779A (en) | System and method for inspecting a wafer (3) | |
CN107113370A (zh) | 图像捕获装置及图像捕获方法 | |
CN109642848B (zh) | 图像检查装置以及图像检查方法 | |
US11650405B2 (en) | Microscope and method for computational microscopic layer separation | |
CN113267141B (zh) | 一种显微三维信息采集设备 | |
US11409095B2 (en) | Accelerating digital microscopy scans using empty/dirty area detection | |
TWI752905B (zh) | 畫像處理裝置及畫像處理方法 | |
CN107077722A (zh) | 图像捕获装置及图像捕获方法 | |
KR101399274B1 (ko) | 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법 | |
US20140152804A1 (en) | Sub-pixel imaging for enhanced pixel resolution | |
JP6035612B2 (ja) | 光記録媒体及び光情報再生方法 | |
JP2018128657A (ja) | レンズアレイ顕微鏡 | |
JP6882266B2 (ja) | ピクセルビームを表すデータを生成する装置及び方法 | |
TWM379758U (en) | Lens imaging quality detecting apparatus | |
CN211696237U (zh) | 一种目标物显微图像采集设备 | |
Rangappa | Absolute depth using low-cost light field cameras | |
WO2023121458A1 (en) | Projector system and method for projecting images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180731 |
|
WD01 | Invention patent application deemed withdrawn after publication |