CN108106603A - 具有多级扩展景深图像处理的可变焦距透镜*** - Google Patents

具有多级扩展景深图像处理的可变焦距透镜*** Download PDF

Info

Publication number
CN108106603A
CN108106603A CN201711182642.8A CN201711182642A CN108106603A CN 108106603 A CN108106603 A CN 108106603A CN 201711182642 A CN201711182642 A CN 201711182642A CN 108106603 A CN108106603 A CN 108106603A
Authority
CN
China
Prior art keywords
edof
time
real
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711182642.8A
Other languages
English (en)
Other versions
CN108106603B (zh
Inventor
R.K.布里尔
长滨龙也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN108106603A publication Critical patent/CN108106603A/zh
Application granted granted Critical
Publication of CN108106603B publication Critical patent/CN108106603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/11—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on acousto-optical elements, e.g. using variable diffraction by sound or like mechanical waves
    • G02F1/113—Circuit or control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Lens Barrels (AREA)

Abstract

包括可调谐声学梯度(TAG)透镜的成像***与包括扩展景深(EDOF)图像的实时显示的用户界面相关联。利用TAG透镜产生可能包括散焦模糊(例如，部分地由TAG透镜的周期性调制的光功率变化导致)的原始EDOF图像。基于在当前时间的平移状态信号(例如，指示在成像***的视场之间的工件的平移速度)在用户界面中重复地更新实时EDOF图像。响应于平移状态信号的当前状态，在对应于基于图像处理的对应级的EDOF图像数据集合的用户界面显示工件对应类型的实时EDOF图像以移除散焦模糊。

Description

具有多级扩展景深图像处理的可变焦距透镜***
技术领域
本公开一般涉及使用可变聚焦透镜的精度计量，并且尤其涉及诸如可以在机器视觉检查或其他视觉***中利用的扩展景深成像操作。
背景技术
精度机器视觉检查***(或简称“视觉***”)被使用以得到对象的精确的维度测量并且检查各种其他对象特征。这样的***可以包括计算机、照相机和光学***、以及移动以允许工件往返移动(traversal)和检查的精度平台。表征为通用的“离线”精度视觉***的一个示例性的先前技术***是可从位于伊利诺伊州的奥罗拉的三丰美国公司(MitutoyoAmerica Corporation，MAC)获得的QUICK系列基于PC的视觉***和软件。QUICK系列的视觉***和软件的特征和操作被一般地描述，例如，在2003年1月发布的QVPAK 3D CNC视觉测量机用户指南和在1996年9月发布的QVPAK 3DCNC视觉测量机操作指南中，上述两者中的每一个在此通过引用整体并入本文。这种类型的***使用显微镜型的光学***并且移动平台以便以各种放大率提供小的或相对大的工件的检查图像。
通用精度机器视觉检测***通常是可编程的以提供自动视频检测的。这样的***典型地包括GUI特征和预定义的图像分析“视频工具”，使得操作和编程能够由“非专家”操作者执行。例如，通过引用整体并入本文的美国专利第6,542,180号教导了使用包括各种视频工具的使用的自动视频检查的视觉***。
通常包括特定检查事件序列(即，如何获取每个图像以及如何分析/检查每个所获取的图像)的机器控制指令被存储为特定于特定工件配置的“零件程序”或“工件程序”。例如，零件程序定义如何获取每个图像，诸如如何相对于工件定位照相机、在什么照明级别、在什么放大级别等等。此外，零件程序定义如何分析/检查所获取的图像，例如，通过使用诸如自动对焦视频工具的一个或多个视频工具。
可以手动地使用视频工具(或简称为“工具”)和其他图形用户界面的特征来完成手动检查和/或机器控制操作(在“手动模式”中)。在学习模式期间也可以记录视频工具和其他图形用户界面的设置参数和操作以便创建自动检查程序、或“零件程序”，。视频工具可以包括，例如，边缘/边界检测工具、自动对焦工具、形状或图案匹配工具、维度测量工具等等。
在一些应用中，期望操作机器视觉检查***的成像***来收集具有扩展景深(EDOF)的图像，使得所述景深大于在单个焦点位置处光学成像***提供的景深。已知用于收集具有扩展景深的图像的各种方法。一种这样的方法是收集在整个聚焦范围的不同距离处聚焦的多个全等或对齐的图像组成的图像“堆栈”。视场的马赛克图像由图像堆栈构成，其中视场的每个部分从特定图像中提取，该特定图像显示具有最佳焦点的该部分。然而，这种方法相对慢。作为另一示例，Nagahara等人(“Flexible Depth of Field Photography”，Proceedings of the European Conference on Computer Vision，2008年10月)公开了一种其中单个图像在其曝光时间期间沿多个焦点距离曝光的方法。这个图像相对模糊，但是包含在多个焦点距离上获得的图像信息。使用已知的或预定的模糊核对其进行去卷积以获得具有扩展景深的相对清晰的图像。在Nagahara描述的方法中，通过沿着成像***的光轴平移图像检测器来改变焦距。作为结果，在曝光期间，不同的焦点平面以不同的次数聚焦在检测器上。然而，这样的方法相对慢且机械复杂，这可能导致某些类型的应用的问题(例如，当显示正在视场之间移动的工件的实时EDOF图像时，对其而言处理可能太慢而不能跟上运动等等)。用于提供EDOF图像的改进的方法(例如，诸如当提供实时EDOF图像时可以执行的方法等等)是可期望的。
发明内容
提供本概述来以简化的形式介绍在以下以详细描述而被描述的选择的概念。本概述既不旨在识别所要保护的主题的关键特征，也不旨在被用作帮助确定所要保护的主题的范围。
提供了一种在其中在与成像***相关联的用户界面(UI)中显示工件的实时扩展景深(EDOF)图像的***和方法，其中工件可以在成像***的视场之间平移。成像***包括透镜***、控制***、照相机、和图像处理部分。透镜***包括可调谐声学梯度(TAG)透镜，其被控制以为TAG透镜提供周期性调制的光功率变化并由此为成像***提供对应的焦点距离变化。控制***包括被配置以控制TAG透镜的透镜控制器。照相机被配置为在多个焦点距离处为成像***输入来自透镜***的工件图像光，并且输出对应于原始EDOF图像的对应的原始EDOF图像数据集合。图像处理部分被配置以输入原始EDOF图像数据集合并对其处理以提供基于图像处理的处理过的EDOF图像数据集合以移除在对应的所显示的EDOF图像中的散焦模糊。
在各种实施方式中，对应于随时间的工件的一系列的原始EDOF图像，照相机***作以输出随时间的一系列的原始EDOF图像数据集合。平移状态信号对应于在当前时间在成像***的视场之间的工件的当前平移速度而被重复地确定。显示在用户界面中的工件的实时EDOF图像基于在当前时间的平移状态信号的状态而被重复地更新，对其而言取决于平移状态信号的状态显示不同类型的图像。更具体地，响应于对应于第一当前平移速度(例如，相对更慢的速度)的第一平移状态信号，在对应于基于图像处理的第一级(例如，相对高的图像处理量)的EDOF图像数据集合的用户界面中显示工件的第一类型的实时EDOF图像以移除实时EDOF图像的第一类型中的散焦模糊。响应于对应于比第一当前平移速度更快的第二当前平移速度的第二平移状态信号，在用户界面中显示工件的第二类型的实时EDOF图像。在各种实施方式中，实时EDOF图像的第二类型对应于基于以下中的至少一个的EDOF图像数据集合：图像处理的第二级以移除实时EDOF图像的第二类型中的散焦模糊，其中图像处理的第二级对应于比第一级图像处理更少的图像处理；或者无以移除实时EDOF图像的第二类型中的散焦模糊的图像处理。
附图说明
图1是示出通用精度机器视觉检查***的各种典型部件的图；
图2是与图1相似的并且包括本文公开的特征的视觉***的控制***部分和视觉组件部分的框图；
图3是可以根据本文公开的原理操作的成像***的示意图；
图4是在用于提供实时EDOF图像的视觉***的控制***的第一实施方式中所利用的组件的框图；
图5是在用于提供实时EDOF图像的视觉***的控制***的第二实施方式中所利用的组件的框图；
图6A是示出与成像***相关联的用户界面的图，其中图像处理的第一级已经被利用以移除在所显示的第一类型的实时EDOF图像中第一级分辨率中的散焦模糊；
图6B是示出图6A的用户界面的图，其中图像处理的第二级已经被利用以移除所显示的第二类型的实时EDOF图像中第二级分辨率中的散焦模糊；以及
图7是示出用于提供在与成像***相关联的用户界面中所显示的工件的实时EDOF图像的例程的一个示例性实施方式的流程图。
具体实施方式
图1是包括根据本文公开的原理可用的成像***的一个示例性机器视觉检查***10的框图。视觉***10包括被可操作地连接以与控制计算机***14、监视器或显示器16、打印机18、操纵杆22、键盘24、和鼠标26交换数据和控制信号的视觉测量机12。监测器或显示器16可以显示用于控制和/或编程视觉***10的用户界面。触摸屏平板等可以代替或作为增加这些组件中的任何一个或全部。
更一般地，控制计算机***14可以包括或由任何计算***或设备、和/或分布式计算环境构成，并且可以包括运行软件以执行本文描述的功能的一个或多个处理器。处理器包括可编程通用或专用微处理器、控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、或其组合。软件可以存储在随机存取存储器(RAM)、只读存储器(ROM)、闪存等等中，或存储在其组合中。软件也可以存储在基于光学的光盘、闪存设备、或用于存储数据的任何其他类型的非易失性存储介质中。软件可以包括一个或多个程序模块，所述一个或多个程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。程序模块的功能可以被组合或者在多个计算***或者设备之间分布，并且可以以有线或者无线配置两者经由服务呼叫而被访问。
视觉测量机12包括可移动工件平台32和可以包括变焦透镜或可更换透镜的光学成像***34。变焦透镜或可更换透镜通常提供各种放大倍率(例如，0.5×至100×)。类似的视觉***在共同转让的美国专利第7,324,682、7,454,053、8,111,905、和8,111,938号中描述，其中的每一个的全部内容通过引用合并于此。
图2是类似于图1的视觉***的视觉***100的控制***部分120和视觉组件部分200的框图，包括本文所述的特征。类似于图1的视觉***，视觉***100包括根据本文公开的各种原理可用的成像***，如将在下面参照图3更详细描述的。在图2的示例中，控制***部分120被利用以控制视觉组件部分200。视觉组件部分200包括光学组件部分205、光源220、230、和240、以及可以具有中心透明部分212的工件平台210。工件平台210沿x轴和y轴可控制地移动，所述x轴和y轴位于通常平行于工件20可被放置的平台的表面的平面。
光学组件部分205可以包括相机***260(例如，包括照相机、共焦光学检测器等等)、可变焦距(VFL)透镜270、并且也可以包括可更换物镜250、和具有透镜286和288的转塔(turret)透镜组件280。作为转塔透镜组件的替代，可以包括固定的或手动可更换的放大倍率改变透镜、或变焦透镜配置等。在各种实施方式中，可以包括各种透镜作为光学组件部分205的可变放大倍率透镜部分的部分。在各种实施方式中，可更换物镜250可以从固定的放大倍率物镜的集合(例如，从0.5×到100×变动的集合，等)中选择。
在各种实施方式中，通过使用驱动致动器以沿着z轴移动光学组件部分205以改变图像的焦点的可控马达294，光学组件部分205沿着正交于x轴和y轴的z轴可控制地移动。可控马达294经由信号线296连接到输入/输出接口130。如下面将更详细地描述的，VFL透镜270也可以***作以周期性地调节焦点位置。将要成像的工件20或多个工件20位于工件台210上，所述工件台210相对于光学组件部分205(例如在x轴和y轴方向上)移动，使得所成像区域在工件20上的位置之间移动，并且使得工件20可以在成像***的视场之间平移。
平台灯220、同轴灯230、和表面灯240(例如，环形灯)中的一个或多个可以分别发射源光222、232、和/或242，以照明一个或多个工件20。同轴光230可以沿着包括反射镜290的路径发射光232。源光被反射或透射为工件光255，并且工件光(例如，用于成像)穿过可更换物镜250、转塔透镜组件280和VFL透镜270并由照相机***260(例如，包括照相机、共焦光学检测器等等)聚集。在各种实施方式中，照相机***260输入工件光并输出信号数据(例如，工件20的一个或多个图像、共焦亮度信号等等)到控制***部分120。光源220、230、和240可以分别通过信号线或总线221、231、和241连接到控制***部分120。控制***部分120可以沿着轴线284旋转转塔透镜组件280以通过信号线或总线281选择转塔透镜以改变图像放大倍率。
如图2所示，在各种示例性实施方式中，控制***部分120包括控制器125、输入/输出接口130、存储器140、工件程序生成器和执行器170、以及电源部分190。这些组件、以及下面描述的附加组件中的每一个可以由一个或多个数据/控制总线和/或应用编程接口、或由各个元件之间的直接连接来互连。输入/输出接口130包括成像控制接口131、运动控制接口132、光照控制接口133、和镜头控制器/接口271。运动控制接口132可以包括位置控制元件132a、和速度/加速度控制元件132b，尽管这样的元件可以是合并的和/或不可区分的。光照控制接口133可以包括照明控制元件133a、133n、和133fl，其控制例如视觉***100的各种对应的光源的选择、功率、接通/断开开关、和频闪脉冲定时(如果适用)。
成像控制接口131可以包括扩展景深(EDOF)模式131e，其可以被选择(例如，通过用户、自动地等等)以收集具有比当聚焦在单个焦点位置时视觉组件部分200可以提供的更大的景深的工件的至少一个图像。镜头控制器/接口271可以包括包括透镜聚焦驱动电路和/或例程等的EDOF透镜控制器。根据本文公开的原理，在一个实施方式中，透镜控制器/接口271可以由用户和/或操作程序配置或控制，并且可以利用信号线271'来控制VFL透镜270周期性地调制其光功率(例如，正弦地)，并且从而以确定的操作频率沿着Z高度方向在多个聚焦位置上周期性地调节成像***的聚焦位置。周期性调制的VFL透镜光功率定义了对应于用于成像***的焦点距离变化的周期性聚焦调制。
与扩展的景深的模式和EDOF透镜控制接口和/或控制器相关的某些操作和部件也在共同未决和共同转让的美国专利公开第2015/0145980号中被描述，该申请的全部内容通过引用并入本文。包括VFL透镜的其它***和方法在共同未决和共同转让的于2015年7月9日提交的标题为“Adaptable Operating Frequency of a Variable Focal Length Lensin an Adjustable Magnification Optical System”的美国专利申请序列号第14/795,409号、于2015年8月31日提交的标题为“Multi-Level Image Focus Using a TunableLens in a Machine Vision Inspection System”的美国专利申请序列号第14/841051号、于2015年9月15日提交的标题为“Chromatic Aberration Correction in Imaging SystemIncluding Variable Focal Length Lens”的美国专利申请序列号第No.14/854,624号，以及于2016年3月3日提交的标题为“Phase Difference Calibration In A Variable FocalLength Lens System”的美国专利申请序列号第15/145,682号中描述，其各自通过引用整体并入本文。
存储器140可以包括图像文件存储器部分141、边缘检测存储器部分140ed、可以包括一个或多个零件程序等的工件程序存储器部分142、以及视频工具部分143。视频工具部分143包括为对应的视频工具中的每一个确定GUI、图像处理操作等的视频工具部分143a和其它视频工具部分(例如，143n)，以及支持定义在包括在视频工具部分143中的各种视频工具中可操作的各种ROI的自动、半自动、和/或手动的操作的感兴趣区域(ROI)生成器143roi。视频工具部分也包括为自动对焦操作确定GUI、图像处理操作等的自动聚焦视频工具143af。自动聚焦视频工具143af可以另外包括可以被利用以高速测量聚焦高度的高速聚焦高度工具，如在共同未决且共同转让的美国专利公开第2014/0368726号中更详细描述的，其在此并入本文作为参考。在各种实施方式中，本文描述的各种组件和/或特征可以与一个或多个视频工具(例如，自动聚焦视频工具143af、单独的视频工具等)结合使用或以其他方式包括在其中。
在本公开的上下文中，并且如本领域普通技术人员所知，术语“视频工具”通常是指机器视觉用户能够通过相对简单的用户界面(例如，图形用户界面、可编辑的参数窗口、菜单等)而不用创建包括在视频工具中的逐步操作序列或采取广义的基于文本的编程语言来实现的相对复杂的自动或编程操作的集合。例如，视频工具可以包括在特定情况下通过调整控制操作和计算的一些变量或参数而被应用和定制的图像处理操作和计算的复杂的预编程的集合。除了基本的操作和计算之外，视频工具还包括允许用户调整用于视频工具的特定实例的那些参数的用户界面。例如，许多机器视觉视频工具允许用户通过使用鼠标的简单“拖放(handle dragging)”操作来配置图形感兴趣区域(ROI)指示器，以便定义将要通过视频工具的特定实例的图像处理操作分析的图像的子集的位置参数。应该注意的是，可见的用户界面特征有时被称为视频工具，其中隐含地包含基本操作。
平台灯220、同轴灯230、和表面灯240的信号线或总线221、231、和241都分别连接到输入/输出接口130。来自照相机***260的信号线262、来自VFL透镜270的信号线271'、以及来自可控制马达294的信号线296都连接到输入/输出接口130。除了携带图像数据之外，信号线262还可以携带来自控制器125、启动某些处理(例如图像采集、共焦亮度测量等)的信号。
显示设备136(例如，图1的显示器16)和输入设备138(例如，图1的操纵杆22、键盘24、和鼠标26)也可以连接到输入/输出接口130。显示设备136和输入设备138可以用于显示可以包括可用于执行检查操作、和/或创建和/或修改零件程序的各种图形用户界面(GUI)特征的用户界面，以观看由照相机***260捕捉的图像、和/或直接地控制视觉***组件部分200。显示设备136可以显示用户界面特征(例如，如与成像控制接口131、EDOF模式131e、镜头控制器/接口271、运动控制接口132、自动对焦视频工具143af相关联等)。
在各种示例性实施方式中，当用户利用视觉***100为工件20创建零件程序时，用户通过在学***、聚焦或自动聚焦、获取图像、以及提供应用于图像的检查训练序列(例如，在该工件特征上使用一个或多个视频工具的实例)。序列被捕获或记录并转换成对应的零件程序指令。当执行零件程序时，其会导致视觉***再现训练后的图像采集并且自动地检查当前工件(例如，运行模式的工件)或与创建零件程序时(例如，在学习模式期间)使用的代表性工件类似的工件。本文公开的关于EDOF模式131e的***和方法在这样的学习模式和/或手动操作期间是特别有用的，因为在操纵工件以进行视觉检查和/或工件程序创建时，用户可以看到实时EDOF图像的视频序列(例如，至少近似地即时地)。用户不需要根据工件上的各种微观特征的高度持续地重新聚焦高放大倍率图像，这可能是枯燥乏味且耗时的，特别是在高放大倍率下。
图3是可以适用于视觉***并根据本文公开的原理而***作的成像***300的示意图。应该理解的是，图3的特定编号的组件3XX可以对应于和/或具有与图2的类似编号的组件2XX类似的操作，除了下面另外描述的之外。在各种实施方式中，成像***300可配置以提供在单个焦点位置中具有比成像***更大的景深的工件的至少一个EDOF图像(例如，在各种实施方式中，大10-20倍、或更多倍)。如图3所示，成像***300包括可配置(例如，用频闪的或连续波照明)以对成像***300的视场中的工件320进行照明的光源330、物镜350、管透镜351、中继透镜352、可变焦距透镜(VFL)370、中继透镜386、和照相机***360。
在操作中，光源330可配置成沿着包括部分反射镜390的路径并通过物镜350发射源光332到工件320的表面，其中物镜350接收聚焦在靠近工件320的聚焦位置FP，并且将工件光355输出到管透镜351。在各种实施方式中，物镜350可以是可更换的物镜，并且管透镜351可以被包括作为转塔透镜组件的部分(例如，类似于图2的可更换物镜250和转塔透镜组件280)。在各种实施方式中，物镜350、管透镜351、或本文引用的其他透镜中的任何都可以由单个透镜、复合透镜等形成或与其结合而操作。管透镜351接收工件光355并将其输出到中继透镜352。
中继透镜352接收工件光355并将其输出到VFL透镜370。VFL透镜370接收工件光355并将其输出到中继透镜386。中继透镜386接收工件光355并将其输出到照相机***360。在各种实施方式中，照相机***360可以在图像曝光时段期间捕获工件320的图像，并且可以将图像提供给控制***部分(例如，类似于在图2中的用于向控制***部分120提供图像的照相机***260的操作)。在各种实施方式中，成像***可以进一步包括光学滤波器(例如，位于照相机***360之前或作为照相机***360的部分)以接收并空间地滤波来自VFL透镜的初步图像光，并输出结果的滤波后的图像光作为提供EDOF图像的部分。
VFL透镜370是电子可控的，以在一个或多个图像曝光期间改变成像***的焦点位置FP。焦点位置FP可以在由焦点位置FP1和焦点位置FP2界定的范围R内移动。应当理解的是，在各种实施方式中，范围R可以由用户选择(例如，在成像控制接口131的EDOF模式131e等中)、或者可以由设计参数产生、或者可以自动确定。总体上关于图3的示例，将会理解，所示维度中的某些可能不是按比例的。例如，VFL透镜370可以具有与所示出的比例尺寸不同的比例尺寸(例如，对于某些应用，可以是不那么宽、并且长至50mm或更长以便提供期望量的透镜倍率等)。
在各种实施方式中，机器视觉检查***可以包括可配置为与透镜控制器371结合操作或者以其他方式控制VFL透镜370以周期性地调制成像***300的聚焦位置的控制***(例如，图2的控制***部分120)。在一些实施方式中，VFL透镜370可以非常快速地(例如周期性地以至少300Hz、或3kHz、或70kHz或更高)调整或调制聚焦位置。在一个示例实施方式中，范围R可以是大约10mm(例如，对于1×物镜350)。在各种实施方式中，有利地选择VFL透镜370使得其不需要任何在成像***中的宏观机械调整和/或在物镜350与工件320之间的距离的调整以改变焦点位置FP。在这种情况下，根据本文所公开的原理，可以获取EDOF图像，并且进一步地，当相同的成像***被用于获取固定焦点检查图像时，不存在降低准确性的宏观调整元素或相关联的定位不重复性，其可用于精确测量(例如，精度为几微米)等。例如，在一些实施例中，期望使用实时EDOF图像作为用户的显示图像，并随后终止聚焦位置的周期性调制(例如，使用先前描述的EDOF模式控制元件131e、或基于主动测量操作的自动终止、或与VFL透镜频率同步的频闪光照等)来为成像***提供固定的聚焦位置。然后，该***可以被用于使用具有固定焦点位置的成像***曝光特定特征的测量图像，为此可以处理得到的稳定的高分辨率测量图像以提供工件的精确测量。如在之前并入的'726公布中所述，也可以利用焦点位置FP中的变化来快速地获取包括沿Z高度方向靠近工件320的多个位置处的多个图像的图像堆栈。
在各种实施方式中，VFL透镜370可以是可调谐声学梯度折射率(“TAG”)透镜。可调谐声学梯度折射率透镜是在流体介质中使用声波来调制聚焦位置的高速VFL透镜，并且可以以数百kHz的频率周期性地扫描焦距的范围。这样的透镜可以通过由此通过引用整体并入本文的文章“具有可调谐声学梯度折射率透镜的高速度变焦成像”(Optics Letters,，Vol.33，No.18，2008年9月15日)的教导来理解。可调谐声学梯度折射率透镜和相关的可控信号发生器可例如从新泽西州的普林斯顿的TAG Optics公司获得。例如，TL2.B.xxx系列透镜能够调制到近似600KHz。
在各种实施方式中，如先前并入的'726公布中更详细描述的，照相机***360可包括具有全局快门的传感器，即同时曝光每个像素的传感器。这样的实施例是有利的，因为其提供测量图像堆叠而不需要工件或成像***300的任何部分的运动的能力。在各种替代实施方式中，照相机***360可以包括具有电子卷帘快门(ERS)***的传感器。例如，照相机***可以包括与电子卷帘快门(ERS)***(例如，来自加利福尼亚州的圣何塞的AptinaImaging公司的型号MT9M001)耦合的使用SXGA分辨率的黑白CMOS传感器。
VFL透镜370可以由透镜控制器371驱动，透镜控制器371可以产生信号来操作VFL透镜370。在一个实施例中，透镜控制器371可以是商用可控信号发生器。在一些实施方式中，透镜控制器371可由用户和/或操作程序通过成像控制接口131、透镜控制接口271、和/或EDOF模式131e的用户界面来配置或控制，如前参照图2所述。在一些实施方式中，可以使用周期性信号来操作VFL透镜370，使得聚焦位置FP以高频率随时间正弦地被调制。例如，在一些示范性实施方案中，可将TAG透镜配置成高达400kHz的聚焦扫描速率，但应了解的是，在各种实施方案和/或应用中可能期望更慢的焦点位置调整和/或调制频率。例如，在各种实施方式中，可以使用300Hz、或者3kHz、或者70kHz、或者250kHz等的周期性调制。在使用更慢的焦点位置调整的实施方式中，VFL透镜370可以包括可控流体透镜等。
在各种实施方式中，可以控制TAG透镜370以提供至少3KHz的频率的周期性调制的光功率变化，并且照相机360可以被配置为在多个焦点距离处为成像***输入来自透镜***的工件图像光，在跨越周期性调制的光功率变化的多个周期的曝光周期期间，用于产生EDOF图像。在一个这样的实施方式中，根据周期性调制的光功率变化，多个焦点距离可以被配置为跨越成像***的最大聚焦范围的至少70％。在各种实施方式中，焦点距离/位置FP可以在跨越在单个焦点距离处的成像***的景深的至少20倍的多个焦点距离上周期性地调制。在各种实施方式中，当产生EDOF图像时，光源330可以被利用于提供具有与周期性调制的焦点距离/位置FP同步的强度变化的光照，使得照明不同地影响对于在周期性调制的焦点距离的范围R内的不同的相应焦点距离的相应曝光贡献。
在图3的例子中，中继透镜352和386以及VFL透镜370被指定为包括在4f光学配置中，而中继透镜352和管透镜351被指定为包括在开普勒望远镜配置中，并且管透镜351和物镜350被指定为被包括在显微镜配置中。所有示出的配置将被理解为仅是示例性的，而不是相对于本公开进行限制。作为开普勒望远镜配置的部分，管透镜351的焦点距离FTUBE被示出作为与透镜351和352之间的中点近似等距，中继透镜352的焦点距离f也是如此。在替代实施方式中，可以使管透镜351的焦点距离FTUBE不同于中继透镜352(其对应于4f光学配置中的一个4f)的焦点距离f。在管透镜351可被包括作为转台透镜组件的部分的各种实施方式中，可以期望转塔透镜组件的其他管透镜当旋转到操作位置中时具有在相同位置处的焦点(即，以满足中继透镜352的焦点)。
如先前结合的'409申请中更详细地描述的，能够利用焦点距离FTUBE与焦点距离f的比率来相对于被输入到管透镜351的工件光355的准直光束改变继透镜352出来的工件光355的准直光束的直径。应该理解的是关于分别输入到管透镜351和从中继透镜352输出的工件光355的准直光束，在各种实施方式中这样的准直光束可以延伸到更长的路径长度，并且/或者可以相对于这样的准直光束利用分束器来提供额外的光路(例如，如针对不同的照相机***等)。
在各种实施方式中，所示的4f光学配置允许将VFL透镜370(例如，其可以是低数值孔径(NA)设备，诸如可调谐声学梯度折射率透镜)放置在物镜350的傅立叶平面FPL处。这种配置可以在保持工件320处的远心度并且可以最小化尺度变化和图像失真(例如，包括为工件320的每个Z高度和/或焦点位置FP提供恒定的放大倍率)。开普勒望远镜配置(例如，包括管透镜351和中继透镜352)可以被包括在显微镜配置和4f光学配置之间，并且可以被配置在VFL镜头的位置提供物镜光圈的期望大小的投影以最小化像差等。
应该理解的是，在各种实施方式中，某些类型的维度测量可能需要近衍射或衍射限制成像。图3所示的配置通过限制被成像到VFL透镜370中的物镜350的光瞳的离轴范围来减小像差。在该配置中，径向范围可以保持小于处于其最低谐振频率fR，MIN下的VFL透镜370(例如，可调谐声学梯度折射率透镜)的驻波的折射率分布中的第一贝塞耳环的径向范围，如在先前并入的'409应用中详细描述的。以这种方式，来自显微镜配置(即，包括物镜350和管透镜351)的光不超过VFL透镜370的最大通光孔径CAVFL，MAX。在光确实超过最大通光孔径的实施方式中，光可以与VFL透镜370的驻波区域相互作用，所述VFL透镜370的驻波区域可能具有可能增加像差并降低维度测量精度的不期望的折射率。
关于图3所示的成像***的操作，在各种实施方式中，相关联的信号处理可以被配置为执行原始(例如，初步)EDOF图像的计算去卷积，并提供相对清晰的实时EDOF图像(例如，近似即时的)。例如，控制***(例如，图2中所示的控制***部分120)被配置为在图像曝光期间贯穿整个EDOF聚焦范围的调制焦点位置的至少一次扫描的过程中收集第一原始EDOF图像，并处理可能模糊的第一原始EDOF图像以确定相对更清晰的EDOF图像。在一个实施例中，可以使用对应于原始EDOF图像的聚焦范围并且其旨在表征透镜***的操作的已知的或预定的积分点扩展函数(IPSF)来处理或去卷积原始EDOF图像。点扩展函数P(FP)表征模糊圆(即，作为模糊圆的半径r和焦点位置FP的函数的处于距成像***的给定距离处的点光源的圆形图像)。点扩散函数可以被实验确定用于成像***，或者它可以根据已知的方法使用建模在诸如药盒(pill box)或高斯曲线之类的函数上的点扩散函数、或者使用基本衍射原理(例如，傅立叶光学)来估计。在聚焦范围内的不同焦点距离处的这种点扩散函数可以根据其预期的曝光贡献或适用性被加权。例如，当焦点距离在曝光期间移动时，每个焦点距离将贡献给图像曝光达该曝光内的对应时间周期，并且对应于该距离的点扩展函数可以被相应地加权。这样的加权的点扩散函数贡献可以在期望的聚焦范围R上求和或者积分。或者，当焦点距离变化是已知的时间的函数时，这样的点扩散函数贡献可以在对应于期望的聚焦范围R的扫描的时间周期上积分，类似于参照下面的公式3所指示的方法。
对于具有调制的焦点位置的成像***，积分点扩散函数h可以遵循以下关系：
其中P(FP(t))是点扩散函数，并且FP(t)是依赖时间的焦点位置。机器视觉检查***的成像***的焦点位置可以被调制为在与第一原始EDOF图像的图像曝光或积分时间对应的总积分时间T上作为时间t的函数。
第一原始EDOF图像的去卷积可以被理解为逆操作，其从在某些应用中可以被称为“模糊函数”的积分点扩展函数h，对在曝光中具有各自持续时间的焦点位置的范围上曝光的高景深图像去卷积。第一原始EDOF图像可以由下式表示为二维函数g(x，y)，其是具有积分点扩散函数h的清晰的(sharp)(理想的)扩展景深图像f(x，y)(对应于维度为m×n的图像阵列)的卷积：
g(x,y)＝f*h＝∑m∑nf(m,n)h(x-m,y-n) (等式2)
在频域中，这个卷积可以由被表示为F和H的f和h的傅立叶变换的乘积表示：
G＝F·H (等式3)
可以使用快速傅立叶变换(fast Fourier transform，FFT)算法来有效地确定f和h的傅立叶变换。EDOF图像(在频域中)可以通过由此处标记为Hr的H的逆处理图像G(即，将其乘以Hr)来确定。可以通过几种已知的方法来计算逆Hr。例如，H的简单伪逆可由以下等式确定：
其中H*是H的复共轭，并且k是基于成像***300的特征经验地选择的实数。在一个示例性实施例中，k是0.0001。最后，扩展景深图像f可以被计算为：
可以根据Wiener去卷积、Lucy-Richardson迭代算法、Van Cittert迭代算法、或其他已知的去卷积方法(其中一些在例如Kenneth R.Castleman的Digital ImageProcessing(Prentice Hall，Inc.，1996)中描述)来计算伪逆的更鲁棒性(robust)的替代方案。另外，处理图像可以包括降噪，例如使用诸如引导滤波器或双边滤波器的边缘保留噪声降低滤波器。在不同的实施例中，如在之前并入的'980公开文献中更详细描述的，根据傅立叶光学的基本方法，可以使用放置在成像***的傅立叶平面中的无源光学滤波器来光学地执行去卷积，以便即时地提供相对清晰的EDOF图像。
在示例性实施例中，成像***300可以提供原始EDOF图像，所述原始EDOF图像是包括在其曝光期间贯穿期望的聚焦范围获取的信息的模糊图像。然后可以如上所概述地对原始EDOF图像进行计算地处理，以提供经处理的EDOF图像，所述经处理的EDOF图像包括比成像***300可以在单个焦点位置(例如，大100倍)处提供的更大的景深。例如，在单个焦点位置处，成像***300的景深可以是90um，并且使用成像***300的相同实施例提供的扩展景深图像可以具有和9mm一样大的景深。
尽管上述图像处理(例如，包括去卷积被包括在内的计算处理等)的例子对于提供相对更清晰的实时EDOF图像(例如，近似地即时地)是有效的，但是图像处理花费时间来执行。图像处理所需的时间量可能会导致某些类型的应用出现问题(例如，当试图显示正在视场之间移动的平台上工件的实时EDOF图像的视频类型序列时，处理可能太慢而不能跟上相对于运动的期望的帧速率等)。如下文将更详细地描述的，根据本文所公开的原理，当发生相对快的运动时(例如，超过指定的速度相关的阈值)，尽管是以减少的分辨率，但是可以利用减少的处理来更快速地提供实时EDOF图像。例如，如上面关于等式2所描述的，该函数可以对应于维度为m×n的图像阵列(例如，其中m和n可以表示像素的行和列)。如果要处理的像素的数量减少，则也可以减少原始EDOF图像的整个处理所需的时间量。在一个实施方式中，可以通过对来自像素组的数据进行平均或以其他方式组合(例如，在多像素核中)来减少要处理的像素的数量，其中来自多像素核中的组合的组的数据可以以与单个像素类似的方式处理。作为一个具体的例子，如果640×480个像素的阵列具有为4个像素的正方形组组合的数据(例如，对应于单个多像素核的4个像素中的每组)，则要处理的结果数组将是320×240个核。作为另一示例，当超过速度阈值时，可以利用原始EDOF图像而不执行任何图像处理(例如，不执行去卷积处理)以移除散焦模糊。
图4是在用于提供实时EDOF图像的视觉***400的控制***420的第一实施方式中利用的组件的框图。如图4所示，视觉***400包括控制***420、平移状态信号发生器427、实时EDOF图像UI/显示436、和照相机460。控制***420包括平移状态信号分析器421、EDOF图像处理管理器422A、实时EDOF图像UI/显示管理器422B、和EDOF图像处理部分423。如下面将更详细描述的，在某些情况下，EDOF图像处理(例如，如由实时EDOF图像处理部分423执行)对于某些图像(例如，高分辨率)可能变得相对慢，从而导致在用户界面436中重复地提供的实时EDOF图像的低帧/视频速率。根据本文公开的原理，可以利用适应性EDOF图像处理来改善用户体验。
例如，当(例如在成像***的视场之间的工件的)平移速度相对较慢时，可以显示对应于高EDOF图像质量的以高分辨率(例如，全分辨率)EDOF图像处理生成的实时EDOF图像。当平移速度相对更快时(例如，对应于在成像***的视场之间的工件的更快移动)，可以显示由更低EDOF图像处理(或者无EDOF图像处理)产生的实时EDOF图像，从而得到更高的帧速率(例如，用于在用户界面436中的重复地提供的实时EDOF图像)，但是具有更低的EDOF图像质量。在各种实施方式中，由于用户在有高平移速度的情况下(例如，对其而言，运动模糊和/或其他干扰等可能出现在用户界面436中的更新的视频显示中)对微小细节的感知无能，这样的更低的EDOF图像质量可以被认为是可接受的。将认识到的是，这样的“运动模糊”不同于“散焦模糊”，因为运动模糊通常是从相对于成像***的视场在x和/或y轴方向上的平移产生的，而散焦模糊与在Z轴方向上关于具有不同Z高度的工件特征和贯穿图像曝光的调制焦点距离的TAG透镜370的聚焦有关。
在用于提供实时EDOF图像的图4的配置中，照相机460被配置为在多个焦点距离处为成像***的输入来自透镜***(例如，参见图3)的工件图像光并且输出对应于原始EDOF图像(例如，其可包括散焦模糊)的相应的EDOF图像数据集合，其中原始EDOF图像数据集合被提供给EDOF图像处理管理器422A。EDOF图像处理部分423被配置为输入来自EDOF图像处理管理器422A的原始EDOF图像数据集合，并且处理原始EDOF图像数据集合以提供基于图像处理的经处理的EDOF图像数据集合以移除在可以在用户界面436中显示的对应的经处理的EDOF图像中的散焦模糊。
显示管理器422B可以接收来自EDOF图像处理管理器422A的原始EDOF图像数据集和经处理的EDOF图像数据集两者，并且确定要作为更新的实时EDOF图像数据集合提供给用户界面436的EDOF图像数据集合。更具体地说，在图4的例子中，在接收到原始EDOF图像数据集合时，EDOF图像处理部分423可以以相对高的分辨率级别(例如，以全分辨率)开始图像处理，其中当图像处理完成时，处理的EDOF图像数据集通过处理管理器422A发送到显示管理器422B。显示管理器422B可以利用来自平移状态信号分析器421的信号来确定是否利用以相对高的更新速率提供的重复地提供的原始EDOF图像数据集合，或者是否利用以相对更低的更新速率提供的重复地提供的所处理的EDOF图像数据集合，用于在用户界面436中显示。
在一个实施方式中，该过程可以包括使用来自平移状态信号分析器421的信号的显示管理器422B来确定是否利用立即可用的原始EDOF图像数据集合或者为一旦由EDOF图像处理部分423的图像处理完成，则将要被接收到的处理的EDOF图像数据等待短暂时间段。可以理解的是，在任一种情况下，所选择的数据集合被提供作为用于在用户界面436中显示实时EDOF图像的实时EDOF图像数据集合，因为针对当获得原始EDOF图像数据集合时，对要显示的图像的任何处理都可以至少近似地即时地被足够快速地完成。在各种实施方式中，显示管理器422B也可以具有用于重新使用先前图像(例如，如果平移状态信号分析器指示状态为“停止”)的选项，如对应于在当前时间没有在成像***的视场之间的工件的当前移动。
在各种实施方式中，平移状态信号分析器421可以将来自平移状态生成器427的平移状态信号分析为与在当前时间在成像***的视场之间的工件的当前平移速度相对应(例如，指示是否当前平移速度更快、更慢、停止等)，如可相对于特定速度或时间限制或其他阈值确定等。在视觉***400的操作期间，重复地确定平移状态信号。在各种实施方式中，可以利用不同类型的信号、分析等来确定平移状态信号。例如，可以确定工件位于其上的成像***的平台的移动的速度(例如，根据用于平台的控制信号，或者根据指示运动的速度的编码器输出信号等等)。在各种实施方式中，这样的运动控制速度可以结合放大倍率级来确定。更具体地说，取决于当前放大倍率级别，在成像***的视场之间的工件的平移速度可以相对更快或更慢(例如，对于给定数量的平台移动，在2×放大倍率级上，在视场之间的平移速度可以是近似2×高于在1×放大倍率级上的平移速度等等)
作为另一示例，平移状态信号的确定可以包括分析顺序图像以确定平移量(例如，图像中至少一个特征的平移量等)。在一个这样的实施方式中，可以计算当前图像与存储的先前图像或存储的先前图像统计(例如，直方图)之间的差。在各种实施方式中，图像之间的差异可以根据各种技术来确定。例如，可以确定平均绝对像素差(例如，绝对像素差的总和除以以像素的数目表示的图像大小)。作为另一个示例，可以确定由两个图像的平均灰度标准化的平均绝对像素差(例如，以减小对应的度量的亮度依赖性)。作为另一示例，可以确定两个图像的直方图的相似性(例如，计算为两个向量之间的余弦，其中两个直方图被视为N维向量)。作为另一示例，可以确定两个图像的平均灰度之间的绝对差，虽然在某些情况下，这样的技术可能需要关于在某些配置中计算是否足够敏感以检测少量运动等的进一步确定。作为另一示例，可以使用光流估计技术来确定连续的EDOF图像之间的运动(位移)矢量。
在各种实施方式中，关于从平移状态信号分析器421接收到的信号，可以利用速度相关阈值来确定是否显示器管理器422B将输出作为更新的实时EDOF图像数据集合的原始EDOF图像数据集合或处理后的EDOF图像数据集合到用户界面436。例如，速度相关阈值可对应于特定的平移速度，其中如果当前平移速度高于速度相关阈值，则显示管理器422B可以利用原始EDOF图像数据集合，或者如果当前平移速度低于速度相关阈值，则显示管理器422B可以利用所处理的EDOF图像数据集合，或者如果当前平移速度为零(例如，对应于“停止”状态)，以前的EDOF图像可以被重新利用。在可替代的配置中，除了使用原始EDOF图像数据集合的选项之外，以更低级别的分辨率移除散焦模糊的更低级别的图像处理也是可以使用的。例如，EDOF图像处理部分423可以为全分辨率级别或者更低分辨率级别交替地执行图像处理。下面将参照图5更详细地描述这种更低级别的分辨率图像处理。
图5是用于提供实时EDOF图像的视觉***500的控制***520的第二实施方式中利用的组件的框图。视觉***500与图4的视觉***400具有一定的相似性，并且除非下面另有说明，否则相似编号的组件将被理解为类似地操作。如图5所示，视觉***500包括控制***520、平移状态信号发生器427、实时EDOF图像UI/显示436和照相机460。控制***520包括平移状态信号分析器421、实况EDOF图像处理、和显示管理器422、以及EDOF图像处理部分423。视觉***500的一个不同之处在于，实时EDOF图像处理和显示管理器422执行图4的EDOF图像处理管理器422A和实时EDOF图像UI/显示管理器422B的某些组合的功能，如将在下面更详细地描述。
在图5的例子中，实时EDOF图像处理和显示管理器422可以根据来自平移状态信号分析器421的输出有条件地以不同分辨率级别执行处理。更具体地，响应于对应于相对慢的当前平移速度的平移状态信号，可以由图像处理部分423执行相对高级的图像处理以移除散焦模糊。相反，响应于对应于相对更快的当前平移速度的平移状态信号，可以由图像处理部分423执行相对更少的图像处理以消除散焦模糊。在一个实施方式中，这样的过程通过基于平移状态信号减少处理的EDOF图像的分辨率的适应性EDOF图像调整执行。在这样的实施方式中，当存在相对高的当前平移速度时，可以以减少的分辨率处理EDOF图像，导致更快的处理和如对应于用于用户界面436的更高视频帧率的由EDOF图像处理部分423更快速地产生的处理的EDOF图像数据集合。相反，当当前平移速度相对慢时，可以由EDOF图像处理部分423以更高分辨率(例如，以全分辨率)执行EDOF图像，导致更低的整体处理时间和用于用户界面436的具有更高EDOF图像质量的更低帧率。
在一个实施方式中，可以通过减少为当前图像处理的像素或内核的数量来实现分辨率的降低。例如，对于具有指定数量的像素(例如，640×480)的图像，可以通过组合来自像素的数据(例如，通过将来自四个像素的每个正方形组的数据组合到多像素核中)来减少要处理的像素的总数。按照这样的组合，640×480的像素阵列可以减少到320×240个内核。由EDOF图像处理部分423执行的EDOF处理然后可以为320×240内核以降低的分辨率执行。实时EDOF图像处理和显示管理器422然后可以将EDOF图像数据集合重新调整到原始维度(例如，从320×240到640×480)以发送到用户界面436。
在各种实施方式中，可以利用指定长度的缓冲器来存储诸如先前图像、先前对应直方图、或其他相关图像统计的数据。这样的数据可以被利用于图像差异历史和其他因素的分析(例如，通过平移状态信号分析器421)以确定当前平移速度是否显著和/或使得分辨率开关对某些类型的事件不敏感。例如，在基于存储的图像或图像统计的缓冲器的平移状态信号的分析上，可以做出仅当平移速度改变时(例如，当照相机运动开始或停止时等等)切换处理分辨率的确定。另外，取决于用户的特定应用和偏好，可以从用户接收输入以控制和/或以其他方式设置速度相关的阈值，以使从高分辨率到低分辨率的切换对于运动或其他帧间变化(例如，图像亮度)更多或更少敏感。在各种实施方式中，可以确定用于静止图像的典型帧间差异以建立用于特定设置的有效帧差异确定阈值(例如，阈值可以至少部分地取决于相机噪声、光照级别等)。
在各种实施方式中，上述技术也可以应用于给定图像中的特定感兴趣区域。例如，上述用于来自百万像素照相机的EDOF图像的处理相对于用户界面中的视频速率显示可能相对慢的。为了为用于来自百万像素照相机的视频帧的实时EDOF图像处理(例如，至少近似地即时地)提供足够快的响应，可以选择EDOF图像的特定感兴趣区域用于高分辨率处理。在一个示例实施方式中，可以仅处理所选择的感兴趣区域(例如，如由用户选择的)，并且可以由未处理的原始EDOF图像部分包围。当与某些照相机的基于兴趣区域的快速帧捕获相结合时，由于一个或多个相机捕获的感兴趣的区域(例如，以高于全帧速率的帧速率捕获的)可以在每个EDOF处理之前被平均以减少在处理的EDOF图像中的噪声，这样的技术可以被利用于达到具有减少的噪声的快速处理。在这个示例实施方式中，EDOF处理的感兴趣区域能够在某些配置中被黑色像素或照相机从全帧捕捉模式切换到感兴趣区域捕捉模式之前立即捕捉的原始EDOF图像的部分包围。
在各种实施方式中，控制***420或520可以被包括作为成像***(例如，图3的成像***300等等)的一部分。如上面关于图3所描述的，这样的成像***可以包括透镜***，其具有由透镜控制器371控制以为TAG透镜提供周期性调制的光功率变化，从而为成像***300提供对应的焦点距离变化的TAG透镜370。成像***的照相机360/460被配置为在用于成像***的多个焦点距离处(例如，在范围R内)输入来自透镜***的工件图像光并输出对应于原始EDOF图像的对应的原始EDOF图像数据集合。关于图4和图5，成像***的图像处理部分423被配置为输入原始EDOF图像数据集合并对其进行处理以提供基于图像处理的EDOF图像数据集合以移除在用户界面436中的对应的显示的EDOF图像中的散焦模糊。
在各种实施方式中，对应于随时间的工件的一系列的原始EDOF图像，照相机460可以***作以输出随时间的一系列的原始EDOF图像数据集合。平移状态信号发生器427和平移状态信号分析器421被利用于在当前时间重复地确定对应于跨越成像***的视场的工件320的当前平移速度的平移状态信号。显示在用户界面436中的工件的实时EDOF图像基于在当前时间的平移状态信号的状态被重复地更新，其中根据平移状态信号的状态显示不同类型的EDOF图像。
更具体地，响应于来自平移状态信号发生器427的对应于第一当前平移速度(例如，被确定为低于指定的速度相关阈值的相对更慢的平移速度)的第一平移状态信号，显示管理器422B或图像处理和显示管理器422操作以使得工件的第一类型的实时EDOF图像显示在用户界面436中。第一类型的实时EDOF图像对应于EDOF图像数据集合，其基于EDOF图像处理部分423进行的第一级图像处理(例如，全部或相对高量的图像处理)以移除第一类型的实时EDOF图像中的散焦模糊。响应于对应于比第一当前平移速度更快的第二当前平移速度(例如，如被确定为高于第一指定的速度相关阈值)的第二平移状态信号，显示管理器422B或图像处理和显示管理器422操作以使得工件的第二类型的实时EDOF图像显示在用户界面436中。
在各种实施方式中，第二类型的实时EDOF图像可以对应于基于以下中的至少一个的EDOF图像数据集合：由EDOF图像处理部分423进行的第二级图像处理以移除第二类型实时EDOF图像中的散焦模糊，其中第二级图像处理对应于比所述第一级图像处理更少的图像处理；或无以移除在第二类型的实时EDOF图像中的散焦模糊的图像处理(例如，其中从照相机460设置的原始EDOF图像数据可以被传递到用户界面436)。在各种实施方式中，重复地更新实时EDOF图像可以进一步包括，响应于对应于比第二当前平移速度更快的第三当前平移速度的第三平移状态信号(例如，如被确定为高于第二指定速度相关的阈值)，在用户界面中显示工件的第三类型的实时EDOF图像(例如，对应于基于第三级图像处理的EDOF图像数据集合，所述第三级图像处理对应于比第二级图像处理更少的图像处理或者无以移除第三类型的实时EDOF图像中的散焦模糊的图像处理)。将意识到的是，在各种实施方式中，相对于附加的速度相关的阈值，可以类似地利用附加级别的图像处理。
在各种实施方式中，控制***420或520还可以包括附加元件，诸如允许闪光灯照明以与TAG透镜光功率变化同步的照明控制器。作为另一示例，也可以包括用于照相机460的曝光控制器，以使照相机的照相机“快门功能”曝光子增量与TAG透镜光功率变化同步。这样的功能可以被利用于替换或增加闪光灯照明的能力(例如，来自光源330)以在曝光期间提供曝光子增量。在某些情况下，平移状态信号发生器也可以被包括在控制***420和520中。
图6A和图6B是示出与成像***相关联的用户界面600的图。如下面将更详细描述的，在图6A的例子中，已经利用第一级图像处理来以第一级分辨率移除在显示的第一类型的实时EDOF图像610A中的散焦模糊。在图6A所示的示例性状态中，用户界面600包括视场窗口603，其显示工件611的工件部分611A的第一类型的实时EDOF图像610A(例如，具有包括各种字母和符号的表面，诸如中间面积中的单词“newC”)。在一个实施方式中，字母所在工件的表面可以倾斜，使得不同的字母和符号可以处于不同的相对焦点高度。应当理解的是，在其他示例中，工件可以包括可以处于不同焦点高度的要被检查的不同特征，如在合并的参考文献中更详细描述的。用户界面600也包括各种测量和/或操作选择栏，诸如选择栏620和640、即时X-Y-Z(位置)坐标窗口630、以及光控制窗口650。
如上所述，本文公开的关于EDOF模式的***和方法在学***移(例如，如在视场窗口603内显示的)。作为这种平移的例子，可以看出，关于图6B所示的视场窗603，工件611具有相对于图6A的视场窗口603的平移的位置(例如，其中单词“newC”能够被视为已经向下移动并略微地向左)。这样的移动/平移也由实时X-Y-Z(位置)坐标窗口630指示，其显示在X坐标中从30.81096mm到32.81096mm、和在Y坐标中从34.31706mm到24.31706mm的变化。在各种实施方式中，Z坐标可以保持与表示相对于由VFL透镜370提供的调制的焦点位置的静止/中间焦点位置相同。将了解的是，通过在这样的用于在工件之间操纵的平移运动期间利用EDOF模式，用户不需要根据工件上的各种微观特征的高度持续地重新聚焦图像，这可能是乏味并且耗时的(例如，特别是在高放大倍率等情况下)。
在图6A的示例中，在当前时间，工件611的用户操纵正当前地以相对慢的速度移动，使得第一平移状态信号(例如，如上所述)对应于第一当前平移速度(例如，相对更慢的速度)。响应于相对慢的平移速度，工件611的第一类型的实时EDOF图像610A在对应于基于第一级图像处理(例如，相对高数量的图像处理)的EDOF图像数据集合的用户界面600中显示，以移除在第一类型的实时EDOF图像610A中的散焦模糊。
相反，在图6B的示例中，在当前时间，工件611的用户操纵正在当前地以相对更快的速度移动(例如，用户正在使视觉***的平台移动得更快以在工件之间扫描)，使得第二平移状态信号对应于第二当前平移速度(例如，相对更快的速度)。响应于相对更快的平移速度，工件611的工件部分611B的第二类型的实时EDOF图像610B被显示在用户界面600中。在各种实施方式中，第二类型的实时EDOF图像对应于基于第二级图像处理来移除第二类型的实时EDOF图像610B中的散焦模糊的EDOF图像数据集合，其中第二级图像处理对应于比第一级图像处理更少的图像处理。在各种实施方式中，第一级图像处理可以以第一级分辨率移除在第一类型的实时EDOF图像610A中的散焦模糊，并且第二级图像处理可以以第二级分辨率移除在第二类型的实时EDOF图像610B中的散焦模糊，其中第二级分辨率比第一级分辨率更粗糙(即，更低)。在图6A和6B的例子中，如与实时EDOF图像610A比较，用于实时EDOF图像610B的“更粗糙”级分辨率是可见的。
图7是示出用于提供显示在与成像***相关联的用户界面中的工件的实时EDOF图像的线程700的一个示例性实施方式的流程图。在框710处，对应于随时间的工件的一系列的原始EDOF图像，照相机被重复操作以输出随时间的一系列的原始EDOF图像数据集合。在框720处，平移状态信号对应于在当前时间在成像***的视场之间的工件的当前平移速度被重复地确定。应该理解的是，“平移速度”是指在工件与视场之间的任何相对运动，而不管其原因。成像***的部件的运动或者工件的运动，或者两者，都可以引起相对运动。在各种实施方式中，在框720处的平移状态信号的确定可以包括以下中的至少一个：确定运动控制速度(例如，结合放大倍率级)；确定工件位于其上的成像***的平台的运动速度(例如，结合放大倍率级)；分析顺序图像以确定图像之间的差异量；或分析顺序图像以确定图像中的至少一个特征的平移量。
在框730处，基于在当前时间的平移状态信号的状态，重复地更新在与成像***相关联的用户界面中显示的工件的实时EDOF图像。用户界面中实时显示的重复更新包括以下操作：
●响应于对应于第一当前平移速度的第一平移状态信号，在用户界面中显示工件的第一类型的实时EDOF图像。第一类型的实时图像对应于基于第一级图像处理以移除第一类型的实时EDOF图像中的散焦模糊的EDOF图像数据集合；以及
●响应于对应于比第一当前平移速度更快的第二当前平移速度的第二平移状态信号，在用户界面中显示工件的第二类型的实时EDOF图像。第二类型的实时图像对应于EDOF图像数据集合，所述图像数据集合基于以下中的至少一个：a)第二级图像处理以移除第二类型实时EDOF图像中的散焦模糊，其中第二级图像处理对应于比第一级图像处理更少的图像处理；或者b)无以移除第二类型的实时EDOF图像中的散焦模糊的图像处理。
在确定块740中，做出关于线程的重复操作是否完成的确定(例如，由于在检查***中为了使用常规成像模式而停止EDOF成像模式)。如果重复操作没有完成，线程继续，并且如果重复操作完成，线程结束。
在示范性而非限制性的一个实施方式中，框730的操作可以包括当前的平移状态信号的评估，之后是取决于该评估的结果的操作(例如，如下进一步描述的)。
在一些实施方式中，当前平移状态信号可以是直接或间接确定的平移速度(例如，根据命令的移动速度、或者第一和第二连续图像之间的特征平移、或者本文公开的其他平移速度或改变指示器的平移率中的任何一个)。可替代地，当前的平移速度可以从与平移速度相关的任何其他图像或“图像改变”度量反映。在任一情况下，将平移速度或速度相关度量与适当的预定阈值水平进行比较。然后可以至少部分地基于该确定(例如，如下)来执行实时EDOF图像的下一次更新。
在各种实施方式中，响应于被评估或被确定为低于速度相关阈值的第一平移状态信号，工件的第一类型的实时EDOF图像被显示在对应于基于第一级图像处理的EDOF图像数据集合的用户界面中，以移除第一类型的实时EDOF图像中的散焦模糊。在一些实施例中，第一级图像处理可以是相对广泛的，和/或提供尽可能最好的EDOF图像。在其他实施例中，可以选择第一级图像处理以产生对应各种用户是可接受的“足够好”的图像。
相反，响应于被评估或被确定为高于速度相关阈值的第二平移状态信号，对应于EDOF图像数据集合，在用户界面中显示工件的第二类型的实时EDOF图像，所述实时EDOF图像数据集合基于以下中的至少一个：第二级图像处理以移除所述第二类型的实时EDOF图像中的散焦模糊，其中所述第二级图像处理对应于比第一级图像处理更少的图像处理(和/或更短的处理时间)；或者无以移除第二类型的实时EDOF图像中的散焦模糊的图像处理。
将意识到的是，在各种实施方式中，可以类似地针对附加速度相关阈值来执行附加等级的图像处理。在各种实施方式中，可以从定义一个或多个速度相关阈值的用户接收输入，并且可以根据用户定义的速度相关阈值自动地执行用于重复地更新实时EDOF图像的步骤。
在各种实施方式中，第二类型的实时EDOF图像可以对应于原始EDOF图像数据集合的原始EDOF图像，其中EDOF图像数据集合是基于无以从在第二类型的实时EDOF图像中使用的原始EDOF图像中移除散焦模糊的图像处理。在一些实施方式中，第一级图像处理可以以第一级分辨率移除在第一类型的实时EDOF图像中的散焦模糊，并且框730的第二级图像处理可以在第二类型的实时EDOF图像中以第二级分辨率移除散焦模糊，其中第二级分辨率比第一级分辨率更粗糙(即，更低)。在各种实施方式中，移除散焦模糊的任何级别的图像处理可以包括基于表征透镜***的操作的预定积分点扩散函数的原始EDOF数据集合的去卷积处理。
在一个具体示例实施方式中，与第一级图像处理关联的第一级分辨率可以是对应于原始EDOF图像数据集合的分辨率的全像素级分辨率。以第二级分辨率移除散焦模糊的第二级图像处理可以被配置为处理原始EDOF图像数据以定义对应的多像素核的集合。每个多像素核的像素级数据可以被平均或以其他方式组合以提供表征每个多像素内核的多像素核级数据的减少量，并且可以处理多像素核级数据来以与第二类型的实时EDOF图像中的多像素核的尺寸对应的分辨率级别移除散焦模糊。在各种实施方式中，多像素核操作也可以或可选地包括作为第二级图像处理的部分的各种替代类型的“像素装仓”操作。
在各种实施方式中，方法700的重复步骤可以以这样的速率执行，使得在用户界面中显示的工件的实时EDOF图像被至少每秒最小次数(例如，10次、25次时间等)地重复地更新，至少在对应于第二平移状态信号的操作状态期间。在各种实施方式中，方法700可以进一步包括确定平移状态信号是否对应于不平移状态，在此情况下，重复更新在用户界面中显示的工件的实时EDOF图像的步骤可以被暂停或者相同的实时EDOF图像可以被重复，直到平移状态信号再次对应于平移状态。
虽然已经图示和描述了本公开的优选实施方式，但是基于本公开，对于本领域技术人员而言，所示出和描述的特征和操作序列的布置中的多种变化将是显而易见的。可以使用各种替代形式来实现本文公开的原理。另外，上述各种实现可以被组合以提供进一步的实施方式。本说明书中提及的所有美国专利和美国专利申请的全部内容通过引用并入本文。如果需要采用各种专利和应用的概念来提供进一步的实施方式的话，能够修改实施方式的方面。
根据以上详细描述，可以对实施方式进行这些和其他改变。通常，在下面的权利要求中，所使用的术语不应被解释为将权利要求限制为说明书和权利要求书中所公开的具体实施方式，而是应该被解释为包括所有可能的实施方式以及这样的权利要求的等同物的全部范围。

Claims (10)

1.一种用于提供在与成像***相关联的用户界面中显示的工件的实时扩展景深EDOF图像的方法，其中所述工件能够在所述成像***的视场之间平移，所述成像***包括：
包括可调谐声学梯度TAG透镜的透镜***，所述可调谐声学梯度TAG透镜被控制以为所述TAG透镜提供周期性调制的光功率变化，并由此为所述成像***提供对应的焦点距离变化；
控制***，包括被配置为控制所述TAG透镜的透镜控制器；
照相机，被配置为在多个焦点距离处为所述成像***从所述透镜***输入工件图像光，并输出对应于原始EDOF图像的对应的原始EDOF图像数据集合；以及
图像处理部分，被配置为输入原始EDOF图像数据集合并处理其，以提供基于图像处理以移除在对应的所显示的EDOF图像中的散焦模糊的EDOF图像数据集合；
所述方法包括：
对应于随时间的所述工件的一系列的原始EDOF图像，重复地操作所述照相机以输出随时间的一系列的所述原始EDOF图像数据集合；
重复地确定对应于当前时间工件在所述成像***的视场之间的当前平移速度的平移状态信号；
基于当前时间的所述平移状态信号的状态，重复地更新在所述用户界面中显示的所述工件的实时EDOF图像，其中所述重复地更新所述实时EDOF图像包括：
响应于对应于第一当前平移速度的第一平移状态信号，在所述用户界面中显示对应于基于第一级图像处理以移除第一类型的实时EDOF图像中的散焦模糊的EDOF图像数据集合的所述工件的第一类型的实时EDOF图像；和
响应于对应于比所述第一当前平移速度更快的第二当前平移速度的第二平移状态信号，在所述用户界面中显示对应于EDOF图像数据集合的所述工件的第二类型的实时EDOF图像，所述EDOF图像数据集合是基于以下处理中的至少一个：
第二级图像处理以移除所述第二类型的实时EDOF图像中的散焦模糊，其中所述第二级图像处理对应于比所述第一级图像处理更少的图像处理；或者
无以移除在所述第二类型的实时EDOF图像中的散焦模糊的图像处理。
2.如权利要求1所述的方法，其中所述第二类型的实时EDOF图像是对应于原始EDOF图像数据集合的原始EDOF图像，并且其中所述EDOF图像数据集合是基于无以从在所述第二类型的实时EDOF图像中使用的所述原始图像移除散焦模糊的图像处理。
3.如权利要求1所述的方法，其中：
所述第一级图像处理以第一级分辨率移除在所述第一类型的实时EDOF图像中的散焦模糊；并且
所述第二级图像处理以第二级分辨率移除在所述第二类型的实时EDOF图像中的散焦模糊，其中所述第二级分辨率比所述第一级分辨率更粗糙。
4.如权利要求3所述的方法，其中：
所述第一级分辨率是对应于所述原始EDOF图像数据集合的分辨率的全像素级分辨率，并且
所述第二类型的实时EDOF图像对应于基于第二级图像处理的所述EDOF图像数据集合，所述第二级图像处理以所述第二级分辨率移除在所述第二类型的实时EDOF图像中的散焦模糊；并且
以所述第二级分辨率移除散焦模糊的所述第二级图像处理被配置以：
处理所述原始EDOF图像数据以定义对应的多像素核的集合；
对每个多像素核的像素级数据进行平均或结合中的至少一个，以提供表征每个多像素核的多像素核级数据的减少量；并且
处理所述多像素核级数据来以对应于所述多像素核的尺寸的分辨率级移除在所述第二类型的实时EDOF图像中的散焦模糊。
5.如权利要求3所述的方法，其中所述重复地更新所述实时EDOF图像还包括：
响应于对应于比所述第二当前平移速度更快的第三当前平移速度的第三平移状态信号，在所述用户界面中显示对应于基于无以移除在第三类型的实时EDOF图像中的散焦模糊的的图像处理的EDOF图像数据集合的所述工件的第三类型的实时EDOF图像。
6.如权利要求1所述的方法，其中至少在对应于所述第二平移状态信号的操作状态期间，所述重复步骤以使得在所述用户界面UI中显示的工件的实时EDOF图像以至少每秒10次重复地更新的速率执行。
7.如权利要求1所述的方法，其中：
所述TAG透镜被控制以提供处于至少3KHz的频率的周期性调制的光功率变化；并且
所述照相机被配置为在跨越所述周期性调制的光功率变化的多个周期的曝光周期期间，在多个焦点距离处为所述成像***从所述透镜***输入工件图像光。
8.如权利要求7所述的方法，其中所述多个焦点距离被配置为跨越所述成像***的最大聚焦范围的至少70％，并且所述方法还包括提供具有与所述周期性调制的焦点距离同步的强度变化的照明，使得显著的照明强度提供用于在所述成像***的最大聚焦范围的至少70％内的焦点距离的对应曝光贡献，并且不显著的照明强度抑制用于在所述最大聚焦范围的至少70％之外的焦点距离的曝光贡献。
9.如权利要求1所述的方法，其中所述平移状态信号的确定包括以下中的至少一个：
确定运动控制速度；
结合放大倍率级确定运动控制速度；
确定所述工件位于其上的所述成像***的平台的移动速度；或者
分析顺序图像以确定所述图像中的至少一个特征的平移量，并且
其中：
响应于所述第一平移状态信号或所述第一当前平移速度中的至少一个低于速度相关的阈值的确定，执行所述第一类型的实时EDOF图像的显示；并且
响应于所述第二平移状态信号或所述第二当前平移速度中的至少一个高于所述速度相关的阈值的确定，执行所述第二类型的实时EDOF图像的显示。
10.一种用于提供工件的实时扩展景深EDOF图像的视觉***，所述视觉***包括：
一种成像***，包括：
包括可调谐声学梯度TAG透镜的透镜***，所述可调谐声学梯度TAG透镜被控制以为所述TAG透镜提供周期性调制的光功率变化，并由此为所述成像***提供对应的焦点距离变化；
控制***，包括被配置为控制所述TAG透镜的透镜控制器；
照相机，被配置为在多个焦点距离处为所述成像***从所述透镜***输入工件图像光，并输出对应于原始EDOF图像的对应的原始EDOF图像数据集合，其中，对应于随时间的所述工件的一系列的原始EDOF图像，所述照相机被重复地操作以输出随时间的一系列的所述原始EDOF图像数据集合；以及
图像处理部分，被配置为输入和处理原始EDOF图像数据集合，以提供基于图像处理以移除对应的显示的EDOF图像中的散焦模糊的EDOF图像数据集合；
存储所编程的指令的存储器；以及
一个或多个处理器，被配置为运行所编程的指令以执行操作，所述操作至少包括以下：
基于当前时间的平移状态信号的状态重复地更新在用户界面中显示的所述工件的实时EDOF图像，所述平移状态信号对应于所述工件在当前时间在所述成像***的视场之间的当前平移速度，其中所述重复地更新所述实时EDOF图像包括：
响应于对应于第一当前平移速度的第一平移状态信号，在所述用户界面中显示对应于基于第一级图像处理以移除在所述第一类型的实时EDOF图像中的散焦模糊的EDOF图像数据集合的所述工件的第一类型的实时EDOF图像数据；以及
响应于对应于比所述第一当前平移速度更快的第二当前平移速度的第二平移状态信号，在所述用户界面中显示对应于EDOF图像数据集合的所述工件的第二类型的实时EDOF图像，所述EDOF图像数据集合基于以下中的至少一个：
第二级图像处理以移除在所述第二类型的实时EDOF图像中的散焦模糊，其中所述第二级图像处理对应于比所述第一级图像处理更少的图像处理；或者
无以移除在所述第二类型的实时EDOF图像中的散焦模糊的图像处理。
CN201711182642.8A 2016-11-23 2017-11-23 具有多级扩展景深图像处理的可变焦距透镜*** Active CN108106603B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/360,579 2016-11-23
US15/360,579 US10101572B2 (en) 2016-11-23 2016-11-23 Variable focal length lens system with multi-level extended depth of field image processing

Publications (2)

Publication Number Publication Date
CN108106603A true CN108106603A (zh) 2018-06-01
CN108106603B CN108106603B (zh) 2020-08-04

Family

ID=62069179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711182642.8A Active CN108106603B (zh) 2016-11-23 2017-11-23 具有多级扩展景深图像处理的可变焦距透镜***

Country Status (4)

Country Link
US (1) US10101572B2 (zh)
JP (1) JP7075743B2 (zh)
CN (1) CN108106603B (zh)
DE (1) DE102017220104A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108982455A (zh) * 2018-07-31 2018-12-11 浙江大学 一种多焦点光切片荧光显微成像方法和装置
CN112083563A (zh) * 2019-06-12 2020-12-15 卡尔蔡司显微镜有限责任公司 用于显微镜的光学装置
CN110567364B (zh) * 2018-06-05 2021-08-31 株式会社三丰 用于可调声梯度透镜的外部贮存器结构
CN114415360A (zh) * 2021-12-17 2022-04-29 浙江未来技术研究院(嘉兴) 一种新型显微成像***
CN115272423A (zh) * 2022-09-19 2022-11-01 深圳比特微电子科技有限公司 一种训练光流估计模型的方法、装置和可读存储介质
CN117408963A (zh) * 2023-10-17 2024-01-16 中科苏州智能计算技术研究院 一种管壳自动分选方法、***和可存储介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761398B2 (en) 2018-06-29 2020-09-01 Mitutoyo Corporation Imaging ellipsometer system utilizing a tunable acoustic gradient lens
CN109919883B (zh) * 2018-12-03 2021-06-22 南京三宝科技股份有限公司 一种基于灰度转换的交通视频数据获取方法
US10812701B2 (en) 2018-12-13 2020-10-20 Mitutoyo Corporation High-speed tag lens assisted 3D metrology and extended depth-of-field imaging
US10890693B2 (en) 2018-12-20 2021-01-12 Mitutoyo Corporation Tunable acoustic gradient lens with axial compliance portion
US11125967B2 (en) 2018-12-26 2021-09-21 Mitutoyo Corporation System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface
US20220155557A1 (en) * 2019-03-25 2022-05-19 Sony Olympus Medical Solutions Inc. Medical observation system
DE102019119310A1 (de) * 2019-07-17 2021-01-21 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe
JP2022548206A (ja) 2019-08-30 2022-11-17 株式会社ミツトヨ 高速計測撮像のための高速高パワーパルス光源システム
US10809378B1 (en) 2019-09-06 2020-10-20 Mitutoyo Corporation Triangulation sensing system and method with triangulation light extended focus range using variable focus lens
US11119214B2 (en) 2019-09-06 2021-09-14 Mitutoyo Corporation Triangulation sensing system and method with triangulation light extended focus range using variable focus lens
BE1027429B1 (nl) 2019-11-07 2021-02-08 Innovate Prec Besloten Vennootschap Met Beperkte Aansprakelijkheid Werkwijze en apparaat voor het verkrijgen van een beeld met uitgebreide scherptediepte
US11249225B2 (en) 2019-12-20 2022-02-15 Mitutoyo Corporation Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US11112541B2 (en) 2019-12-20 2021-09-07 Mitutoyo Corporation Tunable acoustic gradient lens system with reflective configuration and increased power
US11119382B2 (en) 2019-12-20 2021-09-14 Mitutoyo Corporation Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
US10944915B1 (en) * 2020-01-05 2021-03-09 Ningbo Sunny Opotech Co., Ltd. Multi-aperture imaging system and application thereof
US11150200B1 (en) * 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11328409B2 (en) 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
EP4016161A1 (en) * 2020-12-17 2022-06-22 Leica Microsystems CMS GmbH Control device for a microscope
DE102021109153B4 (de) 2021-04-13 2022-12-22 Geomar Helmholtz-Zentrum Für Ozeanforschung Kiel Verfahren zur verbesserten optischen Auflösung in großen Messvolumina bei der telezentrischen Shadowgraphie und Vorrichtung zur Durchführung des Verfahrens
EP4137866A1 (en) * 2021-08-18 2023-02-22 Carl Zeiss Microscopy GmbH Digital microscope and method for capturing and displaying microscopic images
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
US11714051B2 (en) 2021-11-30 2023-08-01 Mitutoyo Corporation Metrology system configured to measure apertures of workpieces
US20240169496A1 (en) * 2022-11-21 2024-05-23 Varjo Technologies Oy Extended depth-of-field correction using reconstructed image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116375A (ja) * 2000-10-11 2002-04-19 Canon Inc 自動焦点調節装置およびカメラ
CN103460108A (zh) * 2011-03-31 2013-12-18 富士胶片株式会社 焦点扩展光学***以及EDoF摄像***
CN104236463A (zh) * 2013-06-13 2014-12-24 株式会社三丰 机器视觉检查***和进行高速对焦高度测量操作的方法
CN104252029A (zh) * 2013-06-27 2014-12-31 佳能株式会社 跟随变焦动作进行调焦动作的摄像设备以及摄像方法
US20160277668A1 (en) * 2015-03-19 2016-09-22 Canon Kabushiki Kaisha Automatic focus adjustment apparatus and control method therefor

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
US6452180B1 (en) 2000-03-28 2002-09-17 Advanced Micro Devices, Inc. Infrared inspection for determining residual films on semiconductor devices
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
JP2006145793A (ja) * 2004-11-19 2006-06-08 Olympus Corp 顕微鏡画像撮像システム
US7394926B2 (en) 2005-09-30 2008-07-01 Mitutoyo Corporation Magnified machine vision user interface
US7864996B2 (en) 2006-02-17 2011-01-04 Lucid, Inc. System for macroscopic and confocal imaging of tissue
US7905414B2 (en) * 2007-12-27 2011-03-15 Symbol Technologies, Inc. Imaging reader with adaptive focusing for electro-optically reading symbols
JP5532561B2 (ja) * 2008-08-25 2014-06-25 株式会社ニコン 撮像装置、画像再生装置、画像変換装置、画像再生プログラム
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
JP5830348B2 (ja) * 2011-10-26 2015-12-09 オリンパス株式会社 撮像装置
WO2015015966A1 (ja) * 2013-08-01 2015-02-05 富士フイルム株式会社 撮像装置、撮像方法及び画像処理装置
US9726876B2 (en) * 2013-11-27 2017-08-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116375A (ja) * 2000-10-11 2002-04-19 Canon Inc 自動焦点調節装置およびカメラ
CN103460108A (zh) * 2011-03-31 2013-12-18 富士胶片株式会社 焦点扩展光学***以及EDoF摄像***
CN104236463A (zh) * 2013-06-13 2014-12-24 株式会社三丰 机器视觉检查***和进行高速对焦高度测量操作的方法
CN104252029A (zh) * 2013-06-27 2014-12-31 佳能株式会社 跟随变焦动作进行调焦动作的摄像设备以及摄像方法
US20160277668A1 (en) * 2015-03-19 2016-09-22 Canon Kabushiki Kaisha Automatic focus adjustment apparatus and control method therefor

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567364B (zh) * 2018-06-05 2021-08-31 株式会社三丰 用于可调声梯度透镜的外部贮存器结构
CN108982455A (zh) * 2018-07-31 2018-12-11 浙江大学 一种多焦点光切片荧光显微成像方法和装置
CN108982455B (zh) * 2018-07-31 2020-08-18 浙江大学 一种多焦点光切片荧光显微成像方法和装置
CN112083563A (zh) * 2019-06-12 2020-12-15 卡尔蔡司显微镜有限责任公司 用于显微镜的光学装置
CN114415360A (zh) * 2021-12-17 2022-04-29 浙江未来技术研究院(嘉兴) 一种新型显微成像***
CN114415360B (zh) * 2021-12-17 2024-03-08 浙江清华长三角研究院 一种新型显微成像***
CN115272423A (zh) * 2022-09-19 2022-11-01 深圳比特微电子科技有限公司 一种训练光流估计模型的方法、装置和可读存储介质
CN115272423B (zh) * 2022-09-19 2022-12-16 深圳比特微电子科技有限公司 一种训练光流估计模型的方法、装置和可读存储介质
CN117408963A (zh) * 2023-10-17 2024-01-16 中科苏州智能计算技术研究院 一种管壳自动分选方法、***和可存储介质
CN117408963B (zh) * 2023-10-17 2024-05-07 中科苏州智能计算技术研究院 一种管壳自动分选方法、***和可存储介质

Also Published As

Publication number Publication date
DE102017220104A1 (de) 2018-05-24
CN108106603B (zh) 2020-08-04
JP2018084820A (ja) 2018-05-31
US20180143419A1 (en) 2018-05-24
US10101572B2 (en) 2018-10-16
JP7075743B2 (ja) 2022-05-26

Similar Documents

Publication Publication Date Title
CN108106603A (zh) 具有多级扩展景深图像处理的可变焦距透镜***
JP6502071B2 (ja) 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法
CN108088424B (zh) 机器视觉检查***和用于获得具有扩展景深的图像的方法
JP6792980B2 (ja) マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム
JP6761312B2 (ja) 可変焦点距離レンズを含む撮像システムにおける色収差補正
CN106338809B (zh) 可调放大率光学***中的可变焦距透镜的可适应操作频率
CN103175469B (zh) 增强型边缘聚焦工具及利用该工具的聚焦方法
JP6469368B2 (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
US8174762B2 (en) 3-D optical microscope
JP2018022127A (ja) 可変焦点距離撮像システム
JP5972563B2 (ja) 構造化照明を用いるエッジ検出
US10142550B2 (en) Extending a focus search range in an imaging system including a high speed variable focal length lens
JP2020115127A (ja) マシンビジョン検査システムを用いてワークピース表面のｚ高さ値を測定するための方法
JP7319903B2 (ja) 高速ｔａｇレンズ支援３ｄ計測及び拡張被写界深度撮像
US20160091701A1 (en) Generating perspective views in microscopy
JP7268991B2 (ja) 拡大観察装置
JP2022074065A (ja) ポイントフロムフォーカスタイプのプロセスのための投射パターンを用いた計測システム
JP2007024565A (ja) 外観検査方法及び外観検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant