JP2018084821A - Machine vision inspection system and method for acquiring images having extended depth of field - Google Patents

Machine vision inspection system and method for acquiring images having extended depth of field Download PDF

Info

Publication number
JP2018084821A
JP2018084821A JP2017223987A JP2017223987A JP2018084821A JP 2018084821 A JP2018084821 A JP 2018084821A JP 2017223987 A JP2017223987 A JP 2017223987A JP 2017223987 A JP2017223987 A JP 2017223987A JP 2018084821 A JP2018084821 A JP 2018084821A
Authority
JP
Japan
Prior art keywords
image
discrete
focal
imaging system
focal position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017223987A
Other languages
Japanese (ja)
Other versions
JP7075744B2 (en
Inventor
エドワード エムトマン ケイシー
Edward Mtman Casey
エドワード エムトマン ケイシー
カーミル ブリル ロバート
Robert Kamil Bryll
カーミル ブリル ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/360,671 external-priority patent/US10178321B2/en
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Publication of JP2018084821A publication Critical patent/JP2018084821A/en
Application granted granted Critical
Publication of JP7075744B2 publication Critical patent/JP7075744B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/04—Measuring microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Abstract

PROBLEM TO BE SOLVED: To acquire images that have an extended depth of field.SOLUTION: A method for providing an extended depth of field image comprises: periodically changing an imaging system focal position at a high frequency; using an image exposure that includes a discrete image exposure increment acquired at a discrete focal position during an image integration time including a plurality of change periods of the focal position; and using a strobe action that has a controlled timing configured so as to define a set of equally spaced focus positions for the image exposure increment. The controlled timing is configured to be acquired at a point of time when adjacent focus positions within the set are separated by at least one inversion of a focus position change direction during the periodic change. Accordingly, a problem of a practical timing is solved that is likely to prevent an acquisition of close discrete image exposure increments during the high frequency focus change. Use of a deconvolution operation can improve sharpness of the EDOF image to be obtained.SELECTED DRAWING: Figure 1

Description

本開示は、一般にマシンビジョン検査システムに関し、より詳細には、拡大被写界深度撮像動作に関する。   The present disclosure relates generally to machine vision inspection systems and, more particularly, to expanded depth of field imaging operations.

精密マシンビジョン検査システム（又は略して「ビジョンシステム」）は、物体の精密な寸法測定値を得ると共に他の様々な物体の特徴を検査するために使用される。そのようなシステムは、コンピュータと、カメラと、光学システムと、ワークピースの走査及び検査を可能とするために移動する精密ステージと、を含み得る。汎用の「オフライン」精密ビジョンシステムとして特徴付けられる１つの例示的な従来技術のシステムは、イリノイ州オーロラに位置するＭｉｔｕｔｏｙｏ Ａｍｅｒｉｃａ Ｃｏｒｐｏｒａｔｉｏｎ（ＭＡＣ）から入手可能なＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのＰＣベースのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアである。ＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアの機能及び動作については、概ね、例えば２００３年１月に発表されたＱＶＰＡＫ ３Ｄ ＣＮＣビジョン測定機ユーザガイド、及び、１９９６年９月に発表されたＱＶＰＡＫ ３Ｄ ＣＮＣビジョン測定機動作ガイドに記載されている。このタイプのシステムは、顕微鏡型の光学システムを利用し、小型又は比較的大型のワークピースの検査画像を様々な倍率で提供するようにステージを移動させる。   Precision machine vision inspection systems (or “vision systems” for short) are used to obtain precise dimensional measurements of objects and to inspect various other object features. Such a system may include a computer, a camera, an optical system, and a precision stage that moves to allow scanning and inspection of the workpiece. One exemplary prior art system characterized as a general purpose “offline” precision vision system is a PC-based QUICK VISION® series available from Mitutoyo America Corporation (MAC) located in Aurora, Illinois. Vision system and QVPAK (R) software. The functions and operations of the QUICK VISION® series vision system and QVPAK® software are generally described in, for example, the QVPAK 3D CNC Vision Measuring Machine User Guide published in January 2003 and September 1996. Is described in the QVPAK 3D CNC Vision Measuring Machine Operation Guide. This type of system utilizes a microscope-type optical system and moves the stage to provide inspection images of small or relatively large workpieces at various magnifications.

汎用の精密マシンビジョン検査システムは一般に、自動化ビデオ検査を行うようにプログラム可能である。このようなシステムは通常、「非専門家」の作業者が動作及びプログラミングを実行できるように、ＧＵＩ機能及び既定の画像解析「ビデオツール」を含む。例えば米国特許第６，５４２，１８０号は、様々なビデオツールを使用する自動化ビデオ検査を利用したビジョンシステムを示している。   General purpose precision machine vision inspection systems are generally programmable to perform automated video inspection. Such systems typically include GUI functions and predefined image analysis “video tools” so that “non-expert” workers can perform operations and programming. For example, US Pat. No. 6,542,180 shows a vision system that utilizes automated video inspection using a variety of video tools.

具体的な検査イベントシーケンス（すなわち、各画像をどのように取得するか、及び取得した各画像をどのように解析／検査するか）を含むマシン制御命令は、一般に、特定のワークピース構成に固有の「パートプログラム」又は「ワークピースプログラム」として記憶されている。例えばパートプログラムは、各画像をどのように取得するか、どの照明レベルで、どの倍率レベルで、どのようにワークピースに対してカメラを位置決めするか等を規定する。更にパートプログラムは、例えば自動合焦ビデオツールのような１つ以上のビデオツールを用いることにより、取得した画像をどのように解析／検査するかを規定する。   Machine control instructions, including specific inspection event sequences (ie how to acquire each image and how to analyze / inspect each acquired image) are generally specific to a particular workpiece configuration Are stored as “part program” or “workpiece program”. For example, the part program defines how each image is acquired, what illumination level, what magnification level, how to position the camera relative to the workpiece, and so on. Furthermore, the part program defines how to analyze / inspect the acquired image by using one or more video tools, such as an autofocus video tool.

ビデオツール（又は略して「ツール」）及びその他のグラフィカルユーザインタフェース機能を、手動で用いて、（「手動モード」で）手動の検査及び／又はマシン制御動作を達成することができる。自動検査プログラム又は「パートプログラム」を生成するため、それらのセットアップパラメータ及び動作も学習モード中に記録することができる。ビデオツールには、例えばエッジ／境界検出ツール、自動合焦ツール、形状又はパターンマッチングツール、寸法測定ツール等が含まれ得る。   Video tools (or “tools” for short) and other graphical user interface functions can be used manually to achieve manual inspection and / or machine control operations (in “manual mode”). In order to generate an automatic inspection program or “part program”, their setup parameters and actions can also be recorded during the learning mode. Video tools can include, for example, edge / boundary detection tools, autofocus tools, shape or pattern matching tools, dimension measurement tools, and the like.

いくつかの用途において、マシンビジョン検査システムの撮像システムは、単一の焦点位置で光学撮像システムによって与えられる被写界深度よりも深い拡大被写界深度（ＥＤＯＦ：ｅｘｔｅｎｄｅｄ ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）で画像を収集するように動作することが望ましい。拡大被写界深度で画像を収集するための様々な方法が知られている。そのような方法の１つは、焦点範囲全体にわたる様々な距離で合焦された同一視野又は位置合わせされた複数の画像から成る画像「スタック」を収集することである。画像スタックから、視野のモザイク画像（多数の画像により合成された画像）が構築される。モザイク画像における視野の各部分は、その部分を最もよい焦点で表す特定の画像から抽出されている。しかしながら、この方法は比較的速度が遅い。別の例として、Ｎａｇａｈａｒａ等（「Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、２００８年１０月）は、一つの画像をその露光時間中に複数の焦点距離に沿って露光させる方法を開示している。この画像は比較的ぼけているが、複数の焦点距離にわたって取得された画像情報を含んでいる。この画像に、既知の又は所定の像のボケ核（以下、ブラーカーネル（ｂｌｕｒ ｋｅｒｎｅｌ））を用いてデコンボリューションを行うことで、拡大被写界深度で比較的クリアな画像が得られる。Ｎａｇａｈａｒａに記載された方法では、撮像システムの光軸に沿って画像検出器を平行移動させることによって焦点距離を変化させる。この結果、露光中の様々な時点において検出器上で様々な焦点面が合焦される。しかしながら、このような方法は比較的速度が遅く、機械的に複雑である。更に、検出器の位置を変えることは、（例えば数マイクロメータのオーダーの精度を得るための）精密測定等で使用しなければならない固定焦点検査画像を取得するために用いる場合、再現性及び／又は精度に対して悪影響を及ぼし得る。光学構成要素の機械的な平行移動に頼ることなく高速で実行することができる、拡大被写界深度（ＥＤＯＦ）画像を提供するための改良された方法が望まれている。   In some applications, an imaging system of a machine vision inspection system captures an image with an extended depth of field (EDOF) that is deeper than the depth of field provided by the optical imaging system at a single focal position. It is desirable to operate to collect. Various methods are known for collecting images with an extended depth of field. One such method is to collect an image “stack” consisting of multiple images that are in the same field of view or aligned at various distances throughout the focal range. From the image stack, a mosaic image of the field of view (an image synthesized by a number of images) is constructed. Each part of the field of view in the mosaic image is extracted from a specific image that represents that part with the best focus. However, this method is relatively slow. As another example, Nagahara et al. ("Flexible Depth of Field Photography", Processeds of the European Conference on Computer Vision, October 2008) exposes an image during its exposure time in multiple exposures. A method is disclosed. This image is relatively blurred, but contains image information acquired over multiple focal lengths. By performing deconvolution on the image using a known or predetermined image blur kernel (hereinafter referred to as a blur kernel), a relatively clear image can be obtained at an enlarged depth of field. In the method described in Nagahara, the focal length is changed by translating the image detector along the optical axis of the imaging system. This results in different focal planes being focused on the detector at different times during exposure. However, such methods are relatively slow and mechanically complex. In addition, changing the position of the detector can be reproducible and / or when used to acquire fixed focus inspection images that must be used in precision measurements (eg, to obtain accuracy on the order of a few micrometers). Or it may adversely affect accuracy. There is a need for an improved method for providing extended depth of field (EDOF) images that can be performed at high speed without resorting to mechanical translation of the optical components.

典型的な高速可変焦点レンズは、焦点位置を（線形とは対照的に）正弦波状に変更し得るが、これは一般に、拡大被写界深度（ＥＤＯＦ）画像の取得に用いられる焦点位置変更サイクル全体を通して均等な又は「バランスのとれた（ｂａｌａｎｃｅｄ）」露光を提供しない。これに対して、高速可変焦点レンズを用いた様々な用途では、拡大被写界深度（ＥＤＯＦ）画像の取得に用いられる焦点位置変更サイクル全体を通して均等な又は「バランスのとれた」露光を与えることが望ましい。   A typical fast variable focus lens can change the focus position to a sinusoidal shape (as opposed to linear), which is generally a focus position change cycle used to acquire extended depth of field (EDOF) images. It does not provide a uniform or “balanced” exposure throughout. In contrast, various applications using high-speed variable focus lenses provide uniform or “balanced” exposure throughout the entire focus position change cycle used to acquire extended depth of field (EDOF) images. Is desirable.

単一の焦点位置における撮像システムの被写界深度よりも深い被写界深度を有する少なくとも１つの画像を提供するために、マシンビジョン検査システムの撮像システムを動作させる方法が開示される。様々な実施形態においてこの方法は、本明細書に記載する原理に従って、複数の離散画像露光増分を含む画像露光を用いて予備ＥＤＯＦ画像（ｐｒｅｌｉｍｉｎａｒｙ ＥＤＯＦ ｉｍａｇｅ）を露光することを含む。   A method of operating an imaging system of a machine vision inspection system to provide at least one image having a depth of field greater than the depth of field of the imaging system at a single focal position is disclosed. In various embodiments, the method includes exposing a preliminary EDOF image using an image exposure that includes a plurality of discrete image exposure increments in accordance with the principles described herein.

様々な実施形態において、この方法は、マシンビジョン検査システムの視野内にワークピースを配置することを含み得る。好ましくは、撮像システムにおいて要素間の間隔を巨視的に調整することなく、可変焦点撮像システムの焦点位置を周期的に変更する。焦点位置は、少なくとも３ｋＨｚの変更周波数で、ワークピースの表面高さを含む焦点範囲内で、焦点軸方向に沿った複数の焦点位置にわたって周期的に変更される。   In various embodiments, the method may include placing a workpiece within the field of view of the machine vision inspection system. Preferably, the focal position of the variable focus imaging system is periodically changed without macroscopically adjusting the interval between elements in the imaging system. The focal position is periodically changed over a plurality of focal positions along the focal axis direction within a focal range including the surface height of the workpiece with a modification frequency of at least 3 kHz.

様々な実施形態では、周期的に変更される焦点位置の複数の周期を含む画像積分時間中に、各離散焦点位置で取得された複数の離散画像露光増分を含む画像露光を用いて予備ＥＤＯＦ画像を露光する。ここで、
複数の離散画像露光増分の各々は、対応する離散画像露光増分の離散焦点位置を規定する各制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定され、
各制御されたタイミングは、周期的に変更される焦点位置の複数の周期に分散し、焦点軸方向に沿ってほぼ均等に離間した離散焦点位置のセットを与えるように構成され、
各制御されたタイミングは、セット内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが第１の制御されたタイミングに対して遅延するように制御され、第２の制御されたタイミングが、第１の制御されたタイミングの後、その周期的な変更中に焦点位置の変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように更に構成される。 In various embodiments, a preliminary EDOF image using an image exposure including a plurality of discrete image exposure increments acquired at each discrete focus position during an image integration time including a plurality of periods of periodically changed focus positions. To expose. here,
Each of the plurality of discrete image exposure increments is determined by each instance of an illumination source strobe operation or camera shutter strobe operation having a respective controlled timing that defines a discrete focus position of the corresponding discrete image exposure increment,
Each controlled timing is configured to provide a set of discrete focal positions that are distributed over a plurality of periods of focal positions that are periodically changed, and are approximately evenly spaced along the focal axis direction;
Each controlled timing is a second discrete of the adjacent pair if the first controlled timing provides a first discrete focal position setting for the adjacent pair for the adjacent pair of discrete focal positions in the set. The second controlled timing for providing the focal position is controlled to be delayed with respect to the first controlled timing, and the second controlled timing is the period after the first controlled timing. It is further configured to be controlled to occur after the focal position change direction has been reversed N times (N is at least 1) during a general change.

様々な実施形態では、予備ＥＤＯＦ画像を処理して、画像積分時間中に焦点範囲内で発生するぼけた画像成分を除去して、被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供することができる。いくつかの実施形態では、そのような処理は、その焦点範囲全体を通して撮像システムを特徴付けるブラーカーネル（例えば積分点像分布関数（ｉｎｔｅｇｒａｔｅｄ ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ））を用いてデコンボリューション動作を実行することを含み得る。   In various embodiments, the preliminary EDOF image is processed to remove blurred image components that occur within the focal range during the image integration time, and to provide a magnified image that is substantially focused throughout the depth of field. A depth of field (EDOF) image can be provided. In some embodiments, such processing includes performing a deconvolution operation using a blur kernel that characterizes the imaging system throughout its focal range (eg, an integrated point spread function). obtain.

いくつかの実施形態では、各離散画像露光増分は、各離散画像露光増分が名目上等しい露光エネルギーを予備ＥＤＯＦ画像に与えるような、増分露光持続時間と増分露光持続時間中に用いられる照明強度との組み合わせを含む。いくつかの実施形態では、異なる焦点位置に対応する増分露光持続時間は、各離散画像露光増分中にほぼ同じ量の焦点位置変化が起こるように調整される。   In some embodiments, each discrete image exposure increment includes an incremental exposure duration and an illumination intensity used during the incremental exposure duration such that each discrete image exposure increment provides a nominally equal exposure energy to the preliminary EDOF image. Including a combination of In some embodiments, incremental exposure durations corresponding to different focal positions are adjusted so that approximately the same amount of focal position change occurs during each discrete image exposure increment.

本明細書に開示するいくつかの実施形態では、（部分的な連続を含む）連続的なＥＤＯＦ画像露光を用いることができる。しかしながら、そのような方法の１つの欠点は、関連するＥＤＯＦ画像露光が焦点範囲全体を通して一様でないことであり、これは多くの実施形態で悪影響を生じる。この節において上記で強調した代替的な方法は、先に概説したように、複数の離散画像露光増分を用いて高速可変焦点レンズ（又は撮像システム）の焦点範囲内で予備ＥＤＯＦ画像を取得することを含む。そのようなＥＤＯＦ画像露光方法は、様々な実施形態において、より適応性が高く、高精度で、及び／又はロバストな方法であり得るという点で、いっそう望ましい場合がある。   In some embodiments disclosed herein, continuous EDOF image exposure (including partial continuity) can be used. However, one drawback of such a method is that the associated EDOF image exposure is not uniform throughout the focal range, which has an adverse effect in many embodiments. The alternative method highlighted above in this section is to acquire a preliminary EDOF image within the focal range of a fast variable focus lens (or imaging system) using multiple discrete image exposure increments, as outlined above. Including. Such an EDOF image exposure method may be more desirable in that in various embodiments, it may be a more adaptable, accurate and / or robust method.

そのような方法を、極めて高速で周期的に変更される可変焦点レンズ（例えばＴＡＧレンズ）と併用する場合、（可変焦点レンズの固有の特徴として）焦点位置は迅速に変化し得るので、実際のシステムにおいて、タイミング、制御、及び「露光量」について深刻な問題が発生するおそれがある。そのような問題に対する実際的な解決策を与えるため、以下に開示する様々な実施形態では、ＥＤＯＦ画像露光の構成部分として用いられる離散画像露光増分を複数の周期的な焦点変更にわたって取得する。この取得の際、上記で概説し以下で更に詳細かつ多様に開示するいくつかの原理に従って構成され、制御されたタイミングを用いる。   When such a method is used in combination with a variable focus lens (eg, a TAG lens) that is periodically changed at a very high speed, the focal position can change quickly (as an inherent feature of the variable focus lens) In the system, serious problems may occur regarding timing, control, and “exposure amount”. In order to provide a practical solution to such a problem, the various embodiments disclosed below obtain discrete image exposure increments used as a component of EDOF image exposure over multiple periodic focus changes. In doing this, it uses controlled timing, constructed according to several principles outlined above and disclosed in more detail and variety below.

本発明の前述の態様及び付随する利点の多くは、以下の詳細な説明を添付図面と関連付けて参照することでより良く理解すれば、いっそう容易に認められよう。   Many of the foregoing aspects and attendant advantages of the present invention will become more readily appreciated as the same becomes better understood by reference to the following detailed description when taken in conjunction with the accompanying drawings in which:

汎用の精密マシンビジョン検査システムの種々の典型的な構成要素を示す図である。FIG. 2 shows various typical components of a general purpose precision machine vision inspection system. 図１のシステムと同様の、本発明に開示する特徴を含むマシンビジョン検査システムの制御システム部及びビジョン構成要素部のブロック図である。2 is a block diagram of a control system portion and vision component portion of a machine vision inspection system that includes features disclosed in the present invention, similar to the system of FIG. マシンビジョン検査システムに適合させることができ、本明細書に開示する原理に従って動作することができるＥＤＯＦ撮像システムの第１の実施形態の概略図である。1 is a schematic diagram of a first embodiment of an EDOF imaging system that can be adapted to a machine vision inspection system and can operate in accordance with the principles disclosed herein. 本明細書に開示する原理に従ったＥＤＯＦ撮像システム（例えば図３の撮像システム３００）の一実施形態において使用することができる、画像露光中の焦点高さの例示的なタイミング図を示す。FIG. 4 illustrates an exemplary timing diagram of focus height during image exposure that can be used in one embodiment of an EDOF imaging system (eg, imaging system 300 of FIG. 3) in accordance with the principles disclosed herein. 本明細書に開示する原理に従ってマシンビジョン検査システムに適合させると共に動作させることができるＥＤＯＦ撮像システムの第２の実施形態の概略図を示す。FIG. 2 shows a schematic diagram of a second embodiment of an EDOF imaging system that can be adapted and operated in accordance with the principles disclosed herein in a machine vision inspection system. ＥＤＯＦ撮像システムからの画像の光学デコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をリアルタイムで与えるため、撮像システムのフーリエ面において使用できる光学フィルタの第１の実施形態を特徴付けるグラフである。FIG. 6 is a graph characterizing a first embodiment of an optical filter that can be used in the Fourier plane of an imaging system to perform optical deconvolution of the image from the EDOF imaging system and provide a relatively clear EDOF image in real time. 撮像システムのフーリエ面において使用できる光学フィルタの第２の実施形態を特徴付けるグラフである。6 is a graph characterizing a second embodiment of an optical filter that can be used in the Fourier plane of an imaging system. ＥＤＯＦ撮像システムからの予備画像の計算によるデコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をほぼリアルタイムで与えるための、マシンビジョン検査システムの撮像システムを動作させる方法の一実施形態を示すフロー図である。FIG. 6 is a flow diagram illustrating one embodiment of a method for operating an imaging system of a machine vision inspection system to perform deconvolution by calculation of a preliminary image from an EDOF imaging system and to provide a relatively clear EDOF image in near real time. is there. 本明細書に記載する原理に従った、離散画像露光増分の使用を含む、ＥＤＯＦ撮像システム（例えば図３の撮像システム）に適した３つの異なる画像露光実施の様々な態様のうち１つを示す例示的なタイミング図である。FIG. 5 illustrates one of various aspects of three different image exposure implementations suitable for an EDOF imaging system (eg, the imaging system of FIG. 3), including the use of discrete image exposure increments, in accordance with the principles described herein. FIG. 6 is an exemplary timing diagram. 本明細書に記載する原理に従った、離散画像露光増分の使用を含む、ＥＤＯＦ撮像システム（例えば図３の撮像システム）に適した３つの異なる画像露光実施の様々な態様のうち１つを示す例示的なタイミング図である。FIG. 5 illustrates one of various aspects of three different image exposure implementations suitable for an EDOF imaging system (eg, the imaging system of FIG. 3), including the use of discrete image exposure increments, in accordance with the principles described herein. FIG. 6 is an exemplary timing diagram. 本明細書に記載する原理に従った、離散画像露光増分の使用を含む、ＥＤＯＦ撮像システム（例えば図３の撮像システム）に適した３つの異なる画像露光実施の様々な態様のうち１つを示す例示的なタイミング図である。FIG. 5 illustrates one of various aspects of three different image exposure implementations suitable for an EDOF imaging system (eg, the imaging system of FIG. 3), including the use of discrete image exposure increments, in accordance with the principles described herein. FIG. 6 is an exemplary timing diagram. 離散焦点位置と、対応する離散画像露光増分に関連したいくつかの他の特徴と、を規定するために用いることができる制御されたタイミング構成の１つの例示的な実施の詳細を含むタイミング図を示す。A timing diagram including details of one exemplary implementation of a controlled timing arrangement that can be used to define discrete focus positions and some other features associated with corresponding discrete image exposure increments. Show. 本明細書に開示する原理に従って、単一の焦点位置における撮像システムの被写界深度よりも深い被写界深度を有する少なくとも１つのＥＤＯＦ画像を与えるために、（例えば検査システムにおける）撮像システムを動作させるための、離散画像露光増分の使用を含む方法の一実施形態を示すフロー図である。In accordance with the principles disclosed herein, an imaging system (eg, in an inspection system) is provided to provide at least one EDOF image having a depth of field that is greater than the depth of field of the imaging system at a single focal position. FIG. 5 is a flow diagram illustrating one embodiment of a method that includes the use of discrete image exposure increments to operate.

図１は、本明細書に開示する方法に従って使用可能である１つの例示的なマシンビジョン検査システム１０のブロック図である。マシンビジョン検査システム１０は、制御コンピュータシステム１４とデータ及び制御信号を交換するように動作可能に接続された画像測定機１２を含む。制御コンピュータシステム１４は更に、モニタ又はディスプレイ１６、プリンタ１８、ジョイスティック２２、キーボード２４、及びマウス２６とデータ及び制御信号を交換できるように接続されている。モニタ又はディスプレイ１６は、マシンビジョン検査システム１０の動作の制御及び／又はプログラミングに適したユーザインタフェースを表示することができる。様々な実施形態において、タッチスクリーンタブレット等が、コンピュータシステム１４、ディスプレイ１６、ジョイスティック２２、キーボード２４、及びマウス２６のいずれか又は全ての機能の代用となり得ること及び／又はこれらの機能を冗長的に与え得ることは認められよう。   FIG. 1 is a block diagram of one exemplary machine vision inspection system 10 that can be used in accordance with the methods disclosed herein. The machine vision inspection system 10 includes an image measuring machine 12 operatively connected to exchange data and control signals with a control computer system 14. The control computer system 14 is further connected to a monitor or display 16, a printer 18, a joystick 22, a keyboard 24, and a mouse 26 so that data and control signals can be exchanged. The monitor or display 16 may display a user interface suitable for controlling and / or programming the operation of the machine vision inspection system 10. In various embodiments, a touch screen tablet or the like can be substituted for and / or redundantly replace any or all of the functions of the computer system 14, display 16, joystick 22, keyboard 24, and mouse 26. It will be appreciated that it can be given.

制御コンピュータシステム１４は一般にいかなるコンピューティングシステム又はデバイスからも構成可能であることは当業者には認められよう。適切なコンピューティングシステム又はデバイスには、パーソナルコンピュータ、サーバコンピュータ、マイクロコンピュータ、メインフレームコンピュータ、上記のいずれかを含む分散型コンピューティング環境等が含まれ得る。このようなコンピューティングシステム又はデバイスは、本明細書に記載する機能を実現するためにソフトウェアを実行する１つ以上のプロセッサを含み得る。プロセッサには、プログラマブル汎用又は特殊用途マイクロプロセッサ、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）等、又はそのようなデバイスの組み合わせが含まれる。ソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ等のメモリ、又はそのような構成要素の組み合わせに記憶することができる。また、ソフトウェアは、光学ベースのディスク、フラッシュメモリデバイス、又はデータを記憶するための他のいずれかのタイプの不揮発性記憶媒体のような１つ以上の記憶デバイスに記憶してもよい。ソフトウェアは、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む１つ以上のプログラムモジュールを含み得る。分散型コンピューティング環境では、プログラムモジュールの機能性は、有線又は無線のいずれかの構成において、多数のコンピューティングシステム又はデバイス間で組み合わせるか又は分散させ、サービスコールを介してアクセスすることができる。   Those skilled in the art will appreciate that the control computer system 14 can generally be constructed from any computing system or device. Suitable computing systems or devices may include personal computers, server computers, microcomputers, mainframe computers, distributed computing environments including any of the above, and the like. Such a computing system or device may include one or more processors that execute software to implement the functionality described herein. Processors include programmable general purpose or special purpose microprocessors, programmable controllers, application specific integrated circuits (ASICs), programmable logic devices (PLDs), etc., or a combination of such devices. The software can be stored in memory such as random access memory (RAM), read only memory (ROM), flash memory, or a combination of such components. The software may also be stored on one or more storage devices, such as optical-based disks, flash memory devices, or any other type of non-volatile storage medium for storing data. Software may include one or more program modules that include routines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types. In a distributed computing environment, program module functionality can be combined or distributed among multiple computing systems or devices and accessed via service calls in either a wired or wireless configuration.

画像測定機１２は、可動ワークピースステージ３２と、ズームレンズ又は交換可能レンズを含み得る光学撮像システム３４と、を含む。ズームレンズ又は交換可能レンズは一般に、光学撮像システム３４によって得られる画像に様々な倍率を与える。マシンビジョン検査システム１０は、本発明の譲受人に譲渡された米国特許第７，４５４，０５３号、第７，３２４，６８２号、第８，１１１，９０５号、及び８，１１１，９３８号にも記載されている。   The image measuring machine 12 includes a movable workpiece stage 32 and an optical imaging system 34 that may include a zoom lens or a replaceable lens. A zoom lens or interchangeable lens generally provides various magnifications to the image obtained by the optical imaging system 34. Machine vision inspection system 10 is described in U.S. Pat. Nos. 7,454,053, 7,324,682, 8,111,905, and 8,111,938, assigned to the assignee of the present invention. Is also described.

図２は、図１のマシンビジョン検査システムと同様の、本明細書に記載する特徴を含むマシンビジョン検査システム１００の制御システム部１２０及びビジョン構成要素部２００のブロック図である。以下で詳述するように、制御システム部１２０を用いてビジョン構成要素部２００を制御する。ビジョン構成要素部２００は、光学アセンブリ部２０５と、光源２２０、２３０、及び２４０と、中央の透明部２１２を有するワークピースステージ２１０と、を含む。ワークピースステージ２１０は、ワークピース２０を位置決めすることができるステージの表面に対して概ね平行な面内にあるＸ軸及びＹ軸に沿って制御可能に移動させることができる。光学アセンブリ部２０５は、カメラシステム２６０及び交換可能対物レンズ２５０を含み、レンズ２８６と２８８を有するターレットレンズアセンブリ２８０も含む場合がある。ターレットレンズアセンブリの代わりに、固定もしくは手作業で交換可能な倍率可変レンズ（ｍａｇｎｉｆｉｃａｔｉｏｎ−ａｌｔｅｒｉｎｇ ｌｅｎｓ）、又はズームレンズ構成等を含んでもよい。   FIG. 2 is a block diagram of a control system portion 120 and a vision component portion 200 of a machine vision inspection system 100 that includes features described herein, similar to the machine vision inspection system of FIG. As will be described in detail below, the vision component unit 200 is controlled using the control system unit 120. The vision component part 200 includes an optical assembly part 205, light sources 220, 230, and 240, and a workpiece stage 210 having a central transparent part 212. The workpiece stage 210 can be controllably moved along the X and Y axes that lie in a plane generally parallel to the surface of the stage on which the workpiece 20 can be positioned. The optical assembly portion 205 includes a camera system 260 and a replaceable objective lens 250 and may also include a turret lens assembly 280 having lenses 286 and 288. Instead of the turret lens assembly, a variable-altering lens that can be fixed or manually replaced, a zoom lens configuration, or the like may be included.

光学アセンブリ部２０５は、制御可能モータ２９４を用いることで、Ｘ軸及びＹ軸に概ね直交したＺ軸に沿って制御可能に移動させることができる。制御可能モータ２９４はアクチュエータを駆動して、ワークピース２０の画像の焦点を変えるために光学アセンブリ部２０５をＺ軸に沿って動かす。制御可能モータ２９４は信号ライン２９６を介して入出力インタフェース１３０に接続されている。   The optical assembly unit 205 can be controllably moved along the Z-axis substantially orthogonal to the X-axis and the Y-axis by using the controllable motor 294. A controllable motor 294 drives the actuator to move the optical assembly portion 205 along the Z axis to change the focus of the image of the workpiece 20. Controllable motor 294 is connected to input / output interface 130 via signal line 296.

マシンビジョン検査システム１００を用いて撮像されるワークピース２０、又は複数のワークピース２０を保持しているトレイもしくは固定具は、ワークピースステージ２１０上に配置されている。交換可能対物レンズ２５０がワークピース２０上の複数の位置間で及び／又は複数のワークピース２０間で移動するように、ワークピースステージ２１０は、光学アセンブリ部２０５に対して移動するように制御される。透過照明光源２２０、落射照明光源２３０、及び斜め照明光源２４０（例えばリング光）の１つ以上（まとめて光源と呼ぶ）が、それぞれ光源光２２２、２３２、及び／又は２４２を発して、１つ又は複数のワークピース２０を照明することができる。光源２３０は、ミラー２９０を含む経路に沿うように光２３２を発することができる。光源光はワークピース光２５５として反射又は透過され、撮像のため用いられるワークピース光は、交換可能対物レンズ２５０及びターレットレンズアセンブリ２８０を通過して、カメラシステム２６０によって集光される。カメラシステム２６０によりキャプチャされた１つのワークピース（又は複数のワークピース）２０の画像は、制御システム部１２０への信号ライン２６２に出力される。光源２２０、２３０、及び２４０は、それぞれ信号ライン又はバス２２１、２３１、及び２４１を介して制御システム部１２０に接続することができる。画像の倍率を変更するため、制御システム部１２０は、ターレットレンズアセンブリ２８０を軸２８４に沿って回転させることで、信号ライン又はバス２８１を介してターレットレンズを１つ選択することができる。   A workpiece 20 imaged using the machine vision inspection system 100 or a tray or fixture holding a plurality of workpieces 20 is disposed on a workpiece stage 210. The workpiece stage 210 is controlled to move relative to the optical assembly portion 205 so that the interchangeable objective lens 250 moves between positions on the workpiece 20 and / or between the workpieces 20. The One or more of the transmitted illumination light source 220, the epi-illumination light source 230, and the oblique illumination light source 240 (eg, ring light) (collectively referred to as light sources) emit light source light 222, 232, and / or 242, respectively. Alternatively, multiple workpieces 20 can be illuminated. The light source 230 can emit light 232 along a path including the mirror 290. The source light is reflected or transmitted as workpiece light 255 and the workpiece light used for imaging passes through the interchangeable objective lens 250 and turret lens assembly 280 and is collected by the camera system 260. An image of one workpiece (or a plurality of workpieces) 20 captured by the camera system 260 is output to a signal line 262 to the control system unit 120. The light sources 220, 230, and 240 can be connected to the control system unit 120 via signal lines or buses 221, 231, and 241, respectively. In order to change the magnification of the image, the control system 120 can select one turret lens via the signal line or bus 281 by rotating the turret lens assembly 280 along the axis 284.

図２に示すように、種々の例示的な実施形態において制御システム部１２０は、制御部１２５、入出力インタフェース１３０、メモリ１４０、ワークピースプログラム生成器及び実行器１７０、及び電源部１９０を含む。これらの構成要素及び以下で説明する追加の構成要素の各々は、１つ以上のデータ／制御バス及び／又はアプリケーションプログラミングインタフェースによって、又は様々な要素間の直接接続によって、相互接続することができる。   As shown in FIG. 2, in various exemplary embodiments, the control system unit 120 includes a control unit 125, an input / output interface 130, a memory 140, a workpiece program generator / executor 170, and a power supply unit 190. Each of these components and additional components described below can be interconnected by one or more data / control buses and / or application programming interfaces, or by direct connection between the various components.

入出力インタフェース１３０は、撮像制御インタフェース１３１、移動制御インタフェース１３２、照明制御インタフェース１３３、及びレンズ制御インタフェース１３４を含む。撮像制御インタフェース１３１は、拡大被写界深度（ＥＤＯＦ）モード１３１ｅを含むことができる。このモードは、ユーザによって選択されて、単一の焦点位置で合焦された場合にビジョン構成要素部２００によって与え得るよりも深い被写界深度でワークピースの少なくとも１つの画像を収集することができる。レンズ制御インタフェース１３４は、レンズ焦点駆動回路及び／又はルーチン等を含むＥＤＯＦレンズ制御部を含み得る。拡大被写界深度モード及びＥＤＯＦレンズ制御インタフェース及び／又は制御部に関連した動作及び構成要素については、以下で図３〜図７を参照して更に説明する。移動制御インタフェース１３２は、位置制御要素１３２ａ及び速度／加速度制御要素１３２ｂを含み得るが、これらの要素は併合される場合、及び／又は区別できない場合もある。照明制御インタフェース１３３は、照明制御要素１３３ａ、１３３ｎ、及び１３３ｆｌを含むことができ、これらは、マシンビジョン検査システム１００の様々な対応する光源について、例えば選択、パワー、オン／オフ切り換え、及びストロボパルスタイミングを適用可能な場合に制御する。   The input / output interface 130 includes an imaging control interface 131, a movement control interface 132, an illumination control interface 133, and a lens control interface 134. The imaging control interface 131 can include an extended depth of field (EDOF) mode 131e. This mode may collect at least one image of the workpiece at a depth of field deeper than can be provided by the vision component 200 when selected by the user and focused at a single focal position. it can. The lens control interface 134 may include an EDOF lens control unit including a lens focus driving circuit and / or a routine. Operations and components associated with the extended depth of field mode and the EDOF lens control interface and / or controller will be further described below with reference to FIGS. The movement control interface 132 may include a position control element 132a and a speed / acceleration control element 132b, which may be merged and / or indistinguishable. The illumination control interface 133 can include illumination control elements 133a, 133n, and 133fl, which for example select, power, turn on / off, and strobe pulses for various corresponding light sources of the machine vision inspection system 100. Control when timing is applicable.

メモリ１４０は、画像ファイルメモリ部１４１、エッジ検出メモリ部１４０ｅｄ、１つ以上のパートプログラム等を含み得るワークピースプログラムメモリ部１４２、及びビデオツール部１４３を含むことができる。ビデオツール部１４３は、対応する各ビデオツールのためのＧＵＩや画像処理動作等を確定するビデオツール部１４３ａ及び他のビデオツール部（例えば１４３ｎ）、並びに関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）生成器１４３ｒｏｉを含む。関心領域生成器１４３ｒｏｉは、ビデオツール部１４３内に含まれる様々なビデオツールにおいて動作可能である様々なＲＯＩを規定する自動、半自動、及び／又は手動の動作をサポートする。ビデオツール部は、例えば焦点高さ測定動作のためのＧＵＩや画像処理動作等を確定する自動合焦ビデオツール１４３ａｆも含む。本開示のコンテキストにおいて、当業者に既知であるように、「ビデオツール」という言葉は概ね、マシンビジョンユーザが、ビデオツールに含まれる動作の段階的シーケンスを生成することなく、また汎用のテキストベースのプログラミング言語等に頼ることもなく、比較的シンプルなユーザインタフェース（例えばグラフィカルユーザインタフェース、編集可能パラメータウィンドウ、メニュー等）を介して実施可能である比較的複雑な自動化又はプログラミングされた動作セットのことである。例えばビデオツールは、あらかじめプログラミングされた複雑な画像処理動作セット及び計算を含み、これらの動作及び計算を規定する少数の変数及びパラメータを調整することによって特定のインスタンスでこれらを適用及びカスタム化することができる。ビデオツールは、基礎にある動作及び計算の他に、ビデオツールの特定のインスタンス向けにそれらのパラメータをユーザが調整することを可能とするユーザインタフェースも備えている。例えば、多くのマシンビジョンビデオツールによってユーザは、マウスを用いたシンプルな「ハンドルドラッグ」動作を行ってグラフィックの関心領域（ＲＯＩ）インジケータを構成して、ビデオツールの特定のインスタンスの画像処理動作で解析対象となる画像サブセットの位置パラメータを定義することができる。場合によっては、目に見えるユーザインタフェース機能がビデオツールと称され、基礎にある動作は暗黙的に含まれることに留意すべきである。   The memory 140 may include an image file memory unit 141, an edge detection memory unit 140ed, a workpiece program memory unit 142 that may include one or more part programs, and a video tool unit 143. The video tool unit 143 includes a video tool unit 143a and other video tool units (for example, 143n) for determining a GUI and an image processing operation for each corresponding video tool, and a region of interest (ROI) generator. Including 143 roi. The region of interest generator 143roi supports automatic, semi-automatic, and / or manual operations that define various ROIs that are operable in various video tools included within the video tool portion 143. The video tool unit also includes an automatic focusing video tool 143af for determining a GUI for a focus height measurement operation, an image processing operation, and the like. In the context of this disclosure, as known to those skilled in the art, the term “video tool” is generally used by machine vision users without generating a step-by-step sequence of actions included in the video tool, A relatively complex automated or programmed set of actions that can be implemented through a relatively simple user interface (eg, graphical user interface, editable parameter window, menu, etc.) without resorting to any programming language, etc. It is. For example, a video tool includes a complex set of pre-programmed image processing operations and calculations that can be applied and customized in specific instances by adjusting a small number of variables and parameters that define these operations and calculations Can do. In addition to the underlying operations and calculations, the video tool also includes a user interface that allows the user to adjust those parameters for a particular instance of the video tool. For example, many machine vision video tools allow a user to perform a simple “handle drag” operation with a mouse to configure a region of interest (ROI) indicator for a graphic, allowing image processing operations for a particular instance of the video tool. It is possible to define the position parameters of the image subset to be analyzed. It should be noted that in some cases, visible user interface functions are referred to as video tools and the underlying actions are implicitly included.

透過照明光源２２０、落射照明光源２３０と２３０’、及び斜め照明光源２４０のそれぞれの信号ライン又はバス２２１、２３１、及び２４１は全て、入出力インタフェース１３０に接続されている。カメラシステム２６０からの信号ライン２６２、及び制御可能モータ２９４からの信号ライン２９６も、入出力インタフェース１３０に接続されている。信号ライン２６２は、画像データの伝達に加えて、画像取得を開始する制御部１２５からの信号も伝達することができる。   The signal lines or buses 221, 231, and 241 of the transmitted illumination light source 220, the incident illumination light sources 230 and 230 ′, and the oblique illumination light source 240 are all connected to the input / output interface 130. A signal line 262 from the camera system 260 and a signal line 296 from the controllable motor 294 are also connected to the input / output interface 130. In addition to the transmission of image data, the signal line 262 can also transmit a signal from the control unit 125 that starts image acquisition.

１つ以上のディスプレイデバイス１３６（例えば図１のディスプレイ１６）及び１つ以上の入力デバイス１３８（例えば図１のジョイスティック２２、キーボード２４、及びマウス２６）も、入出力インタフェース１３０に接続することができる。ディスプレイデバイス１３６及び入力デバイス１３８を用いて、様々なグラフィカルユーザインタフェース（ＧＵＩ）機能を含み得るユーザインタフェースを表示することができる。それらの機能は、検査動作の実行、及び／又はパートプログラムの生成及び／又は修正、カメラシステム２６０によってキャプチャされた画像の閲覧、及び／又はビジョン構成要素部２００の直接制御のために使用可能である。ディスプレイデバイス１３６は、自動合焦ビデオツール１４３ａｆ等に関連付けてユーザインタフェース機能を表示することができる。   One or more display devices 136 (eg, display 16 of FIG. 1) and one or more input devices 138 (eg, joystick 22, keyboard 24, and mouse 26 of FIG. 1) may also be connected to input / output interface 130. . Display device 136 and input device 138 may be used to display a user interface that may include various graphical user interface (GUI) functions. These functions can be used to perform inspection operations and / or create and / or modify part programs, view images captured by the camera system 260, and / or directly control the vision component 200. is there. The display device 136 can display user interface functions in association with the autofocus video tool 143af and the like.

種々の例示的な実施において、ユーザがマシンビジョン検査システム１００を用いてワークピース２０のためのパートプログラムを生成する場合、ユーザは、マシンビジョン検査システム１００を学習モードで動作させて所望の画像取得訓練シーケンスを提供することによって、パートプログラム命令を発生させる。例えば訓練シーケンスは、代表的ワークピースの特定のワークピース要素を視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）内に位置決めし、光レベルを設定し、合焦又は自動合焦を行い、画像を取得し、（例えばそのワークピース要素でビデオツールのうち１つのインスタンスを用いて）画像に適用される検査訓練シーケンスを提供することを含み得る。学習モードは、このシーケンス（複数のシーケンス）がキャプチャ又は記録されて、対応するパートプログラム命令に変換されるように動作する。パートプログラムが実行された場合、これらの命令はマシンビジョン検査システムに訓練した画像取得を再現させると共に、検査動作を行って、パートプログラムの生成時に用いた代表的ワークピースに合致する実行モード（ｒｕｎ ｍｏｄｅ）の１つのワークピース又は複数のワークピース上の特定のワークピース要素（すなわち対応位置での対応する要素）を自動的に検査させる。本明細書に開示されるシステム及び方法は、ユーザが視覚検査及び／又はワークピースプログラム生成のためにワークピースをナビゲートしながら、リアルタイムでＥＤＯＦビデオ画像を視認できるので、そのような学習モード及び／又は手動動作の際に特に有用である。ユーザは、ワークピース上の様々な顕微鏡的要素の高さに応じて高倍率画像を常に再合焦する必要がない。この再合焦は、特に高倍率では、退屈であると共に長い時間を要する可能性がある。   In various exemplary implementations, when a user uses the machine vision inspection system 100 to generate a part program for the workpiece 20, the user operates the machine vision inspection system 100 in a learning mode to obtain a desired image. A part program instruction is generated by providing a training sequence. For example, a training sequence positions a particular workpiece element of a representative workpiece in a field of view (FOV), sets a light level, performs in-focus or auto-focus, and acquires an image ( Providing an inspection training sequence to be applied to the image (eg, using one of the video tools at the workpiece element). The learning mode operates such that this sequence (a plurality of sequences) is captured or recorded and converted into corresponding part program instructions. When the part program is executed, these instructions reproduce the trained image acquisition in the machine vision inspection system and perform the inspection operation to run mode (run) that matches the representative workpiece used when generating the part program. mode) to automatically inspect a particular workpiece element (ie, the corresponding element at a corresponding position) on a workpiece or workpieces. The systems and methods disclosed herein allow such a learning mode and the ability to view EDOF video images in real time while the user navigates the workpiece for visual inspection and / or workpiece program generation. It is particularly useful during manual operation. The user does not always have to refocus the high magnification image according to the height of the various microscopic elements on the workpiece. This refocusing can be tedious and time consuming, especially at high magnification.

図３は、マシンビジョン検査システムに適合させることができ、本明細書に開示する原理に従って動作することができるＥＤＯＦ撮像システム３００の第１の実施形態の概略図である。撮像システム３００は、単一の焦点位置における光学撮像システムよりも深い拡大被写界深度を有する（様々な実施形態では１０〜２０倍以上）ワークピースの少なくとも１つの画像を提供するように構成できる。撮像システム３００は、撮像システム３００の視野内でワークピースを照明するように構成可能である光源３３０、対物レンズ３５０、リレーレンズ３５１、リレーレンズ３５２、可変焦点距離レンズ３７０、チューブレンズ３８６、及びカメラシステム３６０を含む。   FIG. 3 is a schematic diagram of a first embodiment of an EDOF imaging system 300 that can be adapted to a machine vision inspection system and can operate in accordance with the principles disclosed herein. The imaging system 300 can be configured to provide at least one image of a workpiece having a greater depth of field (10-20 times or more in various embodiments) than an optical imaging system at a single focal position. . The imaging system 300 includes a light source 330, an objective lens 350, a relay lens 351, a relay lens 352, a variable focal length lens 370, a tube lens 386, and a camera that can be configured to illuminate a workpiece within the field of view of the imaging system 300. A system 360 is included.

動作において、光源３３０は、光源光３３２を、ミラー３９０を含む経路に沿ってワークピース３２０の表面へと発するように構成することができる。対物レンズ３５０は、ワークピース３２０に近接した焦点位置ＦＰで集束されたワークピース光を含むワークピース光３３２を受光し、ワークピース光３５５をリレーレンズ３５１に出力する。リレーレンズ３５１はワークピース光３５５を受光し、これをリレーレンズ３５２に出力する。リレーレンズ３５２はワークピース光３５５を受光し、これを可変焦点距離レンズ３７０に出力する。これと共に、ワークピース３２０の各Ｚ高さ及び／又は焦点位置ＦＰで一定の倍率を与えるため、リレーレンズ３５１及びリレーレンズ３５２は、対物レンズ３５０と可変焦点距離レンズ３７０との間に４ｆ光学リレーを提供する。可変焦点距離レンズ３７０はワークピース光３５５を受光し、これをチューブレンズ３８６に出力する。可変焦点距離レンズ３７０は、１回以上の画像露光中に撮像システムの焦点位置ＦＰを変えるよう電子的に制御可能である。焦点位置ＦＰは、焦点位置ＦＰ１と焦点位置ＦＰ２によって画定される範囲Ｒ内で動かすことができる。いくつかの実施形態において、範囲Ｒは、例えば撮像制御インタフェース１３１のＥＤＯＦモード１３１ｅにおいて、ユーザによって選択可能であることは認められよう。   In operation, the light source 330 can be configured to emit source light 332 to the surface of the workpiece 320 along a path that includes the mirror 390. The objective lens 350 receives the workpiece light 332 including the workpiece light focused at the focal position FP close to the workpiece 320 and outputs the workpiece light 355 to the relay lens 351. The relay lens 351 receives the workpiece light 355 and outputs it to the relay lens 352. The relay lens 352 receives the workpiece light 355 and outputs it to the variable focal length lens 370. At the same time, in order to give a constant magnification at each Z height and / or focal position FP of the workpiece 320, the relay lens 351 and the relay lens 352 are 4f optical relays between the objective lens 350 and the variable focal length lens 370. I will provide a. The variable focal length lens 370 receives the workpiece light 355 and outputs it to the tube lens 386. The variable focal length lens 370 can be electronically controlled to change the focal position FP of the imaging system during one or more image exposures. The focal position FP can be moved within a range R defined by the focal position FP1 and the focal position FP2. It will be appreciated that in some embodiments, the range R is selectable by the user, for example in the EDOF mode 131e of the imaging control interface 131.

様々な実施形態において、マシンビジョン検査システムは、撮像システム３００の焦点位置を周期的に変更するため、可変焦点距離レンズ３７０を制御するように構成可能である制御システム（例えば制御システム部１２０）を備える。いくつかの実施形態では、可変焦点距離レンズ３７０は迅速に焦点位置を調整又は変更することができる（例えば周期的に、少なくとも３００Ｈｚ、又は３ｋＨｚ、又はこれらよりもはるかに高いレートで）。いくつかの実施形態において、範囲Ｒは、（例えば１倍の対物レンズ３５０では）約１０ｍｍの大きさとすることができる。様々な実施形態において、可変焦点距離レンズ３７０は、焦点位置ＦＰを変えるために撮像システムの巨視的な機械的調整及び／又は対物レンズ３５０とワークピース３２０との間の距離の調整を必要としないように、有利に選択される。そのような場合、ＥＤＯＦ画像を高レートで取得することができ、更に、（例えば数マイクロメートルのオーダーの精度の）精密測定等に使用しなければならない固定焦点検査画像を取得するため同一の撮像システムを用いる場合に、精度を低下させる巨視的な調整要素も、これに伴う位置決めの非再現性も存在しない。例えばいくつかの実施形態では、ユーザへの表示画像としてＥＤＯＦ画像を使用し、その後、焦点位置の周期的な変更を終了させて（例えば、前述のＥＤＯＦモード制御要素１３１ｅ、又はアクティブ測定動作に基づく自動終了等を用いて）、撮像システムの固定焦点位置を与えることが望ましい。次いで、システムを用いて、固定焦点位置で撮像システムを使用して特定の要素の測定画像を露光することができる。この安定した高解像度測定画像を処理して、ワークピースを高精度で測定できる。   In various embodiments, the machine vision inspection system includes a control system (eg, control system portion 120) that can be configured to control the variable focal length lens 370 to periodically change the focal position of the imaging system 300. Prepare. In some embodiments, the variable focal length lens 370 can quickly adjust or change the focal position (eg, periodically, at a rate of at least 300 Hz, or 3 kHz, or much higher). In some embodiments, the range R can be as large as about 10 mm (eg, for a 1 × objective lens 350). In various embodiments, the variable focal length lens 370 does not require macroscopic mechanical adjustment of the imaging system and / or adjustment of the distance between the objective lens 350 and the workpiece 320 to change the focal position FP. Are advantageously selected. In such cases, EDOF images can be acquired at a high rate, and the same imaging to acquire a fixed focus inspection image that must be used for precision measurements (eg, with accuracy on the order of a few micrometers). When the system is used, there are no macroscopic adjustment elements that reduce accuracy, and no associated non-reproducibility of positioning. For example, in some embodiments, an EDOF image is used as a display image to the user, and then the periodic change in focus position is terminated (eg, based on the aforementioned EDOF mode control element 131e or active measurement operation). It is desirable to provide a fixed focus position for the imaging system (using automatic termination etc.). The system can then be used to expose a measured image of a particular element using the imaging system at a fixed focus position. By processing this stable high-resolution measurement image, the workpiece can be measured with high accuracy.

様々な実施において、可変焦点距離レンズ３７０は可変音響式屈折率分布型（「ＴＡＧ」：ｔｕｎａｂｌｅ ａｃｏｕｓｔｉｃ ｇｒａｄｉｅｎｔ ｉｎｄｅｘ ｏｆ ｒｅｆｒａｃｔｉｏｎ）レンズとすることができる。可変音響式屈折率分布型レンズは、流体媒質中で音波を用いて焦点位置を変更する高速可変焦点距離レンズであり、焦点距離範囲を数百ｋＨｚの周波数で周期的にスイープすることができる。このようなレンズは、論文「Ｈｉｇｈ−ｓｐｅｅｄ ｖａｒｉｆｏｃａｌ ｉｍａｇｉｎｇ ｗｉｔｈ ａ ｔｕｎａｂｌｅ ａｃｏｕｓｔｉｃ ｇｒａｄｉｅｎｔ ｉｎｄｅｘ ｏｆ ｒｅｆｒａｃｔｉｏｎ ｌｅｎｓ」（Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ、Ｖｏｌ．３３、Ｎｏ．１８、２００８年９月１５日）の教示によって理解することができる。可変音響式屈折率分布型レンズ及びこれに関連した制御可能信号生成器は、例えばＴＡＧ Ｏｐｔｉｃｓ， Ｉｎｃ．（ニュージャージー州プリンストン）から入手可能である。例えば、ＳＲ３８シリーズのレンズは最大で１．０ＭＨｚの変更が可能である。   In various implementations, the variable focal length lens 370 may be a tunable acoustic gradient index of refraction (“TAG”) lens. The variable acoustic refractive index distribution type lens is a high-speed variable focal length lens that changes the focal position using sound waves in a fluid medium, and can periodically sweep the focal length range at a frequency of several hundred kHz. Such a lens can be understood by the article “High-speed variable imaging with a tunable acoustic gradient index of refraction lens” (Optics Letters, Vol. 33, No. 18, September 15, 2008). . Variable acoustic gradient index lenses and associated controllable signal generators are described, for example, in TAG Optics, Inc. (Princeton, NJ). For example, SR38 series lenses can be changed up to 1.0 MHz.

可変焦点距離レンズ３７０は、これを制御する信号を生成することができるＥＤＯＦレンズ制御部３７４によって駆動され得る。一実施形態において、ＥＤＯＦレンズ制御部３７４は、上記で言及したもののような市販の制御可能な信号生成器であってよい。いくつかの実施形態では、ＥＤＯＦレンズ制御部３７４は、図２を参照して先に概説したように、撮像制御インタフェース１３１及び／又はＥＤＯＦモード１３１ｅのユーザインタフェース及び／又はレンズ制御インタフェース１３４を介して、ユーザ及び／又は動作プログラムによって構成又は制御され得る。いくつかの実施形態では、可変焦点距離レンズ３７０は、焦点位置ＦＰが高周波数で経時的に正弦波状に変更されるように、周期的な信号を用いて駆動することができる。例えばいくつかの例示的な実施形態では、可変音響式屈折率分布型レンズは４００ｋＨｚという高さの焦点走査速度向けに構成可能であるが、様々な実施形態及び／又は用途では、より低速の焦点位置調整及び／又は変更周波数が望ましい場合があることは認められよう。例えば、様々な実施形態において、３００Ｈｚ、又は３ｋＨｚ等の周期的な変更を使用することができる。低速の焦点位置調整を用いる実施形態では、可変焦点距離レンズ３７０は制御可能液体レンズ（ｆｌｕｉｄ ｌｅｎｓ）等を含み得る。   The variable focal length lens 370 can be driven by an EDOF lens controller 374 that can generate a signal to control it. In one embodiment, the EDOF lens controller 374 may be a commercially available controllable signal generator such as those mentioned above. In some embodiments, the EDOF lens controller 374 may be configured via the imaging control interface 131 and / or the EDOF mode 131e user interface and / or the lens control interface 134 as outlined above with reference to FIG. Can be configured or controlled by a user and / or an operating program. In some embodiments, the variable focal length lens 370 can be driven with a periodic signal such that the focal position FP is changed sinusoidally over time at high frequencies. For example, in some exemplary embodiments, the variable acoustic gradient index lens can be configured for a focus scan speed as high as 400 kHz, although in various embodiments and / or applications, a slower focus. It will be appreciated that alignment and / or change frequencies may be desirable. For example, in various embodiments, periodic changes such as 300 Hz or 3 kHz can be used. In embodiments that use slow focus adjustment, the variable focal length lens 370 may include a controllable liquid lens or the like.

図３に示すＥＤＯＦ撮像システムの実施形態を使用できるのは、ＥＤＯＦ撮像システム及びこれに伴う信号処理が、ＥＤＯＦ撮像システムからの予備画像の計算によるデコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をほぼリアルタイムで与えるように構成されている場合である。例えば制御システム（例えば図２に示す制御システム部１２０）は、画像露光中にＥＤＯＦ焦点範囲全体にわたって変更焦点位置を少なくとも１度スイープする過程で予備画像を収集し、ぼけている可能性のあるこの予備画像を処理して比較的クリアな画像を決定するように構成されている。一実施形態において、予備画像は、予備画像の焦点範囲に対応した既知の又は所定の点像分布関数（ＰＳＦ：ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）を用いて処理又はデコンボリューションを行うことができる。点像分布関数Ｐ（ＦＰ）は、錯乱円（ｂｌｕｒ ｃｉｒｃｌｅ）、すなわち、撮像システムから所与の距離における点光源の円形像を、錯乱円の半径ｒ及び焦点位置ＦＰの関数として特徴付ける。点像分布関数は、既知の方法に従って、撮像システム（例えば撮像システム３００）について実験的に決定されるか、又はピルボックス（ｐｉｌｌ ｂｏｘ）もしくはガウス曲線のような関数でモデル化された点像分布関数を用いて推定するか、又は例えばフーリエ光学のような基本的な回折原理を用いて推定すればよい。焦点範囲内の様々な焦点距離におけるそのような点像分布関数は、それらに予想される露光成分又は適用性に従って重み付けを行うことができる。例えば、露光中に焦点距離が移動する場合、各焦点距離はその露光内の対応する時間期間だけ画像露光に寄与するので、その距離に対応した点像分布関数にそれに応じた重み付けを行うことができる。このような重み付けした点像分布関数成分を、予想される焦点範囲Ｒ全体で合計又は積分すればよい。あるいは、焦点距離の変化が既知の時間関数である場合、そのような点像分布関数成分を、予想される焦点範囲Ｒのスイープに対応した時間期間にわたって積分すればよい。これは、下記の式３を参照して示す手法に類似している。   The embodiment of the EDOF imaging system shown in FIG. 3 can be used because the EDOF imaging system and the accompanying signal processing perform deconvolution by calculation of a preliminary image from the EDOF imaging system to produce a relatively clear EDOF image. This is a case where it is configured to give almost real time. For example, the control system (e.g., the control system unit 120 shown in FIG. 2) collects a preliminary image during the process of sweeping the changed focus position over the entire EDOF focus range during image exposure and may be blurred. The preliminary image is processed to determine a relatively clear image. In one embodiment, the preliminary image can be processed or deconvolved using a known or predetermined point spread function (PSF) corresponding to the focal range of the preliminary image. The point spread function P (FP) characterizes a circle of confusion, ie a circular image of a point light source at a given distance from the imaging system, as a function of the radius r of the circle of confusion and the focal position FP. The point spread function is determined experimentally for an imaging system (eg, imaging system 300) according to known methods, or a point spread distribution modeled with a function such as a pill box or a Gaussian curve. The estimation may be performed using a function, or may be performed using a basic diffraction principle such as Fourier optics. Such point spread functions at various focal lengths within the focal range can be weighted according to their expected exposure components or applicability. For example, if the focal length moves during exposure, each focal length contributes to image exposure for the corresponding time period within that exposure, so the point spread function corresponding to that distance can be weighted accordingly. it can. Such weighted point spread function components may be summed or integrated over the entire expected focal range R. Alternatively, if the change in focal length is a known time function, such a point spread function component may be integrated over a time period corresponding to the expected focal range R sweep. This is similar to the approach shown with reference to Equation 3 below.

変更焦点位置を用いる撮像システムについて、積分点像分布関数ｈは以下の関係に従う。
ここで、Ｐ（ＦＰ（ｔ））は点像分布関数であり、ＦＰ（ｔ）は時間に依存した焦点位置である。マシンビジョン検査システムの撮像システムの焦点位置は、予備画像の画像露光又は積分時間に相当する合計積分時間Ｔにわたって、時間ｔの関数として変更され得る。 For an imaging system using a changed focal position, the integral point spread function h follows the following relationship.
Here, P (FP (t)) is a point spread function, and FP (t) is a time-dependent focal position. The focal position of the imaging system of the machine vision inspection system can be changed as a function of time t over a total integration time T corresponding to the image exposure or integration time of the preliminary image.

予備画像のデコンボリューションは、いくつかの用途では「ブラー関数（ｂｌｕｒ ｆｕｎｃｔｉｏｎ）」と称され得る積分点像分布関数ｈから、露光においてそれぞれ持続時間を有する複数の焦点位置の範囲にわたって露光された深い被写界深度の画像をデコンボリューションする逆演算（ｉｎｖｅｒｓｅ ｆｕｎｃｔｉｏｎ）として理解することができる。予備画像は、以下の式によって、拡大被写界深度画像ｆ（ｘ，ｙ）（次元ｍ×ｎの画像アレイに対応する）のコンボリューションである２次元関数ｇ（ｘ，ｙ）として、積分点像分布関数ｈを用いて表すことができる。
The deconvolution of the preliminary image is deeply exposed over a range of focal positions, each having a duration in exposure, from an integral point spread function h, which in some applications may be referred to as a “blur function”. It can be understood as an inverse function that deconvolves an image of depth of field. The preliminary image is integrated as a two-dimensional function g (x, y), which is a convolution of the enlarged depth-of-field image f (x, y) (corresponding to an image array of dimension m × n) by the following equation: It can be expressed using a point spread function h.

周波数領域では、このコンボリューションを、ｆ及びｈのフーリエ変換の積によって、Ｆ及びＨとして表すことができる。
In the frequency domain, this convolution can be expressed as F and H by the product of the Fourier transform of f and h.

ｆ及びｈのフーリエ変換は、高速フーリエ変換（ＦＦＴ）アルゴリズムを用いて効率的に求めることができる。（周波数領域の）ＥＤＯＦ画像は、ここではＨrと表記するＨの逆数によって画像Ｇを処理する（すなわち、これを乗算する）ことによって求めることができる。逆数Ｈrは、いくつかの既知の方法で計算できる。例えば、以下の式によって、単純なＨの擬似逆行列（ｐｓｅｕｄｏ ｉｎｖｅｒｓｅ）を求めることができる。
The Fourier transform of f and h can be efficiently determined using a fast Fourier transform (FFT) algorithm. An EDOF image (in the frequency domain) can be determined by processing (ie, multiplying) the image G by the inverse of H, denoted here as H r . The reciprocal H r can be calculated in several known ways. For example, a simple pseudo inverse matrix (pseudo inverse) of H can be obtained by the following equation.

ここで、Ｈ＊はＨの複素共役であり、ｋは撮像システム３００の特性に基づいて経験的に選択される実数である。１つの例示的な実施形態では、ｋは０．０００１である。最終的に、拡大被写界深度画像ｆは以下のように計算することができる。
Here, H * is a complex conjugate of H, and k is a real number empirically selected based on the characteristics of the imaging system 300. In one exemplary embodiment, k is 0.0001. Finally, the enlarged depth of field image f can be calculated as follows.

擬似逆行列に代わる更にロバストな代替案を、ウィーナーデコンボリューション（Ｗｉｅｎｅｒ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）、又はルーシー・リチャードソン反復アルゴリズム（Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ ｉｔｅｒａｔｉｖｅ ａｌｇｏｒｉｔｈｍ）に従って計算することができる。これらは、Ｋｅｎｎｅｔｈ Ｒ．ＣａｓｔｌｅｍａｎによるＤｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ，Ｉｎｃ．１９９６年）に記載されている。更に、画像の処理は、ブロックベースのノイズ除去（ｄｅｎｏｉｓｉｎｇ）を含むことができる。   A more robust alternative to the pseudo-inverse can be calculated according to Wiener Deconvolution or Lucy-Richardson iterative algorithm. These are Kenneth R. In Digital Image Processing (Prentice-Hall, Inc. 1996) by Castleman. Further, the processing of the image can include block-based denoising.

異なる実施形態では、図５及び図６を参照して以下に詳述するように、デコンボリューションは、比較的クリアなＥＤＯＦ画像をリアルタイムで与えるため、フーリエ光学の基本的な方法に従ってＥＤＯＦ撮像システムのフーリエ面に配置された受動光学フィルタを用いて光学的に実行することができる。   In different embodiments, deconvolution provides a relatively clear EDOF image in real time, as will be described in detail below with reference to FIGS. 5 and 6, so that the EDOF imaging system according to the basic method of Fourier optics. It can be performed optically using passive optical filters placed in the Fourier plane.

例示的な実施形態において、撮像システム３００は、露光中に所望の焦点範囲全体で取得された情報を含むぼけた画像である予備画像を提供することができる。次いで、予備画像を上述のように計算によって処理することで、撮像システム３００が単一の焦点位置で与え得るよりも深い（例えば１００倍深い）被写界深度を含む拡大被写界深度画像を与えることができる。例えば、単一の焦点位置では被写界深度は９０μｍであり、撮像システム３００の同じ実施形態を用いて提供される拡大被写界深度画像は９ｍｍの大きさであり得る。   In an exemplary embodiment, the imaging system 300 can provide a preliminary image that is a blurred image that includes information acquired over the entire desired focal range during exposure. The preliminary image is then processed by computation as described above to produce an expanded depth of field image that includes a depth of field that is deeper (eg, 100 times deeper) than the imaging system 300 can provide at a single focal position. Can be given. For example, at a single focal position, the depth of field is 90 μm, and the expanded depth of field image provided using the same embodiment of the imaging system 300 can be as large as 9 mm.

図４は、本明細書に開示される原理に従ったＥＤＯＦ撮像システム（例えば撮像システム３００）の一実施形態において使用することができる、画像露光中の焦点高さの例示的なタイミング図４００を示す。加えて、タイミング図４００は、撮像システムのカメラの露光時間も示す。一般的に言えば、以下の説明においてフレーム露光とも称するＥＤＯＦ画像露光は、露光中の所望の焦点範囲にわたる撮像システムの焦点高さ変更の少なくとも１回のスイープの間に、撮像システムによって実行され得る。タイミング図４００に示す特定の例では、１回のフレーム露光は、所望の焦点範囲にわたる撮像システムの焦点高さの周期的な変更の少なくとも１つのサイクルに対応して実行される。可変音響式屈折率分布型レンズを用いて、高速の周期的変更が好都合に実行される。更に具体的には、一実施形態において、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦されたＥＤＯＦ画像を提供するため、図４に反映される以下のステップを少なくとも１回繰り返す。   FIG. 4 illustrates an exemplary timing diagram 400 of focus height during image exposure that can be used in one embodiment of an EDOF imaging system (eg, imaging system 300) in accordance with the principles disclosed herein. Show. In addition, the timing diagram 400 also shows the exposure time of the camera of the imaging system. Generally speaking, EDOF image exposure, also referred to as frame exposure in the following description, may be performed by the imaging system during at least one sweep of imaging system focus height change over the desired focal range during exposure. . In the particular example shown in the timing diagram 400, a single frame exposure is performed corresponding to at least one cycle of a periodic change in the focus height of the imaging system over the desired focus range. With a variable acoustic gradient index lens, fast periodic changes are conveniently performed. More specifically, in one embodiment, reflected in FIG. 4 to provide an EDOF image that is substantially focused through the entire depth of field deeper than the imaging system provides at a single focal position. Repeat the following steps at least once.

・撮像システムにおいて要素間の空間を巨視的に調整することなく、焦点軸方向に沿った複数の焦点位置にわたって撮像システムの焦点位置（焦点面）を周期的に変更することであって、焦点位置が少なくとも３００Ｈｚの周波数でワークピースの表面高さを含む焦点範囲内で周期的に変更されることと、
・焦点範囲内で焦点位置を変更しながら、画像積分時間中に予備画像を露光することと、
・予備画像を処理して、画像積分時間中に発生したぼけた画像成分を除去して、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦されたＥＤＯＦ画像を提供すること。 -The focal position (focal plane) of the imaging system is periodically changed over a plurality of focal positions along the focal axis direction without macroscopically adjusting the space between elements in the imaging system. Is periodically changed within a focal range that includes the surface height of the workpiece at a frequency of at least 300 Hz;
Exposing the preliminary image during the image integration time while changing the focal position within the focal range;
The preliminary image was processed to remove blurred image components that occurred during the image integration time, and was substantially focused throughout the entire depth of field than the imaging system provided at a single focal position Providing EDOF images.

上の記載では、ぼけた画像成分が計算によって除去される場合、予備画像は、ぼけた画像成分をもともと含むぼけた画像であり得る。この場合の予備画像は、検出された及び／又は記録された画像データを含む。予備画像を処理してぼけた画像成分を除去することは、予備画像に対する計算処理を行って、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦されたＥＤＯＦ画像（第２の又は変更済み画像）を与えることを含む。従ってこの実施形態では、予備画像及び与えられたＥＤＯＦ画像は、異なる画像及び／又は画像データを含む。   In the above description, if the blurred image component is removed by calculation, the preliminary image may be a blurred image that originally contains the blurred image component. The preliminary image in this case includes detected and / or recorded image data. Processing the preliminary image to remove blurred image components performs computations on the preliminary image and is substantially focused throughout the entire depth of field than the imaging system provides at a single focal position. Providing a second EDOF image (second or modified image). Thus, in this embodiment, the preliminary image and the given EDOF image include different images and / or image data.

これに対して、ぼけた画像成分が光学フィルタ及び受動フーリエ画像処理方法を用いて除去される場合、予備画像及びＥＤＯＦ画像は同時に生成され、予備画像は必ずしも検出された又は記録された画像ではない。予備画像を処理してぼけた画像成分を除去することは、ＥＤＯＦ撮像システムに入力される予備画像光に対して受動光学処理を行って、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦されたＥＤＯＦ画像をＥＤＯＦ撮像システムの出力又は検出器において与えることを含む。従ってそのような実施形態では、予備画像は、ＥＤＯＦ撮像システムを通過する間に、かつＥＤＯＦ撮像システムのカメラ又は検出器で検出されるよりも前に、光学的に処理されるので、このような実施形態では、検出された又は記録された画像は、ＥＤＯＦ画像のみである。   In contrast, if a blurred image component is removed using an optical filter and a passive Fourier image processing method, the preliminary image and the EDOF image are generated simultaneously, and the preliminary image is not necessarily a detected or recorded image. . Processing the preliminary image to remove blurred image components can be achieved by performing passive optical processing on the preliminary image light input to the EDOF imaging system, which is deeper than the imaging system provides at a single focal position. Including providing an EDOF image substantially in focus throughout the depth of field at the output or detector of the EDOF imaging system. Thus, in such embodiments, the preliminary image is optically processed while passing through the EDOF imaging system and prior to being detected by the camera or detector of the EDOF imaging system. In an embodiment, the only detected or recorded image is an EDOF image.

本明細書に概説した方法のいずれかに従って、及び／又は図４に示すように、焦点位置の変更のための制御は、図２に示すＥＤＯＦモード要素１３１ｅ及びレンズ制御インタフェース１３４、及び／又は図３及び図５にそれぞれ示すＥＤＯＦレンズ制御部３７４及び５７４を参照して概説するように達成することができる。   In accordance with any of the methods outlined herein and / or as shown in FIG. 4, the control for changing the focal position is controlled by the EDOF mode element 131e and the lens control interface 134 shown in FIG. This can be accomplished as outlined with reference to EDOF lens controls 374 and 574 shown in FIGS. 3 and 5, respectively.

本明細書に開示する原理に従って構成されるＥＤＯＦ撮像システムは、高速の拡大被写界深度撮像を行うので、そのような撮像システムを用いて、例えば毎秒３０フレーム以上のような高レートのビデオ撮像のために拡大被写界深度画像を繰り返し収集することができ、このような複数の拡大被写界深度画像をリアルタイムビデオフレームとして表示できる。   An EDOF imaging system constructed in accordance with the principles disclosed herein performs high-speed extended depth-of-field imaging, and therefore uses such an imaging system to provide high-rate video imaging, such as 30 frames per second or more. For this reason, it is possible to repeatedly collect enlarged depth of field images and display a plurality of such enlarged depth of field images as real-time video frames.

いくつかの実施形態では、（例えばＥＤＯＦモード要素１３１ｅのユーザインタフェース機能を用いた）ユーザ入力に応答して、周期的な変更の範囲Ｒの名目上の中心に関連付けた制御信号成分を調整して、この範囲の所望の名目上の中心の周りで周期的な変更が行われるようにすることができる。いくつかの実施形態では、そのような調整を、画像露光中に自動的に変化するように制御して、例えば１回の周期的な変更で達成されるよりも焦点範囲を更に拡大することも可能である。   In some embodiments, in response to user input (eg, using the user interface function of the EDOF mode element 131e), the control signal component associated with the nominal center of the periodic change range R is adjusted. , Periodic changes can be made around the desired nominal center of this range. In some embodiments, such adjustments may be controlled to change automatically during image exposure to further expand the focal range than is achieved, for example, with a single periodic change. Is possible.

タイミング図は、各フレーム露光において７周期の焦点高さ変更を示すが、例示の目的のため、様々な実施形態では、本明細書に開示する原理に従って構成されるマシンビジョン検査システムは、これよりはるかに多数のフレーム露光当たりの周期で焦点高さを変更する撮像システムを含み得る。例えば、例示的な撮像システムは、毎秒３０フレームでビデオ画像を収集すると共に３０ｋＨｚのレートで焦点高さを変更し、従ってフレーム露光当たり１０００周期の焦点高さ変更を与えることができる。そのような構成の１つの利点は、周期的な変更におけるフレーム露光間のタイミングの関係が重大でないことである。例えば式１は、ぼけた画像成分を除去するため用いられる積分点像分布関数が、画像露光全体を通して時間の関数としての焦点位置に依存することを示している。想定された積分点像分布関数が画像露光全体を通して時間の関数としての実際の焦点位置に合致しないならば、ぼけた画像成分は理想的に処理されない。想定された積分点像分布関数が焦点範囲全体を通して焦点の全周期の変更に基づき、かつ、画像露光中に１つの周期のみ（又は少ない周期）の周期的な焦点変更が用いられるならば、非整数周期の後に露光が終了した場合、実際の積分焦点位置は、想定された積分点像分布関数に比べて、著しく「アンバランス（ｕｎｂａｌａｎｃｅｄ）」となり得る。これに対して、画像露光中の累積周期数が多ければ、例えば少なくとも５周期であるか、又は好ましくはより多ければ、非整数周期の後に露光が終了した場合、この不完全な周期のアンバランスな成分は比較的小さく、想定された積分点像分布関数はほぼ理想的に動作する。   Although the timing diagram shows a seven-cycle focus height change at each frame exposure, for illustrative purposes, in various embodiments, a machine vision inspection system configured in accordance with the principles disclosed herein will now be described. It may include an imaging system that changes the focus height with a much larger number of cycles per frame exposure. For example, an exemplary imaging system can collect video images at 30 frames per second and change the focus height at a rate of 30 kHz, thus providing a focus height change of 1000 cycles per frame exposure. One advantage of such a configuration is that the timing relationship between frame exposures in periodic changes is not critical. For example, Equation 1 shows that the integral point spread function used to remove the blurred image component depends on the focal position as a function of time throughout the image exposure. If the assumed integration point spread function does not match the actual focal position as a function of time throughout the image exposure, the blurred image component is not ideally processed. If the assumed integration point spread function is based on changing the full period of focus throughout the focal range and only one period (or few periods) of periodic focus change is used during image exposure, then non- If exposure is terminated after an integer period, the actual integrated focal position can be significantly “unbalanced” compared to the assumed integrated point spread function. On the other hand, if the cumulative number of periods during image exposure is large, for example at least 5 periods, or preferably more, if the exposure ends after a non-integer period, this imperfect period imbalance. These components are relatively small, and the assumed integration point spread function works almost ideally.

いくつかの実施形態では、周期的に変更される焦点位置の少なくとも１周期の過程で第１の画像を収集することは、整数周期の過程で画像を露光することを含み得る。前述の検討に基づき、これは、ＥＤＯＦ画像露光が比較的少数（例えば５周期以下）の周期的な焦点変更を含む場合、特に有益となり得る。例えばこれは、過剰露光を回避するため及び／又は動き静止（ｍｏｔｉｏｎ ｆｒｅｅｚｅ）のため等で露光時間が比較的短くなければならない場合に生じることがある。   In some embodiments, collecting the first image in the course of at least one period of the periodically changed focus position may include exposing the image in the course of an integer period. Based on the foregoing considerations, this can be particularly beneficial when the EDOF image exposure includes a relatively small number (eg, 5 cycles or less) of periodic focus changes. This may occur, for example, if the exposure time has to be relatively short, such as to avoid overexposure and / or for motion freeze.

タイミング図４００に示す例において、焦点位置は正弦波状に変更される。いくつかの実施形態では、画像積分時間は、所望の焦点範囲全体にわたる焦点変化を含む（例えば、図４に示すような周期的に変更される焦点位置の少なくとも１周期）。いくつかの実施形態では、正弦波状の変更の線形部分期間のみで画像を露光することが好ましい場合がある。これによって、焦点位置変更内の各高さで、よりバランスのとれた露光時間が可能となる（例えば、正弦波状の焦点変更の極値における比較的長い焦点位置滞留時間（ｄｗｅｌｌ ｔｉｍｅ）を排除することができる）。従って、いくつかの実施形態では、画像積分時間中に画像を露光することは、周期的に変更される焦点位置と同期させた強度変動（例えばオン／オフサイクル又はより漸進的な強度変動）を有する照明を提供することで、周期的に変更される焦点位置の範囲内のそれぞれ異なる焦点位置において各露光成分に異なる影響を与えることを含む。ストロボ照明がオフである場合、フレーム露光が受光する画像成分は実質的にゼロであり得ることは認められよう。タイミング図４００は、画像を露光するため用いることができる２つの例示的な積分期間ＩＰＡ及びＩＰＢを示す。例示的な積分期間ＩＰＡ及びＩＰＢは、正弦波状の変更の極値付近の領域を除外している、すなわち、これらは双方とも、正弦波状の変更の極値部分から、周期長の少なくとも１５パーセントだけ離れている。積分期間ＩＰＡ及びＩＰＢは、既知の方法に従ってフレーム露光中に対応するストロボ照明を与えることにより制御することができる。   In the example shown in the timing diagram 400, the focal position is changed to a sine wave shape. In some embodiments, the image integration time includes a focus change over the desired focus range (eg, at least one period of the focus position that is periodically changed as shown in FIG. 4). In some embodiments, it may be preferable to expose the image with only a linear portion of the sinusoidal change. This allows for a more balanced exposure time at each height within the focal position change (eg, eliminating a relatively long focal position dwell time at the extremes of sinusoidal focal changes). be able to). Thus, in some embodiments, exposing an image during the image integration time may cause intensity fluctuations (eg, on / off cycles or more gradual intensity fluctuations) synchronized with the periodically changed focus position. Providing illumination having different effects on each exposure component at different focal positions within the range of periodically changed focal positions. It will be appreciated that when the strobe illumination is off, the image components received by the frame exposure can be substantially zero. Timing diagram 400 shows two exemplary integration periods IPA and IPB that can be used to expose an image. The exemplary integration periods IPA and IPB exclude the region near the extreme value of the sinusoidal change, i.e., they are both at least 15 percent of the period length from the extreme part of the sinusoidal change. is seperated. The integration periods IPA and IPB can be controlled by providing corresponding strobe illumination during frame exposure according to known methods.

図５は、本明細書に開示する原理に従ってマシンビジョン検査システムに適合させると共に動作させることができるＥＤＯＦ撮像システム５００の第２の実施形態の概略図を示す。撮像システム５００は図３の撮像システム３００と同様である。図３の３ＸＸ及び図５の５ＸＸと同様に付番された要素は同様又は同一であると理解することができ、顕著な相違点のみが図５を参照して記載されることは認められよう。図５に示すＥＤＯＦ撮像システムの実施形態を使用できるのは、ＥＤＯＦ撮像システムが、このＥＤＯＦ撮像システムにおいて予備画像光の受動光学デコンボリューションを実行し、比較的クリアなＥＤＯＦ画像を撮像システムのカメラ及び／又は検出器にリアルタイムで出力するように構成されている場合である。図５に示す実施形態では、撮像システム５００は更に、第１のフィルタリングレンズ５５３、第２のフィルタリングレンズ５５４、及び光学デコンボリューションフィルタ５５６を備えている。第１のフィルタリングレンズ５５３及び第２のフィルタリングレンズ５５４は、フーリエ面に配置された光学デコンボリューションフィルタ５５６と共に４ｆ光学リレーを提供する。光学デコンボリューションフィルタ５５６は、撮像システム５００のために決定された積分点像分布関数から導出することができる。これについては図６を参照して以下で更に詳しく説明する。動作において、光学デコンボリューションフィルタ５５６は、可変焦点距離レンズ５７０から予備画像光を受光し、この画像光を光学的にフィルタリングすることで処理するように構成されている。これによって、リアルタイムでカメラ５６０に出力される比較的クリアなＥＤＯＦ画像である出力ＥＤＯＦ画像をカメラ５６０に与える。   FIG. 5 shows a schematic diagram of a second embodiment of an EDOF imaging system 500 that can be adapted and operated on a machine vision inspection system in accordance with the principles disclosed herein. The imaging system 500 is the same as the imaging system 300 of FIG. Elements numbered similarly to 3XX in FIG. 3 and 5XX in FIG. 5 can be understood to be similar or identical, and it will be appreciated that only significant differences will be described with reference to FIG. . The EDOF imaging system embodiment shown in FIG. 5 can be used because the EDOF imaging system performs passive optical deconvolution of preliminary image light in the EDOF imaging system to produce a relatively clear EDOF image in the imaging system camera and This is the case where it is configured to output to the detector in real time. In the embodiment shown in FIG. 5, the imaging system 500 further includes a first filtering lens 553, a second filtering lens 554, and an optical deconvolution filter 556. The first filtering lens 553 and the second filtering lens 554 provide a 4f optical relay together with an optical deconvolution filter 556 arranged in the Fourier plane. The optical deconvolution filter 556 can be derived from the integral point spread function determined for the imaging system 500. This will be described in more detail below with reference to FIG. In operation, the optical deconvolution filter 556 is configured to receive preliminary image light from the variable focal length lens 570 and to process the image light by optically filtering it. Thus, an output EDOF image that is a relatively clear EDOF image output to the camera 560 in real time is given to the camera 560.

図６Ａは、ＥＤＯＦ撮像システムからの画像の光学デコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をリアルタイムで与えるため、ＥＤＯＦ撮像システムのフーリエ面において（例えば図５の光学デコンボリューションフィルタ５５６の一実施形態として）使用できる第１の例示的な光学フィルタを特徴付けるグラフ６００Ａである。グラフは光学透過曲線６１０Ａを示している。光学透過曲線６１０Ａは、光学フィルタの中央で最小値となる線形光学透過プロファイルを備えている。瞳径のエッジ付近における光学フィルタの周辺部では、光学透過値は１００パーセントである。瞳径を超えると光学透過はゼロになる。グラフ６００Ａによって特徴付けられる光学フィルタは、デコンボリューション処理において高域空間フィルタとして作用する。   FIG. 6A illustrates an implementation of the optical deconvolution filter 556 (eg, FIG. 5) in the Fourier plane of the EDOF imaging system to perform optical deconvolution of the image from the EDOF imaging system and provide a relatively clear EDOF image in real time. FIG. 6B is a graph 600A characterizing a first exemplary optical filter that can be used (in form). The graph shows an optical transmission curve 610A. The optical transmission curve 610A has a linear optical transmission profile having a minimum value at the center of the optical filter. At the periphery of the optical filter near the edge of the pupil diameter, the optical transmission value is 100%. When the pupil diameter is exceeded, optical transmission is zero. The optical filter characterized by graph 600A acts as a high pass spatial filter in the deconvolution process.

図６Ｂは、ＥＤＯＦ撮像システムからの画像の光学デコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をリアルタイムで与えるため、ＥＤＯＦ撮像システムのフーリエ面において（例えば図５の光学デコンボリューションフィルタ５５６の一実施形態として）使用できる第２の例示的な光学フィルタを特徴付けるグラフ６００Ｂである。グラフは光学透過曲線６１０Ｂを示している。光学透過曲線６１０Ｂは、光学フィルタの中央で最小値となる二次光学透過プロファイルを備えている。瞳径のエッジ付近における光学フィルタの周辺部では、光学透過値は１００パーセントである。瞳径を超えると光学透過はゼロになる。グラフ６００Ｂによって特徴付けられる光学フィルタも、デコンボリューション処理において高域空間フィルタとして作用する。グラフ６００Ａ及びグラフ６００Ｂによって特徴付けられる光学フィルタは例示であって限定ではなく、例えば位相変調フィルタのような他の透過プロファイルを備えた光学フィルタも使用され得ることは認められよう。   FIG. 6B performs an optical deconvolution of the image from the EDOF imaging system and provides a relatively clear EDOF image in real time in the Fourier plane of the EDOF imaging system (eg, one implementation of the optical deconvolution filter 556 of FIG. 5). FIG. 6B is a graph 600B characterizing a second exemplary optical filter that can be used (in form). The graph shows an optical transmission curve 610B. The optical transmission curve 610B has a secondary optical transmission profile that has a minimum value at the center of the optical filter. At the periphery of the optical filter near the edge of the pupil diameter, the optical transmission value is 100%. When the pupil diameter is exceeded, optical transmission is zero. The optical filter characterized by graph 600B also acts as a high pass spatial filter in the deconvolution process. It will be appreciated that the optical filters characterized by graph 600A and graph 600B are exemplary and not limiting, and optical filters with other transmission profiles such as, for example, phase modulation filters may be used.

図７は、ＥＤＯＦ撮像システムからの予備画像の計算によるデコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をほぼリアルタイムで与えるための、マシンビジョン検査システムの撮像システムの動作及びそれに関連した信号処理の方法の一実施形態を示すフロー図７００である。   FIG. 7 illustrates the operation of the imaging system of the machine vision inspection system and the signal processing associated therewith to perform deconvolution by calculation of preliminary images from the EDOF imaging system and to provide a relatively clear EDOF image in near real time. FIG. 7 is a flow diagram 700 illustrating one embodiment of a method.

ブロック７１０では、マシンビジョン検査システムの視野にワークピースを配置する。   At block 710, the workpiece is placed in the field of view of the machine vision inspection system.

ブロック７２０では、撮像システムにおいて要素間の間隔を巨視的に調整することなく、焦点軸方向に沿った複数の焦点位置にわたって撮像システムの焦点位置を周期的に変更する。焦点位置は、少なくとも３００Ｈｚ（又は、いくつかの実施形態ではより高い周波数）の周波数で、ワークピースの表面高さを含む焦点範囲で周期的に変更される。   At block 720, the focal position of the imaging system is periodically changed across multiple focal positions along the focal axis direction without macroscopically adjusting the spacing between elements in the imaging system. The focus position is periodically changed in a focus range that includes the surface height of the workpiece at a frequency of at least 300 Hz (or higher frequency in some embodiments).

ブロック７３０では、焦点範囲内で焦点位置を変更しながら、画像積分時間中に予備画像を露光する。   At block 730, the preliminary image is exposed during the image integration time while changing the focal position within the focal range.

ブロック７４０では、予備画像からのデータを処理して、画像積分時間中に焦点範囲で生じるぼけた画像成分を除去して、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦された画像を提供する。   At block 740, the data from the preliminary image is processed to remove blurred image components that occur in the focal range during the image integration time, resulting in an overall depth of field that is deeper than the imaging system provides at a single focal position. Through which the substantially focused image is provided.

ＴＡＧレンズのような極めて高速で周期的に変更される可変焦点レンズを用いる場合、焦点位置は迅速に変化するので、これを用いてＥＤＯＦ画像を取得する有一の方法は、上述のいくつかの例におけるように、高速可変焦点レンズの焦点範囲内でＥＤＯＦ画像を連続的に露光することであると考えられる。しかしながら、このＥＤＯＦ画像露光方法は、様々な実施においていくつかのデメリットを有する。例えば、周期的に変更される可変焦点レンズを用いる方法に伴う１つの欠点は、焦点位置が一定レートでなく正弦波状に変化することである。これは、（部分的な連続を含む）連続的なＥＤＯＦ画像露光が焦点範囲全体を通して一様でないことを意味し、多くの実施で悪影響を生じる。いくつかの実施形態においてより望ましい、このようなレンズを用いてＥＤＯＦ画像を取得する代替的な方法を以下に説明する。この代替的な方法は、以下に記載する原理に従って、複数の離散画像露光増分を用いて焦点範囲内で予備ＥＤＯＦ画像を取得することを含む。そのような方法は、様々な実施において、より適応性が高く、高精度で、及び／又はロバストな方法であり得る。極めて高速で周期的に変更される可変焦点レンズ（例えばＴＡＧレンズ）を用いた場合、焦点位置は迅速に変化し得るので、実際のシステムにおいて、タイミング、制御、及び「露光量」について深刻な問題が発生するおそれがあることは認められよう。そのような問題に対する実際的な解決策を与えるため、以下に開示する原理に従って、ＥＤＯＦ画像露光の構成部分として用いられる離散画像露光増分を複数の周期的な焦点変更にわたって取得する。   When using a varifocal lens that is periodically changed at a very high speed, such as a TAG lens, the focal position changes quickly, so one way to use it to acquire an EDOF image is to use some examples described above. It is considered that the EDOF image is continuously exposed within the focal range of the high-speed variable focus lens. However, this EDOF image exposure method has several disadvantages in various implementations. For example, one drawback with the method of using a variable focus lens that is periodically changed is that the focal position changes sinusoidally rather than at a constant rate. This means that continuous EDOF image exposure (including partial continuity) is not uniform throughout the focal range, which will adversely affect many implementations. An alternative method for acquiring EDOF images using such a lens, which is more desirable in some embodiments, is described below. This alternative method includes acquiring a preliminary EDOF image in the focal range using a plurality of discrete image exposure increments according to the principles described below. Such a method may be a more adaptive, accurate and / or robust method in various implementations. When using a variable focus lens (for example, a TAG lens) that is periodically changed at a very high speed, the focus position can change quickly, so in a real system, a serious problem regarding timing, control, and “exposure amount”. It will be appreciated that there is a risk of occurrence. To provide a practical solution to such a problem, discrete image exposure increments used as a component of EDOF image exposure are obtained over multiple periodic focus changes in accordance with the principles disclosed below.

図８Ａ〜図８Ｃは、ＥＤＯＦ撮像システム（例えば撮像システム３００）に適した３つの異なる画像露光実施の様々な態様をそれぞれ示す例示的なタイミング図８００Ａ〜８００Ｃである。タイミング図８００Ａ〜８００Ｃは、可変焦点撮像システムの焦点範囲にわたる焦点高さ又は焦点位置の周期的な変更中にＥＤＯＦ画像露光を取得できるという点で、タイミング図４００とある程度類似している。しかしながら、連続的な画像露光を用い得るタイミング図４００に示された実施形態とは異なり、タイミング図８００Ａ〜８００Ｃに示す実施形態では、ＥＤＯＦ撮像システムは、以下に記載する原理に従って、複数の離散画像露光増分を含む画像露光を用いて予備画像を露光するように構成されている。   8A-8C are exemplary timing diagrams 800A-800C that illustrate various aspects of three different image exposure implementations suitable for an EDOF imaging system (eg, imaging system 300), respectively. Timing diagrams 800A-800C are somewhat similar to timing diagram 400 in that EDOF image exposure can be obtained during periodic changes in focus height or focus position over the focal range of the variable focus imaging system. However, unlike the embodiment shown in the timing diagram 400 where continuous image exposure may be used, in the embodiment shown in the timing diagrams 800A-800C, the EDOF imaging system is configured to generate multiple discrete images according to the principles described below. The preliminary image is configured to be exposed using image exposure including an exposure increment.

具体的には、タイミング図８００Ａは、可変焦点撮像システムの周期的に変更される焦点位置ＭＦＰを示している。これは、可変焦点撮像システムで撮像されるワークピースの表面に対する距離（複数の距離）を含む焦点範囲ＦＲにわたって焦点軸方向に沿った複数の焦点位置（焦点面Ｚ位置軸に沿って示されている）で、周期的に変更される（時間軸に沿って示されている）。可変焦点撮像システムは、極めて高い焦点変更周波数で動作することができる（例えば、様々な実施形態では少なくとも３ｋＨｚ、又は３０ｋＨｚ、又はそれ以上）。図８００Ａに示すように、周期的に変更される焦点位置ＭＦＰの複数周期を含むカメラ画像積分時間中に、各焦点位置ＦＰ（例えば焦点位置Ｚ１〜Ｚ８のそれぞれ１つ）で取得された複数の離散画像露光増分ＥＩを含む画像露光を用いて、予備画像が露光される。注：略語ＥＩ及び／又はＦＰ（及び／又は、以下で使用され図９に示す、制御されたタイミングを表すＣＴ）は、特定の「ｉ番目」の露光増分ＥＩ、又は焦点位置ＦＰ、又は制御されたタイミングＣＴを表す指数「ｉ」を含み得る。露光増分ＥＩの場合、指数「ｉ」は概ね、１から予備画像露光に含まれる離散画像露光増分の数までの範囲である（例えば図８Ａに示す例ではＥＩ1〜ＥＩ16）。 Specifically, timing diagram 800A shows a focus position MFP that is periodically changed in the variable focus imaging system. This is shown along multiple focal positions (focal plane Z position axis) along the focal axis direction over the focal range FR including the distance (multiple distances) to the surface of the workpiece imaged by the variable focus imaging system. Are periodically changed (shown along the time axis). The variable focus imaging system can operate at very high refocusing frequencies (eg, at least 3 kHz, or 30 kHz, or higher in various embodiments). As shown in FIG. 800A, during a camera image integration time including a plurality of cycles of the focus position MFP that is periodically changed, a plurality of positions acquired at each focus position FP (for example, one of the focus positions Z1 to Z8). The preliminary image is exposed using an image exposure that includes a discrete image exposure increment EI. Note: The abbreviations EI and / or FP (and / or CT representing the controlled timing used below and shown in FIG. 9) is the specific “i-th” exposure increment EI, or focus position FP, or control May include an index “i” representing the generated timing CT. For the exposure increment EI, the index “i” generally ranges from 1 to the number of discrete image exposure increments included in the preliminary image exposure (eg, EI 1 to EI 16 in the example shown in FIG. 8A).

複数の離散画像露光増分ＥＩの各々は、対応する離散画像露光増分ＥＩの離散焦点位置ＦＰを規定する制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定される。周期的に変更される焦点位置を有する可変焦点撮像システムは、各変更周期内の特定のタイミング又は位相において特定の焦点位置を有することは認められよう。周期的な変更の瞬時位相は、可変焦点レンズの駆動信号に基づいて、又は焦点位置を直接監視すること等によって知ることができる。従って、焦点位置と周期的な変更の位相との間の較正関係がわかれば、所望の焦点位置における露光増分を取得するため、特定の位相タイミングで露光を短時間で行えるようにストロボ要素（例えばストロボ照明源、又は高速電子カメラシャッタ）を制御することができる。この原理は、例えば米国特許第８，１９４，３０７号及び第９，１４３，６７４号を参照して更に詳しく理解できる。上述のような制御されたタイミングを用いる様々な態様については、図９を参照して詳述する。   Each of the plurality of discrete image exposure increments EI is determined by each instance of an illumination source strobe operation or camera shutter strobe operation having a controlled timing that defines a discrete focus position FP of the corresponding discrete image exposure increment EI. It will be appreciated that a variable focus imaging system having a periodically changed focal position has a specific focal position at a specific timing or phase within each change period. The instantaneous phase of the periodic change can be known based on the driving signal of the variable focus lens or by directly monitoring the focus position. Thus, once the calibration relationship between the focus position and the phase of the periodic change is known, a strobe element (e.g., exposure can be performed in a short time at a specific phase timing in order to obtain the exposure increment at the desired focus position. A strobe illumination source or a high speed electronic camera shutter) can be controlled. This principle can be better understood with reference to, for example, US Pat. Nos. 8,194,307 and 9,143,674. Various aspects using the controlled timing as described above will be described in detail with reference to FIG.

図８００Ａに示すように、それぞれの制御されたタイミング（例えば各増加する時間Ｔ１〜Ｔ１６で表されている）は、周期的に変更される焦点位置ＭＦＰの複数の周期に分散し、焦点軸方向に沿ってほぼ均等に離間した離散焦点位置ＦＰのセット（それらの焦点位置値Ｚ１〜Ｚ８で表されている）を与えるように構成されている。「未処理の」又は予備ＥＤＯＦ画像に対する均等に離間された及び／又は「重み付けされた」露光成分は、後でＥＤＯＦ画像を改善するため実行される信号処理及び／又は計算動作に関して有利であり得ることがわかっている。例えばそのような露光成分は、焦点範囲全体を通して可変焦点撮像システムを特徴付けるブラーカーネルを用いて予備ＥＤＯＦ画像にデコンボリューション動作を実行することによって改善したＥＤＯＦ画像を提供する場合に有利であり得る。そのようなデコンボリューション動作は、例えば、公報ＷＯ２００９１２０７１８Ａ１号に記載されている。しかしながら、ＥＤＯＦ画像の焦点範囲全体を通して均等に離間した及び／又は重み付けした露光成分を与える既知の方法は、充分に高速でなく、（ＥＤＯＦ画像鮮明度及び品質の点で）高精度でなく、再現性もない。   As shown in FIG. 800A, each controlled timing (for example, represented by each increasing time T1 to T16) is dispersed in a plurality of cycles of the focus position MFP that is periodically changed, and the focal axis direction Are provided so as to give a set of discrete focal positions FP (represented by their focal position values Z1 to Z8) that are substantially evenly spaced along. Evenly spaced and / or “weighted” exposure components for “raw” or preliminary EDOF images may be advantageous with respect to signal processing and / or computation operations that are subsequently performed to improve the EDOF image. I know that. For example, such an exposure component may be advantageous when providing an improved EDOF image by performing a deconvolution operation on the preliminary EDOF image with a blur kernel characterizing the variable focus imaging system throughout the focal range. Such a deconvolution operation is described in, for example, the publication WO20012071818A1. However, known methods for providing equally spaced and / or weighted exposure components throughout the focal range of an EDOF image are not fast enough, are not accurate (in terms of EDOF image definition and quality), and are reproducible There is no sex.

前述のように、極めて高速で周期的に変更される可変焦点レンズ（例えばＴＡＧレンズ）を用いる場合、焦点位置は迅速に変化し得るので、実際のシステムでは、タイミング、制御、及び「露光量」について深刻な問題が発生することがある。具体的には、いずれかの特定の変更中、撮像システム焦点位置は、数十ナノ秒の期間内に所望の焦点位置の隣接対を連続的に通過するので、そのような連続的な隣接焦点位置における離散的な露光は非現実的及び／又は不正確となり得る。そのような問題に現実的な解決策を与えるため、均等に離間した所望の焦点位置ＦＰ（例えばＺ１〜Ｚ８）で離散画像露光増分ＥＩを取得するため用いられる各制御されたタイミングは、セット（例えばセットＺ１〜Ｚ８）内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが第１の制御されたタイミングに対して遅延するように制御され、第２の制御されたタイミングが、第１の制御されたタイミングの後、周期的な変更中に焦点位置変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように構成されている。そのような方向の反転は、焦点範囲ＦＲの限界で、すなわち正弦波状に変更された焦点位置ＭＦＰの極値で生じる。様々な実施形態では、セット内の全ての離散焦点位置の隣接対は、この原理に従う。そのようなタイミング構成により、良好な精度で、実際的、経済的、かつ多目的に、近接した焦点位置で離散画像露光増分を取得することが現実的となる。   As described above, when using a variable focus lens (eg, a TAG lens) that is periodically changed at a very high speed, the focal position can change quickly, so in an actual system, timing, control, and “exposure” Serious problems may occur. Specifically, during any particular change, the imaging system focal position continuously passes adjacent pairs of the desired focal position within a period of tens of nanoseconds, so that such continuous adjacent focal points. Discrete exposure at a location can be unrealistic and / or inaccurate. In order to provide a realistic solution to such a problem, each controlled timing used to obtain the discrete image exposure increments EI at desired focal positions FP (eg, Z1-Z8) evenly spaced is set ( For example, for an adjacent pair of discrete focal positions in a set Z1-Z8), if the first controlled timing provides a first discrete focal position setting for the adjacent pair, the second discrete focal position of the adjacent pair Is controlled such that the second controlled timing is delayed with respect to the first controlled timing, and the second controlled timing is periodically changed after the first controlled timing. The focal position change direction is controlled to occur after being inverted N times (N is at least 1). Such reversal of direction occurs at the limit of the focus range FR, that is, at the extreme value of the focus position MFP changed to a sine wave. In various embodiments, adjacent pairs of all discrete focus positions in the set follow this principle. Such a timing arrangement makes it practical to acquire discrete image exposure increments at close focal positions with good accuracy, practically, economically and versatile.

図８００Ａに関する動作を明確にすると、周期的に変更される焦点位置ＭＦＰの間、所望の焦点位置ＦＰ＝Ｚ１に対応した位相タイミングｔｚ１を有する増加する時間Ｔ１で取得される離散画像露光増分ＥＩ1において、カメラ画像積分時間が開始する。続いて、周期的に変更される焦点位置ＭＦＰは、この例では、隣接した焦点位置Ｚ２、位置Ｚ３、及び位置Ｚ４を通過する。焦点位置がＺ４に到達する前に、次の離散画像露光増分を得るため必要な動作を完了することは現実的でないと想定される。これに対して、離散画像露光増分を得る次の実際の時点（すなわち充分な経過時間の後）は、焦点位置がＺ５に到達する時点Ｔ２である。所望の焦点位置ＦＰ＝Ｚ５に対応した位相タイミングｔｚ５を有する増加する時間Ｔ２において、離散画像露光増分ＥＩ２が取得される。離散画像露光増分を得る次の実際の時点（すなわち充分な経過時間の後）は、時点Ｔ３である。所望の焦点位置ＦＰ＝Ｚ８に対応した位相タイミングｔｚ８を有する増加する時間Ｔ３において、離散画像露光増分ＥＩ３が取得される。離散画像露光増分ＥＩの取得は同様に、所望の焦点位置ＦＰ＝Ｚ４に対応した位相タイミングｔｚ４を有する増加する時間Ｔ８において取得される離散画像露光増分ＥＩ８の取得まで継続する。この時点までに、所望の均等に離間した焦点位置Ｚ１〜Ｚ８の各々において離散画像露光増分ＥＩ１〜ＥＩ８が画像積分時間中に取得されている（サブセット８１０Ａ’で表されている）。いくつかの実施形態では、この時点で画像積分時間を終了することも可能である。しかしながら図８００Ａに示す例では、前の取得パターンを繰り返して、所望の均等に離間した焦点位置Ｚ１〜Ｚ８の各々に対応した時点Ｔ９〜Ｔ１６において離散画像露光増分ＥＩ9〜ＥＩ16を得る（サブセット８１０Ａ’’で表されている）ことによって、予備ＥＤＯＦ画像露光の輝度及び／又は「画像信号」を強化する。次いで画像積分時間は終了する。これによって、離散画像露光増分セット８１０Ａ及び／又は均等に離間した焦点位置を含む予備ＥＤＯＦ画像露光全体で、焦点位置Ｚ１〜Ｚ８の各々の均等な「画像重み付け」が維持されることは認められよう。 Clarifying the operation with respect to FIG. 800A, a discrete image exposure increment EI 1 acquired at an increasing time T1 having a phase timing tz1 corresponding to a desired focus position FP = Z1 during a periodically changed focus position MFP. , The camera image integration time starts. Subsequently, the focus position MFP that is periodically changed passes through the adjacent focus position Z2, position Z3, and position Z4 in this example. It is assumed that it is not practical to complete the operations necessary to obtain the next discrete image exposure increment before the focal position reaches Z4. In contrast, the next actual time point to obtain a discrete image exposure increment (ie after a sufficient amount of elapsed time) is the time point T2 when the focal position reaches Z5. At an increasing time T2 having a phase timing tz5 corresponding to the desired focal position FP = Z5, a discrete image exposure increment EI2 is acquired. The next actual time point to obtain a discrete image exposure increment (ie after a sufficient elapsed time) is time point T3. At an increasing time T3 having a phase timing tz8 corresponding to the desired focal position FP = Z8, a discrete image exposure increment EI3 is acquired. The acquisition of the discrete image exposure increment EI likewise continues until the acquisition of the discrete image exposure increment EI8 acquired at an increasing time T8 having a phase timing tz4 corresponding to the desired focal position FP = Z4. By this time, discrete image exposure increments EI1 to EI8 have been acquired during the image integration time at each of the desired evenly spaced focal positions Z1 to Z8 (represented by subset 810A ′). In some embodiments, the image integration time may end at this point. However, in the example shown in FIG. 800A, the previous acquisition pattern is repeated to obtain discrete image exposure increments EI 9 to EI 16 at time points T9 to T16 corresponding to each of the desired evenly spaced focal positions Z1 to Z8 (subset). 810A ″) to enhance the brightness and / or “image signal” of the preliminary EDOF image exposure. The image integration time then ends. It will be appreciated that this maintains a uniform “image weighting” of each of the focal positions Z1-Z8 throughout the preliminary EDOF image exposure including the discrete image exposure increment set 810A and / or evenly spaced focal positions. .

上述のように露光された予備ＥＤＯＦ画像（例えばデジタルカメラ等で与えられる画像データ）を処理して、画像積分時間中に焦点範囲内で発生するぼけた画像成分を除去して、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供することができる。例えば１つの実施において、予備ＥＤＯＦ画像を処理してぼけた画像成分を除去することは、撮像システムを特徴付ける所定の関数（例えば、均等に離間した焦点位置に対応する焦点範囲にわたって撮像システムを特徴付ける積分点像分布関数）を用いてその画像データのデコンボリューション処理を行い、よりクリアなＥＤＯＦ画像を提供することを含み得る。   The preliminary EDOF image exposed as described above (for example, image data given by a digital camera or the like) is processed to remove the blurred image components generated in the focal range during the image integration time, and the imaging system is simply An extended depth of field (EDOF) image can be provided that is substantially focused throughout the depth of field that is deeper than provided at one focal position. For example, in one implementation, processing the preliminary EDOF image to remove blurred image components may be a predetermined function that characterizes the imaging system (eg, an integral that characterizes the imaging system over a focal range corresponding to evenly spaced focal positions. Using a point spread function) to deconvolve the image data to provide a clearer EDOF image.

図８００Ａにおいて、各離散画像露光増分ＥＩは、焦点位置が同一方向に変化している場合に取得される。いくつかの実施形態では、（図８Ｃを参照して以下に説明するような、双方向での焦点位置変化中に露光増分を取得することに比べて）より正確に離間した及び／又は反復可能な焦点位置が与えられる。この際、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える（例えばＺ１におけるＥＩ1）場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミング（例えばＺ２におけるＥＩ4）が第１の制御されたタイミングに対して遅延するように制御され、第２の制御されたタイミングが、焦点位置方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されることに留意すべきである。 In FIG. 800A, each discrete image exposure increment EI is obtained when the focal position is changing in the same direction. In some embodiments, more accurately spaced and / or repeatable (as compared to obtaining exposure increments during bi-directional focus position changes, as described below with reference to FIG. 8C). Focus position is given. In this case, if the first controlled timing provides a first discrete focus position setpoint for the adjacent pair (eg, EI 1 in Z1), a second controlled focus that provides the second discrete focus position for the adjacent pair. The timing (eg, EI 4 in Z2) is controlled to be delayed with respect to the first controlled timing, and the second controlled timing is after the focal position direction is reversed N times (N is at least 1). Note that it is controlled to occur.

タイミング図８００Ｂはタイミング図８００Ａと同様であり、以下で別段の記載がない限り、概ね類推によって理解することができる。図８００Ｂにおいて、複数の離散画像露光増分ＥＩ1〜ＥＩ8の各々は、離散焦点位置ＦＰ（例えば、均等に離間した焦点位置Ｚ１〜Ｚ８の１つ）を規定する制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定される。各制御されたタイミング（例えば各増加する時間Ｔ１〜Ｔ８で表されている）は、画像積分時間内で、周期的に変更される焦点位置ＭＦＰの複数の周期に分散している。 Timing diagram 800B is similar to timing diagram 800A, and can be understood by analogy, unless otherwise noted below. In FIG. 800B, each of a plurality of discrete image exposure increments EI 1 to EI 8 has a controlled timing that defines a discrete focal position FP (eg, one of the equally spaced focal positions Z 1 to Z 8 ). Determined by each instance of strobe operation or camera shutter strobe operation. Each controlled timing (for example, represented by each increasing time T1 to T8) is dispersed in a plurality of cycles of the focus position MFP that is periodically changed within the image integration time.

図８００Ｂに関する動作を明確にすると、周期的に変更される焦点位置ＭＦＰの間、所望の焦点位置ＦＰ＝Ｚ１に対応した位相タイミングｔｚ１を有する増加する時間Ｔ１で取得される離散画像露光増分ＥＩ1において、カメラ画像積分時間が開始する。続いて、増加する時間Ｔ１の後、周期的に変更される焦点位置ＭＦＰは、その周期的な変更中に焦点位置変化方向が２回反転する。周期的な変更が極めて高い周波数を有する場合であっても、Ｚ１に隣接した所望の焦点位置ＦＰ＝Ｚ２に対応した位相タイミングｔｚ２を有する時点Ｔ２において離散画像露光増分ＥＩ2を得ることが現実的となる。離散画像露光増分ＥＩの取得は同様に、所望の焦点位置ＦＰ＝Ｚ８に対応した位相タイミングｔｚ８を有する増加する時間Ｔ８において取得される離散画像露光増分ＥＩ８の取得まで継続する。この時点までに、所望の均等に離間した焦点位置Ｚ１〜Ｚ８の各々において離散画像露光増分ＥＩ1〜ＥＩ8が画像積分時間中に取得されている（８１０Ｂを形成する）。この例では、この時点で画像積分時間が終了する。これによって、離散画像露光増分セット８１０Ｂ及び／又は均等に離間した焦点位置を含む予備ＥＤＯＦ画像露光全体で、焦点位置Ｚ１〜Ｚ８の各々の均等な「画像重み付け」が維持されることは認められよう。 Clarifying the operation with respect to FIG. 800B, the discrete image exposure increment EI 1 acquired at the increasing time T1 with the phase timing tz1 corresponding to the desired focus position FP = Z1 during the periodically changed focus position MFP. , The camera image integration time starts. Subsequently, after the increasing time T1, the focal position MFP that is periodically changed has its focal position changing direction reversed twice during the periodic change. Even if the periodic change has a very high frequency, it is practical to obtain a discrete image exposure increment EI 2 at a time T2 having a phase timing tz2 corresponding to the desired focal position FP = Z2 adjacent to Z1. It becomes. The acquisition of the discrete image exposure increment EI similarly continues until the acquisition of the discrete image exposure increment EI8 acquired at an increasing time T8 with a phase timing tz8 corresponding to the desired focal position FP = Z8. By this time, discrete image exposure increments EI 1 -EI 8 have been acquired during the image integration time at each of the desired evenly spaced focal positions Z1-Z8 (forming 810B). In this example, the image integration time ends at this point. It will be appreciated that this maintains a uniform “image weighting” of each of the focal positions Z1-Z8 throughout the preliminary EDOF image exposure including the discrete image exposure increment set 810B and / or evenly spaced focal positions. .

タイミング図８００Ｃはタイミング図８００Ａと同様であり、以下で別段の記載がない限り、概ね類推によって理解することができる。図８００Ｃにおいて、複数の離散画像露光増分ＥＩ1〜ＥＩ16の各々は、離散焦点位置ＦＰ（例えば、均等に離間した焦点位置Ｚ１〜Ｚ８の１つ）を規定する各制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定される。各制御されたタイミング（例えば、各増加する時間Ｔ１（＝ｔｚ１）、Ｔ２（＝ｔｚ４）、Ｔ３（＝ｔｚ８）、Ｔ４（＝ｔｚ７）等で表されている）は、画像積分時間内で、周期的に変更される焦点位置ＭＦＰの複数の周期に分散している。 Timing diagram 800C is similar to timing diagram 800A and can be understood generally by analogy unless otherwise noted below. In FIG. 800C, each of a plurality of discrete image exposure increments EI 1 to EI 16 has an illumination with each controlled timing defining a discrete focal position FP (eg, one of the equally spaced focal positions Z 1 to Z 8). Determined by each instance of source strobe operation or camera shutter strobe operation. Each controlled timing (for example, each increasing time T1 (= tz1), T2 (= tz4), T3 (= tz8), T4 (= tz7), etc.) is represented within the image integration time, The focus position MFP is periodically changed and is distributed over a plurality of cycles.

図８００Ｃに関する動作を明らかにすると、所望の焦点位置ＦＰ＝Ｚ１に対応した位相タイミングｔｚ１を有する増加する時間Ｔ１において、離散画像露光増分ＥＩ1が取得される。続いて、周期的に変更される焦点位置ＭＦＰは、この例では、隣接した焦点位置Ｚ２及び位置Ｚ３を通過する。焦点位置がＺ３に到達する前に、次の離散画像露光増分を得るため必要な動作を完了することは現実的でないと想定される。これに対して、離散画像露光増分を得る次の実際の時点（すなわち充分な経過時間の後）は、焦点位置がＺ４に到達する時点Ｔ２である。所望の焦点位置ＦＰ＝Ｚ４に対応した位相タイミングｔｚ４を有する増加する時間Ｔ２において、離散画像露光増分ＥＩ２が取得される。離散画像露光増分を得る次の実際の時点（すなわち充分な経過時間の後）は、時点Ｔ３である。所望の焦点位置ＦＰ＝Ｚ８に対応した位相タイミングｔｚ８を有する増加する時間Ｔ３において、離散画像露光増分ＥＩ３が取得される。焦点位置変化は、時点Ｔ３（＝ｔｚ８）後の方向反転の際に遅くなるので、離散画像露光増分を得る次の実際の時点は、所望の焦点位置ＦＰ＝Ｚ７に対応した位相タイミングｔｚ７を有する時点Ｔ４となる。この焦点位置は、直前に取得した離散画像露光増分の焦点位置Ｚ８に隣接し、焦点変化方向が１回だけ反転（Ｎ＝１）した後のものあることに留意すべきである。この例では離散画像露光増分が双方向の焦点変化中に取得されるので、Ｎ＝１であることに留意すべきである。より一般的には、この例では、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングは、焦点位置方向が様々な回数だけ反転した後に生じ得ることに留意すべきである（この例では、様々な隣接対についてＮは１から４までの範囲である）。 Clarifying the operation with respect to FIG. 800C, a discrete image exposure increment EI 1 is obtained at an increasing time T1 having a phase timing tz1 corresponding to the desired focal position FP = Z1. Subsequently, the focus position MFP that is periodically changed passes through the adjacent focus positions Z2 and Z3 in this example. It is assumed that it is not practical to complete the operations necessary to obtain the next discrete image exposure increment before the focal position reaches Z3. In contrast, the next actual time point to obtain a discrete image exposure increment (ie after a sufficient amount of elapsed time) is the time point T2 when the focal position reaches Z4. At an increasing time T2 having a phase timing tz4 corresponding to the desired focal position FP = Z4, a discrete image exposure increment EI2 is acquired. The next actual time point to obtain a discrete image exposure increment (ie after a sufficient elapsed time) is time point T3. At an increasing time T3 having a phase timing tz8 corresponding to the desired focal position FP = Z8, a discrete image exposure increment EI3 is acquired. Since the focal position change is delayed during the direction reversal after time T3 (= tz8), the next actual time point to obtain the discrete image exposure increment has a phase timing tz7 corresponding to the desired focal position FP = Z7. Time T4 is reached. It should be noted that this focal position is adjacent to the focal position Z8 of the discrete image exposure increment acquired immediately before and after the focal change direction is reversed once (N = 1). It should be noted that in this example, N = 1 since the discrete image exposure increments are acquired during bi-directional focus changes. More generally, in this example, if the first controlled timing provides a first discrete focus position setting for an adjacent pair, a second controlled timing that provides a second discrete focus position for the adjacent pair. It should be noted that timing can occur after the focal position direction has been inverted various times (in this example, N ranges from 1 to 4 for various adjacent pairs).

図８００Ｃに示す例では、各焦点位置において離散画像露光増分を繰り返す（２回目は異なる順序で）ことによって、予備ＥＤＯＦ画像露光の輝度及び／又は「画像信号」を強化する。時点Ｔ１〜Ｔ８で得られた離散画像露光増分ＥＩ1〜ＥＩ8（図８Ｃにサブセット８１０Ｃ’で表されている）は、所望の均等に離間した焦点位置Ｚ１〜Ｚ８の各々に対応する。時点Ｔ９〜Ｔ１６で得られた離散画像露光増分ＥＩ9〜ＥＩ16（図８Ｃにサブセット８１０Ｃ’’で表されている）は、所望の均等に離間した焦点位置Ｚ１〜Ｚ８の各々に対応して繰り返された離散画像露光増分を提供する。サブセット８１０Ｃ’及び８１０Ｃ’’は共に、離散画像露光増分セット８１０Ｃ及び／又は均等に離間した焦点位置を含む予備ＥＤＯＦ画像露光全体に寄与する。この図（及び図８００Ａ）に示すパターン又は繰り返しは限定ではない。更に一般的には、様々な実施において、各焦点位置で離散画像露光増分を繰り返すことは、予備ＥＤＯＦ画像に用いられる複数の離散画像露光増分が、画像積分時間中に各離散焦点位置（例えば、いくつかの実施形態では少なくとも２０箇所のほぼ均等に離間した焦点位置の各々）で取得される離散画像露光増分の第１のインスタンス及び第２のインスタンスを少なくとも含むように構成され得る。同一の離散焦点位置で離散画像露光増分の第１及び第２のインスタンスを取得するため用いられる各制御されたタイミングは、第２のインスタンスに用いられる制御されたタイミングが、第１のインスタンスに用いられる制御されたタイミングに対して遅延し、第１のインスタンスに用いられる制御されたタイミング後、その周期的な変更中に焦点位置変化方向がＭ回（Ｍは少なくとも１）反転した後に生じるよう制御されるように構成され得る。 In the example shown in FIG. 800C, the brightness and / or “image signal” of the preliminary EDOF image exposure is enhanced by repeating discrete image exposure increments at each focal position (the second time in a different order). The discrete image exposure increments EI 1 to EI 8 (represented by subset 810C ′ in FIG. 8C) obtained at times T1 to T8 correspond to each of the desired evenly spaced focal positions Z1 to Z8. The discrete image exposure increments EI 9 to EI 16 (represented by subset 810C ″ in FIG. 8C) obtained at times T9 to T16 correspond to each of the desired evenly spaced focal positions Z1 to Z8. Provides repeated discrete image exposure increments. Subsets 810C ′ and 810C ″ both contribute to the entire preliminary EDOF image exposure including discrete image exposure increment set 810C and / or evenly spaced focal positions. The pattern or repetition shown in this figure (and figure 800A) is not limiting. More generally, in various implementations, repeating discrete image exposure increments at each focal position means that a plurality of discrete image exposure increments used for the preliminary EDOF image are each discrete focal position (e.g., Some embodiments may be configured to include at least a first instance and a second instance of discrete image exposure increments acquired at each of at least 20 approximately evenly spaced focal positions). Each controlled timing used to acquire first and second instances of discrete image exposure increments at the same discrete focus position is used by the controlled timing used for the second instance. Controlled to occur after the controlled timing used for the first instance and after the controlled timing used for the first instance, the focus position change direction is reversed M times (M is at least 1) reversed during the periodic change. Can be configured.

前述のタイミング図は例示に過ぎず、限定ではないことは認められよう。図示し上述した原理に基づいて、他のタイミング構成及び組み合わせも実現可能である。いくつかの実施形態において、焦点範囲は、単一の焦点位置における撮像システムの被写界深度の少なくとも１０倍に及ぶことがあり、各制御されたタイミングは、画像積分時間中に少なくとも２０箇所のほぼ等しく離間した離散焦点位置（例えばＺ１〜Ｚ２０）のセットを与えるように構成されている。いくつかの実施形態では、少なくとも２０箇所の離散焦点位置は、焦点範囲の少なくとも５０％に分散させて、比較的深い拡大被写界深度を与えることができる。いくつかの実施形態では、少なくとも２０箇所の離散焦点範囲は、焦点範囲の少なくとも７０％、又は８０％に分散させることができる。   It will be appreciated that the timing diagram described above is illustrative only and not limiting. Other timing configurations and combinations are possible based on the principles shown and described above. In some embodiments, the focal range may span at least 10 times the depth of field of the imaging system at a single focal position, and each controlled timing is at least 20 locations during the image integration time. It is configured to provide a set of discrete focal positions (eg, Z1-Z20) that are approximately equally spaced. In some embodiments, at least 20 discrete focus positions can be distributed over at least 50% of the focus range to provide a relatively deep extended depth of field. In some embodiments, the at least 20 discrete focus ranges can be distributed over at least 70%, or 80% of the focus range.

いくつかの実施形態では、周期的に変更される焦点位置の一つの周期中に、より多くの離散画像露光増分を与えることも可能である。しかしながら、他の実施形態では、特に焦点位置の高周波数の周期的な変更を用いる実施形態では、周期的に変更される焦点位置の一つの周期中に最大で６つの離散画像露光増分が与えられ得る。   In some embodiments, it is possible to provide more discrete image exposure increments during one period of the periodically changed focus position. However, in other embodiments, particularly in embodiments that use high frequency periodic changes in focus position, up to six discrete image exposure increments are provided during one period of periodically changed focus position. obtain.

いくつかの実施形態では、図８００Ａ〜８００Ｃのいずれかに関して上述した動作、又はそれらの組み合わせは、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦された複数のＥＤＯＦ画像を与えるためのものであり得る。複数のＥＤＯＦ画像は、マシンビジョン検査システムに含まれるディスプレイ上に与えられたライブビデオディスプレイウィンドウに表示することができる。   In some embodiments, the operations described above with respect to any of FIGS. 800A-800C, or combinations thereof, are substantially focused throughout the entire depth of field than the imaging system provides at a single focal position. For providing a plurality of EDOF images. Multiple EDOF images can be displayed in a live video display window provided on a display included in the machine vision inspection system.

様々な実施形態では、対応する離散画像露光増分の離散焦点位置を規定する各制御されたタイミングを有する照明源ストロボ動作を用いて離散画像露光増分を与えることが、現時点では現実的である。しかしながら、画像積分時間全体にわたって時間調整されたサブ露光増分を生成することができる電子的な「シャッタストロボ」機能を有するデジタルカメラが、ますます利用可能となっている。いくつかの実施形態において、そのようなカメラは、連続照明又は周囲照明を用いて、上述の制御されたタイミングを与えることができる。   In various embodiments, it is currently practical to provide the discrete image exposure increments using an illumination source strobe operation with each controlled timing defining a discrete focal position for the corresponding discrete image exposure increment. However, digital cameras with an electronic “shutter strobe” function that can generate timed sub-exposure increments over the entire image integration time are increasingly available. In some embodiments, such cameras can provide the controlled timing described above using continuous or ambient lighting.

いくつかの実施形態では、多数の色源を含む照明源と組み合わせて照明源ストロボ動作を用いることができる。そのような場合、撮像システムにおける軸上色収差によって、様々な色源が異なる焦点位置において合焦し得る。そのような場合、上述の各制御されたタイミングは各色源でそれぞれ異なる色源タイミングを含み、撮像システムにおける軸上色収差を補償する色源タイミング間のタイミングオフセットを含むので、各色源が同一の離散焦点位置を与えることができることは認められよう。   In some embodiments, illumination source strobe operation can be used in combination with illumination sources that include multiple color sources. In such cases, various color sources can be focused at different focal positions due to axial chromatic aberration in the imaging system. In such a case, each of the controlled timings described above includes a different color source timing for each color source, and includes a timing offset between the color source timings to compensate for axial chromatic aberration in the imaging system, so that each color source is the same discrete It will be appreciated that a focal position can be given.

タイミング図８００Ａ〜８００Ｃを参照して上述した動作は、それに応じて構成された、例えば図２、図３、又は図５のいずれかに示す撮像システムの１つと同様のＥＤＯＦ撮像システムにおいて実施されて、撮像システムが単一の焦点位置で与えるよりも深い被写界深度を有するワークピース画像を与え得ることは理解されよう。   The operations described above with reference to timing diagrams 800A-800C are implemented in an EDOF imaging system similar to one of the imaging systems shown, for example, in either FIG. 2, FIG. 3, or FIG. 5, configured accordingly. It will be appreciated that a workpiece image can be provided that has a greater depth of field than the imaging system provides at a single focal position.

図９は、離散焦点位置ＦＰと、対応する離散画像露光増分ＥＩを決定するいくつかの他の特徴と、を規定するために用いることができる制御されたタイミングＣＴの１つの例示的な実施の詳細を示すタイミング図９００を示している。具体的には、制御タイミングは、焦点位置ＦＰと、対応する離散画像露光増分ＥＩの他のいくつかの他の特徴と、を決定するため、照明源ストロボ動作又はカメラシャッタストロボ動作で実施することができる。タイミング図９００は、２つの代表的な離散画像露光増分ＥＩ1及びＥＩ2を示すタイミング図８００Ａの一部の更に詳細な図として理解することができ、概ねこれに対する類推によって理解され得る。しかしながら、制御されたタイミングＣＴの１つの例示的な実施に関連した追加の原理について記載する。 FIG. 9 illustrates one exemplary implementation of a controlled timing CT that can be used to define the discrete focus position FP and some other features that determine the corresponding discrete image exposure increment EI. A timing diagram 900 showing details is shown. Specifically, the control timing is implemented with an illumination source strobe operation or a camera shutter strobe operation to determine the focal position FP and some other other features of the corresponding discrete image exposure increment EI. Can do. Timing diagram 900 can be understood as a more detailed view of a portion of timing diagram 800A showing two representative discrete image exposure increments EI 1 and EI 2 and can be understood generally by analogy thereto. However, additional principles associated with one exemplary implementation of controlled timing CT will be described.

図９に示す実施形態では、各制御されたタイミングＣＴｉは、各増加する時間Ｔｉ及び各増分持続時間Ｄｉを含み、各増分持続時間Ｄｉ中に各増加光量Ｌｉが用いられる。具体的には、露光増分ＥＩ1を決定する図示の制御されたタイミングＣＴ１は、増加する時間Ｔ１（図８Ａ〜図８Ｃを参照して前述した）及び各増分持続時間Ｄ１（例えば時間調整されたストロボ持続時間）を含む。露光増分ＥＩ2を決定する図示の制御されたタイミングＣＴ２は同様に、増加する時間Ｔ２及び各増分持続時間Ｄ２を含む。各増分持続時間は、所望の焦点位置に対応した中央又は平均の増加する時間を与えるように位置付けられていることがわかる。例えば、増分持続時間Ｄ１は、所望の焦点位置ＦＰ1（＝Ｚ１）に対応した増加する時間Ｔ１（＝ｔｚ１）を与えるように位置付けられ、増分持続時間Ｄ２は、所望の焦点位置ＦＰ2（＝Ｚ５）に対応した増加する時間Ｔ２（＝ｔｚ５）を与えるように位置付けられている。様々な実施において、各増分持続時間Ｄｉ中に各増加光量Ｌｉが用いられ、各離散画像露光増分で積（Ｌｉ＊Ｄｉ）がほぼ同一となるように各増加光量Ｌｉ及び各増分持続時間Ｄｉの組み合わせを用いて各離散画像露光増分が露光される。この実施の態様は厳密には必須でないが、各所望の焦点位置で、予備ＥＤＯＦ画像において等しい「重み付け」が得られる傾向があり、これはいくつかの実施形態では有利であり得る。 In the embodiment shown in FIG. 9, each controlled timing CTi includes each increasing time Ti and each incremental duration Di, and each increasing light quantity Li is used during each incremental duration Di. Specifically, the illustrated controlled timing CT1 that determines the exposure increment EI 1 includes an increasing time T1 (described above with reference to FIGS. 8A-8C) and each incremental duration D1 (eg, timed). Strobe duration). Timing CT2 controlled illustrated for determining the exposure increment EI 2 similarly includes a time T2 and each increment duration D2 to increase. It can be seen that each incremental duration is positioned to give a central or average increasing time corresponding to the desired focus position. For example, the incremental duration D1 is positioned to give an increasing time T1 (= tz1) corresponding to the desired focal position FP 1 (= Z1), and the incremental duration D2 is the desired focal position FP 2 (= It is positioned to give an increasing time T2 (= tz5) corresponding to Z5). In various implementations, each incremental light quantity Li is used during each incremental duration Di, and each incremental light quantity Li and each incremental duration Di is such that the product (Li * Di) is approximately the same at each discrete image exposure increment. Each discrete image exposure increment is exposed using a combination. This embodiment is not strictly necessary, but at each desired focus position there is a tendency to obtain an equal “weighting” in the preliminary EDOF image, which may be advantageous in some embodiments.

また、図９に示す実施形態は、焦点範囲ＦＲの中央に比較的近い焦点位置（ＦＰ２）（第１の焦点位置）に対応した離散画像露光増分（ＥＩ2）が、比較的短い増分持続時間Ｄ２（第１の増分持続時間Ｄｉ）と比較的大きい増加光量（第１の増加光量Ｌｉ）（例えばＬ２、図示せず）との組み合わせを含み、かつ、第１の焦点位置より焦点範囲ＦＲの中央から遠い焦点位置（ＦＰ１）（第２の焦点位置）に対応した離散画像露光増分（ＥＩ1）が、第１の増分持続時間より長い第２の増分持続時間Ｄ１（第２の増分持続時間Ｄｉ）と第１の増加光量より小さい第２の増加光量（第２の増加光量Ｌｉ）（例えばＬ１、図示せず）との組み合わせを含む態様も含む。周期的に変更される焦点位置が時間の関数としてほぼ正弦波状に変化する様々な実施形態では、これによって、積（Ｌｉ＊Ｄｉ）が各離散画像露光増分でほぼ同一となり、同時に、各増分持続時間内でほぼ同じ量の焦点位置変化ΔＦＰを与えるように各増分持続時間を制御することができる。例えば、これによって、正弦波状の焦点変更のためにそれぞれの露光増分で焦点変化率が異なるにもかかわらず、図９においてΔＦＰ１＝ΔＦＰ２となることがわかる。この実施の態様も厳密には必須でないが、各所望の焦点位置で、予備ＥＤＯＦ画像において別の態様の等しい「重み付け」が得られる傾向があり、これはいくつかの実施形態では有利であり得る。 In the embodiment shown in FIG. 9, the discrete image exposure increment (EI 2 ) corresponding to the focus position (FP2) (first focus position) relatively close to the center of the focus range FR has a relatively short increment duration. Including a combination of D2 (first incremental duration Di) and a relatively large increased light quantity (first increased light quantity Li) (for example, L2, not shown), and having a focal range FR greater than the first focal position. A second incremental duration D1 (second incremental duration) in which the discrete image exposure increment (EI 1 ) corresponding to the focal location (FP1) (second focal location) far from the center is longer than the first incremental duration. A mode including a combination of Di) and a second increased light amount (second increased light amount Li) (for example, L1, not shown) smaller than the first increased light amount is also included. In various embodiments where the periodically changed focus position changes approximately sinusoidally as a function of time, this results in the product (Li * Di) being approximately the same for each discrete image exposure increment, while simultaneously maintaining each incremental duration. Each incremental duration can be controlled to provide approximately the same amount of focus position change ΔFP in time. For example, this shows that ΔFP1 = ΔFP2 in FIG. 9 even though the focus change rate differs for each exposure increment due to a sinusoidal focus change. This embodiment is also not strictly necessary, but at each desired focal position, there is a tendency to obtain another aspect of equal “weighting” in the preliminary EDOF image, which may be advantageous in some embodiments. .

図１０は、単一の焦点位置における撮像システムの被写界深度よりも深い被写界深度を有する少なくとも１つのＥＤＯＦ画像を与えるため、マシンビジョン検査システムの撮像システムを動作させるための方法の一実施形態を示すフロー図１０００である。この方法は、本明細書に開示する原理に従って、複数の離散画像露光増分を含む画像露光を用いて予備ＥＤＯＦ画像を露光することを含む。   FIG. 10 illustrates one method for operating an imaging system of a machine vision inspection system to provide at least one EDOF image having a depth of field greater than the depth of field of the imaging system at a single focal position. It is a flowchart 1000 which shows embodiment. The method includes exposing a preliminary EDOF image using an image exposure that includes a plurality of discrete image exposure increments in accordance with the principles disclosed herein.

ブロック１０１０では、マシンビジョン検査システムの視野内にワークピースを配置する。   At block 1010, a workpiece is placed within the field of view of the machine vision inspection system.

ブロック１０２０では、撮像システムにおいて要素間の間隔を巨視的に調整することなく、撮像システムの焦点位置を周期的に変更する。焦点位置は、少なくとも３ｋＨｚの変更周波数で、ワークピースの表面高さを含む焦点範囲内で、焦点軸方向に沿った複数の焦点位置にわたって周期的に変更される。   In block 1020, the focal position of the imaging system is periodically changed without macroscopically adjusting the spacing between elements in the imaging system. The focal position is periodically changed over a plurality of focal positions along the focal axis direction within a focal range including the surface height of the workpiece with a modification frequency of at least 3 kHz.

ブロック１０３０では、周期的に変更される焦点位置の複数の周期を含む画像積分時間中に、各離散焦点位置で取得された複数の離散画像露光増分を含む画像露光を用いて、予備画像を露光する。ここで、
複数の離散画像露光増分の各々は、対応する離散画像露光増分の離散焦点位置を規定する制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定され、
各制御されたタイミングは、周期的に変更される焦点位置の複数の周期に分散し、焦点軸方向に沿ってほぼ均等に離間した離散焦点位置のセットを与えるように構成され、
各制御されたタイミングは、セット内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが第１の制御されたタイミングに対して遅延するように制御され、第２の制御されたタイミングが、第１の制御されたタイミングの後、その周期的な変更中に焦点位置変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように更に構成されている。 At block 1030, a preliminary image is exposed using an image exposure including a plurality of discrete image exposure increments acquired at each discrete focus position during an image integration time including a plurality of periods of periodically changed focus positions. To do. here,
Each of the plurality of discrete image exposure increments is determined by each instance of an illumination source strobe operation or a camera shutter strobe operation having a controlled timing that defines a discrete focus position of the corresponding discrete image exposure increment,
Each controlled timing is configured to provide a set of discrete focal positions that are distributed over a plurality of periods of focal positions that are periodically changed, and are approximately evenly spaced along the focal axis direction;
Each controlled timing is a second discrete of the adjacent pair if the first controlled timing provides a first discrete focal position setting for the adjacent pair for the adjacent pair of discrete focal positions in the set. The second controlled timing for providing the focal position is controlled to be delayed with respect to the first controlled timing, and the second controlled timing is the period after the first controlled timing. It is further configured to be controlled to occur after the focal position change direction is reversed N times (N is at least 1) during a general change.

ブロック１０４０では、予備画像を処理して、画像積分時間中に焦点範囲内で発生するぼけた画像成分を除去して、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供する。例えば、そのような処理は、焦点範囲全体を通して撮像システムを特徴付けるブラーカーネル（及び、例えば積分点像分布関数）を用いたデコンボリューション動作を実行することを含み得る。   At block 1040, the preliminary image is processed to remove blurred image components that occur within the focal range during the image integration time, and through the entire depth of field deeper than the imaging system provides at a single focal position. Providing a substantially focused extended depth of field (EDOF) image. For example, such processing may include performing a deconvolution operation using a blur kernel (and, for example, an integral point spread function) that characterizes the imaging system throughout the focal range.

本発明の様々な実施形態について図示及び記載したが、本開示に基づいて、図示及び記載した特徴の構成及び動作のシーケンスにおける多数の変形が当業者には明らかであろう。従って、本発明の精神及び範囲から逸脱することなく様々な変更を行い得ることは認められよう。   While various embodiments of the present invention have been illustrated and described, numerous modifications in the arrangement and sequence of operations of the illustrated and described features will be apparent to those skilled in the art based on this disclosure. Accordingly, it will be appreciated that various modifications can be made without departing from the spirit and scope of the invention.

１０…マシンビジョン検査システム、１２…画像測定機、１４…コンピュータシステム、１６…ディスプレイ、１８…プリンタ、２０…ワークピース、２２…ジョイスティック、２４…キーボード、２６…マウス、３２…可動ワークピースステージ、３４…光学撮像システム、１００…マシンビジョン検査システム、１２０…制御システム部、１２５…制御部、１３０…入出力インタフェース、１３１…撮像制御インタフェース、１３１ｅ…ＥＤＯＦモード、１３２…移動制御インタフェース、１３２ａ…位置制御要素、１３２ｂ…加速度制御要素、１３３…照明制御インタフェース、１３３ａ…照明制御要素、１３３ｎ…照明制御要素、１３４…レンズ制御インタフェース、１３６…ディスプレイデバイス、１３８…入力デバイス、１４０…メモリ、１４０ｅｄ…エッジ検出メモリ部、１４１…画像ファイルメモリ部、１４２…ワークピースプログラムメモリ、１４３…ビデオツール部、１４３ａ…ビデオツール部、１４３ａｆ…自動合焦ビデオツール、１４３ｒｏｉ…関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）生成器、１７０…実行器、１９０…電源部、２００…ビジョン構成要素部、２０５…光学アセンブリ部、２１０…ワークピースステージ、２１２…透明部、２２０…透過照明光源、２２０…光源、２２１…バス、２２２…光源光、２３０…落射照明光源、２３０…光源、２３１…バス、２３２…光源光、２４０…照明光源、２５０…交換可能対物レンズ、２５５…ワークピース光、２６０…カメラシステム、２６２…信号ライン、２８０…ターレットレンズアセンブリ、２８１…バス、２８４…軸、２８６…レンズ、２９０…ミラー、２９４…制御可能モータ、２９６…信号ライン、３００…撮像システム、３２０…ワークピース、３３０…光源、３３２…光源光、３５０…対物レンズ、３５１…リレーレンズ、３５２…リレーレンズ、３５５…ワークピース光、３６０…カメラシステム、３７０…可変焦点距離レンズ、３７４…レンズ制御部、３８６…チューブレンズ、３９０…ミラー、５００…撮像システム、５５３…第１のフィルタリングレンズ、５５４…第２のフィルタリングレンズ、５５６…光学デコンボリューションフィルタ、５６０…カメラ、５７０…可変焦点距離レンズ、５７４…レンズ制御部、６１０Ｂ…光学透過曲線、８１０Ａ…離散画像露光増分セット、８１０Ａ’…サブセット、８１０Ａ’’…サブセット、８１０Ｂ…離散画像露光増分セット、８１０Ｃ…離散画像露光増分セット、８１０Ｃ’…サブセット、８１０Ｃ’’…サブセット DESCRIPTION OF SYMBOLS 10 ... Machine vision inspection system, 12 ... Image measuring machine, 14 ... Computer system, 16 ... Display, 18 ... Printer, 20 ... Workpiece, 22 ... Joystick, 24 ... Keyboard, 26 ... Mouse, 32 ... Movable workpiece stage, 34 ... Optical imaging system, 100 ... Machine vision inspection system, 120 ... Control system unit, 125 ... Control unit, 130 ... Input / output interface, 131 ... Imaging control interface, 131e ... EDOF mode, 132 ... Movement control interface, 132a ... Position Control element 132b ... Acceleration control element 133 ... Illumination control interface 133a ... Illumination control element 133n ... Illumination control element 134 ... Lens control interface 136 ... Display device 138 ... Input device 140 Memory: 140ed ... Edge detection memory unit, 141 ... Image file memory unit, 142 ... Workpiece program memory, 143 ... Video tool unit, 143a ... Video tool unit, 143af ... Automatic focusing video tool, 143roi ... Region of interest (ROI: region of interest) generator, 170 ... executor, 190 ... power supply unit, 200 ... vision component unit, 205 ... optical assembly unit, 210 ... workpiece stage, 212 ... transparent unit, 220 ... transmitted illumination light source, 220 ... light source 221 ... bus, 222 ... light source light, 230 ... epi-illumination light source, 230 ... light source, 231 ... bus, 232 ... light source light, 240 ... illumination light source, 250 ... interchangeable objective lens, 255 ... workpiece light, 260 ... camera System, 262 ... Signal line, 280 ... Turret Assembly, 281 ... bus, 284 ... axis, 286 ... lens, 290 ... mirror, 294 ... controllable motor, 296 ... signal line, 300 ... imaging system, 320 ... workpiece, 330 ... light source, 332 ... light source light, 350 ... objective lens, 351 ... relay lens, 352 ... relay lens, 355 ... workpiece light, 360 ... camera system, 370 ... variable focal length lens, 374 ... lens control unit, 386 ... tube lens, 390 ... mirror, 500 ... imaging System 553 ... 1st filtering lens, 554 ... 2nd filtering lens, 556 ... Optical deconvolution filter, 560 ... Camera, 570 ... Variable focal length lens, 574 ... Lens controller, 610B ... Optical transmission curve, 810A ... Discrete image exposure incremental set, 810A ' Subset, 810A '' ... subset, 810B ... discrete image exposure increment set, 810C ... discrete image exposure increment set, 810C '... subset, 810C' '... subset

Claims (20)

マシンビジョン検査システムの撮像システムを動作させて、ある被写界深度を有する少なくとも１つの画像を提供するための方法であって、
（ａ）前記マシンビジョン検査システムの視野内にワークピースを配置することと、
（ｂ）前記撮像システムの焦点位置を、少なくとも３ｋＨｚの周波数で、前記ワークピースの表面高さを含む焦点範囲内で、焦点軸方向に沿った複数の焦点位置にわたって周期的に変更する、ことと、
（ｃ）前記周期的に変更される焦点位置の複数の周期を含む画像積分時間中に、各離散焦点位置で取得された複数の離散画像露光増分を含む画像露光を用いて予備画像を露光することであって、
前記複数の離散画像露光増分の各々は、対応する前記離散画像露光増分の前記離散焦点位置を規定する各制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定され、
前記各制御されたタイミングは、前記周期的に変更される焦点位置の前記複数の周期に分散し、前記焦点軸方向に沿ってほぼ均等に離間した離散焦点位置のセットを与えるようにされ、
前記各制御されたタイミングは、前記セット内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが前記第１の制御されたタイミングに対して遅延するように制御され、前記第２の制御されたタイミングが、前記第１の制御されたタイミングの後、その周期的な変更中に前記焦点位置の変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように更に構成されることと、
（ｄ）前記予備画像を処理することにより、前記画像積分時間中に前記焦点範囲内で発生するぼけた画像成分を除去して、前記被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供することと、
を含む方法。 A method for operating an imaging system of a machine vision inspection system to provide at least one image having a depth of field comprising:
(A) placing a workpiece within the field of view of the machine vision inspection system;
(B) periodically changing the focal position of the imaging system at a frequency of at least 3 kHz over a plurality of focal positions along a focal axis direction within a focal range including a surface height of the workpiece; ,
(C) Exposing a preliminary image using image exposure including a plurality of discrete image exposure increments acquired at each discrete focus position during an image integration time including a plurality of periods of the focus position that is periodically changed. That is,
Each of the plurality of discrete image exposure increments is determined by each instance of an illumination source strobe operation or camera shutter strobe operation having a respective controlled timing defining the discrete focus position of the corresponding discrete image exposure increment;
Each of the controlled timings is distributed over the plurality of periods of the periodically changed focal position to provide a set of discrete focal positions spaced substantially evenly along the focal axis direction;
Each controlled timing is a second of the adjacent pair if the first controlled timing provides a first discrete focal position setting for the adjacent pair for an adjacent pair of discrete focal positions in the set. Is controlled such that a second controlled timing that provides a discrete focal point position is delayed with respect to the first controlled timing, and the second controlled timing is the first controlled timing. And is further configured to be controlled to occur after N times (N is at least 1) of the direction of change of the focal position during the periodic change;
(D) processing the preliminary image to remove blurred image components that occur within the focal range during the image integration time and to provide a magnified image that is substantially focused throughout the depth of field. Providing a depth of field (EDOF) image;
Including methods. ステップ（ｃ）において、各離散画像露光増分は前記照明源ストロボ動作の各インスタンスによって決定される、請求項１に記載の方法。   The method of claim 1, wherein in step (c), each discrete image exposure increment is determined by each instance of the illumination source strobe operation. 前記周期的に変更される焦点位置は時間の関数としてほぼ正弦波状に変化する、請求項１に記載の方法。   The method of claim 1, wherein the periodically changed focus position changes approximately sinusoidally as a function of time. 「ｉ番目」の制御されたタイミングの各々は、各増加する時間Ｔｉ及び各増分持続時間Ｄｉを含み、
前記各増分持続時間Ｄｉ中で各増加光量Ｌｉが用いられ、
前記予備画像の各離散画像露光増分は、積（Ｌｉ＊Ｄｉ）が各離散画像露光増分でほぼ等しくなるような各増加光量Ｌｉ及び各増分持続時間Ｄｉの組み合わせにより露光される、請求項１に記載の方法。 Each of the “i th” controlled timing includes each increasing time Ti and each incremental duration Di,
Each increased light amount Li is used in each incremental duration Di,
Each discrete image exposure increment of the preliminary image is exposed by a combination of each increased light quantity Li and each incremental duration Di such that the product (Li * Di) is approximately equal at each discrete image exposure increment. The method described. 第１の焦点位置に対応した離散画像露光増分は、第１の増分持続時間Ｄｉと第１の増加光量Ｌｉとの組み合わせを含み、
前記第１の焦点位置より前記焦点範囲の中央から遠い第２の焦点位置に対応した離散画像露光増分は、前記第１の増分持続時間Ｄｉより長い第２の増分持続時間Ｄｉと前記第１の増加光量Ｌｉより小さい第２の増加光量Ｌｉとの組み合わせを含む、請求項４に記載の方法。 The discrete image exposure increment corresponding to the first focus position includes a combination of the first incremental duration Di and the first increased light quantity Li;
A discrete image exposure increment corresponding to a second focal position that is farther from the center of the focal range than the first focal position is a second incremental duration Di that is longer than the first incremental duration Di and the first The method of Claim 4 including the combination with 2nd increase light quantity Li smaller than increase light quantity Li. 前記周期的に変更される焦点位置は時間の関数としてほぼ正弦波状に変化し、
前記第１の増分持続時間及び前記第２の増分持続時間は、前記第１の増分持続時間及び前記第２の増分持続時間の間にほぼ同じ量の焦点位置変化を与えるように制御される、請求項５に記載の方法。 The periodically changed focal position changes approximately sinusoidally as a function of time,
The first incremental duration and the second incremental duration are controlled to provide approximately the same amount of focal position change between the first incremental duration and the second incremental duration; The method of claim 5. 前記焦点範囲は、単一の焦点位置における撮像システムの被写界深度の少なくとも１０倍に及び、
前記各制御されたタイミングは、前記画像積分時間中に少なくとも２０箇所の離散焦点位置のセットを与えるように構成されている、請求項１に記載の方法。 The focal range spans at least 10 times the depth of field of the imaging system at a single focal position;
The method of claim 1, wherein each controlled timing is configured to provide a set of at least 20 discrete focus positions during the image integration time. 前記撮像システムは、前記撮像システムにおいて要素間の間隔を巨視的に調整することなく前記撮像システムの焦点位置を周期的に変更するように構成された可変音響式屈折率分布型（ＴＡＧ）レンズを備え、
前記周波数は少なくとも３０ｋＨｚであり、
前記周期的に変更される焦点位置の一つの周期中に最大で６つの離散画像露光増分が与えられる、請求項７に記載の方法。 The imaging system includes a variable acoustic gradient index (TAG) lens configured to periodically change a focal position of the imaging system without macroscopically adjusting an interval between elements in the imaging system. Prepared,
The frequency is at least 30 kHz;
8. The method of claim 7, wherein up to six discrete image exposure increments are provided during one period of the periodically changed focus position. 前記少なくとも２０箇所の離散焦点位置は前記焦点範囲の少なくとも５０％に分散している、請求項７に記載の方法。   The method of claim 7, wherein the at least 20 discrete focus positions are distributed over at least 50% of the focus range. 前記予備画像に用いられる前記複数の離散画像露光増分は、前記画像積分時間中に、前記少なくとも２０箇所の離散焦点位置の各々で取得される離散画像露光増分の第１のインスタンス及び第２のインスタンスを少なくとも含み、
同一の離散焦点位置において離散画像露光増分の前記第１及び第２のインスタンスを取得するため用いられる前記各制御されたタイミングは、前記第２のインスタンスに用いられる制御されたタイミングが、前記第１のインスタンスに用いられる制御されたタイミングに対して遅延し、前記第１のインスタンスに用いられる前記制御されたタイミング後、その周期的な変更中に前記焦点位置変化方向がＭ回（Ｍは少なくとも１）反転した後に生じるよう制御されるように構成される、請求項７に記載の方法。 The plurality of discrete image exposure increments used for the preliminary image are a first instance and a second instance of the discrete image exposure increments acquired at each of the at least 20 discrete focus positions during the image integration time. Including at least
Each of the controlled timings used to acquire the first and second instances of discrete image exposure increments at the same discrete focal position is the controlled timing used for the second instance. The focal position change direction is M times (M is at least 1) during the periodic change after the controlled timing used for the first instance. 8. The method of claim 7, wherein the method is configured to be controlled to occur after inversion. 前記予備画像を処理してぼけた画像成分を除去することは、前記撮像システムを特徴付ける所定の関数を用いて前記予備画像に対応した画像データのデコンボリューション処理を行って前記ＥＤＯＦ画像を提供することを含む、請求項１に記載の方法。   Processing the preliminary image to remove a blurred image component provides the EDOF image by performing a deconvolution process of image data corresponding to the preliminary image using a predetermined function characterizing the imaging system. The method of claim 1 comprising: 前記撮像システムは可変焦点距離レンズを備え、
前記撮像システムの焦点位置を周期的に変更することは、前記可変焦点距離レンズの焦点位置を変更することを含み、
前記撮像システムは、前記可変焦点距離レンズから予備画像光を受光し空間的にフィルタリングするように位置付けられた光学フィルタを更に備え、
ステップ（ｄ）において、前記予備画像を処理してぼけた画像成分を除去することは、前記光学フィルタを用いて前記予備画像光を空間的にフィルタリングして、前記光学フィルタにより出力される光に基づいて前記ＥＤＯＦ画像を提供することを含む、請求項１に記載の方法。 The imaging system comprises a variable focal length lens;
Changing the focal position of the imaging system periodically includes changing the focal position of the variable focal length lens;
The imaging system further comprises an optical filter positioned to receive preliminary image light from the variable focal length lens and spatially filter it,
In step (d), processing the preliminary image to remove a blurred image component spatially filters the preliminary image light using the optical filter, and converts the preliminary image light into light output by the optical filter. The method of claim 1, comprising providing the EDOF image based. ステップ（ｃ）及びステップ（ｄ）を繰り返して、前記被写界深度全体を通して実質的に合焦された複数のＥＤＯＦ画像を提供することと、
前記ワークピースの前記複数のＥＤＯＦ画像を、前記マシンビジョン検査システムに含まれるディスプレイ上に与えられたライブビデオディスプレイウィンドウに表示することと、を更に備える、請求項１に記載の方法。 Repeating steps (c) and (d) to provide a plurality of EDOF images substantially in focus throughout the depth of field;
The method of claim 1, further comprising displaying the plurality of EDOF images of the workpiece in a live video display window provided on a display included in the machine vision inspection system. 前記照明源は多数の色源を含み、
前記各制御されたタイミングは、各色源でそれぞれ異なる色源タイミングを含み、
前記撮像システムにおける軸上色収差を補償する前記色源タイミング間のタイミングオフセットを含むことで、前記色源の各々が同一の離散焦点位置を与える、請求項１に記載の方法。 The illumination source includes a number of color sources;
Each controlled timing includes a different color source timing for each color source,
The method of claim 1, wherein each of the color sources provides the same discrete focal position by including a timing offset between the color source timings to compensate for axial chromatic aberration in the imaging system. ある被写界深度を有する、ワークピースの少なくとも１つの画像を提供するための撮像システムであって、
対物レンズと、可変焦点距離音響式屈折率分布型（ＴＡＧ）レンズと、カメラと、
画像積分時間中に前記カメラ内で動作できる制御可能ストロボ照明光源又は高速カメラシャッタの少なくとも１つと、
前記カメラと、存在する場合は前記ストロボ照明光源とを制御するように、かつ、前記ＴＡＧレンズを制御して、前記撮像システムの焦点位置を周期的に変更するように構成された制御システムと、
を備え、前記制御システムは、
（ａ）前記ＴＡＧレンズを制御して、少なくとも３０ｋＨｚの周波数で、前記ワークピースの表面高さを含む焦点範囲内で、焦点軸方向に沿った複数の焦点位置にわたって前記焦点位置を周期的に変更し、
（ｂ）前記撮像システムを動作させて、前記周期的に変更される焦点位置の複数の周期を含む画像積分時間中に、各離散焦点位置で取得された複数の離散画像露光増分を含む画像露光を用いて予備画像を露光し、ここで、
前記複数の離散画像露光増分の各々は、対応する前記離散画像露光増分の前記離散焦点位置を規定する各制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定され、
前記各制御されたタイミングは、前記周期的に変更される焦点位置の前記複数の周期に分散し、前記焦点軸方向に沿ってほぼ均等に離間した離散焦点位置のセットを与えるように構成され、
前記各制御されたタイミングは、前記セット内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが前記第１の制御されたタイミングに対して遅延するように制御され、前記第２の制御されたタイミングが、前記第１の制御されたタイミングの後、その周期的な変更中に前記焦点位置の変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように更に構成され、
（ｃ）前記予備画像を処理して、前記画像積分時間中に前記焦点範囲内で発生するぼけた画像成分を除去して、前記被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供する、
ように構成されている、撮像システム。 An imaging system for providing at least one image of a workpiece having a depth of field,
An objective lens, a variable focal length acoustic gradient index (TAG) lens, a camera,
At least one of a controllable strobe illumination light source or a high-speed camera shutter operable within the camera during image integration time;
A control system configured to control the camera and, if present, the strobe illumination source, and to control the TAG lens to periodically change the focal position of the imaging system;
The control system comprises:
(A) Controlling the TAG lens to periodically change the focal position over a plurality of focal positions along the focal axis direction within a focal range including the surface height of the workpiece at a frequency of at least 30 kHz. And
(B) Operating the imaging system to include an image exposure including a plurality of discrete image exposure increments acquired at each discrete focus position during an image integration time including a plurality of periods of the periodically changed focus position. To expose the preliminary image, where
Each of the plurality of discrete image exposure increments is determined by each instance of an illumination source strobe operation or camera shutter strobe operation having a respective controlled timing defining the discrete focus position of the corresponding discrete image exposure increment;
Each controlled timing is configured to provide a set of discrete focal positions that are distributed in the plurality of periods of the periodically changed focal positions and spaced substantially evenly along the focal axis direction;
Each controlled timing is a second of the adjacent pair if the first controlled timing provides a first discrete focal position setting for the adjacent pair for an adjacent pair of discrete focal positions in the set. Is controlled such that a second controlled timing that provides a discrete focal point position is delayed with respect to the first controlled timing, and the second controlled timing is the first controlled timing. Is further configured to be controlled to occur after the direction of change of the focal position is reversed N times (N is at least 1) during the periodic change,
(C) processing the preliminary image to remove blurred image components that occur within the focal range during the image integration time, and to provide a magnified image that is substantially focused throughout the depth of field. Provide depth of field (EDOF) images;
An imaging system configured as described above. 「ｉ番目」の制御されたタイミングの各々は、各増加する時間Ｔｉ及び各増分持続時間Ｄｉを含み、
前記各増分持続時間Ｄｉ中で各増加光量Ｌｉが用いられ、
前記予備画像の各離散画像露光増分は、積（Ｌｉ＊Ｄｉ）が各離散画像露光増分でほぼ等しくなるような各増加光量Ｌｉ及び各増分持続時間Ｄｉの組み合わせにより露光される、請求項１５に記載の撮像システム。 Each of the “i th” controlled timing includes each increasing time Ti and each incremental duration Di,
Each increased light amount Li is used in each incremental duration Di,
16. Each discrete image exposure increment of the preliminary image is exposed by a combination of each increased light quantity Li and each incremental duration Di such that the product (Li * Di) is approximately equal at each discrete image exposure increment. The imaging system described. 第１の焦点位置に対応した離散画像露光増分は、第１の増分持続時間Ｄｉと第１の増加光量Ｌｉとの組み合わせを含み、
前記第１の焦点位置より前記焦点範囲の中央から遠い第２の焦点位置に対応した離散画像露光増分は、前記第１の増分持続時間Ｄｉより長い第２の増分持続時間Ｄｉと前記第１の増加光量Ｌｉより小さい第２の増加光量Ｌｉとの組み合わせを含み、
前記周期的に変更される焦点位置は時間の関数としてほぼ正弦波状に変化し、
前記第１の増分持続時間及び前記第２の増分持続時間は、前記第１の増分持続時間及び前記第２の増分持続時間の間にほぼ同じ量の焦点位置変化を与えるように制御される、請求項１６に記載の撮像システム。 The discrete image exposure increment corresponding to the first focus position includes a combination of the first incremental duration Di and the first increased light quantity Li;
A discrete image exposure increment corresponding to a second focal position that is farther from the center of the focal range than the first focal position is a second incremental duration Di that is longer than the first incremental duration Di and the first Including a combination with a second increased light quantity Li smaller than the increased light quantity Li,
The periodically changed focal position changes approximately sinusoidally as a function of time,
The first incremental duration and the second incremental duration are controlled to provide approximately the same amount of focal position change between the first incremental duration and the second incremental duration; The imaging system according to claim 16. 前記焦点範囲は、単一の焦点位置における撮像システムの被写界深度の少なくとも１０倍に及び、
前記各制御されたタイミングは、前記画像積分時間中に少なくとも２０箇所の離散焦点位置のセットを与えるように構成されている、請求項１５に記載の撮像システム。 The focal range spans at least 10 times the depth of field of the imaging system at a single focal position;
The imaging system of claim 15, wherein each controlled timing is configured to provide a set of at least 20 discrete focus positions during the image integration time. 前記周期的に変更される焦点位置の一つの周期中に最大で６つの離散画像露光増分が与えられる、請求項１５に記載の撮像システム。   The imaging system of claim 15, wherein up to six discrete image exposure increments are provided during one period of the periodically changed focus position. 前記予備画像を処理してぼけた画像成分を除去することは、前記撮像システムを特徴付ける所定の関数を用いて前記予備画像に対応した画像データのデコンボリューション処理を行って前記ＥＤＯＦ画像を提供することを含む、請求項１５に記載の撮像システム。   Processing the preliminary image to remove a blurred image component provides the EDOF image by performing a deconvolution process of image data corresponding to the preliminary image using a predetermined function characterizing the imaging system. The imaging system according to claim 15, comprising:
JP2017223987A 2016-11-23 2017-11-21 Machine vision inspection system and method for acquiring images with magnified depth of field Active JP7075744B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/360,671 US10178321B2 (en) 2013-11-27 2016-11-23 Machine vision inspection system and method for obtaining an image with an extended depth of field
US15/360,671 2016-11-23

Publications (2)

Publication Number Publication Date
JP2018084821A true JP2018084821A (en) 2018-05-31
JP7075744B2 JP7075744B2 (en) 2022-05-26

Family

ID=62069161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017223987A Active JP7075744B2 (en) 2016-11-23 2017-11-21 Machine vision inspection system and method for acquiring images with magnified depth of field

Country Status (3)

Country Link
JP (1) JP7075744B2 (en)
CN (1) CN108088424B (en)
DE (1) DE102017220101A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210170523A1 (en) * 2019-12-04 2021-06-10 Mitutoyo Corporation Laser processing machine
KR102323136B1 (en) * 2021-01-07 2021-11-10 주식회사 오엠에스 3D EDOF scanning apparatus adapting flow scan
KR20220121655A (en) * 2021-02-25 2022-09-01 배철환 Telecentric optical system for nominal inspection
US11678077B2 (en) 2019-11-26 2023-06-13 National University Corporation Shizuoka University Imaging device
JP7319903B2 (en) 2018-12-13 2023-08-02 株式会社ミツトヨ High-speed TAG lens-assisted 3D measurement and extended depth-of-field imaging
JP7319913B2 (en) 2018-12-31 2023-08-02 株式会社ミツトヨ METHOD FOR MEASURING Z-HEIGHT VALUE OF WORKPIECE SURFACE USING MACHINE VISION INSPECTION SYSTEM

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254382B (en) * 2018-10-12 2021-11-26 南通大学 Thread detection automatic focusing method based on machine vision
CN109633885A (en) * 2019-01-29 2019-04-16 清华大学 Gradient-index lens micro imaging system and method based on focusing wavefronts
WO2021042040A1 (en) * 2019-08-30 2021-03-04 Mitutoyo Corporation Fast high power pulsed light source system for high speed metrology imaging
US10880468B1 (en) * 2019-12-19 2020-12-29 Mitutoyo Corporation Metrology system with transparent workpiece surface mode
US11428894B2 (en) * 2020-02-04 2022-08-30 Hand Held Products, Inc. Discrete variable focus assemblies and apparatuses

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090166426A1 (en) * 2007-12-27 2009-07-02 James Giebel Imaging reader with adaptive focusing for electro-optically reading symbols
JP2009168964A (en) * 2008-01-15 2009-07-30 Nikon Corp Confocal microscope
US8194307B2 (en) * 2007-02-26 2012-06-05 Trustees Of Princeton University Tunable acoustic gradient index of refraction lens and system
JP2015001531A (en) * 2013-06-13 2015-01-05 株式会社ミツトヨ Machine vision inspection system and method of executing high-speed focus height measurement operation
JP2015104136A (en) * 2013-11-27 2015-06-04 株式会社ミツトヨ Machine vision inspection system and method for obtaining image with extended depth of field

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7170559B2 (en) * 1999-02-25 2007-01-30 Olympus Corporation Image pickup apparatus having a beam limiting member
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP2001257932A (en) * 2000-03-09 2001-09-21 Denso Corp Image pickup device
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7215493B2 (en) * 2005-01-27 2007-05-08 Psc Scanning, Inc. Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
WO2009120718A1 (en) 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
JP5900049B2 (en) * 2011-12-07 2016-04-06 富士通株式会社 Depth of field expansion system and depth of field expansion method
CN106060358B (en) * 2016-07-20 2021-12-03 成都微晶景泰科技有限公司 Scene continuous analysis method and equipment and imaging device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194307B2 (en) * 2007-02-26 2012-06-05 Trustees Of Princeton University Tunable acoustic gradient index of refraction lens and system
US20090166426A1 (en) * 2007-12-27 2009-07-02 James Giebel Imaging reader with adaptive focusing for electro-optically reading symbols
JP2009168964A (en) * 2008-01-15 2009-07-30 Nikon Corp Confocal microscope
JP2015001531A (en) * 2013-06-13 2015-01-05 株式会社ミツトヨ Machine vision inspection system and method of executing high-speed focus height measurement operation
JP2015104136A (en) * 2013-11-27 2015-06-04 株式会社ミツトヨ Machine vision inspection system and method for obtaining image with extended depth of field

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7319903B2 (en) 2018-12-13 2023-08-02 株式会社ミツトヨ High-speed TAG lens-assisted 3D measurement and extended depth-of-field imaging
JP7319913B2 (en) 2018-12-31 2023-08-02 株式会社ミツトヨ METHOD FOR MEASURING Z-HEIGHT VALUE OF WORKPIECE SURFACE USING MACHINE VISION INSPECTION SYSTEM
US11678077B2 (en) 2019-11-26 2023-06-13 National University Corporation Shizuoka University Imaging device
US20210170523A1 (en) * 2019-12-04 2021-06-10 Mitutoyo Corporation Laser processing machine
US11801570B2 (en) 2019-12-04 2023-10-31 Mitutoyo Corporation Laser processing machine
KR102323136B1 (en) * 2021-01-07 2021-11-10 주식회사 오엠에스 3D EDOF scanning apparatus adapting flow scan
KR20220121655A (en) * 2021-02-25 2022-09-01 배철환 Telecentric optical system for nominal inspection
KR102481722B1 (en) * 2021-02-25 2022-12-26 배철환 Telecentric optical system for nominal inspection

Also Published As

Publication number Publication date
CN108088424B (en) 2020-09-15
CN108088424A (en) 2018-05-29
JP7075744B2 (en) 2022-05-26
DE102017220101A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
JP6502071B2 (en) Machine vision inspection system and method for obtaining an image having an extended depth of field
US10178321B2 (en) Machine vision inspection system and method for obtaining an image with an extended depth of field
JP7075744B2 (en) Machine vision inspection system and method for acquiring images with magnified depth of field
US10101572B2 (en) Variable focal length lens system with multi-level extended depth of field image processing
US9830694B2 (en) Multi-level image focus using a tunable lens in a machine vision inspection system
JP6761312B2 (en) Chromatic aberration correction in imaging systems including variable focal length lenses
JP6469368B2 (en) Machine vision inspection system and method for performing high speed focused height measurement operation
JP6839578B2 (en) Phase difference calibration in variable focal length lens system
JP2018022127A (en) Variable focal length imaging system
JP2017021025A (en) Adjustment method of adaptable operation frequency of variable focal length lens in magnification adjustable optical system
DE102017207176A1 (en) Autofocus system for a high-speed periodically modulated variable focal length lens
JP7319903B2 (en) High-speed TAG lens-assisted 3D measurement and extended depth-of-field imaging
US10142550B2 (en) Extending a focus search range in an imaging system including a high speed variable focal length lens
CN110411417B (en) Variable focus lens system with quasi-sinusoidal periodic intensity modulated light
Zhao et al. Extended depth of field for visual measurement systems with depth-invariant magnification
JP2022074065A (en) Metrology system with projected pattern for points-from-focus type processes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220506

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220516

R150 Certificate of patent or registration of utility model

Ref document number: 7075744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150