JP6101706B2 - マシンビジョンシステムにおいて複数の照明設定を使用する合焦点動作 - Google Patents

Description

関連出願の相互参照
本願は、２０１１年１２月２３日に出願された米国特許出願第６１／５８０，１４５号の利益を主張するものであり、この特許出願を参照により本明細書に援用する。

分野
本明細書に開示される実施形態は一般に、マシンビジョン検査システムに関し、より詳細には、非熟練操作者ための多重フォーカス画像による距離検出（depth from focus）を使用する精密且つ効率的な表面形状検査を提供するビデオツール及び方法に関する。

背景
精密なマシンビジョン検査システム（又は略して「ビジョンシステム」）は、被検査物体の精密な寸法測定を取得し、様々な他の物体特徴を検査するために利用することができる。そのようなシステムは、コンピュータと、カメラ及び光学系と、複数の方向に移動可能であり、ワークピース検査を可能にする精密ステージとを含み得る。汎用「オフライン」精密ビジョンシステムとして特徴付けることができる１つの例示的な従来技術によるシステムは、イリノイ州Auroraに所在のMitutoyo America Corporation (MAC)から入手可能な市販のQUICK VISION（登録商標）シリーズのＰＣベースのビジョンシステム及びQVPAK（登録商標）ソフトウェアである。QUICK VISION（登録商標）シリーズのビジョンシステム及びQVPAK（登録商標）ソフトウェアの機能及び動作は一般に、例えば、２００３年１月に公開されたQVPAK 3D CNC Vision Measuring Machine User's Guide及び１９９６年９月に公開されたQVPAK 3D CNC Vision Measuring Machine Operation Guideに説明されており、これらのそれぞれを参照により本明細書に援用する。この種のシステムは、顕微鏡型光学系を使用可能であり、様々な倍率で小さいワークピース又は比較的大きなワークピースの検査画像を提供するようにステージを移動させることが可能である。

マシンビジョン検査システムは一般に、自動ビデオ検査を利用する。米国特許第６，５４２，１８０号（’１８０号特許）では、そのような自動ビデオ検査の様々な態様が教示されており、この特許は参照により本明細書に援用される。’１８０号特許において教示されるように、自動ビデオ検査計測機器は一般に、プログラミング機能を有し、プログラミング機能により、自動検査イベントシーケンスをユーザが特定の各ワークピース構成に関して定義することができる。これは、例えば、テキストベースのプログラミングにより、又はユーザが実行する検査動作シーケンスに対応するマシン制御命令シーケンスを記憶することにより検査イベントシーケンスを次々に「学習」する記録モードを通して、又は両方法の組み合わせを通して、実施することができる。そのような記録モードは多くの場合、「学習モード」又は「トレーニングモード」と呼ばれる。検査イベントシーケンスが「学習モード」で定義されると、そのようなシーケンスを使用して、「実行モード」中にワークピースの画像を自動的に取得する（且つさらに解析又は検査する）ことができる。

特定の検査イベントシーケンス（すなわち、各画像を取得する方法及び各取得画像を解析／検査する方法）を含むマシン制御命令は一般に、特定のワークピース構成に固有の「パートプログラム」又は「ワークピースプログラム」として記憶される。例えば、パートプログラムは、ワークピースに対してカメラを位置決めする方法、照明レベル、倍率レベル等の各画像を取得する方法を定義する。さらに、パートプログラムは、例えば、１つ又は複数のビデオツールを使用することにより、取得画像を解析／検査する方法を定義する。

ビデオツール（又は略して「ツール」）は、検査及び／又はマシン制御動作で使用し得る。ビデオツールは、精密マシンビジョン検査システムの非熟練ユーザの画像処理及び検査動作を提供する重要且つ周知の動作及びプログラミングの支援である。ビデオツールは、例えば、先に援用した’１８０号特許並びに米国特許第７，６２７，１６２号に考察されており、この米国特許を参照により本明細書に援用する。学習モード中、セットアップパラメータ及び動作は、代表的なワークピース上の特定の部分又は関心領域に対して決定され（しばしばビデオツールの「トレーニング」と呼ばれる）、同様のワークピースを自動的且つ確実に検査するために記録され得る。セットアップパラメータは通常、ビジョン検査システムソフトウェアの様々なグラフィカルユーザインタフェースウィジェット及び／又はメニューを使用して構成し得る。例えば、そのようなツールは、エッジ／境界検出ツール、オートフォーカスツール、形状又はパターン照合ツール、寸法測定ツール等を含み得る。例えば、そのようなツールは、上述したQUICK VISION（登録商標）シリーズのビジョンシステム及び関連付けられたQVPAK(登録商標）ソフトウェア等の様々な市販のマシンビジョン検査システムにおいて日常的に使用されている。

１つの既知の種類のビデオツールは「マルチポイントツール」又は「マルチポイントオートフォーカスツール」ビデオツールである。そのようなツールは、オートフォーカス方法により決定されるような、ツールの関心領域内の定義されたＸ−Ｙ座標での複数の小領域の「最良合焦（ベストフォーカス）」位置から導出されるＺ高さ測定又は座標（カメラ系の光軸及び合焦軸に沿った）を提供する。１組のそのようなＸ、Ｙ、Ｚ座標は、略してポイントクラウドデータ又はポイントクラウドと呼び得る。一般に、従来技術によるオートフォーカス方法及び／又はツールによれば、カメラはｚ軸（合焦軸）に沿ったある範囲の位置を通して移動し、各位置で画像を取得する（画像スタックと呼ばれる）。取得した画像毎に、各小領域の合焦尺度が、画像に基づいて計算され、画像取得時のＺ軸に沿ったカメラの対応する位置に関連付けられる。これにより、単に「合焦曲線」又は「オートフォーカス曲線」と呼び得る各小領域の合焦曲線データが生成される。ｚ軸に沿った最良合焦位置に対応する合焦曲線のピークは、曲線を合焦曲線データに当てはめ、当てはめられた曲線のピークを推定することにより見つけ得る。そのようなオートフォーカス方法の変形は当分野で周知である。例えば、上述した方法と同様の１つの既知のオートフォーカス方法は、Jan-Mark Geusebroek及びArnold Smeuldersにより「Robust Autofocusing in Microscopy」ISIS Technical Report Series, Vol. 17, November 2000において考察されている。別の既知のオートフォーカス方法及び装置が米国特許第５，７９０，７１０号に記載されており、この米国特許を参照により本明細書に援用する。

マイクロメートル又はサブマイクロメートル範囲の精度が精密マシンビジョン検査システムでは望まれることが多い。これは特に、Ｚ高さ測定に関して難問である。マルチポイントツールのように、ワークピース表面にわたるＺ高さ測定セットを特定する場合、特定の問題が生じる。Ｚ高さ精度及び信頼性は、多くの理由で、関心領域内の少なくともいくつかのデータポイントで精度が悪い場合がある。第１の例として、関心領域の表面が強く湾曲している（例えば、ＩＣボールグリッドアレイはんだ玉の表面）場合、表面のいくつかの部分は極端な入射角であり、それにより、光学系を通して極わずかな光しか返さず、オートフォーカス画像で露光不足になるのに対して、表面の他の部分は、小さな入射角を有し、高い反射性を有し得、それにより、光学系を通して過剰な光を返して、オートフォーカス画像で露光過剰になる。単一の画像露光が、そのような関心領域のすべての部分に適するわけではない。露光不足及び露光過剰な小領域は、低コントラスト及び／又は高画像ノイズを見せる。参照により本明細書に援用される、本願と同じ譲受人に譲渡された米国付与前公開第２０１１／０１３３０５４号（’０５４号公報）には、低コントラスト及び／又は高い画像ノイズにより悪い信頼性を有し得るＺ高さ測定（例えば、ポイントクラウドデータでの）を特徴付けるマルチポイントツール及び方法の実施形態が開示されている。

それぞれが異なる露光レベルを使用して取得された複数のオートフォーカス画像スタックを提供することにより、上記問題を解消することが既知である。特定の小領域の最良合焦位置は、その小領域が最も適切に露光された特定の画像スタックにおいて特定することができる。１つのそのようなシステムは、オーストリアのGrambach/Grazに所在のAlicona Imaging GmbHから入手可能である。しかし、Aliconaシステムは特定の問題に狙いを定めた特殊な表面マッピングシステムであり、汎用精密マシンビジョン検査システムでは利用できないことがある特別なハードウェア及び照明を使用する。そのような専用システムは、汎用マシンビジョン検査システムでのプログラミングとの関係で、異なる露光レベルを有する複数のオートフォーカス画像スタックをいつ使用するかを決定するか、又は特定の露光レベルを決定するために、十分に用途が広い解決策を提供しない。逆に、深い被写界深度及び広いダイナミックレンジ（すなわち、広い露光範囲）を有する複合写真を構築する既知の画像融合方法は、撮像を目的とし、精密なＺ高さ測定を目的としていない。そのような方法を、Ｚ高さ測定で汎用マシンビジョン検査システムをプログラムするために非熟練ユーザによって確実に操作されるであろうビデオツールの上で、どのように実施し得るか、及び産業用測定アプリケーションのために許容可能なスループット及び確実性をいかに提供するかは明確ではない。

汎用精密マシンビジョン検査システムに適用される場合、システムに組み込まれた様々なマルチポイント測定動作及び画像処理方法を、非熟練ユーザ、すなわち、撮像及び／又は画像処理の分野の非熟練ユーザが、特定のワークピースの特徴に基づいて最適なスループット及び確実性に向けて構成し操作しなければならないことが多いことが、特に問題である。したがって、上述した考慮事項により、汎用マシンビジョン検査システムをプログラミングする上で、異なる露光レベルを有する適切な数のオートフォーカス画像スタックを必要なときに提供するように、非専門家ユーザが理解して操作でき、そして、必要な露光レベルを決定するマシンビジョンシステムのマルチポイントＺ高さビデオツールが必要とされる。

概要
この概要は、詳細な説明においてさらに後述する選択された概念を簡易化された形態で紹介するために提供される。この概要は、特許請求される主題の主要な特徴を識別する意図はなく、特許請求される主題の範囲を判断する際の助けとして使用される意図もない。

多重フォーカス動作に基づくマルチポイントビデオツールがマシンビジョンシステムに提供される。マルチポイントビデオツールは、ワークピース上の関心領域に含まれる複数の小領域のＺ高さ測定を特定する。マルチポイントビデオツールは、必要な場合、異なる露光レベルを有する適切な数の画像スタックを提供し、複数の小領域のそれぞれによく露光された画像スタックを提供するために、必要な露光レベルを決定する。マルチポイントビデオツールは、汎用マシンビジョン検査システムの検査動作をプログラミングする状況で、非専門家ユーザ、すなわち、基礎となる光学、数学、及び／又は画像処理動作の理解がほとんどないか、又は全くないユーザにより理解され操作されるように構成された単純なユーザインタフェース機能によりサポートされる。

一実施形態の説明は、ワークピース上の特定の関心領域での合焦ベースのＺ高さ測定を含むマルチポイントＺ高さ測定データセットを特定する精密マシンビジョン検査システムの動作方法を含み得、精密マシンビジョン検査システムは、
カメラを含む撮像部と、
制御可能な照明部と、
合焦部と、
画像プロセッサを含む制御部と、
ワークピースのマルチポイント合焦ベースＺ高さ測定を実行する第１の測定モードであって、画像スタック内の各画像で同じ照明パラメータを使用して取得される単一の画像スタックに基づいて、関心領域内の複数の小領域のマルチポイント合焦ベースＺ高さ測定を特定する動作を含む、第１の測定モードと、
ワークピースのマルチポイント合焦ベースＺ高さ測定を実行する第２の測定モードであって、複数の画像スタックに基づいて関心領域内の複数の小領域のマルチポイント合焦ベースＺ高さ測定を特定する動作を含み、第１の画像スタックが、関心領域内の画像ピクセルの暗さ制限基準を満たし、第１の画像スタック内の各画像で同じ暗さ制限照明パラメータを使用して取得され、第２の画像スタックが、関心領域内の画像ピクセルの明るさ制限基準を満たし、第２の画像スタック内の各画像で同じ明るさ制限照明パラメータを使用して取得される、第２の測定モードと、
画像ディスプレイ及びグラフィカルユーザインタフェース（ＧＵＩ）を含むユーザインタフェースと、
マルチポイントＺ高さ測定ツールであって、
第２の測定モード、
関心領域内の画像ピクセルの明るさ制限基準、
関心領域内の画像ピクセルの暗さ制限基準、及び
関心領域インジケータを含むマルチポイントＧＵＩ要素
を含む、マルチポイントＺ高さ測定ツールと、
を含み、方法は、
マシンビジョン検査システムの動作を実行することであって、
ワークピース上の特定の関心領域の画像を取得すること、
マルチポイントＺ高さ測定ツールのインスタンスをアクティブ化すること、及び
取得画像内の関心領域を定義すること、
を含む、動作を実行すること、並びに
第２の測定モードに対応するマルチポイントＺ高さ測定ツールのそのインスタンスの自動動作を実行することであって、
（ａ）照明パラメータの予備セットを使用して取得される画像スタックに基づくとともに、関心領域の全体に基づいて決定される合焦尺度に基づいて決定される、関心領域の大域的最良合焦高さに、撮像部を自動的に合焦する動作、
（ｂ）大域的最良合焦高さで取得された画像を解析し、関心領域内の画像ピクセルの明るさ制限基準を満たす明るさ制限照明パラメータを決定する照明パラメータを調整する動作、及び
（ｃ）大域的最良合焦高さで取得された画像を解析し、関心領域内の画像ピクセルの暗さ制限基準を満たす暗さ制限照明パラメータを決定するように照明パラメータを調整する動作
を含む、自動動作を実行すること、
を含む。

いくつかの実施形態では、方法は、関心領域を含む複数の画像スタックを取得することであって、決定された暗さ制限照明パラメータを使用して取得される第１の画像スタック及び決定された明るさ制限照明パラメータを使用して取得される第２の画像スタックを少なくとも含む複数の画像スタックを取得することと、複数の画像スタックに基づいて関心領域内の複数の小領域のそれぞれのマルチポイント合焦ベースＺ高さ測定を特定することと、をさらに含む。いくつかの実施形態では、複数の画像スタックは、第１及び第２の画像スタックに使用されるものと比較して、中間レベルの照明を提供する照明パラメータセットを使用して取得された１つ又は複数の追加の画像スタックを含み得る。いくつかの実施形態では、複数の画像スタックは、照明パラメータの予備セットを使用して取得される画像スタックを含む。

いくつかの実施形態では、方法は、複数の画像スタックに基づいて関心領域内の複数の小領域のマルチポイント合焦ベースＺ高さ測定を特定する動作をさらに含み得、それらの動作は、複数の小領域のそれぞれで、複数の画像スタックのそれぞれのその小領域のＺ高さ品質尺度を特定すること、及び最良のＺ高さ品質尺度を提供する複数の画像スタックの１つに基づいて、その小領域の合焦ベースＺ高さ測定を特定することを含み得る。

いくつかの実施形態では、方法は、実行モード中、パートプログラム命令の制御下で方法の少なくとも一部を実行することを含み得る。

いくつかの実施形態では、方法は、学習モード中、方法の少なくとも一部を実行することを含み得、マルチポイントＺ高さ測定ツールの現在のインスタンスに対応するパートプログラム命令を記録することをさらに含み得、パートプログラム命令は動作の実行に使用可能であり、動作は、関心領域を含む複数の画像スタックを取得することであって、決定された暗さ制限照明パラメータを使用して取得される少なくとも１つの第１の画像スタック及び決定された明るさ制限照明パラメータを使用して取得される少なくとも１つの第２の画像スタックを少なくとも含む複数の画像スタックを取得することと、複数の画像スタックに基づいて、関心領域内の複数の小領域のそれぞれのマルチポイント合焦ベースＺ高さ測定を特定することと、を含む動作を実行する前記マルチポイントＺ高さ測定ツールのインスタンスのパートプログラム命令を記録することをさらに含み、複数の小領域のそれぞれのマルチポイント合焦ベースＺ高さ測定を特定することは、小領域毎に、複数の画像スタックのそれぞれのその小領域のＺ高さ品質尺度を特定すること及び最良Ｚ高さ品質尺度を提供する複数の画像スタックの１つに基づいて、その小領域の合焦ベースＺ高さ測定を特定することを含む、特定することを含む。

いくつかの実施形態では、方法は、学習モード中、マシンビジョン検査システムの動作を実行することを含み得、特定の関心領域の画像を取得するステップにおいて、ワークピースは代表的なワークピースであり、当該ステップは、取得画像を画像ディスプレイに表示することを含み、マルチポイントＺ高さ測定ツールのインスタンスをアクティブ化するステップは、マルチポイントＧＵＩ要素を画像ディスプレイに表示することを含み、取得画像内の関心領域を定義するステップは、特定の関心領域を囲むようにマルチポイントＧＵＩ要素の関心領域インジケータを位置決めすることにより、表示画像内に関心領域を定義することを含む。

様々な実施形態の別の説明は、ワークピース上の合焦ベースＺ高さ測定を含むＺ高さ測定セットを特定するように、精密マシンビジョン検査システムを動作させる方法を含み得、精密マシンビジョン検査システムは、ユーザインタフェース、カメラを含む撮像部、制御可能な照明部、合焦部、及び画像プロセッサを含む制御部を含み、方法は、
（ａ）ワークピースに合焦点動作を実行する関心領域を定義するように精密マシンビジョン検査システムを動作させること、
（ｂ）関心領域を含み、定義されたＺ高さ範囲内の異なる合焦Ｚ高さを有する画像を含むＮ個の画像スタックに関連付けられたＮ個の各照明ベクトルを定義するように、精密マシンビジョン検査システムを動作させることであって、Ｎは少なくとも２であり、Ｎ個の各照明ベクトルを定義することは、
（ｂ１）関心領域内の明ピクセル位置がカメラの輝度範囲の上部２５％の輝度値を含む、第１の輝度基準を満たすように、且つ明るさ上限以上の輝度値を有する関心領域内の最も明るいピクセル位置の第１の数が、Ｚ高さ範囲内の各合焦Ｚ高さを有するとともに、第１の各照明ベクトルに対応する画像露光レベルを有する少なくとも１つの第１の画像において特定される、関心領域内のピクセル位置の第１の小割合に制限されるように、第１の各照明ベクトルを定義すること、及び
（ｂ２）第２の輝度基準が満たされるように、第２の各照明ベクトルを定義することであって、明るさ下限以下の輝度値を有する関心領域内の最も暗いピクセル位置の第２の数が、Ｚ高さ範囲内の各合焦Ｚ高さを有するとともに、第２の各照明ベクトルに対応する画像露光レベルを有する少なくとも１つの第２の画像において特定される、関心領域内のピクセル位置の第２の小割合に制限される、定義すること、
を含む、動作させること、並びに
（ｃ）動作（ｃ１）及び（ｃ２）のセットのうちの少なくとも一方を実行すること、
を含み、（ｃ１）は、
後に、対応するワークピース上の対応する関心領域を検査する場合に使用するために、Ｎ個の各照明ベクトルをパートプログラムに関連して記憶することであって、パートプログラムは、
Ｎ個の各照明ベクトルに基づいてＮ個の画像スタックを取得すること、
Ｎ個の画像スタックのどれが、各合焦点データポイント位置での最良Ｚ高さ品質尺度を有するかを特定すること、及び
各合焦点データポイント位置において、最良Ｚ高さ品質尺度を有する画像スタックに関連付けられたＺ高さ測定が、その合焦点データポイント位置におけるＺ高さ測定として識別されるように、画像スタックから導出されるＺ高さ測定データを提供すること、
を含み
（ｃ２）は、
Ｎ個の各照明ベクトルに基づいてＮ個の画像スタックを取得するように、精密マシンビジョン検査システムを動作させること、
Ｎ個の画像スタックのどれが、各合焦点データポイント位置において最良Ｚ高さ品質尺度を有するかを判断すること、及び
各合焦点データポイント位置において、Ｚ高さ測定が、その合焦点データポイント位置において最良Ｚ高さ品質尺度を有する画像スタックに基づくように、画像スタックから導出されるＺ高さ測定データを提供すること、
を含む動作を実行する命令を含む。

いくつかの実施形態では、ステップ（ｂ１）において、明るさ上限以上の輝度値を有する関心領域内の最も明るいピクセル位置の第１の数は、Ｚ高さ範囲内の各合焦Ｚ高さを有するとともに、第１の各照明ベクトルに対応する画像露光レベルを有する第１の複数の画像において特定される、関心領域内のピクセル位置の第１の小割合に制限し得、
ステップ（ｂ２）において、明るさ下限以下の輝度値を有する関心領域内の最も暗いピクセル位置の第２の数は、Ｚ高さ範囲内の各合焦Ｚ高さを有するとともに、第２の各照明ベクトルに対応する画像露光レベルを有する第２の複数の画像において特定される、関心領域内のピクセル位置の第２の小割合に制限し得る。

いくつかの実施形態では、ステップ（ｂ１）において、少なくとも１つの第１の画像は第１の画像からなり得、ステップ（ｂ２）において、少なくとも１つの第２の画像は第２の画像からなり得る。いくつかの実施形態では、第１及び第２の画像の各合焦Ｚ高さは異なり得る。いくつかの実施形態では、第１及び第２の画像の各合焦Ｚ高さは同じであり得る。

いくつかの実施形態では、ステップ（ｂ）は、Ｚ高さ範囲を定義すること、予備照明ベクトルを使用して、Ｚ高さ範囲内の複数の対応する合焦Ｚ高さの複数の画像を含む予備画像スタックを取得すること、予備画像スタックに基づいてピーク合焦Ｚ高さを特定すること、及びそのピーク合焦Ｚ高さを第１及び第２の画像の各合焦Ｚ高さとして使用することを含む動作を実行することを含み得る。いくつかの実施形態では、第１の各照明ベクトルを定義することは、第１の輝度基準を満たす少なくとも１つの第１の各画像が識別されるまで、各照明ベクトルを使用してピーク合焦Ｚ高さにおいて取得された各画像を繰り返し解析すること、及びその少なくとも１つの第１の各画像に対応する各照明ベクトルを第１の各照明ベクトルとして使用することを含み得、第２の各照明ベクトルを定義することは、第２の輝度基準を満たす少なくとも１つの第２の各画像が識別されるまで、各照明ベクトルを使用してピーク合焦Ｚ高さにおいて取得された各画像を繰り返し解析すること、及びその少なくとも１つの第２の各画像に対応する各照明ベクトルを第２の各照明ベクトルとして使用することを含み得る。

いくつかの実施形態では、方法は、照明状況を自動的に調整して、合焦ベース（合焦点又はＰＦＦ）３Ｄ表面プロファイル再構築の結果を向上させるものとして特徴付け得る。一実施形態では、方法は、画像スタック数及び画像取得に使用する、対応する照明設定を適応的に決定する。決定された画像スタック数及び対応する照明設定は、対応する照明設定でいくつかの画像スタックを取得し、Ｘ−Ｙ位置に関連付けるべきＰＦＦデータポイント値を、そのＸ−Ｙ位置でのいくつかの画像スタックの中で最良の対応するＺ高さ品質尺度値を有するそのＰＦＦデータに基づいて選択するパートプログラムに記録される。いくつかの実施形態では、輝度基準に基づいて、複数の照明レベル（例えば、少なくとも２つ、いくつかの実施形態では、３つの照明レベル又は４つ以上）を自動的に見つけ得る。複数の画像スタックを取得し得（例えば、各照明レベルで１つ）、選択された各照明レベルでの結果を、Ｚ高さ品質尺度を使用して効率的に結合して、３Ｄ表面プロファイル再構築を提供し得る。自動光調整により、特に、カメラのダイナミックレンジを超え得る照明変動を生じさせ得るような、測定エリアが広範囲の表面角度を含む場合、単一の照明設定よりも多数の表面ポイントの３Ｄ再構築が可能になることが理解されるだろう。

本発明の別の態様の一実施形態では、一実施態様において、方法は、第１のユーザ選択又は標準の照明設定において第１の画像スタックを撮影することにより開始される。次に、この画像スタックのピーク合焦位置が特定される。次に、ステージがピーク合焦位置に移動する。次に、ピーク合焦位置において少数のみの飽和又は「明」ピクセルを生成する低照明設定が決定される。次に、ピーク合焦位置において少数のみの「暗」ピクセルを生成する高照明設定が決定される。次に、低照明設定と高照明設定との（又はこれらの設定と初期照明設定との）差が大きいか否かが判断される。差が、低及び高照明設定のそれぞれで大きい場合、対応する画像スタックが、低及び高照明設定のそれぞれで取得され、その他の場合、初期又は妥協した照明設定を利用し得る。

本発明の別の態様の一実施形態では、特定の一実施態様において、各画像スタックの「明るすぎる」及び「暗すぎる」表面領域を最小化するように、下限及び上限照明レベル設定を自動的に決定し得る。どのピクセルを明るすぎる（例えば、過飽和）又は暗すぎるものとして分類すべきかの判断は、どのピクセルが、決定される特定のグレースケールレベルを上回るか、又は下回るかに従って行い得る。次に、関心領域内の合計ピクセル数のうちの指定された数又は割合が指定された明るすぎる／暗すぎるレベルである場合、照明レベル検索を完了したと見なし得る。特定の一実施形態例では、所望の「低」照明レベルを、合計ピクセル数の指定の小割合が明るすぎる場合に従って選択し得、その一方で、「高」照明レベルを、合計ピクセル数の指定の小割合が暗すぎる場合に従って選択し得る。

本発明の別の態様の一実施形態では、特定の一実施形態例において、画像スタックの「明るすぎる」表面領域を最小化する低照明設定の決定は、関心領域の最も明るいピクセル位置がカメラの輝度範囲の上部割合（例えば、上部２５％）内の輝度値を含む第１の輝度基準が満たされるように、且つ明るさ上限以上の輝度値を有する関心領域の最も明るいピクセル位置の第１の数が、関心領域の合計画像ピクセル数の第１の小割合（例えば、０．１％）に制限されるように、第１の各照明ベクトルを定義することを含む。画像スタックの「暗すぎる」表面領域を最小化する高照明設定を決定する場合、第２の各照明ベクトルは、明るさ下限以下の輝度値を有する関心領域の暗いピクセル位置の第２の数が第２の小割合（例えば、０．１％）に制限されるように、定義される。

本発明の別の態様の一実施形態では、決定される低及び高照明設定は、性能に応じてパートプログラムを用いて保存し記憶してもよく、又はそうしなくてもよい。換言すれば、照明状況に応じて、１つのみの追加の照明レベル設定を使用してもよく、又は使用しなくてもよい（例えば、アルゴリズムは、ユーザが指定する場合、又は標準の照明レベルが、十分に少数の「明るすぎる」又は「暗すぎる」ピクセルがあるように適切な表面照明を提供する場合、任意の追加の照明レベルセットを保存しなくてもよい）。

本発明の別の態様の一実施形態では、単一の画像（すなわち、代表的なＺ位置に対応する）が、所望の照明レベルを決定するために、予備画像スタックから選択される。一実施態様では、標準のシャープネスさ（例えば、コントラスト）測定を適用して、予備画像スタックから代表的な画像を見つけ得る。このプロセスでは、マルチポイント合焦点ビデオツールの関心領域全体を使用して、この測定を計算し得る（小さく局所的な関心領域のみとは対照的に）。換言すれば、特定の実施態様では、単一の画像（すなわち、ステージの移動先の単一のＺ位置）に頼り、照明調整がいかに表面の照明を変化させるかを特定し得る。次に、アルゴリズムの調整ループにおいて繰り返し各高速で、指定されたＺ位置での単一の「ライブ」カメラ画像を取得し解析することができる。

当業者は、確実な結果のために、合焦がまず、画像の暗い部分のみ（又は少なくとも）が、その暗い部分の照明を調整するために良好に合焦され、次に、画像の明るい部分のみ（又は少なくとも）が、その明るい部分の照明を調整するために良好に合焦されるように設定されるように設定される照明設定方法が必要であると仮定する。しかし、そのような方法とは対照的に、広範囲の産業用ワークピースでは、最高（又は略最高）の全体のシャープネス又は合焦測定を、公称レベルの照明（例えば、操作者／観測者により設定される、例えば、関心領域の主観的な「良好」画像を提供する照明又は公称的に自動的に決定される照明レベル）を使用して取得された画像スタックの関心領域に提供するＺ高さで取得される画像が、明るい部分及び暗い部分の両照明レベルの設定に適切、又はさらには最良の画像である傾向を有することが実験的に特定されている。この方法は好ましいが、様々な実施形態において必ずしも必要であるわけではない。代替の一実施形態では、低照明設定を見つける調整の第１のフェーズで、最大数の「明るすぎる」ピクセルを有する画像（すなわち、指定されたＺ高さ）を選択し得、高照明設定を見つける調整の第２のフェーズで、最大数の「暗すぎる」ピクセルを有する画像（すなわち、指定されたＺ高さ）を選択し得る。しかし、上記で示されたように、特定の実施態様では、このデュアル画像調整技法の結果は実験的に、関心領域に最高の高「平均」シャープネスを有する単一の画像（すなわち、単一のＺ位置）を利用する技法よりも好ましさが劣ると判断されている。

本発明の別の態様の一実施形態では、照明レベルの設定は、複数の個々の光の複数の設定を含み得る。特定の一実施形態例では、個々に調整可能な光は、落斜、透過、リング光の４セグメント、リングライト位置等の光を含み得る。別の実施形態では、効率を理由として、照明設定の探索中、照明調整は、選択された数の個々の光（例えば、落斜及び／又は透過のみ等）に制限し得る。

本発明の別の態様の一実施形態では、一実施形態において、追加の照明設定の探索を、学習モード中のみに実行し得る。これは、異なる照明設定の探索はかなり時間がかかり得（例えば、約１分）、それにより、実行モード中に実行するには非効率的であり得るために行い得る。照明設定が、学習モード中に確立されると、パートプログラムに記憶され、次に、実行モード中に使用されて、新しい照明設定のいかなる追加の検索もなく複数の画像スタックを取得する。したがって、そのような実施態様での実行モード中に必要な唯一の追加の時間は、実行モード中に追加の照明設定を検索するために必要な追加の時間とは対照的に、追加の画像スタックの取得及び解析に費やされる時間である。したがって、学習モード中、画像スタック数及び対応する照明設定を適応的に決定し、次に、実行モード中にそれらのパラメータを使用することにより、高速で効率的な方法が提供されることが理解されるだろう。代替の実施形態では、特定の状況下で、動的実行モードを実施し得、追加の照明設定の探索を実行モード中に実行し得る。そのような実施態様は、実行モード中に追加の照明設定の探索を実行するために必要な追加時間を犠牲にして、実行モードの結果の精度を向上させる努力の一環として使用し得る。

本発明の別の態様の一実施形態では、Ｚ高さ品質尺度を使用して、どのデータを表面再構築に使用すべきかを判断し得る（すなわち、様々な照明設定で取得された複数の画像スタックからの３Ｄ再構築の結果を組み合わせ得る）。換言すれば、複数の画像スタックが、表面の３Ｄ再構築を生成する様々な照明設定で、所与のピクセル（すなわち、Ｘ−Ｙ平面内の所与の表面位置）にわたり取得される場合、シャープネス曲線を、複数の画像スタックの中から最高のＺ高さ品質尺度を有する画像スタックに従って選択し得る。この特徴を、本明細書において開示される複数の画像スタックの照明設定方法と組み合わせて使用して、本明細書に開示されるマルチポイントビデオツールにおいてＺ高さを測定する簡素化され、高速であるがそれでもなお確実な特定の方法が提供される。

本発明の別の態様の一実施形態では、一実施形態において、Ｚ高さ品質尺度は一般に、合焦ピーク決定データセットにより示される代表的なピーク高さと代表的なノイズレベル又は「ノイズ高さ」との関係（例えば、比率又は割合）に基づく尺度として定義し得る。特定の一実施態様では、Ｚ高さ品質尺度は、合焦ピーク決定データセットの最大値（又は合焦ピーク決定データセットに当てはめられた曲線）から合焦ピーク決定データセットの基線値（又は合焦ピーク決定データセットに当てはめられた曲線）を差し引いたものを、合焦ピーク決定データセットの推定ノイズ値で除算した比率として定義し得る。特定の実施態様では、合焦ピーク決定データセットの基線は、中央値として推定し得、そのセット内の値の大半は基線近傍にあり得、通常、比較的少数の値が合焦ピーク領域に生じ得る。そのような合焦ピーク決定データセットは、例えば、最良合焦位置の周囲にかなり大きなＺ高さ範囲にわたって広がる比較的多数の画像（例えば、１００の画像）を含む画像スタックに対応し得る。特定の実施態様では、推定ノイズ値は合焦ピーク決定データセットの中央値からの中央値絶対差として決定し得る。

本発明の別の態様の一実施形態では、特定の一実施態様例において、Ｚ高さ品質尺度を計算する特定の式は、最大コントラスト値から、各コントラスト曲線内のすべてのコントラスト値の中央値である基線コントラスト値を差し引いたものを含む分子を有し得る。式の分母は、コントラスト曲線のすべてのコントラスト値と基線コントラスト値との差の絶対偏差の中央値を含み得る。この式中、一般に、分母は曲線のノイズの多さを推定することが理解されるだろう。大きなノイズ（すなわち、基線からの大きな中央値絶対偏差）は、より低い合焦品質を示す。

本発明の別の態様の一実施形態では、様々な照明の画像スタックは、輝度基準に基づいて結合／選択することができるが、結合／選択基準としてのＺ高さ品質尺度の利用は、特定の実施態様では優れた結果を提供する。Ｚ高さ品質尺度を基準として利用することの顕著な一利点は、選択の基本としてのＺ高さ品質尺度の使用が一般に、選択に輝度基準を使用するよりも分かりやすく、関連性が高く、且つロバストであるという点で、照明レベルの選択がより寛容になることである。さらに、特定の合焦品質メタデータを、後の適用のために記憶し利用することもできる。

いくつかの実施形態では、本明細書に開示される教示に基づく照明及び解析を有する複数の画像スタックを提供することに基づくマルチポイントＺ高さ測定を提供するモードで動作するマルチポイントＺ高さ測定ツールは、単一の画像スタック及び単一の照明設定がマルチポイントＺ高さ測定の提供に使用される従来既知の動作を提供するモードで動作することもできる。モードは、マルチポイントＺ高さ測定ツールに関連付けら得たＧＵＩ要素を使用して選択し得る。いくつかの実施形態では、ユーザは、マルチポイントＺ高さ測定ツールが、「高精度」を強調するモード（例えば、データ取得時間及び／又は実行時間を犠牲にして、いくつかの小領域でより最適な照明を有する画像スタックを提供し得る）で動作するか、それとも「高速」を強調するモード（例えば、いくつかの小領域で最適に満たない照明を提供して、データ取得時間及び／又は実行時間を短縮する）画像スタックを提供し得る）で動作するかを決定し得る。

図面の簡単な説明
上記態様及び本明細書に開示される実施形態の付随する利点の多くは、添付図面と併せて行われる以下の詳細な説明を参照することによりよく理解されるため、より容易に理解されるだろう。

汎用精密マシンビジョン検査システムの様々な典型的な構成要素を示す図である。 マシンビジョン検査システムの制御システム部及びビジョン構成要素部のブロック図である。 単一の照明設定を用いて撮影された複雑な物体の表面の画像の図である。 照明設定を変更させて撮影した図３の複雑な物体の画像の図である。 照明設定を変更させて撮影した図３の複雑な物体の画像の図である。 照明設定を変更させて撮影した図３の複雑な物体の画像の図である。 低合焦品質値を表す曲線を示すグラフである。 高合焦品質値を表す曲線を示すグラフである。 照明設定を変更させて撮影された、概略的に表された一連の可変合焦画像スタックの図である。 Ｚ高さ測定ツールユーザインタフェースの一実施形態の様々な特徴を示す図である。 Ｚ高さ測定ツールユーザインタフェースの一実施形態の様々な特徴を示す図である。 複数の画像スタック及び複数の照明ベクトルの利用に関連するパラメータを含むＺ高さ測定ツールユーザインタフェースの一実施形態に関連する様々な設定を示す図である。 複数の画像スタック及び複数の照明ベクトルの利用に関連するパラメータを含むＺ高さ測定ツールユーザインタフェースの一実施形態に関連する様々な設定を示す図である。 複数の画像スタック及び複数の照明ベクトルの利用に関連するパラメータを含むＺ高さ測定ツールユーザインタフェースの一実施形態に関連する様々な設定を示す図である。 複数の画像スタック及び複数の照明ベクトルの利用に関連するパラメータを含むＺ高さ測定ツールユーザインタフェースの一実施形態に関連する様々な設定を示す図である。 複数の画像スタック及び複数の照明ベクトルを利用してＺ高さ測定を実行する一実施形態を示す例示的なルーチンを示す流れ図である。 複数の画像スタック及び複数の照明ベクトルを利用してＺ高さ測定を実行する一実施形態を示す例示的なルーチンを示す流れ図である。 単一の画像及び単一のＺ高さのみを利用しながら、複数の照明ベクトルを検索する例示的なルーチンを示す流れ図である。 複数の画像スタック及び複数の照明ベクトルを利用してＺ高さ測定を実行する別の実施形態を示す例示的なルーチンを示す流れ図である。 複数の画像スタック及び複数の照明ベクトルを利用してＺ高さ測定を実行する別の実施形態を示す例示的なルーチンを示す流れ図である。 図９、図１０、又は図１１のルーチン内の照明パラメータを決定する動作の一実施形態を示す例示的なルーチンを示す流れ図である。 複数の画像スタック及び照明設定を利用するＺ高さ測定ツールに関連付けられた様々な特徴を含むマシンビジョン検査システムユーザインタフェース表示の一実施形態を示す図である。 援用された’０５４号公報に記載される動作の一実施形態を示す例示的なルーチンを示す流れ図であり、この動作は、本明細書に開示されるマルチポイントＺ高さ測定ツールにより解析される複数の画像スタックのそれぞれの解析に使用し得、図１４に示されるＺ高さ尺度は、図９又は図１１のルーチンにおいてＺ高さ品質尺度として使用し得る。

詳細な説明
図１は、一実施形態において使用可能な例示的な１つのマシンビジョン検査システム１０のブロック図である。マシンビジョン検査システム１０は画像測定機１２を含み、画像測定機１２は、制御コンピュータシステム１４とデータ及び制御信号を交換するように動作可能に接続される。制御コンピュータシステム１４は、モニタ又はディスプレイ１６、プリンタ１８、ジョイスティック２２、キーボード２４、及びマウス２６とデータ及び制御信号を交換するようにさらに動作可能に接続される。モニタ又はディスプレイ１６は、マシンビジョン検査システム１０の動作の制御及び／又はプログラムに適したユーザインタフェースを表示し得る。

画像測定機１２は、可動式ワークピースステージ３２と、光学撮像システム３４とを含み、光学撮像システム３４はズームレンズ又は交換式レンズを含み得る。ズームレンズ又は交換式レンズは一般に、光学撮像システム３４により提供される画像に様々な倍率を提供する。マシンビジョン検査システム１０は一般に、上述したQUICK VISION（登録商標）シリーズのビジョンシステム及びQVPAK（登録商標）ソフトウェア並びに類似の現在市販されている精密マシンビジョン検査システムに匹敵する。マシンビジョン検査システム１０は、本願と同じ譲受人に譲渡された米国特許第７，４５４，０５３号及び２００８年１２月２３日に出願された、同時係属中であり、本願と同じ譲受人に譲渡された米国特許第８，１１１，９３８号にも記載されており、これらのそれぞれを参照により本明細書に援用する。画像測定機及び制御システムの様々な態様も、２００３年８月４日に出願された、同時係属中であり、本願と同じ譲受人に譲渡された米国付与前公開第２００５／００３１１９１号及び２００４年３月２５日に出願された米国特許第７，３２４，６８２号により詳細に記載されており、これらのそれぞれを参照により本明細書に援用する。

図２は、一実施形態でのマシンビジョン検査システム１００の制御システム部１２０と、ビジョン構成要素部２００とのブロック図である。より詳細に後述するように、制御システム部１２０は、ビジョン構成要素部２００の制御に利用される。ビジョン構成要素部２００は、光学アセンブリ部２０５と、光源２２０、２３０、及び２４０と、中央透明部２１２を有するワークピースステージ２１０とを含む。ワークピースステージ２１０は、ワークピース２０を位置決めし得るステージ表面に略平行する平面内にあるＸ軸及びＹ軸に沿って制御可能に移動可能である。光学アセンブリ部２０５は、カメラ系２６０と、交換式対物レンズ２５０とを含み、レンズ２８６及び２８８を有するターレットレンズアセンブリ２８０と、落斜照明光源２３０とを含み得る。ターレットレンズアセンブリに対する代替として、固定レンズ、又は手動で交換可能な倍率変更レンズ、又はズームレンズ構成等を含み得る。光学アセンブリ部２０５は、さらに後述するように、制御可能なモータ２９４を使用することにより、Ｘ軸及びＹ軸に略直交するＺ軸に沿って制御可能に移動可能である。

マシンビジョン検査システム１００を使用して撮像すべきワークピース２０は、ワークピースステージ２１０に配置される。透過照明光２２０、落斜照明光２３０、及び斜め照明光２４０のうちの１つ又は複数は、光源光２２２、２３２、又は２４２のそれぞれを発して、ワークピース２０を照明する。光源光はワークピース光２５５として反射又は透過し、交換式対物レンズ２５０及びターレットレンズアセンブリ２８０を通過し、カメラ系２６０に集められる。カメラ系２６０により取得されたワークピース２０の画像は、信号線２６２上で制御システム部１２０に出力される。光源２２０、２３０、及び２４０は、信号線又はバス２２１、２３１、及び２４１のそれぞれを通して制御システム部１２０に接続し得る。画像の倍率を変更するには、制御システム部１２０は、信号線又はバス２８１を通して、軸２８４に沿ってターレットレンズアセンブリ２８０を回転させて、ターレットレンズを選択し得る。

様々な例示的な実施形態では、光学アセンブリ部２０５は、制御可能なモータ２９４を使用してワークピースステージ２１０に対して垂直なＺ軸方向に移動可能であり、制御可能なモータ２９４は、アクチュエータ、接続ケーブル等を駆動して、光学アセンブリ部２０５をＺ軸に沿って移動させ、カメラ系２６０により取得されるワークピース２０の画像のフォーカスを変更する。本明細書で使用される場合、Ｚ軸という用語は、光学アセンブリ部２０５により得られる画像の合焦に使用することを意図する軸を指す。制御可能なモータ２９４は、使用時に、信号線２９６を介して入出力インタフェース１３０に接続される。

図２に示されるように、様々な例示的な実施形態では、制御システム部１２０は、コントローラ１２５と、入出力インタフェース１３０と、メモリ１４０と、ワークピースプログラム生成・実行器１７０と、電源部１９０とを含む。これらの構成要素のそれぞれ並びに後述する追加の構成要素は、１つ若しくは複数のデータ／制御バス及び／又はアプリケーションプログラミングインタフェースにより、或いは様々な要素間の直接接続により相互接続し得る。

入出力インタフェース１３０は、撮像制御インタフェース１３１と、運動制御インタフェース１３２と、照明制御インタフェース１３３と、レンズ制御インタフェース１３４とを含む。運動制御インタフェース１３２は、位置制御要素１３２ａと、速度／加速度制御要素１３２ｂとを含み得る。しかし、様々な例示的な実施形態では、そのような要素は統合且つ／又は区別不可能であってもよいことを理解されたい。照明制御インタフェース１３３は照明制御要素１３３ａ〜１３３ｎを含み、照明制御要素１３３ａ〜１３３ｎは、例えば、マシンビジョン検査システム１００の様々な対応する光源の選択、電力、オン／オフ切り替え、及び該当する場合にはストローブパルスタイミングを制御する。

メモリ１４０は、画像ファイルメモリ部１４１と、１つ又は複数のパートプログラム等を含み得るワークピースプログラムメモリ部１４２と、ビデオツール部１４３とを含む。ビデオツール部１４３は、ツール部１４３ａと、他の同様のツール部とを含み、これらのツール部は、対応する各ツールのＧＵＩ、画像処理動作等を決定する。ビデオツール部１４３は関心領域生成器１４３ｘも含み、関心領域生成器１４３ｘは、ビデオツール部１４３に含まれる様々なビデオツールで動作可能な様々なＲＯＩを定義する自動、半自動、及び／又は手動の動作をサポートする。

ビデオツール部１４３はＺ高さ測定ツール部１４３ｇも含み、Ｚ高さ測定ツール部１４３ｇは、さらに詳細に後述するように、Ｚ高さ測定動作に関連する様々な動作及び機能を提供する。一実施形態では、Ｚ高さ測定ツール部１４３ｇは、Ｚ高さツール１４３ｇａ及びＺ高さツールモード制御１４３ｇｂを含み得る。Ｚ高さツール１４３ｇａは、マルチ領域オートフォーカスツール１４３ｇａａと、マルチポイントオートフォーカスツール１４３ｇａｂと、白色光干渉計ツール１４３ｇａｃとを含み得る。Ｚ高さツールモード制御１４３ｇｂは、複数画像スタック・複数照明ベクトル制御部１４３ｇｂａ及びＺ高さ品質特定部１４３ｇｂｂを含み得る。

手短に言えば、Ｚ高さ測定ツール部１４３ｇは、既知のＺ高さ測定ツールと同様の少なくともいくつかの動作を実行し得、例えば、合焦曲線の全部又は一部を生成し、ピークを最良合焦位置として見つける動作を学習モード及び実行モードで実行し得る。本開示の主題である追加のＺ高さ測定ツール動作について、さらに詳細に後述する。

より詳細に後述するように、複数画像スタック・複数照明ベクトル制御部１４３ｇｂａは、一実施形態において動作し、複数の照明ベクトルを用いて撮影される複数の画像スタックを利用して、測定面の再構築の精度を向上させる。一実施形態では、複数の照明レベル（例えば、２つ、３つ、又は４つ以上の照明レベル）が、輝度基準に基づいて自動的に見つけられ、選択された各照明レベル（例えば、最高で３つの画像スタック）での３Ｄ合成の結果が、Ｚ高さ品質尺度を使用して効果的に結合される。Ｚ高さ品質尺度は、Ｚ高さ品質特定部１４３ｇｂｂにより特定され、特定の関心領域に対して定義し得る。いくつかの実施形態では、関心のある領域又は小領域は、個々のピクセル位置に対応するか、又は個々のピクセル位置を表すように定義されたピクセルの小セットを含み得る。

Ｚ高さ測定ツール部１４３ｇに対する代替の構成も可能である。例えば、Ｚ高さツール１４３ｇａは追加のＺ高さ測定ツール要素を提供し得、モード制御部１４３ｇｂは、どのツール動作が望まれるかに応じて、ユーザインタフェースと、Ｚ高さ測定ツール要素の相互関係とを管理する動作を提供し得る。より一般には、本明細書に開示される実施形態は、マシンビジョン検査システム１００と併せて動作可能であり、Ｚ高さ測定動作に関連して本明細書に開示される機能を提供する任意の現在既知の形態又は後に開発される形態で実施し得る。

一般に、メモリ部１４０は、ワークピース２０の取得画像が所望の画像要素を有するように、ワークピース２０の画像を捕捉又は取得するビジョンシステム構成要素部２００の動作に使用可能なデータを記憶する。メモリ部１４０は、検査結果データも記憶し得るとともに、マシンビジョン検査システム１００を動作させて、取得画像に対して様々な検査動作及び測定動作を手動又は自動で実行し（例えば、部分的にビデオツールとして実施される）、入出力インタフェース１３０を通して結果を出力するために使用可能なデータをさらに記憶し得る。メモリ部１４０は、入出力インタフェース１３０を通して動作可能なグラフィカルユーザインタフェースを定義するデータを含むこともできる。

透過照明光２２０、落斜照明光２３０、及び斜め照明光２４０のそれぞれの信号線又はバス２２１、２３１、及び２４１はすべて、入出力インタフェース１３０に接続される。カメラ系２６０からの信号線２６２及び制御可能なモータ２９４からの信号線２９６は、入出力インタフェース１３０に接続される。画像データの伝送に加えて、信号線２６２は、画像取得を開始する信号をコントローラ１２５から伝送し得る。

１つ又は複数のディスプレイ装置１３６及び１つ又は複数の入力装置１３８も、入出力インタフェース１３０に接続することができる。ディスプレイ装置１３６及び入力装置１３８を使用して、ユーザインタフェースを表示することができ、ユーザインタフェースは、様々なユーザグラフィカルインタフェース（ＧＵＩ）機能を含み得、ＧＵＩ機能は、カメラ系２６０により取得された画像を閲覧し、且つ／又はビジョンシステム構成要素部２００を直接制御するために、検査動作の実行、並びに／或いはパートプログラムの作成及び／又は変更に使用可能である。予め定義されたパートプログラム（又はワークピースプログラム）を有する完全に自動化されたシステムでは、ディスプレイ装置１３６及び／又は入力装置１３８はなくてもよい。

様々な例示的な実施形態では、ユーザは、マシンビジョン検査システム１００を利用して、ワークピース２０のパートプログラムを作成する場合、ワークピースプログラミング言語を使用して明示的に命令を自動的、半自動的、若しくは手動でコーディングすることにより、又は学習モードでマシンビジョン検査システム１００を動作させて、所望の画像取得トレーニングシーケンスを提供することで、命令を生成することにより、パートプログラム命令を生成する。例えば、トレーニングシーケンスは、ワークピース要素を視野（ＦＯＶ）内に位置決めすること、照明レベルを設定すること、フォーカス又はオートフォーカスすること、画像を取得すること、及び画像に適用される検査トレーニングシーケンスを提供すること（例えば、ビデオツールを使用して）を含み得る。学習モードは、シーケンスを取得し、対応するパートプログラム命令に変換するように動作する。これらの命令は、パートプログラムが実行される場合、マシンビジョン検査システムにトレーニングされた画像取得・検査動作を再現させて、パートプログラム作成時に使用されたワークピースに適合する１つ又は複数のワークピースを自動的に検査する。

ワークピース画像の要素を検査するために使用されるこれらの解析及び検査方法は通常、Ｚ高さ測定ツール部１４３ｇを含め、メモリ１４０のビデオツール部１４３に含まれる様々なビデオツールで実施される。多くの既知のビデオツール又は略して「ツール」は、上述したQUICK VISION（登録商標）シリーズのビジョンシステム及び関連付けられたQVPAK(登録商標）ソフトウェア等の市販のマシンビジョン検査システムに含まれる。

上述し、より詳細に後述するように、Ｚ高さツール１４３ｇａ等のＺ高さ測定ツールは通常、一連の画像を取得し、「最良合焦」位置を特定するプロセスの一環として、合焦曲線を作成する。複数画像スタック・複数照明ベクトル制御部１４３ｇｂａ及びＺ高さ品質特定部１４３ｇｂｂを利用する方法を利用することにより、ＰＦＦ（Point From Focus）動作及び表面再構築のためのより正確なＺ高さ測定を達成することができる。

図３は、単一の照明設定を用いて撮影された複雑な物体３０１（例えば、医療用ドリルビット）の表面の画像３００の図である。より詳細に後述するように、特定の場合において、単一の照明設定では、複雑な表面の正確な表現を再構築する撮像動作には不十分であり得ると判断された。これは特に、測定面が広範囲の表面角度を含み、所与のカメラのダイナミックレンジを超え得る照明変動を生じさせる場合に当てはまる。図３に示されるように、単一の照明設定が、複雑な物体３０１の表面の再構築中に使用される場合、図３の中央エリア３１４の画像は、過飽和していないので、表面の再構築に使用し得るが、再構築される表面は欠落エリア（例えば、暗すぎるエリア３１０並びに明るすぎるエリア３１２及び３１６）を有し得る。

換言すれば、物体３０１の複雑な形状により、照明レベルは表面で広く変化する。これにより、非常に暗いエリア（例えば、エリア３１０）及び非常に明るい（過飽和した）エリア（例えば、エリア３１２及び３１６）でのコントラスト不足が生じる。コントラスト不足は、これらの位置で表面を確実に再構築することを難しくする。いくつかの場合、コントラスト不足は、カメラのダイナミックレンジを超える照明の変動を原因とし得る。一実施形態では、コントラストが低すぎて、表面の特定のエリアを確実に再構築することができないかどうかについての判断を、図５Ａ及び図５Ｂに関してより詳細に後述するように、Ｚ高さ品質尺度に従って行い得る。

図４Ａ〜図４Ｃは、３つの異なる照明設定で撮影された図３の複雑な物体３０１の表面の画像の図である。図４Ａに示されるように、比較的低い照明設定が利用される（例えば、画像内の比較的少数のピクセルが過飽和する照明設定）。より詳細に後述するように、特定の実施形態では、そのような低照明設定は、特定の指定された基準（例えば、カメラの輝度範囲の上部２５％にある画像の明ピクセルの数を、関心領域の合計ピクセル数の０．１％等の比較的小さな割合に制限する）に従って選択し得る。図４Ａに示される比較的低い照明設定の結果、普通ならば、より標準的な照明設定で過飽和ピクセルを有するおそれがあるエリア（例えば、それに対応して角度があり、高反射性のエリア４１２Ａ及び４１６Ａ）が、カメラのダイナミックレンジ内にあるものとして示され、したがって、表面がそれらのエリアでより確実に再構築され得る画像部分になる。

図４Ｂは、中程度の照明設定（例えば、図３の照明レベルに対応し得るか、ユーザ選択されるか、又は「標準」の照明レベル等）を示す。図３に関して上述したように、エリア４１２Ｂ及び４１６Ｂは、照明がカメラのダイナミックレンジを超えた過飽和であるピクセルを示す。しかし、図４Ｂの中央エリア４１４Ｂは、過飽和せずに示され、したがって、そのエリアでの表面の正確な再構築に利用することができる。図４Ｂは、意味のある表面再構築にはなお暗すぎるエリア４１０Ｂも示す。

図４Ｃは比較的高い照明設定（例えば、極わずかな暗エリアがある照明設定）を示す。より詳細に後述するように、一実施形態では、図４Ｃの照明設定は、特定の指定された基準（例えば、明るさ下限以下の輝度値を有する関心領域の暗ピクセル位置の数が、関心領域の合計ピクセル位置の０．１％等の小割合に制限するように、照明ベクトルを定義する）に従って選択し得る。図４Ｃに示されるように、先の図４Ａ及び図４Ｂでは全体的に暗すぎたエリア４１０Ｃ及びエリア４１８Ｃは何れも、ここでは、それらのエリアでのより確実な表面再構築を可能にするのに十分なコントラストを有して示される。

図４Ａ〜図４Ｃに関して上述したように、複雑な表面構造を有する物体（例えば、医療用ドリルビット３０１等）では、確実な表面再構築を達成可能なように物体のすべての表面を十分に照明する単一の照明レベルを決定することは困難であり得る。より詳細に後述するように、一実施形態では、複数の画像スタックを異なる照明レベルで撮影し得、それにより、物体の表面のより確実な再構築のために、一連の画像を生成し得、そこから、異なる部分をとり得る。例えば、図４Ａ〜図４Ｃからの画像の異なる部分（例えば、図４Ａからのエリア４１２Ａ及び４１６Ａ、図４Ｂからのエリア４１４Ｂ、並びに図４Ｃからのエリア４１０Ｃ及び４１８Ｃ）を利用することにより、物体３０１の表面のより確実な再構築を生成し得る。図５Ａ及び図５Ｂに関してより詳細に後述するように、一実施形態では、どの画像からのどのデータを利用すべきかの判断及び確実な表面再構築のために任意の画像の特定のエリアでのコントラストが低すぎるか否かの判断は、Ｚ高さ品質尺度に従って行い得る。

一般に、より詳細に後述するように、本明細書に開示される様々な実施形態は、照明特徴に大きな変動を有し得る表面上の望ましくない欠落エリアを低減する、単純で自動化された解決策を提供する。複数の画像スタックを取得し得（例えば、一実施形態では、最高で３つの画像スタックを利用し得る）、各画像スタックは異なる照明設定で撮影される。取得されたすべての画像スタックの３Ｄ再構築結果が次に、Ｚ高さ品質尺度を使用して結合され、単一のより高品質の再構築が生成される。このようにして、物体の表面における広範囲の表面角度及び反射率にも拘わらず、再構築された表面に欠損が生じるおそれがあるエリアはわずかであるか、又はまったく生じない。

一実施形態では、追加の証明設定の探索は、学習モード中のみで実行し得る。これは、異なる照明設定の探索にかなり時間がかかるかもしれず（例えば、約１分）、、実行モード中に実行することが非効率であろう場合に行い得る。照明レベルが学習モード中に設定されると、パートプログラムに記憶される。そして、実行モード中にその設定が使用され、何ら新しい照明設定の追加検索をすることなく複数の画像スタックを取得する。したがって、実行モード中に必要な唯一の追加時間は、実行モード中に追加の照明設定を検索するために必要な追加時間とは対照的に、追加の画像スタックの取得及び解析に費やされる時間である。しかし、所望の場合、動的実行モードを利用することもでき、その場合、追加の照明レベル検索が実行モード中に実行される。この種の動的実行モードは、速度の犠牲が、結果として生じる実行モード結果の精度の向上に関して価値があると判断される場合に利用し得る。

図５Ａ及び図５Ｂは、低及び高Ｚ高さ品質尺度のそれぞれの代表的な曲線を示すグラフ５００Ａ及び５００Ｂの図である。グラフ５００Ａ及び５００Ｂは、式１によりＺ高さ品質尺度Ｑに関連する合焦曲線データを含む。

式１中、コントラスト関連尺度値は、ワークピース画像の各スタック内の各Ｘ−Ｙ位置のコントラストとＺ高さとの関係を含む合焦曲線データセットに基づくＺ高さ品質尺度Ｑを含む（図６に関してより詳細に後述するように）。式１中の変数は、分子に、最大コントラスト値ＭＡＸから、各コントラスト曲線内のすべてのコントラスト値の中央値であり得る基準コントラスト値ＢＡＳを差し引いたものを含み、分母に、コントラスト曲線のｉ番目のコントラスト値Ｃｉと、基準コントラスト値ＢＡＳとの差の絶対偏差の中央値を含む。

式１の分母が一般に、曲線のノイズの多さを推定することが理解されるだろう。大きなノイズ（すなわち、基準からの大きな中央値絶対偏差）は、低い合焦品質に繋がる。例えば、図５Ａのグラフ５００Ａは比較的ノイズが多く、したがって、大きな分母（すなわち、合焦尺度値基線ＦＭｂａｓｅｌｉｎｅからの大きな中央値絶対偏差）を有し、計算されるＺ高さ品質尺度Ｑは比較的低い。これとは対照的に、図５Ｂのグラフ５００Ｂは、比較的低いノイズを有する曲線を示し、これは比較的小さな分母（すなわち、合焦尺度値基線ＦＭｂａｓｅｌｉｎｅからの小さな中央値絶対偏差）に繋がり、計算されるＺ高さ品質尺度Ｑは比較的高い。グラフ５００Ａ及び５００Ｂでは、いくつかの場合、合焦尺度最大値ＦＭｍａｘ及びＦＭｍａｘ’が、合焦尺度ベースラインレベルＦＭｂａｓｅｌｉｎｅ及びＦＭｂａｓｅｌｉｎｅ’と同様に、同一レベルにあると推定し得（例えば、グラフ５００Ａ及び５００Ｂは同様の垂直尺度を有すると推定し得）、式１中の分子（すなわち、ＭＡＸ−ＢＡＳ）は各事例で同一である。他の場合、合焦尺度最大値ＦＭｍａｘ及びＦＭｍａｘ’が、合焦尺度ベースラインレベルＦＭｂａｓｅｌｉｎｅ及びＦＭｂａｓｅｌｉｎｅ’と同様に、異なるレベルにあると推定し得（例えば、グラフ５００Ａ及び５００Ｂは異なる垂直尺度を有すると推定し得）、式１中の分子（すなわち、ＭＡＸ−ＢＡＳ）は各事例で異なり得る。

Ｚ軸に沿った最良合焦位置に対応する合焦曲線のピークに対応する最大Ｚ高さ（例えば、ＦＭｍａｘ又はＦＭｍａｘ’）は、合焦曲線の特定に使用される関心領域のＺ高さである。一実施形態では、合焦曲線のピークに対応するＺ高さは、合焦曲線データに曲線を当てはめ、当てはめられた曲線のピーク位置を推定することにより見つけ得る。画像スタック及び合焦曲線を特定し解析する例示的な技法は、米国特許第６，５４２，１８０号において教示され、これを参照により本明細書に援用する。

より一般的には、Ｚ高さ品質尺度Ｑは、合焦ピーク決定データセットにより示される代表的なピーク高さと、合焦ピーク決定データセットにより示される代表的なノイズレベル又は「ノイズ高さ」との関係（例えば、比率又は割合）に基づく尺度として定義し得る。一実施形態では、そのような尺度は、合焦ピーク決定データセット（又は合焦ピーク決定データセットに当てはめられた曲線）から合焦ピーク決定データセット（又は合焦ピーク決定データセットに当てはめられた曲線）のベースライン値を差し引いたものを、合焦ピーク決定データセットの推定ノイズ値で除算したものの比率として定義し得る。特定の実施態様では、合焦ピーク決定データセットのベースラインは、中央値として推定し得、そのセット内の値の大半は、基線近傍にあり得、比較的少数の値のみが、合焦ピークの領域に生じ得る。そのような合焦ピーク決定データセットは、例えば、最良合焦位置を中心としたかなり大きなＺ高さ範囲にわたって拡がる比較的多数の画像（例えば、１００の画像）を含む画像スタックに対応し得る。特定の実施態様では、推定ノイズ値は、合焦ピーク決定データセットの中央値からの中央値絶対差として特定し得る。

最良合焦位置を中心としたかなり大きなＺ高さ範囲にわたって拡がる比較的多数の画像を含む画像スタックでは、式１に基づく大きな値のＱは、基礎データのノイズレベルと比較して強い合焦ピークを確実に示し、これは比較的信頼できるＺ高さ推定を生成する。本開示に基づいて、当業者は、合焦ピーク決定データセットに基づいて特定される推定Ｚ高さに関連付けるべきＺ高さ品質尺度を推定する、許容可能な代替の方法を決定し得る。例えば、データセットの標準偏差は、合焦尺度信号のノイズの測定（式１の分母に使用される）として使用し得るが、その測定は、合焦ピーク及びノイズの両方を信号値に組み込むという点で、特定の実施態様ではあまり望ましくないことがある。ノイズの別の測定は、合焦尺度信号を平滑化し（例えば、移動平均を使用して）、次に、平滑化された信号から未処理の合焦尺度信号の偏差を計算することにより特定し得る。このようにして、平滑化信号をノイズのない信号への近似として使用することができ、次に、ノイズを推定することができる。しかし、特定の実施態様では、この方法は、信号の平滑化に選ばれる技法に比較的依存し得る。

式１の他の部分にも同様に置換を決定し得る。例えば、合焦ピーク決定データセットの最大値は、いくつかの実施形態では、最も高い少数の値の平均で置換し得る。同様に、合焦ピーク決定データセットのベースライン値は、いくつかの実施形態では、最も低いいくつかの値の平均で置換し得る。他の実施形態では、最大値と基線値との差（式１の分子に使用される）を、合焦ピーク決定データセットの未処理データではなく、当てはめられた曲線（例えば、ガウス曲線）に基づいて推定し得る。当業者は、本明細書に開示される一般原理に基づいて他の変形を決定し得る。

一実施形態では、Ｚ高さ品質尺度Ｑを、どのデータを表面再構築に使用すべきかの判断に利用し得る。換言すれば、表面の３Ｄ再構築を生成するために、複数の画像スタックが様々な照明設定で取得される場合、所与のピクセル（すなわち、ｘ−ｙ平面内の所与の表面位置）で、複数の画像スタックの中から最も高いＺ高さ品質尺度を有するものに従って、シャープネス曲線を選択し得る。さらに、Ｚ高さ品質尺度は、様々な理由（例えば、テクスチャ不足、不十分な照明、過飽和、合焦範囲外の表面等）により、すべての画像スタックからの合焦ベース３Ｄ再構築がまだ不確実である特定の表面ポイントを取り除くために利用することもできる。換言すれば、特定の実施形態では、それらの位置に間違って又は不正確に再構築する危険を冒すのではなく、最終的な再構築表面に穴を残すことが好ましいと見なされ得る。

本明細書に開示される様々なビデオツールでは、すべての画像スタック（例えば、すべての照明レベルでの）は同じ関心領域のものである。大きな飽和が生じず、照明角度の変更が生じない場合、輝度が高いほど一般に、高いコントラストを提供するので、いくつかの実施形態では、輝度をＺ高さ品質尺度の代理として使用し得る。しかし、そのような実施態様は、本明細書に開示される真のＺ高さ品質尺度を使用することで、小領域のピンぼけに関連付けられた予測不能で望ましくない影響を認識し、解消することができるが、その一方で、より単純な小領域輝度解析では、そのような予測不能で望ましくないピンぼけの影響を検出し解決することができないという点で、真の小領域Ｚ高さ品質尺度を使用するほどはロバストではないことがある。

図６は、概略的に表された一連の可変合焦画像スタック６１０、６２０、及び６３０の図６００である。当分野において既知のように、画像スタック６１０、６２０、及び６３０のそれぞれを形成するために、カメラは、ｚ軸（合焦軸）に沿ってある範囲のＺ高さ位置を通して移動し、各位置で画像を取得し得る。取得画像毎に、合焦尺度は、画像内の関心領域又は関心小領域ＲＯＩ（ｋ）（例えば、ピクセルセット）に基づいて計算され、画像取得時のＺ軸に沿ったカメラの対応するＺ高さ位置に関連付けられる。これにより、合焦曲線データ（例えば、図５Ａ及び図５Ｂに示されるような）が得られる。一実施形態では、合焦尺度値は、画像の関心領域のコントラスト又はシャープネスの計算を含み得る。様々な実施形態では、合焦値又は曲線は正規化し得る。様々な合焦尺度計算技法が援用される引用文献に詳述されており、様々な適した合焦尺度関数も当業者には既知である。

図６に示されるように、第１の画像スタック６１０（例えば、中程度の照明レベルで撮影される）は、４つの画像ＩＭＧＬ１（１）〜ＩＭＧＬ１（４）を有するものとして示される。実際の実施形態では、より多数の画像（例えば、１００の画像）を所与の画像スタックに含め得ることが理解されるだろう。画像ＩＭＧＬ１（１）〜ＩＭＧＬ１（４）のそれぞれは、所与の照明設定及び各Ｚ高さを参照し得る。例えば、画像ＩＭＧＬ１（１）は照明設定Ｌ１（１）及びＺ高さＺ１（１）を参照し得、その一方で、画像ＩＭＧＬ１（２）は照明設定Ｌ１（２）及びＺ高さＺ１（２）を参照し得、その一方で、画像ＩＭＧＬ１（３）は照明設定Ｌ１（３）及びＺ高さＺ１（３）を参照し得、画像ＩＭＧＬ１（４）は照明設定Ｌ１（４）及びＺ高さＺ１（４）を参照し得る。

同様に、より低い照明設定（例えば、極わずかなピクセルが過飽和する）で撮影される第２の画像スタック６２０も、４つの画像ＩＭＧＬ２（１）〜ＩＭＧＬ２（４）を有するものとして示される。これらの各画像も所与の照明設定及び各Ｚ高さを参照し得、例えば、画像ＩＭＧＬ２（１）は照明設定Ｌ２（１）及びＺ高さＺ２（１）を参照し得、残りの画像ＩＭＧＬ２（２）〜ＩＭＧＬ２（４）も、所与の照明設定及び各Ｚ高さに従って同様に参照される。同様に、より高い照明設定（例えば、極わずかな暗ピクセルを有する）で撮影された第３の画像スタック６３０も、４つの画像ＩＭＧＬ３（１）〜ＩＭＧＬ３（４）を有するものとして示される。これらの各画像も所与の照明設定及び各Ｚ高さを参照し得、例えば、画像ＩＭＧＬ３（１）は照明設定Ｌ３（１）及びＺ高さＺ３（１）を参照し得、残りの各画像ＩＭＧＬ３（２）〜ＩＭＧＬ３（４）も、所与の照明設定及び各Ｚ高さに従って同様に参照される。上の図４Ａ、図４Ｂ、及び図４Ｃを参照して、一実施形態例では、エリア４１４Ｂ内のピクセルの場合、画像４００Ｂが、画像スタック６１０からの最良合焦画像を表し得る（例えば、画像ＩＭＧＬ１（３））。同様に、エリア４１２Ａからのピクセルの場合、画像４００Ａが、画像スタック６２０からの最良合焦画像を表し得（例えば、画像ＩＭＧＬ２（２））、その一方で、エリア４１０Ｃからのピクセルの場合、画像４００Ｃが、画像スタック６３０からの最良合焦画像を表し得る（例えば、画像ＩＭＧＬ３（２））。

これもまた図６に示されるように、画像スタック６４０は、画像スタック６１０、６２０、及び６３０に含まれたすべての画像を含むように形成し得る。一実施形態では、スタックが画像スタック６４０に示されるようにインタリーブされる場合、すべての画像が異なる高さになるように、スタック６１０、６２０、及び６３０において撮影される画像のＺ高さは散在する（例えば、各スタックで撮影された最初の画像は、すべて同じＺ高さで撮影されるのとは対照的に、異なるＺ高さで行われる）。別の実施形態では、画像及びそれぞれの各スタックは、大凡同じＺ高さで撮影し得る（例えば、画像スタック６１０、６２０、及び６３０のそれぞれの最初の画像は大凡同じＺ高さで撮影される）。代替の一実施形態では、画像スタック６１０、６２０、及び６３０が個々に撮影されるのではなく、画像スタック６４０を連続プロセスとして取得し得、その場合、各画像が撮影される前に照明設定が調整される。しかし、特定の実施態様では、各画像が撮影される前の照明設定の変更は、照明設定を変更する特定の既存の機器に存在し得る遅い応答時間のために、実用的ではない。換言すれば、使用中の機器が、照明設定の調整に多大な時間を必要とする場合、特定の場合、画像スタック６４０全体を連続プロセスとして撮影することはあまり実用的ではないと見なされ得る。

画像スタック６１０の最初の画像ＩＭＧＬ１（１）は、２つの関心領域ＲＯＩ（１）及びＲＯＩ（２）を含むものとして示される。「関心領域」という用語に関しては、異なる種類のツール（例えば、Ｚ高さツール１４３ｇａ）で、関心領域を別途定義し動作し得ることが理解されるだろう。例えば、既知の「マルチポイント」式オートフォーカスツール（例えば、図２のツール１４３ｇａｂ）は、マルチポイント式Ｚ高さツールにより定義される大域的関心領域の中にある複数の「関心小領域」（例えば、関心小領域の格子）各々に対応する複数のＺ高さを返し得る。例えば、そのような関心小領域は手動及び／又は自動的に、大域的関心領域内の各（又は大半の）ピクセルの中心にあるものとして定義し得る。したがって、場合によっては、関心領域（例えば、ＲＯＩ（１）及びＲＯＩ（２））は、大域的関心領域内の代表的な関心小領域として見なし得る。しかし、本質的なポイントは、任意の定義された関心領域のＺ高さを確定し得ることである。

したがって、関心領域という用語がＺ高さの確定に関連して使用される場合、関心小領域（例えば、マルチポイントオートフォーカスツールにより定義される大域的関心領域内の）をその用語の意味内に包含し得ることが理解されるだろう。このポイントを示すために、関心領域ＲＯＩ（１）及びＲＯＩ（２）は、マルチポイントオートフォーカスツールのいくつかの関心小領域で典型的なように、比較的小さく（例えば、３×３ピクセル）示されている。例えば、そのような領域サイズは、各関心領域（又は小領域)内の単一の中央ピクセルの合焦ピークを特定するために利用し得る。

図６の右側に示されるのは、小領域ＲＯＩ（１）及びＲＯＩ（２）を定性的に表現した合焦曲線である。例えば、合焦曲線ＦＣＬ２（１）は、そのすぐ左側に配置された定性的に示された画像スタックＩＭＧＬ２内の小領域ＲＯＩ（１）の合焦曲線結果を定性的に表し、その他の合焦曲線についても同様である。前の説明及び教示に基づいて、高い合焦曲線ピークほど、基礎画像の画像コントラスト及び／又はＺ高さ品質尺度がより良好であることが理解されるだろう。したがって、図６は、小領域ＲＯＩ（１）が画像スタックＩＭＧＬ１において最も適切な照明レベルを有し、その画像スタックで最高の合焦曲線ピークを示すことに導く例を示す。同時に、小領域ＲＯＩ（２）は、画像スタックＩＭＧＬ３において最も適切な照明レベルを有し、その画像スタックで最高の合焦曲線ピークを示すことに導く。前の説明及び教示に基づいて、高い合焦曲線ピークほど、多くの場合、基礎画像の画像コントラスト及び／又はＺ高さ品質尺度が良好であることが理解されるだろう。したがって、この場合、小領域ＲＯＩ（１）のＺ高さは、画像スタックＩＭＧＬ１の合焦曲線に基づいて最良と判断し得、小領域ＲＯＩ（２）のＺ高さは、画像スタックＩＭＧＬ３の合焦曲線に基づいて最良と判断し得る。

図７Ａ及び図７Ｂは、Ｚ高さツールユーザインタフェース７２０（Ｚ高さツールユーザインタフェースウィジェット７２０とも呼ばれ得るものの外観）を含むユーザインタフェース７００の一実施形態の様々な機能を示す図である。図７Ａは、２つのワークピース表面７１０ａ及び７１０ｂを含む視野７０５と、Ｚ高さツールユーザインタフェース７２０が複数画像スタック・複数照明ベクトルＺ高さツールモードで動作することを示す照明シンボルモードインジケータ７２１を含むＺ高さツールユーザインタフェース７２０と、Ｚ高さツールモードがアクティブである間に定義される関心領域又は関心領域インジケータ７２２とを示す。照明シンボルモードインジケータ７２１は、３つの湾曲矢印を含むものとして示され、これらの矢印は複数画像スタック・複数照明ベクトル動作を表す。いくつかのビジョンシステムでは、本明細書に開示されるＺ高さツール、モード、又は方法を既知又は従来のＺ高さツール、モード、又は方法と共に提供し得ることが理解されるだろう。したがって、照明シンボルモードインジケータ７２１は、複数画像スタック・複数照明ベクトルＺ高さツール動作モードを、他のＺ高さ動作モードから区別する。詳細に後述されないＺ高さツール及びそのユーザインタフェース７２０の動作の様々な態様は、市販のシステムで既知の方法に従って、且つ／又は本明細書に記載のように動作し得る。

図７Ａに示される図では、ユーザインタフェース関心領域７２２が編集のために選択されている。関心領域７２２が編集のために選択される場合は、サイズ／位置編集ハンドルセット７２５（ドラッグにより制御し得るハンドル７２７等の個々のハンドルを含む）を、図示のように、隅又は辺に沿って表示し得る。Ｚ高さツール又はモード（例えば、ユーザインタフェース７２０により実施される）は、上述した原理に従って動作の特定の組み合わせを実施する。

図７Ｂは、複数画像スタック・複数照明ベクトルＺ高さツール式アクティブ化ボタン７４０を含むツール選択バー７０７の一実施形態を示す。図７Ｂは、ユーザインタフェース構成を示し、この構成では、ツール選択バー７０７が、複数画像スタック・複数照明ベクトルＺ高さツール又はモードが、複数画像スタック・複数照明ベクトルＺ高さツール又はモードボタン７４０の周囲の「アクティブ」ボックス７４５を介してアクティブ化され、その他のオートフォーカスツール／モードボタンが非アクティブに設定されている（その他のツール／モードボタンの周囲に「アクティブ」ボックスがない）ことを示す。これは、現在のＺ高さツールモードが複数画像スタック・複数照明ベクトルＺ高さツールモードであることを示す。

様々な実施形態では、仮にユーザがその他のツール／モードボタンの１つ（例えば、従来のＺ高さツール又はモードボタン７５０）を「押下」した場合、押下されたツール及び／又はモードがアクティブになり、動作、個々の関心領域（インジケータ）７２２（図７Ａに示される）の編集に関連付けられた要素を表示し、そして複数画像スタック・複数照明ベクトルＺ高さツール又はモードの動作は完了し、且つ／又はディセーブルされる。いくつかの実施形態では、図７Ｂのツール選択バー７０７の状態は、関心領域（インジケータ）７２２が選択又はアクティブ化される場合、複数画像スタック・複数照明ベクトルＺ高さツール又はモードを、ツール７２０に関連してアクティブ化し得、他のツール／モードボタンが、それらのボタンの前の状態に関わりなく非アクティブ化になり得るという点で、図７Ａに表示されるユーザインタフェースの状態に対応し得る。これは、関心領域（インジケータ）が視野７０５において選択される場合、任意の他のツールに関連付けられた動作であってもよい。

一実施形態では、Ｚ高さツール７２０の１つ又は複数のインスタンスが、学習モード管理実施又は実行モードを発端とする実施等の特定の実施に従って動作するように構成されるか否かを判断するツールモード決定動作を提供し得る。一実施形態では、Ｚ高さツール７２０の特定の実施は、Ｚ高さツール又はモード全般及び／又は特に複数画像スタック・複数照明ベクトルＺ高さツール若しくはモードの動作パラメータを設定する構成メニューウィンドウ等のユーザインタフェース機能を使用して、ユーザにより設定し得る。

図８Ａ〜図８Ｄは、複数画像スタック・複数照明ベクトルの利用に関連するパラメータを含むＺ高さツールユーザインタフェースの一実施形態に関連する様々設定を示す図である。

特に、図８Ａ〜図８Ｄは、Ｚ高さツールパラメータダイアログボックス、ユーザ選択可能なタブ付き部８１０ａ、８１０ｂ、８１０ｃ、及び８１０ｄを含むタブ付きＺ高さツールパラメータダイアログボックス８００の一実施形態の様々な機能を示す図である。すべてのタブ付き部８１０ａ〜８１０ｄで、底部にあるデフォルトボタンは、タブ付き部８１０ｂ、８１０ｃ、及び８１０ｄの入力をデフォルト値に戻し、ＯＫボタンは現在のパラメータを許容し、Ｚ高さツールパラメータダイアログボックス８００を閉じ、キャンセルボタンは、すべてのパラメータを、現在の編集シーケンスが開始される前の状態に戻し、ダイアログボックス８００を閉じる。

図８Ａはタブ付き部８１０ａを示し、このタブ付き部８１０ａは、選択されたＺ高さツール大域的関心領域のＸ及びＹ中心座標並びに幅（Ｗ）、高さ（ｈ）、及び角度向き（図示せず）を反映し得る。これらの値は、関心領域のグラフィカル定義により決定し得（例えば、図７Ａに示されるように）、且つ／又はダイアログボックス内に直接入力し得る。

図８Ｂは、選択された関心領域に利用すべきＺ高さツール検索タイプを反映したタブ付き部８１０ｂを示す。検索タイプにより、ユーザは、画像（すなわち、画像スタック内の画像）のＺ間隔等に影響し得る、合焦曲線データ及び解析に関連するＺ高さツール動作の速度と精度との所望のトレードオフを選択することができる。ユーザが異なる選択を入力しない限り、検索タイプの１つをデフォルト検索タイプとして使用し得る。タブ付き部８１０ｂにより、ユーザは、Ｚ高さツール動作（例えば、画像スタック内に含まれる画像のＺ範囲）に使用されるＺ高さ検索範囲の決定に影響することもできる。

様々な実施形態では、ユーザは、デフォルト検索範囲を決定して使用すること、検索範囲がユーザにより入力される公称（若しくは範囲中点）値に基づくこと、又は検索範囲がユーザにより入力される最大値及び最小値に基づくことを許容し、且つ／又は選択し得る。様々な実施形態では、Ｚ高さツールは、ツールの手動モード及び／又は学習セットアップモード中に、動作に基づいてデフォルト検索範囲を決定し得る。検索範囲がユーザ入力により完全には定義されない如何なる場合も、Ｚ高さツール動作は、現在のマシン光学構成（例えば、現在の被写界深度若しくは倍率）及び／又はワークピース情報（例えば、固定又は製造のばらつきによる予期される表面高さのばらつき等）に基づいてＺ高さ検索範囲を決定して、測定中及び／又はパートプログラム実行中の関心領域Ｚ高さの妥当なばらつきを伴うロバスト動作を可能にするのに十分な範囲も含む効率的な検索範囲を提供し得る。

図８Ａ〜図８Ｄに示される実施形態では、Ｚ高さツールは、単一ポイント又はマルチポイントＺ高さツールとして動作するように構成し得る汎用ツールである。図８Ｃはタブ付き部８１０ｃを示し、このタブ付き部８１０ｃは、Ｚ高さツールが定義された大域的関心領域を提供する測定データのタイプを反映する。図８Ｃに示される実施形態では、ユーザは、４つの測定データタイプの１つを選択することができる。「標準」の選択は、関心領域の単一のＺ高さを返し得る。「マルチポイント」選択は、タブ付き部８１０ａに示される大域的関心領域内のいくつかの小領域（例えば、代表的なｘ−ｙ座標位置を有するＲＯＩ（ｋ））のＺ高さ値を自動的に提供し得る。「最大マルチポイント」及び「最小マルチポイント」選択は、小領域内の最大及び／又は最小Ｚ高さ値を自動的に提供し得る。「マルチポイント」選択が入力される場合、小領域の数及びそれぞれの代表的なｘ−ｙ座標位置は、「ツール小領域」パラメータボックスにおいて示される小領域行及び列の数に基づいて特定し得る（大域的関心領域の位置及び範囲に相対して）。

図８Ａ〜図８Ｄに示される実施形態では、Ｚ高さツールは汎用ツールであり、この汎用ツールは、マルチポイントＺ高さツール動作の速度と精度との所望のトレードオフに従ってマルチポイントＺ高さツールを動作させるように構成し得る。図８Ｄは、ツール動作をユーザの好みに設定するに当たり使用し得るパラメータを反映するタブ付き部８１０ｄを示す。いくつかの実施形態では、タブ付き部８１０ｄの要素は、マルチポイントラジオボタンがタブ付き部８１０ｃにおいて選択される場合以外、「グレーアウト表示」され、且つ／又は非アクティブであり得る。図８Ｄに示される実施形態は「単一照明レベルを使用」ラジオボタンを含み、ユーザは、マルチポイントＺ高さツール動作に単一照明レベル及び単一画像スタックを強制的に使用させるために、このボタンを選択し得る。そのようなモード選択は、単一の画像の関心領域全体にわたり良好に露光可能なワークピースの検査に適切であり得る。そのようなモードのいくつかの実施形態は、現在市販のマシンビジョン検査システムで利用可能であり、且つ／又は本開示に基づいて理解し得、「単一照明レベル」ラジオボタンに関してさらに詳細には説明しない。タブ付き部８１０ｄは、「複数照明レベルを使用」ラジオボタンも含み得、ユーザは、強制的にマルチポイントＺ高さツール動作を機能させるために、このボタンを選択することができ、それにより、本明細書で開示した実施形態の全てを使って、複数の照明レベルが対応する複数の画像の画像スタックの取得に使用され、当該複数の画像スタックに基づいてマルチポイントＺ高さ測定がなされるような動作を含むモードを使用し得る。そのようなモード選択は、単一の画像の関心領域全体を通して良好に露光することができないワークピース（例えば、図３及び図４に示されるようなワークピース）の検査に適する。

図８Ｄに示される実施形態は、ユーザが「複数の照明レベルを使用」ラジオボタンが選択される場合に選択し得る「精度最適化」ラジオボタン及び「速度最適化」ラジオボタンを含む。いくつかの実施形態では、これらの要素は、「複数の照明レベルを使用」ラジオボタンが選択される場合以外、「グレーアウト表示」され、且つ／又は非アクティブであり得る。「精度最適化」ラジオボタンは、「複数の照明レベルを使用」モードに、マルチポイントＺ高さ測定値を求めるために２つ又は３つの照明レベル及び対応する画像スタックを強制的に使用させ得る。

例えば、一実施形態では、図１３の照明レベルＬ２及びＬ３に関連して概説され説明されるように、２つのみの照明レベルを決定し得、その場合、明るさ制限照明レベルは、可能な限り多くの小領域で輝度及びコントラストを最適化し得るように決定される。別の実施形態では、２つの照明レベルは、図１２又は図１３の照明レベルＬ２及びＬ３に関連して概説され説明されるように決定し得、第３の照明レベルは、Ｌ１とＬ３との間の公称照明レベル（例えば、照明レベルＬ１、又はＬ２とＬ３との間で自動的に決定される平均照明レベル等）であり得る。そのような実施形態は、中間照明レベルで、いくつかの小領域が第３の画像スタックにおいてよりよいＺ高さ品質尺度を有し、それらの小領域でより正確なＺ高さ測定に繋がる画像スタックを提供し得る。

「速度最適化」ラジオボタンでは、「複数の照明レベルを使用」モードに、２つ又は１つの照明レベルであっても、本明細書の様々な実施形態に関して開示されるように、そのような照明レベルが関心領域のピクセルの明るさ制限基準及び関心領域のピクセルの暗さ制限基準の両方を満たす場合に使用できるようにする。例えば、いくつかの特定の関心領域では、図１２の照明レベルＬ１は両基準を満たし得、その照明レベルを使用する単一の画像スタックを使用して、すべての小領域のＺ高さ測定を特定し得る。これは、このモードの使用決定がビデオツール動作により実行される自動解析に基づくことを除き、「単一の照明レベルを使用」モードを使用することに略等しいことが理解されるだろう。別の例では、いくつかの特定の関心領域では、図１２の照明レベルＬ２及びＬ３は、図１３の方法により特定されるものほどは最適ではないかもしれないが、それにも関わらず、両基準を満たし、それらの２つの照明レベルを使用した２つの画像スタックを使用して、すべての小領域のＺ高さ測定を特定し得る。

タブ付き部８１０ｄに示されるＺ高さ品質閾値スライダを使用して、Ｚ高さ測定の除外閾値を調整し得る。すなわち、本明細書の様々な実施形態に関して開示されるように、各小領域Ｚ高さ測定は、その小領域が最良のＺ高さ品質尺度を有すると判断された画像スタックからのものであるように選択される。いくつかの用途では、信頼できないか、又はノイズの多い合焦曲線データ（例えば、低Ｚ高さ品質尺度値）に基づく信頼できない測定であり得ることを示すＺ高さ品質尺度を有する場合、各Ｚ高さ測定が抑制されるか、又は注意若しくはエラーインジケータでマークすることが重要であり得る。Ｚ高さ品質閾値スライダは、このようにしてＺ高さ測定を抑制又はマークするＺ高さ品質尺度除外閾値を変更するように、ユーザにより調整し得る。しかし、タブ付き部８１０ｃ及び８１０ｄが単なる例示であり、限定ではないことが理解されるだろう。より一般には、必要に応じて、本明細書に開示される実施形態の範囲内にある任意の所望の実施態様をサポートするように構成し得る。

図９Ａ及び図９Ｂは、複数画像スタック・複数照明ベクトルを利用してＺ高さ測定を実行する例示的なルーチン９００を示す流れ図である。図９Ａに示されるように、ブロック９１０において、精密マシンビジョン検査システム及び現在のワークピースが提供される。精密マシンビジョン検査システムは、ユーザインタフェースと、カメラを含む撮像部と、制御可能な照明部と、合焦部と、画像プロセッサを含む制御部と、を含み得る。ブロック９２０において、精密マシンビジョン検査システムは、ワークピースに合焦点動作を実行する関心領域を定義するように動作する。

ブロック９３０において、精密マシンビジョン検査システムは、定義されたＺ高さ範囲内の異なる合焦Ｚ高さを有する画像を含むＮ個の画像スタックに関連付けられたＮ個の各照明ベクトルを定義するように動作し、Ｎは少なくとも２であり、Ｎ個の各照明ベクトルを定義することは、少なくとも２つのステップを含む。Ｎ個の各照明ベクトルを定義する第１のステップは、関心領域内の最も明るいピクセル位置がカメラの輝度範囲の上部２５％の輝度値を含む、第１の輝度基準が満たされ、明るさ上限以上の輝度値を有する関心領域内の最も明るいピクセル位置の第１の数が、Ｚ高さ範囲内の各合焦高さを有するとともに、第１の各照明ベクトルに対応する画像露照明レベルを有する少なくとも第１の画像において決定されるように、関心領域のピクセル位置の第１の小割合に制限されるように、第１の各照明ベクトルを定義することを含む。

Ｎ個の各照明ベクトルを定義する第２のステップは、明るさ下限以下の輝度値を有する関心領域の最も暗いピクセル位置の第２の数が、Ｚ高さ範囲内の各合焦Ｚ高さを有するとともに、第２の各照明ベクトルに対応する画像露照明レベルを有する少なくとも第２の画像で決定されるように、関心領域のピクセル位置の第２の小割合（例えば、０．１％）に制限される、第２の輝度基準が満たされるように、第２の各照明ベクトルを定義することを含む。次に、ルーチン９００Ａは、図９Ｂに続くように、ポイントＡに続く。

図９Ｂに示されるように、ポイントＡから、ルーチン９００Ｂは判断ブロック９７４に続く。判断ブロック９７４において、パートプログラムを作成するために、現在、学習モードで動作を実行中であるか否かが判断される。現在、パートプログラムを作成するために、学習モードで動作を実行してはいない場合（例えば、実行モードが現在実行中である場合）、より詳細に後述するように、ルーチンはブロック９８０に続く。判断ブロック９７４において、現在、パートプログラムを作成するために、学習モードで動作を実行中であると判断される場合、ルーチンはブロック９７５に続く。

ブロック９７５において、Ｎ個の各照明ベクトルは、後で、対応するワークピース上の対応する関心領域を検査する場合に使用するために、パートプログラムに関連して記憶され、パートプログラムは少なくとも３つの動作を実行する命令を含む。第１のパートプログラム動作は、Ｎ個の各照明ベクトルに基づいてＮ個の画像スタックを取得することを含む。第２のパートプログラム動作は、Ｎ個の画像スタックのどれが、各合焦点データポイント位置で最良Ｚ高さ品質尺度を有するかを特定することを含む。第３のパートプログラム動作は、各合焦点データポイント位置において、最良Ｚ高さ品質尺度を有する画像スタックに関連付けられたＺ高さ測定が、その合焦点データポイント位置におけるＺ高さ測定として識別されるように、画像スタックから導出されるＺ高さ測定データを提供することを含む。

ブロック９８０において（例えば、実行モードが現在、実行中である場合）、精密マシンビジョン検査システムは、Ｎ個の各照明ベクトルに基づいてＮ個の画像スタックを取得するように動作する。ブロック９９０において、Ｎ個の画像スタックのどれが、各合焦点データポイント位置において最良Ｚ高さ品質尺度を有するかを判断する。ブロック９９５において、各合焦点データポイント位置において、Ｚ高さ測定が、その合焦点データポイント位置において最良Ｚ高さ品質尺度を有する画像スタックに基づくように、画像スタックから導出されるＺ高さ測定データが提供される。

図９Ａ及び図９Ｂに関して、異なる実施態様では、記載された動作を異なる時間又は異なる順序で実行してもよいことが理解されるだろう。例えば、図９Ａに記載の第１及び第２の照明ベクトルを定義することは、所望の照明レベルの検索に特定の長さの処理時間を必要とし得、これは、上述したように、特定の実施態様では、実行モード中に実行されず、アルゴリズムの速度を増大させる。この種の実行モードは「静的」実行モードと呼ぶことができ、このモードでは、学習モード中に決定され保存された第１及び第２の照明ベクトルが、実行モード中、第１及び第２の照明ベクトルとして利用される。しかし、代替の実施形態では、「動的」実行モードを利用し得、このモードでは、第１及び第２の照明ベクトルは実行モード中に決定される。そのような実施態様は、より高い精度が必要とされる等の特定の状況で、又は学習モード中に記憶された第１及び第２の照明ベクトルが、実行モード中に満足のいく結果を生成するか否かの評価に従って望まれることがあり、満足のいく結果を生成しないと評価される場合、実行モードは追加の動的検索を実行して、第１及び第２の照明ベクトルを再決定し得る。

図９Ｂの動作に関して、照明ベクトルを記憶することは通常、学習モードの一環として実行されるが、特定の実施態様では、学習モード中に画像スタックをなお取得し得、それにより、ユーザは結果をレビューし得る。換言すれば、学習モード中に照明ベクトルが決定されると、単に照明ベクトルを記憶するのではなく、画像スタックを取得し、結果生成されるＺ高さ測定を特定する動作を実行し得、それにより、ユーザは結果をレビューして、満足のいくものであるか否かを判断し得る。結果が満足のいくものであるとユーザが判断する場合、照明ベクトルはパートプログラムの一部として記憶され、その一方で、結果が満足のいくものではない場合、照明ベクトルを記憶しなくてよい。

図１０は、単一の画像及び単一のＺ高さのみを利用しながら、複数の照明ベクトルを検索する例示的なルーチン１０００を示す流れ図である。より詳細に後述するように、所望の照明レベルを決定するための照明調整の実行に単一の代表的なＺ位置を利用することは、アルゴリズムの速度を増大させる。図１０に示されるように、ブロック１０１０において、Ｚ高さ範囲が定義され、そして、初期ユーザ選択又は標準的な中程度の照明設定で、当該Ｚ高さ範囲内に対応する複数の合焦Ｚ高さでの複数の画像を含む予備画像スタックが取得される。

ブロック１０２０において、ピーク合焦Ｚ高さが、予備画像スタックに基づいて特定され、ステージがピーク合焦位置に移動する。一実施形態では、ピーク合焦Ｚ高さの特定は、予備画像スタックから代表的な画像を見つけるために適用される標準的なシャープネス（例えば、コントラスト）測定に従って行われる。このために、画像全体を使用して、測定を計算し得る（小さな局所的関心領域のみとは対照的に）。ブロック１０３０において、ステージがピーク合焦位置にある状態で、第１の照明ベクトルを決定するように、照明が調整される。ブロック１０４０において、ステージがなおピーク合焦位置にある状態で、照明は、第２の照明ベクトルを決定するように調整される。

画像スタックを最良に表す単一の画像（すなわち、ステージの単一のＺ位置）のこの決定が、アルゴリズムの速度を上げるために行われることが理解されるだろう。換言すれば、特定の実施態様では、各照明調整後の画像スタック全体の取得及び解析は比較的遅い。その代わり、単一の画像（すなわち、ステージの移動先の単一のＺ位置）に頼り、照明の調整が表面の照明をいかに変更するかを特定し得る。次に、指定されたＺ位置でのこの単一の「ライブ」カメラ画像を、アルゴリズムの調整ループにおいて繰り返し高速に取得し解析することができる。単一の画像のこの利用は、特定の実施態様では、全体のシャープネス量が高い画像ほど、画像スタックを最良に表す傾向を有すると実験的に決定されたという点で効果的である。これは、そのような画像がコントラストを最大化する傾向を有し、その結果、様々な実施形態の証明調整ルーチンに利用される暗すぎるピクセル及び／又は明るすぎるピクセル（もしあれば）の数が最大になることによる。

図１１Ａ及び図１１Ｂは、複数の画像スタック及び複数の照明ベクトルを利用してＺ高さ測定を実行するルーチン部１１００Ａ及び１１００Ｂを含む例示的なルーチンを示す流れ図である。様々な実施形態では、ルーチン１１００の動作は、本願全体を通して開示され、且つ／又は援用される引用文献に開示される特徴及び技法の様々な組み合わせを使用して実行し得る。

図１１Ａに示されるように、ブロック１１１０において、マシンビジョン検査システムが提供され、このシステムは、カメラを含む撮像部と、制御可能な照明部と、合焦部と、画像プロセッサを含む制御部と、ワークピースにマルチポイント合焦ベースＺ高さ測定を実行する第１の測定モードであって、関心領域内の複数の小領域のマルチポイント合焦ベースＺ高さ測定を、その画像スタック内の各画像に同じ照明パラメータを使用して取得される単一の画像スタックに基づいて特定する動作を含む、第１の測定モードと、ワークピースに対してマルチポイント合焦ベースＺ高さ測定を実行する第２の測定モードであって、複数の画像スタックに基づいて関心領域内の複数の小領域のマルチポイント合焦ベースＺ高さ測定を特定する動作を含み、第１の画像スタックは、関心領域の画像ピクセルの暗さ制限基準を満たし、第１の画像スタックの各画像で同じである暗さ制限照明パラメータを使用して取得され、第２の画像スタックは、関心領域の画像ピクセルの明るさ制限基準を満たし、第２の画像スタックの各画像で同じである明るさ制限照明パラメータを使用して取得される、第２の測定モードと、画像表示及びグラフィカルユーザインタフェース（ＧＵＩ）を含むユーザインタフェースと、マルチポイントＺ高さ測定ツールと、を含み、マルチポイントＺ高さ測定ツールは、第２の測定モードと、関心領域の画像ピクセルの明るさ制限基準と、関心領域の画像ピクセルの暗さ制限基準と、関心領域インジケータを含むマルチポイントＧＵＩ要素とを含む。

ブロック１１２０において、代表的なワークピース上の特定の関心領域の画像が取得され、物体の取得画像は画像表示に表示される。

ブロック１１３０において、マルチポイントＺ高さ測定ツールのインスタンスがアクティブ化され、その関心領域が取得画像において定義される。次に、ルーチン１１００Ａは、図１１Ｂにおいて続けられるように、ポイントＡに続く。

図１１Ｂに示されるように、ポイントＡから、ルーチン１１００Ｂはブロック１１４０に続く。ブロック１１４０において、関心領域の大域的最良合焦高さに撮像部を自動的に合焦する、第２の測定モードに対応するマルチポイントＺ高さ測定ツールのそのインスタンスの自動動作が実行され、大域的最良合焦高さは、照明パラメータの予備セットを使用して取得される画像スタックに基づくとともに、関心領域全体に基づいて特定される合焦尺度に基づいて特定される。

ブロック１１５０において、第２の測定モードに対応するマルチポイントＺ高さ測定ツールのインスタンスの自動動作が実行され、自動動作は、大域的最良合焦高さで取得された画像を解析し、照明パラメータを調整して、関心領域の画像ピクセルの明るさ制限基準を満たす明るさ制限照明パラメータを決定する動作と、大域的最良合焦高さで取得された画像を解析し、照明パラメータを調整して、関心領域の画像ピクセルの暗さ制限基準を満たす暗さ制限照明パラメータを決定する動作とを含む。

上述したルーチン１１００は単なる例示であり、限定ではないことが理解されるだろう。いくつかの実施形態では、ルーチンは、関心領域を含む複数の画像スタックを取得することであって、複数の画像スタックは少なくとも、決定された暗さ制限照明パラメータを使用して取得される第１の画像スタック及び決定された明るさ制限照明パラメータを使用して取得される第２の画像スタックを含む、取得すること、並びに複数の画像スタックに基づいて、関心領域内の複数の各小領域のマルチポイント合焦ベースＺ高さ測定を特定することをさらに含み得る。いくつかの実施形態では、複数の画像スタックは、照明パラメータセットを使用して取得される１つ又は複数の追加の画像スタックを含み得、照明パラメータセットは、第１及び第２の画像スタックに使用されるレベルと比較して、中間レベルの照明を提供する。いくつかの実施形態では、複数の画像スタックは、照明パラメータの予備セットを使用して取得される画像スタックを含む。

いくつかの実施形態では、ルーチンは、複数の画像スタックに基づいて、関心領域内の複数の小領域のマルチポイント合焦ベースＺ高さ測定を特定する動作をさらに含み得、それらの動作は、複数の小領域毎に、複数の各画像スタックのその小領域のＺ高さ品質尺度を特定すること、及び最良Ｚ高さ品質尺度を提供する複数の画像スタックの１つに基づいて、その小領域の合焦ベースＺ高さ測定を特定することを含み得る。

いくつかの実施形態では、ルーチンは、実行モード中、パートプログラム命令の制御下でルーチンの少なくとも一部を実行することを含み得る。

いくつかの実施形態では、ルーチンは、学習モード中、ルーチンの少なくとも一部を実行することを含み得るとともに、マルチポイントＺ高さ測定ツールの現在のインスタンスに対応するパートプログラム命令を記録することをさらに含み得、パートプログラム命令は動作の実行に使用可能であり、その動作は、関心領域を含む複数の画像スタックを取得することであって、その複数の画像スタックは少なくとも、決定された暗さ制限照明パラメータを使用して取得される第１の画像スタック及び決定された明るさ制限照明パラメータを使用して取得される第２の画像スタックを含む、取得すること、並びに複数の画像スタックに基づいて関心領域内の複数の各小領域のマルチポイント合焦Ｚ高さ測定を特定することを含み、特定することは、小領域毎に、複数の各画像スタックのその小領域のＺ高さ品質尺度を特定すること、及び最良Ｚ高さ品質尺度を提供する複数の画像スタックの１つに基づいて、その小領域の合焦ベースＺ高さ測定を特定することを含む。

いくつかの実施形態では、方法は、学習モード中、マシンビジョン検査システムの動作を実行することを含み得、特定の関心領域の画像を取得するステップにおいて、ワークピースは代表的なワークピースであり、そのステップは、取得画像を画像表示に表示することを含み、マルチポイントＺ高さ測定ツールのインスタンスをアクティブ化するステップは、マルチポイントＧＵＩ要素を画像表示に表示することを含み、取得画像内の関心領域を定義するステップは、特定の関心領域を囲むようにマルチポイントＧＵＩ要素の関心領域インジケータを位置決めすることにより、表示画像内の関心領域を定義することを含む。ルーチンの他の可能な追加及び変形が、本開示の利益を得る当業者には明らかであろう。

図１２は、適用可能な照明レベル数を決定する例示的なルーチン１２００（例えば、図９、図１０、又は図１１のルーチン内の）を示す流れ図である。より詳細に後述するように、ブロック１２１０、１２２０、並びにブロック群１２３０及び１２４０は、図１１のブロック１１１０〜１１４０に関して上述したより一般的な動作と比較して、特定のより詳細な機能を示す（例えば、保存される照明レベル数が適用可能である）。図１２に示されるように、ブロック１２１０において、画像スタックＳ１が、ユーザ指定（標準、初期）の照明レベルセットＬ１で取得される。ユーザ指定（標準、初期）の照明レベルセットＬ１は、表面を良好に示すが、暗すぎる又は明るすぎるエリアのすべての除去に成功していない、それほど高くない中程度の平均照明設定であると仮定される。

ブロック１２２０において、画像スタックＳ１内で、最高のシャープネス量を有する画像Ｉが特定される。次に、ステージが画像ＩのＺ高さに位置決めされ、ライブカメラ画像ＩＬが、追加の照明レベルのさらなる検索に利用される。一実施形態では、スタックＳ１内の画像は、それらのどれがスタックを代表するかを決定するように評価されており、各画像全体が、シャープネス量の計算に使用される（シャープネス量の計算に小さな局所的な関心領域のみとは対照的に）。上述したように、画像スタックを最良に表す単一の画像（及びステージの対応するＺ高さ位置）の特定は、アルゴリズムをより高速に動作させるという点で有益である。換言すれば、各光調整後の画像スタック全体を取得し解析することは比較的遅い。その代わり、単一のライブカメラ画像に頼り、照明の調整が表面の照明をいかに変更するかを特定し得、そのようなライブカメラ画像は、アルゴリズムの調整ループで繰り返し高速で取得し解析することができる。

より詳細に後述するように、ブロック群１２３０（ブロック１２３１〜１２３５を含む）は、照明レベルセットＬ２（一実施形態では、図１１のブロック１１３０の第１の照明ベクトルに対応する）を決定し、照明レベルセットＬ２が記憶されるか否かを判断する。判断ブロック１２３１において、画像ＩＬ内に現在明ピクセルが多すぎるか否かを判断する。一実施形態では、ピクセルは、グレースケールが閾値（例えば、グレースケール２３０）よりも大きい場合、明ピクセルとして定義される。明ピクセルが多すぎるか否かは、明ピクセルが画像内の合計ピクセル数の閾値割合（例えば、画像ピクセルの総数の０．００１）よりも多くを含むか否かに従って判断し得る。

判断ブロック１２３１において、画像ＩＬ内に明ピクセルが多すぎないと判断される場合、ルーチンは、より詳細に後述するように、ブロック１２３６に続く。画像ＩＬ内に明ピクセルが多すぎると判断される場合、ルーチンは判断ブロック１２３２に続き、追加の光調整が可能であるか否かが判断される。一般に、照明変数がまだ最低になっていない限り、追加の光調整がまだ可能であると見なされる。判断ブロック１２３２において、光調整がもはや不可能であると判断される場合、より詳細に後述するように、ルーチンは判断ブロック１２３４に続く。光調整がまだ可能であると判断される場合、ブロック１２３３において、すべての有効な照明設定が１段階低減される。様々な代替の実施形態では、光の低減量は、すべて一律に行うのとは対照的に、光毎に変わり得、又は異なり得る。すでに最低になっており、ゼロ設定を有する光はもはや調整されない。次に、ルーチンは判断ブロック１２３１に戻る。

上で示したように、判断ブロック１２３１において、画像ＩＬ内に明ピクセルが多すぎないと判断される場合、ルーチンはブロック１２３６に続く。ブロック１２３６において、すべての有効な照明設定が１段階増大される。最大設定に達した光はもはや調整されない。次に、ルーチンは判断ブロック１２３７に続き、画像ＩＬ内に現在、明ピクセルが多すぎるか否かが判断される。判断ブロック１２３７において、画像ＩＬ内に明ピクセルが多すぎないと判断される場合、ルーチンはブロック１２３６に戻る。判断ブロック１２３７において、画像ＩＬ内に明ピクセルが多すぎると判断される場合、ルーチンはブロック１２３８に続く。ブロック１２３８において、すべての有効な照明設定が１段階低減され（明ピクセルが多すぎない照明レベルに戻る）、ルーチンは判断ブロック１２３４に続く。初期照明レベルが、少なくとも「明ピクセル過多基準」ほど明るくない場合、ブロック１２３６〜１２３８の動作の結果は、明ピクセルを過多（多すぎる）にすることなく可能な限り高い照明レベルを提供することであり、これがいくつかの実施形態では有利であり得ることが理解されるだろう。

判断ブロック１２３４において、現在の照明レベルセットＬ２が初期照明レベルセットＬ１と異なるかどうかが判断される。現在の照明レベルセットＬ２が照明レベルセットＬ１と異ならない場合、より詳細に後述するように、ルーチンはブロック１２４１に続く。現在の照明レベルセットＬ２が照明レベルセットＬ１と異なる場合、ルーチンはブロック１２３５に続き、照明レベルセットＬ２はパートプログラムの部分として記憶され、その後、ルーチンはブロック１２４１に続く。

より詳細に後述するように、ブロック群１２４０（ブロック１２４１〜１２４６を含む）は、照明レベルセットＬ３（一実施形態では、図１１のブロック１１４０の第２の照明ベクトルに対応する）を決定し、照明レベルセットＬ３が記憶されるか否かを判断する。ブロック１２４１において、初期ステップとして、指定された基準セットを満たすより高い照明レベルの検索を逆方向において開始するために、照明設定が初期照明レベルセットＬ１に戻される。判断ブロック１２４２において、画像ＩＬ内に暗ピクセルが多すぎるか否かを判断する。一実施形態では、ピクセルは、グレースケールが指定された閾値（例えば、グレースケール５０）よりも小さい場合、暗ピクセルとして定義される。さらに、暗ピクセルが「多すぎる」か否かの判断は、暗ピクセルの数が、画像内の合計ピクセル数の閾値割合（例えば、画像ピクセルの総数の０．００１）よりも多いか否かに従って判断し得る。

判断ブロック１２４２において、画像ＩＬ内に暗ピクセルが多すぎないと判断される場合、ルーチンは、より詳細に後述するように、ブロック１２４５に続く。画像ＩＬ内に暗ピクセルが多すぎると判断される場合、ルーチンは判断ブロック１２４３に続き、さらなる光調整が可能であるか否かが判断される。照明変数がまだ最大になっていない限り、光調整の追加の増大がまだ可能であると見なされる。

判断ブロック１２４３において、追加の光調整が不可能であると判断される（ひいては、調整可能な照明設定がすでに最大になっていることを示す）場合、より詳細に後述するように、ルーチンは判断ブロック１２４５に続く。判断ブロック１２４３において、光調整がまだ可能であると判断される場合、ルーチンはブロック１２４４に続き、有効な照明設定が１段階増大される。様々な代替の実施形態では、光の増大量は、すべてを一緒に行うのとは対照的に、光毎に変わり得、又は異なり得る。すでに最大設定まで増大された個々の光はもはや調整されない。次に、ルーチンは判断ブロック１２４２に戻る。

判断ブロック１２４５において、現在の照明レベルセットＬ３が初期照明レベルセットＬ１及びＬ２と異なるかどうかが判断される。現在の照明レベルセットＬ３が照明レベルセットＬ１及びＬ２と異なると判断される場合、ルーチンはブロック１２４６に進み、照明レベルセットＬ３はパートプログラムに記憶される。現在の照明レベルセットＬ３が照明レベルセットＬ１又はＬ２と異ならないと判断される場合、ルーチンは、照明レベルセットＬ３を記憶せずに終了する。

上述したように、照明レベルセットＬ２及びＬ３の評価に応じて（すなわち、初期照明設定Ｌ１から、且つ／又は互いに十分に異なるか否か）、照明レベルセットＬ２及びＬ３を記憶してもよく、又は記憶しなくてもよい。したがって、照明条件に応じて、２つ若しくは１つの追加の照明レベルセットを記憶し、使用してもよく、又は追加の照明レベルセットを記憶し使用しなくてもよい（アルゴリズムは、ユーザ指定の照明セットＬ１が適切な表面照明を提供する場合、いかなる追加の照明レベルセットも保存しなくてもよい）。

図１３は、複数の照明設定及び画像スタックを利用するＺ高さ測定ツールに関連付けられた様々な特徴を含むマシンビジョン検査システムユーザインタフェース表示１３００の一実施形態を示す図である。図１３に示される例示的な状態では、ユーザインタフェース表示１３００は、ワークピース画像１３１０を表示する視野ウィンドウ１３０３を含む。ユーザインタフェース１３００は、選択バー１３２０及び１３４０、リアルタイムＸ−Ｙ−Ｚ（位置）座標ウィンドウ１３３０、並びに光制御ウィンドウ１３５０等の様々な測定及び／又は動作選択バーも含む。

視野ウィンドウ１３０３は、例示的なマルチポイントＺ高さツールウィジェット１３１４と、ウィジェット１３１４の外側境界により画定され、検査すべき現在のワークピース要素１３１２に重ねられた対応する大域的関心領域１３１４’とを含む。図１３に示されるように、大域的関心領域１３１４’は１０×１０の関心小領域ＳＲＯＩ（ｋ）に細分される（例えば、ｋ＝１〜１００）。各小領域ＳＲＯＩ（ｋ）には、代表的な中央位置（Ｘ_k，Ｙ_k）を関連付け得、各小領域ＳＲＯＩ（ｋ）は、いくつかのピクセル行及びいくつかのピクセル列に対応するエリアを含み得る。最良合焦Ｚ高さＺｐ_kが、関心小領域に基づいて特定されると（例えば、上述したように）、その関心小領域に対応するポイントクラウド要素を三次元座標（Ｘ_k，Ｙ_k，Ｚｐ_k）で表し得る。様々な実施形態では、小領域の代表的な位置は、数ピクセルだけ離間し得、又は１ピクセルだけ離間し得る。したがって、そのようないくつかの実施形態では、小領域毎に最良合焦Ｚ高さＺｐ_kを特定するために使用されるピクセルエリアは、部分的に互いに重なり得る。いくつかの実施態様では、各小領域のエリアは比較的小さくてよい（例えば、９×９ピクセル、１３×７ピクセル、３×３ピクセル、３×５ピクセル等）。様々な実施形態において小領域のＺ高さ測定を特定するための最良の画像スタックの選択に従ってＺ高さ品質尺度を使用することが、比較的大きなノイズ成分を含み得る「合焦信号」又は合焦尺度を生成しがちな小さな合焦関心領域には特に有用であることが理解されるだろう。

様々な実施形態では、ユーザは、様々な代替ツール及び／又はモード選択ボタンを表示する選択バー７０７から対応する「Ｚ高さツール」ボタン７４０を選択することにより、専用マルチポイントＺ高さツール又はマルチポイントモードを含む汎用Ｚ高さツールを選択し得る。ツール選択バー７０７は、Ｚ高さツール又はモードボタン７４０の周囲の「アクティブ」ボックス７４５を介して、Ｚ高さツール又はモードがアクティブであることを示し得る。

そのような選択がなされると、一実施形態では、ユーザインタフェースは、本明細書において先に開示したように、選択されたマルチポイント測定モードの様々なパラメータを構成するマルチポイント測定モードを選択する、図１３に示されるような上述したパラメータダイアログボックス８００等のＺ高さツールパラメータダイアログボックスを自動的に表示し得る。一実施形態では、ウィジェット１３１４をユーザインタフェースに自動的に表示し得、ユーザが、Ｚ高さツールのそのインスタンスの関心領域１３１４’をグラフィックに定義できるようにする（例えば、コンピュータマウス及びスクリーンカーソルを使用してウィジェット１３１４の境界に配置された正方形ハンドルをドラッグすることにより）。ウィジェット１３１４に示される１０×１０小領域が、図１３のそのタブ付き部８１０ｃに示される特定の「マルチポイント」パラメータ設定に対応することが理解されるだろう。

図１４は、本明細書に開示されるマルチポイントＺ高さ測定ツールにより解析される複数の各画像スタックの解析に使用し得る動作の一実施形態を示す例示的なルーチン１４００を表す流れ図である。図１４に示される「Ｚ高さ尺度」は、例えば、図９又は図１１のルーチン内のＺ高さ品質尺度として使用し得る。ルーチン１４００の動作の大部分は、略同様の図を含む、援用される’０５４号公報に記載されている。’０５４号公報の関連する教示及び本開示の他のどこかの教示に基づいて、当業者はテストにより図１４を理解し得る。

ブロック１４０５において、Ｚ高さ及び対応するＺ高さ品質尺度を特定すべき関心領域セットＲＯＩ（ｋ）が定義又は選択され、ｋ＝１〜Ｐである。いくつかの実施形態では、各関心領域ＲＯＩ（ｋ）（又は小領域）が比較的小さくてよく（例えば、９×９ピクセル、７×７ピクセルと小さく、又はさらに小さい）、関心領域ＲＯＩ（ｋ）を含む表面領域に形状を当てはめる形状当てはめアルゴリズムへの推定３Ｄ座標データ（ポイントクラウドデータ）の所望の目標に従って個々の座標位置（例えば、代表的なｘ−ｙピクセル座標位置）に対応し得ることが理解されるだろう。

ブロック１４１０において、画像（ｉ）を含む画像の画像スタックセットが定義され、ｉ＝１〜Ｎである。画像スタックセットの視野は、関心領域セットＲＯＩ（ｋ）を包含し得、画像スタックセットのＺ範囲は一般に、関心領域セットＲＯＩ（ｋ）に予期されるＺ高さにわたる。ブロック１４１５において、対応するＺ高さＺ（ｉ）での画像スタックセット画像（ｉ）のメンバを取得する動作が開始される。Ｚ高さＺ（ｉ）は、画像（ｉ）取得時にマシンビジョン検査システムにより示されるＺ高さであり、ワークピース表面がその合焦物体平面に実際に配置されるか否かに関わりなく、その画像の合焦物体平面の位置に対応する。

いくつかの実施形態では、ブロック１４１５と並列して部分的に実行される他のブロック（例えば、ブロック１４１７〜１４４３）を動作させることが有利であり得、すなわち、動作時間及び／又はメモリを節約するために、１つ又は複数の初期画像の１つ又は複数の領域が取得された後、画像解析動作を任意の都合のよい時間に開始し得る。したがって、ブロック１４１７において、最初／次の画像（ｉ）の１つ又は複数の領域又は小領域が取得された後、最初／次の画像（ｉ）に対する画像解析動作の処理ループを任意の都合のよい時間に開始し得る。

ブロック１４２０において、入れ子処理ループが、現在の画像（ｉ）内の最初／次の関心領域ＲＯＩ（ｋ）に関連する処理動作のために開始され、ｋ＝１〜Ｐである。ブロック１４３０において、現在の画像（ｉ）内の現在の関心領域ＲＯＩ（ｋ）の合焦尺度ｆｍ（ｋ，ｉ）が特定され、そのような各合焦尺度ｆｍ（ｋ，ｉ）及び対応するＺ高さＺ（ｉ）が、現在の関心領域ＲＯＩ（ｋ）の合焦ピーク決定データセット（例えば、合焦曲線データセット）に追加される。判断ブロック１４４３において、入れ子処理ループにおいて、現在の画像（ｉ）に処理すべき関心領域ＲＯＩ（ｋ）がまだあるか否かが判断される。まだある場合、動作はブロック１４２０に戻り、その他の場合、動作は判断ブロック１４４４に続く。

判断ブロック１４４４において、ブロック１４１７において開始された処理ループにおいて処理すべき別の画像（ｉ）があるか否かが判断される。ある場合、動作はブロック１４１７に戻り、その他の場合、動作はブロック５５０に続く。図１４に示される実施形態では、動作はブロック１４５０に続き、完全な合焦ピーク決定データセットが各関心領域ＲＯＩ（ｋ）で利用可能である。しかし、他の実施形態では、ブロック１４５０の動作は、十分な合焦ピーク決定データセットが特定の関心領域で利用可能になった後、任意の都合のよい時間に特定の関心領域に対して開始し得る。ブロック１４５０において、関心領域ＲＯＩ（ｋ）（例えば、ｋ＝１〜Ｐ）毎に、そのＲＯＩ（ｋ）に対してブロック１４３０の動作により確立される合焦ピーク決定データセットに基づいて、そのＲＯＩ（ｋ）の最良合焦Ｚ高さＺｐ（ｋ）が特定される（例えば、上述したように推定される）。いくつかの実施形態では、各最良合焦Ｚ高さＺｐ（ｋ）をメモリ１４０に記憶し得る。

次に、動作はブロック１４６０に続き、関心領域ＲＯＩ（ｋ）（例えば、ｋ＝１〜Ｐ）毎に、その関心領域ＲＯＩ（ｋ）の対応するＺ高さ品質尺度ＺＱＭ（ｋ）が特定される。Ｚ高さ品質尺度ＺＱＭ（ｋ）は、その関心領域ＲＯＩ（ｋ）の最良合焦Ｚ高さＺｐ（ｋ）の特定に使用されるデータに基づいて、対応する推定Ｚ高さＺｐ（ｋ））の信頼性又は不確実性を示す任意の都合のよいＺ高さ品質尺度の形態をとり得る。

一実施形態では、Ｚ高さ品質尺度ＺＱＭ（ｋ）は、有利且つ好都合に、関心領域ＲＯＩ（ｋ）に対してブロック１４３０における動作により決定した（例えば、上で式１を参照して概説されたように）対応するピーク合焦決定データセットに基づき得る。しかし、各ピーク合焦決定データセットが最終的に、上記参照された画像スタックに含まれる基礎画像データに基づくことが理解されるだろう。したがって、様々な他の実施形態において、Ｚ高さ品質尺度ＺＱＭ（ｋ）は、関心領域ＲＯＩ（ｋ）の画像スタックセットに含まれるデータ又はその画像データから導出される他のデータから導出し得る。Ｚ高さ品質尺度ＺＱＭ（ｋ）を特定する様々な方法を上述した（例えば、上の式１を参照して）。

次に、動作はブロック１４７０に続き、ＲＯＩ（ｋ）毎に、Ｚ高さ品質尺度ＺＱＭ（ｋ）に、そのＲＯＩ（ｋ）の対応する最良合焦Ｚ高さＺｐ（ｋ）が関連付けられ、それにより、Ｚ高さ品質尺度ＺＱＭ（ｋ）は、複数の画像スタック結果の中からの最良のＺ高さ測定（Ｚｈｅｉｇｈｔ（Ｚｐ（ｋ））の選択に使用可能になる。例えば、いくつかの実施形態では、Ｚ高さ品質尺度ＺＱＭ（ｋ）は、対応する最良合焦Ｚ高さＺｐ（ｋ）に関連してメモリ１４０に記憶される。Ｚ高さ品質尺度ＺＱＭ（ｋ）は、’０５４号公報に記載のように、メタデータとして記憶し得る。他の実施形態では、Ｚ高さ品質尺度ＺＱＭ（ｋ）は、対応する最良合焦Ｚ高さＺｐ（ｋ）に関連付けて、表面表現当てはめ動作（例えば、二次元「プロファイル」当てはめ動作又は三次元ポイントクラウド当てはめ動作）に転送又は直接適用される。ブロック１４７０の後、ルーチンは終了する。

様々な実施形態を本明細書において例示し説明したが、特徴及び動作順序の例示され説明された構成での多くの変形が、本開示に基づいて当業者には明らかだろう。したがって、本発明の趣旨及び範囲から逸脱せずに、様々な変更を行い得ることが理解されるだろう。

例えば、様々な実施形態において、様々な照明基準を満たす照明パラメータを識別する光調整は、先に援用された’１８０号特許及び本願と同じ譲受人に譲渡され、参照により本明細書に援用される米国特許第６，６２７，８６３号（’８６３号特許）に開示される照明調整ツールに含まれる動作に基づいて達成し得る。別の例では、援用される’０５４号公報に記載される方法を使用して、本明細書に開示されるマルチポイントＺ高さ測定ツールにより解析される複数の画像スタックのそれぞれを解析し得、’０５４号公報の方法により特定される「Ｚ高さメタデータ」を、ビデオツールにより解析される複数の画像スタックのどれが、小領域に最良のＺ高さ品質尺度を提供し、その小領域の合焦ベースＺ高さ測定の特定に使用すべきかを特定するＺ高さ品質尺度として使用し得る。参照により本明細書に援用される、本願と同じ譲受人に譲渡された米国付与前公開第２０１１／０１０３６７９号（’６７９号公報）の教示は、様々な実施形態において使用可能な方法を提供するように、例えば、関心領域の大域的最良合焦画像を提供するようにも構成し得る。

本明細書に開示される方法が、白色光干渉計（ＷＬＩ）測定ツール又は方法と併用されるように簡単に構成し得ることを理解されたい。そのような一実施形態では、ＷＬＩ要素を通してワークピースに投射される照明レベル及び使用される画像スタック数は、本明細書に開示される教示に従って決定される。いくつかの実施形態では、測定されるＷＬＩ信号の振幅（例えば、正規化ＷＬＩピーク信号振幅）を、Ｚ高さ品質尺度の役割で使用し得る。

Claims (19)

1. ワークピース上の特定の関心領域での合焦ベースのＺ高さ測定を含むマルチポイントＺ高さ測定データセットを決定する精密マシンビジョン検査システムの動作方法であって、前記精密マシンビジョン検査システムは、
   カメラを含む撮像部と、
   制御可能な照明部と、
   合焦部と、
   画像プロセッサを含む制御部と、
   ワークピースのマルチポイント合焦ベースＺ高さ測定を実行する第１の測定モードであって、画像スタック内の各画像で同じ照明パラメータを使用して取得されるその単一の画像スタックに基づいて、関心領域内の複数の小領域の前記マルチポイント合焦ベースＺ高さ測定を特定する動作を含む、第１の測定モードと、
   ワークピースのマルチポイント合焦ベースＺ高さ測定を実行する第２の測定モードであって、複数の画像スタックに基づいて関心領域内の複数の小領域の前記マルチポイント合焦ベースＺ高さ測定を特定する動作を含み、第１の画像スタックが、前記関心領域内の画像ピクセルの暗さ制限基準を満たし、前記第１の画像スタック内の各画像で同じ暗さ制限照明パラメータを使用して取得され、第２の画像スタックが、前記関心領域内の画像ピクセルの明るさ制限基準を満たし、前記第２の画像スタック内の各画像で同じ明るさ制限照明パラメータを使用して取得される、第２の測定モードと、
   画像ディスプレイ及びグラフィカルユーザインタフェース（ＧＵＩ）を含むユーザインタフェースと、
   マルチポイントＺ高さ測定ツールであって、
   前記第２の測定モード、
   前記関心領域内の画像ピクセルの前記明るさ制限基準、
   前記関心領域内の画像ピクセルの前記暗さ制限基準、及び
   関心領域インジケータを含むマルチポイントＧＵＩ要素
   を含む、マルチポイントＺ高さ測定ツールと、
   を含み、前記方法は、
   前記マシンビジョン検査システムの動作を実行することであって、
   ワークピース上の特定の関心領域の画像を取得すること、
   マルチポイントＺ高さ測定ツールのインスタンスをアクティブ化すること、
   前記取得画像内の関心領域を定義すること、
   を含む、動作を実行することと、
   前記第２の測定モードに対応する前記マルチポイントＺ高さ測定ツールのインスタンスの自動動作を実行することであって、
   （ａ）照明パラメータの予備セットを使用して取得される画像スタックに基づくとともに、前記関心領域の全体に基づいて決定される合焦尺度に基づいて決定される、前記関心領域の大域的最良合焦高さに、前記撮像部を自動的に合焦する動作、
   （ｂ）前記大域的最良合焦高さで取得された画像を解析し、前記関心領域内の画像ピクセルの前記明るさ制限基準を満たす明るさ制限照明パラメータを決定するように前記照明パラメータを調整する動作、及び
   （ｃ）前記大域的最良合焦高さで取得された画像を解析し、前記関心領域内の画像ピクセルの前記暗さ制限基準を満たす暗さ制限照明パラメータを決定するように前記照明パラメータを調整する動作
   を含む、自動動作を実行することと、
   を含む、方法。
2. 前記方法は、実行モード中、パートプログラム命令の制御下で前記マシンビジョン検査システムの動作を実行することを含み、前記方法は、
   前記関心領域を含む複数の画像スタックを取得することであって、決定された前記暗さ制限照明パラメータを使用して取得される第１の画像スタック及び決定された前記明るさ制限照明パラメータを使用して取得される第２の画像スタックを少なくとも含む前記複数の画像スタックを取得することと、
   前記複数の画像スタックに基づいて前記関心領域内の複数の小領域のそれぞれの前記マルチポイント合焦ベースＺ高さ測定を特定することと、
   をさらに含む、請求項１に記載の方法。
3. 複数の小領域のそれぞれの前記マルチポイント合焦ベースＺ高さ測定を特定することは、
   前記複数の画像スタックのそれぞれの小領域のＺ高さ品質尺度を特定すること、及び
   前記最良Ｚ高さ品質尺度を提供する前記複数の画像スタックの１つに基づいて、前記小領域の前記合焦ベースＺ高さ測定を特定すること、
   を含む、請求項２に記載の方法。
4. 前記複数の画像スタックは、前記照明パラメータの予備セットを使用して取得される前記画像スタックを含む、請求項２に記載の方法。
5. 前記方法は、学習モード中、前記マシンビジョン検査システムの動作を実行することを含み、
   前記特定の関心領域の画像を取得するステップにおいて、前記ワークピースは代表的なワークピースであり、当該ステップは、前記画像ディスプレイに前記取得画像を表示することを含み、
   前記マルチポイントＺ高さ測定ツールのインスタンスをアクティブ化するステップは、マルチポイントＧＵＩ要素を前記画像ディスプレイに表示することを含み、
   前記取得画像内の関心領域を定義するステップは、前記特定の関心領域を囲むように前記マルチポイントＧＵＩ要素の前記関心領域インジケータを位置決めすることにより、前記表示画像内に関心領域を定義することを含む、請求項１に記載の方法。
6. 前記方法は、
   前記関心領域を含む複数の画像スタックを取得することであって、決定された前記暗さ制限照明パラメータを使用して取得される第１の画像スタック及び決定された前記明るさ制限照明パラメータを使用して取得される第２の画像スタックを少なくとも含む前記複数の画像スタックを取得することと、
   前記複数の画像スタックに基づいて、前記関心領域内の複数の小領域のそれぞれの前記マルチポイント合焦ベースＺ高さ測定を特定することと、
   を含む動作を実行する前記マルチポイントＺ高さ測定ツールのインスタンスのパートプログラム命令を記録することをさらに含み、
   前記複数の小領域のそれぞれの前記マルチポイント合焦ベースＺ高さ測定を特定することは、小領域毎に、
   前記複数の画像スタックのそれぞれの小領域のＺ高さ品質尺度を特定すること、及び
   前記最良Ｚ高さ品質尺度を提供する前記複数の画像スタックの１つに基づいて、前記小領域の前記合焦ベースＺ高さ測定を特定すること、
   を含む、請求項５に記載の方法。
7. 前記Ｚ高さ品質尺度は、前記複数の画像スタックから導出される合焦ピーク決定データセットにより示される代表的なピーク高さと、前記合焦ピーク決定データセットにより示される代表的なノイズレベル又は「ノイズ高さ」との関係を含む、請求項６に記載の方法。
8. ワークピース上の合焦ベースＺ高さ測定を含むＺ高さ測定データセットを決定する、精密マシンビジョン検査システムの動作方法であって、前記精密マシンビジョン検査システムは、ユーザインタフェース、カメラを含む撮像部、制御可能な照明部、合焦部、及び画像プロセッサを含む制御部を含み、前記方法は、
   （ａ）前記ワークピースにＰＦＦ動作を実行する関心領域を定義するように前記精密マシンビジョン検査システムを動作させること、
   （ｂ）前記関心領域を含み、定義されたＺ高さ範囲内の異なる合焦Ｚ高さを有する画像を含むＮ個の画像スタックに関連付けられたＮ個の各照明ベクトルを定義するように、前記精密マシンビジョン検査システムを動作させることであって、Ｎは少なくとも２であり、Ｎ個の各照明ベクトルを定義することは、
   （ｂ１）前記関心領域内の最も明るいピクセル位置が前記カメラの輝度範囲の上部２５％の輝度値を含む、第１の輝度基準を満たすように、且つ明るさ上限以上の輝度値を有する前記関心領域内の最も明るいピクセル位置の第１の数が、前記Ｚ高さ範囲内の各合焦Ｚ高さを有するとともに、前記第１の各照明ベクトルに対応する画像露光レベルを有する少なくとも１つの第１の画像において特定される、前記関心領域内の前記ピクセル位置の第１の小割合に制限されるように、第１の各照明ベクトルを定義すること、及び
   （ｂ２）第２の輝度基準が満たされるように、第２の各照明ベクトルを定義することであって、明るさ下限以下の輝度値を有する前記関心領域内の最も暗いピクセル位置の第２の数が、前記Ｚ高さ範囲内の各合焦Ｚ高さを有するとともに、前記第２の各照明ベクトルに対応する画像露光レベルを有する少なくとも１つの第２の画像において特定される、前記関心領域内の前記ピクセル位置の第２の小割合に制限される、定義すること、
   を含む、動作させること、並びに
   （ｃ）動作（ｃ１）及び（ｃ２）のセットのうちの少なくとも一方を実行すること、
   を含み、（ｃ１）は、
   後に、対応するワークピース上の対応する関心領域を検査する場合に使用するために、前記Ｎ個の各照明ベクトルをパートプログラムに関連して記憶することであって、前記パートプログラムは、
   前記Ｎ個の各照明ベクトルに基づいてＮ個の画像スタックを取得すること、
   前記Ｎ個の画像スタックのどれが、各合焦点データポイント位置での最良Ｚ高さ品質尺度を有するかを特定すること、及び
   各合焦点データポイント位置において、最良Ｚ高さ品質尺度を有する前記画像スタックに関連付けられた前記Ｚ高さ測定が、その合焦点データポイント位置におけるＺ高さ測定として識別されるように、前記画像スタックから導出されるＺ高さ測定データを提供すること、
   を含む動作を実行する命令を含み
   （ｃ２）は、
   前記Ｎ個の各照明ベクトルに基づいてＮ個の画像スタックを取得するように、前記精密マシンビジョン検査システムを動作させること、
   前記Ｎ個の画像スタックのどれが、各合焦点データポイント位置において最良Ｚ高さ品質尺度を有するかを判断すること、及び
   各合焦点データポイント位置において、前記Ｚ高さ測定が、前記合焦点データポイント位置において最良Ｚ高さ品質尺度を有する画像スタックに基づくように、前記画像スタックから導出されるＺ高さ測定データを提供すること、
   を含む、方法。
9. ステップ（ｂ１）において、明るさ上限以上の輝度値を有する前記関心領域内の最も明るいピクセル位置の第１の数は、前記Ｚ高さ範囲内の各合焦Ｚ高さを有するとともに、前記第１の各照明ベクトルに対応する画像露光レベルを有する第１の複数の画像において特定される、前記関心領域内の前記ピクセル位置の第１の小割合に制限され、
   ステップ（ｂ２）において、明るさ下限以下の輝度値を有する前記関心領域内の最も暗いピクセル位置の第２の数は、前記Ｚ高さ範囲内の各合焦Ｚ高さを有するとともに、前記第２の各照明ベクトルに対応する画像露光レベルを有する第２の複数の画像において特定される、前記関心領域内の前記ピクセル位置の第２の小割合に制限される、請求項８に記載の方法。
10. ステップ（ｂ１）において、前記少なくとも１つの第１の画像は前記第１の画像からなり、ステップ（ｂ２）において、前記少なくとも１つの第２の画像は前記第２の画像からなる、請求項８に記載の方法。
11. 前記第１及び第２の画像の各合焦Ｚ高さは異なる、請求項１０に記載の方法。
12. 前記第１及び第２の画像の各合焦Ｚ高さは同じである、請求項１０に記載の方法。
13. ステップ（ｂ）は、
    前記Ｚ高さ範囲を定義すること、
    予備照明ベクトルを使用して、前記Ｚ高さ範囲内の複数の対応する合焦Ｚ高さの複数の画像を含む予備画像スタックを取得すること、
    前記予備画像スタックに基づいてピーク合焦Ｚ高さを特定すること、及び
    前記ピーク合焦Ｚ高さを前記第１及び第２の画像の各合焦Ｚ高さとして使用すること、
    を含む動作を実行することを含む、請求項８に記載の方法。
14. 前記第１の各照明ベクトルを定義することは、前記第１の輝度基準を満たす少なくとも１つの第１の各画像が識別されるまで、各照明ベクトルを使用して前記ピーク合焦Ｚ高さにおいて取得された各画像を繰り返し解析すること、及び前記少なくとも１つの第１の各画像に対応する各照明ベクトルを前記第１の各照明ベクトルとして使用することを含み、
    前記第２の各照明ベクトルを定義することは、前記第２の輝度基準を満たす少なくとも１つの第２の各画像が識別されるまで、各照明ベクトルを使用して前記ピーク合焦Ｚ高さにおいて取得された各画像を繰り返し解析すること、及び前記少なくとも１つの第２の各画像に対応する各照明ベクトルを前記第２の各照明ベクトルとして使用することを含む、請求項１３に記載の方法。
15. パートプログラムの管理下で、前記精密マシンビジョン検査システムの実行動作モードに関連してステップ（ｃ２）の動作を実行することを含む、請求項８に記載の方法。
16. ステップ（ｃ２）において、前記実行動作モード中、前記Ｎ個の各照明ベクトルに基づいてＮ個の画像スタックを取得するように前記精密マシンビジョン検査システムを動作させることは、
    前記パートプログラムからＺ高さ範囲を呼び出すこと、
    前記パートプログラムから前記Ｎ個の各照明ベクトルを呼び出すこと、及び
    前記呼び戻されたＺ高さ範囲及びＮ個の各照明ベクトルを使用して、前記Ｎ個の画像スタックを取得すること、
    を含む、請求項１５に記載の方法。
17. ステップ（ｃ２）において、前記実行動作モード中、前記Ｎ個の各照明ベクトルに基づいてＮ個の画像スタックを取得するように前記精密マシンビジョン検査システムを動作させることは、
    前記パートプログラムからＺ高さ範囲を呼び出すこと、
    前記Ｚ高さ範囲内の複数の対応する合焦Ｚ高さにおいて複数の画像を含む予備画像スタックを取得すること、
    前記予備画像スタックに基づいてピーク合焦Ｚ高さを特定すること、
    前記ピーク合焦Ｚ高さを、前記第１及び第２の代表的な画像の実行モード合焦Ｚ高さとして使用すること、及び
    前記Ｎ個の照明ベクトルを使用して、前記Ｎ個の画像スタックを取得すること、
    を含む、請求項１５に記載の方法。
18. 前記Ｚ高さ品質尺度は、前記複数の画像スタックから導出される合焦ピーク決定データセットにより示される代表的なピーク高さと、前記合焦ピーク決定データセットにより示される代表的なノイズレベル又は「ノイズ高さ」との関係を含む、請求項８に記載の方法。
19. 前記Ｚ高さ品質尺度は、最大コントラスト値ＭＡＸ、各コントラスト曲線のすべてのコントラスト値の中央値である基線コントラスト値ＢＡＳ、及び前記コントラスト曲線のｉ番目のコントラスト値Ｃｉと前記基線コントラスト値ＢＡＳとの差の絶対偏差の中央値を、式
    

    

    に従って使用する、ワークピース画像の各スタック内の各Ｘ−Ｙ位置のコントラスト値とＺ高さとの関係を含む合焦曲線データセットに基づく、請求項１８に記載の方法。

Images