JP4477782B2 - Illumination adjustment apparatus and method for a portion corresponding to a plurality of selection areas in an image of an object to be measured - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像システムのための照明装置に関する。
【０００２】
【従来の技術】
光出力はどのような装置であっても、多くの変数の関数となる。これらの変数としては瞬間駆動電流、装置の経年数、周囲温度、光源に汚れや残留物があるかどうか、装置の性能経歴などが含まれる。機械画像計測システムは概して、対象物が見つけられうる関心領域内の他のものとのコントラストによって決定できる方法で、視野内で対象物の位置を突き止める。この測定は入射光或いは透過光の総量によってかなり影響される。
【０００３】
自動化されたビデオ検査測定計測器は、一般に、イベントの順序をユーザが定義可能なプログラミング機能を持っている。これらは例えばプログラミングのような計画的な方法、或いは計測器のシーケンスを次第に学習する記録モードによるどちらの方法でも実行することができる。シーケンスコマンドはパートプログラムとして記憶される。計測器のイベントのシーケンスを実行する命令プログラムを作成するための能力はいくつかの利点を提供する。
【０００４】
例えば、複数のワークピースまたは機器シーケンスは、想定された機器の繰り返し精度のレベルで実行され得る。さらに、機器の大多数は単一のプログラムを実行できるので、検査作業の大多数が同時に、または順番に行うことができる。その上、プログラミング機能は作業結果を記録する能力を提供する。従って、試験過程を分析することができ、ワークピースの潜在的な故障場所またはコントローラの故障を識別することができる。十分な標準化と繰り返し精度なしで記録されたプログラムは、時間の経過よって、或いは同じモデル、同じ装備の機器との間において性能を変えてしまう。
【０００５】
従来では、Ｍａｈａｎｅｙの米国特許５７５３９０３号において説明されるように、閉ループコントロールシステムは、機械画像システムの光源の出力光強度が特定のコマンドレベルまで駆動されたことを保証するために使用されていた。従って、これら従来の閉ループコントロールシステムは、瞬間駆動電流、光源の経年数、周囲温度などの変化のために所望の出力光強度から変動するのを防止するものであった。
【０００６】
【発明が解決しようとする課題】
これらの従来の閉ループコントロールシステムでは、光源を特定のコマンドレベルまで駆動させることによって得られた被測定物への照明の結果の質は一切気にせずに、光源の出力光強度は特定のコマンドレベルまで駆動されるものであった。しかしながら、たとえ光源の出力光強度が特定のコマンドレベルにコントロールされても、機械画像システムによって捕らえられた結果としてのイメージは、要求された質または特性のイメージを持つことができなかった。
【０００７】
同様に、１９９９年１２月３０日に出願された米国特許出願第０９／４７５９９０号には、作業における光源の実際の出力光強度が、特定の入力光強度命令値に基づく所望の出力光強度と一致するように、光源の出力強度を較正するためのシステムが明らかにされている。しかし、たとえ出力光強度が所望の値であったとしても、イメージの質、或いはとり込まれた結果としてのイメージの特性は不十分であるかもしれない。
【０００８】
また、多くの画像システムの入力光設定は、しばしば、定常出力光強度と一致していない。さらに、出力光強度はユーザにより直接測定できない。むしろ、出力光強度は、イメージの明るさを測定することによって間接的に測定される。一般に、イメージの明るさとはイメージの平均グレーレベルのことである。代わりに、出力光強度は、特定の画像システムに外部専用機器を使って直接測定できる。
ともかく、照明作業、すなわち測定された出力光強度と命令された光強度の間の関係は、異なる画像システム間や時間経過した同一の画像システムにおいて、或いは検査されている被測定物の各部によって一貫するものではない。むしろ、測定された出力光強度と命令された光強度の間の関係は、画像システムの光学素子や被測定物を照明するために用いられている特定の光源、その光源の特定の電球、検査される特定の被測定物の各部などに依存するものである。
【０００９】
照明作業でのこの一貫性のなさは、一つの機械での一部単独稼動でさえパートプログラムを正しく実行することを難しくしてしまう。すなわち、命令された光強度命令値の固定の組合わせを持つパートプログラムは、同一の被測定物の異なる部分を照明するときに、明るさの変化によるイメージを作るのである。しかしながら、多くの測定アルゴリズム（エッジ検出を使っているアルゴリズムなど）は、イメージの明るさに依存している。その結果、異なる部分を検査した時に、得られるイメージによって明るさに違いが生じることがしばしばあるために、パートプログラムが一貫して実行されないのである。
【００１０】
本発明は、前記課題に鑑みなされたものであり、とり込まれたイメージの所望する質或いは特性を得るために、画像システムの光強度を調整するシステム、方法、およびグラフィカル・ユーザ・インタフェースを提供することを目的とする。
また本発明は、現在の照明レベルにより、とり込まれるイメージの質または特性を決定するために使用されるイメージ内の複数の関心領域を定義するシステム、方法、およびグラフィカル・ユーザ・インタフェースを別々に提供することを目的とする。
【００１１】
また本発明は、ユーザーが、とり込まれたイメージのイメージ品質を決定するために用いられ得る複数関心領域を容易にかつ迅速に定義することを可能にするシステム、方法、およびグラフィカル・ユーザ・インタフェースを別々に提供することを目的とする。
【００１２】
【課題を解決するための手段】
前記目的を達成するために本発明における照明調整方法は、コントロール可能な照明システムとイメージングシステムを含む画像システムを用いて生成された、被測定物イメージにおける重要領域に該当する被測定物該当箇所の照明調整方法であって、初めにコントロール可能な照明システムによって被測定物を照明し、被測定物のイメージを得るイメージとり込み工程、前記重要領域内に相対的に位置決めされる、少なくとも第一関心領域と第二関心領域のイメージデータが取り出される、イメージデータ取り出し工程、前記取り出されたイメージデータからコントラストや平均明度などの少なくとも一つのイメージ品質を選ぶ、イメージ品質選択工程、少なくとも前記選択されたイメージ品質があらかじめ選択した関心領域同士の関係を満足するまで照明システムの照明状態を調整する照明状態調整工程、からなることを特徴とする。
【００１３】
また本発明において、少なくとも前記選択されたイメージ品質があらかじめ選択した関心領域同士の関係を満足するまでイメージとり込み工程、イメージデータ取り出し工程、イメージ品質選択工程、及び照明状態調整工程が繰り返されることが好適である。
また本発明において、光源が複数の選択可能な光源からなっており、前記それぞれ個々の光源はコントロール可能な光強度を有し、前記照明状態調整工程では、選択可能な複数の光源から少なくとも一つを選択し、前記選択された少なくとも一つの光源の少なくとも一つの光強度を調整することが好適である。
【００１４】
また本発明において、前記コントロール可能な照明システムは、焦点調整サブシステムを含み、前記照明状態調整工程では、焦点調整サブシステムの調整を含むことが好適である。
また本発明において、前記照明状態調整工程のあとに、イメージの重要領域からイメージデータを取り出す、イメージデータ取り出し工程、重要領域から取り出したイメージデータを処理するイメージデータ処理工程、を有することが好適である。
【００１５】
また本発明において、前記重要領域はエッジを含み、前記イメージデータ処理工程がエッジ位置決定のために重要領域から取り出されたイメージデータを分析する分析工程を含むことが好適である。
また本発明において、少なくともイメージ品質の一つがコントラスト或いは明度のどちらかであることが好適である。
また本発明において、イメージ品質選択工程において、イメージ品質にコントラストが選択されており、照明状態調整工程において満足すべき関係として、第一及び第二関心領域のイメージデータでコントラストの差を最大化する関係が選択されていることが好適である。
【００１６】
また本発明において、画像システムには被測定物のとり込まれたイメージを表示するディスプレイ等の表示手段から構成されるグラフィカル・ユーザ・インターフェースを含んでおり、被測定物のとり込まれたイメージ上に描かれた少なくとも第一及び第二関心領域を有するグラフィカル・ユーザ・インターフェースを表示することが好適である。
また本発明において、グラフィカル・ユーザ・インターフェースは選択が可能であって、グラフィカル・ユーザ・インターフェースを選択する選択工程、第一及び第二関心領域の少なくとも一つの位置決め調整を行う位置決め調整工程、及び、グラフィカル・ユーザ・インターフェースから受け取った入力に基づいて、少なくとも第一及び第二関心領域の大きさを設定する次元設定工程からなることが好適である。
【００１７】
また本発明において、画像システムがコンピュータ化されたコントロールシステムからなり、画像システムに自動的にコントロールされてプログラムの命令を自動的に実行することにより、少なくとも１つの前記工程が自動的に実行されることが好適である。
また本発明において、第一及び第二関心領域が重要領域と関連した定義位置へ位置決めされることが好適である。
また本発明において、重要領域と関連する定義位置は重要領域近傍の一つの位置であり、イメージ内の重要領域から離れて間隔を置いた位置であることが好適である。
【００１８】
また本発明において、関心領域の大部分において、略均一なイメージ光強度を示すように、少なくとも一つの関心領域が位置決めされることが好適である。
また本発明において、関心領域の大部分において、略均一な表面を有する被測定物のおおよそ均質なパターンとなるように、少なくとも一つの関心領域が位置決めされることが好適である。
【００１９】
また本発明における照明調整装置は、コントロール可能な照明システム、イメージングシステム、プロセッサ、イメージデータを表示するディスプレイなどの表示手段、前記表示手段上に表示可能で複数の関心領域を表示するのに使用されるグラフィカル・ユーザ・インターフェース、照明システムをコントロールするために使用される第一及び第二関心領域のイメージデータ、を含む画像システムにおいて、グラフィカル・ユーザ・インターフェースは、複数の境界線の組み合わせであり、それぞれの境界線の組合わせはイメージ上に表示された複数の関心領域の一つの位置と大きさを定義しており、それぞれの境界線の組合わせはイメージ上で独立的に位置決め可能であり、それぞれの境界線の組合わせの大きさはイメージ上で独立的に調整可能であることを特徴とする。
【００２０】
また本発明において、ユーザによってプロセッサに提供されたイメージ上の点に基づくイメージ表示においてグラフィカル・ユーザ・インタフェースが初期形状で配置されることが好適である。
また本発明において、グラフィカル・ユーザ・インターフェースの規定条件に含まれる関心領域の複数の表示部分を含むことが好適である。
また本発明において、表示部分は関心領域間に延びる少なくとも一つの線又は関心領域間に延びる一組の線又は関心領域の境界線のための特定の色を備え、これらの線又は色はグラフィカル・ユーザ・インターフェースの規定条件であることが好適である。
【００２１】
【発明の実施の形態】
本発明は、異なる画像システムおいて、そして／または異なる時間、異なる場所での同じ或いは異なる画像システムにおいて、または様々な表面特性をもつ被測定物を見るために、使用されるパートプログラムに命令が含められている時などの、前もって決定された命令を照明システムに使用するときに、信頼でき、繰り返し可能な結果を提示するのに特に有用である。
【００２２】
本発明のシステム、方法、およびグラフィカル・ユーザ・インタフェースの様々なそして模範的な実施例において、被測定物の取り込まれたイメージ内における２つ以上の関心領域を定義するために、ユーザは複数エリアイメージ品質ツールを使用することができる。この複数エリアイメージ品質ツールは、被測定物を照明し、その後の分析用の被測定物イメージをとり込むために使用可能なパートプログラム実行時に起動される。複数エリアイメージ品質ツールは、ユーザが、２つ以上の関心領域の位置決め、方向付け、サイズ、および分離を指定することを可能にする。また複数エリアイメージ品質ツールは、画像システムの光源操作モードで、選択されたイメージ品質に到達するための目標、および／または選択されたイメージ品質を満たす数値範囲を含む２つ以上の関心領域内で測定されるイメージ品質、およびどのように関心領域内でイメージを分配するかが分析され、ユーザが被測定物を照明するために用いられる光源のうちの１つ以上を指定すること、および照明する角度調整を可能にする。
【００２３】
複数エリアイメージ品質ツールを含むパートプログラムの動作において、被測定物は直ちに、複数エリアイメージ品質ツールに先立ち、パートプログラム内に含まれている照明コマンドに基づいて照明される。特に、例えば前記米国特許５７５３９０３号で明らかにされた閉ループコントロールシステム、または米国特許出願第０９／４７５９９０号において明らかにされたキャリブレーションシステムと方法では、初期照明レベルが、要求された照明レベルと正しく一致していることを保証するために用いることができる。画像システムはその時、この初期照明レベルを使って被測定物のイメージをとり込む。そしてイメージの一部分が、定義された関心領域に基づいて取り出される。とり込まれたイメージのイメージ品質は関心領域の分析に基づいて決定され、そしてイメージ品質は複数エリアイメージ品質ツールで定義される。
【００２４】
もしイメージ品質が定義された目標に到達した場合、および／または複数エリアイメージ品質ツールで定義された範囲内に入った場合は、パートプログラムの次の命令が実行される。もしイメージ品質が、定義された範囲内にないならば、光源の強度が調整される。そして、被測定物の新しいイメージをとり込み、新しくとり込まれたイメージの一部分である関心領域を取り出し、分析する。このような手続は、関心領域内のとり込まれた被測定物のイメージのイメージ品質が、定義された範囲内に入るような光源の現在出力強度となるまで繰り返される。従って、本発明のシステム、方法、およびグラフィカル・ユーザ・インタフェースを使うことによって、ユーザは所望の照明レベルというよりも所望のイメージ品質を定義することができ、被測定物のとり込まれたイメージを得るために使用される。
【００２５】
以下、本発明の前記したような機能と長所及び他の機能と長所を、実施例を交えながら詳細に説明する。
本出願における照明調整システム、方法、およびグラフィカル・ユーザ・インタフェースは、米国特許出願第０９／４７５９９０号に記載された照明キャリブレーションシステム及び方法と連携して使用可能である。
簡便性と説明のために本発明の動作原理、および設計要素を図１に示す本発明の画像システムの一実施形態を用いて説明する。図１に示された画像システムの作用の基本的な解説は、本発明の照明調整システムと方法を用いたどのような画像システムにも適用可能である。
【００２６】
入力光強度の命令値は、光源の光出力強度をコントロールするためにユーザにより設定された光強度値の組合わせである。入力光強度の命令値はパートプログラム、或いはユーザーインターフェイスを使って明確に設定される。入力光強度の命令値の範囲は０から１までであり、可能な最大出力光強度の百分率を表している。以下の説明において、範囲０〜１および０％〜１００％は区別なく使われる。０または０％は照明しないことと一致し、一方、１または１００％が、全出力で照明することと一致しているものとする。
【００２７】
出力光強度値は、被測定物に照射され、被測定物で反射後、画像システムの光学要素通過前の、光学センサによって受け取られる光源の光強度である。本発明の照明調整システム、方法、およびグラフィカル・ユーザ・インタフェースの様々な実施形態において、出力光強度Ｉはイメージの領域の平均グレーレベルを使って測定される。
本発明のシステムと方法の様々な実施形態の以下の説明において、システムと方法の様々な実施形態の動作は、自動的に実行される。このシステムと方法の様々な実施形態の動作は例えばパートプログラムの命令の作成と実行のような、多くのシステム動作と方法のステップの理解と共に概説される。しかし、システム動作と方法のステップが達成されるような手動操作であっても本発明の範囲に含まれるものである。
【００２８】
図１に本発明の照明調整コントロールシステムを含む画像システムの一実施形態を記載する。図１に示すように、画像システム１０は、コントロールシステム部１００と画像システム構成要素部２００を含む。画像システム構成要素部２００は、中心透明部材２１２を持つステージ２１０を含む。画像システム１０を使ってイメージがとり込まれる被測定物２０は、ステージ２１０に置かれる。光源２２０〜２４０のうちの一つ以上により放たれた光は、被測定物２０を照明する。一つ以上の光源２２０〜２４０からの光は、被測定物２０を照明した後、場合によっては被測定物２０を照明する前に、レンズ系２５０を通過し、被測定物２０のイメージを作成するために、カメラ系２６０により集められる。カメラ系２６０によってとり込まれたイメージは、コントロールシステム部１００に信号線２６２で出力される。被測定物２０を照明するために用いられた光源２２０〜２４０は、リングライトやプログラム可能なリングライトなどのようなステージライト２２０、同軸ライト２３０、および表面ライト２４０を含む。
【００２９】
ステージ２１０とカメラ系２６０の間の距離は、カメラ系２６０によってとり込まれた被測定物のイメージの焦点をあわせるために調整可能である。特に、固定されたステージ２１０を有する実施形態では、カメラ系２６０の位置が垂直の軸に沿って可変に構成され、また固定されたカメラ系２６０を有する他の実施形態では、ステージ２１０の位置が垂直の軸に沿って可変に構成されることが好適である。さらに、画像システム１０の他の実施形態おいて、カメラ系２６０とステージ２１０との間の垂直位置は、画像システム１０の焦点範囲を最大化するために可変に構成されることが好適である。
【００３０】
一実施形態であるコントロールシステム部１００は入出力インターフェース１１０、コントローラ１２０、メモリ１３０、複数エリア関心領域ジェネレータ１５０、複数エリア関心領域出力器１６０、パートプログラムジェネレータおよび／または出力器１７０、入力光命令値調整器１８０、そして電源１９０とを含み、それぞれ、様々な構成要素間はデーター／コントロールバス１９５または直接的な接続により相互接続される。カメラ系２６０からの信号線２６２は入出力インタフェース１１０と接続される。また、信号線１０３によって接続されたディスプレイ１０２と、１つ以上の信号線１０５によって接続された一つ以上の入力装置１０４は入出力インタフェース１１０と接続することができる。ディスプレイ１０２および一つ以上の入力装置１０４は、情報を見ること、パートプログラムを作成し修正すること、カメラ系２６２によってとり込まれたイメージを見ること、および／または、画像システムの各構成要素２００を直接コントロールするために使用される。しかしながら、あらかじめ決められたパートプログラムを有する十分に自動化されたシステムでは、ディスプレイ１０２および／または一つ以上の入力装置１０４、および対応する信号線１０３および／または１０５は省略することも可能である。
【００３１】
図１に示すように、メモリ１３０は、パートプログラム記憶部１３１、複数エリア関心領域定義記憶部１３２、複数エリア特性記憶部１３３、初期設定記憶部１３４、およびとり込みイメージ記憶部１３５を含む。パートプログラム記憶部１３１は、個々の被測定物のタイプにあわせて、画像システム１０の動作をコントロールするために用いられる一つ以上のパートプログラムを記憶している。とり込みイメージ記憶部１３５は、プログラミングする時、および／または、画像システム１０を操作する時に、カメラ系２６０を使ってとり込まれるイメージを記憶する。
【００３２】
複数エリア関心領域定義記憶部１３２は、複数エリアイメージ品質ツールを形成する二つ以上の関心領域と、複数エリアイメージ品質ツールが、とり込まれたイメージの前もって決定された軸で作る角度で囲まれた、複数エリアイメージ品質ツールの矩形隣接枠線の幅と高さと共に、とり込まれたイメージ内の複数エリアイメージ品質ツールの位置決めを定義するデータも含んでいる。複数エリアイメージ品質ツールの機能は後述する図２において詳しく説明する。
【００３３】
複数エリア特性記憶部１３３は、少なくとも現在の複数エリアイメージ品質ツール、所望するイメージの質を得るために調整される１つ又は複数の光源を識別しているデータ、画像システム１０の様々な光源を操作するための操作モードを定義するデータ、調整されると識別された光源に更に調整が必要かどうかを決定するために測定に使ったイメージの質を定義するデータ、選ばれたイメージの質の許容誤差範囲を定義するデータ、そして、フィルタをかけられる関心領域のイメージデータかどうかを定義するデータを記憶している。複数エリアイメージ品質ツールの様々な特性は、後述する図２〜６で詳しく説明する。
【００３４】
初期設定記憶部１３４は、画像システム１０の光源２２０〜２４０のうち一つ以上を調整するための複数エリアイメージ品質ツールを実行するパートプログラムに先がけて、所定箇所に設置された画像システム１０の様々な光源２２０〜２４０を制御する初期設定を記憶している。概して、これらの設定は、前回実行されたパートプログラムで定義されたものである。
【００３５】
図２に、本発明における複数エリアイメージ品質ツールの一実施形態を示す。特に、図２に示された複数エリアイメージ品質ツールでは、デュアルエリアイメージ品質ツール３００となっている。図２に示すように、デュアルエリアイメージ品質ツール３００は、第一関心領域３１０と結合棒３３０によって接続された第二関心領域３２０を含む。従って、デュアルエリアイメージ品質ツール３００は長方形３４０により限定される。デュアルエリアイメージ品質ツール３００の第一実施形態では、デュアルエリアイメージ品質ツール３００が３１０と３２０の関心領域を２つ有している。しかし、本発明では複数エリアイメージ品質ツール内でいくつでも関心領域を設定することができる。
【００３６】
このように、複数エリア関心領域定義記憶部１３２は、とり込まれたイメージ内のデュアルエリアイメージ品質ツールの位置決めを定義するデータを記憶している。このデータは、とり込まれたイメージの原点からの水平距離またはオフセット、およびとり込まれたイメージの原点からの垂直距離またはオフセットを含む。このとり込まれたイメージの原点からの水平および垂直距離は複数エリアイメージ品質ツールで占められた長方形３４０内の任意の点とリンクすることができるものである。概して、水平および垂直距離は、長方形３４０の頂点の一つ、或いは長方形３４０の中心点とリンクされる。
【００３７】
また前述のように、複数エリア関心領域定義記憶部１３２は、複数エリアイメージ品質ツールと接する長方形３４０の高さと幅を定義する高さおよび幅データーを記憶している。図２に示したデュアルエリアイメージ品質ツール３００のような、複数エリアイメージ品質ツールの様々な実施形態において、いったん高さと幅が定義されると、関心領域３１０と３２０は、長方形３４０と同じ高さを持ち、長方形３４０の幅の１／３の幅を持つ長方形として定義される。すなわち、関心領域３１０と３２０はそれぞれ長方形３４０の１／３の幅を占める一方、結合棒３３０は残りの３番目を占める。
【００３８】
なお本発明にかかる複数エリアイメージ品質ツールの他の様々な実施形態において、関心領域の幅、及び結合棒には、各種比率が使われ得るものであってもよい。また結合棒の長さが０つまり使用しなくてもよい。すなわち、お互いに隣接した二つの関心領域を設定することができる。さらに、本発明にかかる複数エリアイメージ品質ツールのさらに他の様々な実施形態において、複数エリア関心領域定義記憶部１３２は、ユーザから供給される付加的なデータ、あるいは結合棒に対する関心領域の比率を決定するための自動生成される付加的なデータを含んでいてもよい。
【００３９】
前述のように、複数エリア関心領域定義記憶部１３２は、とり込まれたイメージ内のあらかじめ決定された軸に、長方形３４０の辺で作られた角度を定義する角度データも含む。従って、もし、とり込まれたイメージのあらかじめ決定された軸が、とり込まれたイメージの水平軸と位置合わせされるならば、０°は、とり込まれたイメージの水平軸に沿って延長した長方形３４０の辺と一致し、一方、９０°あるいは２７０°は、とり込まれたイメージの垂直軸に沿って延長した長方形３４０の辺であることを示す。概して、長方形３４０は水平および垂直距離と関連づけられる長方形３４０の同じ点で回転するものである。従って、もし水平および垂直距離が長方形３４０の中心点とリンクされるならば、長方形３４０は中心点で回転する。
【００４０】
操作において、パートプログラムを作成するためにユーザが画像システム１０を用いる時には、ユーザは、パートプログラム言語を使って命令を明示的にコード化することによって、またはパートプログラムの命令で保存されるような教示シーケンスを通じて画像システム１０を動かして命令を作ることによってパートプログラムの命令を作成する。特に、これらの命令は、画像システム１０にステージ２１０および／またはカメラ系２６０を操作させるので、被測定物の特定部位はカメラ系２６０の視野内で、かつ所望の焦点状態となる。また、イメージをとり込むことに先がけて、ユーザは、所望の被測定物２０の照明状態とするために光源２２０〜２４０の一つ以上を作動させるパートプログラムの命令を作成することができる。
【００４１】
パートプログラムジェネレータおよび／または出力器１７０は、コントローラ１２０のコントロール下で、被測定物２０のイメージをとり込み、コントロールシステム１００にとり込まれたイメージを出力するようにカメラ系２６０に命じる。コントロールシステム１００は、コントローラ１２０のコントロール下で、入出力インタフェース１１０を通してとり込まれたイメージを入力し、メモリ１３０のとり込みイメージ記憶部１３５に、とり込まれたイメージを記憶する。そしてコントローラ１２０はディスプレイ１０２にとり込まれたイメージを表示する。
【００４２】
次に、本発明におけるシステム、方法、およびグラフィカル・ユーザ・インタフェースにおいて、ユーザは、概してグラフィカル・ユーザ・インターフェースを使用して複数エリアイメージ品質ツールにアクセスする。すなわち、ユーザは、複数エリアイメージ品質ツール作成メニュー項目またはツールバーボタンを作動させる。ユーザは、その時、とり込まれたイメージから選択を所望する部分３４０を選択する。すると、複数エリアイメージ品質ツール３００が、選ばれた部分３４０内に置かれる。特に、様々な実施形態において、パートプログラムの命令は、とり込まれたイメージの基準から複数エリアイメージ品質ツール３００の基準点の水平及び垂直距離、選択領域３４０の高さと幅、およびあらかじめ決定する０角度軸で作られた選択領域３４０の角度を定義することができる。図３〜６に記載されるような複数エリアイメージ品質ツールの異なる実施形態は、その実施形態に適切な種々の情報を定義する種々のパートプログラムの命令を作成することとなる。
【００４３】
もしコントロールシステム１００が複数エリアイメージ品質ツール３００内の関心領域の比率を自動的に調整するならば、二つ以上の関心領域は、選択された領域３４０内で自動的に位置決めされ、一つ以上の結合棒は決定された関心領域の間に描かれる。一般に、選択された領域３４０は、二つ以上の関心領域が、とり込まれたイメージ内の選択された特徴（エッジのような）に対してそれぞれ異なる側に置かれ、一つ以上の結合棒が選択された特徴を横切って引かれるように選択される。例えば、図３に示すように、二つの関心領域３１０と３２０を有するデュアルエリアイメージ品質ツール３００は選択された領域３４０がエッジ３５０をまたいで設定されている。従って、関心領域３１０は明領域３５２内に、他方の関心領域３２０は暗領域３５２内にそれぞれ位置決めされ、結合棒３３０はエッジ３５０を横切って引かれている。
【００４４】
図３に、重要な領域３５０に囲まれた二つ以上の関心領域を選択するために使用される複数エリアイメージ品質ツールとグラフィカル・ユーザ・インターフェースの第一実施形態を示す。図３においては、関心領域３１０と３２０内のとり込まれたイメージ部分は概して一定の明暗度を持っている。従って、このような場合、これらの関心領域にフィルタリングは必要とされない。
【００４５】
多くの場合、関心領域は、それぞれ一定の明暗度を持っているものである。正確には、関心領域３１０と３２０それぞれは、特定のイメージ品質、或いは選択された特徴に関して均質である。さらに、このことは、少なくとも、画像性状がその関心領域内で連続していることを意味している。例えば、ブラッシングされたアルミニウム片の拡大図形のピクセル明暗度は、関心領域内でかなり変わることが予想される。しかしながら、その関心領域内の全体の性状において、何らかの突然な変化があるものではない。このようなタイプの例を図４の左側に示す。本発明はこのような関心領域内に鋭い不連続性があるものであっても、そのような関心領域を使用不可能にすることなく使用できる。
【００４６】
図４に、それぞれ２つ以上の関心領域を有する２つの複数エリアイメージ品質ツール４００と５００、及び結合棒３３０を有するデュアルエリアイメージ品質ツール３００が記載されている。特に、第二実施形態である複数エリアイメージ品質ツール４００は、互いにつながれた４つの関心領域４１０〜４４０を含んでいる。これに対して、第三実施形態である複数エリアイメージ品質ツール５００は、第二関心領域５２０〜第四関心領域５４０がそれぞれ第一関心領域５１０につながれた４つの関心領域５１０〜５４０を有する。図４に記載されたデュアルエリアイメージ品質ツール３００は、関心領域が直線関係でなく互いに角度を持った関係である。本発明における関心領域はこのように必ずしも直線関係である必要はない。
【００４７】
第二実施形態である複数エリアイメージ品質ツール４００及び第三実施形態である複数エリア品質ツール５００には、結合棒４５０及び５５０で様々な関心領域を結ぶための一般的な方法が記載されている。第一の方法は、第二関心領域が第一関心領域と連結され、第三関心領域が第二関心領域に連結されると言うように様々な関心領域が連続して結合されるものである。第二の方法は、第二、第三…関心領域が第一関心領域に連結されるというように並行して一つの関心領域に対して結合されるものである。
【００４８】
複数エリアイメージ品質ツールが２つ以上の関心領域を有するとき、その複数エリアイメージ品質ツールの複数エリアの属性は関心領域の総数、関心領域が結合される方法、関心領域間をつなぐ結合棒の間の角度などの１つ以上を示す。
図５に、本発明の一実施形による第三のイメージと複数エリアイメージ品質ツールの一実施形態を示す。図５では、関心領域３１０内のイメージ明暗度は、非常に明るい部分と非常に暗い部分の両方を含んでいる。従って、これらの極端なイメージ明暗度を削除するために、関心領域３１０と３２０をフィルタリングすることは、選択されたイメージ品質の分析を改善することとなる。
【００４９】
図６に、本発明における第四のイメージと第五実施形態である複数エリアイメージ品質ツールとグラフィカル・ユーザ・インタフェース６００を示す。特に、図６においては、複数エリアイメージ品質ツール６００が矩形でなく円形の関心領域６１０と６２０となっている。一般に、関心領域の形状は重要ではない。しかし、関心領域の形状は、とり込まれたイメージの選択された部分の形状とマッチするように選択することが好適である。なお、図６において、複数エリアイメージ品質ツール６００は結合棒６３０を横切る重要な特徴である境界線６５０が垂直に延長するような角度に回転することが示されている。
【００５０】
また本発明において、図３に示すような関心領域３１０と３２０が、とり込まれたイメージの適切な部分を含むことを保証するために、そして／或いは、エッジ３５０のような重要な特徴を横切って結合棒３３０が延長することを保証するために、ユーザが領域３４０の高さ、幅、角度、または位置決めを変更するという処理を行うことができることが好適である。いったんユーザが、複数エリアイメージ品質ツール３００が適切に置かれることを確認したら、ユーザはシステムコントロール部１００にこれを示す。すると図１に示した装置におけるパートプログラムジェネレータおよび／または出力器１７０は、複数エリアイメージ品質ツールの現状に基づくパートプログラムの命令を生成する。
【００５１】
そして、ユーザは、特定のイメージ品質に基づき、光源出力を調整するために、様々な光源２２０〜２４０のどの光源をコントロールするのかを装置に入力する。例えば、図１に示したような画像システム１０においては、複数エリアイメージ品質ツールの本実施形態における複数エリア属性データの光源データで、調整のためにステージライト２２０、同軸ライト２３０、リングライト２４０、または、もし提供されるならば、プログラム化可能なリングライト２４０のすべての部分を光源として使用することを指示することができる。さらに、光源データは、プログラム可能なリングライト２４０における多数の部分のうち、一部を調整することを指示できる。この場合、現在の複数エリアイメージ品質ツールのための複数エリア属性データに、コントロールされるプログラム可能なリングライトの個々のデータを定義するデータも含んでいる。
【００５２】
複数エリア属性データは、選択された光源の調整時に、どのイメージ品質または特性を使用するかを指示するデータも含んでいる。本発明のシステム、方法、及びグラフィカル・ユーザ・インターフェースの本明細書に記載した様々な実施形態において、使用される様々なイメージ品質または特性としては、コントラスト、平均明度、中間明度、明度形態などのイメージの品質を表す様々なデータを用いることができる。すなわち、本発明においては、選択された光源の出力光強度に依存するどのようなイメージ特性またはイメージ品質であっても使用することができる。
【００５３】
様々な実施形態において、前記複数エリアイメージ品質ツールの例と関連した複数エリア属性データは、選択されたイメージ品質または特性と中止しきい値のための目標を定義する到達状態も含む。到達状態は、例えばイメージ品質のコントラストが、最大のコントラストまたは最小のコントラストであるようなときである。中止しきい値は、パートプログラムを終了させる誤差状態を定義するものである。例えば、到達状態が最大のコントラストである時には、中止しきい値は、実行し続けるために、最大のしきい値がパートプログラムによって到達しなければならない値を示す。
【００５４】
また他の実施形態において、前記複数エリアイメージ品質ツールの例と関連した複数エリア属性データは、選択されたイメージ品質のための許容値も含む。この許容値は、容認できるイメージ品質値の範囲を示しており、従って、選択された光源の更なる調整は必要としない。特に、許容値は、複数エリアイメージ品質ツールの関心領域における、とり込まれたイメージ部分の最小品質差、最大差、または最小差と最大差の両方を定義することができる。
【００５５】
例えば、もし選択されたイメージ品質が平均明度であるならば、関心領域３１０と３２０内のとり込まれたイメージ部分は、関心領域３１０と３２０内のそれぞれにおいて平均明度を決定するために分析される。そして、差は領域３１０と３２０のそれぞれの平均明度の間で決定される。式にすると以下のようになる。
【００５６】
【数１】
Ｃ＝｜Ｍ_１−Ｍ_２｜
ここで、Ｃはコントラスト、Ｍ_１は第一関心領域の平均イメージ輝度、Ｍ_２は第二関心領域の平均イメージ輝度である。
様々な実施形態において、決定された差は、到達状態にあるか、または到達状態に達したかどうかを決定するために分析される。いったん定義された到達状態が得られて、中止しきい値を越えたら、次のパートプログラムの命令が実行できる。さもなければ、もし中止しきい値を越えていないならば、パートプログラムの実行が停止する。
【００５７】
様々な他の実施形態において、決定された差は、差が最小許容値より大きい値かどうか、最大許容値以下であるかどうか、或いは両方が定義されているなら最小と最大許容値の間かどうかを決定するために許容値と比較される。いったん定義された許容値が得られたら、次のパートプログラムの命令が実行される。
【００５８】
本発明におけるシステム及び方法の様々な実施形態において、イメージ品質または特性のための目標となる数値が、マニュアル教示により設定される。すなわち、教示モードにおいてユーザは、例えば、光源を調整することによって、重要な領域のイメージ品質のユーザの主観的な検討が良好となるまで機械を手動で操作し、目標となる数値を設定する。そして、イメージ品質または特性と一致する、コントラストや明度などのある一つの値または複数の値は、前記ユーザが設定したイメージデータから決定される。さらに、それらの値は、将来的なパートプログラムの自動実行の参照のために記憶されて目標となる数値となり、例えば前記数１のイメージコントラストと関連するイメージ特性のために使用され得る。
【００５９】
数１は、２つの適切に位置決めされた関心領域間の光強度勾配と一致する数値を提供できる。すなわち、重要な領域において、もしエッジがこれら二つの関心領域間に位置決めされるなら、この数値および一致する光強度勾配は、ほとんどのエッジ位置決め決定アルゴリズムに影響するイメージ特性に一致することとなる。従って、このタイプの特定の数値を再現することは、イメージデータから計算された再現可能なエッジ位置を導くエッジのイメージを再生するものとなる。
【００６０】
またユーザは或いはマニュアル教示の間に光源設定を変更する或いは補うために、重要な領域における付加的な操作を含む繰り返し手続を実行することができる。例えば、入力光強度命令値を設定し、イメージ品質または特性によって定められる値を決定した後に、ユーザは、所定の方法で重要な領域内でのエッジの位置決め行い、後の参照のために位置決めを記憶しておくことができる。そして、ユーザは、重要な領域におけるエッジの位置決めのような、入力光強度命令値への光源の調整、新しい一つ或いは複数の数値、イメージデータからのイメージ特性への一致、付加的操作の再実行などを行うことができる。
【００６１】
光源の入力光強度値設定の最終的な目標が信頼性と再現性のあるエッジの位置決めであるから、ユーザはどの数値が許容可能なエッジ位置決め値、すなわち正確な許容範囲内にある数値からなるイメージ特性と一致するのかを決定するためにエッジ位置決めデータの結果を分析することができる。この方法は、イメージ特性の目標数値の許容範囲と同様に、イメージ特性の最適な目標数値を設定するのに用いられる。
また、２つの付加的な複数エリア属性値が定義されることが好適である。操作モード値は、選択されたイメージ品質が選択された光源による照明に基づいて決定されているかどうか、或いは作動している光源すべてに基づいて決定されているかどうかを示す。
【００６２】
第二の数値は、極端なイメージ品質値を持つピクセルを除外するために、関心領域内のイメージデータにフィルタをかけるべきであるかどうかを示す。例えば、もし像資質が明度に基づくならば、フィルタは、決定されたイメージ品質が選択された許容範囲内であるかどうかを決定する時に、異常に明るいまたは異常に暗いピクセルを除外するために使用できる。
【００６３】
いったんユーザが複数エリアイメージ品質ツールを定義する大きさや位置などについての次元データと定義された複数エリアイメージ品質ツールを使用するときに用いられる属性を定義するデータを設定し、対応したパートプログラムの命令が、作成されるパートプログラムに追加されると、ユーザは、別の複数エリアイメージ品質ツールを作成する指示のような、次のパートプログラムの命令を作成することができる。ユーザはこのような手順で、パートプログラムが完成し、パートプログラム記憶部１３１に記憶されるまで作業を続けるのである。
【００６４】
画像システム１０がパートプログラムを実行する命令を受け取ると、コントローラ１２０の制御下にあるパートプログラムジェネレータ／出力器１７０は、パートプログラム記憶部１３１に記憶されたパートプログラムの命令を読み出し始め、読み出した命令を実行する。このとき、パートプログラムの命令には、一つ以上の光源２２０〜２４０の点消灯、または調整の命令を含むものであってもよい。なお、そのような命令には入力光強度命令値が含まれる。
【００６５】
パートプログラムジェネレータ／出力器１７０はそのような光源への命令を読み出すと、パートプログラムジェネレータ／出力器１７０は入力光強度命令値調整器１８０に入力光強度命令値を出力する。コントローラ１２０の制御下にある入力光強度命令値調整器１８０は、電源１９０に初期入力光強度値を出力する一方、パートプログラムジェネレータ／出力器１７０は、駆動される光源２２０〜２４０の電源１９０に命令を出力する。そして電源１９０は、画像システム構成要素部２００の一つ以上の光源２２０〜２４０に接続されたそれぞれの信号線２２２、２３２及び２４２を通って信号が供給されることによって、初期入力光強度値に基づいて光源２２０〜２４０を駆動させる。
【００６６】
本発明における複数エリアイメージ品質システム、方法、およびグラフィカル・ユーザ・インタフェースと関連する命令を含むパートプログラムのために、パートプログラムジェネレータ／出力器１７０は、複数エリアイメージ品質ツールの位置決め、サイズ、および角度を定義する命令を読み込み、複数エリア関心領域定義記憶部１３２の複数エリアイメージ品質ツール定義データ及び複数エリア特性記憶部１３３の複数エリア属性データを記憶する。
【００６７】
コントローラ１２０の制御下にある入力光命令値調整器１８０は、選択されたイメージ品質が選択された光源による照明に基づいて決定されているかどうか、或いは稼動中の点灯可能な光源すべてに基づいて決定されているかどうかを決定する複数エリア特性記憶部１３３に記憶された複数エリア属性データにアクセスする。もし稼動中の光源のすべてに基づいて選択されたイメージ品質が決定されるなら、入力光強度命令値調整器１８０は、関心領域がとり込まれたイメージから取り出すことができるように複数関心領域出力器１６０に指示する。
【００６８】
これに対し、もし選択されたイメージ品質が、選択された光源による照明だけに基づいて決定されるのであれば、入力光強度命令値調整器１８０は初めに初期設定記憶部１３４で作動するように設定されている光源２２０〜２４０の設定を記憶し、作動中である他の光源を消灯する。コントローラ１２０は入出力インターフェース１１０及び信号線２６２を通してカメラ系２６０に信号を送信する。そしてカメラ系２６０は、調整とコントロール部１００に新しくとり込んだイメージを出力するために、選択された光源だけで照明された新しいイメージを取り込む。さらにコントローラ１２０の制御下にある入出力インターフェース１１０はメモリ１３０のとり込みイメージ記憶部１３５に新しくとり込んだイメージを記憶させる。
【００６９】
続いて、複数関心領域ジェネレータ１５０は複数エリア対比命令に定義された様々な関心領域の位置や大きさなどの次元を定義するために複数エリア関心領域定義記憶部１３２に記憶された複数エリア関心領域の定義を読み出す。そして複数エリア関心領域出力器１６０は複数関心領域ジェネレータ１５０によって指示された位置に、複数関心領域ジェネレータ１５０によって作成される関心領域のとり込まれたイメージからイメージデータを取り出す。
【００７０】
様々な実施形態において、複数エリア関心領域出力器１６０は、イメージの取り出された部分を解析し、到達状態を決定するために用いられるイメージ品質或いは特性を決定するための複数エリア特性記憶部１３３に記憶された複数エリア属性データにアクセスする。そして複数エリア関心領域出力器１６０は、複数エリア特性記憶部１３３に記憶された複数エリア属性データによって定義された光源は調整が必要かどうかを、到達状態に関して決定されたイメージ或いは特性の質を指示された場合は定義されたイメージ品質或いは特性を作成して決定する。そうでない場合には複数エリア関心領域出力器１６０は、パートプログラムジェネレータ／出力器１７０に次のパートプログラム命令を取り出すように指示する。
【００７１】
様々な他の実施形態において、複数エリア関心領域出力器１６０は、イメージの取り出された部分を解析し、決定されたイメージ品質或いは特性との比較のために用いられる許容範囲を決定するための複数エリア特性記憶部１３３に記憶された複数エリア属性データにアクセスする。そして複数エリア関心領域出力器１６０は、複数エリア特性記憶部１３３に記憶された複数エリア属性データによって定義された光源は調整が必要かどうかを、許容範囲との比較において決定されたイメージ或いは特性の質を指示された場合は定義されたイメージ品質或いは特性を作成して決定する。そうでない場合には複数エリア関心領域出力器１６０は、パートプログラムジェネレータ／出力器１７０に次のパートプログラム命令を取り出すように指示する。
【００７２】
これに対して、もし複数エリア関心領域出力器１６０が選択された光源の調整が必要であると決定した場合、複数エリア関心領域出力器１６０は入力光強度命令値調整器１８０に指示を出す。すると、入力光強度命令値調整器１８０は選択された光源の光強度命令値を調整する。そして入力光命令値調整器１８０は、選択された光源の光強度出力が調整されるように電源１９０に選択された光源の調整された光強度命令値を出力する。
【００７３】
前述した様々な実施形態のように、選択されたイメージ品質或いは特性は初めに複数エリア特性記憶部１３３に記憶された到達状態に向けて調整され、その結果は中止しきい値と比較されるのである。特に、このような実施形態では複数エリア関心領域出力器１６０が、選択されたイメージ品質或いは特性が複数エリア特性記憶部１３３に記憶された到達状態に到達したかどうかを決定する。もし複数エリア関心領域出力器１６０の決定が光強度を増加させると言うものであれば、入力光強度命令値調整器１８０は選択された光源の出力光強度を増加させるために電源１９０に出力される調整された光強度命令値を大きくする。これに対して、もし複数エリア関心領域出力器１６０の決定が光強度を減少させると言うものであれば、入力光強度命令値調整器１８０は選択された光源の出力光強度を減少させるために電源１９０に出力される調整された光強度命令値を小さくする。このようなことは、選択されたイメージ品質或いは特性が、測定された平均明度コントラストであり、複数エリア特性記憶部１３３に記憶された到達状態が関心領域間の測定された平均明度コントラストを最大化することとなっているとき、測定された平均明度コントラストがまだ最大値に達していないときのどちらの場合にも起こり得ることである。
【００７４】
いったん選択された光源の光強度が調整されたら、コントローラ１２０に制御されたカメラ系２６０は被測定物の別のイメージをとり込み、入出力インタフェース１１０へ信号線２６２によってとり込まれたイメージを出力する。コントローラ１２０によって制御された入出力インタフェース１１０は、とり込みイメージ記憶部１３５に新しくとり込まれたイメージを記憶させる。
【００７５】
そして、コントローラ１２０に制御された複数エリア関心領域１６０は複数関心領域ジェネレータ１５０によって定義されるように、新しくとり込まれたイメージの一部を再び取り出す。さらに複数エリア関心領域１６０は、取り出された領域の選択されたイメージ品質、或い特性が複数エリア特性記憶部１３３に記憶された到達状態に到達したかどうかを再決定する。もし到達したと決定されたら、複数エリア関心領域１６０は次のパートプログラムの命令が実行されるべきであることをパートプログラムジェネレータ／出力器１７０に指示する。なお、もし選択された光源が、他の作動光源を消灯することで調整された場合、それらの光源は再び点灯される。特に、入力光命令値調整器１８０は、初期設定記憶部１３４から前記他の作動光源の記憶された値を読み出し、電源１９０に再記憶された入力光強度値を出力する。あるいは、前述した光源調整を繰り返し、新たなイメージをとり込むことも可能である。このような過程は、とり込まれたイメージから取り出された部分でのイメージ品質が複数エリア特性記憶部１３３に記憶された到達状態に達するまで繰り返される。
【００７６】
前述した様々な他の実施形態のように、選択されたイメージ品質或いは特性は選択されたイメージ品質或いは特性が成功しきい値または許容値以内となるまで、複数エリア特性記憶部１３３に記憶された成功しきい値または許容値と比較されるのである。もし選択されたイメージ品質或いは特性と複数エリア関心領域出力器１６０によって決定された許容値との比較が光強度を増加させると言うものであれば、入力光強度命令値調整器１８０は選択された光源の出力光強度を増加させるために電源１９０に出力される光強度命令値を大きくする。これに対して、もし複数エリア関心領域出力器１６０による比較が光強度を減少させると言うものであれば、入力光強度命令値調整器１８０は選択された光源の出力光強度を減少させるために電源１９０に出力される調整された光強度命令値を小さくする。
【００７７】
このようなことは、選択されたイメージ品質或いは特性が測定された平均明度コントラストであり、複数エリア特性記憶部１３３に記憶された到達状態が許容値を超える関心領域間の測定された平均明度コントラストであるとき、測定された平均明度コントラストがまだ許容値を超えていないときのどちらの場合にも起こり得ることである。従って、許容値と選択されたイメージ品質或いは特性の比較が光強度を減少させると言うものであれば、入力光強度命令値調整器１８０は選択された光源の出力光強度を減少させるために電源１９０に出力される調整された光強度命令値を小さくするのである。
【００７８】
いったん選択された光源の光強度が調整されたら、コントローラ１２０に制御されたカメラ系２６０は被測定物の別のイメージをとり込み、入出力インタフェース１１０へ信号線２６２によってとり込まれたイメージを出力する。コントローラ１２０によって制御された入出力インタフェース１１０は、とり込みイメージ記憶部１３５に新しくとり込まれたイメージを記憶させる。
【００７９】
そして、コントローラ１２０に制御された複数エリア関心領域１６０は複数関心領域ジェネレータ１５０によって定義されるように、新しくとり込まれたイメージの一部を再び取り出す。さらに複数エリア関心領域１６０は、取り出された領域の選択されたイメージ品質、或い特性がパートプログラムで定義された許容値以内に入っているかどうかを再決定する。もし入っていると決定されたら、複数エリア関心領域１６０は次のパートプログラムの命令が実行されるべきであることをパートプログラムジェネレータ／出力器１７０に指示する。なお、もし選択された光源が、他の作動光源を消灯することで調整された場合、それらの光源は再び点灯される。特に、入力光命令値調整器１８０は、初期設定記憶部１３４から前記他の作動光源の記憶された値を読み出し、電源１９０に再記憶された入力光強度値を出力する。あるいは、前述した光源調整を繰り返し、新たなイメージをとり込むことも可能である。このような過程は、とり込まれたイメージから取り出された部分でのイメージ品質がパートプログラムに定義された許容値以内となるまで繰り返される。
【００８０】
前記様々な光源２２０〜２４０は異なる色に着色された複数の光源を含むことが好適である。例を挙げると、ステージライト２２０は赤色光源、緑色光源、青色光源を含むことができる。そしてステージライト２２の赤色、緑色、青色光源のそれぞれは、電源１９０によって別々に駆動させることができるものである。従って、複数エリア特性記憶部に記憶された複数エリア特性データにある選択された光源は調整されるべき光源を指定できるだけでなく、調整されるべき複数色光源の特定の色を指定することができることが好適である。すなわち、イメージ特性が選択された光源による照明だけに基づいて決定されるのであれば、他の光源を消灯すると言うことは、複数色光源の他の色を消灯すると言うことを含むものである。
【００８１】
図７に、本発明における複数エリアイメージ品質ツールを用いてパートプログラムの命令を作成する方法の一実施形態を概説するためのフローチャートを示す。ステップＳ１００が開始であり、続くステップＳ１１０ではユーザが、画像システムの視野内に画像システムを使って測定することができるように被測定物を配置する。次に、ステップＳ１２０で、ユーザーは、画像システムが有する一つ以上の光源の光強度設定値に関するパートプログラム命令の設定を作成する。これによって一つ以上の選択された光源の入力光強度命令値はプログラムされた値に設定される。もちろん、ユーザがすでにパートプログラムの命令を作成しているならば、ステップＳ１２０は省略することができ、選択された一つ以上の光源の光強度命令値は、前もってプログラムされた値が用いられるものであってもよい。さらに、もしユーザが、前もって画像システムの視野内に被測定物を配置していたり、パートプログラム命令の実行される部分について作成し始めていたならば、ステップＳ１１０及びステップＳ１２０の可能な部分を省略することもできる。そしてステップＳ１３０に続く。
【００８２】
ステップＳ１３０において、一つ以上の選択された光源はプログラムされた入力光強度命令値を用いて駆動される。次にステップＳ１４０において、被測定物のイメージがプログラムされた入力光強度で駆動された一つ以上の選択された光源によって照明されたときにとり込まれる。そしてステップＳ１５０においてとり込まれたイメージが表示されるのである。もしこのように前もってイメージがとり込まれ、表示されている場合は、ステップＳ１１０〜Ｓ１５０は省略することができる。
【００８３】
ステップ１６０において、ユーザは、とり込まれたイメージの選択箇所に複数エリアイメージ品質ツールを配置する。前述のように、複数エリアイメージ品質ツールは複数エリアイメージ品質ツールの結合棒がとり込まれたイメージの重要な特徴を横切って延びるように、そして複数の関心領域が有用な特徴の回りに近接するようにとり込まれたイメージ上に配置する。さらにとり込まれたイメージの選択箇所に複数エリアイメージ品質ツールが配置されたときに、ユーザはユーザが所望する値に複数エリアイメージ品質ツールの大きさや位置などの次元を調整する。そしてステップＳ１７０に続く。
【００８４】
ステップＳ１７０において、ユーザは複数エリアイメージ品質ツールに複数エリア属性データを入力する。前述したようにこの複数エリア属性は、調整されるべき選択された光源、選択されたイメージ品質は選択された光源或いは全ての作動可能な光源を使用することによって決定するかどうか、関心領域内のイメージデータはフィルタリングするかどうか、そして／或いは選択されたイメージ品質の許容値を含むものである。続いてステップＳ１８０において、ひとつ以上のパートプログラムの命令が、複数エリアイメージ品質ツールの位置と次元及び入力された複数エリア属性データに基づいて作成される。次に、ステップＳ１９０において、ユーザがとり込まれたイメージに他の複数エリアイメージ品質ツールの作成を所望するかどうかの決定がなされる。もし所望するのであればステップＳ１６０に戻る。そうでなければステップＳ２００に続く。
【００８５】
ステップＳ２００においては、他のパートプログラムの命令の作成を所望するかどうかの決定がなされる。もし所望するのであればステップＳ２１０に続く。そうでなければ、ステップＳ２２０に飛ぶ。ステップＳ２１０においては、他のパートプログラムの一断片が生成される。特に、もしそのような他のパートプログラムの命令が、被測定物の異なるとり込みイメージに追加する複数エリアイメージ品質ツールを含むのであれば、ステップＳ１４０〜Ｓ２００、可能性としてはＳ１２０とＳ１３０もステップＳ２１０の一部として繰り返される。所望する全てのパートプログラムの命令が作成されると終了であるステップＳ２２０に飛ぶ。
【００８６】
図８及び図９には本発明における複数エリアイメージ品質ツールを用いて作成されたパートプログラムを実行するための一実施形態の方法が示されている。なお図８及び図９に記載されたフローチャートは、別々に記載されているものの一つのフローチャートであり、図８内のＡと図９内のＡ、及び図８内のＢと図９内のＢにおいてそれぞれ連結するものである。
図８に示されたステップＳ３００が開始であり、続くステップＳ３１０では、画像システムの視野内に画像システムを使って測定される被測定物が配置される。次に、ステップＳ３２０において、最初のパートプログラム命令または実行されているパートプログラムの次のパートプログラム命令が実行される。そして、ステップＳ３３０において、複数エリアイメージ品質について命令が実行されたかどうかが決定される。もし実行された場合はステップＳ３４０に続く。そうでないならばステップＳ３２０に戻る。
【００８７】
ステップＳ３４０では、被測定物の照明に選択された光源のみを使用する独立モードが選ばれたか、或いは、被測定物の照明に全ての作動可能な光源を使用する依存モードが選ばれたかの決定がなされる。ここで独立モードが選択された場合にはステップＳ３５０に飛び、対して依存モードが選択された場合にはステップＳ３６０へ飛ぶ。
ステップＳ３５０では選択された複数エリアイメージ品質の命令において選ばれた光源のみが、前もって実行された一つ以上のパートプログラムの命令で定義された選択光源の入力光強度命令値を使用して駆動される。そしてステップＳ３７０に続く。これに対して、ステップＳ３６０では、作動可能な光源全てが一つ以上のパートプログラムの命令で定義された入力光強度命令値で駆動され、ステップＳ３７０に続く。
【００８８】
ステップＳ３７０において、被測定物のイメージがとり込まれる。そしてステップＳ３８０において、イメージデータが実行された複数エリアイメージ品質の命令に定義された関心領域内のとり込みイメージから取り出される。次にステップＳ３９０では、実行されている複数エリアイメージ品質の命令で選択されたコントラストなどのイメージ品質が、定義された関心領域内の取り出されたイメージデータから決定され、ステップＳ４００に続く。
【００８９】
ステップＳ４００では、選択されたイメージが、実行中の複数エリアイメージ品質の命令に定義された許容範囲あるいは許容値以内であるかどうかの決定がなされる。もしそうであるならば図９のステップＳ４２０に飛び、そうでないならば、ステップＳ４１０に飛ぶ。ステップＳ４１０では選択された一つ以上の光源の入力光強度値が決定されたイメージ品質に基づいて調整され、ステップＳ３４０に戻る。
これに対して図９にあるステップＳ４２０では、独立モードが選択されているかどうかが再び決定される。もし選択されているならステップＳ４３０に飛び、選択されていないならばステップＳ４４０に飛ぶ。
【００９０】
ステップＳ４３０では選択されていない作動光源がもしあれば、前もって実行された一つ以上のパートプログラムの命令に定義された初期入力光強度命令値で駆動し、一方、選択された光源は、調整された入力光強度で駆動され続ける。そしてステップＳ４５０に飛ぶ。これに対して、ステップＳ４４０では、全ての光源をそのままの入力光強度命令値で駆動する。従って、選択されていない作動光源は直前に命令された入力光強度命令値で駆動されつづけ、一方、選択された光源は、調整された入力光強度で駆動されつづける。そしてステップＳ４５０に飛ぶ。
【００９１】
ステップ４５０では、選択された光源の調整された光強度命令値を含むそのままの入力光強度命令値で被測定物のイメージをとり込む。そして次のパートプログラムの命令が実行される図８のステップＳ３２０に戻る。
本発明における前述のシステムと方法は自動プログラム操作に基づくものであることが好適である。しかし、本発明のシステムと方法は照明コマンドが、一つ以上の入力装置１０４で或いは画像システムの段階的操作によって手動で出されるときであっても、ほとんど同様に動作する。
【００９２】
コントロールシステム部１００はプログラムされた汎用コンピュータで実施することが可能である。しかしながらコントロール部１００は専用目的コンピュータ、プログラムされたマイクロプロセッサまたはマイクロコントローラと周辺ＩＣ素子、ＡＳＩＣや他のＩＣ、デジタルシグナルプロセッサ、個別素子回路のような電気配線された回路または論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬのようなプログラマブル論理装置などであっても実施することができる。一般に、図７、８及び９に示したようなフローチャートを実施可能であるどのような装置であっても、コントロールシステム部１００として使用することが可能である。
【００９３】
図１に示すコントロールシステム部１００のそれぞれの制御回路または制御素子は、適切にプログラムされた汎用コンピュータ部であると理解できる。あるいはまた、図１に示すコントロールシステム部１００のそれぞれの制御回路または制御素子は、ＡＳＩＣ内の物理的にまったく別なハードウェア回路や、或いはＦＰＧＡ、ＰＬＤ、ＰＬＡ、ＰＡＬを使用することによって、或いは個別論理素子または個別回路素子を使用することによって実施することが可能である。このように、図１に示すコントロールシステム部１００のそれぞれの制御回路または制御素子の仕様は様々なものを用いることが可能である。
【００９４】
さらに、コントロールシステム１００は、プログラムされた汎用コンピュータ、専用目的コンピュータ、マイクロプロセッサ、などのシステムにおいて実行し得るソフトウェアとして実装できる。このようなケースにおいて、コントロールシステム部１００は、画像システムのハードウェアやソフトウェアシステムのようなソフトウェアシステムおよび／またはハードウェアなどを物理的に組み入れることによって実装することも可能である。
前述のような実施形態によって説明されるように、本発明は、本明細書に開示した実施例のみに限られず、ここに開示した技術に即して、多くの選択肢、変形例、および種類の実施が可能である。従って、本発明の実施形態は、前述のもののみに限定されるものではなく、様々な変更が本発明の要旨の範囲を逸脱することなく実施可能である。
【００９５】
【発明の効果】
以上説明したように本発明における照明調整方法によれば、関心領域における選択したイメージ品質を分析して、照明状態を正確に調整できる。
また本発明における照明調整装置によれば、グラフィカル・ユーザ・インターフェースを使用して簡単に照明状態の調整を行うことができる。
【図面の簡単な説明】
【図１】図１は、本発明の光強度コントロールシステムを使用した画像システムの一実施形態の概略構成図である。
【図２】図２は、本発明の複数エリアイメージ品質ツール、および２つの関心領域とそれらの相対的な面間隔の寸法取りの第一実施形態である。
【図３】図３は、第一の模範的なイメージの一部と、重要領域を囲む２つ以上の関心領域を選択するのに用いられる複数エリアイメージ品質ツールのグラフィカル・ユーザ・インタフェースの第一実施形態である。
【図４】図４は、第二の模範的なイメージ一部と、複数エリアイメージ品質ツールの第二実施形態における４番目の実施形態である。
【図５】図５は、第三の模範的なイメージ一部と、複数エリアイメージ品質ツールの第一実施形態である。
【図６】図６は、第四の模範的なイメージ一部と、本発明における複数エリアイメージ品質ツールの第五実施形態である。
【図７】図７は、パートプログラムによって複数エリアイメージ品質を決定する方法の一実施形態を概説しているフローチャートである。
【図８】図８は、イメージの重要領域と関連する画像システムの照明を調整する方法の一実施形態を概説しているフローチャートである。
【図９】図９は、イメージの重要領域と関連する画像システムの照明を調整する方法の一実施形態を概説しているフローチャートである。
【符号の説明】
１０ 画像システム
２０ 被測定物
１００ コントロールシステム部
１０２ ディスプレイ
１０３ 信号線
１０４ 入力装置
１０５ 信号線
１１０ 入出力インターフェース
１２０ コントローラ
１３０ メモリ
１３１ パートプログラム記憶部
１３２ 複数エリア関心領域定義記憶部
１３３ 複数エリア特性記憶部
１３４ 初期設定記憶部
１３５ とり込みイメージ記憶部
１５０ 複数関心領域ジェネレータ
１６０ 複数関心領域出力器
１７０ パートプログラムジェネレータ／出力器
１８０ 入力光命令値調整器
１９０ 電源
１９５ データ／コントロールバス
２００ 画像システム構成要素部
２１０ ステージ
２１２ 中心透明部材
２２０ ステージライト
２２２ 信号線
２３０ 同軸ライト
２３２ 信号線
２４０ 表面ライト
２４２ 信号線
２５０ レンズ系
２６０ カメラ系
２６２ 信号線[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an illumination device for an imaging system.
[0002]
[Prior art]
The light output is a function of many variables in any device. These variables include the instantaneous drive current, the age of the device, the ambient temperature, whether the light source is contaminated or residual, the device performance history, etc. Machine image measurement systems generally locate an object in the field of view in a manner that can be determined by contrast with others in the region of interest where the object can be found. This measurement is significantly affected by the total amount of incident or transmitted light.
[0003]
Automated video inspection measurement instruments generally have programming capabilities that allow the user to define the sequence of events. These can be carried out either in a planned manner such as programming or in a recording mode in which the instrument sequence is gradually learned. The sequence command is stored as a part program. The ability to create an instruction program that executes a sequence of instrument events offers several advantages.
[0004]
For example, multiple workpieces or equipment sequences may be executed at the assumed equipment repeatability level. Further, since the majority of equipment can execute a single program, the majority of inspection operations can be performed simultaneously or sequentially. In addition, the programming function provides the ability to record work results. Thus, the testing process can be analyzed and potential workpiece failure locations or controller failures can be identified. Programs recorded without sufficient standardization and repeatability will change performance over time or between equipment of the same model and equipment.
[0005]
Traditionally, as described in Mahaney's US Pat. No. 5,753,903, a closed loop control system has been used to ensure that the output light intensity of a machine imaging system light source has been driven to a specific command level. Therefore, these conventional closed loop control systems prevent fluctuations from the desired output light intensity due to changes in the instantaneous drive current, the age of the light source, the ambient temperature, and the like.
[0006]
[Problems to be solved by the invention]
In these conventional closed-loop control systems, the output light intensity of the light source is measured at a specific command level without worrying about the quality of the result of illuminating the DUT obtained by driving the light source to a specific command level. It was to be driven up to. However, even if the output light intensity of the light source is controlled to a specific command level, the resulting image captured by the machine imaging system could not have the required quality or characteristic image.
[0007]
Similarly, U.S. patent application Ser. No. 09 / 475,990, filed Dec. 30, 1999, describes the actual output light intensity of a light source at work as a desired output light intensity based on a specific input light intensity command value. A system for calibrating the output intensity of the light source to be consistent has been disclosed. However, even if the output light intensity is a desired value, the quality of the image or the characteristics of the resulting image may be insufficient.
[0008]
Also, the input light settings of many imaging systems often do not match the steady output light intensity. Furthermore, the output light intensity cannot be measured directly by the user. Rather, the output light intensity is measured indirectly by measuring the brightness of the image. In general, the brightness of an image is the average gray level of the image. Instead, the output light intensity can be measured directly using an external dedicated device for a particular imaging system.
In any case, the lighting task, ie the relationship between the measured output light intensity and the commanded light intensity, is consistent between different imaging systems, in the same imaging system over time, or by the parts of the object under test. Not what you want. Rather, the relationship between the measured output light intensity and the commanded light intensity depends on the particular light source used to illuminate the imaging system optics and the object being measured, the particular light bulb of that light source, the inspection It depends on each part of the specific object to be measured.
[0009]
This inconsistency in lighting work makes it difficult to execute part programs correctly even with partial operation alone on one machine. That is, a part program having a fixed combination of commanded light intensity command values creates an image due to a change in brightness when illuminating different parts of the same object to be measured. However, many measurement algorithms (such as those using edge detection) depend on the brightness of the image. As a result, when different parts are inspected, the part program is not executed consistently because there is often a difference in brightness depending on the resulting image.
[0010]
The present invention has been made in view of the above problems, and provides a system, method, and graphical user interface for adjusting the light intensity of an imaging system to obtain a desired quality or characteristic of the captured image. The purpose is to do.
The present invention also provides a separate system, method, and graphical user interface for defining multiple regions of interest in an image that are used to determine the quality or characteristics of the captured image, depending on the current lighting level. The purpose is to provide.
[0011]
The present invention also provides a system, method, and graphical user interface that allows a user to easily and quickly define multiple regions of interest that can be used to determine the image quality of a captured image. Is intended to be provided separately.
[0012]
[Means for Solving the Problems]
In order to achieve the above object, an illumination adjustment method according to the present invention includes a control object illumination unit and an imaging system including an imaging system, and a measurement object corresponding portion corresponding to an important region in the measurement object image. An illumination adjustment method, wherein an object to be measured is first illuminated by a controllable lighting system to obtain an image of the object to be measured, at least a first interest relatively positioned in the important area An image data extraction step in which image data of a region and a second region of interest are extracted; an image quality selection step in which at least one image quality such as contrast and average brightness is selected from the extracted image data; and at least the selected image The relationship between the areas of interest whose quality is pre-selected Characterized by comprising the lighting conditions adjusting step adjusts the illumination state of the illumination system until the foot.
[0013]
In the present invention, the image capturing process, the image data extracting process, the image quality selecting process, and the illumination condition adjusting process are repeated until at least the selected image quality satisfies the relationship between the regions of interest selected in advance. Is preferred.
In the present invention, the light source includes a plurality of selectable light sources, each of the individual light sources has a controllable light intensity, and in the illumination state adjustment step, at least one of the plurality of selectable light sources is selected. And at least one light intensity of the selected at least one light source is preferably adjusted.
[0014]
In the present invention, it is preferable that the controllable illumination system includes a focus adjustment subsystem, and the illumination state adjustment step includes adjustment of the focus adjustment subsystem.
In the present invention, it is preferable that after the lighting state adjustment step, an image data extraction step for extracting image data from an important region of the image and an image data processing step for processing image data extracted from the important region are provided. is there.
[0015]
In the present invention, it is preferable that the important region includes an edge, and the image data processing step includes an analysis step of analyzing image data extracted from the important region for determining an edge position.
In the present invention, it is preferable that at least one of the image qualities is either contrast or brightness.
In the present invention, the contrast is selected for the image quality in the image quality selection step, and the difference in contrast between the image data of the first and second regions of interest is maximized as a satisfactory relationship in the illumination state adjustment step. It is preferred that the relationship is selected.
[0016]
In the present invention, the image system includes a graphical user interface including display means such as a display for displaying an image in which the object to be measured is captured. It is preferred to display a graphical user interface having at least a first and a second region of interest drawn in FIG.
In the present invention, the graphical user interface is selectable, and a selection step for selecting the graphical user interface, a positioning adjustment step for performing positioning adjustment of at least one of the first and second regions of interest, and Preferably, the method comprises a dimension setting step for setting at least the size of the first and second regions of interest based on the input received from the graphical user interface.
[0017]
In the present invention, the image system comprises a computerized control system, and is automatically controlled by the image system to automatically execute program instructions, whereby at least one of the steps is automatically executed. Is preferred.
Further, in the present invention, it is preferable that the first and second regions of interest are positioned at defined positions related to the important region.
In the present invention, the definition position associated with the important area is one position in the vicinity of the important area, and is preferably a position spaced apart from the important area in the image.
[0018]
In the present invention, it is preferable that at least one region of interest is positioned so as to show a substantially uniform image light intensity in a large part of the region of interest.
In the present invention, it is preferable that at least one region of interest is positioned so that an almost uniform pattern of an object to be measured having a substantially uniform surface is obtained in a large part of the region of interest.
[0019]
The illumination adjustment apparatus according to the present invention is used to display a plurality of regions of interest that can be displayed on the display means, such as a controllable illumination system, an imaging system, a processor, and a display for displaying image data. A graphical user interface, wherein the graphical user interface is a combination of a plurality of boundary lines, wherein the graphical user interface is a combination of a plurality of boundaries; Each boundary combination defines one position and size of a plurality of regions of interest displayed on the image, and each boundary combination can be independently positioned on the image, The size of each border combination is independent on the image Characterized in that it is a possible integer.
[0020]
Also in the present invention, it is preferable that the graphical user interface is arranged in an initial shape in an image display based on points on the image provided to the processor by the user.
In the present invention, it is preferable to include a plurality of display portions of the region of interest included in the prescribed condition of the graphical user interface.
Also in the present invention, the display portion comprises a specific color for at least one line extending between the regions of interest or a set of lines extending between the regions of interest or borders of the region of interest, the lines or colors being graphical It is preferable that the user interface has a prescribed condition.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
The present invention provides instructions to a part program that is used in different imaging systems and / or in the same or different imaging systems at different times, at different locations, or for viewing a workpiece having various surface characteristics. It is particularly useful for presenting reliable and repeatable results when using predetermined instructions in the lighting system, such as when included.
[0022]
In various and exemplary embodiments of the system, method, and graphical user interface of the present invention, a user may use multiple areas to define two or more regions of interest within a captured image of a device under test. Image quality tools can be used. This multi-area image quality tool is activated during the execution of a part program that can be used to illuminate the object to be measured and then capture the object image for analysis. The multi-area image quality tool allows the user to specify the positioning, orientation, size, and separation of two or more regions of interest. The multi-area image quality tool can also be used in two or more regions of interest that include a goal to reach the selected image quality and / or a numerical range that meets the selected image quality in the light source operation mode of the imaging system. The measured image quality and how to distribute the image within the region of interest are analyzed and the user specifies and illuminates one or more of the light sources used to illuminate the device under test Allows angle adjustment.
[0023]
In the operation of the part program including the multi-area image quality tool, the object to be measured is immediately illuminated based on the illumination command included in the part program prior to the multi-area image quality tool. In particular, for example, in the closed loop control system disclosed in said US Pat. No. 5,753,903, or in the calibration system and method disclosed in US patent application Ser. No. 09/475990, the initial illumination level is correct with the required illumination level. Can be used to ensure that they match. The imaging system then uses this initial illumination level to capture an image of the object being measured. A portion of the image is then retrieved based on the defined region of interest. The image quality of the captured image is determined based on an analysis of the region of interest, and the image quality is defined with a multi-area image quality tool.
[0024]
If the image quality reaches a defined goal and / or falls within the range defined by the multi-area image quality tool, the next instruction of the part program is executed. If the image quality is not within the defined range, the light source intensity is adjusted. Then, a new image of the object to be measured is captured, and a region of interest that is a part of the newly captured image is extracted and analyzed. Such a procedure is repeated until the image quality of the captured object image within the region of interest is the current output intensity of the light source such that it falls within a defined range. Thus, by using the system, method, and graphical user interface of the present invention, a user can define a desired image quality rather than a desired illumination level, and capture a captured image of the object being measured. Used to get.
[0025]
Hereinafter, the above-described functions and advantages of the present invention and other functions and advantages will be described in detail with reference to examples.
The illumination adjustment system, method, and graphical user interface in this application can be used in conjunction with the illumination calibration system and method described in US patent application Ser. No. 09/475990.
For the sake of simplicity and description, the operation principle and design elements of the present invention will be described using an embodiment of the image system of the present invention shown in FIG. The basic description of the operation of the image system shown in FIG. 1 is applicable to any image system that uses the illumination adjustment system and method of the present invention.
[0026]
The input light intensity command value is a combination of light intensity values set by the user to control the light output intensity of the light source. The command value of the input light intensity is clearly set using a part program or a user interface. The range of command values for input light intensity ranges from 0 to 1 and represents the percentage of maximum output light intensity possible. In the following description, the ranges 0 to 1 and 0% to 100% are used interchangeably. 0 or 0% is consistent with no illumination, while 1 or 100% is consistent with illumination at full power.
[0027]
The output light intensity value is the light intensity of the light source received by the optical sensor after being irradiated on the object to be measured, reflected by the object to be measured, and before passing through the optical element of the imaging system. In various embodiments of the illumination adjustment system, method, and graphical user interface of the present invention, the output light intensity I is measured using the average gray level of the area of the image.
In the following description of various embodiments of the systems and methods of the present invention, the operations of the various embodiments of the systems and methods are performed automatically. The operation of the various embodiments of the system and method is outlined with an understanding of many system operations and method steps, such as, for example, the creation and execution of part program instructions. However, manual operations that achieve system operation and method steps are within the scope of the present invention.
[0028]
FIG. 1 shows an embodiment of an image system including the illumination adjustment control system of the present invention. As shown in FIG. 1, the image system 10 includes a control system unit 100 and an image system component unit 200. The image system component unit 200 includes a stage 210 having a central transparent member 212. A device under test 20 into which an image is captured using the image system 10 is placed on a stage 210. The light emitted by one or more of the light sources 220 to 240 illuminates the DUT 20. The light from the one or more light sources 220 to 240 passes through the lens system 250 after illuminating the object 20 to be measured and possibly illuminating the object 20 to create an image of the object 20 to be measured. To be collected by the camera system 260. The image captured by the camera system 260 is output to the control system unit 100 via the signal line 262. The light sources 220 to 240 used for illuminating the DUT 20 include a stage light 220 such as a ring light or a programmable ring light, a coaxial light 230, and a surface light 240.
[0029]
The distance between the stage 210 and the camera system 260 can be adjusted to focus the image of the measurement object captured by the camera system 260. In particular, in embodiments having a fixed stage 210, the position of the camera system 260 is variably configured along a vertical axis, and in other embodiments having a fixed camera system 260, the position of the stage 210 is It is preferable to be variably configured along the vertical axis. Further, in other embodiments of the imaging system 10, it is preferred that the vertical position between the camera system 260 and the stage 210 is variably configured to maximize the focal range of the imaging system 10.
[0030]
The control system unit 100 according to an embodiment includes an input / output interface 110, a controller 120, a memory 130, a multi-area region-of-interest generator 150, a multi-area region-of-interest output unit 160, a part program generator and / or output unit 170, and an input light command value. Each of the various components is interconnected by a data / control bus 195 or direct connection, including a regulator 180 and a power source 190. A signal line 262 from the camera system 260 is connected to the input / output interface 110. The display 102 connected by the signal line 103 and one or more input devices 104 connected by one or more signal lines 105 can be connected to the input / output interface 110. Display 102 and one or more input devices 104 may view information, create and modify part programs, view images captured by camera system 262, and / or each component 200 of the imaging system. Used to control directly. However, in a fully automated system with a predetermined part program, the display 102 and / or one or more input devices 104 and the corresponding signal lines 103 and / or 105 may be omitted.
[0031]
As shown in FIG. 1, the memory 130 includes a part program storage unit 131, a multiple area region of interest definition storage unit 132, a multiple area characteristic storage unit 133, an initial setting storage unit 134, and a captured image storage unit 135. The part program storage unit 131 stores one or more part programs used for controlling the operation of the image system 10 in accordance with the type of each object to be measured. The captured image storage unit 135 stores an image captured using the camera system 260 when programming and / or operating the image system 10.
[0032]
The multi-area region-of-interest definition storage unit 132 is surrounded by two or more regions of interest that form a multi-area image quality tool and an angle that the multi-area image quality tool creates with a predetermined axis of the captured image. It also includes data defining the positioning of the multi-area image quality tool within the captured image, as well as the width and height of the rectangular border of the multi-area image quality tool. The function of the multi-area image quality tool will be described in detail later with reference to FIG.
[0033]
The multi-area property storage 133 stores at least the current multi-area image quality tool, data identifying one or more light sources that are adjusted to obtain the desired image quality, and various light sources of the imaging system 10. Data that defines the mode of operation to operate, data that defines the quality of the image used for the measurement to determine if the light source identified as adjusted needs further adjustment, the quality of the selected image Data defining an acceptable error range and data defining whether the image data of the region of interest to be filtered are stored. Various characteristics of the multi-area image quality tool will be described in detail with reference to FIGS.
[0034]
The initial setting storage unit 134 has various image systems 10 installed at predetermined locations prior to a part program that executes a multi-area image quality tool for adjusting one or more of the light sources 220 to 240 of the image system 10. Initial settings for controlling various light sources 220-240 are stored. In general, these settings are those defined in the last executed part program.
[0035]
FIG. 2 illustrates one embodiment of a multi-area image quality tool in the present invention. In particular, the multi-area image quality tool shown in FIG. As shown in FIG. 2, the dual area image quality tool 300 includes a second region of interest 320 connected to a first region of interest 310 by a tie bar 330. Thus, the dual area image quality tool 300 is limited by the rectangle 340. In the first embodiment of the dual area image quality tool 300, the dual area image quality tool 300 has two regions of interest 310 and 320. However, in the present invention, any number of regions of interest can be set within the multi-area image quality tool.
[0036]
As described above, the multi-area region-of-interest definition storage unit 132 stores data that defines the positioning of the dual area image quality tool in the captured image. This data includes the horizontal distance or offset from the origin of the captured image and the vertical distance or offset from the origin of the captured image. The horizontal and vertical distance from the origin of this captured image can be linked to any point in the rectangle 340 occupied by the multi-area image quality tool. In general, the horizontal and vertical distance is linked to one of the vertices of rectangle 340 or the center point of rectangle 340.
[0037]
In addition, as described above, the multi-area region-of-interest definition storage unit 132 stores height and width data that define the height and width of the rectangle 340 that contacts the multi-area image quality tool. In various embodiments of a multi-area image quality tool, such as the dual area image quality tool 300 shown in FIG. 2, once the height and width are defined, the regions of interest 310 and 320 are the same height as the rectangle 340. And is defined as a rectangle having a width that is 1/3 of the width of the rectangle 340. That is, regions of interest 310 and 320 each occupy 1/3 the width of rectangle 340, while tie bar 330 occupies the remaining third.
[0038]
It should be noted that in various other embodiments of the multi-area image quality tool according to the present invention, various ratios may be used for the width of the region of interest and the connecting rod. The length of the connecting rod is 0, that is, it may not be used. That is, two regions of interest adjacent to each other can be set. Further, in still other various embodiments of the multi-area image quality tool according to the present invention, the multi-area region-of-interest definition storage unit 132 determines the ratio of the region of interest to the additional data supplied from the user or the combination bar. Additional data that is automatically generated for determination may be included.
[0039]
As described above, the multi-area region-of-interest definition storage unit 132 also includes angle data that defines an angle formed by the sides of the rectangle 340 on a predetermined axis in the captured image. Thus, if the predetermined axis of the captured image is aligned with the horizontal axis of the captured image, 0 ° extended along the horizontal axis of the captured image. It coincides with the sides of the rectangle 340, while 90 ° or 270 ° indicates that the side of the rectangle 340 extends along the vertical axis of the captured image. In general, the rectangle 340 rotates at the same point of the rectangle 340 associated with the horizontal and vertical distance. Thus, if the horizontal and vertical distance is linked to the center point of the rectangle 340, the rectangle 340 rotates at the center point.
[0040]
In operation, when the user uses the imaging system 10 to create a part program, the user can either explicitly code the instructions using the part program language or be stored with the instructions of the part program. A part program command is created by moving the image system 10 through the teaching sequence to create a command. In particular, these instructions cause the imaging system 10 to operate the stage 210 and / or the camera system 260, so that a specific part of the object to be measured is in the field of view of the camera system 260 and in a desired focus state. In addition, prior to capturing an image, the user can create a part program command that activates one or more of the light sources 220-240 to achieve the desired illumination state of the device under test 20.
[0041]
The part program generator and / or output device 170 takes an image of the device under test 20 under the control of the controller 120 and instructs the camera system 260 to output the image taken in the control system 100. The control system 100 inputs an image captured through the input / output interface 110 under the control of the controller 120, and stores the captured image in the captured image storage unit 135 of the memory 130. The controller 120 displays the image captured on the display 102.
[0042]
Next, in the system, method, and graphical user interface of the present invention, the user generally accesses the multi-area image quality tool using the graphical user interface. That is, the user activates a multi-area image quality tool creation menu item or toolbar button. The user then selects the desired portion 340 from the captured image. The multi-area image quality tool 300 is then placed in the selected portion 340. In particular, in various embodiments, the part program instructions determine the horizontal and vertical distance of the reference point of the multi-area image quality tool 300 from the captured image reference, the height and width of the selection area 340, and the predetermined 0. The angle of the selection area 340 made with the angle axis can be defined. Different embodiments of the multi-area image quality tool as described in FIGS. 3-6 will create various part program instructions that define various information appropriate to that embodiment.
[0043]
If the control system 100 automatically adjusts the ratio of regions of interest within the multi-area image quality tool 300, two or more regions of interest are automatically positioned within the selected region 340 and one or more The connecting bars are drawn between the determined regions of interest. In general, the selected region 340 is such that two or more regions of interest are placed on different sides of the selected feature (such as an edge) in the captured image, and one or more connecting bars. Is selected to be drawn across the selected feature. For example, as shown in FIG. 3, a dual area image quality tool 300 having two regions of interest 310 and 320 has a selected region 340 set across an edge 350. Accordingly, the region of interest 310 is positioned in the bright region 352, the other region of interest 320 is positioned in the dark region 352, and the connecting bar 330 is drawn across the edge 350.
[0044]
FIG. 3 shows a first embodiment of a multi-area image quality tool and graphical user interface used to select two or more regions of interest surrounded by a region of interest 350. In FIG. 3, the captured image portions within regions of interest 310 and 320 generally have a constant intensity. Therefore, in such a case, no filtering is required for these regions of interest.
[0045]
In many cases, each region of interest has a certain intensity. To be precise, each region of interest 310 and 320 is homogeneous with respect to a particular image quality or selected feature. Furthermore, this means that at least the image properties are continuous within the region of interest. For example, the pixel intensity of the magnified figure of a brushed aluminum piece is expected to vary considerably within the region of interest. However, there is no sudden change in the overall properties within that region of interest. An example of such a type is shown on the left side of FIG. The present invention can be used without making such regions of interest unusable even if there are sharp discontinuities in such regions of interest.
[0046]
In FIG. 4, two multi-area image quality tools 400 and 500 each having two or more regions of interest and a dual area image quality tool 300 having a tie bar 330 are described. In particular, the multi-area image quality tool 400 according to the second embodiment includes four regions of interest 410 to 440 connected to each other. In contrast, the multi-area image quality tool 500 according to the third embodiment has four regions of interest 510 to 540 in which the second region of interest 520 to the fourth region of interest 540 are connected to the first region of interest 510, respectively. In the dual area image quality tool 300 described in FIG. 4, the regions of interest are not in a linear relationship but in an angled relationship with each other. The region of interest in the present invention does not necessarily have a linear relationship as described above.
[0047]
The multi-area image quality tool 400 according to the second embodiment and the multi-area quality tool 500 according to the third embodiment describe general methods for connecting various regions of interest with connecting bars 450 and 550. . In the first method, various regions of interest are connected sequentially such that the second region of interest is connected to the first region of interest and the third region of interest is connected to the second region of interest. . In the second method, the second, third, etc. regions of interest are connected to one region of interest in parallel, such as being connected to the first region of interest.
[0048]
When a multi-area image quality tool has more than one region of interest, the multi-area image quality tool's multi-area attributes are the total number of regions of interest, how the regions of interest are combined, and the connecting bars that connect the regions of interest. Indicates one or more of the angles.
FIG. 5 illustrates one embodiment of a third image and multi-area image quality tool according to one embodiment of the present invention. In FIG. 5, the image intensity within the region of interest 310 includes both a very bright part and a very dark part. Thus, filtering regions of interest 310 and 320 to remove these extreme image intensities will improve the analysis of selected image quality.
[0049]
FIG. 6 shows a fourth image in the present invention and a multi-area image quality tool and a graphical user interface 600 according to the fifth embodiment. In particular, in FIG. 6, the multi-area image quality tool 600 is a circular region of interest 610 and 620 instead of a rectangle. In general, the shape of the region of interest is not important. However, it is preferred that the shape of the region of interest be selected to match the shape of the selected portion of the captured image. In FIG. 6, the multi-area image quality tool 600 is shown to rotate to an angle such that the boundary line 650, which is an important feature across the connecting bar 630, extends vertically.
[0050]
Also in the present invention, to ensure that regions of interest 310 and 320 as shown in FIG. 3 include the appropriate portion of the captured image and / or across important features such as edge 350. In order to ensure that the coupling bar 330 extends, it is preferable that the user can perform a process of changing the height, width, angle, or positioning of the region 340. Once the user confirms that the multi-area image quality tool 300 is properly placed, the user indicates this to the system controller 100. The part program generator and / or output unit 170 in the apparatus shown in FIG. 1 then generates part program instructions based on the current state of the multi-area image quality tool.
[0051]
The user then inputs to the device which light source to control among the various light sources 220-240 to adjust the light source output based on the specific image quality. For example, in the image system 10 as shown in FIG. 1, the stage light 220, the coaxial light 230, the ring light 240, or the light source data of the multi-area attribute data in the present embodiment of the multi-area image quality tool for adjustment. If provided, it can be indicated that all parts of the programmable ring light 240 are used as light sources. In addition, the light source data can indicate that some of the many portions of the programmable ring light 240 are to be adjusted. In this case, the multi-area attribute data for the current multi-area image quality tool also includes data defining individual data of the programmable ring light to be controlled.
[0052]
The multi-area attribute data also includes data indicating which image quality or characteristic to use when adjusting the selected light source. In the various embodiments described herein of the system, method, and graphical user interface of the present invention, the various image qualities or characteristics used may include contrast, average brightness, intermediate brightness, brightness form, etc. Various data representing the quality of the image can be used. That is, in the present invention, any image characteristic or image quality depending on the output light intensity of the selected light source can be used.
[0053]
In various embodiments, the multi-area attribute data associated with the example multi-area image quality tool also includes an arrival state that defines a target for the selected image quality or characteristic and an abort threshold. The arrival state is, for example, when the contrast of the image quality is the maximum contrast or the minimum contrast. The abort threshold defines an error condition that terminates the part program. For example, when the arrival state is maximum contrast, the abort threshold indicates the value that the maximum threshold must reach by the part program to continue executing.
[0054]
In yet another embodiment, the multi-area attribute data associated with the multi-area image quality tool example also includes a tolerance value for the selected image quality. This tolerance indicates the range of acceptable image quality values, and therefore no further adjustment of the selected light source is required. In particular, the tolerance may define a minimum quality difference, a maximum difference, or both a minimum difference and a maximum difference of the captured image portion in the region of interest of the multi-area image quality tool.
[0055]
For example, if the selected image quality is average brightness, the captured image portions in regions of interest 310 and 320 are analyzed to determine the average brightness in regions of interest 310 and 320, respectively. . The difference is then determined between the average brightness of each of the regions 310 and 320. The formula is as follows.
[0056]
[Expression 1]
C = | M ₁ -M ₂ ｜
Where C is contrast and M ₁ Is the average image brightness of the first region of interest, M ₂ Is the average image brightness of the second region of interest.
In various embodiments, the determined difference is analyzed to determine whether it is in the reached state or has reached the reached state. Once the defined arrival state is obtained and the abort threshold is exceeded, the next part program instruction can be executed. Otherwise, if the abort threshold is not exceeded, part program execution stops.
[0057]
In various other embodiments, the determined difference is whether the difference is greater than the minimum allowable value, less than the maximum allowable value, or between the minimum and maximum allowable values if both are defined. Compared with tolerance to determine if. Once the defined tolerance is obtained, the next part program instruction is executed.
[0058]
In various embodiments of the systems and methods in the present invention, target numerical values for image quality or characteristics are set by manual teaching. That is, in the teaching mode, for example, by adjusting the light source, the user manually operates the machine until the user's subjective examination of the image quality of the important area becomes good, and sets a target numerical value. Then, one value or a plurality of values such as contrast and brightness that match the image quality or characteristics are determined from the image data set by the user. Furthermore, these values are stored for reference in the future automatic execution of part programs and become target numerical values, which can be used, for example, for image characteristics associated with the image contrast of equation (1).
[0059]
Equation 1 can provide a numerical value that matches the light intensity gradient between two properly positioned regions of interest. That is, in the critical region, if an edge is positioned between these two regions of interest, this value and the matching light intensity gradient will match the image characteristics that affect most edge positioning determination algorithms. Therefore, reproducing a specific numerical value of this type reproduces an image of an edge that leads to a reproducible edge position calculated from the image data.
[0060]
The user can also perform an iterative procedure that includes additional operations in critical areas, or to change or supplement light source settings during manual teaching. For example, after setting the input light intensity command value and determining the value determined by the image quality or characteristics, the user performs edge positioning within the critical area in a predetermined manner and positions it for later reference. You can remember it. The user can then adjust the light source to the input light intensity command value, such as edge positioning in critical areas, match one or more new values, match the image characteristics from the image data, and replay additional operations. Execution can be performed.
[0061]
Since the ultimate goal of setting the input light intensity value of the light source is reliable and reproducible edge positioning, the user will be able to determine which values are acceptable edge positioning values, that is, values that are within the correct tolerance range The result of the edge positioning data can be analyzed to determine if it matches the image characteristics. This method is used to set the optimum target value of the image characteristic as well as the allowable range of the target value of the image characteristic.
It is also preferred that two additional multi-area attribute values are defined. The operating mode value indicates whether the selected image quality is determined based on illumination by the selected light source or whether it is based on all active light sources.
[0062]
The second number indicates whether the image data in the region of interest should be filtered to exclude pixels with extreme image quality values. For example, if the image quality is based on lightness, the filter can be used to exclude abnormally bright or abnormally dark pixels when determining whether the determined image quality is within a selected tolerance. it can.
[0063]
Once the user sets the dimension data about the size and position that defines the multi-area image quality tool and the data that defines the attributes used when using the defined multi-area image quality tool, the corresponding part program instructions Is added to the part program being created, the user can create instructions for the next part program, such as an instruction to create another multi-area image quality tool. In this way, the user continues the work until the part program is completed and stored in the part program storage unit 131.
[0064]
When the image system 10 receives a command to execute the part program, the part program generator / output device 170 under the control of the controller 120 starts reading the command of the part program stored in the part program storage unit 131. Execute. At this time, the command of the part program may include a command to turn on or turn off one or more light sources 220 to 240 or an adjustment command. Such a command includes an input light intensity command value.
[0065]
When the part program generator / output unit 170 reads the command to such a light source, the part program generator / output unit 170 outputs the input light intensity command value to the input light intensity command value adjuster 180. The input light intensity command value adjuster 180 under the control of the controller 120 outputs the initial input light intensity value to the power source 190, while the part program generator / output unit 170 supplies the power source 190 of the driven light sources 220-240. Output instructions. The power source 190 is supplied with a signal through each of the signal lines 222, 232, and 242 connected to one or more light sources 220 to 240 of the image system component unit 200, thereby obtaining an initial input light intensity value. Based on this, the light sources 220 to 240 are driven.
[0066]
For part programs that include instructions associated with the multi-area image quality system, method, and graphical user interface of the present invention, the part program generator / output unit 170 determines the positioning, size, and angle of the multi-area image quality tool. Is read, and the multiple area image quality tool definition data in the multiple area region of interest definition storage unit 132 and the multiple area attribute data in the multiple area characteristic storage unit 133 are stored.
[0067]
The input light command value adjuster 180 under the control of the controller 120 determines whether the selected image quality has been determined based on illumination by the selected light source, or based on all active lit light sources. The multi-area attribute data stored in the multi-area characteristic storage unit 133 that determines whether or not it has been accessed is accessed. If the selected image quality is determined based on all of the active light sources, the input light intensity command value adjuster 180 may output multiple regions of interest so that the region of interest can be retrieved from the captured image. Instruct the device 160.
[0068]
On the other hand, if the selected image quality is determined based only on the illumination by the selected light source, the input light intensity command value adjuster 180 is initially operated in the initial setting storage unit 134. The settings of the set light sources 220 to 240 are stored, and other light sources that are operating are turned off. The controller 120 transmits a signal to the camera system 260 through the input / output interface 110 and the signal line 262. The camera system 260 captures a new image illuminated only by the selected light source in order to output the newly captured image to the adjustment and control unit 100. Further, the input / output interface 110 under the control of the controller 120 stores the newly captured image in the captured image storage unit 135 of the memory 130.
[0069]
Subsequently, the multi-region-of-interest generator 150 stores the multi-area region-of-interest stored in the multi-area region-of-interest definition storage unit 132 in order to define dimensions such as position and size of various regions of interest defined in the multi-area comparison command. Read definition of. Then, the multi-area region-of-interest output unit 160 takes out image data from the captured image of the region of interest created by the multi-region-of-interest generator 150 at the position indicated by the multi-region-of-interest generator 150.
[0070]
In various embodiments, the multi-area region-of-interest output unit 160 analyzes a retrieved portion of the image and stores it in a multi-area characteristic storage unit 133 for determining image quality or characteristics used to determine the arrival state. Access the stored multi-area attribute data. Then, the multi-area region-of-interest output unit 160 indicates whether the light source defined by the multi-area attribute data stored in the multi-area characteristic storage unit 133 needs to be adjusted, the quality of the image or characteristic determined with respect to the arrival state If so, create and determine the defined image quality or characteristics. Otherwise, the multi-area region-of-interest output unit 160 instructs the part program generator / output unit 170 to retrieve the next part program instruction.
[0071]
In various other embodiments, the multi-area region-of-interest output unit 160 analyzes a retrieved portion of the image and determines a tolerance range used for comparison with the determined image quality or characteristic. The multi-area attribute data stored in the area characteristic storage unit 133 is accessed. The multi-area region-of-interest output unit 160 determines whether the light source defined by the multi-area attribute data stored in the multi-area characteristic storage unit 133 needs to be adjusted based on the image or characteristic determined in the comparison with the allowable range. When the quality is instructed, a defined image quality or characteristic is created and determined. Otherwise, the multi-area region-of-interest output unit 160 instructs the part program generator / output unit 170 to retrieve the next part program instruction.
[0072]
On the other hand, if the multi-area region-of-interest output unit 160 determines that the selected light source needs to be adjusted, the multi-area region-of-interest output unit 160 issues an instruction to the input light intensity command value adjuster 180. Then, the input light intensity command value adjuster 180 adjusts the light intensity command value of the selected light source. Then, the input light command value adjuster 180 outputs the adjusted light intensity command value of the selected light source to the power source 190 so that the light intensity output of the selected light source is adjusted.
[0073]
As in the various embodiments described above, the selected image quality or characteristic is first adjusted toward the arrival state stored in the multi-area characteristic storage unit 133, and the result is compared with the abort threshold. is there. In particular, in such an embodiment, the multi-area region-of-interest output unit 160 determines whether the selected image quality or characteristic has reached the arrival state stored in the multi-area characteristic storage unit 133. If the determination of the multi-area region-of-interest output unit 160 is to increase the light intensity, the input light intensity command value adjuster 180 is output to the power source 190 to increase the output light intensity of the selected light source. Increase the adjusted light intensity command value. On the other hand, if the determination of the multi-area region-of-interest output unit 160 is to reduce the light intensity, the input light intensity command value adjuster 180 is used to reduce the output light intensity of the selected light source. The adjusted light intensity command value output to the power source 190 is reduced. This is because the selected image quality or characteristic is the measured average brightness contrast, and the arrival state stored in the multi-area characteristic storage unit 133 maximizes the measured average brightness contrast between the regions of interest. This can happen in either case when the measured average brightness contrast has not yet reached its maximum value.
[0074]
Once the light intensity of the selected light source is adjusted, the camera system 260 controlled by the controller 120 captures another image of the object to be measured and outputs the image captured by the signal line 262 to the input / output interface 110. To do. The input / output interface 110 controlled by the controller 120 stores the newly captured image in the captured image storage unit 135.
[0075]
Then, as the multi-area region of interest 160 controlled by the controller 120 is defined by the multi-region of interest generator 150, a part of the newly captured image is again extracted. Further, the multi-area region of interest 160 re-determines whether the selected image quality or characteristic of the extracted area has reached the arrival state stored in the multi-area characteristic storage unit 133. If it is determined that it has been reached, the multi-area region of interest 160 indicates to the part program generator / output 170 that the next part program instruction should be executed. Note that if the selected light sources are adjusted by turning off the other working light sources, those light sources are turned on again. In particular, the input light command value adjuster 180 reads the stored value of the other working light source from the initial setting storage unit 134 and outputs the input light intensity value re-stored in the power source 190. Alternatively, a new image can be captured by repeating the light source adjustment described above. Such a process is repeated until the image quality at the portion extracted from the captured image reaches the reaching state stored in the multiple area characteristic storage unit 133.
[0076]
As in the various other embodiments described above, the selected image quality or characteristic is stored in the multi-area characteristic storage unit 133 until the selected image quality or characteristic is within a success threshold or tolerance. It is compared to a success threshold or tolerance. If the comparison of the selected image quality or characteristic with the tolerance determined by the multi-area region-of-interest output unit 160 increases the light intensity, the input light intensity command value adjuster 180 is selected. In order to increase the output light intensity of the light source, the light intensity command value output to the power source 190 is increased. On the other hand, if the comparison by the multi-area region-of-interest output unit 160 says that the light intensity is reduced, the input light intensity command value adjuster 180 is used to reduce the output light intensity of the selected light source. The adjusted light intensity command value output to the power source 190 is reduced.
[0077]
This is the average brightness contrast in which the selected image quality or characteristic is measured, and the measured average brightness contrast between the regions of interest whose reach state stored in the multi-area characteristic storage unit 133 exceeds an allowable value. Can occur in either case when the measured average brightness contrast has not yet exceeded the tolerance. Thus, if the comparison between the tolerance value and the selected image quality or characteristic is to reduce the light intensity, the input light intensity command value adjuster 180 may use a power source to reduce the output light intensity of the selected light source. The adjusted light intensity command value output to 190 is reduced.
[0078]
Once the light intensity of the selected light source is adjusted, the camera system 260 controlled by the controller 120 captures another image of the object to be measured and outputs the image captured by the signal line 262 to the input / output interface 110. To do. The input / output interface 110 controlled by the controller 120 stores the newly captured image in the captured image storage unit 135.
[0079]
Then, as the multi-area region of interest 160 controlled by the controller 120 is defined by the multi-region of interest generator 150, a part of the newly captured image is again extracted. Further, the multi-area region of interest 160 re-determines whether the selected image quality or characteristic of the retrieved region falls within the tolerance defined by the part program. If it is determined that it is in, multi-area region of interest 160 indicates to part program generator / output 170 that the next part program instruction should be executed. Note that if the selected light sources are adjusted by turning off the other working light sources, those light sources are turned on again. In particular, the input light command value adjuster 180 reads the stored value of the other working light source from the initial setting storage unit 134 and outputs the input light intensity value re-stored in the power source 190. Alternatively, a new image can be captured by repeating the light source adjustment described above. Such a process is repeated until the image quality at the portion extracted from the captured image falls within the tolerance defined in the part program.
[0080]
The various light sources 220 to 240 preferably include a plurality of light sources colored in different colors. For example, the stage light 220 may include a red light source, a green light source, and a blue light source. Each of the red, green, and blue light sources of the stage light 22 can be driven separately by the power source 190. Therefore, the selected light source in the multi-area characteristic data stored in the multi-area characteristic storage unit can not only specify the light source to be adjusted, but can also specify a specific color of the multi-color light source to be adjusted. Is preferred. That is, if the image characteristics are determined based only on the illumination by the selected light source, turning off the other light sources includes turning off the other colors of the multi-color light source.
[0081]
FIG. 7 shows a flowchart outlining one embodiment of a method for creating part program instructions using the multi-area image quality tool of the present invention. Step S100 is the start, and in subsequent step S110, the object to be measured is arranged so that the user can perform measurement using the image system within the field of view of the image system. Next, in step S120, the user creates a setting for a part program command regarding the light intensity setting value of one or more light sources included in the image system. This sets the input light intensity command value for one or more selected light sources to the programmed value. Of course, if the user has already created an instruction for the part program, step S120 can be omitted, and the pre-programmed values are used for the light intensity command values of the selected one or more light sources. It may be. Furthermore, if the user has previously placed the object to be measured within the field of view of the imaging system or has started to create a part for which part program instructions are to be executed, the possible parts of steps S110 and S120 are omitted. You can also And it continues to step S130.
[0082]
In step S130, the one or more selected light sources are driven using the programmed input light intensity command value. Next, in step S140, an image of the object to be measured is captured when illuminated by one or more selected light sources driven with a programmed input light intensity. Then, the image captured in step S150 is displayed. If the image has been captured and displayed in advance, steps S110 to S150 can be omitted.
[0083]
In step 160, the user places a multi-area image quality tool at a selected location of the captured image. As described above, the multi-area image quality tool extends across the important features of the captured image and the multiple regions of interest are close to the useful features. Place it on the captured image. Further, when the multi-area image quality tool is arranged at a selected position of the captured image, the user adjusts dimensions such as the size and position of the multi-area image quality tool to values desired by the user. And it continues to step S170.
[0084]
In step S170, the user inputs multiple area attribute data to the multiple area image quality tool. As described above, this multi-area attribute determines whether the selected light source to be adjusted, whether the selected image quality is determined by using the selected light source or all operable light sources, The image data includes whether to filter and / or a selected image quality tolerance. Subsequently, in step S180, one or more part program instructions are generated based on the position and dimension of the multiple area image quality tool and the input multiple area attribute data. Next, in step S190, a determination is made whether the user wishes to create another multi-area image quality tool for the captured image. If so, the process returns to step S160. Otherwise, continue to step S200.
[0085]
In step S200, a determination is made whether to create instructions for another part program. If so, continue to step S210. Otherwise, it jumps to step S220. In step S210, a piece of another part program is generated. In particular, if such other part program instructions include a multi-area image quality tool that adds to a different captured image of the device under test, steps S140-S200, possibly S120 and S130 are also steps. Repeated as part of S210. When instructions for all desired part programs are created, the process jumps to step S220, which is the end.
[0086]
FIG. 8 and FIG. 9 show a method of an embodiment for executing a part program created using the multi-area image quality tool in the present invention. Note that the flowcharts shown in FIG. 8 and FIG. 9 are one of the flowcharts described separately, A in FIG. 8 and A in FIG. 9, and B in FIG. 8 and B in FIG. In FIG.
Step S300 shown in FIG. 8 is a start, and in subsequent step S310, an object to be measured that is measured using the imaging system is placed in the field of view of the imaging system. Next, in step S320, the first part program instruction or the part program instruction next to the part program being executed is executed. Then, in step S330, it is determined whether the command has been executed for multiple area image quality. If so, the process continues to step S340. If not, the process returns to step S320.
[0087]
In step S340, it is determined whether an independent mode using only the selected light source for illumination of the object to be measured has been selected, or whether a dependent mode using all operable light sources for illumination of the object to be measured has been selected. Made. If the independent mode is selected here, the process jumps to step S350, and if the dependent mode is selected, the process jumps to step S360.
In step S350, only the light source selected in the selected multi-area image quality command is driven using the input light intensity command value of the selected light source defined in the command of one or more part programs executed in advance. The And it continues to step S370. In contrast, in step S360, all operable light sources are driven with an input light intensity command value defined by one or more part program commands, and step S370 follows.
[0088]
In step S370, an image of the object to be measured is captured. Then, in step S380, the image data is retrieved from the captured image within the region of interest defined in the executed multi-area image quality command. Next, in step S390, the image quality, such as contrast, selected with the executed multi-area image quality instruction is determined from the retrieved image data in the defined region of interest and continues to step S400.
[0089]
In step S400, a determination is made whether the selected image is within a tolerance or tolerance defined in the executing multi-area image quality command. If so, the process jumps to step S420 in FIG. 9; otherwise, the process jumps to step S410. In step S410, input light intensity values of one or more selected light sources are adjusted based on the determined image quality, and the process returns to step S340.
On the other hand, in step S420 in FIG. 9, it is determined again whether or not the independent mode is selected. If it is selected, the process jumps to step S430, and if it is not selected, the process jumps to step S440.
[0090]
In step S430, if there is an operating light source that has not been selected, it is driven with an initial input light intensity command value defined in the command of one or more part programs executed in advance, while the selected light source is adjusted. Driven by the input light intensity. Then, the process jumps to step S450. In contrast, in step S440, all the light sources are driven with the input light intensity command value as it is. Accordingly, the unselected operating light source continues to be driven with the input light intensity command value commanded immediately before, while the selected light source continues to be driven with the adjusted input light intensity. Then, the process jumps to step S450.
[0091]
In step 450, an image of the object to be measured is captured with the input light intensity command value as it is including the adjusted light intensity command value of the selected light source. Then, the process returns to step S320 in FIG. 8 where the instruction of the next part program is executed.
The aforementioned systems and methods in the present invention are preferably based on automatic program operation. However, the system and method of the present invention operates in much the same manner even when lighting commands are issued manually by one or more input devices 104 or by stepwise manipulation of the imaging system.
[0092]
The control system unit 100 can be implemented by a programmed general purpose computer. However, the control unit 100 is a special purpose computer, a programmed microprocessor or microcontroller and peripheral IC elements, an ASIC or other IC, a digital signal processor, an electrically wired circuit or logic circuit such as an individual element circuit, PLD, PLA. Even a programmable logic device such as FPGA, PAL can be implemented. In general, any apparatus capable of implementing the flowcharts shown in FIGS. 7, 8 and 9 can be used as the control system unit 100.
[0093]
It can be understood that each control circuit or control element of the control system unit 100 shown in FIG. 1 is a suitably programmed general-purpose computer unit. Alternatively, each control circuit or control element of the control system unit 100 shown in FIG. 1 may be realized by using a completely different hardware circuit in the ASIC, or using FPGA, PLD, PLA, PAL, or It can be implemented by using individual logic elements or individual circuit elements. As described above, various specifications can be used for each control circuit or control element of the control system unit 100 shown in FIG.
[0094]
Furthermore, the control system 100 can be implemented as software that can be executed in a system such as a programmed general purpose computer, a dedicated purpose computer, a microprocessor, or the like. In such a case, the control system unit 100 can also be implemented by physically incorporating a software system and / or hardware such as image system hardware or software system.
As described by the embodiments as described above, the present invention is not limited to the examples disclosed herein, and many options, variations, and types are available in accordance with the technology disclosed herein. Implementation is possible. Therefore, the embodiments of the present invention are not limited to those described above, and various modifications can be made without departing from the scope of the gist of the present invention.
[0095]
【The invention's effect】
As described above, according to the illumination adjustment method of the present invention, the illumination state can be accurately adjusted by analyzing the selected image quality in the region of interest.
Further, according to the illumination adjustment device of the present invention, it is possible to easily adjust the illumination state using a graphical user interface.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an embodiment of an image system using a light intensity control system of the present invention.
FIG. 2 is a first embodiment of a multi-area image quality tool of the present invention and dimensioning of two regions of interest and their relative face spacing.
FIG. 3 is a first graphical user interface of a multi-area image quality tool used to select a portion of a first exemplary image and two or more regions of interest that surround a region of interest. It is one embodiment.
FIG. 4 is a fourth embodiment of the second exemplary image portion and second embodiment of the multi-area image quality tool.
FIG. 5 is a first embodiment of a third exemplary image portion and a multi-area image quality tool.
FIG. 6 is a fourth exemplary image portion and a fifth embodiment of a multi-area image quality tool in the present invention.
FIG. 7 is a flowchart outlining one embodiment of a method for determining multi-area image quality with a part program.
FIG. 8 is a flowchart outlining one embodiment of a method for adjusting illumination of an imaging system associated with a significant region of an image.
FIG. 9 is a flowchart outlining one embodiment of a method for adjusting illumination of an imaging system associated with a significant region of an image.
[Explanation of symbols]
10 Image system
20 DUT
100 Control system section
102 display
103 signal line
104 Input device
105 signal line
110 I / O interface
120 controller
130 memory
131 Part program storage
132 Multiple area region of interest definition storage
133 Multiple area characteristic storage
134 Initial setting storage unit
135 Capture image storage
150 Multiple Region of Interest Generator
160 Multiple region of interest output device
170 Part Program Generator / Output Unit
180 Input light command value adjuster
190 Power supply
195 Data / Control bus
200 Image system component part
210 stages
212 Central transparent member
220 stage light
222 Signal line
230 Coaxial light
232 signal line
240 Surface light
242 signal line
250 Lens system
260 Camera system
262 signal line

Claims (11)

コントロール可能な照明システムとイメージングシステムを含む画像システムを用いて生成された、被測定物イメージにおける重要領域に該当する被測定物該当箇所の照明調整方法であって、
被測定物の前記重要領域は、明度の異なる２以上の領域と当該２以上の領域の境界であるエッジとを含んでおり、
前記照明システムは、複数の選択可能な光源からなっており、前記個々の光源はコントロール可能な光強度で照明でき、
初めに前記照明システムによって被測定物を照明し、被測定物のイメージを得るイメージとり込み工程、
前記重要領域内における前記エッジに対して異なる側にそれぞれ位置決めされる関心領域のうちの、少なくとも前記エッジを横切る結合棒の一端につながれた第一関心領域と前記結合棒の他端につながれた第二関心領域とのイメージデータが取り出される、イメージデータ取り出し工程、
前記取り出されたイメージデータからコントラストや平均明度などの少なくとも一つのイメージ品質を選ぶ、イメージ品質選択工程、
前記選択されたイメージ品質があらかじめ定義された関心領域同士の関係を満足しているかどうかを判定する判定工程、
前記判定工程で満足していないと判定されたあとに、前記複数の選択可能な光源から少なくとも一つを選択し、当該選択された少なくとも一つの光源の光強度を調整する照明状態調整工程、
からなり、
少なくとも前記選択されたイメージ品質があらかじめ定義された関心領域同士の関係を満足するまで、前記イメージとり込み工程、前記イメージデータ取り出し工程、前記イメージ品質選択工程、前記判定工程、及び前記照明状態調整工程が繰り返され、
前記判定工程で満足していると判定されたあとに、とり込まれたイメージの前記重要領域からイメージデータを取り出し、当該重要領域から取り出されたイメージデータを分析してエッジ位置を決定する分析工程を含んでいることを特徴とする照明調整方法。A method of adjusting illumination of a corresponding part of an object corresponding to an important region in an object image generated using an image system including a controllable illumination system and an imaging system,
The important area of the object to be measured includes two or more areas having different brightness and an edge that is a boundary between the two or more areas.
The illumination system comprises a plurality of selectable light sources, the individual light sources can be illuminated with controllable light intensity,
Illuminates the object to be measured by the illumination system in the beginning, step incorporation image obtaining images of the object,
Of the region of interest is positioned respectively on the different sides with respect to the edge of definitive critical region was coupled to the other end of the first region of interest and the connecting rod which is connected to one end of the connecting rod traversing at least the edge An image data extraction step in which image data with the second region of interest is extracted;
Selecting at least one image quality such as contrast or average brightness from the extracted image data, an image quality selection step;
A determination step of determining whether the selected image quality satisfies a predefined relationship between the regions of interest;
After determining that the determination step is not satisfied, an illumination state adjustment step of selecting at least one of the plurality of selectable light sources and adjusting the light intensity of the selected at least one light source ,
Tona is,
The image capturing step, the image data extracting step, the image quality selecting step, the determining step, and the illumination state adjusting step until at least the selected image quality satisfies a predefined relationship between regions of interest. Is repeated,
An analysis step of extracting image data from the important area of the captured image and determining an edge position by analyzing the image data extracted from the important area after it is determined that the determination step is satisfied The lighting adjustment method characterized by including. 請求項１に記載の照明調整方法において、
画像システムは、少なくともとり込まれたイメージを表示する表示手段とユーザにより操作される入力手段とから構成されるグラフィカル・ユーザ・インターフェースを含んでおり、
前記グラフィカル・ユーザ・インターフェースは、少なくとも前記第一関心領域、第二関心領域及び結合棒からなる品質ツールを前記表示手段に表示して、当該品質ツールを前記入力手段によってユーザがアクセスできるように構成しており、
前記品質ツールは選択可能であって、あらかじめ前記品質ツールを選択する選択工程と、選択された前記品質ツールの少なくとも前記第一及び第二関心領域を、あらかじめ前記重要領域内における前記エッジに対して異なる側にそれぞれ位置決めする位置決め調整工程とを含むことを特徴とする照明調整方法。 The illumination adjustment method according to claim 1,
The image system includes a graphical user interface comprising at least display means for displaying a captured image and input means operated by a user.
The graphical user interface is configured to display a quality tool including at least the first region of interest, the second region of interest, and a connecting bar on the display unit, and the user can access the quality tool by the input unit. And
The quality tool is selectable, a selection step of selecting the quality tool in advance, and at least the first and second regions of interest of the selected quality tool are previously set to the edge in the important region. And a positioning adjustment step of positioning each on a different side. 請求項１または２記載の照明調整方法において、
前記イメージデータ取り出し工程では、大きさが設定された関心領域を用いて、前記関心領域の大きさに応じてイメージデータが取り出されることを特徴とする照明調整方法。 The illumination adjustment method according to claim 1 or 2,
In the image data extracting step, image data is extracted according to the size of the region of interest using the region of interest having a set size . 請求項３に記載の照明調整方法において、The illumination adjustment method according to claim 3,
位置決めされた前記第一及び第二関心領域の少なくとも一つの大きさをあらかじめ設定する次元設定工程を含むことを特徴とする照明調整方法。An illumination adjustment method comprising: a dimension setting step for presetting at least one size of the positioned first and second regions of interest. 請求項４に記載の照明調整方法において、The illumination adjustment method according to claim 4,
画像システムがコンピュータ化されたコントロールシステムからなり、The image system consists of a computerized control system,
前記位置決め調整工程で決められる前記第一及び第二関心領域の位置データ、および前記次元設定工程で設定される前記第一及び第二関心領域の大きさのデータに基づいて前記イメージデータ取り出し工程を実行するプログラムの命令を作成し、前記プログラムの命令を自動的に実行することにより、少なくとも前記イメージデータ取り出し工程が自動的に実行されることを特徴とする照明調整方法。The image data extraction step based on the position data of the first and second regions of interest determined in the positioning adjustment step and the size data of the first and second regions of interest set in the dimension setting step. An illumination adjustment method characterized in that at least the image data extraction step is automatically executed by creating an instruction of a program to be executed and automatically executing the instruction of the program. 請求項１に記載の照明調整方法において、
前記コントロール可能な照明システムは、焦点調整サブシステムを含み、
前記照明状態調整工程では、焦点調整サブシステムの調整を含むことを特徴とする照明調整方法。The illumination adjustment method according to claim 1,
The controllable illumination system includes a focus adjustment subsystem;
The illumination adjustment method includes adjusting the focus adjustment subsystem in the illumination state adjustment step. 請求項１に記載の照明調整方法において、
少なくともイメージ品質の一つがコントラスト或いは平均明度のどちらかであることを特徴とする照明調整方法。The illumination adjustment method according to claim 1,
An illumination adjustment method, wherein at least one of image quality is either contrast or average brightness. 請求項７に記載の照明調整方法において、
イメージ品質選択工程において、イメージ品質にコントラストが選択されており、
前記判定工程において満足すべき関係として、第一及び第二関心領域のイメージデータでコントラストの差を最大化する関係が選択されていることを特徴とする照明調整方法。The illumination adjustment method according to claim 7,
In the image quality selection process, contrast is selected for image quality,
The illumination adjustment method according to claim 1, wherein a relationship that maximizes a difference in contrast between the image data of the first and second regions of interest is selected as a relationship that should be satisfied in the determination step. 請求項１に記載の照明調整方法において、関心領域の大部分において、略均一なイメージ光強度を示すように、少なくとも一つの関心領域が位置決めされることを特徴とする照明調整方法。  2. The illumination adjustment method according to claim 1, wherein at least one region of interest is positioned so as to exhibit a substantially uniform image light intensity in most of the region of interest. 請求項１に記載の照明調整方法において、関心領域の大部分において、略均一な表面を有する被測定物のおおよそ均質なパターンとなるように、少なくとも一つの関心領域が位置決めされることを特徴とする照明調整方法。  The illumination adjustment method according to claim 1, wherein at least one region of interest is positioned so that a substantially uniform pattern of an object to be measured having a substantially uniform surface is formed in a majority of the region of interest. Lighting adjustment method. 被測定物における明度の異なる２以上の領域と当該２以上の領域の境界であるエッジとを含む重要領域を照明するコントロール可能な照明システムを調整する照明調整装置であって、
複数の選択可能な光源からなり、前記個々の光源はコントロール可能な光強度で照明できる照明システム、
被測定物のイメージをとり込むイメージングシステム、
プロセッサ、
イメージを表示する表示手段、
を含み、
前記プロセッサは、
前記重要領域内における前記エッジに対して異なる側にそれぞれ位置決めされた関心領域のうちの、少なくとも前記エッジを横切る結合棒の一端につながれた第一関心領域と前記結合棒の他端につながれた第二関心領域とのイメージデータを取り出す、イメージデータ取り出し手段、
前記取り出されたイメージデータからコントラストや平均明度などの少なくとも一つのイメージ品質を選ぶ、イメージ品質選択手段、
前記選択されたイメージ品質があらかじめ定義された関心領域同士の関係を満足しているかどうかを判定する判定手段、
前記判定手段で満足していないと判定されたあとに、前記複数の選択可能な光源から少なくとも一つを選択し、当該選択された少なくとも一つの光源の光強度を調整する照明状態調整手段、
からなり、
少なくとも前記選択されたイメージ品質があらかじめ定義された関心領域同士の関係を満足するまで、前記イメージのとり込み、前記イメージデータの取り出し、前記イメージ品質の選択、判定、及び前記選択された少なくとも一つの光源の光強度の調整を繰り返し、
前記判定手段が満足していると判定したあとに、とり込まれたイメージの前記重要領域からイメージデータを取り出し、当該重要領域から取り出されたイメージデータを分析してエッジ位置を決定する分析手段を含んでいる
ことを特徴とする照明調整装置。 An illumination adjustment device that adjusts a controllable illumination system that illuminates an important region including two or more regions having different brightness in an object to be measured and an edge that is a boundary between the two or more regions ,
A lighting system comprising a plurality of selectable light sources, wherein each individual light source can be illuminated with a controllable light intensity;
An imaging system that captures the image of the object being measured ,
Processor,
Display means that displays the image,
It includes,
The processor is
Of the definitive critical region the respective positioning region of interest on different sides with respect to the edge, is plugged into the other end of the first region of interest and the connecting rod which is connected to one end of the connecting rod traversing at least the edge Image data extraction means for extracting image data with the second region of interest;
Image quality selection means for selecting at least one image quality such as contrast and average brightness from the extracted image data;
Determining means for determining whether the selected image quality satisfies a predefined relationship between the regions of interest;
After determining that the determination unit is not satisfied, the lighting state adjustment unit that selects at least one of the plurality of selectable light sources and adjusts the light intensity of the selected at least one light source ;
Tona is,
Capture of the image, retrieval of the image data, selection, determination of the image quality, and at least one of the selected until at least the selected image quality satisfies a predefined relationship between the regions of interest Repeat the adjustment of the light intensity of the light source ,
After determining that the determination unit is satisfied, an analysis unit that extracts image data from the important region of the captured image and analyzes the image data extracted from the important region to determine an edge position. lighting adjustment device according to claim <br/> that comprise.

Images