JP6742713B2

JP6742713B2 - 複数の焦点面から倍率補正するための方法及びシステム

Info

Publication number: JP6742713B2
Application number: JP2015215361A
Authority: JP
Inventors: ケヴィン・ジョージ・ハーディング; トーマス・ジェームズ・バツィンガー
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2014-11-06
Filing date: 2015-11-02
Publication date: 2020-08-19
Anticipated expiration: 2035-11-02
Also published as: US9338363B1; DE102015118278A1; JP2016118535A; CH710375A2; US20160134816A1

Description

本開示の分野は、一般に、コンポーネント検査システムに関し、より詳細には、ターゲットの複数の画像を撮影して、ターゲットの寸法を決定するために使用される倍率補正を生成する撮像システムに関する。

少なくとも幾つかの知られているクリープ検出システムは、経時的にクリープ測定の再現性を保証するため密接な公差になるよう位置決めされる試験リグを使用する。セットアップ時間及び工数は、検査される多くのコンポーネントが通常存在するため、かなりなものである。

幾つかの場合、携帯カメラのわずかな位置ずれ又は湾曲表面は、所与のセンサについて固定倍率を達成することを不可能にさせる場合がある。精密測定のために使用される画像において倍率を補正する他の方法は、クリープ等による部品の変化と共に変化しないであろう方法で部品上に基準ターゲットを配置することによって、わかっている離隔距離の画像内に基準ターゲットを置くことを含む。ターゲットは、部品上で余分の空間をふさぎ、より大きな画像を必要とする。代替のアプローチは、毎回非常に正確にセンサを位置決めする精密搭載システムを使用することであった。

米国特許出願公開第２０１２／０１３５４４４号明細書

一実施形態において、複数の焦点面からの倍率補正を使用する検査撮像システムは、画像採取デバイス及びレンズを含むイメージャを含む。システムはまた、コントローラを含み、コントローラは、ユーザインタフェース、１つ又は複数のメモリデバイス、及び、ユーザインタフェース及び１つ又は複数のメモリデバイスに通信可能に結合した１つ又は複数のプロセッサを含む。プロセッサは、ターゲットの複数の画像であって、各画像はターゲットから異なる距離において採取される、複数の画像を採取し、複数の画像を採取するときに使用されるレンズとターゲットとの間の距離を決定し、採取された各画像の倍率を決定するようにプログラムされる。プロセッサは、或る基準に関する倍率補正を決定し、ターゲットのサイズの変化を決定し、ターゲットの決定されたサイズの変化を出力するように更にプログラムされる。

別の実施形態において、画像測定において倍率を補正するための方法は、ターゲットの複数の画像であって、各画像はターゲットから異なる距離において採取される、複数の画像を採取すること、複数の画像を採取するときに使用されるレンズとターゲットとの間の距離を決定すること、及び採取された各画像の倍率を決定することを含む。方法はまた、或る基準に関する倍率補正を決定すること、ターゲットのサイズの変化を決定すること、及び、ターゲットの決定されたサイズの変化を出力することを含む。

更に別の実施形態において、１つ又は複数の非一時的コンピュータ可読記憶媒体は、内部で具現化されるコンピュータ実行可能命令を含む。少なくとも１つのプロセッサによって実行されると、コンピュータ実行可能命令は、プロセッサに、ターゲットの複数の画像であって、各画像はターゲットから異なる距離において採取される、複数の画像を採取させ、複数の画像を採取するときに使用されるレンズとターゲットとの間の距離を決定させ、採取された各画像の倍率を決定させる。コンピュータ実行可能命令はまた、プロセッサに、或る基準に関する倍率補正を決定させ、ターゲットのサイズの変化を決定させ、ターゲットの決定されたサイズの変化を出力させる。

本開示のこれらのまた他の特徴、態様、及び利点は、添付図面であって、図面全体にわたって同じ記号が同じ部品を示す、添付図面を参照して以下の詳細な説明が読まれるときによりよく理解されるであろう。

本開示の例示的な実施形態による倍率補正を使用する例示的な検査撮像システムの略図である。複数の焦点面を使用してターゲットの画像の倍率を補正する例示的な方法のフローチャートである。図２に示す方法を使用して異なる焦点深度で撮影されたコンポーネントの３つの画像に基づく焦点ベース決定のための焦点深度変更の例を示す図である。図３に示すコンポーネント３０１の斜視図である。

別途指示しない限り、本明細書で提供される図面は、本開示の実施形態の特徴を示すことを意図する。これらの特徴は、本開示の１つ又は複数の実施形態を含むいろいろなシステムにおいて適用可能であると思われる。したがって、図面は、本明細書で開示される実施形態の実施のために必要とされる、当業者によって知られている全ての従来の特徴を含むことを意図しない。

以下の明細書及び特許請求の範囲において、幾つかの用語に対して参照が行われることになり、その用語は、以下の意味を持つと規定されるものとする。

単数形「１つの（ａ）」、「１つの（ａｎ）」及び「その（ｔｈｅ）」は、文脈が別途明確に指示しない限り複数の参照を含む。

「オプションの（ｏｐｔｉｏｎａｌ）」又は「任意選択で（ｏｐｔｉｏｎａｌｌｙ）」は、その後に説明する事象又は状況が発生する場合があるか発生しない場合があること、また、その説明が、事象が発生する事例及び事象が発生しない事例を含むことを意味する。

近似言語は、明細書及び特許請求の範囲の全体にわたって本明細書で使用する場合、関連する基本的機能の変化をもたらすことなく、許容範囲で変化することができる任意の定量的表現を修正するために適用することができる。したがって、「約（ａｂｏｕｔ）」、「ほぼ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、及び「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」等の１つ又は複数の用語によって修飾される値は、指定された厳密な値に限定されない。少なくとも幾つかの事例において、近似言語は、値を測定するための機器の精度に対応することができる。ここで、並びに明細書及び特許請求の範囲の全体にわたって、範囲の制限を、組合すかつ／又は入れ替えることができ、こうした範囲は、同一視され、文脈又は言語が別途指示しない限り、その中に含まれる全ての部分範囲を含む。

本明細書で使用するとき、用語「プロセッサ（ｐｒｏｃｅｓｓｏｒ）」及び「コンピュータ（ｃｏｍｐｕｔｅｒ）」並びに関連する用語、例えば「処理デバイス（ｐｒｏｃｅｓｓｉｎｇｄｅｖｉｃｅ）」及び「コンピューティングデバイス（ｃｏｍｐｕｔｉｎｇｄｅｖｉｃｅ）」は、当技術分野でコンピュータとして参照される集積回路に限定されるだけでなく、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、特定用途向け集積回路、及び他のプログラマブル回路を幅広く指し、これらの用語は、本明細書で交換可能に使用される。本明細書で述べる実施形態において、メモリは、ランダムアクセスメモリ（ＲＡＭ）等のコンピュータ可読媒体及びフラッシュメモリ等のコンピュータ可読不揮発性媒体を含むが、それに限定されない。代替的に、フロッピー（登録商標）ディスク、コンパクトディスク−読出し専用メモリ（ＣＤ−ＲＯＭ）、光磁気ディスク（ＭＯＤ）、及び／又はデジタル多用途ディスク（ＤＶＤ）もまた使用することができる。同様に、本明細書で述べる実施形態において、更なる入力チャネルは、限定はしないが、マウス及びキーボード等のユーザインタフェースに関連するコンピュータ周辺装置であるとすることができる。代替的に、例えば、限定はしないがスキャナを含むことができる他のコンピュータ周辺装置もまた使用することができる。更に、例示的な実施形態において、更なる出力チャネルは、限定はしないが、ユーザインタフェースモニターを含むことができる。

更に、本明細書で使用するとき、用語「ソフトウェア（ｓｏｆｔｗａｒｅ）」及び「ファームウェア（ｆｉｒｍｗａｒｅ）」は交換可能であり、パーソナルコンピュータ、ワークステーション、クライアント及びサーバによって実行するためメモリに記憶された任意のコンピュータプログラムを含む。

本明細書で使用するとき、用語「非一時的コンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅｍｅｄｉａ）」は、コンピュータ可読命令、データ構造、プログラムモジュール及びサブモジュール、又は任意のデバイス内の他のデータ等の情報の短期記憶及び長期記憶のための任意の方法又は技術に実装される任意の有形のコンピュータベースデバイスを示すことが意図される。したがって、本明細書で述べる方法は、限定することなく、記憶デバイス及び／又はメモリデバイスを含む、有形の非一時的なコンピュータ可読媒体において具現化される実行可能命令としてエンコードすることができる。こうした命令は、プロセッサによって実行されると、本明細書で述べる方法の少なくとも一部分をプロセッサに実施させる。更に、本明細書で使用するとき、用語「非一時的コンピュータ可読媒体」は、限定はしないが、揮発性媒体及び不揮発性媒体、ファームウェア、物理的ストレージ及びバーチャルストレージ、ＣＤ−ＲＯＭ、ＤＶＤ等の取外し可能媒体及び取外し不能媒体、及びネットワーク又はインターネット等の任意の他のデジタル源、並びにまだ開発されていないデジタル手段（唯一の例外は一時的な伝搬信号である）を含む、限定はしないが、非一時的コンピュータ記憶デバイスを含む全ての有形のコンピュータ可読媒体を含む。

更に、本明細書で使用するとき、用語「リアルタイム（ｒｅａｌ−ｔｉｍｅ）」は、関連する事象の発生時間、所定のデータの測定時間及び収集時間、データを処理する時間、並びに事象及び環境に対するシステム応答の時間のうちの少なくとも１つを指す。本明細書で述べる実施形態において、これらの活動及び事象は実質的に即座に発生する。

デプスフロムフォーカス（ｄｅｐｔｈｆｒｏｍｆｏｃｕｓ）／デプスフロムデフォーカス（ｄｅｐｔｈｆｒｏｍｄｅｆｏｃｕｓ）は、或るシーンの３Ｄ表面を、そのシーンの２つ以上の画像のセットから推定するために使用される。画像は、カメラパラメータ（通常、焦点設定又は画像面軸方向位置）を変えることによって取得され、同じ視点から撮影される。デプスフロムフォーカスとデプスフロムデフォーカスとの差は、第１の場合には、表面推定プロセス中にカメラパラメータを動的に変化させることが可能であり、一方、第２の場合には、これは許可されないことである。更に、両方の問題は、構造化光をシーン上に投影することが可能であるか否かに応じて、能動的又は受動的デプスフロムフォーカス／デフォーカスと呼ばれる。多くのコンピュータビジョン技法はピンホールカメラによって取得される画像を使用することによって３Ｄ表面を推定するが、デプスフロムデフォーカスにおいて、実際のアパーチャカメラが使用される。実際のアパーチャカメラは、浅い被写界深度を有し、シーンの小さな３Ｄスライス上にだけ焦点が合っているように見える画像をもたらす。画像プロセス形成は、光幾何学によって説明される可能性がある。レンズは、薄レンズの法則（ｔｈｉｎｌｅｎｓｌａｗ）、すなわち、１／ｆ＝（１／ν）＋（１／ｕ）を使用してモデル化される。ここで、ｆは焦点距離であり、ｕはレンズ面とシーンにおける合焦状態の（ｉｎｆｏｃｕｓ）面との距離であり、νはレンズ面と画像面との距離である。

デプスフロムフォーカスにおいて、一連の画像が撮影され、それぞれの画像は浅い被写界深度を有する。デプスフロムフォーカス又はデフォーカスの最も単純な形態において、情報は、多数の画像において取得され、最小量のぼけ（ｂｌｕｒ）、すなわち、最大量の焦点鮮明度（ｆｏｃｕｓｃｌａｒｉｔｙ）を有する画像があるか画像のセットが探索される。本開示の種々の実施形態は、このアプローチを使用して、最良合焦状態にある各画像内の領域を規定し、これらの領域を組合せて、単一の合焦状態の画像を構築する。

デプスフロムデフォーカスにおいて、少数の画像を撮影することができ、焦点ずれ（ｄｅｆｏｃｕｓ）の程度がモデル化される。焦点ずれによるぼけの量が使用されて、特定の画像特徴が最良焦点（ｂｅｓｔｆｏｃｕｓ）からどれだけ遠くにあるかを推定することができる。この場合、ぼけは、通常、合焦状態の画像と有効点広がり関数の畳込みとしてモデル化され、その畳込みは、
Ｒ＝[Ｄ／２]×[１／ｆ−１／ｏ−１／ｓ] （１）
から幾何学的に計算することができる。ここで、Ｒはぼけ半径を示し、Ｄは収集アパーチャの径を示し、ｆはレンズ１０６の焦点距離を示し、ｏはコンポーネント１１０までの対象物距離を示し、ｓはイメージャ１０２までの画像距離を示す。

明瞭なエッジ情報は焦点鮮明度について解析される。一部の表面の場合、明瞭なエッジ情報は入手可能でない場合がある。表面が、表面粒構造又は目に見える他のより顕著な特徴等の固有の特徴を持たない場合、別のアプローチが必要とされる。ターゲットとして対象物の固有の特徴を使用することに対する代替法は、ライン等のパターンを表面上に投影することである。ぼやけ（ｆｕｚｚｉｎｅｓｓ）の周波数コンテンツは、その後、対象物の表面上に投影されるパターンの主周波数（間隔）の狭い帯域の周りでモデル化される可能性がある。この推定は、形態
Ｓ（ｘ，ｙ）＝ｅ−（ｘ’²＋ｙ’²）／２ａ２×ｃｏｓ（２（π）／Ｔｘｘ’＋（φ））
（２）
のｘ及びｙにわたる局所的演算子を使用して行うことができる。ここで、ｘ’＝ｘｃｏｓ（θ）−ｙｓｉｎ（θ）であり、ｙ’＝−ｘｓｉｎ（θ）＋ｙｃｏｓ（θ）であり、Ｔは、対象物上に投影されるパターンの主周期であり、ａは等価ガウシアンフィルタの標準偏差であり、（θ）は表面垂線に対する照明の角度であり、（φ）は位相オフセットを示す。

これらのアプローチは、ぼけの効果が、主に、投影されるパターンを拡散させ、エッジの強度の変化率（コントラストの微分）を減少させると仮定する。自動焦点（ａｕｔｏｆｏｃｕｓ）システム等の幾つかの場合、エッジのコントラストだけが、各エリアにおいて考慮される。代替的に、ぼやけの周波数コンテンツは、部品上に投影されるパターンの主周波数（間隔）の狭い帯域の周りで計算されるラプラシアンとしてモデル化されることが多い。

撮像システムの場合、焦点深度とシステム解像度は、通常、競合する。すなわち、解像度が高くなればなるほど、撮像システムがそれにわたって焦点を合わせ、明瞭な画像を採取できる深度が浅くなる。ターゲット検出の場合、高い解像度と深い撮像深度の両方が望ましい。高い解像度は、検査されるコンポーネント上の粒構造及び表面スクラッチのようなターゲット特徴を撮像するために必要とされる。

一実施形態において、以下で更に述べるように、撮像システムが使用されて、設定された光路長及び焦点（ｆｏｃａｌｐｏｉｎｔ）を有するレンズ等の撮像要素を使用して、検査されるコンポーネント上のターゲットを撮像する。液晶パネル（ＬＣＰ：ｌｉｑｕｉｄｃｒｙｓｔａｌｐａｎｅｌ）及び複屈折光学機器は、撮像要素とターゲットとの間に位置決めされて、撮像システムの光路長を変更する。複屈折光学要素は、その光路長が光の偏光の向きに依存する要素であり、また、幾何形状に応じて複屈折窓又はレンズと呼ぶことができる。

これは、異なる長さの２つ以上の光路をもたらし、それらの光路は、結果として得られるターゲット画像の再合焦（ｒｅｆｏｃｕｓ）を引き起こす。ＬＣＰ及び複屈折光学要素による光路長の変化は、ターゲットと撮像システムとの間の物理的距離の場合と同様に、画像の合焦（ｆｏｃｕｓ）／焦点ずれ（ｄｅｆｏｃｕｓ）に同じ影響を及ぼす。合焦される光路長及び再合焦される光路長からのターゲット画像からのデータが使用されて、レンズからターゲットまでの距離を計算する。これは、デプスフロムフォーカス又はデプスフロムデフォーカス計算と呼ぶことができる。

一実施形態によれば、以下で更に述べるように、ＬＣＰ及び複屈折要素がカメラレンズに取付けられ、供給される電子信号（電圧）が使用されて、液晶によって引起される偏光回転を制御する方法が述べられる。１つ又は複数の異なる電圧が印加され、ＬＣＰによって引起される偏光回転を変化させる。その後、これは、光が、複屈折要素内で異なる屈折率の経路を見るようにさせ、異なる光路長をもたらす。光路長のいずれの変動も、ターゲットとイメージャとの間の距離の物理的変化と同様に、画像に関する合焦／焦点ずれの変化をもたらす。

各事例において、ターゲットの画像は、カメラ又は同様のデバイスからなるイメージャを使用して採取され、イメージャは、対象物の画像を採取し、時間的又は空間的パラメータに基づいて、採取された画像データを生成する。同様に、撮像システムは、限定はしないが、更なるレンズ、ミラー、光フィルタ、アパーチャ、照明デバイス、及び電子コンポーネント等の、光学システムにおいて通常見出される更なるコンポーネントを含むことができる。

ＬＣＰ及び複屈折要素を使用してターゲットとレンズとの間の距離を決定するために必要とされる焦点シフトを生成するための種々の方法が存在する。或る実施形態において、約２ミリメートルから約１０ミリメートルの間のオーダの２つから３つの焦点シフトが使用される。ターゲット又は表面特徴の被写界深度（ＤＯＦ：ｄｅｐｔｈ−ｏｆ−ｆｉｅｌｄ）が焦点シフトより大きい場合、生成される画像は、オーバラップエリアの両側に対して、中心の「最良焦点（ｂｅｓｔｆｏｃｕｓ）」領域を有するオーバラップ焦点を有することになる。被写界深度（ＤＯＦ）は、所与のサイズの特徴が、そこを通して焦点を変えるように見えない撮像領域として規定される。ＤＯＦが経路長シフトより短い場合、各画像は、ターゲット上の異なる深度で明瞭な焦点の帯域を示すことになる。

位置の変化がわかるように変位がよく制御された状態で、ターゲットから異なる距離で撮影される一連の画像を使用することは、特定の撮像システムについて距離の変化に伴って画像がどのように変化するかに関する知識を提供し、各場所における倍率の推定を可能にし、補正された幾何形状が、計算された合焦状態の位置について生成される。種々の実施形態において、３つの画像が、３つの知られている異なるスタンドオフ距離において使用される。こうして、撮像デバイスが都度反復して位置決めされなくても、観察されるパターンのサイズは、知られている寸法の基準倍率を使用して正しく計算される可能性がある。

所望の倍率を高い精度で迅速に達成することは、特に、手持ち式デバイスを使用して何らかの特徴又はターゲットを観察する場合、非常に難しい可能性がある。幾つかの場合、湾曲表面は、固定倍率を達成することを、所与のイメージャについて不可能にする場合がある。この方法は、基準画像倍率を手動で達成するための過剰な器具又は他の方法無しでターゲットの正しい幾何形状を計算するために画像が使用されることを可能にする。携帯カメラデバイスによって２次元（２Ｄ）ターゲット内の小さな変化を観察する手段によってクリープを測定する場合、この方法は、測定のより高い程度の再現性を可能にする。

本明細書で述べる倍率補正システムの実施形態は、コンポーネントが経験するクリープの量を決定するため、ターゲット寸法の変化を測定するための費用効果的な方法を提供する。本明細書で述べる実施形態は、撮像システムを使用して、コンポーネント内のクリープのリアルタイム情報を提供する。特に、本明細書で述べる実施形態は、イメージャ及び処理機能を使用して、コンポーネントまでの距離及び複数の画像におけるターゲットの倍率を決定する。補正は、画像間の距離の変化による倍率差について決定される。補正がターゲット画像に適用されると、ターゲットの寸法を決定することができる。したがって、本明細書で述べる実施形態は、コンポーネント内のクリープを測定するためのセットアップ時間を実質的に減少させ、それにより、メンテナンスのコストを低減する。更に、クリープ測定が経時的に一貫性がある。

図１は、本開示の例示的な実施形態による倍率補正を含む検査撮像システム１００の略図である。例示的な実施形態において、検査撮像システム１００は、その焦点位置（ｆｐ₁、ｆｐ₂、ｆｐ₃）をシフトできるように構成されるイメージャ１０２を含む。種々の実施形態において、イメージャ１０２は、画像採取デバイス１０４、レンズ１０６、及び、幾つかの実施形態において、光路チェンジャ１０８、例えば限定はしないが、複屈折要素又はガラス部材を含む。イメージャ１０２は、光路チェンジャ１０８、並びに、イメージャ１０２及びターゲット１１２を含むコンポーネント１１０の少なくとも一方を互いに向かうよう又は互いから離れるよう併進させるように構成される位置決めマウント（図示せず）の少なくとも一方を使用してその焦点位置をシフトできる。互いに向かうよう又は互いから離れるようイメージャ１０２又はコンポーネント１１０を併進させることは、両者間の距離１１３を変更する。距離１１３は、各焦点位置におけるターゲット１１２の倍率を決定するために使用される。ターゲット１１２は、コンポーネント１１０の表面１１４に結合されるか又は表面１１４内にエッチングされるパターンで具現化され、又は、限定はしないが、穴、溝、スロット、突起、及び表面１１４にレリーフを付加するその組合せ等の表面１１４の特徴で具現化される。

検査撮像システム１００は、検査撮像システム１００の動作を調節するように構成されるコントローラ１１６を含む。コントローラ１１６は、画像の採取並びにイメージャ１０２及びコンポーネント１１０の互いに対する位置決めを調節する。コントローラ１１６は、ユーザインタフェース１２０及び１つ又は複数のメモリデバイス１２２に結合された１つ又は複数のプロセッサ１１８を含む。

動作時、コントローラ１１６は、１つ又は複数のメモリデバイス１２２から命令を取り出し、その命令は、１つ又は複数のプロセッサ１１８によって実行されると、ターゲット１１２の複数の画像であって、各画像が異なる焦点位置で採取される、複数の画像を採取するための初期パラメータを確立するよう１つ又は複数のプロセッサ１１８に指令する。例えば、コントローラ１１６は、第１の焦点位置１２４で第１の画像の採取を、第２の焦点位置１２６で第２の画像の採取を、また、第３の焦点位置１２８で第３の画像の採取を開始する。採取された画像はコントローラ１１６に送信され、コントローラ１１６において、画像は即座に処理されるかつ／又は後の使用のために記憶される。

図２は、複数の焦点面を使用してターゲットの画像の倍率を補正する方法２００のフローチャートである。本明細書で使用するとき、焦点面又は焦点の平面（ＰｏＦ：ｐｌａｎｅｏｆｆｏｃｕｓ）は、焦点におけるカメラ又はイメージャ１０２の前の仮想２次元平面である。ＰｏＦは、最も鮮鋭な焦点の理論的な平面を示し、被写界深度内に存在する。ＰｏＦは、カメラ又はイメージャ１０２のセンサに平行に（また、光軸に垂直に）存在する。複数の焦点面は、複数の画像であって、各画像がセンサとターゲットとの間の異なる距離で採取される、複数の画像を指す。複数の焦点面はまた、複数の画像であって、各画像が、（センサとターゲットとの間の距離を除いて）各画像について同じ光学パラメータを使用してセンサとターゲットとの間の異なる距離で採取される、複数の画像を指す。例示的な実施形態において、方法２００は、ターゲットの複数の画像を採取する２０２ことを含む。ターゲットの各画像は、ターゲットから異なる距離で採取される。方法２００はまた、複数の画像を採取するときに使用されるレンズとターゲットとの間の距離を決定すること２０６を含む。方法２００は、採取された各画像の倍率を決定する２０８こと、知られているか又は計算可能な寸法を有する基準ターゲットに関する倍率補正を決定する２１０こと、ターゲットのサイズの変化を決定する２１２こと、及び、ターゲットの決定されたサイズの変化をコンピュータシステム１３０に出力することを更に含む。一実施形態において、ターゲットの決定されたサイズの変化は、検査撮像システムに通信可能に結合されたメンテナンスプラニングコンピュータシステムに出力される。種々の実施形態において、ターゲットの決定されたサイズの変化は、ターゲットの変化率を決定し、ターゲットが所定の限界を超えるまでの期間を予想するように構成されるレートコンピュータシステムに出力される。

イメージャ１０２（図１に示す）は、ターゲット１１２の画像を採取するために使用される。画像は、通常、光の可視波長で採取される可視画像である。種々の実施形態において、波長の赤外線帯域等の他の波長が、画像を採取するために使用される。各画像を採取した２０２後、イメージャ１０２とターゲット１１２との間の光路距離（図１に示す）が変更されて、次の画像を異なる焦点面で採取する。イメージャ１０２は、各光路距離において焦点を合わせるのではなく、むしろ、ターゲット１１２の焦点鮮明度又はエッジのぼやけが使用されて、イメージャ１０２とターゲット１１２との間の距離を決定する。更に、イメージャ１０２の他の光学パラメータは、画像の採取と採取との間で調整されない。幾つかの実施形態において、採取された画像のうちの１つの画像は、比較的鮮鋭でかつシャープなラインを有する最良合焦位置にある。他の実施形態において、画像は、最良焦点にない異なる距離１１３で採取され、幾つかのぼやけたエッジを有する。イメージャ１０２とターゲット１１２との間の距離の予測は、これらのエッジのぼやけの程度又は鮮明度の程度に基づいて行われる。その変化を記述する関数は、点広がり関数又は他の焦点ベース関数に関連する。

イメージャ１０２とターゲット１１２との間の距離を決定するため焦点鮮明度を使用することは、ターゲット１１２のサイズの変化を比較するため初期画像採取を再現するためのテストリグ内でのコンポーネント１１０についての複雑でかつ時間がかかるアライメントについての必要性を除去する。レンズの点広がり情報２１４は、複数の画像を採取するときに使用されるレンズ１０６（図１に示す）とターゲット１１２との間の距離を決定する２０６ときに使用される。

レンズ１０６からターゲット１１２までの距離１１３（図１に示す）を変化させることはまた、ターゲット１１２の倍率を変化させる（ターゲット１１２は、より近い距離の画像の場合大きく見え、より遠い距離の画像の場合小さく見える）ため、倍率は、レンズ１０６についての焦点距離情報２１６を使用して、採取された各画像について決定される２０８。画像ごとの倍率の変化は、距離１１３及び焦点距離情報２１６を使用して決定される。基準ターゲットに関する倍率補正もまた決定される２１０。補正された倍率を使用して、ターゲットのサイズの変化が決定される２１２。現在決定されているターゲットサイズを過去に決定されたターゲットサイズと比較することがコントローラ１１６において実施される、又は、コントローラ１１６は、こうしたタスクを他のコンポーネント（図示せず）にオフロードする。種々の実施形態において、画像及び／又は決定の結果は、ユーザインタフェース１２０上のユーザ（図示せず）に或はメンテナンスプラニングコンピュータシステムを含むことができるメンテナンスコンピュータシステム又はレートコンピュータシステムに出力される。種々の実施形態において、メンテナンスプラニング及びレートコンピュータシステムのレート決定機能は別個のコンピュータによって実施される場合がある、又は、機能は、コントローラ１１６の一部分に組込まれる場合がある。

図３は、異なる焦点深度において撮影されたコンポーネント３０１の３つの画像３００に基づく焦点ベース決定のための焦点深度変化の例である。図４は、コンポーネント３０１（図３に示す）の斜視図である。例示的な実施形態は、図１に示す構成を使用するデプスフロムデフォーカス（ＤＦＤ）法において、異なる焦点深度又は焦点位置において採取される複数の画像を使用する。ＤＦＤは、エッジ及び特徴がコンポーネント上で十分に目に見えかつ一般的であるコンポーネント用の携帯測定に向いており、こうした特徴部の領域内で画像データを生成する手段として使用される。ＤＦＤは、明瞭な局所的特徴に実際に依存しているため、産業用測定において広く使用されてきておらず、したがって、平滑で明瞭な表面にも適用されない。

デプスフロムフォーカス決定において、情報を提供する一方法は、多数の画像を含む画像のセットを撮影し、最小量のぼけを有する各画像内のエリアを探索することである。一実施形態において、このアプローチが使用されて、最良に合焦されている各画像内の領域を規定し、その後、これらの領域を組合せて、単一の合焦状態の画像を構築する又はイメージャ１０２までの距離を決定する。

この実施形態において、単純な角３０２は、ライン（部品上のテキスチャ又は投影ラインである可能性がある）等のターゲットを含む。各画像が、明瞭な合焦状態にあると見なされる領域は、グラフィック上で太い矢印でマーク付けされる。角３０２の頂点３０５を覆い、スロープ３０７を下に途中まで延びる第１の画像３０４において、矢印３０６は画像３０４の合焦状態の部分を指す。頂点３０５を覆い、スロープ３０７を下に途中まで延びる第２の画像３０８において、矢印３１０は画像３０８の合焦状態の部分を指す。頂点３０５を覆い、スロープ３０７を下に途中まで延びる第３の画像３１２において、矢印３１４は画像３１２の合焦状態の部分を指す。

上述した倍率補正を有する検査撮像システムは、コンポーネントが経験するクリープの量を決定するため、ターゲット寸法の変化を測定するための費用効果的な方法を提供する。本明細書で述べる実施形態は、撮像システムを使用して、コンポーネント内のクリープのリアルタイム情報を提供する。特に、本明細書で述べる実施形態は、イメージャ及び処理機能を使用して、コンポーネントまでの距離及び複数の画像におけるターゲットの倍率を決定する。補正は、画像間の距離の変化による倍率差について決定される。補正がターゲット画像に適用されると、ターゲットの寸法を決定することができる。したがって、本明細書で述べる実施形態は、コンポーネント内のクリープを測定するためのセットアップ時間を実質的に減少させ、それにより、メンテナンスのコストを低減する。更に、クリープ測定が経時的に一貫性がある。

本明細書で述べる方法、システム、及び装置の例示的な技術的効果は、（ａ）ターゲットの複数の画像であって、各画像はターゲットから異なる距離から採取される、複数の画像を採取するためイメージャを使用すること、（ｂ）ターゲットからの距離を決定するため、画像内のターゲットの焦点鮮明度を使用すること、及び、（ｃ）各距離において画像の倍率及び倍率に対する補正を決定することのうちの少なくとも１つを含む。

本開示の種々の実施形態の特定の特徴が、幾つかの図面に示され、他の図面には示されないが、これは便宜だけのためである。本開示の原理によれば、図面のいずれの特徴も、任意の他の図面の任意の特徴と組合せて、参照及び／又は特許請求することができる。

幾つかの実施形態は、１つ又は複数の電子又はコンピューティングデバイスの使用を含む。こうしたデバイスは、通常、汎用中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、マイクロコントローラ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジック回路（ＰＬＣ）、及び／又は本明細書で述べる機能を実行することが可能な任意の他の回路又はプロセッサ等の、プロセッサ又はコントローラを含む。本明細書で述べる方法は、限定はしないが、記憶デバイス及び／又はメモリデバイスを含む、コンピュータ可読媒体で具現化される実行可能命令としてエンコードすることができる。こうした命令は、プロセッサによって実行されると、プロセッサに本明細書で述べる方法の少なくとも一部分を実施させる。上記例は、例示的なだけであり、したがって、用語プロセッサの定義及び／又は意味を決して制限することを意図されない。

この書面による説明は、最良モードを含む実施形態を開示するために、また同様に、任意のデバイス又はシステムを作り使用すること、及び、組込まれる任意の方法を実施することを含む、実施形態を当業者が実施することを可能にするために例を使用する。本開示の特許可能な範囲は、特許請求の範囲によって規定され、当業者が思いつく他の例を含むことができる。こうした他の例は、特許請求の範囲の逐語的言語と異ならない構造的要素を有する場合、又は、特許請求の範囲の逐語的言語と非実質的相違を有する等価な構造的要素を含む場合、特許請求の範囲内にあることを意図される。

１００倍率補正システム、検査撮像システム
１０２イメージャ
１０４画像採取デバイス
１０６レンズ
１０８光路チェンジャ
１１０コンポーネント
１１２ターゲット
１１３距離
１１４表面
１１６コントローラ、コンピュータデバイス
１１８１つ又は複数のプロセッサ
１２０ユーザインタフェース
１２２１つ又は複数のメモリデバイス
１２４第１の焦点位置、焦点面
１２６第２の焦点位置、焦点面
１２８第３の焦点位置、焦点面
２００方法
２０２採取する
２０６決定する
２０８決定する
２１０決定する
２１２決定する
２１４レンズの点広がり情報
２１６焦点距離情報
３００画像
３０１コンポーネント
３０２角
３０４第１の画像
３０５頂点
３０６矢印
３０７スロープ
３０８第２の画像
３１０矢印
３１２第３の画像
３１４矢印

Claims

複数の焦点面（１２４、１２６、１２８）から倍率補正を使用するように構成される検査撮像システム（１００）であって、当該システム（１００）が、
画像採取デバイス（１０４）及びレンズ（１０６）を備えるイメージャ（１０２）と、
コントローラ（１１６）と
を備えており、前記コントローラ（１１６）が、
ユーザインタフェース（１２０）、
１つ又は複数のメモリデバイス（１２２）、及び
前記ユーザインタフェース（１２０）及び前記１つ又は複数のメモリデバイス（１２２）に通信可能に結合した１つ又は複数のプロセッサ（１１８）
を備えており、前記１つ又は複数のプロセッサ（１１８）が、
ターゲット（１１２）の複数の画像であって、複数の画像（３０４、３０８、３１２）の各画像（３０４、３０８、３１２）は前記ターゲット（１１２）から異なる距離（１１３）において採取される、前記複数の画像を採取し（２０２）、
前記複数の画像（３０４、３０８、３１２）を採取するときに使用される前記レンズ（１０６）と前記ターゲット（１１２）との間の距離（１１３）を決定し（２０６）、
採取された前記各画像（３０４、３０８、３１２）の倍率を決定し（２０８）、
既知又は計算可能な寸法を有する基準ターゲットに関する倍率補正を決定し（２１０）、
前記ターゲット（１１２）のサイズの変化を決定し（２１２）、
前記ターゲット（１１２）の前記決定されたサイズの変化を出力する
ようにプログラムされる、システム（１００）。
前記ターゲット（１１２）と前記レンズ（１０６）との間の光の光路を変更するように構成される光路チェンジャ（１０８）を更に備える、請求項１記載のシステム（１００）。
前記プロセッサが、前記レンズ（１０６）と前記ターゲット（１１２）との間の距離（１１３）を決定するため、前記レンズ（１０６）について点広がり関数情報を受信するように更にプログラムされる、請求項１記載のシステム（１００）。
前記プロセッサが、前記レンズ（１０６）の焦点距離情報を使用して、採取された前記各画像（３０４、３０８、３１２）の倍率を決定するように更にプログラムされる、請求項１記載のシステム（１００）。
前記プロセッサが、前記画像の焦点鮮明度を使用して、前記レンズ（１０６）と前記ターゲット（１１２）との間の距離（１１３）を決定するように更にプログラムされる、請求項１記載のシステム（１００）。
前記プロセッサが、デプスフロムフォーカス関数及びデプスフロムデフォーカス関数を少なくとも一方を使用して、前記レンズ（１０６）と前記ターゲット（１１２）との間の距離（１１３）を決定するように更にプログラムされる、請求項１記載のシステム（１００）。
画像測定において倍率を補正するためのコンピュータ実装式方法（２００）において、ユーザインタフェース（１２０）及び１つ又は複数のメモリデバイス（１２２）に結合した１つ又は複数のプロセッサ（１１８）を含むコンピュータデバイス（１１６）を使用して実装される、方法（２００）であって、
ターゲット（１１２）の複数の画像（３０４、３０８、３１２）であって、前記複数の画像の各画像は前記ターゲット（１１２）から異なる距離（１１３）において採取される、前記複数の画像（３０４、３０８、３１２）を採取する（２０２）こと、
前記複数の画像を採取するときに使用されるレンズ（１０６）と前記ターゲット（１１２）との間の距離（１１３）を決定する（２０６）こと、
採取された前記各画像（３０４，３０８，３１２）の倍率を決定する（２０８）こと、
既知又は計算可能な寸法を有する基準ターゲットに関する倍率補正を決定する（２１０）こと、
前記ターゲット（１１２）のサイズの変化を決定する（２１２）こと、及び
前記ターゲット（１１２）の前記決定されたサイズの変化を出力すること
を含む、方法（２００）。
前記複数の画像（３０４、３０８、３１２）を採取するときに使用される前記レンズ（１０６）と前記ターゲット（１１２）との間の距離（１１３）を決定する（２０４）ことが、前記レンズ（１０６）について点広がり関数を用いて前記レンズ（１０６）と前記ターゲット（１１２）との間の距離（１１３）を決定することを含む、請求項７記載の方法（２００）。
採取された各画像の倍率を決定することが、前記レンズ（１０６）の焦点距離情報を使用して、採取された前記各画像（３０４、３０８、３１２）の倍率を決定することを含む、請求項７記載の方法（２００）。
前記ターゲット（１１２）の前記複数の画像（３０４、３０８、３１２）を採取することが、コンポーネント（１１０）の表面（１１４）に結合したパターンの前記複数の画像（３０４、３０８、３１２）を採取することを含む、請求項７記載の方法（２００）。