JP2020060533A - 光学評価装置、および、光学評価方法 - Google Patents

Abstract

【課題】撮影された縞パターンの位相誤差が許容範囲内であり、正常な撮影ができているかを簡易な手法で可能な光学評価装置を提供する。【解決手段】被検物に縞パターン光を照明する照明部と、位相の異なる縞パターン光が照明された被検物の複数枚の撮影画像を撮影する撮影部と、複数枚の撮影画像を処理して被検物の表面に関する情報を含む合成画像を生成し、撮影画像を評価する処理部と、を備え、撮影画像の評価は、撮影画像内の縞パターン光の位相誤差によって合成画像に重畳されるノイズ成分の強度を取得し、取得したノイズ成分の強度を閾値と比較することにより実行される。【選択図】図１

Description

本発明は、光学評価装置、および、光学評価方法に関する。

光沢性を有するワークの表面上に存在する欠陥を検出するための技術がある。この技術として、周期的な縞状のパターン（縞パターン）で発光する光源を用いてワークを照明し、縞パターンの位相を変化させながらワークで反射された光をカメラで撮影し、撮影した複数の画像からワークの欠陥を検出する技術が知られている（特許文献１）。前述のような技術を用いた装置の場合、光源やワーク、カメラなどの振動や、縞パターンの位相を変化させるためのステージの駆動精度や経時変化などで、理想状態に対して縞パターンの位相にズレ（位相誤差）を生じさせることがある。

このような状態で複数の画像から合成画像を算出すると、撮影画像に照射された縞パターンの空間周波数（撮影空間周波数）の２倍の空間周波数（ノイズ空間周波数）のノイズ（ノイズ成分）が発生する。ノイズ成分が発生すると、欠陥がノイズに埋もれてしまうため検査性能が悪化する。そのため画像処理などでこのようなノイズを補正する手法が提案されている（特許文献２と特許文献３）。

特許文献２のノイズ補正方法では、位相ステップごとの撮影画像から縞パターンの誤差の解析を行い、誤差を見積もり、必要な場合は再撮影を行うなどして補正を行う方法である。特許文献３のノイズ補正方法では、縞パターンの位相をずらした画像を同時に２台のカメラで撮影して平均値を算出することで、縞パターンの誤差を補正する方法である。

特許第５９９４４１９号公報 特許第４１８７１２４号公報 特開２０１８-０７７１４０号公報

特許文献２の検査方法では、全撮影画像において縞パターンの位相誤差を求めるために、検査するための処理とは別に、全ての撮影画像の画像処理を行う必要がある。この場合、位相を変化させるステップ数が多くなると、その分だけ撮影画像が増え、検査時の画像処理時間の増大を招来しうる。また、特許文献３の検査方法では、カメラなどの光学系を追加してステージ誤差を補正するため、カメラで撮影する画像が倍増し、画像処理時間の増大を招来しうる。

本発明は、撮影された縞パターンの位相誤差が許容範囲内であり、正常な撮影ができているかを簡易な手法で判断可能な光学評価装置を提供することを目的とする。

上記課題を解決するために、被検物に縞パターン光を照明する照明部と、位相の異なる縞パターン光が照明された被検物の複数枚の撮影画像を撮影する撮影部と、複数枚の撮影画像を処理して被検物の表面に関する情報を含む合成画像を生成し、撮影画像を評価する処理部と、を備え、撮影画像の評価は、撮影画像内の縞パターン光の位相誤差によって合成画像に重畳されるノイズ成分の強度を取得し、取得したノイズ成分の強度を閾値と比較することにより実行される、ことを特徴とする。

本発明によれば、撮影された縞パターンの位相誤差が許容範囲内であり、正常な撮影ができているかを簡易な手法で可能な光学評価装置を提供することができる。

外観検査装置を示す概略図である。 外観検査装置の他例を示す概略図である。 外観検査装置の検査撮影処理を説明するためのフローチャートである。 基準画像と合成画像の概略図である。 ノイズ空間周波数を発生させた基準合成画像の概略図である。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略する。

＜第１実施形態＞
第１実施形態に係る外観検査装置１について説明する。図１は、外観検査装置１を示す概略図である。外観検査装置１は、光沢性を有するワーク１１（被検物）の表面を評価する光学評価装置である。ワーク１１は、例えば、工業製品に利用される表面が研磨された金属部品や樹脂部品などである。ワーク１１の表面には、キズや色抜けの他、打痕など緩やかな凹凸形状に起因する欠陥など、多様な欠陥が発生する。外観検査装置１は、ワーク１１の表面を評価することにより、これらの欠陥を検出し、検出結果に基づいて当該ワーク１１を良品または不良品に分類する。外観検査装置１は、ワーク１１を所定の位置に搬送する不図示の搬送装置（例えばコンベアやロボット、スライダ、手動ステージなど）を含んでもよい。

外観検査装置１は、ワーク１１に縞パターン光を照明する照明部１０１と、照明部１０１を介してワーク１１を撮影するカメラ１０２（撮影部）と、制御部１０４を備える。照明部１０１は、光を透過する透光板１０６と、透光板１０６の側周端面に配置されたＬＥＤなどの光源を含む。透光板１０６上のカメラ１０２側に、縞パターン状の反射部１０７が形成されており、光源から透光板１０６内に導入された光が反射部１０７で反射されることで、ワーク１１側へ縞パターン光を照射することができる。照明部１０１は可動部１０３によって保持されている。可動部１０３は、縞状のパターンと直交する方向（図中のＸ方向）に、照明部１０１を移動可能としている。本実施形態では、可動部１０３によって照明部１０１を移動させているが、照明部１０１に対してワーク１１を動かすことで、照明部１０１とワーク１１の相対的な位置を変えても良い。加えて照明部１０１本体を動かすのではなく、透明ディスプレイなどで縞状のパターンだけを動かすようにしてもよい。透光板１０６上に形成された各々の反射部１０７の間は、光が透過できるため、照明部１０１を介してワーク１１を撮影することが可能となっている。

カメラ１０２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなど、画素が２次元状に配置されたイメージセンサを備える。制御部１０４は、照明部１０１、カメラ１０２および可動部１０３と接続されている。制御部１０４は、例えばＣＰＵやメモリなどを有する基板によって構成されており、照明部１０１、カメラ１０２と可動部１０３を同期して制御する。制御部１０４は、可動部１０３とカメラ１０２を制御して、照明部１０１を移動させて、縞パターンの位相をずらした複数枚（Ｎ枚（Ｎ≧３））の画像を撮影させる。ただし、本発明を適用できる外観検査装置１は、このような構成に限定されるものではなく、手動にて可動部１０３を操作してワーク１１を移動させた後、マニュアルトリガーでカメラ１０２にてワーク１１を撮影してもよい。

外観検査装置１は、さらに画像処理部としてのＰＣ１０５を含む。本実施形態のＰＣ１０５は、カメラ１０２で得られたＮ枚の撮影画像に基づいてワーク１１の表面を評価する機能を有する。ＰＣ１０５と制御部１０４は別体でなくてもよく、当該画像処理部を制御部１０４と一体的に設けてもよい。また、画像処理部は汎用的なＰＣではなく、画像処理専用のマシンであってもよい。撮影した合計Ｎ枚（Ｎ≧３）の撮影画像を、投影した縞パターンの位相がシフトする周波数成分の強度変化に関する情報を用いて、合成画像を生成する。合成画像の一例は、振幅画像、位相差画像やＮ枚の平均値を算出した平均画像があげられる。

ｎ枚目（ｎ＝１、・・、Ｎ）の撮影画像をＩｎ（ｘ，ｙ）とするとき、振幅画像（ｘ，ｙ）は、以下の式により算出できる。

位相差Δθｘ（ｘ，ｙ）およびΔθｙ（ｘ，ｙ）は、以下の式により算出できる。

このような複数種の合成画像では、光学的に評価可能な表面性状が異なり、可視化される欠陥も異なるため、これらの画像を組み合わせることで、多様な表面性状を評価して、多様な欠陥を可視化する。

本実施形態では、照明部１０１を介してワーク１１を撮影している構成としているが、図２に示すように照明部１０１を介さずにワーク１１をディスプレイなどの照明部１０１で斜めから投影し、その反射光をカメラ１０２で撮影する構成としてもよい。照明部１０１を介さずに斜めからの反射光を用いる構成の場合、照明部１０１は透光板を使用して透過部を生成する必要がないため、ディスプレイやプロジェクタなどで、ワークに縞パターン光を照射することができればよい。また縞パターンの位相変更は、必ずしも可動部１０３を有する必要はない。ディスプレイを用いた場合は映し出す画像を変更することで、プロジェクタを用いた場合は照射する縞パターンを変更することで、位相変更を行うことができる。この場合、合成画像生成に使用するＩ_sin、Ｉ_cosは以下の式を用いることで、振幅画像、位相差画像、平均画像を算出することができる。

合成画像を算出する際、経時変化、振動や可動機構の駆動精度など撮影画像の縞パターンの位相に誤差が発生した状態であると、撮影画像内の撮影空間周波数に依存した特定のノイズ空間周波数のノイズが合成画像に重畳され検査性能が悪化してしまう。また、ワークが曲面である場合や設置誤差がある場合、撮影空間周波数、又はノイズ空間周波数の予想が困難であるため、ノイズ成分の検出も困難となる。

そこで、本実施形態に係る外観検査装置１は、このノイズ空間周波数をあらかじめ撮影した画像（基準画像）から決定し、表面性状を評価する合成画像からノイズ空間周波数を抽出し、ノイズ強度を取得することで撮影画像の良否判定を行う。さらに、判定結果に応じてその後の処理を決定する。

図３は、外観検査装置１の検査撮影処理を説明するためのフローチャートである。なお、各工程は、制御部１０４による各部の制御によって実行されうる。最初に、後述するノイズ空間周波数を取得する手法を用いて基準画像のノイズ空間周波数を取得する（Ｓ１）。その後、外観検査を行うためにワークの撮影を開始（Ｓ２）し、位相の異なる縞パターンを照射して、ワークの複数の撮影画像を取得する（Ｓ３）。取得した複数の撮影画像を処理してワークの表面に関する情報を含む合成画像（振幅画像、位相差画像、平均画像など）を生成する（Ｓ４）。そして、表面性状検査に使用する合成画像からノイズ空間周波数の成分を抽出し、ノイズ成分の強度を取得する。（Ｓ５）。次に、この取得されたノイズ成分の強度とあらかじめ設定した閾値を比較し、閾値を超えたか否かで合成画像に用いられる撮影画像を評価し、撮影画像が正常に使用できるか良否判定を行う（Ｓ６）。ノイズ空間周波数の成分が設定した閾値を超えていなければ、正常に使用できる撮影画像であると判断し（Ｓ６、ＯＫ）、次のワーク撮影へ移行する（Ｓ８）。ノイズ空間周波数の成分が設定した閾値を超えている場合は、正常に使用できない撮影画像であると判断し（Ｓ６、ＮＧ）、エラー処理を行うことで次のワークの撮影を開始する（Ｓ７）。

次に、本実施形態におけるノイズ空間周波数を取得する工程（Ｓ１）について具体的に説明する。図４は、基準画像と合成画像の概略図である。基準画像２０１はあらかじめワーク１１を撮影した画像である。合成画像２０２は、ワーク１１の撮影画像を処理して生成された画像であり、表面性状検査に使用される、例えば振幅画像や位相差画像などである。まず、撮影画像の良否の判断基準となる、ノイズ空間周波数を抽出する確認エリアを選択する。図４に示すように、ワーク１１の部位によって空間周波数に差が出る。ワーク１１の曲面は高周波数となり、平面は曲面に比べ低周波数となる。本実施形態では、高周波数となる局面を確認エリア２０３ａと、確認エリア２０３ａに比べ低周波数となる平面を確認エリア２０３ｂとして、２つの確認エリアを選択している。なお、本実施形態では選択する確認エリアを２つとしているが、さらに多くの確認エリアを選択してもよく、逆に確認エリアを１つだけにしてもよい。確認エリアの位置は装置構造や設置環境の振動条件などで、ワーク１１上で発生するノイズに対して感度をあげてもよい。またノイズ空間周波数を正確に取得するために、選択される確認エリア内は同じような撮影空間周波数の縞からなる画像位置を選択することが望ましい。

それぞれの確認エリア２０３ａおよび確認エリア２０３ｂにおいて、照明部１０１から照射した縞と直行方向に周波数解析を行う。これにより、基準画像内に照射された縞パターン光の空間周波数（撮影空間周波数）を算出し、適応する合成画像の種類に合わせて撮影空間周波数からノイズ空間周波数を決定する。撮影空間周波数を取得する周波数解析にはＦＦＴや確認エリアにおいてノイズ空間周波数が変化している際などはウエブレット解析を用いる。ノイズ空間周波数を決定する際は、振幅画像、位相差画像では撮影空間周波数の２倍の周波数が主要なノイズ空間周波数となり、平均画像では撮影空間周波数と同じ周波数が主要なノイズ空間周波数となる。

本実施形態ではあらかじめ撮影した基準画像からノイズ空間周波数を算出しているが、ワークの配置誤差や形状個体差などによるノイズ空間周波数への影響が大きくなる。どのワークでも同等のノイズ空間周波数であるとみなせない場合は、ワーク毎に撮影した撮影画像を基準画像として用いてノイズ空間周波数を算出してもよい。また、ノイズ空間周波数を決定する際に用いる基準画像は撮影画像に限定されない。例えば、事前にワークの３次元モデル情報とミラー、カメラ、照明といった外観検査装置を構成する部品の光学情報から光学シミュレーションを用いてシミュレーション画像を生成する。生成したシミュレーション画像を外観検査装置１へ取得させて、前述の撮影画像と同様の処理を行うことでノイズ空間周波数を決定してもよい。ここでいう光学情報とは、レンズを含むカメラ１０２、照明部１０１、ワーク１１の相対的な位置関係を示す配置情報と、カメラに取り付けるレンズのＦ値、倍率、ワーキングディスタンスの情報と、照明の縞パターンのピッチ、反射部と透過部のデューティ比、光源の波長の情報である。

次に、合成画像からノイズ空間周波数の成分を抽出する工程（Ｓ５）について説明する。表面性状検査に使用する合成画像２０２において基準画像２０１で選択した確認エリア２０３ａまたは２０３ｂに対応する領域の画像を選択する。選択された画像に対して前述したように縞と直行方向に周波数解析を行う。具体的には、例えば、確認エリア２０３ａを対象とする場合、基準画像２０１の確認エリア２０３ａ（第１局所領域）と、合成画像２０２における確認エリア２０３ａ（第２局所領域）とを比較し、ノイズ成分の強度を取得する。また強度を取得する際は、算出したノイズ空間周波数には多少の解析誤差が含まれる可能性があるため、ノイズ空間周波数付近の空間周波数をまとめて強度として算出してもよい。

最後に撮影画像の良否判定する工程（Ｓ６）および良否判定で閾値を超えた際のエラー処理を行う工程（Ｓ７）について説明をする。撮影画像の良否判定する工程では、それぞれの確認エリアにおいて算出したノイズ成分の強度と予め設定した閾値と比較し、ノイズ成分の強度が閾値を超えているかどうかで撮影画像の良否判定を行う。たとえば確認エリアの欠陥には大きなコントラストがあるため弁別が容易であり、ノイズの影響を受けにくい場合は閾値を高く設定するなど、確認エリアに合わせて複数の閾値を設定してもよい。

良否判定の結果、ノイズ空間周波数の強度が閾値以下であれば、次のワークの撮影を開始する。閾値を超えてしまった場合は、エラー処理を行う。本実施形態ではエラー処理の内容は限定することはなく、たとえばユーザへエラーを表示して外観検査装置を停止させてもよく、再撮影を前提に検査したワークに対して撮影エラーフラグを付けることで、次のワーク撮影へ移行してもよい。また、エラー処理では補正を行ってもよく、たとえば撮影した全画像の縞パターンの位相を解析し、その解析結果をもとに合成画像を生成するアルゴリズムで補正しても良い。その他、照明部１０１を可動部１０３で動かして撮影している場合は、解析した縞パターンの位相誤差から可動部１０３の移動量を算出し、可動部１０３の移動量の指令値へフィードバックしても良い。もしくは、可動部１０３が駆動している状態で画像を取得している場合は、解析結果から画像取得タイミングのずれ量を算出して、カメラ１０２のシャッタタイミングを変更しても良い。

本実施形態の外観検査装置１では、あらかじめ取得した基準画像に基づきノイズ空間周波数を決定し、検査を行う合成画像のノイズ成分の強度を取得し、閾値と比較することで、撮影画像を評価する。これにより、簡易な手法で撮影された縞パターンの位相誤差が許容範囲内であり、正常な撮影ができているかを判断することが可能となる。

＜第２実施形態＞
次に、図５を用いて第２実施形態について説明する。第２実施形態は、ノイズ空間周波数を決定し（Ｓ１）、合成画像からノイズ空間周波数の成分を抽出する（Ｓ５）工程を除いては、外観検査装置１の装置構成を含め、第１実施形態と同様である。本実施形態では、基準画像のために撮影された画像（基準撮影画像）を処理して、基準画像としての合成画像（基準合成画像）生成する。この時、基準撮影画像に事前に外乱を与えることで、図５に示すようなノイズ空間周波数を発生させた基準合成画像（ノイズ合成画像２０４ａおよび２０４ｂ）を生成して、ノイズ空間周波数を決定する方法である。

はじめにノイズ空間周波数を決定する工程（Ｓ１）に使用するノイズ合成画像の生成方法ついて説明を行う。基準撮影画像の撮影時の位相ステップと基準合成画像の生成時の位相ステップに差を外乱として設けることで、ノイズ合成画像を生成することができる。容易な手法の一つは基準撮影画像の撮影時に可動部１０３の制御指令値を変更し、照明部１０１より照射される縞パターン光の位置を理想的な位置からずらす手法である。外乱をｎ枚目の撮影時の位相ずらし量αｎとすると、ｎ枚目の画像の位相は４π・（ｎ-１）／Ｎ＋αｎとなる。よって、この位相から可動部１０３の制御指令値を算出し、基準撮影画像を取得することで、ノイズ合成画像を生成することができる。

ノイズ合成画像を生成する外乱の与え方は限定せず、本実施形態のように基準撮影画像取得時に外乱を与えてもよく、基準合成画像生成時に外乱を与えてもよい。基準撮影画像取得時の外乱は、ワーク１１と照明部１０１の相対位置を変更すればよいため、ワーク１１を移動させてもよい。また基準合成画像生成時では基準撮影画像の縞パターンの位相に対して、異なる位相のアルゴリズムを用いることでノイズ合成画像を生成することができる。また、ノイズ合成画像を実際の撮影画像から生成しているが、第一実施形態で述べたように事前に、ワーク３Ｄ情報や光学配置情報から光学シミュレーションを用いて生成した画像を取得して、同様の処理を行ってもよい。

次にノイズ空間周波数を決定する工程（Ｓ１）について説明を行う。まず前述した手法により初期位相の異なる２種類のノイズ合成画像２０４ａおよび２０４ｂを生成する。1つ目のノイズ合成画像２０４aに対して、２つ目のノイズ合成画像２０４ｂはノイズ空間周波数における縞パターンの初期位相をπ／２ずらしたノイズ合成画像である。２つ目のノイズ合成画像が振幅画像や位相差画像などであり、ノイズ空間周波数が撮影空間周波数の２倍の場合は基準撮影画像取得時の初期位相をπ／４、平均画像などで同じ空間周波数の場合はπ／２ずらすことで生成することができる。さらに生成した合成画像に対してノイズの発生を抑えた合成画像をベース画像として差し引くことで、ノイズ合成画像２０４を生成してもよい。これら２つのノイズ合成画像２０４にはワークの形状に沿ったノイズ空間周波数が含まれており、この２種類の画像に含まれる周波数がノイズ空間周波数となる。本実施形態では、ワークの形状に沿ったノイズ空間周波数を決める手法であるが、生成したノイズ合成画像２０４から第１実施形態のように確認エリア２０３を選択し、ノイズ空間周波数を周波数分析により決定してもよい。

最後に生成した２つのノイズ合成画像を用いてノイズ空間周波数の成分を抽出する工程（Ｓ５）について説明する。２つのノイズ合成画像２０４は初期位相がπ／２ずれていることから、ノイズ空間周波数のＳＩＮ波（正弦波）、ＣＯＳ波（余弦波）として扱うことで、ができる。検査を行う合成画像２０２に縞パターンの直行方向に、ＳＩＮ波、ＣＯＳ波（ノイズ合成画像）を掛け合わせ、抽出した各々の成分の二乗和を算出することで、ノイズ成分の強度を取得する。強度を取得する際、実施形態１で述べたように感度が高いエリアなど検査を行う確認エリア２０３を選択することが望ましい。本実施形態では主要なノイズ空間周波数だけでなく、倍波などのノイズ空間周波数の成分も強度として合わせて算出することができる。

本実施形態の外観検査装置１では、初期位相の異なるノイズ合成画像を事前に生成することでノイズ空間周波数を決定し、検査を行う合成画像からノイズ空間周波数を抽出して合成画像のノイズ成分を閾値と比較することで、撮影画像の良否を判定可能である。これにより、簡易な手法で撮影された縞パターンの位相誤差が許容範囲内であり、正常な撮影ができているかを判断することが可能となる。

（その他の実施形態）
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。

１ 外観検査装置
１０１ 照明部
１０２ カメラ
１０４ 制御部
２０１ 基準画像
２０２ 合成画像

Claims (9)

1. 被検物に縞パターン光を照明する照明部と、
   位相の異なる前記縞パターン光が照明された前記被検物の複数枚の撮影画像を撮影する撮影部と、
   前記複数枚の撮影画像を処理して前記被検物の表面に関する情報を含む合成画像を生成し、前記撮影画像を評価する処理部と、を備え、
   前記撮影画像の評価は、前記撮影画像内の縞パターン光の位相誤差によって前記合成画像に重畳されるノイズ成分の強度を取得し、前記取得したノイズ成分の強度を閾値と比較することにより実行される、ことを特徴とする光学評価装置。
2. 前記処理部は、前記ノイズ成分の強度を取得するための基準となる基準画像の第１局所領域のノイズ成分を取得し、前記合成画像における前記第１局所領域に対応する第２局所領域のノイズ成分と比較することで、前記ノイズ成分の強度を取得する、ことを特徴とする請求項１に記載の光学評価装置。
3. 前記基準画像、前記縞パターン光が照射された前記被検物を撮像した画像である、ことを特徴とする請求項２に記載の光学評価装置。
4. 前記基準画像は、前記被検物の３次元モデル情報と前記光学評価装置の光学配置から光学シミュレーションで算出したシミュレーション画像である、ことを特徴とする請求項２に記載の光学評価装置。
5. 前記基準画像は、前記縞パターン光が照射された前記被検物を撮像した基準撮影画像を処理して生成された基準合成画像であって、
   前記基準合成画像は、前記基準撮影画像の撮影時の位相ステップと前記基準合成画像の生成時の位相ステップとに差を設けて生成される、ことを特徴とする請求項２に記載の光学評価装置。
6. 前記基準画像は、縞パターン光が照射された前記被検物を撮影した基準撮影画像を処理して生成された基準合成画像であって、
   前記基準合成画像は、前記基準撮影画像の縞パターンの位相に対して、異なる位相のアルゴリズムを用いて生成される、ことを特徴とする請求項２に記載の光学評価装置。
7. 前記処理部は、前記合成画像に正弦波および余弦波を掛け合わせ、各々の二乗和を算出することにより、前記ノイズ成分の強度を取得する、ことを特徴とする請求項４乃至６のうちいずれか１項に記載の光学評価装置。
8. 前記撮影部は、前記合成画像に重畳されるノイズ成分の強度が前記閾値を超えた場合、前記被検物の複数枚の撮影画像を再度撮影する、ことを特徴とする請求項１乃至７のうちいずれか１項に記載の光学評価装置。
9. 被検物に縞パターン光を照明する工程と、
   位相の異なる前記縞パターン光が照明された前記被検物の複数枚の撮影画像を撮影する工程と、
   前記複数枚の撮影画像を処理して前記被検物の表面に関する情報を含む合成画像を生成する工程と、を含み、
   前記撮影画像の評価は、前記撮影画像内の縞パターン光の位相誤差によって前記合成画像に重畳されるノイズ成分の強度を取得し、前記取得したノイズ成分の強度を閾値と比較することにより実行される、ことを特徴とする光学評価方法。

Images