JP2009211455A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】一様な照明変化ではなく各スペクトルが変動した場合において、画像の照合が困難であった。
【解決手段】基準画像の各画素と、対象画像の各画素について、２以上の色成分を取得する色成分取得部と、基準画像の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第一の方向符号値群を取得し、かつ、対象画像の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第二の方向符号値群を取得する方向符号値算出部と、色成分ごとの第一の方向符号値群と、色成分ごとの第二の方向符号値群との類似度である第一の類似度を算出し、当該色成分ごとの第一の類似度を用いて、基準画像と対象画像との類似度である第二の類似度を算出する類似度算出部と、第二の類似度を出力する類似度出力部を具備する画像処理装置により、カラー画像の類似度の精度の高い検出が可能となる。
【選択図】図１

Description

本発明は、カラーの基準画像とカラーの対象画像の類似度を算出する画像処理装置等に関するものである。

従来、照明変動にロバストな画像照合として方向符号化照合法（ＯＣＭ）が提案されている。ＯＣＭは、画素ごとの明度情報の傾斜方向を量子化した方向コード画像での照合に基づくものである。

また、検出精度を低下させることなく計算量を低減することができる照合方法に特長をもつ画像処理装置があった（特許文献１参照）。かかる画像処理装置は、テンプレートとなる基準画像データと、照合の対象となる対象画像データ内に複数設定され、前記基準画像データとほぼ同じ大きさを有する対象領域データとを照合し、前記基準画像データと一致する前記対象領域データの位置と、一致するときの前記基準画像データの回転角度とを決定する照合方法に特長をもつ画像処理装置であって、前記基準画像データおよび前記対象領域データを構成する各画素のエッジ方向を表す値である方向符号値に基づいて、前記基準画像データおよび前記対象領域データのそれぞれに含まれる２つの画素の方向符号値の差である方向符号差分値を算出し、算出した方向符号差分値を用いて前記基準画像データと前記対象領域データとの照合を行う方向符号差分値照合手段と、前記基準画像データ、および前記方向符号差分値照合手段による照合結果に対応する対象領域データに対する方向符号値のヒストグラムをそれぞれ作成し、これらのヒストグラムを照合し、前記対象領域データと略一致するときの前記基準画像データの回転角度を算出する方向符号ヒストグラム照合手段と、前記対象領域データ、および算出された回転角度だけ回転させた基準画像データに対する方向符号値を照合する方向符号照合手段と、前記方向符号差分値照合手段、前記方向符号ヒストグラム照合手段および前記方向符号照合手段による照合結果に基づいて前記基準画像データと一致する前記対象領域データの位置と、一致するときの前記基準画像データの回転角度とを決定する決定手段とを含む照合方法に特長をもつ画像処理装置である。
特開２００６−１３３８８４号公報（第１頁、第１図等）

しかしながら、従来の技術では、一様な照明変化ではなく、各スペクトルが変動した場合において、画像の照合が困難であった。

また、従来の画像処理装置においては、モノクロ画像の照合のみを対象としており、カラー画像の照合を行うことができなかった。

したがって、例えば、半導体のウエハ上のマクロ欠陥を検出することが極めて困難であった。具体的には、半導体のウエハ上では、下地色ムラ（グラデーション）や、照明の明度ムラや、スペクトルムラが発生し得るが、従来の画像処理装置は、かかるムラと欠陥との差異を検出することができなかった。

そこで、本発明において、スペクトル変動に対し頑強な画像の照合方法、または欠陥検出方法を実現する画像処理装置等を提供することを目的としている。

本第一の発明の画像処理装置は、比較の元となるカラー画像である基準画像を格納し得る基準画像格納部と、比較の対象となるカラー画像である対象画像を受け付ける対象画像受付部と、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得部と、前記色成分取得部が前記基準画像の全体または一部の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第一の方向符号値群を色成分ごとに取得し、かつ、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第二の方向符号値群を色成分ごとに取得する方向符号値算出部と、前記色成分ごとの第一の方向符号値群と、前記色成分ごとの第二の方向符号値群との類似度である第一の類似度を色成分ごとに算出し、当該色成分ごとの第一の類似度を用いて、前記基準画像の全体または一部と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部との類似度である第二の類似度を算出する類似度算出部と、前記類似度算出部が算出した第二の類似度を出力する類似度出力部を具備する画像処理装置である。

かかる構成により、比較対象の２つのカラー画像について、２以上の色成分ごとの方向符号値群を用いて第一の類似度を算出し、２以上の第一の類似度を用いて、第二の類似度を算出するので、カラー画像の類似度の精度の高い検出が可能となる。

また、本第二の発明の画像処理装置は、第一の発明に対して、前記色成分取得部は、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、３つの色成分を取得する画像処理装置である。

かかる構成により、カラー画像の類似度の、さらに精度の高い検出が可能となる。

また、本第三の発明の画像処理装置は、第二の発明に対して、前記色成分取得部は、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、ＲＧＢの３つの各色成分の値を取得するＲＧＢ取得手段と、前記各画素について、前記ＲＧＢ取得手段が取得したＲＧＢの３つの各色成分の値を用いて、ＸＹＺ表色系の３つの各色成分の値を取得するＸＹＺ取得手段を具備し、前記方向符号値算出部は、前記色成分取得部が取得した各画素のＸＹＺ表色系の３つの色成分ごとに、前記第一の方向符号値群と、前記第二の方向符号値群を算出する画像処理装置である。

かかる構成により、カラー画像の類似度の、さらに精度の高い検出が可能となる。

また、本第四の発明の画像処理装置は、第一の発明に対して、前記基準画像は、正常なカラー画像であり、前記対象画像は、欠陥の有無を判断される対象となるカラー画像であり、欠陥の有無を判断するための閾値を格納している閾値格納部と、前記類似度出力部から第二の類似度を受け付け、当該第二の類似度と閾値を比較して、前記対象画像の欠陥の有無を判断し、判断結果を取得する判断部と、前記判断結果を出力する出力部をさらに具備する画像処理装置である。

かかる構成により、例えば、半導体のウエハにおける欠陥検知が可能となる。特に、マクロ欠陥の検知が精度高く行える。

本発明による画像処理装置によれば、カラー画像の類似度の精度の高い検出が可能となる。

以下、画像処理システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
本実施の形態において、カラーの基準画像とカラーの対象画像から２以上の成分を抽出し、画像の全体または、対応する一部の画素ごとに方向符号値を算出し、画像の全体または、対応する一部の類似度を算出する画像処理システムについて説明する。また、類似度を用いて、欠陥の検出を行う画像処理システムについて説明する。また、本実施の形態において、特に、ＸＹＺ表色系の色成分を用いて類似度を算出する画像処理システムについて説明する。なお、欠陥検出とは、例えば、半導体のウエハの欠陥の検出である。

なお、本発明において、類似度とは、類似の度合いであるが、その逆である相違の度合いを示す相違度の概念も含まれる、と考える。つまり、類似度の算出は、相違度の算出と同意義である、と考える。

図１は、本実施の形態における画像処理システムのブロック図である。画像処理システムは、画像処理装置１、撮影装置２、表示装置３を具備する。ここでは、画像処理装置１は、撮影装置２で撮影されたカラー画像である対象画像を処理する場合について説明するが、画像処理装置１は、図示しない手段により取得され、画像処理装置１に渡された対象画像を処理しても良い。

画像処理装置１は、基準画像格納部１１、対象画像受付部１２、色成分取得部１３、方向符号値算出部１４、類似度算出部１５、類似度出力部１６、閾値格納部１７、判断部１８、出力部１９を具備する。色成分取得部１３は、ＲＧＢ取得手段１３１、ＸＹＺ取得手段１３２を具備する。

撮影装置２は、ＣＣＤ（電荷結合素子）カメラ２１、Ａ／Ｄ（アナログ／デジタル）変換器２２、カメラコントローラ２３、Ｄ／Ａ変換器２４およびフレームメモリ２５を具備する。なお、撮影装置２は、画像を取得できれば良く、いわゆるスキャナなどでも良い。

表示装置３は、画像処理装置１で取得された判断結果や、撮影装置２で撮影されたカラー画像などを出力する。表示装置３は、例えば、ＬＣＤディスプレイやＣＲＴディスプレイなどで実現される。

基準画像格納部１１は、比較の元となるカラー画像である基準画像を格納し得る。基準画像とは、例えば、欠陥を検知する場合の、正常なカラー画像である。基準画像格納部１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。基準画像格納部１１に基準画像が記憶される過程は問わない。例えば、撮影装置２により撮影された基準画像が基準画像格納部１１で記憶されるようになってもよく、記録媒体を介して基準画像が基準画像格納部１１で記憶されるようになってもよく、通信回線等を介して送信された基準画像が基準画像格納部１１で記憶されるようになってもよく、あるいは、入力デバイス（スキャナを含む）を介して入力された基準画像が基準画像格納部１１で記憶されるようになってもよい。

対象画像受付部１２は、比較の対象となるカラー画像である対象画像を受け付ける。対象画像受付部１２は、例えば、撮影装置２から対象画像を受け付ける。ただし、対象画像を受け付ける手段は、記憶媒体からの読み出しや、外部装置からの受信等でも良い。対象画像受付部１２は、例えば、ＭＰＵやメモリ等から実現され得る。対象画像受付部１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

色成分取得部１３は、基準画像の全体または一部の各画素に対する、２以上の色成分を取得する。また、色成分取得部１３は、対象画像の全体または対象画像の一部の各画素に対する、２以上の色成分を取得する。また、色成分取得部１３は、基準画像の全体または一部の各画素と、対象画像の全体または基準画像の一部に対応する対象画像の一部の各画素について、３つの色成分を取得することは好適である。また、ここで、「基準画像の一部」とは、例えば、基準画像の５×５、１１×１１などの画素の集合の領域である。また、「対象画像の一部」とは、基準画像の一部に対応する対象画像の一部であり、基準画像の一部の領域と比較される領域である。また、基準画像の全体と対象画像の全体は、略同一のサイズであることが好適である。また、対象画像の一部と、基準画像の一部は、略同一のサイズであることが好適である。また、色成分とは、ＸＹＺ表色系のＸＹＺの各色成分のうちの２つ、または３つや、後述するｘｙｚ表色系のｘｙｚの各色成分のうちの２つ、または３つが好適であるが、ＲＧＢそのまま、他の変換系であるＹＣｂＣｒや、ＹＵＶや、ＣＹＭＫや、ＨＬＳなどの色成分のうちの２以上でも良いである。色成分を２つ用いる場合、上記した色成分のうちの２つ（例えば、ＸＹＺ表色系のＸ値とＹ値のみ、ｘｙＹ表色系のｘｙ値など）である。色成分取得部１３は、通常、ＭＰＵやメモリ等から実現され得る。色成分取得部１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

ＲＧＢ取得手段１３１は、基準画像の全体または一部の各画素と、対象画像の全体または基準画像の一部に対応する対象画像の一部の各画素について、ＲＧＢの３つの各色成分の値を取得する。各画素からＲＧＢの３つの各色成分の値を取得する技術は公知技術である。ＲＧＢ取得手段１３１は、通常、ＭＰＵやメモリ等から実現され得る。ＲＧＢ取得手段１３１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

ＸＹＺ取得手段１３２は、各画素について、ＲＧＢ取得手段１３１が取得したＲＧＢの３つの各色成分の値を用いて、ＸＹＺ表色系の３つの各色成分の値を取得する。ＸＹＺ取得手段１３２は、以下の数式１の情報を、自身の記憶媒体に格納しており、数式１の情報を読み出し、数式１に、ＲＧＢ取得手段１３１が取得したＲＧＢの３つの各色成分の値を代入し、演算し、ＸＹＺ表色系の３つの各色成分の値を取得する。なお、基準画像および対象画像がＰＣ取り込みの画像である場合、ＸＹＺ取得手段１３２は、数式２を用いて、ＸＹＺ表色系の３つの各色成分の値を取得する。ＰＣ取り込みのＲＧＢは、ＣＩＥ表色のＲＧＢに対応させるために２。２乗している。なお、ＸＹＺ表色系は、ＣＩＥＲＧＢ表色系をベースとし、すべての度数を正の値で表せるよう座標軸を適当に変換したものである。ＸＹＺ表色系は、基準となる軸には現実には存在しない仮想的な色の光（三刺激色と呼ばれる）を用いている。

ＸＹＺ取得手段１３２は、通常、ＭＰＵやメモリ等から実現され得る。ＸＹＺ取得手段１３２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

方向符号値算出部１４は、基準画像の全体または一部の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第一の方向符号値群を色成分ごとに取得する。また、方向符号値算出部１４は、対象画像の全体または基準画像の一部に対応する対象画像の一部の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第二の方向符号値群を色成分ごとに取得する。また、方向符号値算出部１４は、色成分取得部１３が取得した各画素のＸＹＺ表色系の３つの色成分ごとに、第一の方向符号値群と、第二の方向符号値群を算出することは好適である。

方向符号値算出部１４は、例えば、各画素に対してSobel演算子などで求めた勾配計算を行い、２次元ベクトル値として色成分の変化情報を得る。なお、ここで用いるのは、Sobel演算子以外のRoberts演算子、Prewitt演算子などの微分演算子を用いても良い。

さらに、具体的には、方向符号値算出部１４は、各画素の色成分ごとに、以下の数式３から数式６を適用し、方向符号値を算出する。まず、方向符号値算出部１４は、画素（ｐ、ｑ）における、色成分取得部１３が取得した、ある色成分の値をＩ（ｐ、ｑ）から、数式３を用いて水平方向勾配（▽Ｉｐ）を、数式４を用いて垂直方向勾配（▽Ｉｑ）を算出する。次に、方向符号値算出部１４は、水平方向勾配（▽Ｉｐ）および垂直方向勾配（▽Ｉｑ）を、数式５に代入し、色成分の勾配方向（θｐｑ）を算出し、メモリ上に配置する。

次に、方向符号値算出部１４は、勾配方向（θｐｑ）と、量子化幅（△_θ）を、数式６に代入し、方向符号値（Ｃｐｑ）を算出する。なお、数式６において、Γは雑音、つまり勾配が小さい画素を除去するための閾値であり、方向符号値算出部１４が予め、自身の記憶媒体に保持している。数式６において、水平、垂直各方向の絶対値の和が閾値Γより大きい場合のみ、０〜Ｎ−１に符号化し、これを有効符号とする。閾値に満たない場合は、２π／△_θに符号化し、これを無効符号とする。例えば、符号値は、０〜１５（△_θ＝π／８）の１６方向とする（図２参照）。なお、ここでは、例えば、Ｎは「１６」である。

方向符号値算出部１４は、通常、ＭＰＵやメモリ等から実現され得る。方向符号値算出部１４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

類似度算出部１５は、色成分ごとの第一の方向符号値群と、色成分ごとの第二の方向符号値群との類似度である第一の類似度を、色成分ごとに算出する。そして、類似度算出部１５は、色成分ごとの第一の類似度を用いて、基準画像の全体と、対象画像の全体との類似度である第二の類似度を算出する。または、類似度算出部１５は、色成分ごとの第一の類似度を用いて、基準画像の一部と、当該基準画像の一部に対応する対象画像の一部との類似度である第二の類似度を算出する。なお、上述したように、第一の類似度、第二の類似度における類似度とは、２つの情報が似ている度合いであり、２つの情報が異なる度合いである相違度も含める趣旨である。相違度は、類似度の裏返しの概念であるからである。

具体的には、類似度算出部１５は、例えば、以下の数式７から数式１１を適用し、基準画像と対象画像の照合を行い、第二の類似度を算出する。つまり、まず、類似度算出部１５は、基準画像ｆのサイズ（例えば、「Ｍ×Ｍ」である、とする）を取得し、色成分ごとに、基準画像ｆの各画素の方向符号ｃ_ｆ、対象画像ｇの各画素の方向符号ｃ_ｇを比較する。つまり、類似度算出部１５は、色成分ごとに、以下の数式７、数式８に、方向符号値算出部１４が算出した方向符号ｃ_ｆ、方向符号ｃ_ｇ、および基準画像ｆのサイズを構成する値「Ｍ」を代入し、平均残差絶対値（Ｄバー）を得る。なお、平均残差絶対値（Ｄバー）は、残差絶対値Ｄの和を画素数で割った値である。なお、数式７は、方向符号が巡回的であることを考慮している。

なお、数式８において、基準画像が無効符号である画素における残差絶対値を０としているが、かかることにより、対象画像の背景に対するロバスト性が高まる。さらに、数式８において、対象画像が無効符号である場合は、残差絶対値の期待値から定めたN／４とすることで、単調な遮蔽に対応することができる。

次に、類似度算出部１５は、数式９を用いて、色成分ごとに、平均残差絶対値（Ｄバー）を残差絶対値の最大値N／２で割り正規化し、相違度（ｈ）を得る。正規化することにより、量子化幅が異なる場合においてもほぼ同様に比較することができる。

次に、類似度算出部１５は、相違度（ｈ）を、数式１０に代入し、第一の類似度（ｓ）を得て、メモリ上に第一の類似度（ｓ）を配置する。

類似度算出部１５は、かかる第一の類似度（ｓ）を、２以上の色成分ごとに算出する。なお、類似度算出部１５は、かかる第一の類似度（ｓ）を、３つの色成分ごとに算出することは好適である。そして、例えば、類似度算出部１５は、ＸＹＺ表色系の色成分（Ｘ）の第一の類似度（ｓ_ｘ）、色成分（Ｙ）の第一の類似度（ｓ_ｙ）、色成分（Ｚ）の第一の類似度（ｓ_ｚ）を算出できた、とする。

次に、類似度算出部１５は、算出した第一の類似度（ｓ_ｘ）、（ｓ_ｙ）、（ｓ_ｚ）を、例えば、数式１１に代入し、第二の類似度（ｓ_ｘｙｚ）を得る。なお、数式１１において、第一の類似度（ｓ_ｘ）、（ｓ_ｙ）、（ｓ_ｚ）の和を第二の類似度としているが、第一の類似度（ｓ_ｘ）、（ｓ_ｙ）、（ｓ_ｚ）に重み付けを行い、第二の類似度を算出しても良いし、その他の演算式で第二の類似度を算出しても良い。

類似度算出部１５は、通常、ＭＰＵやメモリ等から実現され得る。類似度算出部１５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

類似度出力部１６は、類似度算出部１５が算出した第二の類似度を出力する。出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。類似度出力部１６は、例えば、単に、第二の類似度を判断部１８に渡すだけの処理を行っても良い。類似度出力部１６は、例えば、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

閾値格納部１７は、欠陥の有無を判断するための閾値（例えば、「０．８」）を格納している。閾値は、第二の類似度と比較するための値である。閾値格納部１７は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。閾値格納部１７に閾値が記憶される過程は問わない。例えば、記録媒体を介して閾値が閾値格納部１７で記憶されるようになってもよく、通信回線等を介して送信された閾値が閾値格納部１７で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された閾値が閾値格納部１７で記憶されるようになってもよい。

判断部１８は、類似度出力部１６から第二の類似度を受け付け、当該第二の類似度と、閾値格納部１７の閾値を比較して、対象画像の欠陥の有無を判断し、判断結果を取得する。判断部１８は、例えば、第二の類似度が閾値よりも小さい場合に、「欠陥有り」と判断し、第二の類似度が閾値以上の場合に、「欠陥無し」と判断し、判断結果（欠陥有り「０」、欠陥無し「１」など）を得て、メモリ上に配置する。判断部１８は、通常、ＭＰＵやメモリ等から実現され得る。判断部１８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力部１９は、判断部１８が取得した判断結果を出力する。ここで、出力とは、ディスプレイ（表示装置３）への表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。出力部１９は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１９は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

撮影装置２において、ＣＣＤカメラ２１が、被写体、上記の実施形態では基準面および部品を撮像し、受光量をアナログ画像信号として出力する。Ａ／Ｄ変換器２２は、ＣＣＤカメラ２１から出力されたアナログ画像信号をデジタルデータに変換し、デジタル画像データとして出力する。カメラコントローラ２３は、デジタル画像データを１フレームごとにフレームメモリ２５に格納するとともに、表示装置３に表示させるために、Ｄ／Ａ変換器２４に出力する。Ｄ／Ａ変換器２４は、カメラコントローラ２３から出力されたデジタル画像データを表示装置３に応じたアナログ画像信号に変換して表示装置３に出力する。

次に、画像処理装置１の動作について図３のフローチャートを用いて説明する。画像処理装置１は、例えば、撮影装置２で撮影した対象画像を、以下のように処理する。

（ステップＳ３０１）対象画像受付部１２は、比較の対象となるカラー画像である対象画像を受け付けたか否かを判断する。対象画像を受け付ければステップＳ３０２に行き、対象画像を受け付けなければステップＳ３０１に戻る。

（ステップＳ３０２）色成分取得部１３は、基準画像格納部１１から基準画像を読み出し、メモリ上に配置する。

（ステップＳ３０３）色成分取得部１３は、カウンタｉに１を代入する。

（ステップＳ３０４）色成分取得部１３は、比較の対象となる対象画像、または比較対象の基準画像に、ｉ番目の画素が存在するか否かを判断する。ｉ番目の画素が存在すればステップＳ３０５に行き、ｉ番目の画素が存在しなければステップＳ３０９に行く。なお、後述する処理（ＲＧＢの値の取得などの処理）を行う画素の順序は、問わない。

（ステップＳ３０５）色成分取得部１３のＲＧＢ取得手段１３１は、ｉ番目の画素のＲＧＢの値を取得し、メモリ上に配置する。

（ステップＳ３０６）ＸＹＺ取得手段１３２は、数式１または数式２の情報を読み出し、当該読み出した数式に、ステップＳ３０５で取得したＲＧＢの値を代入して、ＸＹＺ表色系の各成分の値を取得し、メモリ上に配置する。

（ステップＳ３０７）方向符号値算出部１４は、基準画像および対象画像のｉ番目の画素について、ＸＹＺ表色系の成分ごとに、方向符号値を算出し、メモリ上に追記する。なお、方向符号値算出部１４は、数式３から数式６の情報を読み出し、当該読み出した数式に、上記で説明した通り、ステップＳ３０６で取得した値を代入等し、方向符号値を算出する。また、基準画像の成分ごとの方向符号値の集合を第一の方向符号値群と言う。さらに、対象画像の成分ごとの方向符号値の集合を第二の方向符号値群と言う。

（ステップＳ３０．８）色成分取得部１３は、カウンタｉを、１インクリメントする。ステップＳ３０４に戻る。

（ステップＳ３０９）類似度算出部１５は、カウンタｊに１を代入する。

（ステップＳ３１０）類似度算出部１５は、ｊ番目の色成分が存在するか否かを判断する。ｊ番目の色成分が存在すればステップＳ３１１に行き、ｊ番目の色成分が存在しなければステップＳ３１４に行く。

（ステップＳ３１１）類似度算出部１５は、ｊ番目の色成分の第一の方向符号値群と、ｊ番目の色成分の第二の方向符号値群を読み出す。

（ステップＳ３１２）類似度算出部１５は、ステップＳ３１１で読み出した第一の方向符号値群と第二の方向符号値群を用いて、ｊ番目の色成分の類似度（第一の類似度）を算出する。具体的には、類似度算出部１５は、例えば、上述したように、数式７から数式１０の情報を読み出し、第一の方向符号値群と第二の方向符号値群の情報を、数式７等に適用し、第一の類似度を算出する。

（ステップＳ３１３）類似度算出部１５は、カウンタｊを、１インクリメントする。ステップＳ３１０に戻る。

（ステップＳ３１４）類似度算出部１５は、ステップＳ３１２で算出された、２以上の第一の類似度を取得し、当該２以上の第一の類似度を用いて、第二の類似度を算出する。そして、類似度出力部１６は、類似度算出部１５が算出した第二の類似度をメモリ上に配置する。具体的には、類似度算出部１５は、例えば、上述したように、数式１１の情報を読み出し、３つの第一の類似度（（ｓ_ｘ）、（ｓ_ｙ）、（ｓ_ｚ））を数式１１に代入し、第二の類似度を算出する。

（ステップＳ３１５）判断部１８は、閾値格納部１７の閾値を読み出す。そして、判断部１８は、当該閾値と、ステップＳ３１４でメモリ上に配置された第二の類似度とを比較して、例えば、「第二の類似度＞閾値」を満たすか否かを判断する。「第二の類似度＞閾値」を満たせばステップＳ３１６に行き、「第二の類似度＞閾値」を満たさなければステップＳ３１７に行く。

（ステップＳ３１６）判断部１８は、判断結果に「欠陥無し（例えば、「１」）を代入する。

（ステップＳ３１７）判断部１８は、判断結果に「欠陥有り（例えば、「０」）を代入する。

（ステップＳ３１８）出力部１９は、判断部１８が取得した判断結果を出力する。

なお、図３のフローチャートにおいて、欠陥の有無の判断（ステップＳ３１０）以降の処理が存在せずに、第二の類似度を出力して、欠陥の有無の判断は、人手で行うなどしても良い。

また、図３のフローチャートにおいて、ステップＳ３１８における判断結果の出力は、文字列、画像、音声等、いかなる出力態様でも良い。

また、図３のフローチャートにおいて、比較対象の基準画像と対象画像を取得する前処理を含んでも良い、ことは言うまでもない。また、図３のフローチャートにおいて、比較対象の基準画像の一部に対応する対象画像の一部を取得する前処理を含んでも良い、ことは言うまでもない。

さらに、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以下、本実施の形態における画像処理装置１の具体的な動作等について、詳細に説明する。

まず、撮影装置２が取得した対象画像からＸＹＺ値を得る方法の例について説明する。まず、種類の色域を持つ撮影装置２の出力ｖは、可視領域の光の波長４００ｎｍ〜７００ｎｍを１０ｎｍずつ３１分割した場合、以下の数式１２の行列演算式で決定される。

ただし、ｏは、対象物表面（たとえば、検査対象の半導体ウエハの表面）の反射率である。また、Ｆは、照明光の放射エネルギー、撮影装置２の光学系の透過率、カラーフィルターの透過率およびＣＣＤ等の光センサー感度で決まる分光積である。

また、カラーバンドを３種ＲＧＢとした場合、ｖ_Ｒ、ｖ_Ｇ、ｖ_Ｂは数式１３のように算出される。

また、数式１よりＸＹＺ表色系への変換は線形なので、Ｘ、Ｙ、Ｚは、数式１４により算出される。

以上のように、色成分取得部１３は、例えば、ＸＹＺ値を取得し、メモリ上に配置する。

次に、上述したように、画像処理装置１は、ＸＹＺ表色系変換後の各色情報値に対して方向符号照合を行う。画像処理装置１では、本来、明度値Ｙだけに適応していたＯＣを、色情報ＸＹＺを用いることによって、色の情報に起因する欠陥検出の精度や再現性がロバストに確保される。Ｘ色およびＹ色・Ｚ色画像は画素ごとの方向符号値および照合評価は、関心画素を中心とした近傍の色配置状態を評価することになる。画像処理装置１では、例えば、この色配置状態を方向符号の分布のみで評価する方式をとる。つまり、画像処理装置１は、基準画像および対象画像のＸ表色系に対してＯＣＭを行い、類似度ｓ_Ｘを算出、同じく基準画像および対象画像のＹ表色系の相違度ｓ_Ｙ、Ｚ表色系の相違度ｓ_Ｚを算出する。そして、画像処理装置１は、例えば、数式１１を用いてｓ_ＸＹＺを算出し、当該ｓ_ＸＹＺの数値にて評価を行う。

次に、画像処理装置１の、照明の各スペクトル変動に対するロバスト性についての検証結果について説明する。

一様な照明状況下での各情報を（Ｘ_１，Ｙ_１，Ｚ_１）とし、照明スペクトル変動後の情報を（Ｘ_２，Ｙ_２，Ｚ_２）と考える。一様な照明状況下から照明スペクトル変動後の各Ｘ、Ｙ、Ｚ表色のスペクトルがそれぞれα倍、β倍、γ倍されているとする。かかる場合、数式１４より、変動後の各色情報は、下記の数式１５で表すことが出来る。

また、α、β、γは画素近傍領域においては一定と考えることができ、下記の数式１６が成り立つ。

上述された色情報勾配値を、ここではＸについて考える。一様な照明状況下での対象物の画素（ｐ、ｑ）におけるＸ情報値をＸ_１（ｐ、ｑ）とし、水平方向勾配を数式１７、垂直方向勾配を数式１８とする。同じく照明スペクトル変動後の画素のＸ情報値Ｘ２（ｐ、ｑ）に対し、水平方向勾配を数式１９、垂直方向勾配を数式２０とする。すると、数式１５、数式１６より、下記数式２１、数式２２が導かれる。

そして、照明一様下のＸ表色系の勾配方向θ_Ｘ１ｐｑと照明スペクトル変動下のＸ表色系の勾配方向θ_Ｘ２ｐｑとしたとき、数式２１、数式２２より、数式２３、数式２４のように表すことができる。

以上より、「θ_Ｘ１ｐｑ＝θ_{Ｘ２ｐｑ」}」が成り立つ。

上記式はＹ表色系、Ｚ表色系についても同等の結論であり、照明スペクトルがばらついている状況下においてもスペクトルが一様な照明下の勾配演算と等しくなることが分かる。つまり、以上により、画像処理システムを用いて、画像の欠陥検出等を行う場合に、照明のスペクトル変化などにロバストであることが検証できた。

以下、画像処理装置１の性能についての実験結果について説明する。

基準画像よりテンプレート（ｐ、ｑ）を中心に１１×１１画素を切り出し、対象画像を探索する。この照合は１画素ずつ対象画像全体を照合する。探索後、類似度ｓ_ＸＹＺが最小位置にて、類似度が０．８以上で且つ、探索位置のズレが＋−１画素以下の場所を正解位置とし、座標（ｐ、ｑ）にプロットする。この探索を基準画像側の全画素において行い、プロット後の画像を出力した。（図４参照）。

基準画像を図５（ａ）とし、対象画像を図５（ｂ）、図５（ｃ）としそれぞれに対して実験を行う。つまり、上述した処理により、画像処理装置１が処理した結果を図６に示す。図６のようにエッジに特徴のない場所は照合位置を見失っているが、特徴がある範囲において、色スペクトルが変動中にもエッジの方向性は安定して照合されることが分かる。
（頂いた論文に記載されている実験結果を用いて、本願の効果を訴求しようとしています。不十分な説明箇所があれば、補充をお願いします。）

以上、本実施の形態によれば、カラー画像の類似度の精度の高い検出が可能となる。また、本実施の形態によれば、画像改善手法のような補正が必要なく（これは、正しいでしょうか）、一般的なカメラ画像での照明変動下での照合を行うことが可能である。

なお、本実施の形態によれば、類似度を算出した。しかし。類似度は、相違度を含む概念として捕らえても良い。

また、本実施の形態によれば、色成分として、主として、ＸＹＺ表色系を用いた。しかし、上述したように、色成分取得部１３は、ＸＹＺ値を用いて、ｘｙＹ表色系に変換し、ｘｙＹ値のうち、例えば、ｘｙ値（色度情報）のみ、またはｘｙ値（色度情報）とＹ値（明度情報）を用いても良い。ｘｙ値（色度情報）のみを用いる場合、表色系は、加色のみの２次元でまとめることができ、計算が容易、高速になり、好適である。なお、「ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ），ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ），ｚ＝Ｚ／（Ｘ＋Ｙ＋Ｚ）」により、算出され得る。

さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、比較の対象となるカラー画像である対象画像を受け付ける対象画像受付部と、比較の元となるカラー画像である基準画像を記憶媒体から読み出し、当該基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得部と、前記色成分取得部が取得した各画素の色成分ごとに、方向符号値を算出する方向符号値算出部と、前記方向符号値算出部が算出した１以上の方向符号値の集合であり、前記基準画像の全体または一部の各画素に対する１以上の方向符号値の集合と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素に対する１以上の方向符号値の集合との類似度を算出する類似度算出部と、前記類似度算出部が算出した類似度を出力する類似度出力部として機能させるためのプログラム、である。

また、上記プログラムにおいて、前記色成分取得部は、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、３つの色成分を取得するものとして、コンピュータを機能させることは好適である。

また、上記プログラムにおいて、前記色成分取得部は、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、ＲＧＢの３つの各色成分の値を取得するＲＧＢ取得手段と、前記各画素について、前記ＲＧＢ取得手段が取得したＲＧＢの３つの各色成分の値を用いて、ＸＹＺ表色系の３つの各色成分の値を取得するＸＹＺ取得手段を具備し、前記方向符号値算出部は、前記色成分取得部が取得した各画素のＸＹＺ表色系の３つの色成分ごとに、方向符号値を算出するものとして、コンピュータを機能させることは好適である。

また、上記プログラムにおいて、前記基準画像は、正常なカラー画像であり、前記対象画像は、欠陥の有無を判断される対象となるカラー画像であり、前記類似度出力部から類似度を受け付け、欠陥の有無を判断するための閾値と当該類似度とを比較して、前記対象画像の欠陥の有無を判断し、判断結果を取得する判断部と、前記判断結果を出力する出力部として、コンピュータをさらに機能させることは好適である。

また、図７は、本明細書で述べたプログラムを実行して、上述した実施の形態の画像処理装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図７は、このコンピュータシステム３４０の概観図であり、図８は、コンピュータシステム３４０のブロック図である。

図７において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。

図８において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５と、ＭＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

コンピュータシステム３４０に、上述した実施の形態の画像処理装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ３４１に、上述した実施の形態の画像処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。

なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる画像処理装置は、カラー画像の類似度の精度の高い検出が可能となる、という効果を有し、半導体ウエハの欠陥検査装置等として有用である。

実施の形態１における画像処理システムのブロック図 同１６方向符号を示す図 同画像処理装置の動作について説明するフローチャート 同画像の出力例を示す図 同実験対象の画像を示す図 同画像処理装置の処理結果を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図

符号の説明

１ 画像処理装置
２ 撮影装置
３ 表示装置
１１ 基準画像格納部
１２ 対象画像受付部
１３ 色成分取得部
１４ 方向符号値算出部
１５ 類似度算出部
１６ 類似度出力部
１７ 閾値格納部
１８ 判断部
１９ 出力部
２１ カメラ
２２ 変換器
２２ Ｄ変換器
２３ カメラコントローラ
２３ 下記数式
２４ Ａ変換器
２５ フレームメモリ
１３１ ＲＧＢ取得手段
１３２ ＸＹＺ取得手段

Claims (6)

1. 比較の元となるカラー画像である基準画像を格納し得る基準画像格納部と、
   比較の対象となるカラー画像である対象画像を受け付ける対象画像受付部と、
   前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得部と、
   前記色成分取得部が取得した各画素の色成分ごとに、方向符号値を算出する方向符号値算出部と、
   前記方向符号値算出部が算出した１以上の方向符号値の集合であり、前記基準画像の全体または一部の各画素に対する１以上の方向符号値の集合と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素に対する１以上の方向符号値の集合との類似度を算出する類似度算出部と、
   前記類似度算出部が算出した類似度を出力する類似度出力部を具備する画像処理装置。
2. 前記色成分取得部は、
   前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、３つの色成分を取得する請求項１記載の画像処理装置。
3. 前記色成分取得部は、
   前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、ＲＧＢの３つの各色成分の値を取得するＲＧＢ取得手段と、
   前記各画素について、前記ＲＧＢ取得手段が取得したＲＧＢの３つの各色成分の値を用いて、ＸＹＺ表色系の３つの各色成分の値を取得するＸＹＺ取得手段を具備し、
   前記方向符号値算出部は、
   前記色成分取得部が取得した各画素のＸＹＺ表色系の３つの各色成分ごとに、方向符号値を算出する請求項２記載の画像処理装置。
4. 前記基準画像は、正常なカラー画像であり、
   前記対象画像は、欠陥の有無を判断される対象となるカラー画像であり、
   欠陥の有無を判断するための閾値を格納している閾値格納部と、
   前記類似度出力部から類似度を受け付け、当該類似度と閾値を比較して、前記対象画像の欠陥の有無を判断し、判断結果を取得する判断部と、
   前記判断結果を出力する出力部をさらに具備する請求項１記載の画像処理装置。
5. 対象画像受付部、色成分取得部、方向符号値算出部、類似度算出部、類似度出力部を用いて実現される画像処理方法であって、
   前記対象画像受付部により、比較の対象となるカラー画像である対象画像を受け付ける対象画像受付ステップと、
   前記色成分取得部により、比較の元となるカラー画像である基準画像を記憶媒体から読み出し、当該基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得ステップと、
   前記方向符号値算出部により、前記色成分取得ステップで取得された各画素の色成分ごとに、方向符号値を算出する方向符号値算出ステップと、
   前記類似度算出部により、前記方向符号値算出ステップで算出された１以上の方向符号値の集合であり、前記基準画像の全体または一部の各画素に対する１以上の方向符号値の集合と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素に対する１以上の方向符号値の集合との類似度を算出する類似度算出ステップと、
   前記類似度出力部により、前記類似度算出ステップで算出された類似度を出力する類似度出力ステップを具備する画像処理方法。
6. コンピュータを、
   比較の対象となるカラー画像である対象画像を受け付ける対象画像受付部と、
   比較の元となるカラー画像である基準画像を記憶媒体から読み出し、当該基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得部と、
   前記色成分取得部が取得した各画素の色成分ごとに、方向符号値を算出する方向符号値算出部と、
   前記方向符号値算出部が算出した１以上の方向符号値の集合であり、前記基準画像の全体または一部の各画素に対する１以上の方向符号値の集合と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素に対する１以上の方向符号値の集合との類似度を算出する類似度算出部と、
   前記類似度算出部が算出した類似度を出力する類似度出力部として機能させるためのプログラム。