JP2009211455A - Image processor, image processing method and program - Google Patents
Image processor, image processing method and program Download PDFInfo
- Publication number
- JP2009211455A JP2009211455A JP2008054324A JP2008054324A JP2009211455A JP 2009211455 A JP2009211455 A JP 2009211455A JP 2008054324 A JP2008054324 A JP 2008054324A JP 2008054324 A JP2008054324 A JP 2008054324A JP 2009211455 A JP2009211455 A JP 2009211455A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- color
- pixel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、カラーの基準画像とカラーの対象画像の類似度を算出する画像処理装置等に関するものである。 The present invention relates to an image processing apparatus for calculating the similarity between a color reference image and a color target image.
従来、照明変動にロバストな画像照合として方向符号化照合法（ＯＣＭ）が提案されている。ＯＣＭは、画素ごとの明度情報の傾斜方向を量子化した方向コード画像での照合に基づくものである。 Conventionally, a direction coding collation method (OCM) has been proposed as an image collation robust to illumination variations. OCM is based on collation with a direction code image obtained by quantizing the inclination direction of brightness information for each pixel.
また、検出精度を低下させることなく計算量を低減することができる照合方法に特長をもつ画像処理装置があった（特許文献１参照）。かかる画像処理装置は、テンプレートとなる基準画像データと、照合の対象となる対象画像データ内に複数設定され、前記基準画像データとほぼ同じ大きさを有する対象領域データとを照合し、前記基準画像データと一致する前記対象領域データの位置と、一致するときの前記基準画像データの回転角度とを決定する照合方法に特長をもつ画像処理装置であって、前記基準画像データおよび前記対象領域データを構成する各画素のエッジ方向を表す値である方向符号値に基づいて、前記基準画像データおよび前記対象領域データのそれぞれに含まれる２つの画素の方向符号値の差である方向符号差分値を算出し、算出した方向符号差分値を用いて前記基準画像データと前記対象領域データとの照合を行う方向符号差分値照合手段と、前記基準画像データ、および前記方向符号差分値照合手段による照合結果に対応する対象領域データに対する方向符号値のヒストグラムをそれぞれ作成し、これらのヒストグラムを照合し、前記対象領域データと略一致するときの前記基準画像データの回転角度を算出する方向符号ヒストグラム照合手段と、前記対象領域データ、および算出された回転角度だけ回転させた基準画像データに対する方向符号値を照合する方向符号照合手段と、前記方向符号差分値照合手段、前記方向符号ヒストグラム照合手段および前記方向符号照合手段による照合結果に基づいて前記基準画像データと一致する前記対象領域データの位置と、一致するときの前記基準画像データの回転角度とを決定する決定手段とを含む照合方法に特長をもつ画像処理装置である。
しかしながら、従来の技術では、一様な照明変化ではなく、各スペクトルが変動した場合において、画像の照合が困難であった。 However, in the conventional technique, it is difficult to collate images when each spectrum fluctuates instead of uniform illumination change.
また、従来の画像処理装置においては、モノクロ画像の照合のみを対象としており、カラー画像の照合を行うことができなかった。 Further, in the conventional image processing apparatus, only a monochrome image collation is targeted, and a color image collation cannot be performed.
したがって、例えば、半導体のウエハ上のマクロ欠陥を検出することが極めて困難であった。具体的には、半導体のウエハ上では、下地色ムラ（グラデーション）や、照明の明度ムラや、スペクトルムラが発生し得るが、従来の画像処理装置は、かかるムラと欠陥との差異を検出することができなかった。 Therefore, for example, it has been extremely difficult to detect a macro defect on a semiconductor wafer. Specifically, on a semiconductor wafer, background color unevenness (gradation), illumination brightness unevenness, and spectral unevenness may occur, but a conventional image processing apparatus detects a difference between such unevenness and a defect. I couldn't.
そこで、本発明において、スペクトル変動に対し頑強な画像の照合方法、または欠陥検出方法を実現する画像処理装置等を提供することを目的としている。 Accordingly, an object of the present invention is to provide an image processing apparatus or the like that realizes an image matching method or a defect detection method that is robust against spectral fluctuations.
本第一の発明の画像処理装置は、比較の元となるカラー画像である基準画像を格納し得る基準画像格納部と、比較の対象となるカラー画像である対象画像を受け付ける対象画像受付部と、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得部と、前記色成分取得部が前記基準画像の全体または一部の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第一の方向符号値群を色成分ごとに取得し、かつ、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第二の方向符号値群を色成分ごとに取得する方向符号値算出部と、前記色成分ごとの第一の方向符号値群と、前記色成分ごとの第二の方向符号値群との類似度である第一の類似度を色成分ごとに算出し、当該色成分ごとの第一の類似度を用いて、前記基準画像の全体または一部と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部との類似度である第二の類似度を算出する類似度算出部と、前記類似度算出部が算出した第二の類似度を出力する類似度出力部を具備する画像処理装置である。 An image processing apparatus according to a first aspect of the present invention includes a reference image storage unit that can store a reference image that is a color image that is a comparison source, and a target image reception unit that receives a target image that is a color image that is a comparison target. Color components for obtaining two or more color components for each pixel of the whole or a part of the reference image and each pixel of the part of the target image corresponding to the whole of the target image or a part of the reference image An acquisition unit and the color component acquisition unit calculate a direction code value for each color component of the whole or a part of the reference image, and a first direction code value that is a set of one or more direction code values A group is obtained for each color component, and a direction code value is calculated for each color component of each pixel of a part of the target image corresponding to the whole of the target image or a part of the reference image. A second direction code value group that is a set of direction code values of The first similarity that is the similarity between the direction code value calculation unit to be acquired for each component, the first direction code value group for each color component, and the second direction code value group for each color component. Calculated for each color component, and using the first similarity for each color component, the whole or a part of the reference image and the whole of the target image or the part of the reference image corresponding to the part of the reference image An image processing apparatus comprising: a similarity calculation unit that calculates a second similarity that is a similarity to a part; and a similarity output unit that outputs the second similarity calculated by the similarity calculation unit. .
かかる構成により、比較対象の２つのカラー画像について、２以上の色成分ごとの方向符号値群を用いて第一の類似度を算出し、２以上の第一の類似度を用いて、第二の類似度を算出するので、カラー画像の類似度の精度の高い検出が可能となる。 With this configuration, for the two color images to be compared, the first similarity is calculated using the direction code value group for each of two or more color components, and the second similarity is calculated using the two or more first similarities. Therefore, it is possible to detect the similarity of color images with high accuracy.
また、本第二の発明の画像処理装置は、第一の発明に対して、前記色成分取得部は、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、３つの色成分を取得する画像処理装置である。 Further, in the image processing apparatus according to the second aspect of the invention, in contrast to the first aspect of the invention, the color component acquisition unit includes the whole or a part of each pixel of the reference image and the whole of the target image or the reference image. The image processing device acquires three color components for each pixel of a part of the target image corresponding to a part of the target image.
かかる構成により、カラー画像の類似度の、さらに精度の高い検出が可能となる。 With this configuration, it is possible to detect the similarity of color images with higher accuracy.
また、本第三の発明の画像処理装置は、第二の発明に対して、前記色成分取得部は、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、ＲＧＢの３つの各色成分の値を取得するＲＧＢ取得手段と、前記各画素について、前記ＲＧＢ取得手段が取得したＲＧＢの３つの各色成分の値を用いて、ＸＹＺ表色系の３つの各色成分の値を取得するＸＹＺ取得手段を具備し、前記方向符号値算出部は、前記色成分取得部が取得した各画素のＸＹＺ表色系の３つの色成分ごとに、前記第一の方向符号値群と、前記第二の方向符号値群を算出する画像処理装置である。 Further, in the image processing apparatus according to the third aspect of the present invention, in contrast to the second aspect, the color component acquisition unit includes the whole or a part of each pixel of the reference image, the whole of the target image, or the reference image. RGB acquisition means for acquiring the values of the three color components of RGB for each pixel of a part of the target image corresponding to a part of the target image, and each of the three colors of RGB acquired by the RGB acquisition means for each pixel XYZ acquisition means for acquiring the values of each of the three color components of the XYZ color system using the component values, and the direction code value calculation unit is an XYZ color specification of each pixel acquired by the color component acquisition unit The image processing apparatus calculates the first direction code value group and the second direction code value group for every three color components of the system.
かかる構成により、カラー画像の類似度の、さらに精度の高い検出が可能となる。 With this configuration, it is possible to detect the similarity of color images with higher accuracy.
また、本第四の発明の画像処理装置は、第一の発明に対して、前記基準画像は、正常なカラー画像であり、前記対象画像は、欠陥の有無を判断される対象となるカラー画像であり、欠陥の有無を判断するための閾値を格納している閾値格納部と、前記類似度出力部から第二の類似度を受け付け、当該第二の類似度と閾値を比較して、前記対象画像の欠陥の有無を判断し、判断結果を取得する判断部と、前記判断結果を出力する出力部をさらに具備する画像処理装置である。 In the image processing apparatus according to the fourth aspect of the present invention, in contrast to the first aspect, the reference image is a normal color image, and the target image is a color image to be determined for the presence or absence of defects. The threshold storage unit storing a threshold for determining the presence or absence of a defect, and accepting a second similarity from the similarity output unit, comparing the second similarity and the threshold, The image processing apparatus further includes a determination unit that determines the presence or absence of a defect in the target image and obtains a determination result, and an output unit that outputs the determination result.
かかる構成により、例えば、半導体のウエハにおける欠陥検知が可能となる。特に、マクロ欠陥の検知が精度高く行える。 With this configuration, for example, it is possible to detect a defect in a semiconductor wafer. In particular, macro defects can be detected with high accuracy.
本発明による画像処理装置によれば、カラー画像の類似度の精度の高い検出が可能となる。 According to the image processing apparatus of the present invention, it is possible to detect the similarity of color images with high accuracy.
以下、画像処理システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。 Hereinafter, embodiments of an image processing system and the like will be described with reference to the drawings. In addition, since the component which attached | subjected the same code | symbol in embodiment performs the same operation | movement, description may be abbreviate | omitted again.
（実施の形態１）
本実施の形態において、カラーの基準画像とカラーの対象画像から２以上の成分を抽出し、画像の全体または、対応する一部の画素ごとに方向符号値を算出し、画像の全体または、対応する一部の類似度を算出する画像処理システムについて説明する。また、類似度を用いて、欠陥の検出を行う画像処理システムについて説明する。また、本実施の形態において、特に、ＸＹＺ表色系の色成分を用いて類似度を算出する画像処理システムについて説明する。なお、欠陥検出とは、例えば、半導体のウエハの欠陥の検出である。
(Embodiment 1)
In the present embodiment, two or more components are extracted from the color reference image and the color target image, and the direction code value is calculated for the entire image or a part of the corresponding pixels, and the entire image or the corresponding An image processing system that calculates the degree of similarity of a part to be described will be described. An image processing system that detects defects using similarity will be described. In the present embodiment, an image processing system that calculates similarity using color components of the XYZ color system will be described. The defect detection is, for example, detection of a defect on a semiconductor wafer.
なお、本発明において、類似度とは、類似の度合いであるが、その逆である相違の度合いを示す相違度の概念も含まれる、と考える。つまり、類似度の算出は、相違度の算出と同意義である、と考える。 In the present invention, the degree of similarity is the degree of similarity, but the concept of the degree of difference indicating the degree of difference, which is the opposite, is also included. That is, the calculation of similarity is considered to be equivalent to the calculation of difference.
図１は、本実施の形態における画像処理システムのブロック図である。画像処理システムは、画像処理装置１、撮影装置２、表示装置３を具備する。ここでは、画像処理装置１は、撮影装置２で撮影されたカラー画像である対象画像を処理する場合について説明するが、画像処理装置１は、図示しない手段により取得され、画像処理装置１に渡された対象画像を処理しても良い。 FIG. 1 is a block diagram of an image processing system according to the present embodiment. The image processing system includes an image processing device 1, a photographing device 2, and a display device 3. Here, the case where the image processing apparatus 1 processes a target image that is a color image photographed by the photographing apparatus 2 will be described. However, the image processing apparatus 1 is acquired by means not shown and passed to the image processing apparatus 1. The processed target image may be processed.
画像処理装置１は、基準画像格納部１１、対象画像受付部１２、色成分取得部１３、方向符号値算出部１４、類似度算出部１５、類似度出力部１６、閾値格納部１７、判断部１８、出力部１９を具備する。色成分取得部１３は、ＲＧＢ取得手段１３１、ＸＹＺ取得手段１３２を具備する。 The image processing apparatus 1 includes a reference image storage unit 11, a target image reception unit 12, a color component acquisition unit 13, a direction code value calculation unit 14, a similarity calculation unit 15, a similarity output unit 16, a threshold storage unit 17, and a determination unit. 18 and an output unit 19. The color component acquisition unit 13 includes RGB acquisition means 131 and XYZ acquisition means 132.
撮影装置２は、ＣＣＤ（電荷結合素子）カメラ２１、Ａ／Ｄ（アナログ／デジタル）変換器２２、カメラコントローラ２３、Ｄ／Ａ変換器２４およびフレームメモリ２５を具備する。なお、撮影装置２は、画像を取得できれば良く、いわゆるスキャナなどでも良い。 The photographing apparatus 2 includes a CCD (charge coupled device) camera 21, an A / D (analog / digital) converter 22, a camera controller 23, a D / A converter 24, and a frame memory 25. Note that the photographing apparatus 2 only needs to acquire an image, and may be a so-called scanner or the like.
表示装置３は、画像処理装置１で取得された判断結果や、撮影装置２で撮影されたカラー画像などを出力する。表示装置３は、例えば、ＬＣＤディスプレイやＣＲＴディスプレイなどで実現される。 The display device 3 outputs a determination result acquired by the image processing device 1, a color image captured by the imaging device 2, and the like. The display device 3 is realized by, for example, an LCD display or a CRT display.
基準画像格納部１１は、比較の元となるカラー画像である基準画像を格納し得る。基準画像とは、例えば、欠陥を検知する場合の、正常なカラー画像である。基準画像格納部１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。基準画像格納部１１に基準画像が記憶される過程は問わない。例えば、撮影装置２により撮影された基準画像が基準画像格納部１１で記憶されるようになってもよく、記録媒体を介して基準画像が基準画像格納部１１で記憶されるようになってもよく、通信回線等を介して送信された基準画像が基準画像格納部１１で記憶されるようになってもよく、あるいは、入力デバイス（スキャナを含む）を介して入力された基準画像が基準画像格納部１１で記憶されるようになってもよい。 The reference image storage unit 11 can store a reference image that is a color image that is a source of comparison. The reference image is, for example, a normal color image when detecting a defect. The reference image storage unit 11 is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium. The process of storing the reference image in the reference image storage unit 11 does not matter. For example, the reference image captured by the imaging device 2 may be stored in the reference image storage unit 11, or the reference image may be stored in the reference image storage unit 11 via a recording medium. The reference image transmitted via a communication line or the like may be stored in the reference image storage unit 11 or the reference image input via an input device (including a scanner) may be stored as the reference image. It may be stored in the storage unit 11.
対象画像受付部１２は、比較の対象となるカラー画像である対象画像を受け付ける。対象画像受付部１２は、例えば、撮影装置２から対象画像を受け付ける。ただし、対象画像を受け付ける手段は、記憶媒体からの読み出しや、外部装置からの受信等でも良い。対象画像受付部１２は、例えば、ＭＰＵやメモリ等から実現され得る。対象画像受付部１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The target image receiving unit 12 receives a target image that is a color image to be compared. The target image receiving unit 12 receives a target image from the imaging device 2, for example. However, the means for receiving the target image may be read from a storage medium, received from an external device, or the like. The target image receiving unit 12 can be realized by, for example, an MPU or a memory. The processing procedure of the target image receiving unit 12 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
色成分取得部１３は、基準画像の全体または一部の各画素に対する、２以上の色成分を取得する。また、色成分取得部１３は、対象画像の全体または対象画像の一部の各画素に対する、２以上の色成分を取得する。また、色成分取得部１３は、基準画像の全体または一部の各画素と、対象画像の全体または基準画像の一部に対応する対象画像の一部の各画素について、３つの色成分を取得することは好適である。また、ここで、「基準画像の一部」とは、例えば、基準画像の５×５、１１×１１などの画素の集合の領域である。また、「対象画像の一部」とは、基準画像の一部に対応する対象画像の一部であり、基準画像の一部の領域と比較される領域である。また、基準画像の全体と対象画像の全体は、略同一のサイズであることが好適である。また、対象画像の一部と、基準画像の一部は、略同一のサイズであることが好適である。また、色成分とは、ＸＹＺ表色系のＸＹＺの各色成分のうちの２つ、または３つや、後述するｘｙｚ表色系のｘｙｚの各色成分のうちの２つ、または３つが好適であるが、ＲＧＢそのまま、他の変換系であるＹＣｂＣｒや、ＹＵＶや、ＣＹＭＫや、ＨＬＳなどの色成分のうちの２以上でも良いである。色成分を２つ用いる場合、上記した色成分のうちの２つ（例えば、ＸＹＺ表色系のＸ値とＹ値のみ、ｘｙＹ表色系のｘｙ値など）である。色成分取得部１３は、通常、ＭＰＵやメモリ等から実現され得る。色成分取得部１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The color component acquisition unit 13 acquires two or more color components for each pixel of the whole or a part of the reference image. The color component acquisition unit 13 acquires two or more color components for each pixel of the entire target image or a part of the target image. Further, the color component acquisition unit 13 acquires three color components for each pixel of the whole or a part of the reference image and each pixel of a part of the target image corresponding to the whole of the target image or a part of the reference image. It is preferable to do. Here, “part of the reference image” is, for example, an area of a set of pixels such as 5 × 5 and 11 × 11 of the reference image. The “part of the target image” is a part of the target image corresponding to a part of the reference image, and is an area to be compared with a part of the reference image. Moreover, it is preferable that the entire reference image and the entire target image have substantially the same size. Further, it is preferable that a part of the target image and a part of the reference image have substantially the same size. The color component is preferably two or three of the XYZ color components of the XYZ color system, or two or three of the xyz color components of the xyz color system described later. However, two or more of the color components such as YCbCr, YUV, CYMK, and HLS, which are other conversion systems, may be used as RGB. When two color components are used, they are two of the color components described above (for example, only the X value and Y value of the XYZ color system, the xy value of the xyY color system, etc.). The color component acquisition unit 13 can usually be realized by an MPU, a memory, or the like. The processing procedure of the color component acquisition unit 13 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
ＲＧＢ取得手段１３１は、基準画像の全体または一部の各画素と、対象画像の全体または基準画像の一部に対応する対象画像の一部の各画素について、ＲＧＢの３つの各色成分の値を取得する。各画素からＲＧＢの３つの各色成分の値を取得する技術は公知技術である。ＲＧＢ取得手段１３１は、通常、ＭＰＵやメモリ等から実現され得る。ＲＧＢ取得手段１３１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The RGB acquisition unit 131 calculates the values of the three color components of RGB for each pixel of the whole or a part of the reference image and each pixel of a part of the target image corresponding to the whole of the target image or a part of the reference image. get. A technique for acquiring the values of the three color components of RGB from each pixel is a known technique. The RGB acquisition unit 131 can usually be realized by an MPU, a memory, or the like. The processing procedure of the RGB acquisition unit 131 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
ＸＹＺ取得手段１３２は、各画素について、ＲＧＢ取得手段１３１が取得したＲＧＢの３つの各色成分の値を用いて、ＸＹＺ表色系の３つの各色成分の値を取得する。ＸＹＺ取得手段１３２は、以下の数式１の情報を、自身の記憶媒体に格納しており、数式１の情報を読み出し、数式１に、ＲＧＢ取得手段１３１が取得したＲＧＢの３つの各色成分の値を代入し、演算し、ＸＹＺ表色系の３つの各色成分の値を取得する。なお、基準画像および対象画像がＰＣ取り込みの画像である場合、ＸＹＺ取得手段１３２は、数式２を用いて、ＸＹＺ表色系の３つの各色成分の値を取得する。ＰＣ取り込みのＲＧＢは、ＣＩＥ表色のＲＧＢに対応させるために２。２乗している。なお、ＸＹＺ表色系は、ＣＩＥＲＧＢ表色系をベースとし、すべての度数を正の値で表せるよう座標軸を適当に変換したものである。ＸＹＺ表色系は、基準となる軸には現実には存在しない仮想的な色の光（三刺激色と呼ばれる）を用いている。
ＸＹＺ取得手段１３２は、通常、ＭＰＵやメモリ等から実現され得る。ＸＹＺ取得手段１３２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The XYZ acquisition unit 132 can be usually realized by an MPU, a memory, or the like. The processing procedure of the XYZ acquisition unit 132 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
方向符号値算出部１４は、基準画像の全体または一部の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第一の方向符号値群を色成分ごとに取得する。また、方向符号値算出部１４は、対象画像の全体または基準画像の一部に対応する対象画像の一部の各画素の色成分ごとに、方向符号値を算出し、１以上の方向符号値の集合である第二の方向符号値群を色成分ごとに取得する。また、方向符号値算出部１４は、色成分取得部１３が取得した各画素のＸＹＺ表色系の３つの色成分ごとに、第一の方向符号値群と、第二の方向符号値群を算出することは好適である。 The direction code value calculation unit 14 calculates a direction code value for each color component of each pixel of the whole or a part of the reference image, and colors a first direction code value group that is a set of one or more direction code values. Get for each ingredient. Further, the direction code value calculation unit 14 calculates a direction code value for each color component of each pixel of a part of the target image corresponding to the entire target image or a part of the reference image, and one or more direction code values Are obtained for each color component. Further, the direction code value calculation unit 14 calculates a first direction code value group and a second direction code value group for each of the three color components of the XYZ color system of each pixel acquired by the color component acquisition unit 13. It is preferable to calculate.
方向符号値算出部１４は、例えば、各画素に対してSobel演算子などで求めた勾配計算を行い、２次元ベクトル値として色成分の変化情報を得る。なお、ここで用いるのは、Sobel演算子以外のRoberts演算子、Prewitt演算子などの微分演算子を用いても良い。 For example, the direction code value calculation unit 14 performs gradient calculation obtained by the Sobel operator or the like for each pixel, and obtains color component change information as a two-dimensional vector value. Note that a differential operator such as Roberts operator or Prewitt operator other than the Sobel operator may be used here.
さらに、具体的には、方向符号値算出部１４は、各画素の色成分ごとに、以下の数式３から数式６を適用し、方向符号値を算出する。まず、方向符号値算出部１４は、画素（ｐ、ｑ）における、色成分取得部１３が取得した、ある色成分の値をＩ（ｐ、ｑ）から、数式３を用いて水平方向勾配（▽Ｉｐ）を、数式４を用いて垂直方向勾配（▽Ｉｑ）を算出する。次に、方向符号値算出部１４は、水平方向勾配（▽Ｉｐ）および垂直方向勾配（▽Ｉｑ）を、数式５に代入し、色成分の勾配方向（θｐｑ）を算出し、メモリ上に配置する。 More specifically, the direction code value calculation unit 14 calculates the direction code value by applying the following Equations 3 to 6 for each color component of each pixel. First, the direction code value calculation unit 14 obtains the value of a certain color component acquired by the color component acquisition unit 13 for the pixel (p, q) from I (p, q) using Equation 3 and the horizontal direction gradient ( The vertical gradient (） Iq) is calculated using Equation 4 for ▽ Ip). Next, the direction code value calculation unit 14 substitutes the horizontal direction gradient (ＩIp) and the vertical direction gradient (▽ Iq) into Equation 5, calculates the gradient direction (θpq) of the color component, and arranges it on the memory. To do.
次に、方向符号値算出部１４は、勾配方向（θｐｑ）と、量子化幅（△θ）を、数式６に代入し、方向符号値（Ｃｐｑ）を算出する。なお、数式６において、Γは雑音、つまり勾配が小さい画素を除去するための閾値であり、方向符号値算出部１４が予め、自身の記憶媒体に保持している。数式６において、水平、垂直各方向の絶対値の和が閾値Γより大きい場合のみ、０〜Ｎ−１に符号化し、これを有効符号とする。閾値に満たない場合は、２π／△θに符号化し、これを無効符号とする。例えば、符号値は、０〜１５（△θ＝π／８）の１６方向とする（図２参照）。なお、ここでは、例えば、Ｎは「１６」である。
方向符号値算出部１４は、通常、ＭＰＵやメモリ等から実現され得る。方向符号値算出部１４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The direction code value calculation unit 14 can usually be realized by an MPU, a memory, or the like. The processing procedure of the direction code value calculation unit 14 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
類似度算出部１５は、色成分ごとの第一の方向符号値群と、色成分ごとの第二の方向符号値群との類似度である第一の類似度を、色成分ごとに算出する。そして、類似度算出部１５は、色成分ごとの第一の類似度を用いて、基準画像の全体と、対象画像の全体との類似度である第二の類似度を算出する。または、類似度算出部１５は、色成分ごとの第一の類似度を用いて、基準画像の一部と、当該基準画像の一部に対応する対象画像の一部との類似度である第二の類似度を算出する。なお、上述したように、第一の類似度、第二の類似度における類似度とは、２つの情報が似ている度合いであり、２つの情報が異なる度合いである相違度も含める趣旨である。相違度は、類似度の裏返しの概念であるからである。 The similarity calculation unit 15 calculates, for each color component, a first similarity that is a similarity between the first direction code value group for each color component and the second direction code value group for each color component. . And the similarity calculation part 15 calculates the 2nd similarity which is the similarity of the whole reference | standard image and the whole object image using the 1st similarity for every color component. Alternatively, the similarity calculation unit 15 uses the first similarity for each color component to determine the similarity between the part of the reference image and the part of the target image corresponding to the part of the reference image. The degree of similarity between the two is calculated. As described above, the similarity in the first similarity and the second similarity is a degree in which two pieces of information are similar and includes a degree of difference in which the two pieces of information are different. . This is because the degree of difference is the concept of reversing the degree of similarity.
具体的には、類似度算出部１５は、例えば、以下の数式７から数式１１を適用し、基準画像と対象画像の照合を行い、第二の類似度を算出する。つまり、まず、類似度算出部１５は、基準画像ｆのサイズ（例えば、「Ｍ×Ｍ」である、とする）を取得し、色成分ごとに、基準画像ｆの各画素の方向符号ｃｆ、対象画像ｇの各画素の方向符号ｃｇを比較する。つまり、類似度算出部１５は、色成分ごとに、以下の数式７、数式８に、方向符号値算出部１４が算出した方向符号ｃｆ、方向符号ｃｇ、および基準画像ｆのサイズを構成する値「Ｍ」を代入し、平均残差絶対値（Ｄバー）を得る。なお、平均残差絶対値（Ｄバー）は、残差絶対値Ｄの和を画素数で割った値である。なお、数式７は、方向符号が巡回的であることを考慮している。
なお、数式８において、基準画像が無効符号である画素における残差絶対値を０としているが、かかることにより、対象画像の背景に対するロバスト性が高まる。さらに、数式８において、対象画像が無効符号である場合は、残差絶対値の期待値から定めたN／４とすることで、単調な遮蔽に対応することができる。 In Expression 8, the residual absolute value in the pixel whose reference image is an invalid code is set to 0. However, the robustness with respect to the background of the target image is enhanced. Furthermore, in Formula 8, when the target image is an invalid code, it is possible to cope with monotonous shielding by setting N / 4 determined from the expected value of the residual absolute value.
次に、類似度算出部１５は、数式９を用いて、色成分ごとに、平均残差絶対値（Ｄバー）を残差絶対値の最大値N／２で割り正規化し、相違度（ｈ）を得る。正規化することにより、量子化幅が異なる場合においてもほぼ同様に比較することができる。 Next, the similarity calculation unit 15 uses Equation 9 to divide and normalize the average residual absolute value (D bar) by the maximum value N / 2 of the residual absolute value for each color component, and to normalize the difference (h ) By normalizing, even when the quantization width is different, the comparison can be made almost in the same manner.
次に、類似度算出部１５は、相違度（ｈ）を、数式１０に代入し、第一の類似度（ｓ）を得て、メモリ上に第一の類似度（ｓ）を配置する。 Next, the similarity calculation unit 15 substitutes the dissimilarity (h) into Equation 10, obtains the first similarity (s), and arranges the first similarity (s) on the memory.
類似度算出部１５は、かかる第一の類似度（ｓ）を、２以上の色成分ごとに算出する。なお、類似度算出部１５は、かかる第一の類似度（ｓ）を、３つの色成分ごとに算出することは好適である。そして、例えば、類似度算出部１５は、ＸＹＺ表色系の色成分（Ｘ）の第一の類似度（ｓｘ）、色成分（Ｙ）の第一の類似度（ｓｙ）、色成分（Ｚ）の第一の類似度（ｓｚ）を算出できた、とする。
次に、類似度算出部１５は、算出した第一の類似度（ｓｘ）、（ｓｙ）、（ｓｚ）を、例えば、数式１１に代入し、第二の類似度（ｓｘｙｚ）を得る。なお、数式１１において、第一の類似度（ｓｘ）、（ｓｙ）、（ｓｚ）の和を第二の類似度としているが、第一の類似度（ｓｘ）、（ｓｙ）、（ｓｚ）に重み付けを行い、第二の類似度を算出しても良いし、その他の演算式で第二の類似度を算出しても良い。
類似度算出部１５は、通常、ＭＰＵやメモリ等から実現され得る。類似度算出部１５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The similarity calculation unit 15 can usually be realized by an MPU, a memory, or the like. The processing procedure of the similarity calculation unit 15 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
類似度出力部１６は、類似度算出部１５が算出した第二の類似度を出力する。出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。類似度出力部１６は、例えば、単に、第二の類似度を判断部１８に渡すだけの処理を行っても良い。類似度出力部１６は、例えば、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。 The similarity output unit 16 outputs the second similarity calculated by the similarity calculation unit 15. Output refers to display on a display, projection using a projector, printing on a printer, sound output, transmission to an external device, storage in a recording medium, processing results to other processing devices or other programs, etc. It is a concept that includes delivery. For example, the similarity output unit 16 may simply perform a process of passing the second similarity to the determination unit 18. The similarity output unit 16 can be realized by, for example, output device driver software, or output device driver software and an output device.
閾値格納部１７は、欠陥の有無を判断するための閾値（例えば、「０．８」）を格納している。閾値は、第二の類似度と比較するための値である。閾値格納部１７は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。閾値格納部１７に閾値が記憶される過程は問わない。例えば、記録媒体を介して閾値が閾値格納部１７で記憶されるようになってもよく、通信回線等を介して送信された閾値が閾値格納部１７で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された閾値が閾値格納部１７で記憶されるようになってもよい。 The threshold storage unit 17 stores a threshold (for example, “0.8”) for determining the presence or absence of a defect. The threshold value is a value for comparison with the second similarity. The threshold storage unit 17 is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium. The process in which the threshold value is stored in the threshold value storage unit 17 does not matter. For example, a threshold value may be stored in the threshold value storage unit 17 via a recording medium, or a threshold value transmitted via a communication line or the like may be stored in the threshold value storage unit 17. Alternatively, the threshold value input via the input device may be stored in the threshold value storage unit 17.
判断部１８は、類似度出力部１６から第二の類似度を受け付け、当該第二の類似度と、閾値格納部１７の閾値を比較して、対象画像の欠陥の有無を判断し、判断結果を取得する。判断部１８は、例えば、第二の類似度が閾値よりも小さい場合に、「欠陥有り」と判断し、第二の類似度が閾値以上の場合に、「欠陥無し」と判断し、判断結果（欠陥有り「０」、欠陥無し「１」など）を得て、メモリ上に配置する。判断部１８は、通常、ＭＰＵやメモリ等から実現され得る。判断部１８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The determination unit 18 receives the second similarity from the similarity output unit 16, compares the second similarity with the threshold value of the threshold storage unit 17, determines the presence or absence of a defect in the target image, and the determination result To get. The determination unit 18 determines, for example, that there is a defect when the second similarity is smaller than the threshold, and determines that there is no defect when the second similarity is equal to or greater than the threshold. (“0” with defect, “1” without defect, etc.) is obtained and placed on the memory. The determination unit 18 can usually be realized by an MPU, a memory, or the like. The processing procedure of the determination unit 18 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
出力部１９は、判断部１８が取得した判断結果を出力する。ここで、出力とは、ディスプレイ（表示装置３）への表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。出力部１９は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１９は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。 The output unit 19 outputs the determination result acquired by the determination unit 18. Here, output refers to display on the display (display device 3), projection using a projector, printing on a printer, sound output, transmission to an external device, accumulation in a recording medium, other processing devices and others This is a concept that includes the delivery of processing results to other programs. The output unit 19 may or may not include an output device such as a display or a speaker. The output unit 19 can be realized by driver software for an output device or driver software for an output device and an output device.
撮影装置２において、ＣＣＤカメラ２１が、被写体、上記の実施形態では基準面および部品を撮像し、受光量をアナログ画像信号として出力する。Ａ／Ｄ変換器２２は、ＣＣＤカメラ２１から出力されたアナログ画像信号をデジタルデータに変換し、デジタル画像データとして出力する。カメラコントローラ２３は、デジタル画像データを１フレームごとにフレームメモリ２５に格納するとともに、表示装置３に表示させるために、Ｄ／Ａ変換器２４に出力する。Ｄ／Ａ変換器２４は、カメラコントローラ２３から出力されたデジタル画像データを表示装置３に応じたアナログ画像信号に変換して表示装置３に出力する。 In the photographing apparatus 2, the CCD camera 21 images a subject, the reference plane and parts in the above-described embodiment, and outputs the received light amount as an analog image signal. The A / D converter 22 converts the analog image signal output from the CCD camera 21 into digital data and outputs it as digital image data. The camera controller 23 stores the digital image data frame by frame in the frame memory 25 and outputs it to the D / A converter 24 for display on the display device 3. The D / A converter 24 converts the digital image data output from the camera controller 23 into an analog image signal corresponding to the display device 3 and outputs the analog image signal to the display device 3.
次に、画像処理装置１の動作について図３のフローチャートを用いて説明する。画像処理装置１は、例えば、撮影装置２で撮影した対象画像を、以下のように処理する。 Next, the operation of the image processing apparatus 1 will be described using the flowchart of FIG. For example, the image processing apparatus 1 processes the target image captured by the imaging apparatus 2 as follows.
（ステップＳ３０１）対象画像受付部１２は、比較の対象となるカラー画像である対象画像を受け付けたか否かを判断する。対象画像を受け付ければステップＳ３０２に行き、対象画像を受け付けなければステップＳ３０１に戻る。 (Step S301) The target image receiving unit 12 determines whether a target image that is a color image to be compared has been received. If the target image is received, the process goes to step S302, and if the target image is not received, the process returns to step S301.
（ステップＳ３０２）色成分取得部１３は、基準画像格納部１１から基準画像を読み出し、メモリ上に配置する。 (Step S302) The color component acquisition unit 13 reads the reference image from the reference image storage unit 11, and arranges it on the memory.
（ステップＳ３０３）色成分取得部１３は、カウンタｉに１を代入する。 (Step S303) The color component acquisition unit 13 substitutes 1 for a counter i.
（ステップＳ３０４）色成分取得部１３は、比較の対象となる対象画像、または比較対象の基準画像に、ｉ番目の画素が存在するか否かを判断する。ｉ番目の画素が存在すればステップＳ３０５に行き、ｉ番目の画素が存在しなければステップＳ３０９に行く。なお、後述する処理（ＲＧＢの値の取得などの処理）を行う画素の順序は、問わない。 (Step S304) The color component acquisition unit 13 determines whether or not the i-th pixel exists in the target image to be compared or the reference image to be compared. If the i-th pixel exists, the process goes to step S305, and if the i-th pixel does not exist, the process goes to step S309. It should be noted that the order of the pixels to be processed (processing such as acquisition of RGB values) to be described later does not matter.
（ステップＳ３０５）色成分取得部１３のＲＧＢ取得手段１３１は、ｉ番目の画素のＲＧＢの値を取得し、メモリ上に配置する。 (Step S305) The RGB acquisition means 131 of the color component acquisition unit 13 acquires the RGB value of the i-th pixel and arranges it on the memory.
（ステップＳ３０６）ＸＹＺ取得手段１３２は、数式１または数式２の情報を読み出し、当該読み出した数式に、ステップＳ３０５で取得したＲＧＢの値を代入して、ＸＹＺ表色系の各成分の値を取得し、メモリ上に配置する。 (Step S306) The XYZ acquisition unit 132 reads the information of Formula 1 or Formula 2, and substitutes the RGB values acquired in Step S305 into the read formula to acquire the values of each component of the XYZ color system. And place it on the memory.
（ステップＳ３０７）方向符号値算出部１４は、基準画像および対象画像のｉ番目の画素について、ＸＹＺ表色系の成分ごとに、方向符号値を算出し、メモリ上に追記する。なお、方向符号値算出部１４は、数式３から数式６の情報を読み出し、当該読み出した数式に、上記で説明した通り、ステップＳ３０６で取得した値を代入等し、方向符号値を算出する。また、基準画像の成分ごとの方向符号値の集合を第一の方向符号値群と言う。さらに、対象画像の成分ごとの方向符号値の集合を第二の方向符号値群と言う。 (Step S307) The direction code value calculation unit 14 calculates a direction code value for each component of the XYZ color system for the i-th pixel of the reference image and the target image, and additionally writes it on the memory. The direction code value calculation unit 14 reads the information of Expression 6 from Expression 3, and calculates the direction code value by substituting the value acquired in Step S306 into the read expression as described above. A set of direction code values for each component of the reference image is referred to as a first direction code value group. Furthermore, a set of direction code values for each component of the target image is referred to as a second direction code value group.
（ステップＳ３０．８）色成分取得部１３は、カウンタｉを、１インクリメントする。ステップＳ３０４に戻る。 (Step S30.8) The color component acquisition unit 13 increments the counter i by 1. The process returns to step S304.
（ステップＳ３０９）類似度算出部１５は、カウンタｊに１を代入する。 (Step S309) The similarity calculation unit 15 substitutes 1 for the counter j.
（ステップＳ３１０）類似度算出部１５は、ｊ番目の色成分が存在するか否かを判断する。ｊ番目の色成分が存在すればステップＳ３１１に行き、ｊ番目の色成分が存在しなければステップＳ３１４に行く。 (Step S310) The similarity calculation unit 15 determines whether or not the j-th color component exists. If the jth color component exists, the process goes to step S311. If the jth color component does not exist, the process goes to step S314.
（ステップＳ３１１）類似度算出部１５は、ｊ番目の色成分の第一の方向符号値群と、ｊ番目の色成分の第二の方向符号値群を読み出す。 (Step S311) The similarity calculation unit 15 reads the first direction code value group of the jth color component and the second direction code value group of the jth color component.
（ステップＳ３１２）類似度算出部１５は、ステップＳ３１１で読み出した第一の方向符号値群と第二の方向符号値群を用いて、ｊ番目の色成分の類似度（第一の類似度）を算出する。具体的には、類似度算出部１５は、例えば、上述したように、数式７から数式１０の情報を読み出し、第一の方向符号値群と第二の方向符号値群の情報を、数式７等に適用し、第一の類似度を算出する。 (Step S312) The similarity calculation unit 15 uses the first direction code value group and the second direction code value group read in step S311 to determine the similarity of the jth color component (first similarity). Is calculated. Specifically, for example, as described above, the similarity calculation unit 15 reads the information of Expression 10 from Expression 7, and uses the information of the first direction code value group and the second direction code value group as Expression 7 Etc., and the first similarity is calculated.
（ステップＳ３１３）類似度算出部１５は、カウンタｊを、１インクリメントする。ステップＳ３１０に戻る。 (Step S313) The similarity calculation unit 15 increments the counter j by 1. The process returns to step S310.
（ステップＳ３１４）類似度算出部１５は、ステップＳ３１２で算出された、２以上の第一の類似度を取得し、当該２以上の第一の類似度を用いて、第二の類似度を算出する。そして、類似度出力部１６は、類似度算出部１５が算出した第二の類似度をメモリ上に配置する。具体的には、類似度算出部１５は、例えば、上述したように、数式１１の情報を読み出し、３つの第一の類似度（（ｓｘ）、（ｓｙ）、（ｓｚ））を数式１１に代入し、第二の類似度を算出する。 (Step S314) The similarity calculation unit 15 acquires two or more first similarities calculated in step S312 and calculates a second similarity using the two or more first similarities. To do. Then, the similarity output unit 16 arranges the second similarity calculated by the similarity calculation unit 15 on the memory. Specifically, for example, as described above, the similarity calculation unit 15 reads the information of Formula 11, and obtains the three first similarities ((s x ), (s y ), and (s z )). Substituting into Equation 11, the second similarity is calculated.
（ステップＳ３１５）判断部１８は、閾値格納部１７の閾値を読み出す。そして、判断部１８は、当該閾値と、ステップＳ３１４でメモリ上に配置された第二の類似度とを比較して、例えば、「第二の類似度＞閾値」を満たすか否かを判断する。「第二の類似度＞閾値」を満たせばステップＳ３１６に行き、「第二の類似度＞閾値」を満たさなければステップＳ３１７に行く。 (Step S315) The determination unit 18 reads the threshold value stored in the threshold value storage unit 17. Then, the determination unit 18 compares the threshold with the second similarity placed on the memory in step S314, and determines whether or not “second similarity> threshold” is satisfied, for example. . If “second similarity> threshold” is satisfied, the process proceeds to step S316. If “second similarity> threshold” is not satisfied, the process proceeds to step S317.
（ステップＳ３１６）判断部１８は、判断結果に「欠陥無し（例えば、「１」）を代入する。 (Step S316) The determination unit 18 substitutes “no defect (for example,“ 1 ”) into the determination result.
（ステップＳ３１７）判断部１８は、判断結果に「欠陥有り（例えば、「０」）を代入する。 (Step S317) The determination unit 18 substitutes “there is a defect (for example,“ 0 ”) for the determination result.
（ステップＳ３１８）出力部１９は、判断部１８が取得した判断結果を出力する。 (Step S318) The output unit 19 outputs the determination result obtained by the determination unit 18.
なお、図３のフローチャートにおいて、欠陥の有無の判断（ステップＳ３１０）以降の処理が存在せずに、第二の類似度を出力して、欠陥の有無の判断は、人手で行うなどしても良い。 In the flowchart of FIG. 3, there is no processing after the determination of the presence / absence of a defect (step S310), the second similarity is output, and the determination of the presence / absence of the defect may be performed manually. good.
また、図３のフローチャートにおいて、ステップＳ３１８における判断結果の出力は、文字列、画像、音声等、いかなる出力態様でも良い。 In the flowchart of FIG. 3, the output of the determination result in step S318 may be any output form such as a character string, an image, and a sound.
また、図３のフローチャートにおいて、比較対象の基準画像と対象画像を取得する前処理を含んでも良い、ことは言うまでもない。また、図３のフローチャートにおいて、比較対象の基準画像の一部に対応する対象画像の一部を取得する前処理を含んでも良い、ことは言うまでもない。 In addition, it goes without saying that the flowchart of FIG. 3 may include a reference image to be compared and a preprocessing for acquiring the target image. In addition, it goes without saying that the flowchart of FIG. 3 may include preprocessing for acquiring a part of the target image corresponding to a part of the reference image to be compared.
さらに、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 Further, in the flowchart of FIG. 3, the process is ended by power-off or a process end interrupt.
以下、本実施の形態における画像処理装置１の具体的な動作等について、詳細に説明する。 Hereinafter, specific operations and the like of the image processing apparatus 1 in the present embodiment will be described in detail.
まず、撮影装置２が取得した対象画像からＸＹＺ値を得る方法の例について説明する。まず、種類の色域を持つ撮影装置２の出力ｖは、可視領域の光の波長４００ｎｍ〜７００ｎｍを１０ｎｍずつ３１分割した場合、以下の数式１２の行列演算式で決定される。
ただし、ｏは、対象物表面（たとえば、検査対象の半導体ウエハの表面）の反射率である。また、Ｆは、照明光の放射エネルギー、撮影装置２の光学系の透過率、カラーフィルターの透過率およびＣＣＤ等の光センサー感度で決まる分光積である。 Here, o is the reflectance of the surface of the object (for example, the surface of the semiconductor wafer to be inspected). F is a spectral product determined by the radiant energy of the illumination light, the transmittance of the optical system of the photographing apparatus 2, the transmittance of the color filter, and the sensitivity of a photosensor such as a CCD.
また、カラーバンドを３種ＲＧＢとした場合、ｖＲ、ｖＧ、ｖＢは数式１３のように算出される。
また、数式１よりＸＹＺ表色系への変換は線形なので、Ｘ、Ｙ、Ｚは、数式１４により算出される。
以上のように、色成分取得部１３は、例えば、ＸＹＺ値を取得し、メモリ上に配置する。 As described above, the color component acquisition unit 13 acquires, for example, XYZ values and arranges them on the memory.
次に、上述したように、画像処理装置１は、ＸＹＺ表色系変換後の各色情報値に対して方向符号照合を行う。画像処理装置１では、本来、明度値Ｙだけに適応していたＯＣを、色情報ＸＹＺを用いることによって、色の情報に起因する欠陥検出の精度や再現性がロバストに確保される。Ｘ色およびＹ色・Ｚ色画像は画素ごとの方向符号値および照合評価は、関心画素を中心とした近傍の色配置状態を評価することになる。画像処理装置１では、例えば、この色配置状態を方向符号の分布のみで評価する方式をとる。つまり、画像処理装置１は、基準画像および対象画像のＸ表色系に対してＯＣＭを行い、類似度ｓＸを算出、同じく基準画像および対象画像のＹ表色系の相違度ｓＹ、Ｚ表色系の相違度ｓＺを算出する。そして、画像処理装置１は、例えば、数式１１を用いてｓＸＹＺを算出し、当該ｓＸＹＺの数値にて評価を行う。 Next, as described above, the image processing apparatus 1 performs direction code verification on each color information value after the XYZ color system conversion. In the image processing apparatus 1, the accuracy and reproducibility of defect detection due to color information is robustly ensured by using the color information XYZ for the OC that was originally adapted only to the lightness value Y. For the X color, Y color, and Z color images, the direction code value for each pixel and the collation evaluation evaluate the color arrangement state in the vicinity centering on the pixel of interest. For example, the image processing apparatus 1 employs a method of evaluating the color arrangement state based only on the direction code distribution. That is, the image processing apparatus 1 performs OCM on the X color system of the reference image and the target image, calculates the similarity s X , and similarly, the difference s Y , Z between the Y color system of the reference image and the target image The dissimilarity s Z of the color system is calculated. Then, for example, the image processing apparatus 1 calculates s XYZ using Expression 11, and performs evaluation using the numerical value of s XYZ .
次に、画像処理装置１の、照明の各スペクトル変動に対するロバスト性についての検証結果について説明する。 Next, the verification result about the robustness with respect to each spectrum fluctuation | variation of illumination of the image processing apparatus 1 is demonstrated.
一様な照明状況下での各情報を（Ｘ１，Ｙ１，Ｚ１）とし、照明スペクトル変動後の情報を（Ｘ２，Ｙ２，Ｚ２）と考える。一様な照明状況下から照明スペクトル変動後の各Ｘ、Ｙ、Ｚ表色のスペクトルがそれぞれα倍、β倍、γ倍されているとする。かかる場合、数式１４より、変動後の各色情報は、下記の数式１５で表すことが出来る。
また、α、β、γは画素近傍領域においては一定と考えることができ、下記の数式１６が成り立つ。
上述された色情報勾配値を、ここではＸについて考える。一様な照明状況下での対象物の画素（ｐ、ｑ）におけるＸ情報値をＸ１（ｐ、ｑ）とし、水平方向勾配を数式１７、垂直方向勾配を数式１８とする。同じく照明スペクトル変動後の画素のＸ情報値Ｘ２（ｐ、ｑ）に対し、水平方向勾配を数式１９、垂直方向勾配を数式２０とする。すると、数式１５、数式１６より、下記数式２１、数式２２が導かれる。
そして、照明一様下のＸ表色系の勾配方向θＸ１ｐｑと照明スペクトル変動下のＸ表色系の勾配方向θＸ２ｐｑとしたとき、数式２１、数式２２より、数式２３、数式２４のように表すことができる。
以上より、「θＸ１ｐｑ＝θＸ２ｐｑ」」が成り立つ。 From the above, “θ X1pq = θ X2pq” ”is established.
上記式はＹ表色系、Ｚ表色系についても同等の結論であり、照明スペクトルがばらついている状況下においてもスペクトルが一様な照明下の勾配演算と等しくなることが分かる。つまり、以上により、画像処理システムを用いて、画像の欠陥検出等を行う場合に、照明のスペクトル変化などにロバストであることが検証できた。 The above equation is the same conclusion for the Y color system and the Z color system, and it can be seen that even in a situation where the illumination spectrum varies, the spectrum is equal to the gradient calculation under uniform illumination. That is, as described above, when image defect detection or the like is performed using the image processing system, it can be verified that the illumination spectrum is robust.
以下、画像処理装置１の性能についての実験結果について説明する。 Hereinafter, experimental results regarding the performance of the image processing apparatus 1 will be described.
基準画像よりテンプレート（ｐ、ｑ）を中心に１１×１１画素を切り出し、対象画像を探索する。この照合は１画素ずつ対象画像全体を照合する。探索後、類似度ｓＸＹＺが最小位置にて、類似度が０．８以上で且つ、探索位置のズレが＋−１画素以下の場所を正解位置とし、座標（ｐ、ｑ）にプロットする。この探索を基準画像側の全画素において行い、プロット後の画像を出力した。（図４参照）。 11 × 11 pixels are extracted from the reference image with the template (p, q) as the center, and the target image is searched. In this verification, the entire target image is verified pixel by pixel. After the search, a place where the similarity s XYZ is the minimum position, the similarity is 0.8 or more, and the shift of the search position is + −1 pixel or less is set as a correct position, and plotted at coordinates (p, q). This search was performed for all pixels on the reference image side, and the image after plotting was output. (See FIG. 4).
基準画像を図５（ａ）とし、対象画像を図５（ｂ）、図５（ｃ）としそれぞれに対して実験を行う。つまり、上述した処理により、画像処理装置１が処理した結果を図６に示す。図６のようにエッジに特徴のない場所は照合位置を見失っているが、特徴がある範囲において、色スペクトルが変動中にもエッジの方向性は安定して照合されることが分かる。
（頂いた論文に記載されている実験結果を用いて、本願の効果を訴求しようとしています。不十分な説明箇所があれば、補充をお願いします。）
The reference image is shown in FIG. 5A, the target images are shown in FIGS. 5B and 5C, and an experiment is performed for each. That is, FIG. 6 shows the result of processing performed by the image processing apparatus 1 by the processing described above. As shown in FIG. 6, the collation position is lost in a place where there is no feature in the edge, but it can be seen that the directionality of the edge is collated in a stable range even when the color spectrum is varied.
(We are trying to promote the effect of this application using the results of the experiment described in the paper you gave us. If there are insufficient explanations, please replenish them.)
以上、本実施の形態によれば、カラー画像の類似度の精度の高い検出が可能となる。また、本実施の形態によれば、画像改善手法のような補正が必要なく（これは、正しいでしょうか）、一般的なカメラ画像での照明変動下での照合を行うことが可能である。 As described above, according to the present embodiment, it is possible to detect the similarity of color images with high accuracy. Further, according to the present embodiment, it is not necessary to perform correction as in the image improvement method (is this correct), and it is possible to perform collation under illumination variation in a general camera image.
なお、本実施の形態によれば、類似度を算出した。しかし。類似度は、相違度を含む概念として捕らえても良い。 Note that, according to the present embodiment, the similarity is calculated. However. The degree of similarity may be captured as a concept including the degree of difference.
また、本実施の形態によれば、色成分として、主として、ＸＹＺ表色系を用いた。しかし、上述したように、色成分取得部１３は、ＸＹＺ値を用いて、ｘｙＹ表色系に変換し、ｘｙＹ値のうち、例えば、ｘｙ値（色度情報）のみ、またはｘｙ値（色度情報）とＹ値（明度情報）を用いても良い。ｘｙ値（色度情報）のみを用いる場合、表色系は、加色のみの２次元でまとめることができ、計算が容易、高速になり、好適である。なお、「ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ），ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ），ｚ＝Ｚ／（Ｘ＋Ｙ＋Ｚ）」により、算出され得る。 Further, according to the present embodiment, the XYZ color system is mainly used as the color component. However, as described above, the color component acquisition unit 13 uses the XYZ values to convert to the xyY color system, and among the xyY values, for example, only the xy value (chromaticity information) or the xy value (chromaticity) Information) and Y value (lightness information) may be used. When only the xy value (chromaticity information) is used, the color system can be combined in two dimensions of only additive colors, and calculation is easy and fast, which is preferable. It can be calculated by “x = X / (X + Y + Z), y = Y / (X + Y + Z), z = Z / (X + Y + Z)”.
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、比較の対象となるカラー画像である対象画像を受け付ける対象画像受付部と、比較の元となるカラー画像である基準画像を記憶媒体から読み出し、当該基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得部と、前記色成分取得部が取得した各画素の色成分ごとに、方向符号値を算出する方向符号値算出部と、前記方向符号値算出部が算出した１以上の方向符号値の集合であり、前記基準画像の全体または一部の各画素に対する１以上の方向符号値の集合と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素に対する１以上の方向符号値の集合との類似度を算出する類似度算出部と、前記類似度算出部が算出した類似度を出力する類似度出力部として機能させるためのプログラム、である。 Furthermore, the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded and distributed on a recording medium such as a CD-ROM. This also applies to other embodiments in this specification. The software that realizes the image processing apparatus according to the present embodiment is the following program. In other words, this program reads a computer from a storage medium, a target image receiving unit that receives a target image that is a color image to be compared, and a reference image that is a color image that is a source of comparison. Alternatively, a color component acquisition unit that acquires two or more color components for each pixel, a part of each pixel of the target image corresponding to the entire target image or a part of the reference image, and the color For each color component of each pixel acquired by the component acquisition unit, a direction code value calculation unit that calculates a direction code value, and a set of one or more direction code values calculated by the direction code value calculation unit, the reference image A set of one or more direction code values for all or part of each pixel, and one or more direction codes for each pixel of the part of the target image corresponding to the whole of the target image or part of the reference image A similarity calculation section for calculating a similarity between a set of programs to function as the similarity output unit for outputting the similarity degree of similarity calculation section is calculated, it is.
また、上記プログラムにおいて、前記色成分取得部は、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、３つの色成分を取得するものとして、コンピュータを機能させることは好適である。 In the above program, the color component acquisition unit may include all or a part of the pixels of the reference image and a part of the pixels of the target image corresponding to the whole of the target image or a part of the reference image. It is preferable to make a computer function as acquiring three color components.
また、上記プログラムにおいて、前記色成分取得部は、前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、ＲＧＢの３つの各色成分の値を取得するＲＧＢ取得手段と、前記各画素について、前記ＲＧＢ取得手段が取得したＲＧＢの３つの各色成分の値を用いて、ＸＹＺ表色系の３つの各色成分の値を取得するＸＹＺ取得手段を具備し、前記方向符号値算出部は、前記色成分取得部が取得した各画素のＸＹＺ表色系の３つの色成分ごとに、方向符号値を算出するものとして、コンピュータを機能させることは好適である。 In the above program, the color component acquisition unit may include all or a part of the pixels of the reference image and a part of the pixels of the target image corresponding to the whole of the target image or a part of the reference image. The RGB acquisition means for acquiring the values of the three color components of RGB, and the three colors of the XYZ color system using the values of the three color components of RGB acquired by the RGB acquisition means for each pixel XYZ acquisition means for acquiring component values is provided, and the direction code value calculation unit calculates a direction code value for each of the three color components of the XYZ color system of each pixel acquired by the color component acquisition unit. As a thing, it is preferable to make a computer function.
また、上記プログラムにおいて、前記基準画像は、正常なカラー画像であり、前記対象画像は、欠陥の有無を判断される対象となるカラー画像であり、前記類似度出力部から類似度を受け付け、欠陥の有無を判断するための閾値と当該類似度とを比較して、前記対象画像の欠陥の有無を判断し、判断結果を取得する判断部と、前記判断結果を出力する出力部として、コンピュータをさらに機能させることは好適である。 In the above program, the reference image is a normal color image, the target image is a color image to be determined for the presence or absence of a defect, accepts similarity from the similarity output unit, And comparing the similarity with the threshold for determining the presence or absence of the image, determining the presence or absence of a defect in the target image, obtaining a determination result, and an output unit for outputting the determination result as a computer Further functioning is preferred.
また、図７は、本明細書で述べたプログラムを実行して、上述した実施の形態の画像処理装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図７は、このコンピュータシステム３４０の概観図であり、図８は、コンピュータシステム３４０のブロック図である。 FIG. 7 shows the external appearance of a computer that executes the program described in this specification to realize the image processing apparatus or the like according to the above-described embodiment. The above-described embodiments can be realized by computer hardware and a computer program executed thereon. FIG. 7 is an overview diagram of the computer system 340, and FIG. 8 is a block diagram of the computer system 340.
図７において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。 In FIG. 7, the computer system 340 includes a computer 341 including an FD drive and a CD-ROM drive, a keyboard 342, a mouse 343, and a monitor 344.
図８において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５と、ＭＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。 In FIG. 8, in addition to the FD drive 3411 and the CD-ROM drive 3412, the computer 341 stores an MPU 3413, a bus 3414 connected to the CD-ROM drive 3412 and the FD drive 3411, and a program such as a bootup program. ROM 3415 for connection, MPU 3413, RAM 3416 for temporarily storing application program instructions and providing a temporary storage space, and hard disk 3417 for storing application programs, system programs, and data . Although not shown here, the computer 341 may further include a network card that provides connection to the LAN.
コンピュータシステム３４０に、上述した実施の形態の画像処理装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。 A program that causes the computer system 340 to execute the functions of the image processing apparatus and the like of the above-described embodiment is stored in the CD-ROM 3501 or the FD 3502, inserted into the CD-ROM drive 3412 or the FD drive 3411, and further the hard disk 3417. May be transferred to. Alternatively, the program may be transmitted to the computer 341 via a network (not shown) and stored in the hard disk 3417. The program is loaded into the RAM 3416 at the time of execution. The program may be loaded directly from the CD-ROM 3501, the FD 3502, or the network.
プログラムは、コンピュータ３４１に、上述した実施の形態の画像処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。 The program does not necessarily include an operating system (OS) or a third-party program that causes the computer 341 to execute the functions of the image processing apparatus according to the above-described embodiment. The program only needs to include an instruction portion that calls an appropriate function (module) in a controlled manner and obtains a desired result. How the computer system 340 operates is well known and will not be described in detail.
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。 In the above program, in the transmission step for transmitting information, the reception step for receiving information, etc., processing performed by hardware, for example, processing performed by a modem or an interface card in the transmission step (only performed by hardware). Not included) is not included.
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。 Further, the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。 In each of the above embodiments, each process (each function) may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 The present invention is not limited to the above-described embodiments, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.
以上のように、本発明にかかる画像処理装置は、カラー画像の類似度の精度の高い検出が可能となる、という効果を有し、半導体ウエハの欠陥検査装置等として有用である。 As described above, the image processing apparatus according to the present invention has an effect that the color image similarity can be detected with high accuracy, and is useful as a semiconductor wafer defect inspection apparatus or the like.
１ 画像処理装置
２ 撮影装置
３ 表示装置
１１ 基準画像格納部
１２ 対象画像受付部
１３ 色成分取得部
１４ 方向符号値算出部
１５ 類似度算出部
１６ 類似度出力部
１７ 閾値格納部
１８ 判断部
１９ 出力部
２１ カメラ
２２ 変換器
２２ Ｄ変換器
２３ カメラコントローラ
２３ 下記数式
２４ Ａ変換器
２５ フレームメモリ
１３１ ＲＧＢ取得手段
１３２ ＸＹＺ取得手段
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Imaging device 3 Display apparatus 11 Reference | standard image storage part 12 Target image reception part 13 Color component acquisition part 14 Direction code value calculation part 15 Similarity degree calculation part 16 Similarity degree output part 17 Threshold value storage part 18 Judgment part 19 Output Unit 21 camera 22 converter 22 D converter 23 camera controller 23 following formula 24 A converter 25 frame memory 131 RGB acquisition means 132 XYZ acquisition means
Claims (6)
比較の対象となるカラー画像である対象画像を受け付ける対象画像受付部と、
前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得部と、
前記色成分取得部が取得した各画素の色成分ごとに、方向符号値を算出する方向符号値算出部と、
前記方向符号値算出部が算出した１以上の方向符号値の集合であり、前記基準画像の全体または一部の各画素に対する１以上の方向符号値の集合と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素に対する１以上の方向符号値の集合との類似度を算出する類似度算出部と、
前記類似度算出部が算出した類似度を出力する類似度出力部を具備する画像処理装置。 A reference image storage unit that can store a reference image that is a color image to be compared;
A target image receiving unit that receives a target image that is a color image to be compared;
Color component acquisition for acquiring two or more color components for each pixel of the whole or a part of the reference image and each pixel of the part of the target image corresponding to the whole of the target image or a part of the reference image And
A direction code value calculation unit that calculates a direction code value for each color component of each pixel acquired by the color component acquisition unit;
A set of one or more directional code values calculated by the directional code value calculating unit, a set of one or more directional code values for each pixel of the whole or part of the reference image, and the whole of the target image or the reference A similarity calculation unit that calculates a similarity with a set of one or more direction code values for each pixel of a part of the target image corresponding to a part of the image;
An image processing apparatus comprising a similarity output unit that outputs the similarity calculated by the similarity calculation unit.
前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、３つの色成分を取得する請求項１記載の画像処理装置。 The color component acquisition unit
The three color components are acquired for each pixel of the whole or a part of the reference image and each pixel of the part of the target image corresponding to the whole of the target image or a part of the reference image. Image processing apparatus.
前記基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、ＲＧＢの３つの各色成分の値を取得するＲＧＢ取得手段と、
前記各画素について、前記ＲＧＢ取得手段が取得したＲＧＢの３つの各色成分の値を用いて、ＸＹＺ表色系の３つの各色成分の値を取得するＸＹＺ取得手段を具備し、
前記方向符号値算出部は、
前記色成分取得部が取得した各画素のＸＹＺ表色系の３つの各色成分ごとに、方向符号値を算出する請求項２記載の画像処理装置。 The color component acquisition unit
The values of the three color components of RGB are acquired for each pixel of the whole or part of the reference image and each pixel of the part of the target image corresponding to the whole of the target image or part of the reference image. RGB acquisition means;
XYZ acquisition means for acquiring the values of the three color components of the XYZ color system using the values of the three color components of RGB acquired by the RGB acquisition means for each pixel,
The direction code value calculation unit
The image processing apparatus according to claim 2, wherein a direction code value is calculated for each of the three color components of the XYZ color system of each pixel acquired by the color component acquisition unit.
前記対象画像は、欠陥の有無を判断される対象となるカラー画像であり、
欠陥の有無を判断するための閾値を格納している閾値格納部と、
前記類似度出力部から類似度を受け付け、当該類似度と閾値を比較して、前記対象画像の欠陥の有無を判断し、判断結果を取得する判断部と、
前記判断結果を出力する出力部をさらに具備する請求項１記載の画像処理装置。 The reference image is a normal color image;
The target image is a color image to be determined for the presence or absence of defects,
A threshold storage unit storing a threshold for determining the presence or absence of a defect;
A determination unit that receives the similarity from the similarity output unit, compares the similarity with a threshold value, determines the presence or absence of a defect in the target image, and obtains a determination result;
The image processing apparatus according to claim 1, further comprising an output unit that outputs the determination result.
前記対象画像受付部により、比較の対象となるカラー画像である対象画像を受け付ける対象画像受付ステップと、
前記色成分取得部により、比較の元となるカラー画像である基準画像を記憶媒体から読み出し、当該基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得ステップと、
前記方向符号値算出部により、前記色成分取得ステップで取得された各画素の色成分ごとに、方向符号値を算出する方向符号値算出ステップと、
前記類似度算出部により、前記方向符号値算出ステップで算出された１以上の方向符号値の集合であり、前記基準画像の全体または一部の各画素に対する１以上の方向符号値の集合と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素に対する１以上の方向符号値の集合との類似度を算出する類似度算出ステップと、
前記類似度出力部により、前記類似度算出ステップで算出された類似度を出力する類似度出力ステップを具備する画像処理方法。 An image processing method realized using a target image reception unit, a color component acquisition unit, a direction code value calculation unit, a similarity calculation unit, and a similarity output unit,
A target image receiving step of receiving a target image which is a color image to be compared by the target image receiving unit;
The color component acquisition unit reads out a reference image, which is a color image as a comparison source, from a storage medium, and adds the entire or part of the reference image to the entire target image or a part of the reference image. A color component acquisition step of acquiring two or more color components for each pixel of a part of the corresponding target image;
A direction code value calculating step for calculating a direction code value for each color component of each pixel acquired in the color component acquiring step by the direction code value calculating unit;
A set of one or more directional code values calculated in the directional code value calculating step by the similarity calculation unit, and a set of one or more directional code values for each pixel of the whole or a part of the reference image; A similarity calculation step of calculating a similarity with a set of one or more direction code values for each pixel of a part of the target image corresponding to the whole of the target image or a part of the reference image;
An image processing method comprising a similarity output step of outputting the similarity calculated in the similarity calculation step by the similarity output unit.
比較の対象となるカラー画像である対象画像を受け付ける対象画像受付部と、
比較の元となるカラー画像である基準画像を記憶媒体から読み出し、当該基準画像の全体または一部の各画素と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素について、２以上の色成分を取得する色成分取得部と、
前記色成分取得部が取得した各画素の色成分ごとに、方向符号値を算出する方向符号値算出部と、
前記方向符号値算出部が算出した１以上の方向符号値の集合であり、前記基準画像の全体または一部の各画素に対する１以上の方向符号値の集合と、前記対象画像の全体または前記基準画像の一部に対応する前記対象画像の一部の各画素に対する１以上の方向符号値の集合との類似度を算出する類似度算出部と、
前記類似度算出部が算出した類似度を出力する類似度出力部として機能させるためのプログラム。 Computer
A target image receiving unit that receives a target image that is a color image to be compared;
A reference image, which is a color image as a basis for comparison, is read from a storage medium, and each pixel of the whole or a part of the reference image and one of the object images corresponding to the whole of the object image or a part of the reference image. A color component acquisition unit that acquires two or more color components for each pixel of the unit;
A direction code value calculation unit that calculates a direction code value for each color component of each pixel acquired by the color component acquisition unit;
A set of one or more directional code values calculated by the directional code value calculating unit, a set of one or more directional code values for each pixel of the whole or part of the reference image, and the whole of the target image or the reference A similarity calculation unit that calculates a similarity with a set of one or more direction code values for each pixel of a part of the target image corresponding to a part of the image;
A program for functioning as a similarity output unit that outputs the similarity calculated by the similarity calculation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008054324A JP2009211455A (en) | 2008-03-05 | 2008-03-05 | Image processor, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008054324A JP2009211455A (en) | 2008-03-05 | 2008-03-05 | Image processor, image processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009211455A true JP2009211455A (en) | 2009-09-17 |
Family
ID=41184525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008054324A Pending JP2009211455A (en) | 2008-03-05 | 2008-03-05 | Image processor, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009211455A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110865911A (en) * | 2019-10-23 | 2020-03-06 | 广州视源电子科技股份有限公司 | Image testing method and device, storage medium, image acquisition card and upper computer |
-
2008
- 2008-03-05 JP JP2008054324A patent/JP2009211455A/en active Pending
Non-Patent Citations (2)
| Title |
|---|
| CSNG200700839006, 本田 匠 Ｔａｋｕｍｉ Ｈｏｎｄａ, "カラー方向符号照合法に基づく半導体ウェハの欠陥検出 Ｕｓｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ ｃｏｄｅ ｔｈａｔ ｕｓｅｄ ｃｏｌｏｒ ｉｎｆｏｒｍａｔｉ", 電気学会研究会資料 Ｔｈｅ Ｐａｐｅｒｓ ｏｆ Ｊｏｉｎｔ Ｔｅｃｈｎｉｃａｌ Ｍｅｅｔｉｎｇ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ, 20070812, 情報処理研究会 ＩＰ−０７−２２〜３０, ｐｐ．３１〜３４, JP, 社団法人電気学会 Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉ * |
| JPN6011006102, 本田 匠 Ｔａｋｕｍｉ Ｈｏｎｄａ, "カラー方向符号照合法に基づく半導体ウェハの欠陥検出 Ｕｓｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ ｃｏｄｅ ｔｈａｔ ｕｓｅｄ ｃｏｌｏｒ ｉｎｆｏｒｍａｔｉ", 電気学会研究会資料 Ｔｈｅ Ｐａｐｅｒｓ ｏｆ Ｊｏｉｎｔ Ｔｅｃｈｎｉｃａｌ Ｍｅｅｔｉｎｇ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ, 20070812, 情報処理研究会 ＩＰ−０７−２２〜３０, ｐｐ．３１〜３４, JP, 社団法人電気学会 Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉ * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110865911A (en) * | 2019-10-23 | 2020-03-06 | 广州视源电子科技股份有限公司 | Image testing method and device, storage medium, image acquisition card and upper computer |
| CN110865911B (en) * | 2019-10-23 | 2024-03-05 | 广州视源电子科技股份有限公司 | Image testing method, device, storage medium, image acquisition card and upper computer |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7916905B2 (en) | System and method for image facial area detection employing skin tones | |
| JP5815878B2 (en) | Print defect detection | |
| JP2017201518A (en) | Image processing apparatus and image processing method | |
| US9336599B2 (en) | Determining proximity of a mobile device to a subject based on shadow analysis | |
| CN107018407B (en) | Information processing device, evaluation chart, evaluation system, and performance evaluation method | |
| US20060067569A1 (en) | Image inspection device, image inspection method, and image inspection program | |
| KR100734935B1 (en) | Area segmentation of an image | |
| WO2016114148A1 (en) | Image-processing device, image-processing method, and recording medium | |
| US8625896B2 (en) | Image matting | |
| JP5242248B2 (en) | Defect detection apparatus, defect detection method, defect detection program, and recording medium | |
| US9355466B2 (en) | Image processing apparatus, image processing system, image processing method, and storage medium | |
| US7340104B2 (en) | Correction parameter determining method, correction parameter determining apparatus, computer program, and recording medium | |
| JP4831340B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2010074672A (en) | Image processor, image processing method, and image processing program | |
| CN112203080B (en) | Resolution testing method, device and storage medium | |
| JP2009211455A (en) | Image processor, image processing method and program | |
| JP6777507B2 (en) | Image processing device and image processing method | |
| JP7030425B2 (en) | Image processing device, image processing method, program | |
| JP2005316550A (en) | Image processor, image reader, image inspection device and program | |
| JP2015176252A (en) | Image processor and image processing method | |
| JP2004185183A (en) | Image correction device, character recognition method, and image correction program | |
| JP6798690B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP2007025901A (en) | Image processor and image processing method | |
| US20190065914A1 (en) | Image processing device, setting support method, and non-transitory computer-readable media | |
| JP7321738B2 (en) | Image processing device, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110712 |