JP4418272B2 - Defect classification dictionary teaching device - Google Patents
Defect classification dictionary teaching device Download PDFInfo
- Publication number
- JP4418272B2 JP4418272B2 JP2004086833A JP2004086833A JP4418272B2 JP 4418272 B2 JP4418272 B2 JP 4418272B2 JP 2004086833 A JP2004086833 A JP 2004086833A JP 2004086833 A JP2004086833 A JP 2004086833A JP 4418272 B2 JP4418272 B2 JP 4418272B2
- Authority
- JP
- Japan
- Prior art keywords
- defect
- classification
- test image
- feature amount
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、半導体ウェハや液晶パネル等の製造工程で生じる欠陥を画像処理により分類する際に分類の基準となる欠陥分類辞書を調整する欠陥分類辞書調整装置及びその方法並びにコンピュータプログラムに関する。 The present invention relates to a defect classification dictionary adjustment apparatus and method, and a computer program for adjusting a defect classification dictionary as a classification reference when defects generated in a manufacturing process of a semiconductor wafer, a liquid crystal panel, and the like are classified by image processing.
半導体ウェハや液晶パネル等の製造では、成膜、レジスト塗布、露光、現像、エッチング、レジスト剥離といった工程を複数回繰り返すことで、多層の配線パターンを形成する。それらの製造工程を経て完成する製品の歩留まりを向上するためには、欠陥の早期発見や製造工程の最適化が必須項目である。
このため従来から、実際のパターンが形成されるエッチング工程前に、対象物の外観検査を行い、欠陥の検出、不良品の選別を行うと共に、欠陥の種類を判別して、その情報を製造工程にフィードバックする取り組みがなされている。
従来の技術において、欠陥の種類を分類し判定する装置及び方法として特許文献1に記載の欠陥分類装置や特許文献2に記載の欠陥分類方法等がある。
特許文献1に示す欠陥分類装置では、半導体ウェハ等の被検体の画像から幾つかの項目ごとの特徴量を抽出し、過去の検査過程で得られた経験や知識に基づいて、特徴量の項目ごとに判断基準となるメンバーシップ関数を設定し、特徴量レベルを検出して、ファジー推論によって被検体を分類している。
特許文献2に示す欠陥分類方法にあっては、予め撮像した欠陥画像から統計的な手法に基づいて、分類する際の基準となる教示データを作成し、教示データに基づいて被検体を分類している。
For this reason, conventionally, before the etching process in which the actual pattern is formed, the appearance of the object is inspected, the defect is detected, the defective product is selected, the type of the defect is determined, and the information is provided in the manufacturing process. Efforts are being made to provide feedback.
In the prior art, there are a defect classification device described in
In the defect classification apparatus shown in
In the defect classification method shown in
特許文献1に記載の欠陥分類装置にあっては、ある1つの被検体から一般的な画像処理である粒子解析によって幾つかの特徴量を抽出し、特徴量ごとのメンバーシップ関数の結果から推論プロセスにより欠陥に該当するかどうかを判定している。そのため、1つのメンバーシップ関数を調整した場合に、他の被検体に影響が及ぶ場合もある。しかしながら、特許文献1には特徴量レベル(閾値)を調整する具体的な手段が示されていないため、実際の検査工程において調整を行うことが困難であるという問題がある。
また、特許文献2の欠陥分類方法にあっては、分類する際の基準となる教示データを作成する際に、予め撮像した欠陥画像を用いており、基準を調整する際には、新たに欠陥画像を追加して分類辞書を調整しなければならないという問題がある。
In the defect classification apparatus described in
In addition, in the defect classification method of
本発明は、上記問題を解決すべくなされたもので、その目的は、欠陥分類辞書を調製する際に、新たな欠陥画像を用いることなく分類基準を調整することができ、また、特徴量レベルの調整を容易にすることを可能にする欠陥分類辞書調整装置を提供することにある。 The present invention has been made to solve the above-mentioned problems, and its purpose is to adjust the classification criteria without using a new defect image when preparing a defect classification dictionary, and to provide a feature level. It is an object of the present invention to provide a defect classification dictionary adjustment device that makes it easy to make adjustments.
上述した課題を解決するために、本発明は、予め撮像したテスト画像を記憶するテスト画像記憶部と、前記テスト画像から特徴量抽出手段によって抽出した複数の特徴量に基づいて前記テスト画像が含む欠陥の種類を判別する分類処理手段と、を備えた欠陥分類辞書教示装置において、前記テスト画像の特徴量が欠陥種別として分類される範囲に含まれるかを決定する閾値の値を記憶する分類辞書記憶部と、前記欠陥種別のモデルとなる形状を表す欠陥モデル画像のデータを記憶する欠陥モデル画像記憶部と、ユーザが入力部において入力した閾値調整指示を送信する特徴量閾値調整部と、前記閾値調整指示を受信した場合に、前記欠陥モデル画像が表す形状が調整後の前記閾値によって該当する前記欠陥種別に含まれるように前記形状を変化させる分類辞書教示手段と、前記欠陥種別の名称と対応する前記欠陥モデル画像のデータを前記分類辞書教示手段から受信し、前記欠陥モデル画像を画面に表示する欠陥モデル画像表示手段と、を備えたことを特徴とする欠陥分類辞書教示装置である。 In order to solve the above-described problem, the present invention includes a test image storage unit that stores a test image captured in advance, and the test image based on a plurality of feature amounts extracted from the test image by a feature amount extraction unit. A classification dictionary for storing a threshold value for determining whether or not the feature quantity of the test image is included in a range classified as a defect type in a defect classification dictionary teaching apparatus comprising: a classification processing unit for determining a defect type A storage unit, a defect model image storage unit that stores data of a defect model image representing a shape to be a model of the defect type, a feature amount threshold adjustment unit that transmits a threshold adjustment instruction input by a user in the input unit, and When a threshold adjustment instruction is received, the shape is changed so that the shape represented by the defect model image is included in the corresponding defect type according to the adjusted threshold. Classification dictionary teaching means, and defect model image display means for receiving the defect model image data corresponding to the defect type name from the classification dictionary teaching means and displaying the defect model image on a screen. This is a defect classification dictionary teaching device.
また、本発明は、予め撮像したテスト画像を記憶するテスト画像記憶部と、前記テスト画像から特徴量抽出手段によって抽出した複数の特徴量に基づいて前記テスト画像が含む欠陥の種類を判別する分類処理手段と、前記テスト画像の特徴量が欠陥種別として分類される範囲に含まれるかを決定する閾値の値を記憶する分類辞書記憶部と、前記欠陥種別のモデルとなる形状を表す欠陥モデル画像のデータを記憶する欠陥モデル画像記憶部と、ユーザが入力部から入力した閾値調整指示を送信する特徴量閾値調整部と、ユーザが入力部から入力した欠陥種別特徴量設定指示を送信する欠陥種別特徴量設定部と、ユーザが入力部から入力した代表特徴量設定指示を送信する代表特徴量設定部と、を備えた欠陥分類辞書教示装置の欠陥分類辞書教示方法であって、前記閾値調整指示を受信した場合に、前記欠陥モデル画像が表すモデルの形状が調整後の前記閾値によって該当する前記欠陥種別に含まれるように前記形状を変化させる過程と、前記欠陥種別の名称と対応する前記欠陥モデル画像を画面に表示する過程と、を備えたことを特徴とする欠陥分類辞書教示方法である。 The present invention also provides a test image storage unit that stores a test image captured in advance, and a classification that determines the type of defect included in the test image based on a plurality of feature amounts extracted from the test image by a feature amount extraction unit. A processing unit, a classification dictionary storage unit for storing a threshold value for determining whether or not the feature amount of the test image is included in a range classified as a defect type, and a defect model image representing a shape as a model of the defect type A defect model image storage unit that stores data of the above, a feature amount threshold adjustment unit that transmits a threshold adjustment instruction input by the user from the input unit, and a defect type that transmits a defect type feature amount setting instruction input by the user from the input unit A defect classification dictionary teaching of a defect classification dictionary teaching device comprising: a feature amount setting unit; and a representative feature amount setting unit that transmits a representative feature amount setting instruction input by a user from an input unit A step of changing the shape so that the shape of the model represented by the defect model image is included in the defect type corresponding to the adjusted threshold when the threshold adjustment instruction is received; A defect classification dictionary teaching method comprising: displaying a defect model image corresponding to a defect type name on a screen.
また、本発明は、予め撮像したテスト画像を記憶するテスト画像記憶部と、前記テスト画像から特徴量抽出手段によって抽出した複数の特徴量に基づいて前記テスト画像が含む欠陥の種類を判別する分類処理手段と、前記テスト画像の特徴量が欠陥種別として分類される範囲に含まれるかを決定する閾値の値を記憶する分類辞書記憶部と、前記欠陥種別のモデルとなる形状を表す欠陥モデル画像のデータを記憶する欠陥モデル画像記憶部と、ユーザが入力部から入力した閾値調整指示を送信する特徴量閾値調整部と、ユーザが入力部から入力した欠陥種別特徴量設定指示を送信する欠陥種別特徴量設定部と、ユーザが入力部から入力した代表特徴量設定指示を送信する代表特徴量設定部と、を備えた欠陥分類辞書教示装置のコンピュータを、前記特徴量閾値調整部から前記閾値調整指示を受信した場合に、前記欠陥モデル画像が表すモデルの形状が調整後の前記閾値によって該当する欠陥種別に含まれるように前記形状を変化させる手段、前記欠陥種別の名称と対応する前記欠陥モデル画像を画面に表示する手段、として機能させるコンピュータプログラムである。 The present invention also provides a test image storage unit for storing a test image captured in advance, and a classification for determining the type of defect included in the test image based on a plurality of feature amounts extracted from the test image by a feature amount extraction unit. A processing unit, a classification dictionary storage unit for storing a threshold value for determining whether or not the feature amount of the test image is included in a range classified as a defect type, and a defect model image representing a shape as a model of the defect type A defect model image storage unit that stores data of the above, a feature amount threshold adjustment unit that transmits a threshold adjustment instruction input by the user from the input unit, and a defect type that transmits a defect type feature amount setting instruction input by the user from the input unit A defect classification dictionary teaching apparatus computer comprising: a feature amount setting unit; and a representative feature amount setting unit that transmits a representative feature amount setting instruction input by a user from an input unit. Means for changing the shape so that the shape of the model represented by the defect model image is included in the corresponding defect type according to the adjusted threshold when the threshold adjustment instruction is received from the feature amount threshold adjustment unit; It is a computer program that functions as means for displaying the defect model image corresponding to the defect type name on the screen.
この発明によれば、特徴量の閾値、即ち特徴量レベルを調整する際に、その調整に合わせて欠陥の種類を視覚的に表す欠陥モデル画像を変形させる構成になっている。そのため、特徴量レベルを調整した際の各欠陥種別への影響度合いを視覚的に把握することができる。それによって、検査者の特徴量レベルの調整の作業負担を軽減することができる効果がある。 According to the present invention, when the threshold value of the feature amount, that is, the feature amount level is adjusted, the defect model image that visually represents the type of the defect is deformed in accordance with the adjustment. Therefore, it is possible to visually grasp the degree of influence on each defect type when the feature amount level is adjusted. As a result, there is an effect that it is possible to reduce the burden of adjusting the feature amount level of the inspector.
以下、本発明の一実施形態による欠陥分類辞書教示装置1を図面を参照して説明する。
図1は、この発明の一実施形態による欠陥分類辞書教示装置1の構成を示す概略ブロック図である。同図において、欠陥分類辞書教示装置1は、例えば、パーソナルコンピュータで動作するソフトウェアによって構築する。
メモリもしくはハードディスクからなる記憶部14には、分類辞書記憶部7と欠陥モデル画像記憶部8とテスト画像記憶部9を備えている。分類辞書記憶部7は、テスト画像が欠陥を含むか否かを判別する際の基準となる特徴量レベルを記憶する。欠陥モデル画像記憶部8は、分類辞書記憶部7が記憶している特徴量レベルによって欠陥と分類される代表的な形状の画像データを記憶する。テスト画像記憶部9は、欠陥分類の対象となる半導体ウェハ等を撮像した画像データ等を記憶する。
次に、入力部12について説明する。特徴量閾値調整部2は、パーソナルコンピュータの画面上にGUI(Graphical User Interface)として備えられている。欠陥分類辞書教示装置1の利用者は、マウス等で特徴量パラメータごとの特徴量レベルを調整することができる。そして、調整した特徴量レベルの情報を閾値調整指示として処理部13に送信する。欠陥種別特徴量設定部3は、例えばGUI上のボタンであり、操作者がマウス等で欠陥種別特徴量設定部3を選択することにより、処理部13に欠陥種別特徴量設定指示を送信する。代表特徴量設定部4は、例えばGUI上のボタンであり、操作者がマウス等で代表特徴量設定部4を選択することにより、処理部13に代表特徴量設定指示を送信する。
画面上には、その他に表示部15として欠陥モデル画像表示手段10とテスト画像分類表示手段11によって画像を表示する領域が備えられている。欠陥モデル画像表示手段10は、欠陥モデル画像記憶部8が記憶している欠陥モデル画像を画面上の該当する領域に表示する。テスト画像分類表示手段11は、テスト画像記憶部9が記憶しているテスト画像を表示し、テスト画像ごとの特徴量に基づく分類が行われたときは、分類結果を反映して表示する。
処理部13は、分類辞書教示手段5と分類処理手段6を備えている。分類辞書教示手段5は、分類辞書記憶部7から特徴量レベルのデータを読み出し、特徴量パラメータごとのレベルの設定を特徴量閾値調整部2に反映する。また、欠陥モデル画像記憶部8から欠陥モデル画像を読み出し、欠陥モデル画像表示手段10が受信して画像を画面に表示する。特徴量閾値調整部2から閾値調整指示を受信した場合には、分類辞書記憶部7から読み出した特徴量レベルのデータを調整し、欠陥モデル画像が該当する欠陥として分類されるように画像処理を施す。欠陥種別特徴量設定部3から、欠陥種別特徴量設定指示を受信した場合には、選択されているテスト画像が選択したある1つの欠陥種別に含まれるように特徴量レベルを自動的に調整する。代表特徴量設定部4から、代表特徴量設定指示を受信した場合には、予め欠陥種別への対応付けがされているテスト画像の全てがそれぞれの対応する欠陥種別に含まれるように特徴量レベルを自動的に調整する。
欠陥モデル画像表示手段10は画像処理が施された画像を画面に表示する。そして、分類辞書記憶部7に、調整後の特徴量レベルを保存する。
分類処理手段6は、テスト画像記憶部9からテスト画像を読み出して、テスト画像分類表示手段11にテスト画像を表示させる。そして、検査者の指示に基づいて、分類辞書教示手段5から特徴量レベルを受信し、テスト画像を特徴量レベルに従って分類する。テスト画像分類表示手段11は表示中のテスト画像の色等を変更することによって分類結果を反映する。
Hereinafter, a defect classification
FIG. 1 is a schematic block diagram showing a configuration of a defect classification
A storage unit 14 including a memory or a hard disk includes a classification
Next, the input unit 12 will be described. The feature amount
In addition, an area for displaying an image by the defect model image display means 10 and the test image classification display means 11 is provided as a display unit 15 on the screen. The defect model image display means 10 displays the defect model image stored in the defect model image storage unit 8 in a corresponding area on the screen. The test image classification display means 11 displays the test image stored in the test
The processing unit 13 includes a classification
The defect model image display means 10 displays an image subjected to image processing on the screen. Then, the adjusted feature amount level is stored in the classification
The
図2から図8を参照して、上記の分類処理手段6において行う分類処理について説明する(特許文献1参照)。
図2は、分類処理の前に予めテスト画像記憶部9に保存する半導体ウェハの欠陥の種類を示した図である。同図において、(A)〜(H)は、マクロ検査における主な欠陥例を示す図である。レジスト塗付工程では、例えばコーター装置を用いてウェハ中央部に塗付素材(液状)を滴下し、そこを中心にウェハを回転させることで、ウェハ全面へのレジスト塗布を行う。同工程で発生する欠陥には以下のようなものがある。
塗付ムラ1(A):滴下がうまく行かず、飛び散った場合や、塗付素材の粘性が適切でなく回転時にスムーズに伸びない場合などは、回転中心に対し放射状にムラが生じる。
塗付ムラ2(B):ウェハ上に異物が付着すると、その部分から外側にかけて塗付素材がスムーズに流れなくなり、彗星形状にムラが生じる。
塗付ムラ3(C):(B)と同様に異物が付着した際、塗付素材の粘性具合、塗付時の回転速度によっては、螺旋状にムラが生じる。
露光工程では、レジスト塗付後のウェハにパターンを形成するため、所定の露光区画単位で転写を行う。代表的な装置にステッパがある。同工程で発生する欠陥には以下のようなものがある。
露光不良1(D):露光区画単位でフォーカスがずれることにより、その区画が他の区画と異なる表面状態となる(パターンがだれる)。
露光不良2(E):露光機が傾き、露光区画内で部分的にフォーカスがずれたままステップを続けることにより、ステップ単位の周期で通常と異なる表面状態が生じる。
露光不良3(F):露光されるレジスト膜の裏側に異物が混入することにより、部分的にレジスト膜が盛り上がり、その部分でフォーカスがずれることにより、他と異なる表面状態となる。
上記の各工程に代表される欠陥の他にもキズ(G)塵、埃の付着(H)等の欠陥がある。
With reference to FIG. 2 to FIG. 8, the classification process performed in the classification processing means 6 will be described (see Patent Document 1).
FIG. 2 is a diagram showing the types of semiconductor wafer defects stored in the test
Coating unevenness 1 (A): When the dripping does not go well and scatters, or when the viscosity of the coating material is not appropriate and does not stretch smoothly during rotation, unevenness occurs radially with respect to the center of rotation.
Coating unevenness 2 (B): When a foreign substance adheres to the wafer, the coating material does not flow smoothly from the portion to the outside, and the comet shape is uneven.
Coating unevenness 3 (C): When a foreign substance adheres as in (B), unevenness occurs spirally depending on the viscosity of the coating material and the rotation speed during coating.
In the exposure step, transfer is performed in units of predetermined exposure sections in order to form a pattern on the resist-coated wafer. A typical device is a stepper. The following defects are generated in the same process.
Exposure defect 1 (D): When the focus shifts in units of exposure sections, the sections are in a different surface state from other sections (patterns are blurred).
Exposure defect 2 (E): The exposure machine is tilted and the step is continued while the focus is partially deviated in the exposure section, so that a surface condition different from normal occurs in a cycle of step unit.
Exposure defect 3 (F): The foreign matter enters the back side of the resist film to be exposed, so that the resist film partially rises and the focus is shifted at that portion, resulting in a surface state different from the others.
In addition to the defects typified by the above steps, there are defects such as scratches (G) dust and dust adhesion (H).
図3は、欠陥分類辞書教示装置1の分類処理手段6が行うテスト画像の分類処理について示したフローチャートである。入力となる画像には、多値画像である実際の外観を示したテスト画像である検査画像と、テスト画像と良品ウェハ画像の比較等により検出された欠陥画像を明、他を暗として2値画像である欠陥検出画像がある。
欠陥検出画像と検査画像を取得(ステップS1)した後、検出領域単体での特徴量の抽出を行う(ステップS2)。次に、複数領域の配置形状による特徴量を抽出し、この特徴量を、配置形状を構成する各検出領域に付加する(ステップS3)。その後、検出領域単体で抽出した特徴量の情報と欠陥検出画像を基に、各検出領域の形状に適応的な構造要素を用いて膨張処理を行い、領域を連結した画像(以後、連結領域画像と記す)を作成する(ステップS4)。連結領域画像は、ステップS2で行った特徴量抽出処理を、連結領域画像を対象として行う。この特徴量を、連結領域を構成する各検出領域に付加する(ステップS5)。ステップS2,S3,S5により得られた特徴量と設定されている分類ルールに基づき、各欠陥種の可能性値を推論し、欠陥種の判別を行う(ステップS6)。ステップS6の結果を基に、欠陥種が確定した領域を欠陥検出画像より除外する(ステップS7)。ステップS7の結果、全ての領域が除外された場合には、全ての検出領域の欠陥種が確定しているので、処理は終了する。欠陥検出画像に領域が残った場合には、この画像を基に再度ステップS3〜S7のステップを繰り返す。画像が異なるため、配置形状による特徴量や連結領域の特徴量が異なる。つまり確定した領域を除くことで、より正確な特徴量を抽出し、これに基づき推論、判別を行える。
FIG. 3 is a flowchart showing test image classification processing performed by the classification processing means 6 of the defect classification
After acquiring the defect detection image and the inspection image (step S1), the feature amount is extracted from the detection area alone (step S2). Next, a feature quantity based on the arrangement shape of a plurality of areas is extracted, and this feature quantity is added to each detection area constituting the arrangement shape (step S3). After that, based on the feature amount information extracted from the detection area alone and the defect detection image, an expansion process is performed using a structural element suitable for the shape of each detection area, and the images obtained by connecting the areas (hereinafter, connected area images). (Step S4). For the connected area image, the feature amount extraction processing performed in step S2 is performed on the connected area image. This feature amount is added to each detection area constituting the connected area (step S5). Based on the feature values obtained in steps S2, S3, and S5 and the set classification rule, the possibility value of each defect type is inferred to determine the defect type (step S6). Based on the result of step S6, the region where the defect type is determined is excluded from the defect detection image (step S7). If all the regions are excluded as a result of step S7, the defect types of all the detection regions are determined, and the process ends. If an area remains in the defect detection image, steps S3 to S7 are repeated again based on this image. Since the images are different, the feature amount according to the arrangement shape and the feature amount of the connected region are different. That is, by removing the determined region, a more accurate feature amount can be extracted, and inference and discrimination can be performed based on this.
図4は、図3のステップS2及びS5で行った特徴量の抽出処理の詳細を説明するためのフローチャートである。欠陥検出画像内の検出された複数の領域をラベリングする(ステップS10)。検出領域の位置特徴(重心位置、外接矩形位置)を算出する(ステップS11)。検出領域の形状特徴(面積、円径度、最大最小フェレ径比(≧1)、主軸角)を算出する(ステップS12)。検出領域の輝度特徴(平均、分散)を算出する(ステップS13)。検出領域ごとの特徴量リストを作成する(ステップS14)。
なお、上記ステップS10、S11、S12、S13で示される一連の処理は、粒子解析(またはブロブ解析)と呼ばれる一般的な画像処理手法である。
FIG. 4 is a flowchart for explaining the details of the feature amount extraction processing performed in steps S2 and S5 of FIG. A plurality of detected areas in the defect detection image are labeled (step S10). The position characteristics (center of gravity position, circumscribed rectangle position) of the detection area are calculated (step S11). The shape characteristics (area, circularity, maximum / minimum ferret diameter ratio (≧ 1), spindle angle) of the detection region are calculated (step S12). Luminance characteristics (average, variance) of the detection area are calculated (step S13). A feature quantity list for each detection area is created (step S14).
The series of processing shown in steps S10, S11, S12, and S13 is a general image processing technique called particle analysis (or blob analysis).
図5は、図3のステップ4での領域連結の処理を説明するためのフローチャートである。連結領域画像を対象とした特徴量の抽出処理で得た特徴量を利用し、以下の手順に従って、各検出領域を連結した連結領域画像を作成する。
各領域の最大最小フェレ径比を基に、その領域に対する膨張処理用の構造要素を選択する。最大最小フェレ径比が、ある閾値以上かどうかを判断し(ステップS20)、YESならば方向性をもつ領域と見做し、細線形の構造要素を選択する(ステップS21)。また、ステップS20での判断がNO、すなわち、閾値より小さければ円径の構造要素を選択する(ステップS23)。なお、円径度を利用して上記の選択を行ってもよい。細線形の構造要素を選択した場合には、更にその領域の主軸方向に細線形の方向をあわせる(ステップS22)。選択された構造要素を用いて膨張処理(ステップS24)を行い、連結領域画像を作成する。ここでの膨張処理は、モフォロジー処理と呼ばれる一般的な画像処理手法の一つであり、膨張の結果、重なり合った領域は連結されることになる。膨張の処理回数は撮像系、被検体の諸条件、各構造要素のサイズに基づいて設定する。全ての検出領域に対して判定がなされたと判断された場合には処理を終了する(ステップS25)。
上記手順により、検出領域形状に適応的な構造要素で膨張処理を行うことで、方向性をもつ領域は長手方向に、その他は放射方向に膨張、連結することができる。また、膨張後の領域形状を基に構造要素を再決定して、収縮処理を行えば、より良好な領域連結も可能となる。
作成された連結領域画像は、図4で示した特徴量抽出の処理に基づいて特徴量が算出され、算出した特徴を、それぞれの構成パーツとなる連結する前の単体の検出領域に付加して、検出領域ごとの特徴量リストを作成する。
FIG. 5 is a flowchart for explaining the region connection processing in
Based on the maximum / minimum ferret diameter ratio of each region, a structural element for expansion processing for that region is selected. It is determined whether the maximum / minimum ferret diameter ratio is equal to or greater than a certain threshold value (step S20). If the determination in step S20 is NO, that is, if it is smaller than the threshold value, a structural element having a circular diameter is selected (step S23). Note that the above selection may be performed using the circularity. When the fine linear structural element is selected, the fine linear direction is further aligned with the principal axis direction of the region (step S22). Expansion processing (step S24) is performed using the selected structural element to create a connected region image. The expansion processing here is one of general image processing methods called morphology processing, and overlapping regions are connected as a result of expansion. The number of expansion processes is set based on the imaging system, various conditions of the subject, and the size of each structural element. If it is determined that all the detection areas have been determined, the process ends (step S25).
By performing the expansion process with the structural element suitable for the shape of the detection region by the above procedure, the directional region can be expanded and connected in the longitudinal direction and the others in the radial direction. Further, if the structural elements are redetermined on the basis of the region shape after expansion and the contraction process is performed, better region connection is possible.
In the created connected area image, the feature amount is calculated based on the feature amount extraction process shown in FIG. 4, and the calculated feature is added to the single detection region before being connected as each component part. Then, a feature amount list for each detection area is created.
図6から図8を参照して、分類ルール及び推論のプロセスについて説明する。まず、分類ルールについて説明する。検査における過去の検査者の経験や知識より“小さくて細長い領域はキズである可能性が高い”とか、“小さければ細長くなくてもキズの可能性がある”等が言える場合、“大きさ”を表す指標に面積を、“細長さ”を表す指標に最大最小フェレ径比(細長いものほど値は大きい)を用いると以下のようにルール化できる。
(1):IF面積=小さい AND 最大最小フェレ径比=大きい THEN キズの可能性=高い
(2):IF面積=小さい AND 最大最小フェレ径比=小さい THEN キズの可能性=中程度(3):IF面積=大きい AND 最大最小フェレ径比=大きい THEN キズの可能性=中程度
(4):IF面積=大きい AND 最大最小フェレ径比=小さい THEN キズの可能性=低い
次に、ルールで用いられる “小さい”、“大きい”、“高い”、“低い”という表現に対して、各特徴軸での数値が、どの程度合致するかの度合いを0〜1の値(適合度)で示した変化線(メンバーシップ関数)を設定する(図6(A)〜(C))。
上記の設定に基づき、ある検出領域(面積=x、最大最小フェレ径比=y)のキズの可能性を推論するプロセスを図7,図8に示す。これはファジィ推論における直接法として一般的な推論方法である。((参考)ラッセル社:応用をめざす人のためのファジィ理論入門:田中一男著)図7は、上記のルール(1)〜(4)をメンバーシップ関数の組み合わせで示した図である。
図8では、図7においてそれぞれのルール(1)〜(4)で得た集合を合成(論理和)して中間的な解(重心Z)を得る。結果的には、4つのルールに対しそれぞれのルールの観点で考えた場合のキズの可能性を求め、補完的な判定結果を得ることに相当する。本例では、キズに対して4つのルールしか示していないが、更に多くのルールを設定することで精度の向上を図ることができる。また、同様に他の欠陥に対する知識を基に複数のルールとメンバーシップ関数を設定し、それらのルールを処理することで、全ての欠陥種に対する可能性の値が算出できる。
The classification rule and inference process will be described with reference to FIGS. First, the classification rule will be described. “Size” when it can be said that “small and long and narrow areas are likely to be scratched” or “small but may not be elongated if small”, based on the experience and knowledge of past inspectors in the inspection If the area is used as an index indicating the length and the maximum / minimum ferret diameter ratio (the longer the length is, the larger the value) is used as the index indicating “slenderness”, the rule can be set as follows.
(1): IF area = small AND Maximum / minimum ferret diameter ratio = large The possibility of THEN scratch = high (2): IF area = small AND maximum / minimum ferret diameter ratio = small THEN The possibility of scratch = moderate (3) : IF area = large AND Maximum and minimum ferret diameter ratio = large The possibility of THEN scratch = moderate (4): IF area = large AND maximum and minimum ferret diameter ratio = small THEN Scratch possibility = low Next, use in rules For the expressions “small”, “large”, “high”, “low”, the degree to which the numerical values on each feature axis match is indicated by a value of 0 to 1 (goodness of fit). A change line (membership function) is set (FIGS. 6A to 6C).
A process for inferring the possibility of a scratch in a certain detection region (area = x, maximum / minimum ferret diameter ratio = y) based on the above setting is shown in FIGS. This is a general reasoning method as a direct method in fuzzy reasoning. ((Reference) Russell Company: Introduction to Fuzzy Theory for Persons Aiming for Application: Kazuo Tanaka) FIG. 7 is a diagram showing the above rules (1) to (4) in combination of membership functions.
In FIG. 8, the set obtained by the respective rules (1) to (4) in FIG. 7 is synthesized (logical sum) to obtain an intermediate solution (centroid Z). As a result, it corresponds to obtaining a complementary determination result by obtaining the possibility of scratches when considering the four rules from the viewpoint of each rule. In this example, only four rules are shown for scratches, but accuracy can be improved by setting more rules. Similarly, by setting a plurality of rules and membership functions based on knowledge of other defects and processing those rules, the possibility values for all defect types can be calculated.
図9は、上述の欠陥分類の仕組みを組み込んだ欠陥分類辞書教示装置1の画面の構成図である。画面は4つのサブウインドウから構成されている。テスト画像分類表示部20は、上述のテスト画像分類表示手段11によって、テスト画像記憶部9から読み出したテスト画像を表示するサブウインドウである。特徴量パラメータ調整部21は、上述した特徴量閾値調整部2に該当し、特徴量パラメータの調整を受け付けるサブウインドウである。欠陥モデル画像表示部22は、上述した欠陥モデル画像表示手段10によって、欠陥モデル画像記憶部8から読み出した欠陥モデル画像を表示するサブウインドウである。命令実行部23は、分類テスト処理を開始するボタン等を配置したサブウインドウである。
FIG. 9 is a configuration diagram of a screen of the defect classification
図10は、特徴量パラメータ調整部21のサブウインドウ内部の構成図である。特徴量パラメータ調整部21は、特徴量項目21aと特徴量レベル調整部21bから構成されている。特徴量項目21aは、欠陥を分類する上で判断要素になる特徴量項目を表示する。特徴量の項目としては同図に示す長さ、太さ、面積の他に粒子解析によって得られるフィレ径等の項目がある。特徴量レベル調整部21bは、特徴量のレベルを段階的に変更するスクロールバーが設けられており。それぞれのスクロールバーは特徴量項目に一対一で対応している。スクロールバーの上にはレベルの大小を示すレベル表示部21cが設けられている。
FIG. 10 is a configuration diagram inside the subwindow of the feature
図11は、欠陥モデル画像表示部22のサブウインドウ内部の構成図である。欠陥モデル画像表示部22は、分類項目表示部22aと各欠陥モデル画像22bを表示する画像表示部から構成されている。分類項目表示部22aは、欠陥種別の分類項目を表示する。同図では、分類A、B、Cとして示しているが、上述したキズや露光不良等の項目を設定してもよい。欠陥モデル画像22bは分類項目と一対一の組み合わせとなっており、対応する分類項目がどのような形状の欠陥であるのかを表示することで視覚的に把握することが可能となっている。欠陥モデル画像は実際のテスト画像ではなく、あくまで特徴量レベルを調整した際に、欠陥モデル画像22bに示される形状がどのように影響を受けるのかを視覚的にわかり易くするための画像である。各欠陥モデル画像22bが有する特徴量項目は、図10に示した特徴量項目の幾つかの項目に対応している。
また、マウス等によって、欠陥モデル画像22b−1を選択すると、欠陥モデル画像22b−1に対応する幾つかの図10の特徴量項目の文字色等を変更するため、どの特徴量項目が欠陥モデル画像22bに影響するかをユーザが視覚的に特定することができる。逆に、図10の特徴量項目を選択することによってその特徴量項目に関連する欠陥モデル画像22bの表示色等を変更するため、特徴量レベルを調整する際に対象となる欠陥モデル画像22bをユーザが視覚的に特定することができる。
さらに、図10の特徴量レベル調整部21bのスクロールバーを動かすことにより、欠陥モデル画像22bの表示をアニメーションのように変化させる構成になっているため、検査者は特徴量の影響の度合いを各欠陥モデル画像から視覚的に識別することができる。具体的には、太さの特徴量のスクロールバーのレベルを大の方向へ動かすと、欠陥モデル画像22b−1が22cのように変化する。このとき、欠陥モデル画像22b−2も22b−3も太さの特徴量レベルの変化にあわせて変化する。欠陥モデル画像の変化は、スクロールバーの動きにあわせて連動するアニメーション画像のように変化させてもよいし、確定した段階で変化するようにしてもよい。
FIG. 11 is a configuration diagram inside the subwindow of the defect model
Further, when the
Furthermore, since the display of the
図12は、図11で説明した特徴量レベルの変化にあわせて欠陥モデル画像22b−1が欠陥モデル画像22cのように変化する仕組みを特徴量による分類の観点から示した図である。図に示すグラフは上述したメンバーシップ関数を示しており、太さの特徴量における特徴量のレベルを示している。太さの可能性「大」をあらわすメンバーシップ関数は最初はL1の位置にあり、その時点では欠陥モデル画像22b−1に示す太さの画像でも太さの可能性が「大」として分類される。
次に、図10に示すスクロールバーを「大」の方向に動かすと、メンバーシップ関数の位置はL1からL2に移動する。その時、太さの可能性「大」として判別されるための太さは欠陥モデル画像22cに示す太さとなり、その太さにあわせて一般的な膨張の画像処理を欠陥モデル画像22b−1に施し、欠陥モデル画像22cを生成して表示する。
太さや長さ等の特徴量は検査者にとって変化後の形状が推測しやすいパラメータであるが、フィレ径等画像全体から抽出される特徴量は、その変化の度合いが推測し難い。そのため、欠陥モデル画像の形状を特徴量レベルの変化にあわせて変化させることは検査者の視覚に訴えるため特徴量レベルを定める作業を効率良くすることができる効果がある。
FIG. 12 is a diagram illustrating a mechanism in which the
Next, when the scroll bar shown in FIG. 10 is moved in the “large” direction, the position of the membership function moves from L1 to L2. At that time, the thickness to be determined as the possibility of thickness “large” is the thickness shown in the
The feature quantity such as thickness and length is a parameter that makes it easy for the examiner to guess the shape after the change, but the feature quantity extracted from the entire image such as the fillet diameter is difficult to guess. For this reason, changing the shape of the defect model image in accordance with the change in the feature amount level appeals to the inspector's vision, and thus has an effect of efficiently performing the work for determining the feature amount level.
図13は、命令実行部23のサブウインドウ内部の構成図である。分類テストボタン23aは分類テスト処理を実行するためのボタンである。保存ボタン23bは、その時点での特徴量レベルの設定を分類辞書記憶部7に保存を実行するためのボタンである。
FIG. 13 is a configuration diagram inside the subwindow of the
図14及び図15は、テスト画像分類表示部20のサブウインドウ内部の構成図である。図14は、全分類項目ラベル20aを選択した場合の画面構成図であり、ラベルは全分類項目以外に、上述した分類項目ごとの表示画面が備えられている。同図において、テスト画像表示部20−1にはテスト対象となる画像を表示する。また、全分類項目の画面においては、分類項目ごとにテスト画像をサムネイル表示し、分類項目ごとに少なくとも1つ以上の各分類項目を代表する代表画像を表示する。代表画面の選択は後述する分類ごとの表示画面において画像を選択することによって行うことができ、解除は全画面項目の表示画面において行うことができる。選択及び解除は図示していないが、テスト画像をマウスで選択し、マウスのボタン操作によるカットアンドペーストやドラッグアンドドロップにより選択解除を行うことができるようにしてもよいし、別にボタンを設けて選択解除を操作するようにしてもよい。
14 and 15 are configuration diagrams inside the sub-window of the test image
図15は、分類Aラベル20bを選択した場合の画面構成図であり、分類Aの全てのテスト画像をサムネイル表示する。
各テスト画像は、後述する分類処理によって分類され、その分類結果に従って、表示色が変わるようになっている。それにより、分類を行った場合の成功及び失敗をユーザが視覚的に特定できるようになっている。追加ボタン20e及び削除ボタン20fは、テスト画像を追加及び削除するためのボタンで、追加ボタン20eをクリックすることによりテスト画像の選択画面を表示して、マウス操作により追加することができる。また、削除するばあいには、分類項目ごとの表示画面でテスト画像を選択して、削除ボタンをクリックすることにより当該テスト画像を分類対象から除外することができる。
FIG. 15 is a screen configuration diagram when the
Each test image is classified by a classification process described later, and the display color is changed according to the classification result. Thereby, the user can visually identify success and failure when classification is performed. The
図16は、テスト画像を分類し、特徴量レベルを調整して、精度の良い特徴量レベルを装置に教示するまでの工程の概略を示した図である。欠陥分類辞書教示装置1を起動後、前処理としてテスト画像記憶部9からテスト画像を読み出す。また、前処理においては、分類辞書記憶部7から特徴量パラメータの設定を読み出して、特徴量パラメータ調整部21のスクロールバー表示に反映する(ステップS30)。次に、分類対象とするテスト画像の追加及び削除を行う。追加する場合にはテスト画像記憶部9からテスト画像を読み出す。命令実行部23の分類テストボタン23aをクリックすると、その時点で設定している特徴量レベルで全テスト画像に対して分類処理を行う(ステップS31)。分類精度が良くないと判断した場合には、特徴量パラメータ調整部21において特徴量レベルを微調整する(ステップS32)。そして、再度ステップS31に戻る。検査者が分類精度を良いと判断した場合は、特徴量パラメータ調整部21で分類辞書に教示した特徴量レベルを分類辞書記憶部7に保存して終了する(ステップS33)。
FIG. 16 is a diagram showing an outline of the process from classifying the test images, adjusting the feature amount level, and teaching the device of the feature amount level with high accuracy. After starting the defect classification
図17は、テスト画像を分類し、特徴量レベルを調整して、精度の良い特徴量レベルを教示するまでの工程を示したフローチャートである。欠陥分類辞書教示装置1を起動後、前処理としてテスト画像記憶部9からテスト画像を読み出す。また、前処理においては、分類辞書記憶部7から特徴量パラメータの設定を読み出して、特徴量パラメータ調整部21のスクロールバー表示に反映する(ステップS40)。次に、分類対象とするテスト画像の追加及び削除を行う。追加する場合には1つずつ読み出してもよいし複数の画像ファイルを選択して一度に読み出しても良い。テスト画像の追加は必要に応じて、テスト画像分類表示部20の全ての分類項目ごとの画面において行う。ステップS40の前処理において前回終了時の情報から既にテスト画像を読み出している場合には、追加する操作を行わなくても良い(ステップS41)。次に、テスト画像分類表示部20の分類項目ごとのテスト画像から代表するに相応しいテスト画像を選択して全分類項目の表示画面に代表画像として設定する。この処理も、ステップS40の前処理において前回終了時の情報から代表画像が選択されている場合には省略することができる(ステップS42)。命令実行部23の分類テストボタン23aをクリックすると、その時点で設定している特徴量レベルで全テスト画像に対して分類テスト処理を行う。分類結果に従って、正しい分類項目に判別されたテスト画像と判別されなかったテスト画像の表示の色を変える(ステップS43)。検査者はテスト画像分類表示部30に表示されているテスト画像を確認する(ステップS44)。検査者が、分類精度が良くないと判断し、特徴量を調整する場合には、特徴量パラメータ調整部21で微調整する(ステップS45)。また、テスト画像を入れ替えるため追加削除を行う場合や代表画面を入れ替える場合には、対応するステップであるステップS41またはステップS42に戻る。検査者が分類精度を良いと判断した場合は、特徴量パラメータ調整部21で分類辞書に教示した特徴量レベルを分類辞書記憶部7に保存して終了する(ステップS46)。
FIG. 17 is a flowchart showing a process from classifying test images, adjusting feature quantity levels, and teaching accurate feature quantity levels. After starting the defect classification
図18は、図17のステップS40における前処理の詳細を示したフローチャートである。最初に、前回の欠陥分類辞書教示装置1の終了時点で、テスト画像分類表示部20に表示していたテスト画像のファイル名と表示場所を記憶しているか否かの判断を行う(ステップS50)。記憶している場合にはその情報をテスト画像記憶部9から読み出す。そして、読み出した画像を前回の終了時点で表示していた場所に表示する(ステップS51)。前回の終了時点の情報を記憶していない場合には、上記処理を行わずに次の処理に進む(ステップS52)。そして、特徴量パラメータ設定を分類辞書記憶部7から読み出す(ステップS53)ことにより前処理を終了する。
FIG. 18 is a flowchart showing details of the preprocessing in step S40 of FIG. First, it is determined whether or not the file name and display location of the test image displayed on the test image
実施例1の工程は、特徴量レベルを調整する際に、その調整に合わせて欠陥の種類を視覚的に表す欠陥モデル画像を変形させる構成になっている。そのため、検査者は特徴量レベルを調整した際の各欠陥種別への影響度合いを視覚的に把握しつつ、分類処理により、分類辞書の精度を高めていくことができる。 The process of the first embodiment is configured to deform a defect model image that visually represents the type of defect in accordance with the adjustment when the feature amount level is adjusted. Therefore, the inspector can increase the accuracy of the classification dictionary by the classification process while visually grasping the degree of influence on each defect type when the feature amount level is adjusted.
以下、図19及び図20を参照して、分類項目ごとの特徴量レベルの設定を自動化する手段について説明する。
図19は、上述したテスト画像分類表示部20の分類項目ごとの表示画面を示した図である。同図において、テスト画像分類表示部20は、特徴量抽出ボタン20gを新たに備えている。特徴量抽出ボタン20gは、上述した欠陥種別特徴量設定部3に対応する。特徴量抽出ボタン20gをクリックすると、当該分類項目に含まれるテスト画像、即ち同図においては分類Aの表示画面に選択されているテスト画像全てから特徴量を抽出し、最小と最大の特徴量の値を求める。そして、分類Aのテスト画像全てが、分類Aに含まれるように分類Aに影響を与える特徴量項目の特徴量レベルを自動的に調節する。処理の内容としては、抽出した特徴量が特徴量項目ごとのメンバーシップ関数による判定において、分類Aに分類されるように各特徴量項目のメンバーシップ関数を調整することになる。
Hereinafter, a means for automating the setting of the feature amount level for each classification item will be described with reference to FIGS.
FIG. 19 is a diagram showing a display screen for each classification item of the test image
図20は、特徴量抽出の処理を組み込んだ特徴量レベルの教示工程を示したフローチャートである。欠陥分類辞書教示装置1を起動後、実施例1と同様に図18で示した前処理を行う(ステップS60)。次に、実施例1のステップS41とステップS42にそれぞれ等しい分類対象とするテスト画像の追加及び削除(ステップS61)を行い、次に、テスト画像分類表示部20の分類項目ごとのテスト画像から代表するに相応しいテスト画像を選択して全分類項目の表示画面に代表画像の設定(ステップS62)を行う。テスト画像分類表示部20の分類項目ごとの表示画面の特徴量抽出ボタン23gをクリックして、分類項目ごとに特徴量レベルを自動設定する。この処理は必要に応じて複数の分類項目ごとに実施する(ステップS63)次に、命令実行部23の分類テストボタン23aをクリックすると、その時点で設定している特徴量レベルで全テスト画像に対して分類テスト処理を行う。分類結果に従って、正しい分類項目に判別されたテスト画像と判別されなかったテスト画像では色を変えて表示する(ステップS64)。検査者はテスト画像分類表示部30に表示されているテスト画像を確認する(ステップS65)。分類精度が良くないと判断し、特徴量を調整する場合には、特徴量パラメータ調整部21で微調整する(ステップS66)。代表画像がうまく分類されない場合やテスト対象の入れ替えを行いたい場合には、対応するステップであるステップS61またはステップS62に戻る。検査者が分類精度を良いと判断した場合は、特徴量パラメータ調整部21で分類辞書に教示した特徴量レベルを分類辞書記憶部7に保存して終了する(ステップS67)。
FIG. 20 is a flowchart showing a feature amount level teaching process incorporating a feature amount extraction process. After starting the defect classification
実施例2の工程は、検査者が分類項目を特定した場合に、特定した分類項目中のテスト画像の全てが当該分類項目に分類されるよう特徴量レベルを自動的に調整する構成となっている。そのため、特徴量レベルの調整の一部の処理を自動化することができる。 In the process of the second embodiment, when the inspector specifies a classification item, the feature amount level is automatically adjusted so that all the test images in the specified classification item are classified into the classification item. Yes. Therefore, it is possible to automate a part of the process of adjusting the feature amount level.
以下、図21から23を参照して、分類項目ごとの代表画像が分類項目に分類されるように特徴量レベルを自動調整する手段について説明する。図21は、上述した命令実行部23の画面を示した図である。同図において、命令実行部23は、設定変更ボタン23dと自動調整ボタン23cを新たに備えている。自動調整ボタン23cは上述した代表特徴量設定部4に対応する。設定変更ボタン23dをクリックすると優先度の設定変更画面が起動し、分類項目ごとの優先度を設定することができる。優先度設定については後述する。分類項目ごとの優先度の設定後、自動調整ボタン23cをクリックすると、テスト画像分類表示部20の全分類項目の表示画面において選択されている各分類項目の代表画像がそれぞれの分類項目に分類されるように特徴量レベルを自動的に調整する。自動調整の処理は、各代表画像の特徴量を抽出し、分類項目が該当する特徴量項目ごとのメンバーシップ関数の処理によって当該分類項目に含まれるようにメンバーシップ関数の位置を調整する。しかしながら、ある代表画像が、該当する分類項目に分類されるようにメンバーシップ関数を移動することで、他の代表画像が該当する分類項目に分類されなくなる場合がある。この時、予め設定している分類項目ごとの優先度に従い、優先度の高い項目の分類項目に代表画像が分類されるように処理を行う。また、優先度をゼロにすることで、当該分類項目には分類しなくてもよいように設定することも可能である。優先度は、分類項目ごとの優先度の総和の最大値が決められており、分類項目ごとの優先度は互いに同一の値にならないように制限がかけられている。特徴量レベルを自動調整した後、自動的に全テスト画像に対して自動調整された特徴量レベルに基づいて上述した分類処理を行う。
Hereinafter, a means for automatically adjusting the feature amount level so that the representative image for each classification item is classified into the classification items will be described with reference to FIGS. FIG. 21 is a diagram showing the screen of the
図22は、図21において設定変更ボタン23dがクリックされた場合に起動する優先度の設定変更画面24であり、上述したとおり分類項目ごとの優先度をスクロールバー24aで設定できるようになっている。また、設定されている優先度の値は数値表示部24bに表示される。また、優先順位を設定する画面としてもよい。予め優先順位に対応した優先度を設定しておくことにより、優先度の設定が簡略化される。
FIG. 22 shows a priority setting
図23は、代表画像が該当する分類項目に分類されるように自動調整する処理を組み込んだ特徴量レベルの教示工程を示したフローチャートである。欠陥分類辞書教示装置1を起動後、実施例1と同様に図18で示した前処理を行う(ステップS80)。次に、実施例1のステップS41とステップS42にそれぞれ等しい分類対象とするテスト画像の追加及び削除(ステップS81)を行い、次に、テスト画像分類表示部20の分類項目ごとのテスト画像から代表するに相応しいテスト画像を選択して全分類項目の表示画面に代表画像の設定(ステップS82)を行う。命令実行部23の設定変更ボタン23dをクリックして、優先度の設定変更画面24を起動し、分類項目ごとの優先度を設定する(ステップS83)次に、命令実行部23の自動調整ボタン23cをクリックすると、選択している代表画像がそれぞれの分類項目に分類されるように特徴量レベルが自動調整する。そして、自動調整後の特徴量レベルに基づいて全テスト画像に対して分類処理が行う(ステップS84)。検査者はテスト画像分類表示部30に表示されているテスト画像を確認する(ステップS85)。分類精度が良くないと判断し、特徴量を調整する場合には、特徴量パラメータ調整部21で微調整し(ステップS86)、分類テスト処理を行う(ステップS87)。テスト対象の入れ替えを行う場合、代表画像をテスト画像分類表示部20において再設定する場合、また、優先度の再設定を行う場合には、対応するステップであるステップS81、ステップS82、ステップS83に戻る。そして、再びステップS84の特徴量自動調整処理を行う。検査者が分類精度を良いと判断した場合は、特徴量パラメータ調整部21で分類辞書に教示した特徴量レベルを分類辞書記憶部7に保存して終了する(ステップS88)。
FIG. 23 is a flowchart showing a feature level teaching process incorporating a process for automatically adjusting the representative image so that the representative image is classified into the corresponding classification item. After the defect classification
実施例3の工程は、分類項目ごとに幾つかの代表画像を設定し、その代表画像が該当する分類項目に分類されるように特徴量レベルを自動的に調整する構成となっている。そのため、検査者は全分類項目を包括するような特徴量レベルを自動的に得ることができる。 The process of the third embodiment is configured such that several representative images are set for each classification item, and the feature amount level is automatically adjusted so that the representative images are classified into the corresponding classification items. Therefore, the inspector can automatically obtain a feature amount level that includes all classification items.
図24は、欠陥分類辞書教示装置1をサーバ1a上のソフトウェアとして実現した検査システムを示した図である。同図において、検査装置30は、例えば、半導体ウェハや液晶基盤、IC(Integrated Circuit)チップなどの試料をマクロ的な視点で検査する、自動マクロ検査装置と呼ばれる装置である。また、検査装置30は、前記試料を顕微鏡などの拡大光学系やSEM(Scanning Electron Microscope)等の装置を利用してミクロ的な視点で検査するミクロ検査装置と呼ばれる装置であってもよい。製造装置31は、例えば、半導体ウェハに電子回路構造を作り込むステッパあるいはスキャナといった露光装置と呼ばれる装置である。サーバ1aは、検査装置30または製造装置31において撮像された画像やデータファイル等の出力データを内部の記憶装置に保存して一括管理する。データベース1bは、検査装置30または製造装置31からの出力データから、必要な部分だけデータベース化して保存する。データベース1bに登録する情報は、例えば、試料の設計情報、良否判定結果、分類結果、欠陥個数等があり、サーバ1aからの検索要求によってこれらの情報を検索して、サーバ1aに応答する。ネットワーク32は、例えば構内LAN(Local Area Network)であり、接続している装置の間で情報の送受信を行う。
操作端末33は、ネットワーク32を介してサーバ1aにアクセスすることが可能であり、サーバ1a上の欠陥分類辞書教示装置1を遠隔で操作することができる。
この検査システムにおいて、上述した検査装置30は、試料を撮像することよってテスト画像を生成し、生成する際に基準の緩い判定処理によってテスト画像を分類する。そして、テスト画像のデータ及び当該テスト画像に関連する情報を、サーバ1aに送信し、必要なデータをデータベース1bで管理する。この時、テスト画像は、データベース1b内の幾つかの情報と関連付けられて管理され、テスト画像を選択することでテスト画像の生画像や拡大及び縮小画像を読み出すこともできる。
また、本検査システムは、上述した検査装置30として自動マクロ検査装置及びミクロ検査装置の両方を備え、自動マクロ検査装置での検査結果に基づいてミクロ検査装置で欠陥をレビューするようにすることもできる。
また、さらに、サーバ1aにウェブサーバの機能を設定し、操作端末33からウェブブラウザを介してアクセスし、操作するようにすることもできる。
FIG. 24 is a diagram showing an inspection system in which the defect classification
The
In this inspection system, the
In addition, the inspection system includes both the automatic macro inspection device and the micro inspection device as the
Furthermore, it is also possible to set a function of a web server in the server 1a and access and operate from the
図25は、検査装置30で生成されたテスト画像を欠陥分類辞書教示装置1の起動時に読み出す際に、テスト画像の生成時に検査装置30が分類した分類結果に従って自動分配する処理を組み込んで、特徴量レベルの教示工程を示すフローチャートである。欠陥分類辞書教示装置1を起動後、実施例1と同様に図18で示した前処理を行う(ステップS100)。次に、検査装置30がテスト画像を生成する際に行った分類処理の結果の情報を読み出し、その分類結果の情報に従って、テスト画像分類表示部20の該当する分類項目に自動的に分配する。この処理は、検査者の操作を介在することなく行っても良いが、自動振り分けボタンなどを画面上に備えて、そのボタンをクリックすることにより開始するようにしてもよい(ステップS101)。次に、必要に応じて分類対象とするテスト画像の追加及び削除を行う(ステップS102)。次に、テスト画像分類表示部20の分類項目ごとのテスト画像から代表するに相応しいテスト画像を選択して全分類項目の表示画面に代表画像として設定する。この処理も、ステップS40の前処理において前回終了時の情報から代表画像が選択されている場合には省略することができる(ステップS103)。命令実行部23の設定変更ボタン23dをクリックして、優先度の設定変更画面24を起動し、分類項目ごとの優先度を設定する(ステップS104)次に、命令実行部23の自動調整ボタン23cをクリックすると、選択している代表画像が該当する分類項目に分類されるように特徴量レベルを自動調整する。そして、自動調整後の特徴量レベルに基づいて全テスト画像に対して分類処理を行う(ステップS105)。検査者はテスト画像分類表示部30に表示されているテスト画像を確認する(ステップS106)。分類精度が良くないと判断し、特徴量を調整する場合には、特徴量パラメータ調整部21で微調整し(ステップS107)、分類テスト処理を行う(ステップS108)。テスト画像の入れ替え、優先度やテスト画像等の再設定をする場合は、対応するステップであるステップS102、S103、S104へ戻る検査者が分類精度を良いと判断した場合は、特徴量パラメータ調整部21で分類辞書に教示した特徴量レベルを分類辞書記憶部7に保存して終了する(ステップS109)。
FIG. 25 incorporates a process of automatically distributing the test image generated by the
実施例4の工程は、検査装置30がテスト画像を生成する際に行う基準の緩い分類処理の結果に基づいて自動的にテスト画像をテスト画像分類表示装置20に振り分ける構成となっている。そのため、初期の立ち上げ状態において、テスト画像を対応する分類項目に自動的に分配することができる。
また、欠陥分類辞書教示装置1を備えたサーバ1aにネットワークを介して操作端末から接続できる構成になっている。そのため、検査者は遠隔で、例えば、検査装置が設置されているクリーンルームの外や工場の外部から欠陥分類辞書教示装置1を操作することが可能となる。
The process of the fourth embodiment has a configuration in which the test image is automatically distributed to the test image
Moreover, it has the structure which can be connected to the server 1a provided with the defect classification
上述の欠陥分類辞書教示装置は内部に、コンピュータシステムを有している。そして、上述した分類辞書教示手段5が特徴量閾値調整部2、欠陥種別特徴量設定部3、代表特徴量設定部4からの指示に基づいて分類辞書教示手段5が行う特徴量レベルの調整処理の過程は、プログラム形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
The defect classification dictionary teaching apparatus described above has a computer system therein. Then, the classification
1 欠陥分類辞書教示装置
2 特徴量閾値調整部
5 分類辞書教示手段
7 分類辞書記憶部
8 欠陥モデル画像記憶部
DESCRIPTION OF
Claims (15)
前記テスト画像の特徴量が欠陥種別として分類される範囲に含まれるかを決定する閾値の値を記憶する分類辞書記憶部と、
前記欠陥種別のモデルとなる形状を表す欠陥モデル画像のデータを記憶する欠陥モデル画像記憶部と、
ユーザが入力部において入力した閾値調整指示を送信する特徴量閾値調整部と、
前記閾値調整指示を受信した場合に、前記欠陥モデル画像が表すモデルの形状が調整後の前記閾値によって該当する前記欠陥種別に含まれるように前記形状を変化させる分類辞書教示手段と、
前記欠陥種別の名称と対応する前記欠陥モデル画像のデータを前記分類辞書教示手段から受信し、前記欠陥モデル画像を画面に表示する欠陥モデル画像表示手段と、
を備えたことを特徴とする欠陥分類辞書教示装置。 A test image storage unit that stores a test image captured in advance, and a classification processing unit that determines a type of defect included in the test image based on a plurality of feature amounts extracted from the test image by a feature amount extraction unit. In the defect classification dictionary teaching device,
A classification dictionary storage unit for storing a threshold value for determining whether the feature amount of the test image is included in a range classified as a defect type;
A defect model image storage unit for storing data of a defect model image representing a shape to be a model of the defect type;
A feature amount threshold adjustment unit that transmits a threshold adjustment instruction input by the user through the input unit;
Classification dictionary teaching means for changing the shape so that the shape of the model represented by the defect model image is included in the defect type corresponding to the adjusted threshold when the threshold adjustment instruction is received;
Defect model image display means for receiving the defect model image data corresponding to the defect type name from the classification dictionary teaching means, and displaying the defect model image on a screen;
A defect classification dictionary teaching apparatus comprising:
前記分類辞書教示手段は、
前記欠陥種別特徴量設定指示を受信した場合に、予め選択した前記テスト画像の特徴量がある1つの前記欠陥種別に含まれるように前記欠陥種別に対応する前記閾値を設定することを特徴とする請求項1に記載の欠陥分類辞書教示装置。 A defect type feature value setting unit that transmits a defect type feature value setting instruction input by the user at the input unit to the classification dictionary teaching unit;
The classification dictionary teaching means includes:
When the defect type feature value setting instruction is received, the threshold value corresponding to the defect type is set so that the feature value of the test image selected in advance is included in one defect type. The defect classification dictionary teaching apparatus according to claim 1.
前記分類辞書教示手段は、
前記代表特徴量設定指示を受信した場合に、前記テスト画像が予め対応付けられているいずれか1つの前記欠陥種別に含まれるように、予め設定された前記欠陥種別ごとの優先順位に基づいて、前記欠陥種別に対応する前記閾値を設定することを特徴とする請求項1または2に記載の欠陥分類辞書教示装置。 A representative feature amount setting unit that transmits a representative feature amount setting instruction input by the user at the input unit to the classification dictionary teaching unit;
The classification dictionary teaching means includes:
When the representative feature amount setting instruction is received, based on the priority for each defect type set in advance so that the test image is included in any one of the defect types associated in advance, The defect classification dictionary teaching apparatus according to claim 1, wherein the threshold value corresponding to the defect type is set.
前記テスト画像を前記テスト画像記憶部から読み出し、前記分類情報に従って、該当する欠陥種別の項目に前記テスト画像を振り分けて画面に表示するテスト画像分類表示手段と、
を備えたことを特徴とする請求項1乃至3のいずれか1つに記載の欠陥分類辞書教示装置。 The test image storage unit stores classification information given when the test image is captured together with the test image,
Test image classification display means for reading out the test image from the test image storage unit and sorting the test image into items of the corresponding defect type according to the classification information and displaying the test image on a screen;
The defect classification dictionary teaching apparatus according to any one of claims 1 to 3, further comprising:
前記特徴量閾値調整部から前記閾値調整指示を受信した場合に、前記欠陥モデル画像が表すモデルの形状が調整後の前記閾値によって該当する欠陥種別に含まれるように前記形状を変化させる過程と、
前記欠陥種別の名称と対応する前記欠陥モデル画像を画面に表示する過程と、
を備えたことを特徴とする欠陥分類辞書教示方法。 A test image storage unit that stores a test image captured in advance, a classification processing unit that determines a type of a defect included in the test image based on a plurality of feature amounts extracted from the test image by a feature amount extraction unit, and the test A classification dictionary storage unit that stores a threshold value for determining whether a feature amount of an image is included in a range classified as a defect type, and a defect that stores defect model image data representing a shape that is a model of the defect type A model image storage unit, a feature amount threshold adjustment unit that transmits a threshold adjustment instruction input by the user from the input unit, a defect type feature amount setting unit that transmits a defect type feature amount setting instruction input by the user from the input unit, A defect feature dictionary teaching method of a defect feature dictionary teaching apparatus comprising: a representative feature value setting unit that transmits a representative feature value setting instruction input by a user from an input unit,
Changing the shape so that the shape of the model represented by the defect model image is included in the corresponding defect type by the adjusted threshold when the threshold adjustment instruction is received from the feature amount threshold adjustment unit;
Displaying the defect model image corresponding to the name of the defect type on a screen;
A defect classification dictionary teaching method comprising:
を備えたことを特徴とする請求項6に記載の欠陥分類辞書教示方法。 When the defect type feature value setting instruction is received from the defect type feature value setting unit, the threshold value corresponding to the defect type so that the feature value of the test image selected in advance is included in one defect type The process of setting
The defect classification dictionary teaching method according to claim 6, further comprising:
を備えたことを特徴とする請求項6または7に記載の欠陥分類辞書教示方法。 For each defect type set in advance so that the test image is included in any one of the defect types associated in advance when the representative feature value setting instruction is received from the representative feature value setting unit Setting the threshold corresponding to the defect type based on the priority of
The defect classification dictionary teaching method according to claim 6 or 7, further comprising:
を備えたことを特徴とする請求項6乃至8のいずれか1つに記載の欠陥分類辞書教示方法。 The process of reading the test image and the classification information given when the test image is captured from the test image storage unit, sorting the test image into the corresponding defect type items according to the classification information, and displaying them on the screen When,
The defect classification dictionary teaching method according to any one of claims 6 to 8, further comprising:
前記欠陥モデル画像表示手段または前記テスト画像分類表示手段が画面に表示するデータを前記操作端末に送信する過程と、
を備えたことを特徴とする請求項6乃至9のいずれか1つに記載の欠陥分類辞書教示方法。 A process of receiving the threshold adjustment instruction or the defect type feature amount setting instruction or the representative feature amount setting instruction from the operation terminal connected to the network;
Transmitting the data displayed on the screen by the defect model image display means or the test image classification display means to the operation terminal;
The defect classification dictionary teaching method according to any one of claims 6 to 9, further comprising:
前記特徴量閾値調整部から前記閾値調整指示を受信した場合に、前記欠陥モデル画像が表すモデルの形状が調整後の前記閾値によって該当する欠陥種別に含まれるように前記形状を変化させる手段、
前記欠陥種別の名称と対応する前記欠陥モデル画像を画面に表示する手段、
として機能させるコンピュータプログラム。 A test image storage unit that stores a test image captured in advance, a classification processing unit that determines a type of a defect included in the test image based on a plurality of feature amounts extracted from the test image by a feature amount extraction unit, and the test A classification dictionary storage unit that stores a threshold value for determining whether a feature amount of an image is included in a range classified as a defect type, and a defect that stores defect model image data representing a shape that is a model of the defect type A model image storage unit, a feature amount threshold adjustment unit that transmits a threshold adjustment instruction input by the user from the input unit, a defect type feature amount setting unit that transmits a defect type feature amount setting instruction input by the user from the input unit, A representative feature amount setting unit that transmits a representative feature amount setting instruction input by a user from an input unit; and a computer of a defect classification dictionary teaching device comprising:
Means for changing the shape so that the shape of the model represented by the defect model image is included in the corresponding defect type by the adjusted threshold when the threshold value adjustment instruction is received from the feature value threshold adjustment unit;
Means for displaying the defect model image corresponding to the name of the defect type on a screen;
A computer program that functions as a computer program.
前記欠陥種別特徴量設定部から前記欠陥種別特徴量設定指示を受信した場合に、予め選択した前記テスト画像の特徴量がある1つの前記欠陥種別に含まれるように前記欠陥種別に対応する前記閾値を設定する手段、
として機能させるコンピュータプログラム。 The computer according to claim 11,
When the defect type feature value setting instruction is received from the defect type feature value setting unit, the threshold value corresponding to the defect type so that the feature value of the test image selected in advance is included in one defect type Means to set
A computer program that functions as a computer program.
前記代表特徴量設定部から前記代表特徴量設定指示を受信した場合に、前記テスト画像が予め対応付けられているいずれか1つの前記欠陥種別に含まれるように、予め設定された前記欠陥種別ごとの優先順位に基づいて、前記欠陥種別に対応する前記閾値を設定する手段、
として機能させるコンピュータプログラム。 A computer according to claim 11 or 12,
For each defect type set in advance so that the test image is included in any one of the defect types associated in advance when the representative feature value setting instruction is received from the representative feature value setting unit Means for setting the threshold corresponding to the defect type based on the priority of
A computer program that functions as a computer program.
前記テスト画像と前記テスト画像が撮像された際に付与される分類情報を前記テスト画像記憶部から読み出し、前記分類情報に従って、該当する欠陥種別の項目に前記テスト画像を振り分けて画面に表示する手段、
として機能させるコンピュータプログラム。 A computer according to any one of claims 11 to 13,
Means for reading out the test image and the classification information given when the test image is captured from the test image storage unit, and sorting the test image into the corresponding defect type items according to the classification information and displaying the test image on the screen ,
A computer program that functions as a computer program.
ネットワークに接続する操作端末から前記閾値調整指示または欠陥種別特徴量設定指示または代表特徴量設定指示を受信する手段、
前記欠陥モデル画像表示手段または前記テスト画像分類表示手段が画面に表示するデータを前記操作端末に送信する手段、
として機能させるコンピュータプログラム。
A computer according to any one of claims 11 to 14,
Means for receiving the threshold adjustment instruction, the defect type feature amount setting instruction, or the representative feature amount setting instruction from an operation terminal connected to the network;
Means for transmitting the data displayed on the screen by the defect model image display means or the test image classification display means to the operation terminal;
A computer program that functions as a computer program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004086833A JP4418272B2 (en) | 2004-03-24 | 2004-03-24 | Defect classification dictionary teaching device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004086833A JP4418272B2 (en) | 2004-03-24 | 2004-03-24 | Defect classification dictionary teaching device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005274285A JP2005274285A (en) | 2005-10-06 |
JP4418272B2 true JP4418272B2 (en) | 2010-02-17 |
Family
ID=35174124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004086833A Expired - Fee Related JP4418272B2 (en) | 2004-03-24 | 2004-03-24 | Defect classification dictionary teaching device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4418272B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012225768A (en) * | 2011-04-20 | 2012-11-15 | Hitachi High-Technologies Corp | Defect sorting method and defect sorting system |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101051730B1 (en) * | 2006-08-01 | 2011-07-25 | 가부시키가이샤 시마쓰세사쿠쇼 | Board Inspection and Correction Device and Board Evaluation System |
JP5022174B2 (en) * | 2007-10-22 | 2012-09-12 | 株式会社日立製作所 | Defect classification method and apparatus |
JP5156452B2 (en) * | 2008-03-27 | 2013-03-06 | 東京エレクトロン株式会社 | Defect classification method, program, computer storage medium, and defect classification apparatus |
JP5439543B2 (en) * | 2012-06-14 | 2014-03-12 | 株式会社日立製作所 | Defect classification method and apparatus |
US10365617B2 (en) * | 2016-12-12 | 2019-07-30 | Dmo Systems Limited | Auto defect screening using adaptive machine learning in semiconductor device manufacturing flow |
JP7087397B2 (en) * | 2018-01-17 | 2022-06-21 | 東京エレクトロン株式会社 | Substrate defect inspection equipment, substrate defect inspection method and storage medium |
CN111240794B (en) * | 2018-11-28 | 2023-06-13 | 阿里巴巴集团控股有限公司 | Container mirror image extraction method and device and container mirror image test method and device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4132229B2 (en) * | 1998-06-03 | 2008-08-13 | 株式会社ルネサステクノロジ | Defect classification method |
JP4220595B2 (en) * | 1998-08-10 | 2009-02-04 | 株式会社日立製作所 | Defect classification method and teaching data creation method |
JP4516253B2 (en) * | 2001-12-04 | 2010-08-04 | オリンパス株式会社 | Defect classification device |
-
2004
- 2004-03-24 JP JP2004086833A patent/JP4418272B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012225768A (en) * | 2011-04-20 | 2012-11-15 | Hitachi High-Technologies Corp | Defect sorting method and defect sorting system |
Also Published As
Publication number | Publication date |
---|---|
JP2005274285A (en) | 2005-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI467400B (en) | Integrated interfacing system and method for intelligent defect yield solutions | |
TWI694343B (en) | Semiconductor fabrication process control based on assessments of fabrication risk | |
JP5405453B2 (en) | Method and apparatus for locating inspection data in the design data area | |
US7760347B2 (en) | Design-based method for grouping systematic defects in lithography pattern writing system | |
US7231079B2 (en) | Method and system for inspecting electronic circuit pattern | |
JP5411211B2 (en) | Defect analyzer | |
JP5075111B2 (en) | Image classification reference updating method, program, and image classification apparatus | |
CN101536011B (en) | Automatic defect repair system | |
US7760929B2 (en) | Grouping systematic defects with feedback from electrical inspection | |
KR101144545B1 (en) | Flexible hybrid defect classification for semiconductor manufacturing | |
US7617474B2 (en) | System and method for providing defect printability analysis of photolithographic masks with job-based automation | |
JP5081590B2 (en) | Defect observation classification method and apparatus | |
JP5145116B2 (en) | Surface defect data display management apparatus and surface defect data display management method | |
JP2016136151A (en) | Method for using design data in combination with inspection data | |
JP2005293264A (en) | Learning type sorting apparatus and learning type sorting method | |
JP2009272497A (en) | Recipe parameter management apparatus and recipe parameter management method | |
JP4418272B2 (en) | Defect classification dictionary teaching device | |
JP2005309535A (en) | Automatic image classification method | |
TWI427429B (en) | Method for providing defect printability analysis of photolithographic masks with job-based automation | |
JP2008152312A (en) | Production management system and production index display method | |
JP4209156B2 (en) | Inspection condition data management method and system, program, and computer-readable recording medium | |
CN101236164A (en) | Method and system for defect detection | |
JP4146655B2 (en) | Defect source candidate extraction program | |
WO2024004278A1 (en) | Learning device, learning method, and program | |
JP5374225B2 (en) | Wafer inspection condition determination method, wafer inspection condition determination system, and wafer inspection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091127 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121204 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |