JP2010243209A - Defect inspection method and defect detection device - Google Patents

Defect inspection method and defect detection device Download PDF

Info

Publication number
JP2010243209A
JP2010243209A JP2009089437A JP2009089437A JP2010243209A JP 2010243209 A JP2010243209 A JP 2010243209A JP 2009089437 A JP2009089437 A JP 2009089437A JP 2009089437 A JP2009089437 A JP 2009089437A JP 2010243209 A JP2010243209 A JP 2010243209A
Authority
JP
Japan
Prior art keywords
edge
point
vertex
defect
rotation direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009089437A
Other languages
Japanese (ja)
Inventor
Hiroaki Tsunoda
洋昭 角田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2009089437A priority Critical patent/JP2010243209A/en
Publication of JP2010243209A publication Critical patent/JP2010243209A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a defect detection method and a defect detection device capable of detecting a defect accurately, even when an inspection object has a complicated shape. <P>SOLUTION: The defect detection method includes an imaging process ST1 for imaging the inspection object and acquiring imaged image data, an edge detection process ST3, a vertex detection process ST4, a reference detection process ST6, and a defect detection process ST9. In the reference detection process ST6, when detecting an edge rotation direction of each vertex in due order along an edge tracking direction, a vertex just before a vertex at which a direction of the edge rotation direction is changed is set as a reference point, and an edge rotation direction at a subsequent reference point is set as a reference rotation direction relative to an edge between reference points along the edge tracking direction. In the defect detection process ST9, the edge between reference points is tracked, and a point at which the edge rotation direction is different from the reference rotation direction is detected as a defect point. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、撮像装置を使用し構造面を撮像して、その撮像画像より欠陥を検出する欠陥検出方法および欠陥検出装置に関する。   The present invention relates to a defect detection method and a defect detection apparatus for imaging a structural surface using an imaging apparatus and detecting defects from the captured image.

従来、エリアカメラなどの撮像装置を用いて構造面を撮影し、その撮影画像上にある構造の形状欠陥、あるいは構造に接する異物を検出する方法として、予め用意してあった良品パターンと被検査物とを重ね合わせることで欠陥を検出するパターンマッチング法が知られている。しかしながら、被検査物の形状が例えば温度などにより変化する場合など、被検査物の形状が一意に定まらない場合には、パターンに合致しない形状を全て欠陥として検出してしまうおそれがあり、誤検出の原因となる。
これに対して、被検査物の外周エッジを追跡し、欠陥を検出する方法が知られている(例えば、特許文献1参照)。
Conventionally, as a method of detecting a structural defect on a captured image or a foreign object in contact with a structure on an image by using an imaging device such as an area camera, a good product pattern and an inspection target prepared in advance are used. A pattern matching method for detecting a defect by superimposing an object is known. However, if the shape of the inspection object cannot be determined uniquely, for example, when the shape of the inspection object changes due to temperature, etc., there is a possibility that all shapes that do not match the pattern may be detected as defects. Cause.
On the other hand, a method is known in which a defect is detected by tracking the outer peripheral edge of an inspection object (see, for example, Patent Document 1).

この特許文献1に記載の欠陥検出方法では、被検査物を撮像し、その撮像画像を所定輝度値に対して2値化した二値化画像を生成する。そして、この二値化画像に対してエッジ追跡を行い、エッジの座標3点のなす角を特徴量として算出し、その特徴量から欠陥を検出する。   In the defect detection method described in Patent Document 1, an inspection object is imaged, and a binary image obtained by binarizing the captured image with respect to a predetermined luminance value is generated. Then, edge tracking is performed on the binarized image, an angle formed by the three coordinates of the edge is calculated as a feature amount, and a defect is detected from the feature amount.

特公平7−43325号公報Japanese Patent Publication No. 7-43325

しかしながら、上記特許文献1のような欠陥検出方法では、被検査物の形状が複雑な場合、例えば一部に多くの頂点が存在する場合などでは、3点間の座標が頻繁に変化してしまい、実際は欠陥のない良品であったとしても、3点間のなす角が大きくなる場合があり、誤検出の原因となるという問題がある。   However, in the defect detection method as described in Patent Document 1, when the shape of the inspection object is complicated, for example, when there are many vertices in a part, the coordinates between the three points frequently change. In fact, even if it is a non-defective product, the angle formed by the three points may become large, causing a problem of erroneous detection.

本発明は、上記の問題に鑑みてなされたものであり、被検査物が複雑な形状である場合でも、精度よく欠陥検出をすることができる欠陥検方法および欠陥検出装置を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a defect detection method and a defect detection apparatus that can accurately detect a defect even when an object to be inspected has a complicated shape. And

本発明の欠陥検出方法は、被検査物を撮像し、その撮像画像データに基づいて、欠陥を検出する欠陥検出方法であって、被検査物を撮像し、撮像画像データを取得する撮像工程と、前記撮像画像データに基づいて、前記被検査物の構造外周であるエッジを検出するエッジ検出工程と、2つの直線状の前記エッジ間に形成される頂点を検出する頂点検出工程と、前記エッジに沿う一方向をエッジ追跡方向として設定するエッジ追跡方向設定工程と、エッジ追跡方向に沿って前記エッジを追跡して、前記頂点において、前記エッジ追跡方向の前段の前記エッジである第一エッジに対する、前記エッジ追跡方向に後段の前記エッジである第二エッジの角度を検出し、第一エッジに対する第二エッジの回転方向であるエッジ回転方向を検出するエッジ回転方向検出工程と、前記エッジ追跡方向に沿って順に各頂点の前記エッジ回転方向を検出した際に、前記エッジ回転方向の向きが変化する頂点の直前の頂点を基準点として設定するとともに、前記エッジ追跡方向に沿う前記基準点間の前記エッジに対して、後段の前記基準点におけるエッジ回転方向を基準回転方向として設定する基準検出工程と、前記基準点間のエッジを、前記エッジ追跡方向に沿って追跡し、前記エッジ回転方向が、前記基準回転方向と異なる点を欠陥点として検出する欠陥検出工程と、を具備したことを特徴とする。   A defect detection method of the present invention is a defect detection method for imaging an inspection object and detecting a defect based on the captured image data, the imaging step for imaging the inspection object and acquiring the captured image data, , Based on the captured image data, an edge detection step of detecting an edge that is a structure outer periphery of the inspection object, a vertex detection step of detecting a vertex formed between two linear edges, and the edge An edge tracking direction setting step for setting one direction along the edge tracking direction as an edge tracking direction, and tracking the edge along the edge tracking direction with respect to the first edge that is the preceding edge of the edge tracking direction at the vertex The edge that detects the angle of the second edge that is the subsequent edge in the edge tracking direction and detects the edge rotation direction that is the rotation direction of the second edge with respect to the first edge When detecting the edge rotation direction of each vertex in order along the edge tracking direction in the rolling direction detection step, the vertex immediately before the vertex where the direction of the edge rotation direction changes is set as a reference point, and A reference detection step for setting an edge rotation direction at the reference point in the subsequent stage as a reference rotation direction with respect to the edge between the reference points along the edge tracking direction, and an edge between the reference points in the edge tracking direction. And a defect detection step of detecting a point where the edge rotation direction is different from the reference rotation direction as a defect point.

この発明によれば、エッジ検出工程において、撮像画像に基づいて被検査物のエッジを検出し、頂点検出工程でエッジ上の頂点を検出する。また、エッジ追跡方向設定工程で、検出したエッジに沿う一方向をエッジ追跡方向として設定し、エッジ回転方向検出工程において、各頂点の回転方向を検出する。
ここで、頂点の回転方向とは、次のように定義する。すなわち、頂点を挟むエッジのうち、エッジ追跡方向に沿う前段の部分を第一エッジ、後段の部分を第二エッジとした際、第二エッジが第一エッジに対して回転する方向を頂点の回転方向とする。
そして、基準検出工程では、エッジ追跡方向に沿って、頂点のエッジ回転方向を順次検出し、エッジ回転方向の向きが変化する頂点が検出されると、エッジ追跡方向に対してこの検出された頂点の直前の頂点を基準点として設定する。また、この基準検出工程では、基準点間を結ぶエッジに対して、エッジ追跡方向に沿う後段の基準点のエッジ回転方向を基準回転方向として設定する。
そして、欠陥検出工程では、基準点間のエッジ上の各点において、エッジ回転方向が基準回転方向と異なる点を検出し、この点を欠陥として検出する。
すなわち、エッジ追跡方向に沿ってエッジ回転方向が同一である頂点が並ぶと、これらの頂点間を結ぶエッジ上では、基準回転方向がエッジ回転方向となる。したがって、エッジ追跡方向に沿って各点の回転方向を検出した際、頂点のエッジ回転方向と異なる方向を有する点を欠陥として検出することができる。このような欠陥検出方法では、狭範囲に複数の頂点が点在していたとしても、エッジ上の各点の回転方向により欠陥を検出するため、精度よく欠陥を検出することができる。したがって、被検査物が複雑な形状である場合でも、精度よく欠陥検出をすることができる。
According to the present invention, in the edge detection step, the edge of the inspection object is detected based on the captured image, and the vertex on the edge is detected in the vertex detection step. In the edge tracking direction setting step, one direction along the detected edge is set as the edge tracking direction, and the rotation direction of each vertex is detected in the edge rotation direction detection step.
Here, the rotation direction of the vertex is defined as follows. That is, of the edges that sandwich the vertex, when the first part along the edge tracking direction is the first edge and the second part is the second edge, the direction in which the second edge rotates relative to the first edge is the vertex rotation The direction.
Then, in the reference detection step, the edge rotation direction of the vertices is sequentially detected along the edge tracking direction, and when the vertex whose direction of the edge rotation direction changes is detected, the detected vertex with respect to the edge tracking direction is detected. The vertex just before is set as the reference point. Also, in this reference detection step, the edge rotation direction of the subsequent reference point along the edge tracking direction is set as the reference rotation direction with respect to the edges connecting the reference points.
In the defect detection step, a point where the edge rotation direction is different from the reference rotation direction is detected at each point on the edge between the reference points, and this point is detected as a defect.
That is, when vertices having the same edge rotation direction are arranged along the edge tracking direction, the reference rotation direction becomes the edge rotation direction on the edges connecting these vertices. Therefore, when the rotation direction of each point is detected along the edge tracking direction, a point having a direction different from the edge rotation direction of the vertex can be detected as a defect. In such a defect detection method, even if a plurality of vertices are scattered in a narrow range, the defect can be detected with high accuracy because the defect is detected based on the rotation direction of each point on the edge. Therefore, even when the inspection object has a complicated shape, the defect can be detected with high accuracy.

本発明の欠陥検出方法は、前記エッジ検出工程は、前記撮像画像データの各画素の輝度値を、所定閾値に対して二値化した二値化画像を生成し、前記基準検出工程は、二値化画像に対して、前記基準点となる頂点を含む所定画素範囲を基準点走査領域として設定する領域設定工程と、この基準点走査領域に対して、所定の走査方向を設定する走査方向設定工程と、前記基準点等差領域内における前記頂点の先端方向の一方端から順に、走査方向に沿う輝度値変化量を演算し、前記輝度値変化量が始めて所定閾値以上となる点を検出し、この検出点を基準点として設定する基準点設定工程と、を有することが好ましい。   In the defect detection method of the present invention, the edge detection step generates a binary image in which the luminance value of each pixel of the captured image data is binarized with respect to a predetermined threshold, and the reference detection step An area setting step for setting a predetermined pixel range including the vertex serving as the reference point as a reference point scanning area for the binarized image, and a scanning direction setting for setting a predetermined scanning direction for the reference point scanning area Calculating a luminance value change amount along the scanning direction in order from one end of the apex direction of the vertex in the step and the reference point equal difference region, and detecting a point where the luminance value change amount first exceeds a predetermined threshold value And a reference point setting step of setting this detection point as a reference point.

この発明によれば、エッジ検出工程では、撮像画像に対して所定閾値に対して二値化画像を生成し、基準点設定工程では、この二値化画像に設定した基準点走査領域に対して、所定の走査方向に沿う輝度変化を検査し、輝度変化が見られる最初の画素を基準点として設定する。これにより、基準点の正確な位置を検出することができ、欠陥検出工程においてこの正確な基準点位置の間のエッジに沿って欠陥検出を実施でき、欠陥検出の精度を向上させることができる。   According to the present invention, in the edge detection step, a binarized image is generated with respect to a predetermined threshold for the captured image, and in the reference point setting step, the reference point scanning region set in the binarized image is generated. The luminance change along a predetermined scanning direction is inspected, and the first pixel where the luminance change is seen is set as a reference point. Thereby, the exact position of the reference point can be detected, and the defect detection can be performed along the edge between the accurate reference point positions in the defect detection step, so that the accuracy of the defect detection can be improved.

本発明の欠陥検出方法は、前記欠陥検出工程は、前記エッジ上の第一検査対象点およびこの第一検査対象点から所定画素だけ離れた第二検査対象点の傾きと、前記エッジ追跡方向に沿って前記第一検査対象点および前記第二検査対象点を所定画素分だけ移動させた際の前記傾きとに基づいて、角度変化量を算出し、前記基準回転方向を正方向として、前記角度変化量が負方向に所定の欠陥閾値以上となる点を欠陥点として検出することが好ましい。   In the defect detection method of the present invention, in the defect detection step, the first inspection target point on the edge, the inclination of the second inspection target point separated from the first inspection target point by a predetermined pixel, and the edge tracking direction An angle change amount is calculated based on the inclination when the first inspection target point and the second inspection target point are moved by a predetermined pixel along the reference rotation direction as the positive direction, and the angle It is preferable to detect a point where the amount of change is equal to or greater than a predetermined defect threshold in the negative direction as a defect point.

この発明によれば、欠陥検出工程では、第一検査対象点および第二検査対象点の傾きと、第一検査対象点および第二検査対象点を所定画素分移動させた際の傾きとに基づいて角度変化量を算出する。そして、基準回転方向を正方向とし、角度変化量が負方向に所定閾値以上となる点を欠陥点として検出している。
一般に、エッジ上に欠陥や異物の付着がある場合、エッジ上に凸状部または凹状部が形成される。このような凸状部、凹状部上の点では回転方向が、基準回転方向とは逆方向となる点が生じるため、各点の角度変化量を検出することで欠陥や異物を容易に検出することができる。
According to this invention, in the defect detection step, based on the inclination of the first inspection target point and the second inspection target point and the inclination when the first inspection target point and the second inspection target point are moved by a predetermined pixel. To calculate the angle change amount. A point where the reference rotation direction is the positive direction and the angle change amount is equal to or greater than a predetermined threshold value in the negative direction is detected as a defect point.
In general, when there is a defect or foreign matter attached on the edge, a convex portion or a concave portion is formed on the edge. Since such a point on the convex part and the concave part has a point where the rotation direction is opposite to the reference rotation direction, it is easy to detect defects and foreign matters by detecting the amount of angular change at each point. be able to.

本発明の欠陥検出装置は、被検査物を撮像し、その撮像画像データに基づいて、欠陥を検出する欠陥検出装置であって、被検査物を撮像し、撮像画像データを取得する撮像手段と、前記撮像画像データに基づいて、前記被検査物の構造外周であるエッジを検出するエッジ検出手段と、2つの直線状の前記エッジ間に形成される頂点を検出する頂点検出手段と、前記エッジに沿う一方向をエッジ追跡方向として設定するエッジ追跡方向設定手段と、エッジ追跡方向に沿って前記エッジを追跡して、前記頂点において、前記エッジ追跡方向の前段の前記エッジである第一エッジに対する、前記エッジ追跡方向に後段の前記エッジである第二エッジの角度を検出し、第一エッジに対する第二エッジの回転方向であるエッジ回転方向を検出するエッジ回転方向検出手段と、前記エッジ追跡方向に沿って順に各頂点の前記エッジ回転方向を検出した際に、前記エッジ回転方向の向きが変化する頂点の直前の頂点を基準点として設定するとともに、前記エッジ追跡方向に沿う前記基準点間の前記エッジに対して、後段の前記基準点におけるエッジ回転方向を基準回転方向として設定する基準検出手段と、前記基準点間のエッジを、前記エッジ追跡方向に沿って追跡し、前記エッジ回転方向が、前記基準回転方向と異なる点を欠陥点として検出する欠陥検出手段と、を具備したことを特徴とする。   A defect detection apparatus according to the present invention is a defect detection apparatus that images an object to be inspected and detects defects based on the imaged image data, and an imaging unit that images the object to be inspected and acquires the imaged image data. , Based on the captured image data, edge detection means for detecting an edge that is the outer periphery of the structure of the object to be inspected, vertex detection means for detecting a vertex formed between two linear edges, and the edge Edge tracking direction setting means for setting one direction along the edge tracking direction as an edge tracking direction, and tracking the edge along the edge tracking direction with respect to the first edge which is the preceding edge of the edge tracking direction at the vertex The edge that detects the angle of the second edge that is the subsequent edge in the edge tracking direction and detects the edge rotation direction that is the rotation direction of the second edge with respect to the first edge When detecting the edge rotation direction of each vertex in order along the edge tracking direction with the rolling direction detection means, the vertex immediately before the vertex where the direction of the edge rotation direction changes is set as a reference point, and Reference detection means for setting the edge rotation direction at the reference point in the subsequent stage as the reference rotation direction with respect to the edge between the reference points along the edge tracking direction, and the edge between the reference points in the edge tracking direction And defect detection means for detecting a point whose edge rotation direction is different from the reference rotation direction as a defect point.

この欠陥検出装置においても、上記発明と同様に、エッジ追跡方向に沿うエッジ上の各点の回転方向に基づいて欠陥として検出するため、狭範囲に複数の頂点が点在していたとしても、精度よく欠陥を検出することができる。したがって、被検査物が複雑な形状である場合でも、精度よく欠陥検出をすることができる。   Even in this defect detection device, as in the above invention, in order to detect as a defect based on the rotation direction of each point on the edge along the edge tracking direction, even if a plurality of vertices are scattered in a narrow range, Defects can be detected with high accuracy. Therefore, even when the inspection object has a complicated shape, the defect can be detected with high accuracy.

本発明の実施の形態による欠陥検出装置である検査制御装置の構成図。The block diagram of the inspection control apparatus which is a defect detection apparatus by embodiment of this invention. CCDカメラにより撮像された撮像画像データの一例を示す図。The figure which shows an example of the captured image data imaged with the CCD camera. 図2の撮像画像データの二値化画像を示す図。The figure which shows the binarized image of the captured image data of FIG. 図2の撮像画像データのエッジを強調したエッジ画像を示す図。The figure which shows the edge image which emphasized the edge of the captured image data of FIG. エッジ回転方向の定義、およびエッジ方向設定手段によるエッジ回転方向の設定手順を説明する図。The figure explaining the definition procedure of an edge rotation direction, and the setting procedure of the edge rotation direction by an edge direction setting means. 本実施の形態の欠陥検出動作のフローチャート。The flowchart of the defect detection operation | movement of this Embodiment. 頂点検出工程における頂点検出処理を説明する説明図。Explanatory drawing explaining the vertex detection process in a vertex detection process. 基準検出工程における基準点設定処理を説明する説明図。Explanatory drawing explaining the reference point setting process in a reference | standard detection process. 基準検出工程における基準点の座標位置検出を説明する説明図。Explanatory drawing explaining the coordinate position detection of the reference point in a reference | standard detection process. 欠陥検出工程を説明する説明図。Explanatory drawing explaining a defect detection process. 図10において、エッジ上の一部の拡大図。FIG. 11 is an enlarged view of a part on an edge in FIG. 10. 欠陥検出画像の一例を示す図。The figure which shows an example of a defect detection image.

以下、本発明の実施形態を図面に基づいて説明する。
図1は、本発明の実施の形態による欠陥検出装置である検査制御装置の構成図である。
本実施の形態の欠陥検出装置10は、フレキシブル基板や、液晶パネル(TFTパネル)、半導体ウエハーなどの被検査物1の欠陥や、付着した異物などを検出するものである。被検査物1は、XYステージ2上に載置され、平面的に移動可能に構成されている。
欠陥検出装置10は、顕微鏡3、CCDカメラ4、検査制御装置5、および表示装置6を備えている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram of an inspection control apparatus which is a defect detection apparatus according to an embodiment of the present invention.
The defect detection apparatus 10 according to the present embodiment detects a defect of an inspection object 1 such as a flexible substrate, a liquid crystal panel (TFT panel), or a semiconductor wafer, an attached foreign matter, and the like. The inspection object 1 is placed on the XY stage 2 and configured to be movable in a plane.
The defect detection device 10 includes a microscope 3, a CCD camera 4, an inspection control device 5, and a display device 6.

顕微鏡3は、被検査物1を拡大してCCDカメラ4で撮影するために設けられており、被検査物1の欠陥を検出するために十分な倍率を有するものが用いられている。
CCDカメラ4は、顕微鏡3を介して被検査物1を撮影する撮像手段である。
検査制御装置5は、CCDカメラ4を制御し、被検査物1を検出する画像処理手段である。表示装置6は、検査制御装置5に接続された液晶ディスプレイなどの表示装置である。
The microscope 3 is provided for enlarging the object 1 to be photographed by the CCD camera 4, and a microscope having sufficient magnification for detecting a defect of the object 1 is used.
The CCD camera 4 is an imaging unit that photographs the inspection object 1 through the microscope 3.
The inspection control device 5 is an image processing unit that controls the CCD camera 4 and detects the inspection object 1. The display device 6 is a display device such as a liquid crystal display connected to the inspection control device 5.

検査制御装置5は、画像入力手段50と、角度変化検出手段51と、欠陥抽出手段52と、欠陥検出手段53とから構成されている。   The inspection control device 5 includes an image input unit 50, an angle change detection unit 51, a defect extraction unit 52, and a defect detection unit 53.

画像入力手段50には、図2に示すようなCCDカメラ4で撮像された取込画像の撮像データ19が入力される。ここで、図2は、CCDカメラ4により撮像された撮像画像データの一例を示す図である。画像入力手段50は、この入力された画像データを、図示しない記憶手段に記憶する。すなわち、画像入力手段50によってCCDカメラ4を用いて検査対象を撮像する画像取得工程(撮像工程)が実施される。   The image input means 50 receives captured image data 19 of a captured image captured by the CCD camera 4 as shown in FIG. Here, FIG. 2 is a diagram illustrating an example of captured image data captured by the CCD camera 4. The image input unit 50 stores the input image data in a storage unit (not shown). That is, an image acquisition process (imaging process) for imaging the inspection object using the CCD camera 4 by the image input means 50 is performed.

角度変化検出手段51は、取得した画像データの画像エッジ部分に対して角度変化の検出を行う角度変化検出工程を実施する。この角度変化検出手段51は、二値化画像生成手段511と、エッジ検出手段512と、頂点検出手段513と、エッジ方向設定手段514と、基準検出手段515と、エッジ追跡手段516とを備えている。なお、エッジ追跡手段516と、欠陥抽出手段52と、欠陥検出手段53とにより、本発明の欠陥検出手段が構成される。   The angle change detection means 51 performs an angle change detection step of detecting an angle change for the image edge portion of the acquired image data. The angle change detection means 51 includes a binarized image generation means 511, an edge detection means 512, a vertex detection means 513, an edge direction setting means 514, a reference detection means 515, and an edge tracking means 516. Yes. The edge tracking unit 516, the defect extraction unit 52, and the defect detection unit 53 constitute the defect detection unit of the present invention.

二値化画像生成手段511は、画像入力手段50に入力された画像データに基づいて、二値化画像を生成する二値化画像生成処理を実施する。
すなわち、二値化画像生成手段511は、図3に示されるように撮像画像の画像データを背景色、前景色の2色にわける。図3は、図2の撮像画像データの二値化画像を示す図である。
具体的には、二値化画像生成手段511は、撮像画像の各画素の輝度値を予め設定された閾値以上か否かにより分類する。本実施形態では、前記閾値以上の輝度値を有する画素の輝度値を例えば255(白色)に設定し、前記閾値未満の輝度値を有する画素の輝度値を例えば0(黒色)として設定した二値化画像7を生成する。
The binarized image generating unit 511 performs a binarized image generating process for generating a binarized image based on the image data input to the image input unit 50.
In other words, the binarized image generating means 511 divides the image data of the captured image into two colors of background color and foreground color as shown in FIG. FIG. 3 is a diagram illustrating a binarized image of the captured image data of FIG.
Specifically, the binarized image generation unit 511 classifies the luminance value of each pixel of the captured image based on whether or not it is greater than or equal to a preset threshold value. In the present embodiment, a binary value in which a luminance value of a pixel having a luminance value equal to or higher than the threshold is set to, for example, 255 (white) and a luminance value of a pixel having a luminance value less than the threshold is set to, for example, 0 (black). A converted image 7 is generated.

図4は、図2の撮像画像データのエッジを強調したエッジ画像を示す図である。
エッジ検出手段512は、撮像画像または二値化画像7に基づいて、エッジを強調した図4に示すようなエッジ画像8を作成する処理を実施するここで、エッジとは、被検査物1の外周形状に沿うラインである。
具体的には、エッジ検出手段512は、例えば微分値計算によりエッジ検出を行い、検出されたエッジを線で表したエッジ画像8を作成する。
FIG. 4 is a diagram illustrating an edge image in which the edge of the captured image data in FIG. 2 is emphasized.
The edge detection means 512 performs a process of creating an edge image 8 as shown in FIG. 4 in which the edge is emphasized based on the captured image or the binarized image 7. Here, the edge is the inspection object 1. It is a line along the outer periphery shape.
Specifically, the edge detection means 512 performs edge detection by, for example, differential value calculation, and creates an edge image 8 in which the detected edge is represented by a line.

頂点検出手段513は、被検査物1の頂点12を特定する。本実施の形態の欠陥検出装置は、工場などで製造されるウエハーや、液晶パネルなど、予め形状データが設計時点で明確となっている対象を、被検査物1とするものであり、被検査物1において、どの位置に頂点12が設けられるかの大凡の位置は、頂点予測データとして例えば記憶手段に記憶されている。この頂点予測データとしては、例えば、図4に示すように、頂点12が形成される範囲を示すマスクデータとしての頂点予測データ81であればよい。この場合、頂点検出手段513は、この頂点予測データ81を読み込むことで、予め頂点が存在する範囲を把握し、この範囲内の頂点12を全て検出する。
また、頂点予測データ81として、さらに詳細な頂点の予測領域、例えば図9に示す走査領域9が記録されているデータであってもよい。
The vertex detection means 513 identifies the vertex 12 of the inspection object 1. The defect detection apparatus according to the present embodiment is an object to be inspected 1 that has a shape data that has been clarified in advance at the time of design, such as a wafer manufactured in a factory or a liquid crystal panel. In the object 1, the approximate position where the vertex 12 is provided is stored as vertex prediction data in, for example, the storage means. As the vertex prediction data, for example, as shown in FIG. 4, vertex prediction data 81 as mask data indicating a range in which the vertex 12 is formed may be used. In this case, the vertex detection means 513 reads the vertex prediction data 81 to grasp the range where the vertices exist in advance and detect all the vertices 12 within this range.
Further, the vertex prediction data 81 may be data in which a more detailed vertex prediction area, for example, the scanning area 9 shown in FIG. 9 is recorded.

エッジ方向設定手段514は、エッジ追跡方向11(図8、9参照)を設定し、このエッジ追跡方向11に基づいてエッジ回転方向を検出する。ここで、エッジ方向設定手段514により設定されるエッジ追跡方向11としては、エッジに沿う一方向であればいずれの方向であってもよい。
図5は、エッジ回転方向の定義、およびエッジ方向設定手段によるエッジ回転方向の設定手順を説明する図である。
ここで、本発明で述べるエッジ回転方向を以下のように定義する。すなわち、図5において、頂点12を挟む一対のエッジ13のうち、エッジ追跡方向11の前段のエッジ13を第一エッジ13A、エッジ追跡方向11の後段のエッジ13を第二エッジ13Bとする。また、第一エッジ13Aのエッジ追跡方向11に沿う直線方向をx軸正方向、頂点12を原点O、原点Oにおけるx軸に直交する方向をy軸とした座標系を設定する。そして、この座標系において、第二エッジ13Bが第一象限および第二象限内に位置する場合、エッジ回転方向を反時計周り方向と定義し、第二エッジ13Bが第三象限および第四象限内に位置する場合、エッジ回転方向を時計回り方向とする。
エッジ方向設定手段514は、先に設定したエッジ追跡方向に沿って各頂点12における第二エッジ13Bの位置を順に検査し、第一エッジ13Aおよび頂点12に対する、第二エッジ13Bの位置を検出することで、各頂点12におけるエッジ回転方向を検出する。
The edge direction setting means 514 sets the edge tracking direction 11 (see FIGS. 8 and 9), and detects the edge rotation direction based on the edge tracking direction 11. Here, the edge tracking direction 11 set by the edge direction setting means 514 may be any direction as long as it is one direction along the edge.
FIG. 5 is a diagram for explaining the definition of the edge rotation direction and the procedure for setting the edge rotation direction by the edge direction setting means.
Here, the edge rotation direction described in the present invention is defined as follows. That is, in FIG. 5, of the pair of edges 13 sandwiching the vertex 12, the edge 13 in the front stage of the edge tracking direction 11 is the first edge 13A, and the edge 13 in the rear stage of the edge tracking direction 11 is the second edge 13B. Also, a coordinate system is set in which the linear direction along the edge tracking direction 11 of the first edge 13A is the positive x-axis direction, the vertex 12 is the origin O, and the direction perpendicular to the x-axis at the origin O is the y-axis. In this coordinate system, when the second edge 13B is located in the first quadrant and the second quadrant, the edge rotation direction is defined as the counterclockwise direction, and the second edge 13B is in the third quadrant and the fourth quadrant. The edge rotation direction is the clockwise direction.
The edge direction setting means 514 sequentially checks the position of the second edge 13B at each vertex 12 along the previously set edge tracking direction, and detects the position of the second edge 13B with respect to the first edge 13A and the vertex 12. Thus, the edge rotation direction at each vertex 12 is detected.

基準検出手段515は、後述のエッジ追跡処理における始点および終点となる頂点、すなわち、基準点を設定する。また、基準検出手段515は、検出された基準点間のエッジ13に対する基準回転方向を設定する。   The reference detection unit 515 sets vertices serving as start points and end points in edge tracking processing described later, that is, reference points. The reference detection unit 515 sets a reference rotation direction with respect to the edge 13 between the detected reference points.

具体的には、図8に示されるように、基準検出手段515は、エッジ追跡方向11に沿って順に頂点12のエッジ回転方向を認識する。そして、基準検出手段515は、エッジ回転方向が変化する頂点12を検出すると、その直前の頂点12を基準点18として検出する。例えば、エッジ追跡方向に沿って、エッジ回転方向が時計回り方向である頂点A,B,Cが連続して検出され、その後、頂点Dにおいて、エッジ回転方向が反時計回り方向であると検出された場合、この頂点Dの直前の頂点Cを基準点18として設定する。   Specifically, as illustrated in FIG. 8, the reference detection unit 515 recognizes the edge rotation direction of the vertex 12 in order along the edge tracking direction 11. Then, when the reference detection unit 515 detects the vertex 12 whose edge rotation direction changes, the reference detection unit 515 detects the vertex 12 immediately before that as the reference point 18. For example, vertices A, B, and C whose edge rotation direction is the clockwise direction are continuously detected along the edge tracking direction, and thereafter, at vertex D, the edge rotation direction is detected as the counterclockwise direction. In this case, the vertex C immediately before the vertex D is set as the reference point 18.

また、基準検出手段515は、設定した基準点18の正確な位置座標を検出する。すなわち、先に検出された頂点12は、エッジ回転方向を検出するために簡易的に検出されたものであり、その正確な位置座標が検出されたものではない。一方、エッジ13に沿って欠陥検出を実施する際には、各基準点18の位置座標をより詳細に設定する必要がある。
このために、基準検出手段515は、まず、基準点18を含む大凡の基準点領域を設定し、この基準点領域内を所定の走査方向に沿って走査し、走査方向に沿う輝度変化点を認識することで、基準点の正確な座標位置を検出する。なお、この基準点18の座標位置の詳細な検出方法については、後述する。
Further, the reference detection means 515 detects the exact position coordinates of the set reference point 18. That is, the vertex 12 detected earlier is simply detected to detect the edge rotation direction, and the exact position coordinate is not detected. On the other hand, when performing defect detection along the edge 13, it is necessary to set the position coordinates of each reference point 18 in more detail.
For this purpose, the reference detection means 515 first sets a rough reference point area including the reference point 18, scans the reference point area along a predetermined scanning direction, and determines a luminance change point along the scanning direction. By recognizing, the exact coordinate position of the reference point is detected. A detailed method for detecting the coordinate position of the reference point 18 will be described later.

そして、基準検出手段515は、設定された基準点18間を結ぶエッジ13における基準回転方向を設定する。具体的には、基準検出手段515は、基準点18間を結ぶエッジ13に対して、エッジ追跡方向11の後段側基準点18におけるエッジ回転方向を基準回転方向として設定する。   Then, the reference detection unit 515 sets a reference rotation direction at the edge 13 connecting the set reference points 18. Specifically, the reference detection unit 515 sets the edge rotation direction at the rear side reference point 18 of the edge tracking direction 11 as the reference rotation direction for the edge 13 connecting the reference points 18.

エッジ追跡手段516は、基準検出手段515によって設定された基準点18間をエッジ追跡方向に沿って追跡し、エッジ上の各点における角度変化量を算出する。
具体的には、エッジ追跡手段516は、エッジ13上の第一検査対象点とこの検査対象点から一定の距離だけ離れた第二検査対象点との角度を計算する。また、エッジ追跡手段516は、第一検査対象点および第二検査対象点をエッジ追跡方向に沿って1画素ずつずらして順次これら2点の角度を算出する。
The edge tracking unit 516 tracks between the reference points 18 set by the reference detection unit 515 along the edge tracking direction, and calculates an angle change amount at each point on the edge.
Specifically, the edge tracking unit 516 calculates the angle between the first inspection target point on the edge 13 and the second inspection target point that is a fixed distance away from the inspection target point. Further, the edge tracking unit 516 sequentially calculates the angles of these two points by shifting the first inspection target point and the second inspection target point by one pixel along the edge tracking direction.

欠陥抽出手段52は、角度変化検出手段51のエッジ追跡手段516により算出された角度変化量に基づいて、欠陥候補を抽出する。具体的には、欠陥抽出手段52は、角度変化量が所定の閾値範囲から外れたものを、欠陥候補として抽出する。   The defect extraction unit 52 extracts defect candidates based on the amount of angle change calculated by the edge tracking unit 516 of the angle change detection unit 51. Specifically, the defect extraction means 52 extracts those whose angle change amount is out of a predetermined threshold range as defect candidates.

欠陥検出手段53は、欠陥抽出手段52により抽出された欠陥候補が欠陥に該当するかどうかを判断する欠陥検出処理を行う。具体的には、欠陥検出手段53は、欠陥候補点における角度変化方向が基準回転方向と逆方向である場合に、欠陥として判別する。   The defect detection unit 53 performs a defect detection process for determining whether the defect candidate extracted by the defect extraction unit 52 corresponds to a defect. Specifically, the defect detection unit 53 determines a defect when the angle change direction at the defect candidate point is opposite to the reference rotation direction.

[欠陥検出装置の動作]
次に、本発明の欠陥検出装置10の動作について、図面に基づいて説明する。
図6は、この実施形態の欠陥検出装置10の動作を説明するためのフローチャートである。図6に示す動作は、検査制御装置5上で実行されるプログラムにより実行されている。
[Operation of defect detection device]
Next, operation | movement of the defect detection apparatus 10 of this invention is demonstrated based on drawing.
FIG. 6 is a flowchart for explaining the operation of the defect detection apparatus 10 of this embodiment. The operation shown in FIG. 6 is executed by a program executed on the inspection control device 5.

まず、被検査物1がXYステージ2にセットされると、検査制御装置5の画像入力手段50は、被検査物1の画像をCCDカメラ4で撮影し、図2に示すような撮像データ19の画像を取り込む画像取得処理を実施する(ステップST1:撮像工程)。このとき撮像データは、図示しないA/D変換器により、例えば、4096階調(12ビット)のデジタルデータとして、検査制御装置5に取り込まれる。   First, when the inspection object 1 is set on the XY stage 2, the image input means 50 of the inspection control device 5 captures an image of the inspection object 1 with the CCD camera 4, and the imaging data 19 as shown in FIG. An image acquisition process for capturing the image is performed (step ST1: imaging step). At this time, the imaging data is taken into the inspection control device 5 as digital data of 4096 gradations (12 bits) by an A / D converter (not shown).

次に、二値化画像生成手段511は、取得された撮像データ19に対して、背景色と前景色に分離する二値化画像を生成する(ステップST2:二値化画像生成工程)。具体的には、この二値化画像生成工程では、二値化画像生成手段511は、撮像データ19の各画素の輝度値を検出し、これらの輝度値が閾値以上であれば「1」、閾値未満であれば「0」を設定する。そして、二値化画像生成手段511は、「1」が設定された画素の輝度値を最大輝度値(例えば255)に設定し、「0」が設定された画素の輝度値を最小輝度値(例えば0)に設定した二値化画像7を生成する。   Next, the binarized image generating unit 511 generates a binarized image that is separated into a background color and a foreground color with respect to the acquired imaging data 19 (step ST2: binarized image generating step). Specifically, in this binarized image generating step, the binarized image generating means 511 detects the luminance value of each pixel of the imaging data 19, and “1” if these luminance values are equal to or greater than a threshold value. If it is less than the threshold, “0” is set. Then, the binarized image generating unit 511 sets the luminance value of the pixel set to “1” to the maximum luminance value (for example, 255), and sets the luminance value of the pixel set to “0” to the minimum luminance value ( For example, the binarized image 7 set to 0) is generated.

次に、エッジ検出手段512は、撮像データ19および二値化画像7に基づいて、図4に示すようなエッジ画像8を生成するエッジ検出工程を実施する(ステップST3)。このエッジ検出工程では、微分値計算によりエッジを検出し、検出されたエッジ13を白線で表示したエッジ画像8を作成する処理である。すなわち、図2で示されるような撮像画像を図4に示すようなエッジ13のみを線で強調した表示画像を作成する。
なお、本実施形態では、エッジを白線で強調するエッジ画像8を生成する例を示すが、エッジを例えば黒線など、他色にて表示する画像であってもよい。
Next, the edge detection means 512 performs an edge detection process for generating an edge image 8 as shown in FIG. 4 based on the imaging data 19 and the binarized image 7 (step ST3). In this edge detection step, an edge is detected by differential value calculation, and an edge image 8 in which the detected edge 13 is displayed with a white line is created. That is, a display image is created by emphasizing only the edge 13 as shown in FIG. 4 from the captured image as shown in FIG.
In the present embodiment, an example is shown in which the edge image 8 in which the edge is emphasized with a white line is generated.

次に、頂点検出手段513は、エッジ検出工程で取得した画像に対して頂点12を検出する頂点検出工程を実施する(ステップST4)。
この頂点検出工程では、頂点検出手段513は、エッジ画像8内における頂点12の大凡の位置を検出する。これには、上記したように、予め記憶手段に記憶されている頂点予測データ81を用いて、頂点12の位置を絞り込み、図7に示すように、頂点12を検出する頂点検出処理を実施する。
Next, the vertex detection means 513 performs a vertex detection step of detecting the vertex 12 on the image acquired in the edge detection step (step ST4).
In this vertex detection step, the vertex detection means 513 detects the approximate position of the vertex 12 in the edge image 8. For this purpose, as described above, the vertex prediction data 81 stored in advance in the storage means is used to narrow down the position of the vertex 12, and as shown in FIG. 7, the vertex detection process for detecting the vertex 12 is performed. .

そして、この頂点検出手段513の後、エッジ方向設定手段514は、エッジ追跡方向11およびエッジ回転方向を設定する(ステップST5:本発明のエッジ回転方向設定工程に対応するエッジ方向設定工程)。   After this vertex detection means 513, the edge direction setting means 514 sets the edge tracking direction 11 and the edge rotation direction (step ST5: edge direction setting process corresponding to the edge rotation direction setting process of the present invention).

この後、基準検出手段515は、エッジ追跡処理における始点および終点となる頂点、すなわち、基準点を設定するとともに、終点のエッジ回転方向を基準回転方向として設定する(ステップST6)。   Thereafter, the reference detection means 515 sets the vertex that is the start point and end point in the edge tracking process, that is, the reference point, and sets the edge rotation direction of the end point as the reference rotation direction (step ST6).

具体的には、基準検出工程では、図8に示すように、エッジ追跡方向11に沿って順次頂点12のエッジ回転方向を検出し、このエッジ回転方向の向きが逆向きとなる頂点12を検出すると、その直前の頂点12を基準点18として設定する。
次に、基準検出手段515は、検出した基準点18の座標位置を検出する。これには、図9に示すように、基準検出手段515は、まず、基準点18を含む基準点走査領域20を設定する(領域設定工程)。そして、基準検出手段515は、エッジ13と、基準点走査領域20の領域境界線21との交点をL1,L2として検出し(エッジ追跡方向11に沿ってL1,L2の順)、これらの点L1,L2を結ぶ仮想線分lを引く。そして、基準検出手段515は、この仮想線分lに沿う方向、例えばL1からL2に向かう方向を走査方向として設定する(走査方向設定工程)。
また、基準検出手段515は、仮想線分lに直交する線(例えば仮想線分lの垂直二等分線r)と、基準点走査領域20の領域境界線21との交差点をR1、R2とする。そして、基準検出手段515は、これらの点R1,R2のうち、頂点の先端方向、すなわち、仮想線分lより、エッジの2直線の交点が設けられる側の点R1を通り、走査方向に平行する直線上の輝度値を検出し、頂点検出処理を実施する(基準点設定工程)。
この頂点検出では、基準検出手段515は、基準点走査領域20に存在する基準点18のエッジ回転方向に応じて、二値化画像の輝度変化点を検出する。本実施の形態では、被検査物1の構造形状内が低輝度(例えば輝度値0)、背景が高輝度(例えば輝度値255)である二値化画像が生成されるが、この場合、例えば図9の左下拡大図に示すように、エッジ回転方向が時計回り方向である場合、基準検出手段515は、走査方向に沿って輝度値が低輝度から高輝度になる変化点があるか否かを検出する。ここで、変化点が検出されない場合は、基準検出手段515は、仮想線分lに直交する線rに沿って、走査対象を、R1より1画素だけR2側に移動させ、上記と同様に、走査方向に沿って輝度値の変化点を検出する。以下、基準検出手段515は、輝度値の変化点が検出されるまで上記走査を実施する。そして、輝度値の変化点が検出されると、その変化点を基準点18とし、その位置座標を計測する。
Specifically, in the reference detection step, as shown in FIG. 8, the edge rotation direction of the vertex 12 is sequentially detected along the edge tracking direction 11, and the vertex 12 whose direction of the edge rotation direction is opposite is detected. Then, the vertex 12 immediately before that is set as the reference point 18.
Next, the reference detection means 515 detects the coordinate position of the detected reference point 18. For this purpose, as shown in FIG. 9, the reference detection means 515 first sets a reference point scanning region 20 including the reference point 18 (region setting step). The reference detection unit 515 detects the intersections of the edge 13 and the region boundary line 21 of the reference point scanning region 20 as L1 and L2 (in order of L1 and L2 along the edge tracking direction 11), and these points. A virtual line segment l connecting L1 and L2 is drawn. Then, the reference detection unit 515 sets a direction along the virtual line segment l, for example, a direction from L1 to L2 as a scanning direction (scanning direction setting step).
Further, the reference detection means 515 determines the intersections between a line perpendicular to the virtual line segment l (for example, a perpendicular bisector r of the virtual line segment l) and the region boundary line 21 of the reference point scanning region 20 as R1, R2. To do. Of these points R1 and R2, the reference detection means 515 passes through the point R1 on the side where the intersection of the two straight lines of the edge from the imaginary line segment l, that is, the virtual line segment l, and is parallel to the scanning direction. The luminance value on the straight line to be detected is detected, and the vertex detection process is performed (reference point setting step).
In this vertex detection, the reference detection unit 515 detects the luminance change point of the binarized image according to the edge rotation direction of the reference point 18 existing in the reference point scanning region 20. In the present embodiment, a binary image having a low luminance (for example, luminance value 0) in the structural shape of the inspection object 1 and a high luminance (for example, luminance value 255) in the background is generated. As shown in the lower left enlarged view of FIG. 9, when the edge rotation direction is the clockwise direction, the reference detection unit 515 determines whether or not there is a change point where the luminance value changes from low luminance to high luminance along the scanning direction. Is detected. Here, when the change point is not detected, the reference detection unit 515 moves the scanning target by one pixel from R1 to the R2 side along the line r orthogonal to the virtual line segment l. A change point of the luminance value is detected along the scanning direction. Hereinafter, the reference detection unit 515 performs the above scanning until a change point of the luminance value is detected. When a change point of the luminance value is detected, the change point is set as the reference point 18 and the position coordinate is measured.

基準検出工程では、上述のように、基準検出手段515は、基準点18間を結ぶエッジに対して、エッジ追跡方向11の後段側の基準点18のエッジ回転方向を基準回転方向として設定する。   In the reference detection step, as described above, the reference detection unit 515 sets the edge rotation direction of the reference point 18 at the rear stage of the edge tracking direction 11 as the reference rotation direction with respect to the edges connecting the reference points 18.

この後、エッジ追跡手段516は、基準検出手段515によって設定された基準点18間をエッジ追跡方向に沿って追跡し、エッジ上の各点における角度変化量を算出する(ステップST7)
ここで、角度変化量の算出方法について、図10および図11に基づいて説明する。図10は、エッジ追跡工程を説明するためのエッジ画像の拡大図であり、図11は、図10における一部領域Aをさらに画素単位で拡大した図である。
エッジ追跡手段516は、まず、エッジ上の第一検査対象点P(i)と、この第一検査対象点P(i)から所定画素だけ離れた第二検査対象点P(i−d)と、を認識し、これら第一検査対象点P(i)と第二検査対象点P(i−d)の傾きを算出する。次に、エッジ追跡手段516は、第一検査対象点P(i)および第二検査対象点P(i−d)を1画素だけずらし、その傾きを算出する。そして、エッジ追跡手段516は、これらの傾きから次式(1)に基づいて、角度変化量θ(i)を算出する。
Thereafter, the edge tracking unit 516 tracks between the reference points 18 set by the reference detection unit 515 along the edge tracking direction, and calculates an angle change amount at each point on the edge (step ST7).
Here, a method of calculating the angle change amount will be described with reference to FIGS. FIG. 10 is an enlarged view of an edge image for explaining the edge tracking step, and FIG. 11 is a diagram in which a partial area A in FIG. 10 is further enlarged in units of pixels.
The edge tracking means 516 first includes a first inspection target point P (i) on the edge and a second inspection target point P (id) that is separated from the first inspection target point P (i) by a predetermined pixel. , And the inclination of the first inspection target point P (i) and the second inspection target point P (id) is calculated. Next, the edge tracking unit 516 shifts the first inspection target point P (i) and the second inspection target point P (id) by one pixel, and calculates the inclination thereof. Then, the edge tracking means 516 calculates the angle change amount θ (i) from these inclinations based on the following equation (1).

Figure 2010243209
Figure 2010243209

次に、欠陥抽出手段52は欠陥を抽出する欠陥候補抽出工程(ステップST8)を実施する。この欠陥候補抽出工程では、エッジ13上の各点において、角度変化量θ(i)の絶対値が所定閾値以上となる点を欠陥候補として検出する。すなわち、検査対象物は、検査時の温度などの環境要因や、その他の要因により、膨張縮小など、僅かに変形する場合があり、これらの変形を欠陥と検出すると、良品である検査物に対しても欠陥であると誤検出してしまうおそれがある。これにより、エッジ13に略沿う位置に配置される点は、欠陥として検出されない。   Next, the defect extraction means 52 performs a defect candidate extraction process (step ST8) for extracting defects. In this defect candidate extraction step, a point at which the absolute value of the angle change amount θ (i) is equal to or greater than a predetermined threshold at each point on the edge 13 is detected as a defect candidate. In other words, the inspection object may be slightly deformed due to environmental factors such as temperature during inspection and other factors, such as expansion and contraction, and if these deformations are detected as defects, However, it may be erroneously detected as a defect. Thereby, a point arranged at a position substantially along the edge 13 is not detected as a defect.

次に、欠陥検出手段53は、欠陥抽出手段52で抽出された欠陥候補から欠陥を判別する工程を実施する(ステップST9)。なお、ステップST7からステップST9の各工程により本発明の欠陥検出工程が実施される。
例えば、図10および図11の例では、エッジ13の基準回転方向は反時計周り方向となる。一方、図11に示すように、点P(i)において、ステップST8で角度変化量の絶対値が閾値以上となるので、欠陥候補として検出される。欠陥検出手段53は、欠陥候補であるこの点P(i)が、欠陥であるか否かを判別する。ここで、欠陥検出手段53は、この画素P(i)における角度変化方向を検出し、基準回転方向と反対方向であれば欠陥として検出する。例えば、図11に示す例では、基準回転方向が反時計回り方向であるため、図11において矢印S1方向が正方向となり、矢印S2方向が負方向となる。したがって、欠陥検出手段53は、矢印S2方向に角度変化方向を有する点P(i)を欠陥として検出する。
また、欠陥検出手段53は、検出した欠陥を適宜読み出し可能に図示されない記憶部に記憶する。なお、欠陥検出手段53は、上記のように検出された欠陥を、例えば、図12のように表示した欠陥位置表示画像を生成してもよい。
Next, the defect detection means 53 performs the process of discriminating defects from the defect candidates extracted by the defect extraction means 52 (step ST9). In addition, the defect detection process of this invention is implemented by each process of step ST7 to step ST9.
For example, in the example of FIGS. 10 and 11, the reference rotation direction of the edge 13 is the counterclockwise direction. On the other hand, as shown in FIG. 11, at point P (i), the absolute value of the angle change amount is greater than or equal to the threshold value in step ST8, so that it is detected as a defect candidate. The defect detection means 53 determines whether or not this point P (i) that is a defect candidate is a defect. Here, the defect detection means 53 detects the angle change direction in the pixel P (i), and detects it as a defect if the direction is opposite to the reference rotation direction. For example, in the example shown in FIG. 11, since the reference rotation direction is the counterclockwise direction, the arrow S1 direction is the positive direction and the arrow S2 direction is the negative direction in FIG. Therefore, the defect detection means 53 detects a point P (i) having an angle change direction in the arrow S2 direction as a defect.
Moreover, the defect detection means 53 memorize | stores the detected defect in the memory | storage part which is not shown in figure so that reading is possible suitably. In addition, the defect detection means 53 may generate | occur | produce the defect position display image which displayed the defect detected as mentioned above like FIG.

[本実施の形態の作用効果]
上述したように、上記実施の形態の欠陥検出装置10では、撮像工程で、カメラ4により、被検査物1を撮像し、エッジ検出工程において、エッジ検出手段512により、検査対象物の撮像画像からエッジを検出し、頂点検出工程において、頂点検出手段513により、検出したエッジ上の頂点12を検出する。そして、エッジ方向設定工程において、エッジ方向設定手段514は、エッジに沿う一方向をエッジ追跡方向11として設定し、このエッジ追跡方向11に沿って頂点12のエッジ回転方向を検出する。この後、基準検出工程により、基準検出手段515は、エッジ追跡方向11に沿って頂点12のエッジ回転方向を順次検出し、エッジ回転方向の向きが変化する頂点12の直前の頂点12を基準点18として設定し、この基準点18間のエッジ13の基準回転方向を設定する。
そして、欠陥検出工程では、エッジ13上の各点において、エッジ回転方向が基準回転方向と反対方向となる点を欠陥として検出している。
このような構成および欠陥検出方法では、エッジ13を、基準点18により分割することで、エッジ回転方向が基準回転方向である複数のエッジに分割することができる。したがって、これらの分割されたエッジ13において、各点の基準回転方向と一致するか否かを判断することで、容易に、かつ精度よく各点に対する欠陥の有無を判別することができる。よって、各点毎に欠陥であるか否かを判断できるため、狭い範囲に複数の頂点が集まる場合でも、影響を受けることなく、被検査物が複雑な形状である場合でも、精度よく欠陥検出を実施することができる。
[Operational effects of this embodiment]
As described above, in the defect detection apparatus 10 of the above-described embodiment, the inspection object 1 is imaged by the camera 4 in the imaging process, and the edge detection unit 512 detects the captured image of the inspection object in the edge detection process. The edge is detected, and in the vertex detection step, the vertex detection unit 513 detects the vertex 12 on the detected edge. In the edge direction setting step, the edge direction setting unit 514 sets one direction along the edge as the edge tracking direction 11 and detects the edge rotation direction of the vertex 12 along the edge tracking direction 11. Thereafter, in the reference detection step, the reference detection means 515 sequentially detects the edge rotation direction of the vertex 12 along the edge tracking direction 11, and the vertex 12 immediately before the vertex 12 where the direction of the edge rotation direction changes is the reference point. 18 and the reference rotation direction of the edge 13 between the reference points 18 is set.
In the defect detection step, a point at which the edge rotation direction is opposite to the reference rotation direction at each point on the edge 13 is detected as a defect.
In such a configuration and defect detection method, the edge 13 can be divided into a plurality of edges whose edge rotation direction is the reference rotation direction by dividing the edge 13 by the reference point 18. Therefore, by determining whether or not these divided edges 13 coincide with the reference rotation direction of each point, it is possible to easily and accurately determine the presence or absence of a defect for each point. Therefore, since it is possible to determine whether each point is a defect, even when multiple vertices are gathered in a narrow range, even if the object to be inspected has a complicated shape without being affected, it is possible to detect defects accurately. Can be implemented.

また、基準検出工程では、基準点18が含まれると予想される範囲を、基準点走査領域20として設定し、頂点12を挟む第一エッジ13Aおよび第二エッジ13Bと領域境界線21との交点L1,L2間を結ぶ仮想線分lを設定する。そして、仮想線分lの垂直二等分線rが領域境界線21と接する点をR1,R2とし、仮想線分lより頂点12側に配置される点R1から仮想線分lと平行する走査方向に沿って、点R1から点R2に向かって輝度変化を検出する。そして、この輝度変化において、初めて異なる輝度値が現れると、この点を基準点18の正確な位置として設定する。
このため、基準点18の位置を正確に設定することができるため、欠陥検出工程におけるエッジ追跡処理における始点および終点の位置座標を正確に設定することができる。したがって、欠陥検出精度をより向上させることができる。
In the reference detection step, a range in which the reference point 18 is expected to be included is set as the reference point scanning region 20, and the intersections of the first edge 13 </ b> A and the second edge 13 </ b> B sandwiching the vertex 12 and the region boundary line 21 are set. A virtual line segment l connecting L1 and L2 is set. Then, the points where the perpendicular bisector r of the virtual line segment l touches the region boundary line 21 are R1 and R2, and scanning is performed in parallel with the virtual line segment l from the point R1 arranged on the vertex 12 side of the virtual line segment l. A change in luminance is detected along the direction from point R1 to point R2. When a different luminance value appears for the first time in this luminance change, this point is set as an accurate position of the reference point 18.
For this reason, since the position of the reference point 18 can be set accurately, the position coordinates of the start point and end point in the edge tracking process in the defect detection process can be set accurately. Therefore, the defect detection accuracy can be further improved.

欠陥検出工程では、第一検査対象点P(i)および第二検査対象点P(i−d)の傾きと、第一検査対象点および第二検査対象点を所定画素分移動させた際の傾きとに基づいて角度変化量θ(i)を算出する。そして、基準回転方向を正方向とし、角度変化量が負方向に所定閾値以上となる点を欠陥点として検出している。
一般に、エッジ上に欠陥や異物の付着がある場合、エッジ上に凸状部または凹状部が形成される。このような凸状部、凹状部上の点では回転方向が、基準回転方向とは逆方向となる点が生じるため、各点の角度変化量を検出することで欠陥や異物を容易に検出することができる。
In the defect detection step, the inclination of the first inspection target point P (i) and the second inspection target point P (id), and the first inspection target point and the second inspection target point when they are moved by a predetermined number of pixels. The angle change amount θ (i) is calculated based on the inclination. A point where the reference rotation direction is the positive direction and the angle change amount is equal to or greater than a predetermined threshold value in the negative direction is detected as a defect point.
In general, when there is a defect or foreign matter attached on the edge, a convex portion or a concave portion is formed on the edge. Since such a point on the convex part and the concave part has a point where the rotation direction is opposite to the reference rotation direction, it is easy to detect defects and foreign matters by detecting the amount of angular change at each point. be able to.

本実施形態では、二値化画像およびエッジ画像を生成し、これら2画像を用いて欠陥検出を行っている。このため、基準点の座標を正確に把握することができ、検査の精度が向上する。   In this embodiment, a binarized image and an edge image are generated, and defect detection is performed using these two images. For this reason, the coordinates of the reference point can be accurately grasped, and the inspection accuracy is improved.

[他の実施の形態]
なお、本発明は、以上説明した実施の形態に限定されず、本発明の目的を達せられる範囲で種々の改良、変形が可能である。
[Other embodiments]
The present invention is not limited to the embodiment described above, and various improvements and modifications can be made within the scope of achieving the object of the present invention.

例えば、前記実施形態では、図4に示されるように、頂点予測データ81がエッジ画像に対して帯状に延びていたが、この形に限らず、楕円形などでも良い。また、各頂点が存在すると予測される範囲を記録した各頂点予測データを用いてもよい。   For example, in the embodiment, as shown in FIG. 4, the vertex prediction data 81 extends in a band shape with respect to the edge image. However, the shape is not limited to this shape, and may be an elliptical shape. Moreover, you may use each vertex prediction data which recorded the range estimated that each vertex exists.

また、前記実施形態は、角度変化量θ(i)が、予め決められた閾値以上のものを欠陥候補として抽出し、さらに、この欠陥候補のうち頂点の回転方向が異なるものを欠陥として検出していたが、これに限定されない。例えば、回転方向が異なるものを欠陥候補として抽出し、角度変化量θ(i)が閾値以上のものを欠陥として検出してもよい。   Further, in the above-described embodiment, the angle change amount θ (i) is extracted as a defect candidate when the angle change amount θ (i) is equal to or greater than a predetermined threshold, and further, defects having different vertex rotation directions are detected as defects. However, it is not limited to this. For example, those with different rotation directions may be extracted as defect candidates, and those with an angle change amount θ (i) greater than or equal to a threshold value may be detected as defects.

さらに、二値化画像7およびエッジ画像8を用いて、欠陥検出を実施したが、例えばエッジ画像8のみにより欠陥検出を実施してもよい。この場合、頂点検出工程において、検出した頂点の座標位置を検出すればよい。   Further, the defect detection is performed using the binarized image 7 and the edge image 8, but the defect detection may be performed using only the edge image 8, for example. In this case, the coordinate position of the detected vertex may be detected in the vertex detection step.

さらに、撮像画像または二値化画像に基づいてエッジ画像を生成していたが、これに限定されない。例えば、エッジ画像を生成した後に、二値化画像を生成してもよい。   Furthermore, although the edge image is generated based on the captured image or the binarized image, the present invention is not limited to this. For example, the binarized image may be generated after the edge image is generated.

以上、本発明を実施するための最良の構成について具体的に説明したが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、当業者が様々な変形および改良を加えることができるものである。   Although the best configuration for carrying out the present invention has been specifically described above, the present invention is not limited to this. That is, the present invention has been illustrated and described primarily with respect to particular embodiments, but the present invention is not limited to the embodiments described above without departing from the scope of the technical idea and object of the present invention. Various modifications and improvements can be made by a trader.

1…被検査物、50…画像入力手段、51…角度変化検出手段、52…欠陥抽出手段、53…欠陥検出手段、511…二値化画像生成手段、512…エッジ検出手段、513…頂点検出手段、514…エッジ方向設定手段、515…基準検出手段、516…エッジ追跡手段。   DESCRIPTION OF SYMBOLS 1 ... Inspection object, 50 ... Image input means, 51 ... Angle change detection means, 52 ... Defect extraction means, 53 ... Defect detection means, 511 ... Binary image generation means, 512 ... Edge detection means, 513 ... Vertex detection Means 514... Edge direction setting means 515. Reference detecting means 516. Edge tracking means.

Claims (4)

被検査物を撮像し、その撮像画像データに基づいて、欠陥を検出する欠陥検出方法であって、
被検査物を撮像し、撮像画像データを取得する撮像工程と、
前記撮像画像データに基づいて、前記被検査物の構造外周であるエッジを検出するエッジ検出工程と、
2つの直線状の前記エッジ間に形成される頂点を検出する頂点検出工程と、
前記エッジに沿う一方向をエッジ追跡方向として設定するエッジ追跡方向設定工程と、
エッジ追跡方向に沿って前記エッジを追跡して、前記頂点において、前記エッジ追跡方向の前段の前記エッジである第一エッジに対する、前記エッジ追跡方向に後段の前記エッジである第二エッジの角度を検出し、第一エッジに対する第二エッジの回転方向であるエッジ回転方向を検出するエッジ回転方向検出工程と、
前記エッジ追跡方向に沿って順に各頂点の前記エッジ回転方向を検出した際に、前記エッジ回転方向の向きが変化する頂点の直前の頂点を基準点として設定するとともに、前記エッジ追跡方向に沿う前記基準点間の前記エッジに対して、後段の前記基準点におけるエッジ回転方向を基準回転方向として設定する基準検出工程と、
前記基準点間のエッジを、前記エッジ追跡方向に沿って追跡し、前記エッジ回転方向が、前記基準回転方向と異なる点を欠陥点として検出する欠陥検出工程と、
を具備したことを特徴とする欠陥検出方法。
A defect detection method for imaging an inspection object and detecting a defect based on the captured image data,
An imaging step of imaging the inspection object and acquiring captured image data;
Based on the captured image data, an edge detection step for detecting an edge that is a structure outer periphery of the inspection object;
A vertex detection step of detecting a vertex formed between the two straight edges;
An edge tracking direction setting step of setting one direction along the edge as an edge tracking direction;
The edge is traced along the edge tracking direction, and an angle of the second edge, which is the subsequent edge in the edge tracking direction, with respect to the first edge, which is the preceding edge in the edge tracking direction, at the vertex is determined. An edge rotation direction detection step for detecting and detecting an edge rotation direction which is a rotation direction of the second edge with respect to the first edge;
When the edge rotation direction of each vertex is detected in order along the edge tracking direction, the vertex immediately before the vertex whose direction of the edge rotation direction changes is set as a reference point, and the edge tracking direction is A reference detection step for setting the edge rotation direction at the reference point in the subsequent stage as the reference rotation direction with respect to the edge between the reference points;
A defect detection step of tracking an edge between the reference points along the edge tracking direction, and detecting a point where the edge rotation direction is different from the reference rotation direction as a defect point;
A defect detection method comprising:
請求項1に記載の欠陥検出方法であって、
前記エッジ検出工程は、前記撮像画像データの各画素の輝度値を、所定閾値に対して二値化した二値化画像を生成し、
前記基準検出工程は、
二値化画像に対して、前記基準点となる頂点を含む所定画素範囲を基準点走査領域として設定する領域設定工程と、この基準点走査領域に対して、所定の走査方向を設定する走査方向設定工程と、前記基準点等差領域内における前記頂点の先端方向の一方端から順に、走査方向に沿う輝度値変化量を演算し、前記輝度値変化量が始めて所定閾値以上となる点を検出し、この検出点を基準点として設定する基準点設定工程と、を有する
ことを特徴とする欠陥検出方法。
The defect detection method according to claim 1,
The edge detection step generates a binarized image obtained by binarizing the luminance value of each pixel of the captured image data with respect to a predetermined threshold,
The reference detection step includes
An area setting step for setting a predetermined pixel range including a vertex serving as the reference point as a reference point scanning area for the binarized image, and a scanning direction for setting a predetermined scanning direction for the reference point scanning area The luminance value change amount along the scanning direction is calculated in order from the setting step and one end in the tip direction of the vertex in the reference point equal difference region, and a point at which the luminance value change amount first exceeds a predetermined threshold is detected. And a reference point setting step of setting the detection point as a reference point.
請求項1または請求項2に記載の欠陥検出方法であって、
前記欠陥検出工程は、前記エッジ上の第一検査対象点およびこの第一検査対象点から所定画素だけ離れた第二検査対象点の傾きと、前記エッジ追跡方向に沿って前記第一検査対象点および前記第二検査対象点を所定画素分だけ移動させた際の前記傾きとに基づいて、角度変化量を算出し、前記基準回転方向を正方向として、前記角度変化量が負方向に所定の欠陥閾値以上となる点を欠陥点として検出する
ことを特徴とする欠陥検出方法。
The defect detection method according to claim 1 or 2,
The defect detection step includes the first inspection target point on the edge, the inclination of the second inspection target point separated from the first inspection target point by a predetermined pixel, and the first inspection target point along the edge tracking direction. And an angle change amount is calculated based on the inclination when the second inspection target point is moved by a predetermined pixel, and the angle change amount is a predetermined value in the negative direction with the reference rotation direction as a positive direction. A defect detection method characterized by detecting a point that is equal to or higher than a defect threshold as a defect point.
被検査物を撮像し、その撮像画像データに基づいて、欠陥を検出する欠陥検出装置であって、
被検査物を撮像し、撮像画像データを取得する撮像手段と、
前記撮像画像データに基づいて、前記被検査物の構造外周であるエッジを検出するエッジ検出手段と、
2つの直線状の前記エッジ間に形成される頂点を検出する頂点検出手段と、
前記エッジに沿う一方向をエッジ追跡方向として設定するエッジ追跡方向設定手段と、
エッジ追跡方向に沿って前記エッジを追跡して、前記頂点において、前記エッジ追跡方向の前段の前記エッジである第一エッジに対する、前記エッジ追跡方向に後段の前記エッジである第二エッジの角度を検出し、第一エッジに対する第二エッジの回転方向であるエッジ回転方向を検出するエッジ回転方向検出手段と、
前記エッジ追跡方向に沿って順に各頂点の前記エッジ回転方向を検出した際に、前記エッジ回転方向の向きが変化する頂点の直前の頂点を基準点として設定するとともに、前記エッジ追跡方向に沿う前記基準点間の前記エッジに対して、後段の前記基準点におけるエッジ回転方向を基準回転方向として設定する基準検出手段と、
前記基準点間のエッジを、前記エッジ追跡方向に沿って追跡し、前記エッジ回転方向が、前記基準回転方向と異なる点を欠陥点として検出する欠陥検出手段と、
を具備したことを特徴とする欠陥検出装置。
A defect detection device that images an inspection object and detects a defect based on the captured image data,
Imaging means for imaging the object to be inspected and acquiring captured image data;
Edge detection means for detecting an edge that is a structure outer periphery of the inspection object based on the captured image data;
Vertex detection means for detecting a vertex formed between two straight edges;
Edge tracking direction setting means for setting one direction along the edge as an edge tracking direction;
The edge is traced along the edge tracking direction, and an angle of the second edge, which is the subsequent edge in the edge tracking direction, with respect to the first edge, which is the preceding edge in the edge tracking direction, at the vertex is determined. Edge rotation direction detecting means for detecting and detecting an edge rotation direction which is a rotation direction of the second edge with respect to the first edge;
When the edge rotation direction of each vertex is detected in order along the edge tracking direction, the vertex immediately before the vertex whose direction of the edge rotation direction changes is set as a reference point, and the edge tracking direction is Reference detection means for setting the edge rotation direction at the reference point in the subsequent stage as the reference rotation direction with respect to the edge between the reference points;
Defect detecting means for tracking an edge between the reference points along the edge tracking direction, and detecting a point where the edge rotation direction is different from the reference rotation direction as a defect point;
A defect detection apparatus comprising:
JP2009089437A 2009-04-01 2009-04-01 Defect inspection method and defect detection device Pending JP2010243209A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009089437A JP2010243209A (en) 2009-04-01 2009-04-01 Defect inspection method and defect detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009089437A JP2010243209A (en) 2009-04-01 2009-04-01 Defect inspection method and defect detection device

Publications (1)

Publication Number Publication Date
JP2010243209A true JP2010243209A (en) 2010-10-28

Family

ID=43096385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009089437A Pending JP2010243209A (en) 2009-04-01 2009-04-01 Defect inspection method and defect detection device

Country Status (1)

Country Link
JP (1) JP2010243209A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016267A (en) * 2012-07-10 2014-01-30 Central Glass Co Ltd Inspection method, inspection device, and manufacturing method of glass plate
JP2016092732A (en) * 2014-11-10 2016-05-23 三星ディスプレイ株式會社Samsung Display Co.,Ltd. Image processing system, image processing method, and program
WO2023224041A1 (en) * 2022-05-18 2023-11-23 株式会社アドヴィックス Inspection device and learning method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016267A (en) * 2012-07-10 2014-01-30 Central Glass Co Ltd Inspection method, inspection device, and manufacturing method of glass plate
JP2016092732A (en) * 2014-11-10 2016-05-23 三星ディスプレイ株式會社Samsung Display Co.,Ltd. Image processing system, image processing method, and program
WO2023224041A1 (en) * 2022-05-18 2023-11-23 株式会社アドヴィックス Inspection device and learning method

Similar Documents

Publication Publication Date Title
JP5699788B2 (en) Screen area detection method and system
JP3764364B2 (en) Image feature point detection method, image processing method, and program
TWI500925B (en) Check the device, check the method and check the program
US11210773B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
WO2017071406A1 (en) Method and system for detecting pin of gold needle element
JP2018096908A (en) Inspection device and inspection method
JP2011007728A (en) Method, apparatus and program for defect detection
CN110288040B (en) Image similarity judging method and device based on topology verification
CN113705564B (en) Pointer type instrument identification reading method
CN114485433A (en) Three-dimensional measurement system, method and device based on pseudo-random speckles
JP2010243209A (en) Defect inspection method and defect detection device
JP2002140713A (en) Image processing method and image processor
JP2011107878A (en) Position detection apparatus and position detection method
TWI496111B (en) Bent pin inspection method
TWI427263B (en) Method and apparatus of measuring height of projections, and program therefor
JP2010091360A (en) Method and device for inspecting image
JP5157575B2 (en) Defect detection method
JP2010091525A (en) Pattern matching method of electronic component
JP2010243242A (en) Method and device for detection of flaw
JP2009250777A (en) Surface inspection device and surface inspection method
JP2006163662A (en) Device and method for recognizing number of fingers
JP2000321038A (en) Method for detecting fault of pattern
JP5678737B2 (en) Defect detection method and defect detection apparatus
JP5391172B2 (en) Foreign object inspection apparatus and alignment adjustment method
JP5346304B2 (en) Appearance inspection apparatus, appearance inspection system, and appearance inspection method