JP5351673B2 - Appearance inspection device, appearance inspection method - Google Patents
Appearance inspection device, appearance inspection method Download PDFInfo
- Publication number
- JP5351673B2 JP5351673B2 JP2009208434A JP2009208434A JP5351673B2 JP 5351673 B2 JP5351673 B2 JP 5351673B2 JP 2009208434 A JP2009208434 A JP 2009208434A JP 2009208434 A JP2009208434 A JP 2009208434A JP 5351673 B2 JP5351673 B2 JP 5351673B2
- Authority
- JP
- Japan
- Prior art keywords
- crack
- crack candidate
- candidate
- area
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、検査対象物を撮像した濃淡画像を用いることにより検査対象物に生じたクラックを抽出する外観検査装置、外観検査方法に関するものである。 The present invention relates to an appearance inspection apparatus and an appearance inspection method for extracting a crack generated in an inspection object by using a grayscale image obtained by imaging the inspection object.
一般に、検査対象物を撮像した濃淡画像を用いた外観検査により検査対象物に生じたクラックを検出する技術が提案されている。 In general, there has been proposed a technique for detecting a crack generated in an inspection object by an appearance inspection using a grayscale image obtained by imaging the inspection object.
たとえば、特許文献１には、検査対象物の表面の傷やクラックのうち、直線状の傷やクラックを検出する技術が示されている。特許文献１に記載の技術では、検査対象物の濃淡画像を用いてエッジを強調したエッジ画像を生成し、エッジ画像に含まれるエッジにラベリングを行った後、エッジの接線方向（実際にはエッジ上の画素の濃度勾配の方向）が所定角度範囲内である画素群を抽出し、この画素群を通る傷候補直線を設定している。傷候補直線は角度範囲毎に求められ、ラベルが付与されたエッジ上の画素から各傷候補直線までの距離を求めるとともに、評価値を用いてエッジが直線状か否かが判定される。
For example,
また、特許文献２には、クラックの発生場所とクラックの延長方向との関係に着目することにより、クラックをごみのような異物と識別して抽出する技術が記載されている。特許文献２に記載の技術では、検査対象物を撮像した濃淡画像からエッジ画像を生成し、クラックが生じる可能性のある検査スタートポイントを設定するとともに、検査スタートポイントに合わせて幅の狭い検出エリアを設定し、検査スタートポイントの周りで検出エリアを回転走査している。また、検出エリアの走査の間に、検出エリアに含まれるエッジ上の画素から得られる欠陥候補点の総数などが評価され、クラックと異物とが識別される。
上述した特許文献１、２に記載の技術は、いずれも検査対象物の濃淡画像からエッジ画像を生成し、エッジ画像に含まれる画素を規定の規則で評価することによって、クラックを識別している。
The technologies described in
ところで、エッジ画像を生成する技術には、濃淡画像を微分した微分画像に対して適宜の閾値を適用して微分画像を２値化する技術が多く採用されている。すなわち、濃淡画像に対して微分フィルタ（ないし、エッジ強調フィルタ）を適用すると、濃淡画像において濃淡値の変化が大きい部位をエッジとして抽出することができる。ただし、微分フィルタを適用すると、濃淡画像に含まれるエッジだけではなくノイズも強調して抽出することになる。 By the way, as a technique for generating an edge image, a technique for binarizing a differential image by applying an appropriate threshold to a differential image obtained by differentiating a grayscale image is often employed. That is, when a differential filter (or edge enhancement filter) is applied to a grayscale image, it is possible to extract a portion having a large change in grayscale value as an edge in the grayscale image. However, when the differential filter is applied, not only the edge included in the grayscale image but also noise is emphasized and extracted.
また、水平方向の２次微分の結果と垂直方向の２次微分の結果とを足し合わせることにより、ラプラシアンフィルタを用いた場合と同様に、濃淡画像の２次微分の値が得ることができる。このようにして求めた２次微分の値では、方向に依存することなくエッジを抽出することができる。ただし、２次微分では、微分を繰り返しているから、ノイズをさらに強調することになる。 Further, by adding the result of the second-order differential in the horizontal direction and the result of the second-order differential in the vertical direction, the value of the second-order differential of the grayscale image can be obtained as in the case of using the Laplacian filter. With the secondary differential value obtained in this way, an edge can be extracted without depending on the direction. However, since the differentiation is repeated in the secondary differentiation, the noise is further emphasized.
とくに検査対象物の表面が粗面であるときには、ノイズ成分が大幅に増加するから，濃淡画像からクラックを分離することが困難になるという問題が生じる。 In particular, when the surface of the inspection object is a rough surface, the noise component is greatly increased, which causes a problem that it is difficult to separate cracks from the grayscale image.
本発明は上記事由に鑑みて為されたものであり、その目的は、検査対象物の濃淡画像に微分を行うことなくクラックを抽出することでノイズの影響を低減し、結果的に粗面に生じた微細なクラックであっても精度よく検出することを可能にした外観検査装置、外観検査方法を提供することにある。 The present invention has been made in view of the above-mentioned reasons, and its purpose is to reduce the influence of noise by extracting cracks without differentiating the grayscale image of the inspection object, resulting in a rough surface. An object of the present invention is to provide an appearance inspection apparatus and an appearance inspection method capable of accurately detecting even a generated fine crack.
本発明は、上記目的を達成するために、検査対象物を撮像した濃淡画像から２値画像を生成する２値化手段と、２値画像内で検査対象物に生じたクラックに対応した画素値を持つ連結成分のうちクラックの特性を有する連結成分をクラック候補領域として抽出する候補選別手段と、候補選別手段により抽出されたクラック候補領域を慣性主軸の傾きの類似性を用いて分類するクラスタリング手段と、クラスタリング手段により分類されたクラック候補領域について分類ごとに連結可能性を評価する連結処理手段と、連結処理手段により１つのクラックに属すると判断されたクラック候補領域を用いて検査対象物の良否を判定する判定手段とを備え、前記クラスタリング手段は、前記候補選別手段により抽出された複数個のクラック候補領域のうち慣性主軸の角度差が最小である２個のクラック候補領域を抽出し、両クラック候補領域の面積を重み係数として慣性主軸の傾きの重み付き平均を慣性主軸の傾きに持つとともに両クラック候補領域の面積の合計を面積に持つ新たなクラック候補領域を元のクラック候補領域に代えて設定する処理を、慣性主軸の角度差が規定範囲内のクラック候補領域がなくなるまで繰り返し、新たなクラック候補領域の設定に用いた元のクラック候補領域の集合を、慣性主軸の傾きに類似性を有するクラック候補領域の集合とすることを特徴とする。 In order to achieve the above object, the present invention provides a binarizing means for generating a binary image from a grayscale image obtained by imaging an inspection object, and a pixel value corresponding to a crack generated in the inspection object in the binary image. Selection means for extracting a connected component having a crack characteristic among connected components having a crack candidate area, and a clustering means for classifying the crack candidate area extracted by the candidate selection means by using the similarity of the inclination of the principal axis of inertia And a connection processing means for evaluating the possibility of connection for each classification of the crack candidate areas classified by the clustering means, and the quality of the inspection object using the crack candidate areas determined to belong to one crack by the connection processing means and a determining means, said clustering means, a plurality of cracks candidate region extracted by the candidate selection means That is, two crack candidate areas having the smallest angle difference between the inertia main axes are extracted, and the area of both crack candidate areas is used as a weighting factor, and the weighted average of the inclination of the inertia main axes is used as the inclination of the inertia main axes, and both crack candidate areas are used. The process of setting a new crack candidate area having the total of the areas as the area instead of the original crack candidate area is repeated until there is no crack candidate area whose angular difference of the inertia main axis is within the specified range, and a new crack candidate area The set of original crack candidate areas used for the setting of the above is a set of crack candidate areas having similarity to the inclination of the principal axis of inertia .
候補選別手段は、以下の（１）〜（３）のいずれかの構成を採用することができる。 The candidate selection means can employ any of the following configurations (1) to (3).
（１）２値化手段により生成した２値画像の連結成分について円形度を求め、円形度が基準値以下である連結成分をクラック候補領域として抽出する構成。 (1) A configuration in which a circularity is obtained for a connected component of a binary image generated by a binarizing unit, and a connected component having a circularity equal to or less than a reference value is extracted as a crack candidate region.
（２）２値化手段により生成した２値画像の連結成分について慣性主軸の方向の長さ寸法が、当該方向に直交する方向の幅寸法に対してなすアスペクト比を求め、アスペクト比が基準値以上である連結成分をクラック候補領域として抽出する構成。 (2) For the connected component of the binary image generated by the binarizing means, the aspect ratio of the length dimension in the direction of the principal axis of the inertia to the width dimension in the direction orthogonal to the direction is obtained, and the aspect ratio is the reference value The structure which extracts the above connected component as a crack candidate area | region.
（３）２値化手段により生成した２値画像の連結成分について２値画像の座標軸に平行な辺を有する外接矩形の対角線の傾きと、当該連結成分の慣性主軸の傾きとの角度差が基準値以下である連結成分をクラック候補領域として抽出する構成。 (3) For the connected component of the binary image generated by the binarization means, the angle difference between the diagonal of the circumscribed rectangle having a side parallel to the coordinate axis of the binary image and the inclination of the principal axis of the connected component is the reference The structure which extracts the connection component which is below a value as a crack candidate area | region.
連結処理手段は、以下の（ａ）〜（ｄ）のいずれかの構成を採用することができる。 The connection processing means can employ any of the following configurations (a) to (d).
（ａ）クラスタリング手段が形成した集合内に複数個のクラック候補領域が存在すると、各クラック候補領域の慣性主軸の方向における端点の位置を求めるとともに、互いに異なるクラック候補領域の端点間距離が基準値以下である２個のクラック候補領域を１つのクラックに属するクラック候補領域と判断する構成。 (A) When there are a plurality of crack candidate areas in the set formed by the clustering means, the positions of the end points in the direction of the principal axis of each crack candidate area are obtained, and the distance between the end points of the different crack candidate areas is a reference value A configuration in which the following two crack candidate areas are determined as crack candidate areas belonging to one crack.
（ｂ）クラスタリング手段が形成した集合内に複数個のクラック候補領域が存在すると、各クラック候補領域の面積を重み係数とした慣性主軸の傾きの重み付き平均である基準方向を求めるとともに、各クラック候補領域の重心を通る基準方向の直線を設定し、直線間の距離が基準値以下である２個のクラック候補領域を１つのクラックに属するクラック候補領域と判断する構成。 (B) When a plurality of crack candidate regions exist in the set formed by the clustering means, a reference direction which is a weighted average of the inclination of the inertial main axis with the area of each crack candidate region as a weighting coefficient is obtained, and each crack A configuration in which a straight line in the reference direction passing through the center of gravity of the candidate area is set, and two crack candidate areas whose distance between the straight lines is equal to or smaller than a reference value are determined as crack candidate areas belonging to one crack.
（ｃ）クラスタリング手段が形成した集合内に複数個のクラック候補領域が存在すると、各クラック候補領域の面積を重み係数とした慣性主軸の傾きの重み付き平均である基準方向を求めるとともに、各クラック候補領域の重心を通る基準方向の直線を設定して２値画像の座標軸と各直線の交点の位置を求め、基準方向を用いて交点間の距離を基準方向に直交する方向に正規化し、正規化した距離が基準値以下である２個のクラック候補領域を１つのクラックに属するクラック候補領域と判断する構成。 (C) When a plurality of crack candidate regions exist in the set formed by the clustering means, a reference direction which is a weighted average of the inclination of the inertial main axis with the area of each crack candidate region as a weighting coefficient is obtained, and each crack A straight line in the reference direction passing through the centroid of the candidate area is set to obtain the position of the intersection of the coordinate axis of each binary image and each straight line, and the distance between the intersections is normalized to the direction orthogonal to the reference direction using the reference direction. The structure which judges the two crack candidate area | regions which the converted distance is below a reference value as the crack candidate area | region which belongs to one crack.
（ｄ）クラスタリング手段が形成した集合内に複数個のクラック候補領域が存在すると、すべてのクラック候補領域の面積を重み係数とした慣性主軸の傾きの重み付き平均である基準方向と、各クラック候補領域の重心同士を結ぶ直線との角度差を求め、角度差が規定範囲内である２個のクラック候補領域を１つのクラックに属すると判断する構成。 (D) If there are a plurality of crack candidate regions in the set formed by the clustering means, a reference direction that is a weighted average of the inclinations of the principal axes of inertia with the areas of all the crack candidate regions as weighting factors, and each crack candidate The structure which calculates | requires the angle difference with the straight line which connects the gravity centers of an area | region, and judges that the two crack candidate area | regions where an angle difference is in a regulation range belong to one crack.
判定手段は、連結処理手段で１つのクラックに属すると判断された複数個のクラック候補領域のそれぞれを２値画像の座標軸に投影した射影幅を求めるとともに、射影幅の合計を判定閾値と比較し、投影幅の合計が判定閾値以上であれば、検査対象物をクラックの生じた不良品と判断する構成を採用することが望ましい。 The determination means obtains a projection width obtained by projecting each of the plurality of crack candidate areas determined to belong to one crack by the connection processing means to the coordinate axis of the binary image, and compares the total projection width with a determination threshold value. If the total projection width is equal to or greater than the determination threshold, it is desirable to adopt a configuration in which the inspection object is determined as a defective product with cracks.
本発明の構成によれば、検査対象物の濃淡画像から２値画像を生成し、微分を行わずにクラックを抽出するから、粗面のように微分を行うとノイズが検出されやすい面に形成された微細なクラックでも精度よく検出することができる。 According to the configuration of the present invention, a binary image is generated from a grayscale image of an inspection object, and cracks are extracted without performing differentiation. Therefore, when differentiation is performed such as a rough surface, noise is easily detected. Even fine cracks can be detected with high accuracy.
とくに、２値画像から抽出した連結成分のうちクラックの特性を有する連結成分をクラック候補領域として抽出し、さらに、慣性主軸の傾きが類似しているクラック候補領域をグループ化した集合を形成し、さらに集合内でクラック候補領域の連結の可能性を評価しているから、２値画像内の連結成分についてクラックである可能性を３種類の方法で徐々に絞り込んでいくことになり、クラックの有無を精度よく検出することが可能になる。 In particular, connected components having crack characteristics are extracted from the connected components extracted from the binary image as crack candidate regions, and further, a set in which crack candidate regions having similar inclinations of the principal axes of inertia are grouped is formed. Furthermore, since the possibility of connection of crack candidate areas in the set is evaluated, the possibility of being a crack in the connected component in the binary image is gradually narrowed down by three types of methods. Can be detected with high accuracy.
２値画像における連結成分についてクラックの特性を有するか否かを評価するために、円形度、アスペクト比、外接矩形の対角線と慣性主軸の傾きとの角度差とのいずれかに着目することにより、連結成分が細長い形状であるか否かを定量的に判断することが可能になる。 In order to evaluate whether or not the connected component in the binary image has crack characteristics, paying attention to either the circularity, the aspect ratio, the angle difference between the diagonal of the circumscribed rectangle and the inclination of the principal axis of inertia, It is possible to quantitatively determine whether or not the connected component has an elongated shape.
クラックの特性を有するクラック候補領域については、慣性主軸の傾きが近いもの同士を集めて集合を形成するから、１つのクラックに属している可能性が高いクラック候補領域ごとにグループ化され、各クラック候補領域が１つのクラックに属しているか否かの判定を行う範囲を絞り込むことができる。すなわち、処理負荷が軽減されることになる。 The crack candidate areas having the characteristics of cracks are gathered together to form a set by gathering together those with the inclination of the principal axis of inertia, and are grouped for each crack candidate area that is likely to belong to one crack. It is possible to narrow the range for determining whether or not a candidate area belongs to one crack. That is, the processing load is reduced.
クラック候補領域を慣性主軸の傾きが類似するグループに分けた後に、グループ内のクラック候補領域について、端点間距離、重心間距離、正規化した重心間距離、重心を通る直線の傾きのいずれかに着目することにより、１つのクラックに属するか否かを客観的に判断することが可能になる。とくに、重心を通る直線の傾きを用いると、分岐したクラックでも連結の可能性を判断することが可能になる。 After dividing the crack candidate area into groups with similar inclinations of the principal axes of inertia, the crack candidate areas in the group are either the distance between endpoints, the distance between centroids, the normalized distance between centroids, or the slope of a straight line passing through the centroid. By paying attention, it can be objectively determined whether or not it belongs to one crack. In particular, if the slope of a straight line passing through the center of gravity is used, it is possible to determine the possibility of connection even with a branched crack.
また、１つのクラックに属すると判断された複数個のクラック候補領域のそれぞれの射影幅を求め、射影幅の合計を判定閾値と比較することにより検査対象物の良否を判定するから、射影幅の合計がクラックの延長方向に依存するが、クラック候補領域の慣性主軸の方向における長さの合計を用いるよりも判定が単純化される。 In addition, since the projection width of each of the plurality of crack candidate areas determined to belong to one crack is obtained and the quality of the inspection object is determined by comparing the total projection width with a determination threshold, Although the total depends on the extension direction of the cracks, the determination is simpler than using the total length of the crack candidate regions in the direction of the principal axis of inertia.
（実施形態１）
本実施形態では、検査対象物におけるクラックの有無を検出するために、検査対象物を含む濃淡画像を２値化した２値画像を用いてクラックの候補となる画素群を背景から分離する技術を採用している。
(Embodiment 1)
In this embodiment, in order to detect the presence or absence of a crack in an inspection object, a technique for separating a pixel group as a crack candidate from a background using a binary image obtained by binarizing a grayscale image including the inspection object. Adopted.
図１に示すように、検査対象物ＷはＴＶカメラのような撮像装置２により撮像され、撮像装置２から出力される濃淡画像はコンピュータを用いて構成された画像処理装置１に入力される。コンピュータは、以下の処理を実現するプログラムを実行する汎用のコンピュータを用いるほか、画像処理装置１として専用のハードウェアを備えるものを用いてもよい。
As shown in FIG. 1, the inspection object W is picked up by an
撮像装置２は、検査対象物Ｗの正面に配置される。撮像装置２には、検査対象物Ｗの細部を拡大して撮像できるように図示しない光学系を設けるのが望ましい。検査対象物Ｗの表面には照明装置（図示せず）により斜方照明が行われ、クラックの部位において影が生じるようにしてある。ただし、撮像装置２と照明装置とは、撮像装置２により撮像した濃淡画像内でクラックを識別できる位置関係であれば適宜に変更可能である。
The
画像処理装置１は、撮像装置２から出力された濃淡画像を格納する画像メモリ１０を有し、画像メモリ１０に格納された濃淡画像に対して以下の処理を行うことにより検査対象物Ｗの表面に生じたクラックを検出する。画像メモリ１０は、濃淡画像だけではなく、処理過程で生じる２値画像なども記憶する。
The
画像処理装置１には、画像メモリ１０のほかにクラックを検出する処理過程で必要なデータを記憶するデータ記憶部や処理過程で生じるデータを一時的に記憶する作業用記憶部も設けられるが、これらの記憶部にはコンピュータに設けたメモリや記憶装置の記憶領域を割り当てて用いる。また、処理過程の画像や処理結果などはコンピュータに設けたモニタ装置１７に表示される。
In addition to the
画像処理装置１は、クラックの有無を検出するために、図２に示すように、撮像装置２により撮像した濃淡画像を２値化して２値画像を生成し（Ｓ１）、クラックに相当する画素値を持つ画素のうちクラックの特性を有している画素をクラック候補領域として抽出する（Ｓ２）。さらに、クラック候補領域について、慣性主軸の傾き（主軸角）の類似性に基づいて分類を行い、主軸角が近い（主軸角の類似度が大きい）クラック候補領域の集合を形成する（Ｓ３）。
In order to detect the presence or absence of cracks, the
次に、クラック候補領域の集合内で、クラック候補領域が１つのクラックに属するか否かを評価し、１つのクラックに属すると判断されるクラック候補領域のグループを形成し（Ｓ４）、グループごとにクラックの有無に関する良否判定を定量的に行う（Ｓ５）。 Next, in the set of crack candidate regions, it is evaluated whether or not the crack candidate region belongs to one crack, and a group of crack candidate regions determined to belong to one crack is formed (S4). Next, the quality determination regarding the presence or absence of cracks is quantitatively performed (S5).
画像処理装置１は、図１に示すように、濃淡画像から２値画像を生成する２値化手段１１を備える。２値化手段１１では濃淡画像に含まれる画素の濃淡値に応じて２値化のための閾値を動的に決定する。閾値を動的に決定するには、濃度分布のヒストグラムに現れる背景とクラックとのピークの間の谷部分の濃淡値となるように閾値を設定する。あらかじめ定めた背景の濃淡値を用いて、背景とクラックとの境界となる閾値を決定することも可能である。２値化手段１１では、上述のように閾値を動的に決定することにより、いわゆる浮動２値化を行う。２値化手段１１により生成された２値画像は、画像メモリ１０に保存される。
As shown in FIG. 1, the
本実施形態では、２値化に際してクラックに相当する画素値を１（黒画素）とし、背景に相当する画素値を０（白画素）とする。画像処理装置１は、２値画像に含まれる黒画素の領域にラベルを付与するラベリング手段１２を備える。ラベリング手段１２では、黒画素についてクラックかノイズかの識別を行わず、すべての黒画素にラベルを付与する。ラベルは、複数個の黒画素の連結成分に付与するのが一般的であるが、１個の黒画素が単独で存在している場合もラベルを付与する。以下では、ラベルが付与された黒画素については、連結成分の黒画素か単独の黒画素かにかかわらず、まとめて連結成分として扱う。連結成分にラベルが付与された２値画像は画像メモリ１０に格納される。
In the present embodiment, a pixel value corresponding to a crack in binarization is set to 1 (black pixel), and a pixel value corresponding to the background is set to 0 (white pixel). The
ラベリング手段１２により連結成分にラベルが付与されると、ラベルが付与された２値画像に含まれる黒画素の連結成分について、クラックの特性を有するか否かを評価する。この評価は、候補選別手段１３が行う。候補選別手段１３では、下記（１）〜（３）の３種類の評価方法のいずれかを用いることにより、ラベル単位で黒画素の連結成分がクラックの特性を有するか否かを判定する。 When a label is assigned to the connected component by the labeling means 12, it is evaluated whether or not the connected component of the black pixel included in the binary image to which the label is attached has a crack characteristic. This evaluation is performed by the candidate selection means 13. The candidate selection means 13 determines whether or not the connected component of the black pixel has a crack characteristic for each label by using one of the following three evaluation methods (1) to (3).
（１）〜（３）の評価方法は、いずれもクラックは細長い形状になるという知見に基づいている。クラックの特性を有する黒画素は、クラックとしての必要条件を満たしているが、クラックであることは保証されていないから、以下ではクラック候補領域と呼ぶことにする。 The evaluation methods (1) to (3) are all based on the knowledge that the crack has an elongated shape. A black pixel having the crack characteristic satisfies the necessary condition as a crack, but since it is not guaranteed to be a crack, it will be referred to as a crack candidate region in the following.
（１）円形度による評価
円形度は、連結成分の面積Ｓと連結成分の周囲長Ｌとを用い、４πＳ／Ｌ２と定義する。面積Ｓは連結成分の画素数であり、周囲長Ｌは輪郭線の追跡に際して上下左右に追跡する画素数Ｃ１と斜めに追跡する画素数Ｃ２とを用いて、Ｃ１＋２１／２Ｃ２と定義される。この円形度は、連結成分の外形が円形に近いときには最大値である１になり、細長い形状であれば１よりも小さくなる。このことを利用して、円形度が基準値以下である場合に、黒画素の連結成分をクラック候補領域とする。
(1) Evaluation by circularity The circularity is defined as 4πS / L 2 using the area S of the connected component and the peripheral length L of the connected component. The area S is the number of pixels of the connected component, and the peripheral length L is defined as C1 + 2 1/2 C2 using the number of pixels C1 to be traced vertically and horizontally and the number of pixels C2 to be obliquely tracked when tracing the contour line. . This circularity is 1 which is the maximum value when the outer shape of the connected component is close to a circle, and is smaller than 1 if the shape is elongated. Utilizing this fact, when the circularity is equal to or less than the reference value, the connected component of the black pixels is set as a crack candidate region.
連結成分Ｎ（斜線部）が図３（ａ）に示す形状であれば、Ｓ＝１２、Ｌ≒１３．６（Ｃ１＝８、Ｃ２＝４）であるから、円形度は０．８１になる。また、図３（ｂ）に示す形状であれば、Ｓ＝１２、Ｌ≒２０であるから、円形度は０．３８になる。この例からわかるように、円形度に基準値を規定しておくことにより、基準値以下であればクラックの特性を有していると推定することができる。 If the connected component N (shaded portion) has the shape shown in FIG. 3A, since S = 12, L≈13.6 (C1 = 8, C2 = 4), the circularity is 0.81. . In the shape shown in FIG. 3B, since S = 12, L≈20, the circularity is 0.38. As can be seen from this example, by defining a reference value for the degree of circularity, it can be estimated that if it is below the reference value, it has crack characteristics.
（２）アスペクト比による評価
アスペクト比は、図４に示すように、連結成分Ｎの慣性主軸Ａｘの方向の長さ寸法Ｌ１と、当該方向に直交する方向の幅寸法Ｌ２とを用い、Ｌ１／Ｌ２と定義する。上述のように、黒画素の画素値を１としているから、（ｐ＋ｑ）次のモーメントＭ（ｐ，ｑ）は、数１の上式で表される。このモーメントを用いることにより、２次モーメントを最小にする慣性主軸の傾き（以下では、「主軸角」という）θは、数１の下式で表される。
(2) Evaluation by aspect ratio As shown in FIG. 4, the aspect ratio is obtained by using a length dimension L1 in the direction of the inertial main axis Ax of the connected component N and a width dimension L2 in the direction orthogonal to the direction. It is defined as L2. As described above, since the pixel value of the black pixel is 1, the (p + q) -order moment M (p, q) is expressed by the above equation (1). By using this moment, the inclination of the principal axis of inertia (hereinafter referred to as “main axis angle”) θ that minimizes the second moment is expressed by the following equation (1).
（３）射影幅による評価
射影幅は、２値画像の座標軸に連結成分を投影したときの幅として定義される。いま、２値画像の水平方向をｘ方向とし、垂直方向をｙ方向とする直交座標系を規定すると、射影幅として、図５に示すように、連結成分Ｎをｘ軸に投影したｘ射影幅Ｗｘと、ｙ軸に投影したｙ射影幅Ｗｙとを求めることができる。ｘ射影幅Ｗｘとｙ射影幅Ｗｙとは、連結成分Ｎに対して座標軸に平行な辺を持つ外接矩形の長辺と短辺との長さ寸法になる。
(3) Evaluation by Projection Width Projection width is defined as the width when a connected component is projected onto the coordinate axes of a binary image. Now, if an orthogonal coordinate system is defined in which the horizontal direction of the binary image is the x direction and the vertical direction is the y direction, the projected width obtained by projecting the connected component N on the x axis as shown in FIG. Wx and the y projection width Wy projected on the y-axis can be obtained. The x projection width Wx and the y projection width Wy are the length dimensions of the long side and the short side of the circumscribed rectangle having a side parallel to the coordinate axis with respect to the connected component N.
連結成分Ｎがクラックに属している場合は、座標軸に平行な辺を持つ外接矩形の対角線の方向と連結成分Ｎの主軸角θとがほぼ一致すると考えられるから、外接矩形の対角線の傾き（＝ａｒｃｔａｎ（Ｗｙ／Ｗｘ））と、数１の下式を用いて求められる主軸角θとを比較し、角度差が基準値以下である場合に、黒画素の連結成分Ｎがクラックの特性を有していると推定することができる。 When the connected component N belongs to a crack, it is considered that the direction of the diagonal line of the circumscribed rectangle having sides parallel to the coordinate axis and the principal axis angle θ of the connected component N substantially coincide with each other. arctan (Wy / Wx)) and the principal axis angle θ obtained by using the following equation (1), and when the angle difference is equal to or less than the reference value, the black pixel connected component N has a crack characteristic. Can be estimated.
候補選別手段１３では、上述した（１）〜（３）の評価方法の少なくとも１種類の評価方法を用いてクラックの特性を有していると推定された連結成分Ｎをクラック候補領域とするのである。（１）〜（３）の評価方法は単独で用いることができ、適宜に組み合わせて用いることも可能である。組み合わせる場合には、着目する黒画素の連結成分Ｎが、各評価方法のすべてにおいてクラックの特性を有していると推定されたときに、当該連結成分Ｎをクラック候補領域とする。あるいはまた、３種類の評価方法を採用し、着目する黒画素の連結成分Ｎが、いずれかの評価方法においてクラックの特性を有していると推定されるときに、当該連結成分Ｎをクラック候補領域としてもよい。 In the candidate selection means 13, the connected component N estimated to have crack characteristics using at least one of the evaluation methods (1) to (3) described above is used as a crack candidate region. is there. The evaluation methods (1) to (3) can be used alone or in appropriate combination. When combining, when it is estimated that the connected component N of the black pixel of interest has crack characteristics in all the evaluation methods, the connected component N is set as a crack candidate region. Alternatively, when three types of evaluation methods are employed and the connected component N of the black pixel of interest is estimated to have crack characteristics in any of the evaluation methods, the connected component N is selected as a crack candidate. It may be an area.
ラベリング手段１２によりラベルが付与された連結成分のうち候補選別手段１３により選別されたクラック候補領域は、クラスタリング手段１４により主軸角の類似性に応じて分類される。すなわち、同一のクラックに属するクラック候補領域の主軸角は近似しているという経験則に基づいて、主軸角の差分が規定範囲内であるクラック候補領域同士が同一の集合を形成するように分類する。
Of the connected components labeled by the
クラスタリング手段１４では、主軸角の差分が小さいほうから一対ずつのクラック候補領域を選択し、両クラック候補領域の主軸角の差分が規定範囲内であれば両クラック候補領域を同一の集合に属すると判断する。また、同集合に分類されたクラック候補領域は１個のクラック候補領域として扱うことができるように、主軸角および面積が統合され、統合された属性を用いて他のクラック候補領域と同じ集合に分類可能か否かが判定される。 The clustering means 14 selects a pair of crack candidate areas from the smaller principal axis angle difference, and if the difference between the principal axis angles of both crack candidate areas is within a specified range, both crack candidate areas belong to the same set. to decide. In addition, the main axis angle and the area are integrated so that the crack candidate areas classified into the same set can be handled as one crack candidate area, and the same set as other crack candidate areas using the integrated attributes. It is determined whether or not classification is possible.
主軸角の差分が等しくなるクラック候補領域の組み合わせが複数存在する場合には、合計の面積が最大になる組み合わせを優先して同一の集合に属するか否かが判定される。各クラック候補領域の面積は、主軸角を統合する際の重み係数としても用いられる。すなわち、２個のクラック候補領域をまとめて１個のクラック候補領域として扱う際の主軸角θは、２個のクラック候補領域のそれぞれの主軸角θ１，θ２に対してそれぞれの面積Ａ１，Ａ２を重み係数とする重み付き平均（＝Ａ１・θ１＋Ａ２・θ２／（Ａ１＋Ａ２））として求められる。 When there are a plurality of combinations of crack candidate regions with the same difference in the main axis angle, it is determined whether or not they belong to the same set with priority given to the combination with the maximum total area. The area of each crack candidate region is also used as a weighting factor when integrating the main axis angles. That is, when the two crack candidate areas are collectively treated as one crack candidate area, the main axis angle θ is set to the respective areas A1 and A2 with respect to the main axis angles θ1 and θ2 of the two crack candidate areas. It is obtained as a weighted average (= A1 · θ1 + A2 · θ2 / (A1 + A2)) as a weighting factor.
以下では、具体例を用いてクラスタリング手段１４の動作を説明する。図６は候補選別手段１３により８個のクラック候補領域が抽出された状態を示している。各クラック候補領域Ｅ１〜Ｅ８は、表１に示す主軸角と面積とを有しているものとする。また、主軸角が昇順に並ぶように並べ替え（ソート）が行われているものとする。このように主軸角を順に並べることによって、隣接するクラック候補領域の主軸角を比較するだけで、主軸角の差分の大小を比較することが可能になる。
Below, operation | movement of the clustering means 14 is demonstrated using a specific example. FIG. 6 shows a state in which eight candidate cracking areas have been extracted by the
クラック候補領域Ｅ２３について、隣接する各クラック候補領域Ｅ１，Ｅ４との主軸角の差分を求めると、それぞれ８、１１であって、クラック候補領域Ｅ２３，Ｅ１の組み合わせでは、主軸角の差分がクラック候補領域Ｅ４，Ｅ５の組み合わせよりも大きいから、クラック候補領域Ｅ４，Ｅ５の組み合わせが先に同一の集合への分類の可能性が判定されることになる。 With respect to the crack candidate area E23, the difference between the principal axis angles of the adjacent crack candidate areas E1 and E4 is 8 and 11, respectively. In the combination of the crack candidate areas E23 and E1, the difference in the principal axis angle is the crack candidate. Since it is larger than the combination of the areas E4 and E5, the possibility that the combination of the crack candidate areas E4 and E5 is first classified into the same set is determined.
クラスタリング手段１４では、上述の手順を繰り返すことによりクラック候補領域を分類し、主軸角の差分が規定範囲以下になる組み合わせがなくなった時点でクラック候補領域を分類する処理を終了する。表１に示す例では、図６のように、クラック候補領域Ｅ１〜５をまとめたクラック候補領域Ｅ２３１４５（主軸角１５、面積２０）と、クラック候補領域Ｅ６，Ｅ７をまとめたクラック候補領域Ｅ６７（主軸角５２、面積９）と、クラック候補領域Ｅ８（主軸角７０、面積５）との３グループに分類される。
The clustering unit 14 classifies the crack candidate areas by repeating the above-described procedure, and ends the process of classifying the crack candidate areas when there is no combination in which the difference in the spindle angle is equal to or less than the specified range. In the example shown in Table 1, as shown in FIG. 6, a crack candidate region E23145 (
上述のようにしてクラック候補領域を分類したことにより、各集合は１つのクラックに属する可能性のあるクラック候補領域のグループになっているが、依然として１つのクラックであることの必要条件が満たされているだけであり、同一の集合に属するクラック候補領域であっても必ずしも１つのクラックに属しているとは限らない。 By classifying the crack candidate areas as described above, each set is a group of crack candidate areas that may belong to one crack, but the requirement for still being one crack is still satisfied. However, even if the crack candidate regions belong to the same set, they do not necessarily belong to one crack.
そこで、各集合に属しているクラック候補領域について、連結処理手段１５により１つのクラックに属しているか否かを評価し、クラック候補領域が属している集合ごとに１つのクラックに属していると判断できるクラック候補領域を連結する。連結処理手段１５では、以下の（ａ）〜（ｄ）の評価方法の少なくとも１種類を用いることにより、同一集合内の各クラック候補領域が１つのクラックに属するか否かを判定する。 Therefore, it is evaluated whether or not the crack candidate area belonging to each set belongs to one crack by the connection processing means 15, and it is determined that each set to which the crack candidate area belongs belongs to one crack. Connect the possible crack candidate areas. The connection processing means 15 determines whether or not each crack candidate region in the same set belongs to one crack by using at least one of the following evaluation methods (a) to (d).
（ａ）端点間距離による評価
端点間距離は、クラック候補領域の慣性主軸の方向における端点について、異なるクラック候補領域の端点間の最短距離として定義される。たとえば、図７に示すように、４個のクラック候補領域Ｅ１１〜Ｅ１４が同一の集合に含まれている場合に、それぞれ隣接する各一対のクラック候補領域Ｅ１１〜Ｅ１４について端点ｐｓ１，ｐｅ１，ｐｓ２，ｐｅ２，…，ｐｅ４間の最短距離を求め、求めた距離が基準値以下であれば１つのクラックに属していると判断する。
(A) Evaluation by distance between end points The end point distance is defined as the shortest distance between the end points of different crack candidate regions with respect to the end points in the direction of the inertia main axis of the crack candidate regions. For example, as shown in FIG. 7, when four crack candidate regions E11 to E14 are included in the same set, the end points ps1, pe1, ps2, and the like for each pair of adjacent crack candidate regions E11 to E14, respectively. The shortest distance between pe2,..., pe4 is obtained, and if the obtained distance is equal to or less than the reference value, it is determined that the piece belongs to one crack.
図示例では、クラック候補領域Ｅ１１，Ｅ１２は近接しているから１つのクラックに属すると判断する。また、クラック候補領域Ｅ１２，Ｅ１３も近接しているから１つのクラックに属すると判断する。クラック候補領域Ｅ１１，Ｅ１３は、基準値を超えていると判断されるが、クラック候補領域Ｅ１２との距離がそれぞれ基準値以内であることにより、クラック候補領域Ｅ１１〜Ｅ１３は１つのクラックに属していると判断される。 In the illustrated example, since the crack candidate areas E11 and E12 are close to each other, it is determined that they belong to one crack. Further, since the crack candidate areas E12 and E13 are also close to each other, it is determined that they belong to one crack. Although it is judged that the crack candidate areas E11 and E13 exceed the reference value, the crack candidate areas E11 to E13 belong to one crack because the distance from the crack candidate area E12 is within the reference value. It is judged that
一方、クラック候補領域Ｅ１４は、他のクラック候補領域Ｅ１１〜Ｅ１３とのいずれとも端点間の距離が基準値を超えるので、クラック候補領域Ｅ１１〜Ｅ１３とクラック候補領域Ｅ１４とは１つのクラックに属していないと判断される。 On the other hand, since the distance between the end points of the crack candidate area E14 and any of the other crack candidate areas E11 to E13 exceeds the reference value, the crack candidate areas E11 to E13 and the crack candidate area E14 belong to one crack. Judged not.
（ｂ）重心間距離による評価
重心間距離は、１つの集合に含まれるクラック候補領域の主軸角を代表する基準方向を規定したときに、着目する一対のクラック候補領域の重心を通る基準方向の直線間の距離として定義する。この重心間距離が基準値以下であれば１つのクラックに属していると判断する。
(B) Evaluation based on the distance between centroids The distance between centroids is determined based on the reference direction passing through the centroids of a pair of crack candidate areas of interest when a reference direction representative of the principal axis angle of the crack candidate areas included in one set is defined. Defined as the distance between straight lines. If the distance between the centroids is equal to or less than the reference value, it is determined that it belongs to one crack.
基準方向は、１つの集合に含まれるクラック候補領域の面積を重み係数に用いて、クラック候補領域の主軸角の重み付き平均として求められる。すなわち、クラスタリング手段１４において、同一の集合に分類した複数個のクラック候補領域の主軸角を求める演算と同様の演算により基準方向を求める。基準方向を求めた後は、各クラック候補領域の重心を通る基準方向の直線を設定し、基準方向に直交する方向における各直線間の距離を重心間距離として求める。 The reference direction is obtained as a weighted average of the principal axis angles of the crack candidate regions by using the area of the crack candidate region included in one set as a weighting coefficient. That is, the clustering unit 14 obtains the reference direction by the same computation as the computation for obtaining the principal axis angles of a plurality of crack candidate regions classified into the same set. After obtaining the reference direction, a straight line in the reference direction passing through the center of gravity of each crack candidate region is set, and the distance between the straight lines in the direction orthogonal to the reference direction is obtained as the distance between the center of gravity.
いま、図８（ａ）のように、６個のクラック候補領域Ｅ２１〜Ｅ２６が同一の集合に含まれている場合を想定する。クラック候補領域Ｅ２１〜Ｅ２４の重心Ｇ１〜Ｇ６を通る直線Ｋ１〜Ｋ６の関係を見ると、直線Ｋ１〜Ｋ４は近接しており、直線Ｋ５，Ｋ６は近接しているが、直線Ｋ４と直線Ｋ５とは近接していない。したがって、直線Ｋ１〜Ｋ６の相互間距離を求め、直線Ｋ１〜Ｋ４が１つのクラックに属すると判断され、直線Ｋ４と直線Ｋ５とが異なるクラックに属すると判断されるように基準値を決めておくことにより、クラック候補領域Ｅ２１〜Ｅ２４をクラック別に分類することが可能になる。 Now, as shown in FIG. 8A, it is assumed that six crack candidate regions E21 to E26 are included in the same set. Looking at the relationship between the straight lines K1 to K6 passing through the centroids G1 to G6 of the crack candidate areas E21 to E24, the straight lines K1 to K4 are close to each other, and the straight lines K5 and K6 are close to each other, but the straight lines K4 and K5 are Are not close. Therefore, the distance between the straight lines K1 to K6 is obtained, and the reference value is determined so that the straight lines K1 to K4 are determined to belong to one crack, and the straight line K4 and the straight line K5 are determined to belong to different cracks. This makes it possible to classify the crack candidate areas E21 to E24 according to cracks.
ここに、集合内に３個以上のクラック候補領域が含まれている場合に、重心を通る直線が隣接している２個ずつのクラック候補領域の重心間距離が基準値以下であるとしても、重心を通る直線が離れている２個のクラック候補領域の重心間距離が基準値を超える場合があり、この場合、両クラック候補領域は１つのクラックに属していないと判断される。しかしながら、図８（ｂ）のように、２本の直線Ｋ１，Ｋ３の間に他の直線Ｋ２があり、間の直線Ｋ２と他の２本の直線Ｋ１，Ｋ３との距離がそれぞれ基準値以下であれば、２本の直線Ｋ１，Ｋ３は１つのクラックに属していると考えられる可能性がある。 Here, when three or more crack candidate areas are included in the set, even if the distance between the centroids of two adjacent crack candidate areas adjacent to each other is a reference value or less, In some cases, the distance between the centroids of two crack candidate areas separated by a straight line passing through the centroid exceeds a reference value. In this case, it is determined that both crack candidate areas do not belong to one crack. However, as shown in FIG. 8B, there is another straight line K2 between the two straight lines K1, K3, and the distance between the straight line K2 and the other two straight lines K1, K3 is less than the reference value, respectively. Then, there is a possibility that the two straight lines K1, K3 belong to one crack.
そこで、重心間距離を基準値と比較する際には、面積が最大であるクラック候補領域の重心を通る直線を基準に用い、当該直線と他のクラック候補領域の重心を通る直線との距離を評価するのが望ましい。 Therefore, when comparing the distance between the centroids with the reference value, the straight line passing through the centroid of the crack candidate area having the largest area is used as a reference, and the distance between the straight line and the straight line passing through the centroid of the other crack candidate area is calculated. It is desirable to evaluate.
図８（ｂ）の例では、３個のクラック候補領域Ｅ２１〜Ｅ２３のうちクラック候補領域Ｅ２２の面積が最大であれば、３個のクラック候補領域Ｅ２１〜Ｅ２３が１つのクラックに属することになる。一方、クラック候補領域Ｅ２１，Ｅ２３のいずれかの面積が最大であれば、クラック候補領域Ｅ２１とクラック候補領域Ｅ２３とは１つのクラックに属さないことになる。 In the example of FIG. 8B, if the area of the crack candidate region E22 is the largest among the three crack candidate regions E21 to E23, the three crack candidate regions E21 to E23 belong to one crack. . On the other hand, if the area of any one of the crack candidate areas E21 and E23 is maximum, the crack candidate area E21 and the crack candidate area E23 do not belong to one crack.
（ｃ）正規化した重心間距離による評価
基本的には（ｂ）の評価方法と同様であるが、（ｂ）の評価方法では、各クラック候補領域の重心を通る直線間の距離を直接求めているのに対して、各直線がｙ軸と交差する座標（ｙ切片）の差分から求めている点で相違している。ｙ切片の差分は、各直線を数式で表すことにより単純に求めることができる。しかしながら、ｙ切片の差分は基準方向（ｘ軸に対して直線がなす角度）に依存しており、直線間の距離が一定であっても直線の傾きが変化するとｙ切片の差分は変化する。
(C) Evaluation by normalized distance between centroids Basically, the evaluation method is the same as the evaluation method of (b), but in the evaluation method of (b), the distance between straight lines passing through the centroid of each crack candidate region is directly obtained. However, the difference is that each straight line is obtained from the difference of coordinates (y intercept) intersecting the y axis. The difference between the y intercepts can be obtained simply by expressing each straight line with a mathematical expression. However, the difference in the y-intercept depends on the reference direction (the angle formed by the straight line with respect to the x-axis). Even if the distance between the straight lines is constant, the difference in the y-intercept changes when the slope of the straight line changes.
そこで、図９のように、２本の直線Ｋ１，Ｋ２のｙ切片の差分がＤであり、基準方向がφであるときに、Ｄｃｏｓφを直線Ｋ１，Ｋ２間の距離として用いることにより、ｙ切片の差分を用いながらも基準方向φの変化に依存せずに重心間距離を評価することが可能になる。このように、ｙ切片の差分Ｄにｃｏｓφを乗じることをｙ切片の正規化と呼んでいる。ただし、基準方向φが９０°である場合（直線がｙ軸に平行である場合）、ｙ切片の差分が得られないが、この場合は直線の式がｘ＝ａの形式になるから、単なる減算を行うことで直線間の距離を求めることができる。他の手順は（ｂ）の評価方法と同様である。 Therefore, as shown in FIG. 9, when the difference between the y intercepts of the two straight lines K1 and K2 is D and the reference direction is φ, Dcos φ is used as the distance between the straight lines K1 and K2, thereby obtaining the y intercept. It is possible to evaluate the distance between the centers of gravity without depending on the change in the reference direction φ while using the difference between the two. Thus, multiplying the difference D of the y-intercept by cosφ is called normalization of the y-intercept. However, when the reference direction φ is 90 ° (when the straight line is parallel to the y-axis), the y-intercept difference cannot be obtained, but in this case, the straight line formula is in the form of x = a. The distance between the straight lines can be obtained by performing subtraction. Other procedures are the same as the evaluation method of (b).
（ｄ）重心を通る直線の傾きによる評価
一対のクラック候補領域が１つのクラックに属しているときに、両クラック候補領域の重心を結ぶ直線と、クラック候補領域の慣性主軸との角度差は小さいという経験則を用いて、両クラック候補領域を１つのクラックに属すると判断する。
(D) Evaluation by inclination of a straight line passing through the center of gravity When a pair of crack candidate regions belong to one crack, the angle difference between the straight line connecting the centers of gravity of both crack candidate regions and the principal axis of inertia of the crack candidate region is small Using these empirical rules, it is determined that both crack candidate regions belong to one crack.
本例では、慣性主軸の主軸角（基準方向）を、（ｂ）の評価方法と同様に、集合に含まれる各クラック候補領域の面積を重み係数に用いて各クラック候補領域の主軸角の重み付き平均として求める。 In this example, the main axis angle (reference direction) of the inertia main axis is set to the weight of the main axis angle of each crack candidate area using the area of each crack candidate area included in the set as a weighting coefficient, as in the evaluation method of (b). Calculated as an average with a weight.
いま、図１０に示すように、３個のクラック候補領域Ｅ３１〜Ｅ３２が存在し、各クラック候補領域Ｅ３１〜Ｅ３３の重心の座標が、それぞれ（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）であるものとする。クラック候補領域Ｅ３１，Ｅ３２の重心を結ぶ直線の傾きは、ａｒｃｔａｎ｛（ｙ２−ｙ１）／（ｘ２−ｘ１）｝であるから、この角度を上述のようにして求めた基準方向（図中に角度φで示す）と比較し、両者の角度差が規定範囲（たとえば、５°）内であれば、両クラック候補領域Ｅ３１，Ｅ３２は１つのクラックに属すると判断する。 As shown in FIG. 10, there are three crack candidate areas E31 to E32, and the coordinates of the center of gravity of each of the crack candidate areas E31 to E33 are (x1, y1) (x2, y2) (x3, y3), respectively. ). Since the slope of the straight line connecting the centroids of the crack candidate areas E31 and E32 is arctan {(y2-y1) / (x2-x1)}, this angle is obtained as described above, and the reference direction (angle in the figure) If the angle difference between the two is within a specified range (for example, 5 °), it is determined that both crack candidate regions E31 and E32 belong to one crack.
一方、図１０におけるクラック候補領域Ｅ３３は、他のクラック候補領域Ｅ３１，Ｅ３２との重心間を結ぶ直線の傾きと基準方向との角度差が規定範囲を超えるので、クラック候補領域Ｅ３３は、クラック候補領域Ｅ３１，Ｅ３２とは同じクラックに属していないと判断する。 On the other hand, in the crack candidate area E33 in FIG. 10, the angle difference between the straight line connecting the centroids with the other crack candidate areas E31 and E32 and the reference direction exceeds the specified range. It is determined that the areas E31 and E32 do not belong to the same crack.
ところで、各クラック候補領域の重心を相互に結ぶ直線の傾きを利用することにより、クラックが分岐している場合にも同じクラックに属するか否かを判定することが可能である。すなわち、図１１に示すように、同じ集合内に４個のクラック候補領域Ｅ３１〜Ｅ３４が存在する場合を想定し、クラック候補領域Ｅ３２，Ｅ３３が比較的近い位置に併存しているとすると、これらのクラック候補領域Ｅ３２，Ｅ３３は、いずれもがクラック候補領域Ｅ３１とともに１つのクラックに属すると考えられ、かつ分岐したクラックの一部であると考えることができる。 By the way, it is possible to determine whether or not the cracks belong to the same crack even when the cracks are branched by using the inclination of the straight line connecting the centers of gravity of the respective crack candidate areas. That is, as shown in FIG. 11, assuming that there are four crack candidate areas E31 to E34 in the same set, assuming that the crack candidate areas E32 and E33 coexist at relatively close positions, The crack candidate regions E32 and E33 are considered to belong to one crack together with the crack candidate region E31, and can be considered to be a part of a branched crack.
そこで、クラック候補領域Ｅ３２，Ｅ３３のように、クラック候補領域Ｅ３１との間で重心を結ぶ直線の傾きが基準方向に近い（角度差が規定範囲内）場合は、クラック候補領域Ｅ３２，Ｅ３３の重心を結ぶ直線の傾きと基準方向との角度差が規定範囲を超えていても、クラック候補領域Ｅ３１と同じクラックに属すると判断する。要するに、複数個のクラック候補領域の重心を結ぶ直線の傾きと基準方向との角度差が規定範囲を超えている場合でも、それらのクラック候補領域と他のいずれかのクラック候補領域との重心を結ぶ直線の傾きと基準方向との角度差が規定範囲内であれば、同じクラックに属すると判断するのである。 Therefore, when the slope of the straight line connecting the center of gravity with the crack candidate region E31 is close to the reference direction (the angle difference is within the specified range), such as the crack candidate regions E32 and E33, the center of gravity of the crack candidate regions E32 and E33. Even if the angle difference between the straight line connecting and the reference direction exceeds the specified range, it is determined that they belong to the same crack as the crack candidate region E31. In short, even if the angle difference between the slope of the straight line connecting the centroids of multiple crack candidate areas and the reference direction exceeds the specified range, the centroid of those crack candidate areas and any one of the other crack candidate areas is calculated. If the angle difference between the connecting straight line and the reference direction is within the specified range, it is determined that they belong to the same crack.
図示例において、クラック候補領域Ｅ３４は、他のクラック候補領域Ｅ３１〜Ｅ３３との間で重心を結ぶ直線の傾きが、いずれも基準方向とは大きく異なる（規定範囲を超えている）から、クラック候補領域Ｅ３４は別のクラックに属すると判断する。 In the illustrated example, the crack candidate area E34 is different from the reference direction in the inclination of the straight line connecting the center of gravity with the other crack candidate areas E31 to E33 (exceeding the specified range). It is determined that the region E34 belongs to another crack.
上述のようにして、クラスタリング手段１４により主軸角の方向がほぼ等しいクラック候補領域の集合を形成した後に、連結処理手段１５により、（ａ）〜（ｄ）の評価方法のいずれかを用いて各集合内においてクラック候補領域が１つのクラックに属するか否かを判定するから、１つのクラックに属するクラック候補領域を抽出することができる。（ａ）〜（ｄ）の評価方法は、単独で使用することを想定しているが、複数種類の評価方法を組み合わせて用いてもよい。 As described above, after the clustering means 14 forms a set of crack candidate regions having substantially the same principal axis angle direction, the connection processing means 15 uses each of the evaluation methods (a) to (d). Since it is determined whether or not a crack candidate region belongs to one crack in the set, a crack candidate region belonging to one crack can be extracted. Although the evaluation methods (a) to (d) are assumed to be used alone, a plurality of types of evaluation methods may be used in combination.
上述のようにして１つのクラックに属すると判断されたクラック候補領域は、判定手段１６において、各クラック候補領域のｘ射影幅とｙ射影幅との一方がそれぞれ求められ、判定手段１６では、ｘ射影幅またはｙ射影幅の合計値を適宜の判定閾値と比較し、合計値が判定閾値以上であるときに検査対象物Ｗにクラックが生じていると判定する。すなわち、検査対象物Ｗについて、判定閾値以上であれば不良品、判定閾値未満であれば良品と判定する。 For the crack candidate areas determined to belong to one crack as described above, the determination means 16 determines one of the x projection width and the y projection width of each crack candidate area. The total value of the projection width or the y projection width is compared with an appropriate determination threshold value, and it is determined that the inspection object W is cracked when the total value is equal to or greater than the determination threshold value. That is, if the inspection object W is equal to or higher than the determination threshold, it is determined to be a defective product, and if it is less than the determination threshold, it is determined to be a non-defective product.
図２では本実施形態の処理手順を簡略に示したが、本実施形態の詳細な処理手順を図１２〜図１５にまとめて記載する。図１２は図２におけるステップＳ１，Ｓ２に対応する処理であって、２値化手段１１、ラベリング手段１２、候補選別手段１３での処理に相当している。検査を開始すると、まず２値化手段１１により濃淡画像の浮動２値化が行われ（Ｓ１１）、次にラベリング手段１２により黒画素にラベルが付与される（Ｓ１２）。
In FIG. 2, the processing procedure of the present embodiment is illustrated in a simplified manner, but the detailed processing procedure of the present embodiment is described collectively in FIGS. 12 to 15. FIG. 12 shows processing corresponding to steps S1 and S2 in FIG. 2 and corresponds to processing in the binarizing means 11, the labeling means 12, and the
次に、不要な検査を省略できるように、明らかに不良品と判断できる検査対象物Ｗを取り除く。そのため、候補選別手段１３において、ラベルが付与された黒画素ごとに（Ｓ１３，Ｓ２０）、面積および射影幅を上限値と比較する（Ｓ１４，Ｓ１５）。面積と射影幅との一方が上限値を超えている場合には（Ｓ１４：ｎｏまたはＳ１５：ｎｏ）、検査対象物Ｗを不良品と判断し（Ｓ２１）、当該検査対象物Ｗについての検査を終了する。 Next, the inspection object W that can be clearly judged as a defective product is removed so that unnecessary inspection can be omitted. Therefore, the candidate selection means 13 compares the area and the projection width with the upper limit values (S14, S15) for each black pixel to which a label is assigned (S13, S20). If one of the area and the projection width exceeds the upper limit (S14: no or S15: no), the inspection object W is determined to be defective (S21), and the inspection object W is inspected. finish.
一方、面積および射影幅がともに上限値以下であれば（Ｓ１４：ｙｅｓかつＳ１５：ｙｅｓ）、面積および射影幅を下限値と比較する（Ｓ１６，Ｓ１７）。上述した例では、面積（画素数）が１でもクラック候補領域として採用しているが、図１２に示す動作例では、面積や射影幅が下限値未満である場合には（Ｓ１６：ｎｏまたはＳ１７：ｎｏ）、クラック候補領域としては採用しないようにしている。 On the other hand, if both the area and the projection width are equal to or less than the upper limit (S14: yes and S15: yes), the area and the projection width are compared with the lower limit (S16, S17). In the example described above, even if the area (number of pixels) is 1, it is adopted as a crack candidate region. However, in the operation example shown in FIG. 12, when the area or projection width is less than the lower limit value (S16: no or S17). : No), it is not adopted as a crack candidate region.
面積および射影幅がともに下限値以上であれば（Ｓ１６：ｙｅｓかつＳ１７：ｙｅｓ）、候補選別手段１３では、各ラベルを付与した黒画素がクラックの特性を有するか否かを判定する（Ｓ１８）。クラックの特性は、上述した（１）〜（３）の評価方法により判定する。ラベルを付与した黒画素がクラックの特性を有していない場合は（Ｓ１８：ｎｏ）、クラック候補領域として採用しない。また、ラベルを付与した黒画素がクラックの特性を有していると判断された場合は（Ｓ１８：ｙｅｓ）、当該ラベルの黒画素をクラック候補領域として記憶部１０に保存する（Ｓ１９）。
If both the area and the projection width are equal to or greater than the lower limit (S16: yes and S17: yes), the candidate selection means 13 determines whether the black pixel to which each label is attached has crack characteristics (S18). . The characteristics of the crack are determined by the evaluation methods (1) to (3) described above. When the black pixel to which the label is attached does not have crack characteristics (S18: no), it is not adopted as a crack candidate region. If it is determined that the black pixel to which the label is attached has a crack characteristic (S18: yes), the black pixel of the label is stored in the
ここまでの処理は、ラベルを付与したすべての黒画素に対して行う（Ｓ１３，Ｓ２０）。この時点において、クラック候補領域が複数個存在しなければ（Ｓ２２：ｎｏ）、検査対象物Ｗをクラックのない良品と判断する（Ｓ２３）。 The processing so far is performed for all black pixels to which labels have been assigned (S13, S20). At this time, if there are not a plurality of crack candidate areas (S22: no), the inspection object W is determined to be a non-cracking good product (S23).
ラベルが付与されたクラック候補領域について、クラスタリング手段１４では、図１３に示すように、それぞれ主軸角を求め、さらに各クラック候補領域の主軸角の差分を求める（Ｓ３１）。クラスタリング手段１４の処理は、図２のステップＳ３に相当する。主軸角の差分は規定範囲（規定の上限値）と比較され（Ｓ３２）、規定範囲を超えている場合には（Ｓ３２：ｎｏ）、集合を形成するクラック候補領域は存在せず、クラックは存在しないと判断される（Ｓ３３）。 As shown in FIG. 13, the clustering unit 14 obtains the principal axis angle for each crack candidate area to which the label is assigned, and further obtains the difference between the principal axis angles of the crack candidate areas (S31). The processing of the clustering means 14 corresponds to step S3 in FIG. The difference of the main shaft angle is compared with the specified range (the specified upper limit value) (S32), and if it exceeds the specified range (S32: no), there is no crack candidate region forming a set, and there is a crack. It is determined not to do so (S33).
一方、着目する２つのクラック候補領域の主軸角の差分が規定範囲内（上限値以下）であるときには（Ｓ３２：ｙｅｓ）、両クラック候補領域は１つの集合の要素として扱う。また、両クラック候補領域の面積を重み係数に用いて主軸角の重み付き平均を求める（Ｓ３４）。また、両クラック候補領域を統合して１つのクラック候補領域とみなし、統合したクラック候補領域の主軸角には主軸角の重み付き平均を用い、統合したクラック候補領域の面積には面積の合計を用いる。 On the other hand, when the difference between the principal axis angles of the two target crack candidate regions is within the specified range (lower than the upper limit value) (S32: yes), both crack candidate regions are handled as elements of one set. Further, the weighted average of the main shaft angles is obtained using the areas of both crack candidate regions as weighting factors (S34). Also, both crack candidate regions are integrated and regarded as one crack candidate region, the weighted average of the main shaft angles is used for the main shaft angle of the integrated crack candidate region, and the total area is calculated for the area of the integrated crack candidate region. Use.
その後、統合前のクラック候補領域を統合後のクラック候補領域に置き換え、他のクラック候補領域とともに着目する２個のクラック候補領域の主軸角の差分を求める（Ｓ３６）。主軸角の差分は上述した規定範囲と比較され（Ｓ３７）、主軸角の差分が規定範囲内であれば（Ｓ３７：ｙｅｓ）、ステップＳ３４に戻ってクラック候補領域が統合される。ステップＳ３４〜Ｓ３６の処理を繰り返し、主軸角の差分が規定範囲内であるクラック候補領域の組み合わせがなくなれば（Ｓ３７：ｎｏ）、クラック候補領域を主軸角で分類する処理を終了する。 Thereafter, the crack candidate area before integration is replaced with the crack candidate area after integration, and the difference between the principal axis angles of the two crack candidate areas of interest along with other crack candidate areas is obtained (S36). The difference in the main shaft angle is compared with the specified range described above (S37). If the main shaft angle difference is within the specified range (S37: yes), the process returns to step S34 and the crack candidate regions are integrated. The processes in steps S34 to S36 are repeated, and if there is no combination of crack candidate areas whose main axis angle difference is within the specified range (S37: no), the process of classifying the crack candidate areas by the main axis angle is terminated.
クラック候補領域を主軸角に応じて分類した後には、連結処理手段１５において、分類内（集合内）のクラック候補領域について同一のクラックに属するか否かを評価する（Ｓ８１）。連結処理手段１５は、図２のステップＳ４の処理に対応する。連結処理手段１５では、上述した（ａ）〜（ｄ）の評価方法のいずれかを用いて集合内のクラック候補領域の連結可能性を評価する。 After classifying the crack candidate areas according to the main axis angle, the connection processing means 15 evaluates whether or not the crack candidate areas within the classification (within the set) belong to the same crack (S81). The connection processing means 15 corresponds to the processing in step S4 in FIG. The connection processing means 15 evaluates the connection possibility of the crack candidate regions in the set using any of the evaluation methods (a) to (d) described above.
すなわち、（ａ）の評価方法では、図１４に示すように、集合内の各クラック候補領域において慣性主軸と交差する端点を求め（Ｓ４１）、着目する２個のクラック候補領域の端点間の距離を求める（Ｓ４２）。端点間の距離は基準値と比較され（Ｓ４３）、端点間の距離の最小値が基準値を超えているときは（Ｓ４３：ｎｏ）、両クラック候補領域は異なるクラックに属すると判断される（Ｓ４４）。 That is, in the evaluation method of (a), as shown in FIG. 14, the end point intersecting the principal axis of inertia in each crack candidate region in the set is obtained (S41), and the distance between the end points of the two crack candidate regions of interest Is obtained (S42). The distance between the end points is compared with the reference value (S43), and when the minimum value of the distance between the end points exceeds the reference value (S43: no), it is determined that both crack candidate regions belong to different cracks ( S44).
一方、両クラック候補領域の端点間の距離の最小値が基準値以下であるときは（Ｓ４３：ｙｅｓ）、両クラック候補領域が１つのクラックに属すると判断する（Ｓ４５）。すなわち、１つのクラックに属するクラック候補領域に分類する。 On the other hand, when the minimum value of the distance between the end points of both crack candidate regions is equal to or less than the reference value (S43: yes), it is determined that both crack candidate regions belong to one crack (S45). That is, it classify | categorizes into the crack candidate area | region which belongs to one crack.
ステップＳ４２〜Ｓ４５の処理は、集合内のすべてのクラック候補領域について行う（Ｓ４６）。組み合わせるクラック候補領域がなくなれば、連結処理手段１５の処理を終了する。 The processes of steps S42 to S45 are performed for all the crack candidate areas in the set (S46). When there are no more crack candidate areas to be combined, the processing of the connection processing means 15 is terminated.
また、（ｂ）の評価方法では、図１５に示すように、集合内の各クラック候補領域の面積を重み係数として主軸角の重み付き平均を求めるとともに、求めた重み付き平均の傾きを持ち各クラック候補領域の重心を通る直線を設定し（Ｓ５１）、各直線間の距離（重心間距離）をそれぞれ求める（Ｓ５２）。 Further, in the evaluation method of (b), as shown in FIG. 15, the weighted average of the spindle angle is obtained using the area of each crack candidate region in the set as a weighting factor, and each of the obtained weighted averages has an inclination. A straight line passing through the center of gravity of the crack candidate area is set (S51), and the distance between the straight lines (distance between the centers of gravity) is obtained (S52).
集合内で面積が最大であるクラック候補領域を通る直線に着目し、この直線と他の直線との距離（重心間距離）を基準値と比較する（Ｓ５４）。重心間距離が基準値以下になるクラック候補領域が存在しなければ（Ｓ５４：ｎｏ）、面積が最大であるクラック候補領域は他のクラック候補領域とは独立していると判断する（Ｓ５５）。 Focusing on the straight line passing through the crack candidate area having the largest area in the set, the distance (distance between centroids) between this straight line and another straight line is compared with the reference value (S54). If there is no crack candidate region where the distance between the centers of gravity is equal to or less than the reference value (S54: no), it is determined that the crack candidate region having the largest area is independent of other crack candidate regions (S55).
一方、重心間距離が基準値以下になるクラック候補領域が存在すれば（Ｓ５４：ｙｅｓ）、当該クラック候補領域を面積が最大であるクラック候補領域とともに１つのクラックに属すると判断する（Ｓ５６）。 On the other hand, if there is a crack candidate region where the distance between the centers of gravity is equal to or less than the reference value (S54: yes), it is determined that the crack candidate region belongs to one crack together with the crack candidate region having the largest area (S56).
ステップＳ５４〜Ｓ５６の処理は、集合内のすべてのクラック候補領域について行い（Ｓ５３，Ｓ５７）、直線間の距離を評価していない組み合わせがなくなれば、連結処理手段１５の処理を終了する。 The processing of steps S54 to S56 is performed for all the crack candidate regions in the set (S53, S57), and when there is no combination that does not evaluate the distance between the straight lines, the processing of the connection processing means 15 is terminated.
（ｃ）の評価方法では、図１６に示すように、集合内の各クラック候補領域の面積を重み係数として主軸角の重み付き平均を求めるとともに、求めた重み付き平均の傾きを持ち各クラック候補領域の重心を通る直線を設定し（Ｓ６１）、各直線のｙ切片の差分を正規化する（Ｓ６２）。 In the evaluation method of (c), as shown in FIG. 16, the weighted average of the spindle angle is obtained by using the area of each crack candidate area in the set as a weighting factor, and each crack candidate has the obtained weighted average slope. A straight line passing through the center of gravity of the area is set (S61), and the difference between the y-intercepts of each straight line is normalized (S62).
次に、集合内で面積が最大であるクラック候補領域のｙ切片に着目し、このｙ切片と他のクラック候補領域を通る直線のｙ切片との差分を正規化した値を基準値と比較する（Ｓ６４）。正規化したｙ切片の差分が基準値以下になるクラック候補領域が存在しなければ（Ｓ６４：ｎｏ）、面積が最大であるクラック候補領域は他のクラック候補領域とは独立していると判断する（Ｓ６５）。 Next, paying attention to the y-intercept of the crack candidate region having the largest area in the set, the value obtained by normalizing the difference between this y-intercept and the y-intercept of the straight line passing through the other crack candidate regions is compared with the reference value. (S64). If there is no crack candidate region in which the normalized y-intercept difference is equal to or less than the reference value (S64: no), it is determined that the crack candidate region having the largest area is independent of other crack candidate regions. (S65).
一方、正規化したｙ切片の差分が基準値以下になるクラック候補領域が存在すれば（Ｓ６４：ｙｅｓ）、当該クラック候補領域を面積が最大であるクラック候補領域とともに１つのクラックに属すると判断する（Ｓ６６）。 On the other hand, if there is a crack candidate region in which the normalized y-intercept difference is equal to or less than the reference value (S64: yes), it is determined that the crack candidate region belongs to one crack together with the crack candidate region having the largest area. (S66).
ステップＳ６４〜Ｓ６６の処理は、集合内のすべてのクラック候補領域について行い（Ｓ６３，Ｓ６７）、直線間の距離を評価していない組み合わせがなくなれば、連結処理手段１５の処理を終了する。 The processing of steps S64 to S66 is performed for all the crack candidate regions in the set (S63, S67), and when there is no combination that does not evaluate the distance between the straight lines, the processing of the connection processing means 15 is terminated.
（ｄ）の評価方法では、図１７に示すように、集合内の各一対のクラック候補領域の重心を通る直線を設定する（Ｓ７１）。また、各クラック候補領域の面積を重み係数に用いて集合内のクラック候補領域の主軸角の重み付き平均を基準方向として求めておき、ステップＳ７１で求めた直線の傾きと基準方向との角度差を求め、この角度差を規定範囲と比較する（Ｓ７２）。角度差が規定範囲（上限値）を超えている場合は（Ｓ７２：ｎｏ）、重心を通る直線を設定した両クラック候補領域は１つのクラックに属していないと判断する（Ｓ７３）。また、角度差が規定範囲内ある場合は（Ｓ７２：ｙｅｓ）、重心を通る直線を設定した両クラック候補領域は１つのクラックに属していると判断する（Ｓ７４）。 In the evaluation method (d), as shown in FIG. 17, a straight line passing through the center of gravity of each pair of crack candidate regions in the set is set (S71). Further, the weighted average of the principal axis angles of the crack candidate regions in the set is obtained as a reference direction using the area of each crack candidate region as a weighting factor, and the angle difference between the straight line inclination obtained in step S71 and the reference direction And the angle difference is compared with a specified range (S72). When the angle difference exceeds the specified range (upper limit value) (S72: no), it is determined that the two crack candidate areas set with a straight line passing through the center of gravity do not belong to one crack (S73). If the angle difference is within the specified range (S72: yes), it is determined that both crack candidate areas set with a straight line passing through the center of gravity belong to one crack (S74).
ステップＳ７２〜Ｓ７４の処理は、集合内のすべてのクラック候補領域について繰り返し、クラック候補領域の組み合わせがなくなると、連結処理手段１５の処理を終了する（Ｓ７５）。
The processes in steps S72 to S74 are repeated for all the crack candidate areas in the set, and when the combination of the crack candidate areas is eliminated, the process of the
連結処理手段１５により集合内のクラック候補領域の連結の可能性が判断された後、図１３に戻り、判定手段１６において、図２におけるステップＳ５に相当する処理を行う。図２のステップＳ５に相当し、すなわち、連結処理手段１５で連結可能と判断されたクラック候補領域のｘ射影幅とｙ射影幅との一方を求める（Ｓ８２）。判定手段１６は、連結可能なクラック候補領域について求めたｘ射影幅とｙ射影幅との合計を求め、合計値を判定閾値と比較する（Ｓ８３）。
After the
判定手段１６は、合計値が判定閾値を超えたと判断したときは（Ｓ８３：ｙｅｓ）、検査対象物Ｗをクラックが生じている不良品と判断する（Ｓ８４）。一方、合計値が判定閾値を超えない場合は、他の集合についてステップＳ８１以降の処理を繰り返し（Ｓ８５）、すべての集合についてｘ射影幅とｙ射影幅との一方が判定閾値を超えなければ、当該検査対象物Ｗにクラックは生じていないと判断する（Ｓ８６）。
When it is determined that the total value exceeds the determination threshold (S83: yes), the
１ 画像処理装置
２ 撮像装置
１０ 画像メモリ
１１ ２値化手段
１２ ラベリング手段
１３ 候補選別手段
１４ クラスタリング手段
１５ 連結処理手段
１６ 判定手段
Ｗ 検査対象物
DESCRIPTION OF
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009208434A JP5351673B2 (en) | 2009-09-09 | 2009-09-09 | Appearance inspection device, appearance inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009208434A JP5351673B2 (en) | 2009-09-09 | 2009-09-09 | Appearance inspection device, appearance inspection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011058940A JP2011058940A (en) | 2011-03-24 |
| JP5351673B2 true JP5351673B2 (en) | 2013-11-27 |
Family
ID=43946748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009208434A Expired - Fee Related JP5351673B2 (en) | 2009-09-09 | 2009-09-09 | Appearance inspection device, appearance inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5351673B2 (en) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013167596A (en) * | 2012-02-17 | 2013-08-29 | Honda Motor Co Ltd | Defect inspection device, defect inspection method, and program |
| WO2013173464A1 (en) * | 2012-05-16 | 2013-11-21 | Rotatori Dean | Apparatus and method for tire sidewall crack analysis |
| WO2014107225A1 (en) * | 2013-01-07 | 2014-07-10 | Rotatori Dean | Apparatus and method for tire sidewall crack analysis |
| EP2966433B1 (en) * | 2013-03-08 | 2023-04-26 | Shimadzu Corporation | Device for setting region of interest for analysis |
| JP2016123407A (en) | 2014-12-26 | 2016-07-11 | 富士通株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP6654849B2 (en) * | 2015-10-08 | 2020-02-26 | 西日本高速道路エンジニアリング四国株式会社 | Method for detecting surface cracks in concrete |
| JP6702097B2 (en) * | 2016-09-02 | 2020-05-27 | 富士通株式会社 | Image processing program, image processing method, and image processing apparatus |
| JP6926846B2 (en) * | 2017-09-01 | 2021-08-25 | 一般財団法人雑賀技術研究所 | How to sort citrus fruits with irregularities on the surface |
| JP6936684B2 (en) * | 2017-09-29 | 2021-09-22 | 清水建設株式会社 | Crack detection device, crack detection method, and computer program |
| JP7178171B2 (en) * | 2017-12-28 | 2022-11-25 | 日立Ｇｅニュークリア・エナジー株式会社 | Defect inspection method and defect inspection system |
| KR102331948B1 (en) * | 2018-05-18 | 2021-11-25 | 주식회사 케이티 | Method for checking crack of display screen and apparatus therefor and insurance service system |
| JP6922860B2 (en) * | 2018-07-09 | 2021-08-18 | 株式会社Sumco | Silicon wafer inspection method, inspection equipment, manufacturing method |
| JP7278143B2 (en) | 2019-04-26 | 2023-05-19 | 三菱電機株式会社 | Platform fence |
| JP7409824B2 (en) | 2019-10-28 | 2024-01-09 | 西日本旅客鉄道株式会社 | Platform door device |
| JP7046279B1 (en) * | 2020-10-30 | 2022-04-01 | 三菱電機株式会社 | Crack detection device, crack detection method and crack detection program |
| WO2023053728A1 (en) * | 2021-09-29 | 2023-04-06 | 富士フイルム株式会社 | Display processing device, display processing method, and display processing program |
| CN114972187B (en) * | 2022-04-20 | 2024-01-02 | 烟台大视工业智能科技有限公司 | Crack defect evaluation method based on artificial intelligence |
| CN115861987B (en) * | 2023-02-27 | 2023-05-12 | 江苏天南电力股份有限公司 | Intelligent electric power fitting defect identification method for online monitoring of power transmission line |
| CN116309550B (en) * | 2023-05-11 | 2023-08-04 | 聊城市飓风工业设计有限公司 | Integrated circuit patch abnormality identification method based on image processing |
| CN117095004B (en) * | 2023-10-20 | 2024-01-12 | 金成技术股份有限公司 | Excavator walking frame main body welding deformation detection method based on computer vision |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2756738B2 (en) * | 1991-08-23 | 1998-05-25 | 三菱電機株式会社 | Apparatus for visual inspection of semiconductor devices |
| JP3042939B2 (en) * | 1992-11-17 | 2000-05-22 | 松下電器産業株式会社 | Scratch inspection method by image processing |
| JPH08190633A (en) * | 1995-01-06 | 1996-07-23 | Hitachi Metals Ltd | Defect judging method |
| JPH0961138A (en) * | 1995-08-24 | 1997-03-07 | Mitsubishi Heavy Ind Ltd | Crack extraction apparatus |
| JPH09113467A (en) * | 1995-10-20 | 1997-05-02 | Hitachi Metals Ltd | Method for deciding defect |
| JP3640136B2 (en) * | 1998-01-22 | 2005-04-20 | Ｊｆｅスチール株式会社 | Surface flaw inspection method and apparatus |
| JP4189061B2 (en) * | 1998-07-10 | 2008-12-03 | 株式会社Ｉｈｉ | Crack detection method for concrete surface |
| JP2006030128A (en) * | 2004-07-21 | 2006-02-02 | Canon Inc | Crack shape calculating method and estimating method of crack generating history |
-
2009
- 2009-09-09 JP JP2009208434A patent/JP5351673B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011058940A (en) | 2011-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5351673B2 (en) | Appearance inspection device, appearance inspection method | |
| CN114723701B (en) | Gear defect detection method and system based on computer vision | |
| US6983065B1 (en) | Method for extracting features from an image using oriented filters | |
| US6941016B1 (en) | Method for finding contours in an image of an object | |
| US10127652B2 (en) | Defect detection and classification based on attributes determined from a standard reference image | |
| CN105894036B (en) | A kind of characteristics of image template matching method applied to mobile phone screen defects detection | |
| Wang et al. | Research on crack detection algorithm of the concrete bridge based on image processing | |
| CN111179243A (en) | Small-size chip crack detection method and system based on computer vision | |
| US8520892B2 (en) | Method and apparatus for detecting objects | |
| JP4725298B2 (en) | Visual inspection method using images | |
| JP5086970B2 (en) | Wood appearance inspection device, wood appearance inspection method | |
| CN115984284A (en) | X-ray hull weld image detection method for ship maintenance | |
| CN109584215A (en) | A kind of online vision detection system of circuit board | |
| JP2021527256A (en) | Systems and methods for detecting and classifying patterns in images with a vision system | |
| TW202127371A (en) | Image-based defect detection method and computer readable medium thereof | |
| CN115272305B (en) | Button hole defect detection method | |
| CN115018797A (en) | Screen defect detection method, screen defect detection device and computer-readable storage medium | |
| JP7415286B2 (en) | Color filter inspection equipment, inspection equipment, color filter inspection method and inspection method | |
| CN117392112A (en) | Method, device and system for detecting wafer surface defects | |
| JP2018048979A (en) | Surface property inspection apparatus, surface property insection method, and program | |
| JP2011058939A (en) | Apparatus and method for visual inspection | |
| JP2004045356A (en) | Surface defect detection method | |
| JP5067677B2 (en) | Defect detection method, defect detection apparatus, and program | |
| JP4293653B2 (en) | Appearance inspection method | |
| JP7356010B2 (en) | Surface texture inspection device and surface texture inspection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120118 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130507 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130823 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |