JP4998722B2 - Work defect inspection method by image processing - Google Patents

Description

本発明は、ワークを撮像した画像を処理してワーク表面の欠陥を検出する欠陥検査方法に関するものである。   The present invention relates to a defect inspection method for detecting defects on the surface of a workpiece by processing an image obtained by imaging the workpiece.

一般に、画像処理による物品検出方法のひとつとして、例えば特許文献１に開示されたようなパターンマッチングによる方法がある。パターンマッチングは、検出対象の物品の特徴的形状や大きさ等を予め登録しておき、登録されたデータと実際にカメラなどにより物品を撮像した画像データとを比較することによって、撮像された物品が登録されたものと同一であるかを判定するものであるため、ワークの欠陥を検出する方法としても有用である。しかしながら、検査対象のワークが、例えば自らの重量などによる形状の変化が大きい大型のゴム製品であるような場合は、登録すべきマスター形状が定まらないので、パターンマッチングによる方法は採用することができない。   In general, as one of article detection methods based on image processing, for example, there is a pattern matching method as disclosed in Patent Document 1. Pattern matching is performed by registering in advance the characteristic shape, size, etc. of an article to be detected, and comparing the registered data with image data obtained by actually capturing the article with a camera or the like. Is the same as the registered one, it is useful as a method for detecting a defect in the workpiece. However, if the workpiece to be inspected is a large rubber product whose shape changes greatly due to its own weight, for example, the master shape to be registered is not determined, so the pattern matching method cannot be adopted. .

これに対し、例えば特許文献２に開示された画像処理装置及び画像形成装置は、画像の輪郭を検出して、この輪郭データに基づいて、画像データを原画像のオブジェクトの種類に拘わらず同一にし、データの取り扱いを一元化するものである。また、例えば特許文献３に開示された画像解析装置は、輪郭データの精度の悪い画像であっても、これを補正して高精度な輪郭データを検出する画像解析装置に関する。しかし、例えば成形不良などによってワークの輪郭の一部又は全部が欠損しているような欠陥については、特許文献２又は特許文献３に開示された技術では対応できないといった問題がある。   On the other hand, for example, the image processing apparatus and the image forming apparatus disclosed in Patent Document 2 detect the contour of an image and make the image data the same regardless of the type of object of the original image based on the contour data. , To unify the handling of data. Further, for example, the image analysis device disclosed in Patent Document 3 relates to an image analysis device that corrects even an image with low accuracy of contour data and detects highly accurate contour data. However, there is a problem that the technique disclosed in Patent Document 2 or Patent Document 3 cannot cope with a defect in which a part or all of the outline of the workpiece is lost due to, for example, a molding defect.

特開平７−６５１７０号公報JP-A-7-65170 特開２００１−２４３４８０号公報JP 2001-243480 A 特開２００４−２７２３１３号公報JP 2004-272313 A

本発明は、以上のような点に鑑みてなされたものであって、その技術的課題とするところは、検査対象のワークが、例えば自らの重量などによる形状の変化が大きい、長尺で柔軟な製品であっても、また、ワークに存在する欠陥が、成形不良などによってワークの輪郭の一部又は全部が欠損したものである場合でも、画像処理による欠陥検出を確実に行うことができるようにすることにある。   The present invention has been made in view of the above points, and the technical problem is that the workpiece to be inspected is long and flexible, for example, having a large shape change due to its own weight. Even if the product is a defective product, or even if a defect existing in the workpiece is a part or all of the outline of the workpiece that has been lost due to a molding defect or the like, defect detection by image processing can be reliably performed. Is to make it.

上述した技術的課題を有効に解決するための手段として、請求項１の発明に係る画像処理によるワーク欠陥検査方法は、長手方向各部の断面が同形同大のワークを撮像した画像を表示する画面上を移動する走査要素によって画素照度をサンプリングし、サンプリングされた照度値から画面内のワーク画像を認識するワーク画像認識処理と、認識されたワーク画像上の任意の位置座標を法線検出点としてこの法線検出点を通る任意の直線を中心とする所定幅でワーク画像を切り取って前記直線で折り返し、折り返された画像が互いに重合しなければ前記直線の角度を変更して再び折り返し、折り返された画像が互いに重合した場合に、このときの前記直線を法線として検出し、この法線上の特定の点でこの法線と直交する直線上にあって前記特定の点から所定距離離れた位置座標を次の法線検出点として前記法線の検出を繰り返す循環検出処理と、前記法線上の特定の点でこの法線と直交する直線に沿って前記ワーク画像を直線化する画像直線化処理と、直線化処理された画像から欠陥部を検出してその良否を判定する欠陥検出処理とを備えるものである。 As a means for effectively solving the technical problem described above, the work defect inspection method by image processing according to the invention of claim 1 displays an image obtained by capturing a work having the same shape and the same size in the cross section of each part in the longitudinal direction. Pixel illuminance is sampled by a scanning element that moves on the screen, and a workpiece image recognition process that recognizes the workpiece image on the screen from the sampled illuminance value, and any position coordinates on the recognized workpiece image as a normal detection point The workpiece image is cut out with a predetermined width centered on an arbitrary straight line passing through the normal detection point and folded at the straight line, and if the folded images do not overlap with each other, the angle of the straight line is changed and the folded back again. If the images are polymerized with each other, to detect the straight line at this time as a normal, the Japanese be in a straight line orthogonal to the normal line at a particular point on the normal line A cyclic detection process that repeats detection of the normal line with a position coordinate that is a predetermined distance away from the point as a next normal detection point, and the workpiece image along a straight line that is orthogonal to the normal line at a specific point on the normal line The image linearization processing for linearizing the image and the defect detection processing for detecting the defective portion from the image subjected to the linearization processing and determining the quality thereof .

請求項２の発明に係る画像処理によるワーク欠陥検査方法は、請求項１に記載されたワーク画像認識処理において、画素照度のサンプリングを、走査要素を中心とする所定範囲における複数箇所で行い、サンプリングされた照度値の平均値を所定のしきい値と比較するものである。 The workpiece defect inspection method by image processing according to the invention of claim 2 is the workpiece image recognition process according to claim 1, wherein pixel illuminance sampling is performed at a plurality of locations in a predetermined range centering on a scanning element, and sampling is performed. The average value of the obtained illuminance values is compared with a predetermined threshold value.

請求項３の発明に係る画像処理によるワーク欠陥検査方法は、請求項１に記載されたワークの断面形状が、幅方向中央を対称軸とする対称形状であり、循環検出処理において、法線上の特定の点が、この法線上の画素照度をサンプリングして照度プロファイルを生成し、前記法線上の任意の点で前記照度プロファイルを折り返すことによって互いに重合した照度プロファイルの差が最小となる点として決定されるものである。 In the work defect inspection method by image processing according to the invention of claim 3 , the cross-sectional shape of the work described in claim 1 is a symmetric shape with the center in the width direction as the symmetric axis. A specific point is determined as a point at which the difference between the illuminance profiles superimposed on each other is minimized by sampling the pixel illuminance on the normal line to generate an illuminance profile and folding the illuminance profile at an arbitrary point on the normal line It is what is done.

請求項４の発明に係る画像処理によるワーク欠陥検査方法は、請求項１に記載された方法において、ワーク画像をＭｅｄｉａｎフィルタにより平滑化し、入力されたワーク画像と平滑化された画像との差分によりノイズを除去するノイズ除去ステップを備え、欠陥検出処理では、前記ノイズ除去ステップによるノイズ除去後の画像データから欠陥部の良否を判定するものである。 A work defect inspection method by image processing according to a fourth aspect of the invention is the method according to claim 1, wherein the work image is smoothed by a median filter, and the difference between the input work image and the smoothed image is calculated. A noise removal step for removing noise is provided, and in the defect detection process , the quality of the defective portion is determined from the image data after the noise removal by the noise removal step.

請求項１の発明に係る画像処理によるワーク欠陥検査方法によれば、自重により容易に形状が変化してしまうような柔軟で長尺のワークでも、画像を直線化により一元化することによって、欠陥の検出が可能であり、また、ワークに存在する欠陥が、成形不良などによってワークの輪郭の一部又は全部が欠損したものである場合でも、画像処理による欠陥検出を確実に行うことができる。   According to the work defect inspection method by image processing according to the invention of claim 1, even with a flexible and long work whose shape easily changes due to its own weight, by unifying the image by straightening the image, Detection is possible, and even when a defect present in the workpiece is a defect in which part or all of the contour of the workpiece is lost due to molding failure or the like, the defect detection by image processing can be reliably performed.

請求項２の発明に係る画像処理によるワーク欠陥検査方法によれば、請求項１の発明において、複数箇所のサンプリング照度の平均値を用いることで、汚れや塵埃などによるノイズを受けにくくして、ワーク画像を高精度で検出することができる。   According to the work defect inspection method by image processing according to the invention of claim 2, in the invention of claim 1, by using the average value of sampling illuminance at a plurality of locations, it is less susceptible to noise due to dirt, dust, etc. Work images can be detected with high accuracy.

請求項３の発明に係る画像処理によるワーク欠陥検査方法によれば、請求項１の発明において、検出された法線を高精度に設定することができる。 According to the work defect inspection method by the image processing according to the invention of claim 3, in the invention of claim 1, the detected normal can be set with high accuracy.

請求項４の発明に係る画像処理によるワーク欠陥検査方法によれば、請求項１の発明において、ワーク画像から、ワーク上の塵埃や表面性状、照明ムラ等に起因する種々のノイズを除去するので、欠陥検出を高精度で行うことができる。 According to the work defect inspection method by image processing according to the invention of claim 4, in the invention of claim 1, various noises caused by dust, surface properties, illumination unevenness, etc. on the work are removed from the work image. , Defect detection can be performed with high accuracy.

以下、本発明に係る画像処理によるワーク欠陥検査方法の好ましい実施の形態について、図面を参照しながら説明する。まず図１は、本発明の方法により検査されるワークを示す断面斜視図、図２は、本発明に係る画像処理によるワーク欠陥検査方法を実施するために用いられるシステムの概略構成を示すブロック図である。   Hereinafter, a preferred embodiment of a work defect inspection method by image processing according to the present invention will be described with reference to the drawings. First, FIG. 1 is a sectional perspective view showing a workpiece to be inspected by the method of the present invention, and FIG. 2 is a block diagram showing a schematic configuration of a system used for carrying out a workpiece defect inspection method by image processing according to the present invention. It is.

図１に示されるように、この実施の形態の方法による検査対象のワークＷは、断面形状が幅方向中心を対称軸とする対称形状をなし、かつ長手方向各部の断面が同形同大の長尺物で、しかも自重などによる形状の変化が大きいために検査ステージ１上に置いたときの形状が一定しない製品であって、典型的には、例えばゴム状弾性材料で成形された大型のガスケット又はパッキンが挙げられる。   As shown in FIG. 1, the workpiece W to be inspected by the method of this embodiment has a symmetric shape with the cross-sectional shape having the center in the width direction as the symmetric axis, and the cross-section of each part in the longitudinal direction is the same shape and size A long product that has a large shape change due to its own weight and the like, and has a non-constant shape when placed on the inspection stage 1, and is typically a large-sized product made of, for example, a rubber-like elastic material. A gasket or packing is mentioned.

次に、図２に示されるワーク欠陥検査システムにおいて、参照符号１は、ワークＷを載置するＸＹテーブルからなる検査ステージ、参照符号２は検査ステージ１上を照明する照明装置、参照符号３は、ワークＷを撮像する画像入力装置である。   Next, in the workpiece defect inspection system shown in FIG. 2, reference numeral 1 is an inspection stage including an XY table on which the workpiece W is placed, reference numeral 2 is an illumination device that illuminates the inspection stage 1, and reference numeral 3 is , An image input device for imaging the workpiece W.

検査ステージ１は、ＸＹテーブルからなるものであって、すなわち不図示の駆動装置によって水平方向（ＸＹ方向）へ変位し、画像入力装置３によるワークＷの撮影部位を任意に移動するものである。また、画像入力装置３は、対物レンズによるワークＷの光学像をＣＣＤやＣＭＯＳ等の撮像素子によって画像信号に変換するカメラであって、ワークＷの幅方向全体及び長手方向の一部を含むエリアを撮影視野とするように、対物レンズを下方へ向けて検査ステージ１の上側にセットされている。   The inspection stage 1 is composed of an XY table, that is, is displaced in the horizontal direction (XY direction) by a driving device (not shown), and arbitrarily moves the imaging part of the workpiece W by the image input device 3. The image input device 3 is a camera that converts an optical image of the workpiece W by the objective lens into an image signal by an image sensor such as a CCD or a CMOS, and includes an area including the entire width direction and a part of the longitudinal direction of the workpiece W. Is set on the upper side of the inspection stage 1 with the objective lens facing downward.

参照符号４は、画像入力装置３により取り込まれた画像データを処理する画像処理装置、参照符号５は、画像処理部４により画像処理された画像データを順次格納する入力画像メモリ、参照符号６は、本方法の処理プログラムが格納されたプログラムメモリ、参照符号７は、前記処理プログラムによって動作し、入力画像メモリ５から画像データを順次読み出して各種の演算処理を行うＣＰＵ（中央演算処理装置）、参照符号８は、ＣＰＵ７において算出された法線データを格納する法線データ格納メモリ、参照符号９は、ＣＰＵ７において算出された中心座標データを格納する中心座標データ格納メモリ、参照符号１０は、ＣＰＵ７において直線化処理された画像データを格納する直線化画像格納メモリ、参照符号１１は、ＣＰＵ７において判定された検査結果データを格納する検査結果データ格納メモリ、参照符号１２は、欠陥検出の前処理において画像データからノイズを除去するためのＭｅｄｉａｎフィルタである。   Reference numeral 4 is an image processing apparatus that processes image data captured by the image input apparatus 3, reference numeral 5 is an input image memory that sequentially stores image data processed by the image processing unit 4, and reference numeral 6 is , A program memory in which a processing program of this method is stored, and a reference numeral 7 is a CPU (Central Processing Unit) that operates according to the processing program and sequentially reads out image data from the input image memory 5 and performs various arithmetic processes. Reference numeral 8 is a normal data storage memory for storing normal data calculated in the CPU 7, reference numeral 9 is a central coordinate data storage memory for storing central coordinate data calculated in the CPU 7, and reference numeral 10 is a CPU 7 The linearized image storage memory for storing the linearized image data in FIG. Inspection result data storage memory, reference numeral 12 for storing the determined test result data is a Median filter for removing noise from the image data in the preprocessing of the defect detection.

図３は、この実施の形態による処理フローを示すフローチャートである。すなわち、まず、入力画像メモリ５に格納された画像データが、ＣＰＵ７に読み出される（ステップＳ１）。この画像データは、図２に示される画像入力装置３によって検査ステージ１上のワークＷが撮像され画像処理装置４によって画像処理されたものである。   FIG. 3 is a flowchart showing a processing flow according to this embodiment. That is, first, the image data stored in the input image memory 5 is read out by the CPU 7 (step S1). This image data is obtained by imaging the workpiece W on the inspection stage 1 by the image input device 3 shown in FIG.

図４は、ワーク画像認識処理画面を示す説明図、図５は、画素照度サンプリング処理を示す説明図である。すなわち、入力画像メモリ５から読み出された画像データは、図４に示されるように、始点Ａから画面を一周する経路Ｌを移動しながら所定のサンプリング周期で画素照度をサンプリングする走査要素Ｖを有し、この走査要素Ｖが、経路Ｌ上を所定の距離だけ移動して停止する（ステップＳ２）。なお、図４における参照符号Ｐ_０はワークＷの一部が撮影されたワーク画像、参照符号Ｑは、ワークＷのバリ等による欠陥部の画像、ＲはワークＷの表面に付着した塵埃等によるノイズ画像である。なお、経路Ｌは必ずしも画面を一周するものでなくても良く、例えば画面内をジグザグに進むものなど、有端の経路であっても良い。 FIG. 4 is an explanatory diagram showing a work image recognition processing screen, and FIG. 5 is an explanatory diagram showing pixel illuminance sampling processing. That is, the image data read from the input image memory 5 includes a scanning element V that samples the pixel illuminance at a predetermined sampling period while moving along a path L that goes around the screen from the starting point A as shown in FIG. The scanning element V moves on the path L by a predetermined distance and stops (step S2). In FIG. 4, reference symbol P ₀ is a workpiece image in which a part of the workpiece W is photographed, reference symbol Q is an image of a defective portion due to burrs of the workpiece W, R is due to dust or the like adhering to the surface of the workpiece W, and the like. It is a noise image. Note that the path L does not necessarily have to go around the screen, and may be a closed path, such as a path that zigzags through the screen.

次に、画面上における走査要素Ｖの位置座標が検出され（ステップＳ３）、走査要素Ｖが始点Ａ（経路Ｌが有端である場合は終点）に到達したことが検出された場合は（ステップＳ３＝ＹＥＳ）、画面上にワーク画像が認識されなかったものとして、処理はステップＳ１にリターンし、入力画像メモリ５から次の画像データの読み出しが行われる。   Next, the position coordinates of the scanning element V on the screen are detected (step S3), and when it is detected that the scanning element V has reached the starting point A (or the end point when the path L is end) (step S3). S3 = YES), assuming that the work image has not been recognized on the screen, the process returns to step S1, and the next image data is read from the input image memory 5.

走査要素Ｖが始点Ａ（経路Ｌが有端である場合は終点）に未到達であることが検出された場合は（ステップＳ３＝ＮＯ）、図５に示されるように、この走査要素Ｖを中心とする所定範囲における複数のサンプリング点Ｓ_１〜Ｓ_ｎで画素照度をサンプリングする。そして、サンプリングされた各サンプリング点Ｓ_１〜Ｓ_ｎの画素照度を加重平均し、予め設定されたしきい値と比較することにより、走査要素Ｖがワーク画像Ｐ上に到達したかを判定し、言い換えればワーク画像Ｐ_０の有無を認識する（ステップＳ４）。なお、画素照度のサンプリングを走査要素Ｖの位置をサンプリング点として１点のみで行う場合は、検査ステージ１上の汚れや埃等によってワーク画像Ｐ_０を誤認識するおそれがあるのに対し、複数のサンプリング点Ｓ_１〜Ｓ_ｎでサンプリングした画素照度の平均値は安定した統計量となるので、前記汚れや埃等に起因するノイズ等の影響を受けにくくなり、ワーク画像Ｐ_０の認識の信頼性を高めることができる。 If it is detected that the scanning element V has not yet reached the starting point A (or the end point when the path L is endless) (step S3 = NO), as shown in FIG. sampling the pixel intensity at a plurality of sampling points S ₁ to S _n in a predetermined range centered. The weighted average of pixel intensity of each sampling point S ₁ to S _n sampled, by comparing with a preset threshold value, the scanning element V is determined whether it has reached the workpiece image P, recognizing the presence or absence of the workpiece image _{P 0} in other words (step S4). Note that when pixel illuminance sampling is performed at only one point with the position of the scanning element V as a sampling point, there is a possibility that the workpiece image P ₀ may be erroneously recognized due to dirt or dust on the inspection stage 1. since the average value of the pixel intensity sampled at sampling points S ₁ to S _n of the stable statistics, the result dirt and less susceptible to noise or the like due to dust or the like, reliability of the recognition of the workpiece image P ₀ Can increase the sex.

そして、上述のサンプリング結果、走査要素Ｖがワーク画像Ｐ_０上に未到達であると判定された場合は（ステップＳ４＝ＮＯ）、処理はステップＳ２へリターンする。 The sampling results described above, if the scanning element V is determined to be not reached on the work image P ₀ (step S4 = NO), the process returns to step S2.

また、走査要素Ｖがワーク画像Ｐ_０上に達したものと判定すなわちワーク画像Ｐ_０が認識された場合は（ステップＳ４＝ＹＥＳ）、走査要素Ｖによる画素照度サンプリングを終了し、ステップＳ５〜Ｓ８の循環検出処理へ移行する。 Also, if the scanning element V is determined i.e. recognized workpiece image _{P 0} to have reached on the work image _{P 0} is terminated (Step S4 = YES), the pixel intensity sampled by the scanning element V, Step S5~S8 It moves to the circulation detection process.

図６は、循環検出処理における法線検出処理を示す説明図である。すなわち、この法線検出処理（ステップＳ５）においては、図６（イ）に示されるように、ワーク画像Ｐ_０上で停止した走査要素Ｖの位置座標を法線検出点Ｂ_１として、前記法線検出点Ｂ_１を通る任意の直線Ｃを中心とする所定幅でワーク画像ΔＰ_０を切り取って、これを前記直線Ｃで折り返し、図６（ロ）に示されるように、折り返された画像ΔＰ_０が互いに重合しなければ、前記直線Ｃの角度を変更して再び折り返し、図６（ハ）に示されるように、折り返された画像ΔＰ_０が互いに重合した場合に、このときの直線Ｃを法線Ｎとする。この法線Ｎのデータは、図２に示される法線データ格納メモリ８に格納し、処理は次の中心検出ステップへ移行する。 FIG. 6 is an explanatory diagram illustrating normal detection processing in the circulation detection processing. That is, in this normal-line detection process (step S5), and as shown in FIG. 6 (b), the position coordinates of the scanning element V was stopped on the workpiece image P ₀ as the normal detection points B _1, said method A workpiece image ΔP ₀ is cut out with a predetermined width centered on an arbitrary straight line C passing through the line detection point B ₁ , and this is folded back along the straight line C. As shown in FIG. _{If the 0's} do not overlap each other, the angle of the straight line C is changed and folded again. When the folded images ΔP ₀ overlap each other as shown in FIG. Normal line N. The data of the normal N is stored in the normal data storage memory 8 shown in FIG. 2, and the process proceeds to the next center detection step.

なお、ワーク画像Ｐ_０は、経路Ｌ上での走査要素Ｖによる走査が終了した後で、走査データ列によって認識することもできる。したがってこのような場合は、走査要素Ｖはワーク画像Ｐ_０上で停止しないから、法線検出点Ｂ_１は、ワーク画像Ｐ_０内の経路Ｌ上における任意の点を選択する。 The work image P ₀ can also be recognized by the scanning data string after the scanning by the scanning element V on the path L is completed. Accordingly, in such a case, since the scanning element V does not stop on the work image P ₀ , the normal detection point B ₁ selects an arbitrary point on the path L in the work image P ₀ .

図７は、中心検出処理を示す説明図、図８は、この中心検出過程での照度プロファイルの処理を示す説明図である。すなわち、中心検出（ステップＳ６）においては、まず図７に示される法線Ｎ上に沿って、ワーク画像Ｐ_０の画素照度を所定のサンプリング間隔でサンプリングすることによって、図８（イ）に示されるような照度プロファイルを生成する。先の図１で説明したように、検査対象のワークＷは、断面形状が幅方向中心を対称軸とする対称形状であるため、照度プロファイルも、基本的に、前記法線Ｎの中点に対してほぼ対称となるような画素照度変化を示す。 FIG. 7 is an explanatory diagram showing the center detection process, and FIG. 8 is an explanatory diagram showing the illuminance profile process in the center detection process. That is, in the center detection (step S6), and first, along a normal line N shown in Figure 7, by sampling the pixel intensity of the workpiece image P ₀ at a predetermined sampling interval, shown in FIG. 8 (b) The illuminance profile is generated. As described above with reference to FIG. 1, the workpiece W to be inspected has a cross-sectional shape that is symmetric with the center in the width direction as a symmetric axis, so the illuminance profile is basically at the midpoint of the normal N. On the other hand, a change in pixel illuminance that is substantially symmetrical is shown.

次に、図７に示される法線Ｎ上の任意の点Ｄで照度プロファイルを折り返して重合する。折り返し点Ｄがワーク画像Ｐ_０の幅の中心点でない場合は、図８（ロ）に示されるように、重合された照度プロファイルの差が大きくなるので、図８（ハ）に示されるように、重合した照度プロファイルの差が最小となる折り返し点Ｄを検出し、これを中心点Ｅとして、その座標データを図２に示される中心座標データ格納メモリ９に格納する。 Next, the illuminance profile is folded at an arbitrary point D on the normal line N shown in FIG. When the turning point D is not the center point of the width of the work image P ₀ , as shown in FIG. 8 (B), the difference in the superimposed illuminance profiles becomes large, and as shown in FIG. 8 (C). Then, the turning point D at which the difference between the superimposed illuminance profiles becomes the minimum is detected, and the coordinate data is stored in the central coordinate data storage memory 9 shown in FIG.

なお、中心点Ｅは、請求項１に記載された「法線上の特定の点」に相当するものであるが、この「特定の点」は、必ずしも中心点Ｅでなくても良く、例えば検査対象のワークＷの断面形状が、幅方向中心を対称軸とする対称形状ではない場合、すなわち法線Ｎの中点に対してほぼ対称となるような照度プロファイルが得られないようなものである場合は、法線Ｎとワーク画像Ｐ_０の輪郭線あるいは連続模様との交点等を用いることができる。 The center point E corresponds to the “specific point on the normal line” described in claim 1, but the “specific point” does not necessarily have to be the center point E. When the cross-sectional shape of the target workpiece W is not a symmetric shape with the center in the width direction as the symmetric axis, that is, an illuminance profile that is substantially symmetric with respect to the midpoint of the normal N cannot be obtained. In this case, the intersection of the normal N and the contour line of the work image P ₀ or the continuous pattern can be used.

図９は、次候補決定処理を示す説明図である。すなわち、上述のようにして中心点Ｅが検出されたら、図９に示されるように、法線Ｎに対して垂直で中心点Ｅを通る直線（中心線）Ｆ上で、前記中心点Ｅから所定距離だけ離れた点を次候補点Ｂ₂とする（ステップＳ７）。 FIG. 9 is an explanatory diagram illustrating the next candidate determination process. That is, when the center point E is detected as described above, on the straight line (center line) F perpendicular to the normal line N and passing through the center point E, as shown in FIG. A point separated by a predetermined distance is set as the next candidate point B ₂ (step S7).

次に、画面上における次候補点Ｂ₂の位置座標が検出され（ステップＳ８）、この次候補点Ｂ₂が画面データにおけるワーク画像Ｐ_０の端部に到達していないことが判定された場合は（ステップＳ８＝ＮＯ）、処理はステップＳ５にリターンし、点Ｂ₂を通る法線検出処理及びその中心点の検出処理が繰り返され、すなわちステップＳ５〜Ｓ８の循環検出処理が行われる。また、次候補点Ｂ₂が画面データにおけるワーク画像Ｐ_０の端部に到達したことが判定された場合は（ステップＳ８＝ＹＥＳ）、処理は次の画像直線化ステップへ移行する。 Next, the position coordinates of the next candidate point B ₂ on the screen are detected (step S8), and it is determined that this next candidate point B ₂ has not reached the end of the work image P ₀ in the screen data. (step S8 = NO), the process returns to step S5, the detection processing of the normal detection process and its center point through point B ₂ is repeated, i.e. circulation detection processing in step S5~S8 are performed. If it is determined that the next candidate point B ₂ has reached the end of the work image P ₀ in the screen data (step S8 = YES), the process proceeds to the next image linearization step.

図１０は、直線化処理されたワーク画像Ｐ₁を示すものである。すなわち、先に説明した図４のように曲がりくねったワーク画像Ｐ_０は、ステップＳ５〜Ｓ７の処理によって繰り返し得られた中心点Ｅ及び中心線Ｆによって、図１０のように直線化し（ステップＳ９）、図２に示される直線化画像格納メモリ１０に格納する。 FIG. 10 shows the work image P ₁ that has been linearized. That is, the torsional work image P ₀ as shown in FIG. 4 described above is linearized as shown in FIG. 10 by the center point E and the center line F repeatedly obtained by the processes of steps S5 to S7 (step S9). The linearized image storage memory 10 shown in FIG.

次に、直線化処理されたワーク画像Ｐ₁における欠陥部の画像Ｑの画素数（面積）、長さ、周辺長、照度などの特徴量を、後述の処理ステップで計測することにより、良否を判定し（ステップＳ１０）、図２に示される検査結果データ格納メモリ１１に格納する。そして、本発明によれば、本来不規則に曲がりくねったワーク画像Ｐ_０が、上述の画像直線化処理によって、直線化された二次元画像Ｐ₁に規格化されるので、画像Ｑの特徴量を容易に計測することができる。 Next, pass / fail is measured by measuring feature quantities such as the number of pixels (area), length, peripheral length, illuminance, and the like of the image Q of the defective portion in the linearized workpiece image P ₁ in the processing steps described later. The determination is made (step S10), and the result is stored in the inspection result data storage memory 11 shown in FIG. According to the present invention, the work image P _{0 that} is originally irregularly winding is normalized to the linearized two-dimensional image P ₁ by the above-described image linearization processing. It can be easily measured.

ここで、図１０に示される直線化されたワーク画像Ｐ₁には、図１に示されるワークＷの表面性状による画素照度のムラ、図２に示される照明装置２による照明のムラ、ワークＷの表面に付着した塵埃に起因するノイズ画像Ｒ等、種々のノイズが含まれているため、誤判定を防止して欠陥部の画像Ｑの判定の信頼性を高めるには、これらのノイズの除去が重要である。 Here, the linearized work image P ₁ shown in FIG. 10 includes pixel illuminance unevenness due to the surface properties of the work W shown in FIG. 1, illumination unevenness due to the illumination device 2 shown in FIG. Since various noises such as a noise image R caused by dust adhering to the surface of the image are included, in order to prevent erroneous determination and improve the reliability of determination of the image Q of the defective portion, removal of these noises is important.

図１１は、ノイズの除去処理を含む欠陥検出ステップＳ１０の詳細な処理フローを示すフローチャートである。すなわち、まず、上述の画像直線化処理（ステップＳ９）によって直線化されたワーク画像Ｐ₁を入力し（ステップＳ１１）、このワーク画像Ｐ₁を、図２に示されるＭｅｄｉａｎフィルタ１２を用いて平滑化する（ステップＳ１２）。 FIG. 11 is a flowchart showing a detailed processing flow of the defect detection step S10 including noise removal processing. That is, first, the workpiece image P ₁ linearized by the above-described image linearization processing (step S9) is input (step S11), and this workpiece image P ₁ is smoothed using the Median filter 12 shown in FIG. (Step S12).

図１２は、図１１における平滑化処理（ステップＳ１２）の詳細な処理フローを示すフローチャート、図１３及び図１４は、平滑化のためのフィルタリング処理を模式的に示す説明図である。   FIG. 12 is a flowchart showing a detailed processing flow of the smoothing process (step S12) in FIG. 11, and FIGS. 13 and 14 are explanatory diagrams schematically showing a filtering process for smoothing.

図１３（イ）において、ＰＸ_１，ＰＸ_２，ＰＸ_３，・・・は入力されたワーク画像Ｐ₁を構成する画素であり、各画素ＰＸ_１，ＰＸ_２，ＰＸ_３，・・・に表示された数字は、照度（濃淡）レベルを示している。Ｍｅｄｉａｎフィルタ１２によるフィルタリング（平滑化）においては、まずこの入力画像Ｐ₁における連続した複数の画素を指定する窓Ｍが設定され、この窓Ｍ内の画素（図示の例では画素ＰＸ_１〜ＰＸ_５）を、図１３（ロ）のように照度（濃淡）レベル順に並べ替え、その中央値の画素（図示の例では照度“３”の画素ＰＸ_１）を検索して、図１３（ハ）のように、画像Ｐ_２へ出力する（ステップＳ１２１）。 In FIG. 13 (a), PX ₁ , PX ₂ , PX ₃ ,... Are pixels constituting the input work image P ₁ and are displayed on the pixels PX ₁ , PX ₂ , PX ₃ ,. The numbers shown indicate the illuminance (shading) level. In the filtering (smoothing) by Median filter 12, first the window M to specify a plurality of pixels continuous in the input image P ₁ is set, the pixel _PX 1 -PX ₅ in the example pixel (shown in the window M ) Are rearranged in order of illuminance (light / dark) level as shown in FIG. 13B, and the median pixel (pixel PX ₁ having illuminance “3” in the illustrated example) is searched for in FIG. as it will be output to the image _{P 2} (step S121).

次いで、図１４（イ）に示されるように、ワーク画像Ｐ_１において窓Ｍを１画素分だけ移動させ、移動によってこの窓Ｍから出される画素ＰＸ_１と、新しく窓Ｍ内に入る画素ＰＸ_６を調べ（ステップＳ１２２）、図１３（ロ）のように照度（濃淡）レベル順に並べ替えられた画素のうち、窓Ｍの移動によって出て行く画素ＰＸ_１を、図１４（ロ）に示されるように、新しく窓Ｍ内に入る画素ＰＸ_６と入れ替える（ステップＳ１２３）。 Next, as shown in FIG. 14A, the window M is moved by one pixel in the work image P ₁ , and the pixel PX ₁ exited from the window M by the movement and the pixel PX ₆ newly entering the window M are moved. the examined (step S122), as shown in Figure 13 (b) like the illuminance (shading) of the sorted pixel level sequence, the pixels PX ₁ exiting the movement of the window M, 14 (b) In this manner, the pixel PX ₆ newly entering the window M is replaced (step S123).

そして、画素ＰＸ_１と入れ替わった画素ＰＸ_６の照度（濃淡）レベルを、隣接する画素と比較し、図１４（ハ）に示されるように、照度（濃淡）レベル順となるように並べ替える（ステップＳ１２４）。詳しくは、窓Ｍ内における新入画素の照度が、その低レベル側に隣接する画素の照度より低レベルの場合は（ステップＳ１２４ａ＝ＹＥＳ）、低レベル側に隣接する画素を新入画素と入れ替え（ステップＳ１２４ｂ）、逆に新入画素の照度がそれより高レベル側に隣接する画素の照度より高レベルの場合は（ステップＳ１２４ｃ＝ＹＥＳ）、高レベル側に隣接する画素を新入画素と入れ替える（ステップＳ１２４ｄ）といった循環処理を行う。 Then, the illuminance (light / dark) level of the pixel PX ₆ replaced with the pixel PX ₁ is compared with the adjacent pixels, and rearranged so as to be in the order of the illuminance (light / dark) level as shown in FIG. Step S124). Specifically, when the illuminance of the new pixel in the window M is lower than the illuminance of the pixel adjacent to the low level side (step S124a = YES), the pixel adjacent to the low level side is replaced with the new pixel (step S124b) Conversely, when the illuminance of the new pixel is higher than the illuminance of the pixel adjacent to the higher level side (step S124c = YES), the pixel adjacent to the high level side is replaced with the new pixel (step S124d). Such a circulation process is performed.

次に図１４（ニ）に示されるように、その中央値の画素（図示の例では照度“４”の画素ＰＸ_３）を検索して、画像Ｐ_２へ出力するといった、ステップＳ１２１と同様の処理を行う（ステップＳ１２５）。 Next, as shown in FIG. 14 (d), the pixel having the median value (pixel PX ₃ having an illuminance “4” in the illustrated example) is retrieved and output to the image P ₂ as in step S121. Processing is performed (step S125).

次に、窓部Ｍがワーク画像Ｐ_１の端部にあるかどうかを判定し（ステップＳ１２６）、端部にある場合は（ステップＳ１２６＝ＹＥＳ）、フィルタリング処理を終了し、端部に未到達の場合は（ステップＳ１２６＝ＮＯ）、処理はステップＳ１２２へリターンする。そしてこのような循環処理によって、図１４（ホ）のように、画素照度の変化の緩やかな画像Ｐ_２が再構築されて行くのである。 Then, the window portion M is determined whether the end of the workpiece image P ₁ (step S126), if at the end (step S126 = YES), terminates the filtering process, not reached the end In the case of (step S126 = NO), the process returns to step S122. And by such circulation process, as shown in FIG. 14 (e) is the gentle image P ₂ of the change in pixel intensity is gradually reconstructed.

図１５は、上述したＭｅｄｉａｎフィルタ１２による平滑化処理で得られる平滑化画像を示すものである。すなわちこの平滑化画像Ｐ_２は、空間周波数成分が低いものとなるので、ワークＷの表面性状による画素照度のムラ、照明のムラなど、照度が緩やかに変化するノイズは残るが、ワークＷの表面に付着した塵埃等による、照度が急激に変化する細かいノイズは除去されている。 FIG. 15 shows a smoothed image obtained by the smoothing process by the median filter 12 described above. That this smoothed image P _2, since becomes low spatial frequency components, the unevenness of the pixel intensity by the surface texture of the workpiece W, such as uneven illumination, but the illumination is remains slowly varying noise, the surface of the workpiece W Fine noise with abrupt changes in illuminance due to dust adhering to the surface is removed.

説明を図１１に戻すと、上述したＭｅｄｉａｎフィルタ１２による平滑化処理後は、入力されたワーク画像Ｐ_１（図１０）から欠陥部の画像Ｑを抽出するために、この背景処理は、このワーク画像Ｐ_１から図１５に示される平滑化処理画像Ｐ_２を減算する画像差分処理を行う（ステップＳ１３）。 Returning to FIG. 11, after the smoothing process by the median filter 12, the background process is performed to extract the image Q of the defective portion from the input work image P ₁ (FIG. 10). performing image difference processing for subtracting the smoothing processing image _{P 2} shown in FIG. 15 from the image _{P 1} (step S13).

図１６は、この画像差分処理（Ｐ_１−Ｐ_２＝Ｐ_３）によって得られる画像Ｐ_３を示すものである。すなわちこの画像Ｐ_３は、ワークＷの表面性状による画素照度のムラや照明ムラによる画素照度のムラなど、照度が緩やかに変化するノイズが除去され、ワークＷの表面に付着した塵埃等による、照度が急激に変化するノイズ画像Ｒや、欠陥部の画像Ｑが抽出されたものである。 FIG. 16 shows an image P ₃ obtained by this image difference process (P ₁ −P ₂ = P ₃ ). That the image P _3, such as unevenness of pixel illumination by unevenness and uneven illumination of the pixel intensity by the surface texture of the workpiece W, illumination slowly varying noise is removed, by dust deposited on the surface of the workpiece W such as illuminance Are extracted from the noise image R and the defect image Q.

次に、画像Ｐ_３の照度データの二値化を行うことによって（ステップＳ１４）、周辺との照度差が所定のしきい値以上となる特徴部分のみを抽出した後、抽出された特徴部分の周辺長を計測し、計測された長さが所定のしきい値未満のものは、ノイズとしてこれを除去する処理を行う（ステップＳ１５）。図１７は、このノイズ除去処理によって得られる画像Ｐ_４を示すもので、この画像Ｐ_４には、欠陥部の画像Ｑが残っている。 Next, (step S14) by performing binarization of the illuminance data of the image P _3, after the illuminance difference between the surroundings by extracting only feature portions equal to or greater than a predetermined threshold, the extracted feature portion A peripheral length is measured, and if the measured length is less than a predetermined threshold, a process of removing this as noise is performed (step S15). Figure 17 shows the image P ₄ obtained by the noise removal process, on the image P ₄ has left image Q of the defective portion.

そして、この画像Ｐ_４における欠陥部の画像Ｑの特徴量、すなわち例えば画像Ｑの画素数（面積）、長さ、周辺長、照度などを計測し（ステップＳ１６）、良否の判定を行う（ステップＳ１７）。そして、これらの計測値のうちいずれかが、予め設定されたしきい値以上であった場合は（ステップＳ１７＝ＮＧ）、図２に示される検査ステージ１上のワークＷが不良品として排出される（ステップＳ１８）。 Then, the feature quantity of the image Q of the defect in the image P _4, that is, for example images Q number of pixels (area), length, perimeter, illumination, etc. were measured (step S16), and quality determination performed (step S17). If any of these measured values is equal to or greater than a preset threshold value (step S17 = NG), the workpiece W on the inspection stage 1 shown in FIG. 2 is discharged as a defective product. (Step S18).

また、これらの計測値が、いずれも予め設定されたしきい値未満であれば（ステップＳ１７＝ＯＫ）、不良が存在しなかったものと判定され（図３のステップＳ１０＝ＮＯ）、処理は図３のステップＳ１へリターンして、入力画像メモリ５から次の画像データの読み出しが行われる。   If these measured values are both less than a preset threshold value (step S17 = OK), it is determined that no defect exists (step S10 = NO in FIG. 3), and the process is as follows. Returning to step S1 in FIG. 3, the next image data is read from the input image memory 5.

本発明に係る画像処理によるワーク欠陥検査方法で検査されるワークの一例を示す断面斜視図である。It is a section perspective view showing an example of the work inspected with the work defect inspection method by the image processing concerning the present invention. 本発明に係る画像処理によるワーク欠陥検査方法を実施するために用いられるシステムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the system used in order to implement the workpiece defect inspection method by the image processing which concerns on this invention. 本発明による処理フローを示すフローチャートである。It is a flowchart which shows the processing flow by this invention. 本発明によるワーク画像認識処理画面を示す説明図である。It is explanatory drawing which shows the work image recognition process screen by this invention. 本発明による画素照度サンプリング処理を示す説明図である。It is explanatory drawing which shows the pixel illumination intensity sampling process by this invention. 本発明による法線検出処理を示す説明図である。It is explanatory drawing which shows the normal detection process by this invention. 本発明による中心検出処理を示す説明図である。It is explanatory drawing which shows the center detection process by this invention. 本発明による中心検出過程での照度プロファイルの処理を示す説明図である。It is explanatory drawing which shows the process of the illumination intensity profile in the center detection process by this invention. 本発明による次候補決定処理を示す説明図である。It is explanatory drawing which shows the next candidate determination process by this invention. 本発明により直線化処理されたワーク画像を示す説明図である。It is explanatory drawing which shows the workpiece | work image by which linearization processing was carried out by this invention. 本発明におけるノイズの除去処理を含む欠陥検出処理フローを示すフローチャートである。It is a flowchart which shows the defect detection process flow including the noise removal process in this invention. 図１１のフローチャートにおける平滑化処理の詳細な処理フローを示すフローチャートである。It is a flowchart which shows the detailed processing flow of the smoothing process in the flowchart of FIG. Ｍｅｄｉａｎフィルタによるフィルタリング処理を模式的に示す説明図である。It is explanatory drawing which shows typically the filtering process by a Median filter. Ｍｅｄｉａｎフィルタによるフィルタリング処理を模式的に示す説明図である。It is explanatory drawing which shows typically the filtering process by a Median filter. 平滑化処理によって得られる平滑化画像を示す説明図である。It is explanatory drawing which shows the smoothed image obtained by the smoothing process. 入力されたワーク画像から、上述の平滑化処理画像を減算処理することによって得られる画像を示す説明図である。It is explanatory drawing which shows the image obtained by subtracting the above-mentioned smoothing process image from the input workpiece | work image. ノイズ除去処理によって得られる画像を示す説明図である。It is explanatory drawing which shows the image obtained by a noise removal process.

符号の説明Explanation of symbols

１ 検査ステージ
２ 照明装置
３ 画像入力装置
４ 画像処理装置
５ 入力画像メモリ
６ プログラムメモリ
７ ＣＰＵ
８ 法線データ格納メモリ
９ 中心座標データ格納メモリ
１０ 直線化画像格納メモリ
１１ 検査結果データ格納メモリ
１２ Ｍｅｄｉａｎフィルタ
Ｅ 中心点（特定の点）
Ｆ 中心線
Ｎ 法線
Ｓ_１〜Ｓ_ｎ サンプリング点
Ｐ ワーク画像
Ｑ 欠陥部の画像
Ｒ ノイズ画像
Ｖ 走査要素
Ｗ ワーク DESCRIPTION OF SYMBOLS 1 Inspection stage 2 Illumination device 3 Image input device 4 Image processing device 5 Input image memory 6 Program memory 7 CPU
8 Normal data storage memory 9 Center coordinate data storage memory 10 Linearized image storage memory 11 Inspection result data storage memory 12 Median filter E Center point (specific point)
F centerline N normal _S 1 to S _n sampling points P workpiece image Q defect image R noise image V scanning element W workpiece

Claims (4)

長手方向各部の断面が同形同大のワークを撮像した画像を表示する画面上を移動する走査要素によって画素照度をサンプリングし、サンプリングされた照度値から画面内のワーク画像を認識するワーク画像認識処理と、
認識されたワーク画像上の任意の位置座標を法線検出点としてこの法線検出点を通る任意の直線を中心とする所定幅でワーク画像を切り取って前記直線で折り返し、折り返された画像が互いに重合しなければ前記直線の角度を変更して再び折り返し、折り返された画像が互いに重合した場合に、このときの前記直線を法線として検出し、この法線上の特定の点でこの法線と直交する直線上にあって前記特定の点から所定距離離れた位置座標を次の法線検出点として前記法線の検出を繰り返す循環検出処理と、
前記法線上の特定の点でこの法線と直交する直線に沿って前記ワーク画像を直線化する画像直線化処理と、
直線化処理された画像から欠陥部を検出してその良否を判定する欠陥検出処理と、
を備えることを特徴とする画像処理によるワーク欠陥検査方法。 Work image recognition that samples pixel illuminance by a scanning element that moves on a screen that displays an image of a work that has the same shape and size as each cross section in the longitudinal direction, and recognizes the work image in the screen from the sampled illuminance value Processing,
An arbitrary position coordinate on the recognized workpiece image is used as a normal detection point, a workpiece image is cut out with a predetermined width centered on an arbitrary straight line passing through the normal detection point, and folded at the straight line. If it does not overlap, the angle of the straight line is changed and folded again, and when the folded images overlap each other, the straight line at this time is detected as a normal line, and this normal line is detected at a specific point on the normal line. Cyclic detection processing that repeats detection of the normal line using a position coordinate that is on a straight line orthogonal to the specific point and separated by a predetermined distance as the next normal line detection point;
An image linearization process for linearizing the workpiece image along a straight line orthogonal to the normal at a specific point on the normal;
A defect detection process for detecting a defective portion from the linearized image and determining its quality;
A work defect inspection method using image processing. ワーク画像認識処理において、画素照度のサンプリングを、走査要素を中心とする所定範囲における複数箇所で行い、サンプリングされた照度値の平均値を所定のしきい値と比較することを特徴とする請求項１に記載の画像処理によるワーク欠陥検査方法。 The pixel illuminance sampling is performed at a plurality of locations in a predetermined range centered on a scanning element in the work image recognition process , and the average value of the sampled illuminance values is compared with a predetermined threshold value. A work defect inspection method by image processing according to 1. ワークの断面形状が、幅方向中央を対称軸とする対称形状であり、循環検出処理において、法線上の特定の点が、この法線上の画素照度をサンプリングして照度プロファイルを生成し、前記法線上の任意の点で前記照度プロファイルを折り返すことによって互いに重合した照度プロファイルの差が最小となる点として決定されることを特徴とする請求項１に記載の画像処理によるワーク欠陥検査方法。 The cross-sectional shape of the workpiece is a symmetric shape with the center in the width direction as the symmetric axis, and in the circulation detection process, a specific point on the normal line samples the pixel illuminance on the normal line to generate an illuminance profile, and the method The work defect inspection method by image processing according to claim 1 , wherein the difference between the illuminance profiles superimposed on each other is determined by folding the illuminance profile at an arbitrary point on the line . ワーク画像をＭｅｄｉａｎフィルタにより平滑化し、入力されたワーク画像と平滑化された画像との差分によりノイズを除去するノイズ除去ステップを備え、欠陥検出処理では、前記ノイズ除去ステップによるノイズ除去後の画像データから欠陥部の良否を判定することを特徴とする請求項１に記載の画像処理によるワーク欠陥検査方法。 The work image is smoothed by a median filter, and has a noise removal step for removing noise by the difference between the input work image and the smoothed image. In the defect detection process, the image data after the noise removal by the noise removal step The defect inspection method by image processing according to claim 1, wherein the quality of the defective portion is determined from the image processing.

Images