JP2013015359A - Defect inspection method and defect inspection device - Google Patents
Defect inspection method and defect inspection device Download PDFInfo
- Publication number
- JP2013015359A JP2013015359A JP2011147131A JP2011147131A JP2013015359A JP 2013015359 A JP2013015359 A JP 2013015359A JP 2011147131 A JP2011147131 A JP 2011147131A JP 2011147131 A JP2011147131 A JP 2011147131A JP 2013015359 A JP2013015359 A JP 2013015359A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- value
- differential
- defect
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、検査対象物を撮像して得た画像に画像処理を施すことによって検査対象物表面の直線状の欠陥の有無を検出する欠陥検査方法および欠陥検査装置に関する。 The present invention relates to a defect inspection method and a defect inspection apparatus for detecting the presence or absence of a linear defect on the surface of an inspection object by performing image processing on an image obtained by imaging the inspection object.
この種の欠陥検査装置に関するものとしては、例えば特許文献1に記載されているように、撮像装置が撮像した検査対象物の撮像画像に対して、各画素の濃度に基づく微分演算を実行する微分演算部と、各画素の微分絶対値を算出する微分絶対値演算部と、微分絶対値が規定値以上である画素をエッジ画素として抽出するエッジ画素抽出部と、互いに隣接するエッジ画素の集合を位置検出用ランドとして抽出する位置検出用ランド抽出部と、撮像画像の各画素に対して2値化を行って欠陥候補画素を抽出する濃淡2値化演算部と、互いに隣接する欠陥候補画素の集合を欠陥候補ランドとして抽出する欠陥候補ランド抽出部と、欠陥候補ランドの画素数を計測する計測部と、欠陥候補ランドの画素数が規定画素数以上である場合、検査対象物が不良品であると判定する一方、欠陥候補ランドの画素数が画素数閾値未満である場合、検査対象物が良品であると判定する判定部とを備えた欠陥検査装置が知られている。
As for this type of defect inspection apparatus, as described in
上記特許文献1記載の欠陥検査装置では、微分演算部がプリューウィットフィルタ(Prewitt filter)やソーベルフィルタ(Sobel filter)のような3×3または5×5の微分フィルタを用いて微分演算を行う。例えば、プリューウィットフィルタとして、3×3の微分フィルタを使用する場合、微分演算部が微分フィルタの中心画素を着目画素とし、この着目画素の8近傍に隣接する8画素の濃度値と微分フィルタの係数との積を求め、求めた積の総和をΔXおよびΔYとする。
In the defect inspection apparatus described in
また、微分演算部は、注目画素の近傍領域における濃度変化を表わす微分絶対値abs(E)と、画素Eの近傍領域における濃度値の最大変化の方向に直交する方向を表わす微分方向値dir(E)とを、abs(E)=(ΔX2+ΔY2)1/2の式と、dir(E)=tan−1(ΔY/ΔX)+(π/2)の式とによって求める。この微分絶対値abs(E)は、注目画素の近傍領域における濃度値の変化率に対応し、撮像画像の画素の濃度変化が大きい部位ほど大きくなる。微分方向値dir(E)は、画素Eの近傍領域における濃度値の最大変化の方向に直交する方向、すなわち、エッジ(境界)に平行な方向(エッジの接線方向)を表わし、この微分方向値は、コード化(デジタル化)した値が用いられ、360°を8方向に分割した8個の角度範囲を用い、各角度範囲にそれぞれに対応するコードを付与した微分方向値を用いて処理していた。 In addition, the differential calculation unit has a differential absolute value abs (E) representing the density change in the vicinity region of the pixel of interest and a differential direction value dir () representing the direction orthogonal to the direction of the maximum density value change in the region near the pixel E. E) is obtained by an expression of abs (E) = (ΔX2 + ΔY2) 1/2 and an expression of dir (E) = tan−1 (ΔY / ΔX) + (π / 2). This differential absolute value abs (E) corresponds to the change rate of the density value in the vicinity region of the target pixel, and increases as the density change of the pixel of the captured image increases. The differential direction value dir (E) represents a direction orthogonal to the direction of maximum change in density value in the vicinity region of the pixel E, that is, a direction parallel to the edge (boundary) (the tangential direction of the edge). Is a coded (digitized) value, and uses 8 angular ranges obtained by dividing 360 ° into 8 directions, and each angular range is processed using a differential direction value assigned with a corresponding code. It was.
上記特許文献1に記載されているものでは、微分演算部で算出された微分絶対値が規定値以上であるエッジ画素の領域と2値化した欠陥候補画素の領域とを関連付けた欠陥候補ランドを抽出し、欠陥候補ランドの画素数が規定画素数以上である場合、検査対象物が不良品であると判定しているため、画素間の濃度変化が小さい画素が連続する直線状の欠陥を検出することが困難であった。
In the above-described
本発明は、上記問題点に鑑みてなされたもので、構造が簡単で、検査対象物上の直線状の欠陥を検出し、検査対象物の良否判定処理を実行する欠陥検査方法および欠陥検査装置を提供することを目的としている。 The present invention has been made in view of the above problems, and has a simple structure, a defect inspection method and a defect inspection apparatus for detecting a linear defect on an inspection object and executing a quality determination process on the inspection object The purpose is to provide.
本発明によると、上記課題は、次のようにして解決される。
(1) 検査対象物が撮像された撮像画像を画像メモリに記憶し当該検査対象物の表面に生じる直線状の欠陥を検出する欠陥検査方法であって、前記画像メモリに記憶した撮像画像の各画素の濃度に基づく微分演算を行い画素間の濃度変化の強さを表わす微分絶対値および濃度変化の方向を表す微分方向値を各画素に対して算出する微分演算ステップと、前記微分演算ステップで算出された各画素の前記微分絶対値に、各画素の前記微分方向値に対応する重み付け値を乗じて、ノイズ成分の除去または前記直線状の欠陥の境界を強調する強度値をそれぞれ算出する強度演算ステップと、前記直線状の欠陥の長手方向に連続し、幅手方向に並設する複数の検査領域を、前記撮像画像に設定し、該検査領域に配置された各画素の前記強度値を合算した積算値を、前記検査領域に配置された画素数で除算し、前記検査領域における強度値の特徴量を、前記検査領域ごとに算出する特徴量演算ステップと、前記特徴量演算ステップで算出された複数の特徴量のいずれか1つが所定の閾値以上である場合、前記検査対象物が直線状の欠陥を有する不良品であると判定する判定ステップとを含むものとする。
According to the present invention, the above problem is solved as follows.
(1) A defect inspection method for storing a captured image obtained by capturing an inspection object in an image memory and detecting a linear defect generated on the surface of the inspection object, wherein each of the captured images stored in the image memory A differential calculation step of performing a differential calculation based on the density of the pixel and calculating a differential absolute value indicating the intensity of the density change between the pixels and a differential direction value indicating the direction of the density change for each pixel, and the differential calculation step Intensities for multiplying the calculated differential absolute value of each pixel by a weighting value corresponding to the differential direction value of each pixel to calculate an intensity value for removing a noise component or emphasizing the boundary of the linear defect, respectively. A calculation step and a plurality of inspection areas arranged in parallel in the longitudinal direction of the linear defect and arranged in the width direction are set in the captured image, and the intensity value of each pixel arranged in the inspection area is determined. Added up The calculated value is divided by the number of pixels arranged in the inspection area, and the feature value of the intensity value in the inspection area is calculated for each inspection area, and the feature value calculation step is calculated in the feature value calculation step A determination step of determining that the inspection object is a defective product having a linear defect when any one of the plurality of feature amounts is equal to or greater than a predetermined threshold value.
このような構成とすると、各画素の微分絶対値に重み付け値を乗じた強度値を算出し、各検査領域における強度値の特徴量をもって、検査対象物が不良品であると判定するので、検査対象物の表面上に生じる直線状の欠陥を確実に検出することができ、検査対象物の良否を精度よく判定することができる。 With such a configuration, the intensity value obtained by multiplying the differential absolute value of each pixel by the weighting value is calculated, and it is determined that the inspection object is a defective product based on the feature value of the intensity value in each inspection region. A linear defect generated on the surface of the object can be reliably detected, and the quality of the inspection object can be accurately determined.
(2) 上記(1)項において、撮像画像に設定された複数の検査領域における強度値の特徴量のすべてが所定の閾値未満である場合、検査対象物が良品であると判定する。 (2) In the above item (1), when all of the feature values of the intensity values in the plurality of inspection regions set in the captured image are less than a predetermined threshold value, it is determined that the inspection object is a non-defective product.
このような構成とすると、検査領域における強度値の特徴量をもって、直線状の欠陥の有無を判定するので、判定処理の負荷を減少させることができる。 With such a configuration, the presence / absence of a linear defect is determined based on the feature value of the intensity value in the inspection region, so that the load of the determination process can be reduced.
(3) 上記(1)または(2)項において、強度演算ステップは、画素の微分方向値が直線状の欠陥における境界に直交する角度に近いほど強度値を大とし、前記微分方向値が直線状の欠陥における境界の接線の角度に近いほど強度値を小とする。 (3) In the above item (1) or (2), the intensity calculating step increases the intensity value as the differential direction value of the pixel is closer to the angle orthogonal to the boundary in the linear defect, and the differential direction value is linear. The intensity value becomes smaller as the angle is closer to the tangent of the boundary of the defect.
このような構成とすると、直線状の欠陥の境界を強調し、ノイズ成分を低減するので、直線状の欠陥を確実に検出することができる。 With such a configuration, since the boundary of the linear defect is emphasized and the noise component is reduced, the linear defect can be reliably detected.
(4) 上記(1)〜(3)項において、画像メモリは、撮像装置が撮像する検査対象物を、垂直方向または/および水平方向に圧縮された撮像画像を記憶する。 (4) In the above items (1) to (3), the image memory stores a picked-up image obtained by compressing the inspection object picked up by the image pickup device in the vertical direction and / or the horizontal direction.
このような構成とすると、圧縮された撮像画像の各画素を微分演算するので、直線状の欠陥の検出精度を維持し、検査対象物の検査処理時間を短縮することができる。 With such a configuration, each pixel of the compressed captured image is subjected to differential calculation, so that the detection accuracy of the linear defect can be maintained and the inspection processing time of the inspection object can be shortened.
(5) 上記(1)〜(4)項において、特徴量演算ステップは、直線状の欠陥の長手方向に直線状または帯状に並ぶ複数の画素からなる検査領域ごとに強度値の特徴量を算出する。 (5) In the above items (1) to (4), the feature amount calculation step calculates a feature value of an intensity value for each inspection region composed of a plurality of pixels arranged linearly or in a strip shape in the longitudinal direction of the linear defect. To do.
このような構成とすると、直線状の欠陥の長手方向に、直線状に並ぶ複数の画素の強度値または帯状に並ぶ複数の画素の強度値のいずれかを積算し、特徴量を算出するので、直線状の欠陥の境界を確実に検出することができる。 With such a configuration, in the longitudinal direction of the linear defect, either the intensity value of a plurality of pixels arranged in a straight line or the intensity value of a plurality of pixels arranged in a strip shape is integrated, and a feature amount is calculated. The boundary of the linear defect can be reliably detected.
(6) 検査対象物が撮像された撮像画像を画像メモリに記憶し当該検査対象物の表面に生じる直線状の欠陥を検出する欠陥検査装置であって、前記画像メモリに記憶した撮像画像の各画素の濃度に基づく微分演算を行い画素間の濃度変化の強さを表わす微分絶対値および濃度変化の方向を表す微分方向値を各画素に対して算出する微分演算手段と、前記微分演算手段で算出された各画素の前記微分絶対値に、各画素の前記微分方向値に対応する重み付け値を乗じて、ノイズ成分の除去または前記直線状の欠陥の境界を強調する強度値をそれぞれ算出する強度演算手段と、前記直線状の欠陥の長手方向に連続し、幅手方向に並設する複数の検査領域を、前記撮像画像に設定し、該検査領域に配置された各画素の前記強度値を合算した積算値を、前記検査領域に配置された画素数で除算し、前記検査領域における強度値の特徴量を、前記検査領域ごとに算出する特徴量演算手段と、前記特徴量演算手段で算出された複数の特徴量のいずれか1つが所定の閾値以上である場合、前記検査対象物が直線状の欠陥を有する不良品であると判定する判定手段とを備えるものとする。 (6) A defect inspection apparatus for storing a captured image obtained by capturing an inspection object in an image memory and detecting a linear defect generated on the surface of the inspection object, and each of the captured images stored in the image memory A differential calculation means for performing a differential calculation based on the density of the pixel and calculating a differential absolute value representing the intensity of density change between the pixels and a differential direction value representing the direction of the density change for each pixel; and the differential calculation means Intensities for multiplying the calculated differential absolute value of each pixel by a weighting value corresponding to the differential direction value of each pixel to calculate an intensity value for removing a noise component or emphasizing the boundary of the linear defect, respectively. A calculation means and a plurality of inspection areas arranged in parallel in the longitudinal direction of the linear defect and arranged in the width direction are set in the captured image, and the intensity value of each pixel arranged in the inspection area is set. The integrated value is added to the previous Dividing by the number of pixels arranged in the inspection area, and calculating the feature value of the intensity value in the inspection area for each inspection area, and a plurality of feature values calculated by the feature value calculation means When any one of them is equal to or greater than a predetermined threshold value, it is provided with a determination unit that determines that the inspection object is a defective product having a linear defect.
このような構成とすると、各画素の微分絶対値に重み付け値を乗じた強度値を算出し、各検査領域における強度値の特徴量をもって、検査対象物が不良品であると判定するので、検査対象物の表面上に生じる直線状の欠陥を確実に検出することができ、検査対象物の良否を精度よく判定することができる。 With such a configuration, the intensity value obtained by multiplying the differential absolute value of each pixel by the weighting value is calculated, and it is determined that the inspection object is a defective product based on the feature value of the intensity value in each inspection region. A linear defect generated on the surface of the object can be reliably detected, and the quality of the inspection object can be accurately determined.
本発明によると、構造が簡単で、検査対象物上の直線状の欠陥を検出し、検査対象物の良否判定処理を実行する欠陥検査方法および欠陥検査装置を提供することができる。 According to the present invention, it is possible to provide a defect inspection method and a defect inspection apparatus that have a simple structure, detect a linear defect on an inspection object, and execute a quality determination process for the inspection object.
以下、本発明の一実施形態を、図面に基づいて説明する。
図1に示すように、欠陥検査装置1は、検査対象物2を含む空間領域を撮像する撮像装置3からアナログ−デジタル変換部4を介して撮像画像を取得し、検査対象物2の表面上の直線状の欠陥2a、2bを検出する装置である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
As shown in FIG. 1, the
欠陥検査装置1は、撮像装置3から取得した撮像画像を一時的に保存する画像メモリ5と、撮像画像の各画素の濃度に基づく演算処理を実行する中央処理装置(CPU)6と、検査処理プログラムを記憶する読み出し専用メモリ(ROM)7と、中央処理装置6の演算結果を一時的に記憶するメインメモリ8と、メインメモリ8に記憶された強度値や特徴量をヒストグラムとして外部のモニタ9に出力するデジタル−アナログ変換部10とを備えている。
The
中央処理装置6は、バス12を介して、アナログ−デジタル変換部4、画像メモリ5、読み出し専用メモリ(ROM)7、メインメモリ8、デジタル−アナログ変換部10、キーボードやマウスを含む操作部11に相互に接続されている。
The
撮像装置3は、例えばCCDまたはCMOSイメージセンサを用いた、水平解像度が15.5μmの画素ピッチ、垂直解像度が12.5μmの画素ピッチの撮像画像を取得可能に設定されている。 The imaging device 3 is set to be able to acquire a captured image having a pixel pitch of 15.5 μm in horizontal resolution and a pixel pitch of 12.5 μm in vertical resolution using, for example, a CCD or CMOS image sensor.
メインメモリ8には、微分値領域8aと、強度値領域8bと、特徴量領域8cと、検査プログラム領域8dとが設けられている。
The
微分値領域8aには、微分演算手段として中央処理装置6が画像メモリ5に記憶する撮像画像の各画素の濃度に基づく微分演算を行い画素間の濃度変化の強さを表わす微分絶対値および濃度変化の方向を表す微分方向値を各画素に対して算出する微分値が記憶される。
In the
強度値領域8bには、強度算出手段として中央処理装置6が微分演算手段で算出された各画素の微分絶対値に、各画素の微分方向値に対応する重み付け値を乗じて、ノイズ成分の除去または直線状の欠陥2a、2bの境界を強調する強度値が記憶される。
In the
特徴量領域8cには、特徴量算出手段として中央処理装置6が直線状の欠陥2aまたは2bの長手方向に連続し、幅手方向に並設する複数の検査領域を、撮像画像に設定し、検査領域に配置された各画素の強度値を合算した積算値を、検査領域に配置された画素数で除算し、各検査領域における強度値の特徴量Fが記憶される。
In the
検査プログラム領域8dには、直線状の欠陥2a、2bを検出させる検査処理プログラムや、判定処理に用いる閾値や、各画素の微分方向値に対応する重み付け値が記憶される。
The
図2に示すように、検査対象物2は、例えば、原料をX軸方向(水平方向)に押出成形した成形体を、加熱行程により焼結させた板状の焼結体である。押出成形される原料は、金属、重合体、セラミックス、コンクリート、食品などがある。本実施形態では、窒化アルミニウムを含むセラミックス焼結体を例示している。このセラミックス焼結体は、平面視におけるY軸方向(垂直方向)に延びる左右辺とX軸方向に延びる上下辺とを有する基板状のものである。
As shown in FIG. 2, the
このセラミックス焼結体は、原料を口金を通じて押し出した成形体を連続生産し、例えば外周を切削加工した後に、焼結したものであるが、押出成形の行程で、成形体の表面で押出方向、すなわちX軸方向に直線状の欠陥による配向が生じることがある。例えば押出時の温度が低すぎて原料が金型に固着して発生する直線状の欠陥や、原料と押出加工材との摩擦による直線状の欠陥や、押出速度が高すぎた場合、押出加工材とダイスやダイス表面のメタルとの間のせん断力によって生じる直線状の欠陥による配向が成形体の表面に生じる場合がある。 This ceramic sintered body is produced by continuously producing a molded body obtained by extruding a raw material through a die, for example, by cutting the outer periphery and then sintering, in the extrusion process, in the extrusion direction on the surface of the molded body, That is, alignment due to a linear defect may occur in the X-axis direction. For example, if the temperature at the time of extrusion is too low and the raw material sticks to the mold, the linear defect, the linear defect due to friction between the raw material and the extruded material, or the extrusion speed is too high, the extrusion process Orientation due to linear defects caused by shearing force between the material and the die or metal on the die surface may occur on the surface of the molded body.
成形体の表面に生じた直線状の欠陥は、検査行程により不良品として扱うこともできるが、不良品として扱われる成形体の中には、焼結行程において、隣合う原料粒子が除々に接着し、粒子間のすき間が小さくなり成形体が全体的に収縮するので、小さな直線状の欠陥が消滅する場合もある。 The linear defects generated on the surface of the molded product can be handled as defective products by the inspection process, but the adjacent raw material particles gradually adhere to the molded product treated as defective products during the sintering process. In addition, since the gap between the particles becomes small and the molded body shrinks as a whole, small linear defects may disappear.
本実施形態では、焼結行程で成形体の直線状の欠陥を消滅または収縮させたセラミックス焼結体の欠陥検査を実施することで、セラミックス焼結体の歩留まりを向上させ、セラミックス焼結体の表面上に、押出方向に連続する直線状の欠陥2a、2bを精度よく検出し、セラミックス焼結体の良否判定を実行することができる。
In the present embodiment, the yield of the ceramic sintered body is improved by performing defect inspection of the ceramic sintered body in which the linear defects of the formed body are eliminated or shrunk in the sintering process. On the surface, the
検査対象物2は、例えば背景となる基台に搬送され、基台の垂直面に対して照明角度20°の位置から集光レンズ付き棒状照明装置(図示略)により光が照射され、基台の垂直面に対してカメラ角度10°の位置から撮像装置3により背景と検査対象物2とを含む撮像画像として撮像される。これにより、検査対象物2における外周境界と表面上の直線状の欠陥2a、2bの境界とを形成する陰影を欠陥検査装置1に取得させることができる。
The
中央処理装置6は、読み出し専用メモリ7から読み出した検査処理プログラムを、メインメモリ8における検査処理プログラム領域8dへ一時的に記憶し、この検査処理プログラムを実行することにより、バス12を制御し、微分演算手段と、強度演算手段と、特徴量演算手段と、判定手段とを含む演算機能を実現し、撮像画像の取り込み、画素情報の演算結果を出力することができる。
The
中央処理装置6は、微分演算手段として、画像メモリ5に記憶する撮像画像における各画素の微分絶対値および微分方向値を算出する。例えば図3に示す画素A〜Yの画素情報に記憶された0〜255階調の各画素の濃度に基づき、図3に示すX方向微分フィルタおよびY方向微分フィルタを用いて微分演算を実行する。
The
本実施形態では、5×5のプリューウィットフィルタ(Prewitt filter)を用いた微分演算を例示するが、他にソーベルフィルタ(Sobel filter)を用いる微分演算を実現してもよく、フィルターサイズは、欠陥サイズや解像度に適合した3×3や7×7などの任意のサイズに変更してもよい。 In the present embodiment, a differential operation using a 5 × 5 Prewitt filter is exemplified, but other differential operations using a Sobel filter may be realized, and the filter size is You may change to arbitrary sizes, such as 3x3 and 7x7 which adapted to defect size and resolution.
中央処理装置6は、微分演算手段として、画像メモリ5から画素情報を読み出し、画素情報の中から画素Mを着目画素とし、画素Mを包囲する画素A〜L、N〜Yの濃度値と各微分フィルタの係数との積を求め、求めた積の総和を、画素(x、y)ごとに式1および式2を用いて、水平方向の濃度変化h(x、y)および垂直方向の濃度変化v(x、y)を算出する。
h(x、y)=−(A+F+K+P+U)+(E+J+O+T+Y)… 式1
v(x、y)=−(A+B+C+D+E)+(U+V+W+X+Y)… 式2
The
h (x, y) = − (A + F + K + P + U) + (E + J + O + T + Y)
v (x, y) = − (A + B + C + D + E) + (U + V + W + X + Y)
中央処理装置6は、微分演算手段として、水平方向の濃度変化h(x、y)および垂直方向の濃度変化v(x、y)に基づき、注目画素Mの近傍領域における濃度変化を表わす微分絶対値gと、画素Mの近傍領域における濃度値の最大変化の方向を表わす微分方向値aとを、式3および式4を用いて算出し、各画素の微分絶対値gと微分方向値aとをメインメモリ8における微分値領域8aに記憶する。なお、微分絶対値gは、画素Mの近傍領域における濃度値の変化率を表わし、撮像画像の画素の濃度変化が大きい部位ほど大きくなる。
g(x、y)={h(x、y)2+v(x、y)2}1/2… 式3
a(x、y)=tan-1{v(x、y)/h(x、y)}… 式4
The
g (x, y) = {h (x, y) 2 + v (x, y) 2 } 1/2 Equation 3
a (x, y) = tan −1 {v (x, y) / h (x, y)}
図4は、図2に示す検査対象物2における表面上の直線状の欠陥2bが通過する矩形領域2c内に配置された各画素の濃度値を、3次元的に示した斜視図である。図4に示す水平方向のX軸と垂直方向のY軸との交点にそれぞれ配置された画素の濃度を、例えば256階調でZ軸に示している。A〜Dの四隅に囲まれた矩形領域2cの中央部には、押出方向に配向する直線状の欠陥2bの濃度が示され、谷底部の画素濃度が両縁部の濃度より低く、かつ谷底部と両縁部との間の傾斜部の濃度変化が、図中の矢印で示すように、X軸方向の濃度変化に比して谷底部側から両縁部側に向かってY軸方向に強く出力されている。
FIG. 4 is a perspective view that three-dimensionally shows the density value of each pixel arranged in the
中央処理装置6は、強度演算手段として、微分値領域8aから微分方向値aを読み出し、微分方向値aと垂直方向とのずれ量に基づいて、画素の重み付け値wを算出する。例えば、微分方向値aがY軸方向の垂線を基準に30°(π/6)未満の角度の場合、重み付け値wを絶対値1以下の範囲に設定することにより、直線状の欠陥2a、2bの押出方向に現れる両縁部の境界を強調させることができる。一方、微分方向値aがY軸方向の垂線を基準に30°(π/6)以上の角度の場合、重み付け値wを0に設定し、直線状の欠陥2a、2bの両縁部の接線方向に近い画素の強度をノイズ成分として除去することができる。
The
重み付け値wは、微分方向値aの角度が垂線を基準に30°(π/6)以上の場合、ノイズ成分を除去するように設定してもよく、垂線を基準に45°(π/4)以上の角度の場合、ノイズ成分を除去するように設定してもよい。つまり、検査対象物2の押出方向に現れる直線状の欠陥2a、2bの両縁部の境界が強調可能な角度を用いればよい。
The weighting value w may be set so as to remove the noise component when the angle of the differential direction value a is 30 ° (π / 6) or more with respect to the perpendicular, and 45 ° (π / 4 with respect to the perpendicular). ) In the case of the above angles, the noise component may be set to be removed. That is, an angle that can emphasize the boundary between both edge portions of the
中央処理装置6は、強度演算手段として、各画素の微分絶対値gと重み付け値wとの積{w×g(x、y)}を求め、求めた積を各画素の直線状の欠陥2a、2bの強度値としてメインメモリ8における強度値領域8bに記憶する。
The
中央処理装置6は、特徴量演算手段として、強度値領域8bから直線状の欠陥2a、2bの長手方向(水平方向)に配置された各画素の直線状の欠陥2a、2bの強度値を読み出し、この強度値の総和を直線状の欠陥2a、2bの長手方向に配置された画素数Nで除算した強度値の特徴量Fを次に示す式5により算出し、強度値の特徴量Fをメインメモリ8における特徴量領域8cに記憶する。
F=(1/N)×Σ{w×g(x、y)}… 式5
The
F = (1 / N) × Σ {w × g (x, y)}
中央処理装置6は、判定手段として、特徴量演算手段が算出し特徴量領域8cに記憶させた特徴量Fのいずれか1つが所定の閾値以上である場合、検査対象物2が直線状の欠陥2a、2bを有する不良品であると判定し、モニタ9に不良品の報知情報を表示させ、特徴量領域8cに記憶させた特徴量Fがすべて閾値未満である場合、検査対象物2が良品であると判定し、モニタ9に良品の報知情報を表示させる。
When any one of the feature values F calculated by the feature value calculation means and stored in the
図5を参照して、本実施形態の欠陥検査装置1を用いた欠陥検査方法を説明する。本実施形態の欠陥検査装置1は、撮像装置3が撮像した検査対象物2の撮像画像を画像メモリ5に記憶し、画像メモリ5のアドレスカウンタを初期値に設定している。
With reference to FIG. 5, the defect inspection method using the
中央処理装置6は、微分演算ステップS1を実行し、画像メモリ5のアドレスカウンタを増減させ、画像メモリ5に記憶した撮像画像の各画素の濃度に基づく微分演算を行い、画素間の濃度変化の強さを表わす微分絶対値および濃度変化の方向を表す微分方向値を各画素に対して算出し、算出された微分絶対値および微分方向値を微分値領域8aに記憶する。
The
中央処理装置6は、全画素の微分演算が完了したか否かを微分演算完了ステップS2で判定し、全画素の微分演算が完了するまで微分演算ステップS1を繰り返す。微分演算完了ステップS2の判定条件は、画像メモリ5に記憶された撮像画像の画素のすべてを走査して微分演算を完了させてもよく、撮像画像内の検査対象物2に相当する画素のみ微分演算を完了させてもよく、好ましくは、検査対象物2に相当する画素の外周部をマスクし、このマスクに囲まれた領域の画素のみ微分演算を完了させてもよい。判定条件を満たした場合、処理を強度演算ステップS3へ分岐させる。
検査対象物2は、例えばマスクに囲まれた領域に導電層が形成される場合、検査対象物2の外周部に直線状の欠陥が存在しても機械的および電気的な不良が生じないため、微分演算する画素範囲を絞り込むことができる。
The
For example, when a conductive layer is formed in a region surrounded by a mask, the
中央処理装置6は、強度演算ステップS3を実行し、微分値領域8aから微分方向値を読み出し、微分方向値に基づいて重み付け値を設定または算出し、設定または算出した重み付け値と微分値領域8aから読み出した微分絶対値との積を求め、求めた積を直線状の欠陥2a、2bの強度値としてメインメモリ8における強度値領域8bに記憶する。
The
中央処理装置6は、全画素の強度演算が完了したか否かを強度演算完了ステップS4で判定し、全直線状の欠陥の強度演算が完了するまで強度演算ステップS3を繰り返す。強度演算完了ステップS4の判定条件は、メインメモリ8における強度値領域8bに記憶された画素の直線状の欠陥の強度値の演算がすべて完了した場合であり、判定条件を満たした場合、処理をノードN1を経由して特徴量演算ステップS5へ分岐させる。
The
中央処理装置6は、特徴量演算ステップS5を実行し、撮像画像の画素の直線状の欠陥2a、2bの長手方向(水平方向)に対応させて検査領域を設定し、強度値領域8bから検査領域に配置された各画素の直線状の欠陥2a、2bの強度値を読み出し、この強度値の総和を検査領域に配置された画素数Nで除算した強度値の特徴量Fを算出し、強度値の特徴量Fをメインメモリ8における特徴量領域8cに記憶する。例えば、中央処理装置6が指定する検査領域を、撮像画像の最上段ラインから下方に移動させながら最下段ラインまで、それぞれ特徴量Fを算出し、特徴量領域8cに記憶するように処理することができる。
The
ここで検査領域は、撮像画像の画素の直線状の欠陥2a、2bの長手方向(水平方向)に対応させて直線状に並ぶ各画素を、1段または相互に隣接する複数段に設定してもよく、直線状の欠陥2a、2bの幅手方向(垂直方向)に所定の間隔を隔てて平行に配置された複数の画素の段を1つの検査領域として設定してもよい。要は、1画素の幅を有する直線状の検査領域でも、複数画素の幅を有するブロック状の検査領域でも、すだれ状の検査領域でも、直線状の欠陥2a、2bの特徴量Fを取得することができる。
Here, the inspection area is set so that each pixel arranged in a straight line corresponding to the longitudinal direction (horizontal direction) of the
上述した検査領域は、押出方向が水平に撮影された検査対象物2に基づいて、直線状の欠陥2a、2bを検査するように設定したが、本発明は、押出方向が水平に撮像された検査対象物2に限定されず、例えば、検査対象物2が傾き、撮像装置3により押出方向が斜めに傾斜した検査対象物2を撮影する場合、中央処理装置6が画像メモリ5の中に記憶する原画像の傾斜を、水平方向に補正する角度補正処理を実行し検査領域内における直線状の欠陥2a、2bを検査することもできる。この場合、検査対象物2の上縁または下縁を水平の基準線として検査領域を設定してもよく、画像メモリ5に記憶する直線状の欠陥2a、2bのエッジを水平の基準線として検査領域を設定することもできる。要は、中央処理装置6が画像メモリ5に記憶する傾斜した原画像を、水平方向に回転させ補正画像の各画素に基づいて、直線状の欠陥2a、2bを検出することができる。
The above-described inspection area is set to inspect the
中央処理装置6は、全検査領域の特徴量演算が完了したか否かを検査領域完了ステップS6で判定し、全検査領域の特徴量演算が完了するまで特徴量演算ステップS5を繰り返す。検査領域完了ステップS6の判定条件は、メインメモリ8における特徴量領域8cに記憶された検査領域の特徴量Fの演算がすべて完了した場合であり、判定条件を満たした場合、処理を良否判定ステップS7へ分岐させる。
The
中央処理装置6は、良否判定ステップS7を実行し、特徴量領域8cに記憶する特徴量Fのいずれか1つが所定の閾値以上である場合、検査対象物2が直線状の欠陥2a、2bを有する不良品であると判定し、処理を報知処理ステップS8へ分岐させ、モニタ9に不良品の報知情報を表示させる。一方、特徴量領域8cに記憶させた特徴量Fがすべて閾値未満である場合、検査対象物2が良品であると判定し、モニタ9に良品の報知情報を表示させてもよく、モニタ9に報知情報を送信せずにノードN2を介して処理を終了させることもできる。良否の判定条件は、例えば検査領域に導電層が形成される場合、導電層が直線状の欠陥2a、2bと検査対象物2の表面との段差により断線するか否かにより閾値を決定する。例えば、直線状の欠陥の深さが1μm以上を示す特徴量Fを用いることが好ましい。
The
本実施形態では、撮像画像の画素の直線状の欠陥2a、2bの長手方向(水平方向)に対応させて検査領域を設定し、全検査領域の特徴量Fを算出した後、良否判定を実行するように制御しているが、本発明は、全検査領域の特徴量Fを算出する態様に限定されず、図6に示すようなステップバイステップ処理を遂行することもできる。
In the present embodiment, the inspection area is set in correspondence with the longitudinal direction (horizontal direction) of the
図6を参照して、本実施態様の検査装置に用いられるステップバイステップ処理を説明する。この処理は、図5のノードN1とノードN2との間の処理シーケンスが直線状の欠陥2a、2bにおける特徴量演算ステップS5毎に良否判定する点が相違する。
With reference to FIG. 6, the step-by-step process used for the inspection apparatus of this embodiment is demonstrated. This process is different in that pass / fail is determined for each feature amount calculation step S5 in the
中央処理装置6は、不良品判定ステップS9を実行し、特徴量演算ステップS5で算出された特徴量Fが、所定の閾値以上である場合、検査対象物2が直線状の欠陥2aまたは2bを有する不良品であると判定し、処理を報知処理ステップS8へ分岐させ、モニタ9に不良品の報知情報を表示させる。一方、特徴量演算ステップS5で算出された特徴量Fが閾値未満である場合、処理を検査領域完了ステップS6に分岐させる。
The
これにより、中央処理装置6は、直線状の欠陥2aまたは2bが検出された段階で、検査対象物2を不良品であると判定し、次の検査対象物2の検査処理を遂行することができる。
Thereby, the
中央処理装置6は、全検査領域の特徴量演算が完了したか否かを検査領域完了ステップS6で判定し、全検査領域の特徴量演算が完了するまで特徴量演算ステップS5を繰り返す。この場合、検査領域移動ステップS10を介して検査領域を、撮像画像の下方または上方に移動させ、新たな検査領域の特徴量Fを、特徴量演算ステップS5で演算させることができる。検査領域完了ステップS6の判定条件は、メインメモリ8における特徴量領域8cに記憶された検査領域の特徴量Fの演算がすべて完了した場合であり、判定条件を満たした場合、処理をノードN2に分岐させ終了させることができる。
The
図7は、本実施形態の欠陥検査装置1が出力するヒストグラムを示す図である。
図中では、縦軸に特徴量演算ステップS5により得られた特徴量Fを表し、横軸に特徴量演算ステップS5が取得する画素群の水平ライン番号を表している。
FIG. 7 is a diagram showing a histogram output from the
In the drawing, the vertical axis represents the feature quantity F obtained by the feature quantity calculation step S5, and the horizontal axis represents the horizontal line number of the pixel group acquired by the feature quantity calculation step S5.
中央処理装置6は、統計解析処理を実行し、特徴量領域8cに記憶する強度値の特徴量データの分布状況を視覚的に認識するヒストグラム情報を生成し、デジタル−アナログ変換部10を介して、モニタ9に出力する。
The
モニタ9には、左端部から右端部に亘り、検査対象物2の上縁部より下方に設定した出発水平ラインから、検査対象物2の下縁部より上方に設定した終了水平ラインまで、それぞれライン番号が割り振られ、両端部の間に2つのピーク点が出力しているヒストグラムを表示させている。このピーク点は、検査対象物2の表面上に生じている直線状の欠陥2aおよび2bを視覚的に表しているものである。
From the left end to the right end, the
各ピーク点の両側には、特徴量Fとその変化とが共に小さいフラット領域が出力されている。このフラット領域では、検査対象物2の表面が滑らかであり直線状の欠陥が存在しない領域、直線状の欠陥ほど顕在化されない汚れなどが含まれている。
On both sides of each peak point, a flat region in which the feature amount F and its change are both small is output. This flat region includes a region where the surface of the
中央処理装置6は、ピーク点の最大値とフラット領域との間に設定された閾値を、例えばピーク点の最大値とフラット領域との中間値またはピーク点波形の実効値のいずれかに設定し、検査対象物2の良否判定を実現することができる。
The
図8は、図1に示す画像メモリ5に記憶された撮像画像のヒストグラムを示す図である。
図中では、縦軸に画素の濃度値を水平方向に平均した濃度平均値を表し、横軸に図7と同様の画素群の水平ライン番号を表している。
FIG. 8 is a diagram showing a histogram of the captured image stored in the
In the figure, the vertical axis represents the density average value obtained by averaging the pixel density values in the horizontal direction, and the horizontal axis represents the horizontal line number of the pixel group similar to FIG.
中央処理装置6は、統計解析処理を実行し、画像メモリ5に記憶する撮像画像の画素の強度値を、水平ライン毎に平均した特徴量Fデータの分布状況を視覚的に認識するヒストグラム情報を生成し、デジタル−アナログ変換部10を介して、モニタ9に出力する。
The
モニタ9には、左端部から右端部に亘り、検査対象物2の上縁部より下方に設定した出発水平ラインから、検査対象物2の下縁部より上方に設定した終了水平ラインまで、それぞれライン番号が割り振られ、特徴量Fの絶対値とその変化とが共に小さいフラット領域が連続して出力されているヒストグラムを表示させている。上述した図8のように、検査対象物2の表面上に生じている直線状の欠陥2aおよび2bに対応するライン番号には、ピーク点がフラット領域に埋もれてしまい視覚的に判断することが困難であり、中央処理装置6も同様に、撮像画像の画素の強度を、水平方向に平均した値から直線状の欠陥2a、2bを識別することが困難である。
From the left end to the right end, the
上述のように、本実施形態では、中央処理装置6が撮像画像の画素の濃度変化に基づく微分演算を実行し、微分演算結果を重み付けした強度値を算出し、算出した強度値を用いて水平方向に平均した特徴量Fを算出しているので、検査対象物2の表面上に現れる直線状の欠陥2a、2bと汚れとを区別し、検査対象物2の良否判定を精度よく判定することができる。
As described above, in the present embodiment, the
1 欠陥検査装置
2 検査対象物
2a直線状の欠陥
2b直線状の欠陥
2c検査領域
3 撮像装置(カメラ)
4 アナログ−デジタル変換部
5 画像メモリ
6 中央処理装置(CPU)
7 読み出し専用メモリ(ROM)
8 メインメモリ
8a微分値領域
8b強度値領域
8c特徴量値領域
8d検査処理プログラム領域
9 モニタ
10 デジタル−アナログ変換部
11 操作部
12 バス
DESCRIPTION OF
4 Analog-
7 Read-only memory (ROM)
8
Claims (6)
前記画像メモリに記憶した撮像画像の各画素の濃度に基づく微分演算を行い画素間の濃度変化の強さを表わす微分絶対値および濃度変化の方向を表す微分方向値を各画素に対して算出する微分演算ステップと、
前記微分演算ステップで算出された各画素の前記微分絶対値に、各画素の前記微分方向値に対応する重み付け値を乗じて、ノイズ成分の除去または前記直線状の欠陥の境界を強調する強度値をそれぞれ算出する強度演算ステップと、
前記直線状の欠陥の長手方向に連続し、幅手方向に並設する複数の検査領域を、前記撮像画像に設定し、該検査領域に配置された各画素の前記強度値を合算した積算値を、前記検査領域に配置された画素数で除算し、前記検査領域における強度値の特徴量を、前記検査領域ごとに算出する特徴量演算ステップと、
前記特徴量演算ステップで算出された複数の特徴量のいずれか1つが所定の閾値以上である場合、前記検査対象物が直線状の欠陥を有する不良品であると判定する判定ステップと
を含むことを特徴とする欠陥検査方法。 A defect inspection method for storing a captured image obtained by imaging an inspection object in an image memory and detecting a linear defect generated on the surface of the inspection object,
A differential operation based on the density of each pixel of the captured image stored in the image memory is performed, and a differential absolute value indicating the intensity of density change between pixels and a differential direction value indicating the direction of density change are calculated for each pixel. Differential operation step;
Intensity value that removes noise components or emphasizes the boundary of the linear defect by multiplying the differential absolute value of each pixel calculated in the differential operation step by a weighting value corresponding to the differential direction value of each pixel. Intensity calculation steps for calculating
A plurality of inspection areas that are continuous in the longitudinal direction of the linear defect and are arranged in parallel in the width direction are set in the captured image, and an integrated value obtained by adding the intensity values of the pixels arranged in the inspection area Is divided by the number of pixels arranged in the inspection region, and a feature amount calculation step of calculating the feature amount of the intensity value in the inspection region for each inspection region;
A determination step of determining that the inspection object is a defective product having a linear defect when any one of the plurality of feature amounts calculated in the feature amount calculation step is a predetermined threshold value or more. Defect inspection method characterized by
前記画像メモリに記憶した撮像画像の各画素の濃度に基づく微分演算を行い画素間の濃度変化の強さを表わす微分絶対値および濃度変化の方向を表す微分方向値を各画素に対して算出する微分演算手段と、
前記微分演算手段で算出された各画素の前記微分絶対値に、各画素の前記微分方向値に対応する重み付け値を乗じて、ノイズ成分の除去または前記直線状の欠陥の境界を強調する強度値をそれぞれ算出する強度演算手段と、
前記直線状の欠陥の長手方向に連続し、幅手方向に並設する複数の検査領域を、前記撮像画像に設定し、該検査領域に配置された各画素の前記強度値を合算した積算値を、前記検査領域に配置された画素数で除算し、前記検査領域における強度値の特徴量を、前記検査領域ごとに算出する特徴量演算手段と、
前記特徴量演算手段で算出された複数の特徴量のいずれか1つが所定の閾値以上である場合、前記検査対象物が直線状の欠陥を有する不良品であると判定する判定手段と
を備えることを特徴とする欠陥検査装置。 A defect inspection apparatus for storing a captured image obtained by imaging an inspection object in an image memory and detecting a linear defect generated on the surface of the inspection object,
A differential operation based on the density of each pixel of the captured image stored in the image memory is performed, and a differential absolute value indicating the intensity of density change between pixels and a differential direction value indicating the direction of density change are calculated for each pixel. Differential operation means;
Intensity value that removes noise components or emphasizes the boundary of the linear defect by multiplying the differential absolute value of each pixel calculated by the differential operation means by a weighting value corresponding to the differential direction value of each pixel. Intensity calculating means for calculating
A plurality of inspection areas that are continuous in the longitudinal direction of the linear defect and are arranged in parallel in the width direction are set in the captured image, and an integrated value obtained by adding the intensity values of the pixels arranged in the inspection area Is divided by the number of pixels arranged in the inspection region, and feature amount calculation means for calculating the feature amount of the intensity value in the inspection region for each inspection region;
A determination unit that determines that the inspection target is a defective product having a linear defect when any one of the plurality of feature amounts calculated by the feature amount calculation unit is equal to or greater than a predetermined threshold value; Defect inspection device characterized by.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011147131A JP5806866B2 (en) | 2011-07-01 | 2011-07-01 | Defect inspection method and defect inspection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011147131A JP5806866B2 (en) | 2011-07-01 | 2011-07-01 | Defect inspection method and defect inspection apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013015359A true JP2013015359A (en) | 2013-01-24 |
JP5806866B2 JP5806866B2 (en) | 2015-11-10 |
Family
ID=47688174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011147131A Active JP5806866B2 (en) | 2011-07-01 | 2011-07-01 | Defect inspection method and defect inspection apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5806866B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04350546A (en) * | 1991-05-28 | 1992-12-04 | Matsushita Electric Works Ltd | Detection of foreign matter |
JPH08101916A (en) * | 1994-09-30 | 1996-04-16 | Omron Corp | Defect inspection method and device therefor |
JP2000132684A (en) * | 1998-10-23 | 2000-05-12 | Matsushita Electric Works Ltd | External appearance inspecting method |
JP2000221111A (en) * | 1999-02-02 | 2000-08-11 | Matsushita Electric Ind Co Ltd | Method and equipment for inspecting display screen |
JP2007147407A (en) * | 2005-11-25 | 2007-06-14 | Matsushita Electric Works Ltd | Visual examination method |
US20080008375A1 (en) * | 2006-07-06 | 2008-01-10 | Petersen Russell H | Method for inspecting surface texture direction of workpieces |
-
2011
- 2011-07-01 JP JP2011147131A patent/JP5806866B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04350546A (en) * | 1991-05-28 | 1992-12-04 | Matsushita Electric Works Ltd | Detection of foreign matter |
JPH08101916A (en) * | 1994-09-30 | 1996-04-16 | Omron Corp | Defect inspection method and device therefor |
JP2000132684A (en) * | 1998-10-23 | 2000-05-12 | Matsushita Electric Works Ltd | External appearance inspecting method |
JP2000221111A (en) * | 1999-02-02 | 2000-08-11 | Matsushita Electric Ind Co Ltd | Method and equipment for inspecting display screen |
JP2007147407A (en) * | 2005-11-25 | 2007-06-14 | Matsushita Electric Works Ltd | Visual examination method |
US20080008375A1 (en) * | 2006-07-06 | 2008-01-10 | Petersen Russell H | Method for inspecting surface texture direction of workpieces |
Also Published As
Publication number | Publication date |
---|---|
JP5806866B2 (en) | 2015-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109059770B (en) | Wrapping volume measuring method based on TOF depth camera | |
CN109584215A (en) | A kind of online vision detection system of circuit board | |
Fan et al. | Development of auto defect classification system on porosity powder metallurgy products | |
JP5705711B2 (en) | Crack detection method | |
JPH03160349A (en) | Device for detecting crack | |
JP5520005B2 (en) | Wood defect detection apparatus and method | |
JP2005121546A (en) | Defect inspection method | |
JP2017062181A (en) | Surface flaw checkup apparatus, and surface flaw checkup method | |
JP2009010890A (en) | Image pickup device and method | |
JP2009139133A (en) | Flaw detection method and flaw detector | |
JP4823996B2 (en) | Outline detection method and outline detection apparatus | |
JP6624911B2 (en) | Measuring device, measuring method and article manufacturing method | |
JP5806866B2 (en) | Defect inspection method and defect inspection apparatus | |
JP2012088199A (en) | Method and apparatus for inspecting foreign matter | |
JP5452035B2 (en) | Defect inspection method and defect inspection apparatus | |
JP5346304B2 (en) | Appearance inspection apparatus, appearance inspection system, and appearance inspection method | |
JP7003786B2 (en) | Particle size measuring device and particle size measuring method | |
JP2008185510A (en) | Crack detection method | |
KR101581260B1 (en) | A micro-crack detection method using dynamic programming | |
JP2008014907A (en) | Surface evaluation device and painting sample | |
JP2009145161A (en) | Method and apparatus for detecting defect | |
JPH0735699A (en) | Method and apparatus for detecting surface defect | |
JP2005128635A (en) | Image processing apparatus | |
Attygalla et al. | An Electronic Eye to Improve Efficiency of Cut Tile Measuring Function | |
JP2004125629A (en) | Defect detection apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5806866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |