JP2018048968A - Inspection device and inspection method - Google Patents
Inspection device and inspection method Download PDFInfo
- Publication number
- JP2018048968A JP2018048968A JP2016185788A JP2016185788A JP2018048968A JP 2018048968 A JP2018048968 A JP 2018048968A JP 2016185788 A JP2016185788 A JP 2016185788A JP 2016185788 A JP2016185788 A JP 2016185788A JP 2018048968 A JP2018048968 A JP 2018048968A
- Authority
- JP
- Japan
- Prior art keywords
- image
- alignment
- reference image
- unit
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、検査装置および検査方法に関する。 The present invention relates to an inspection apparatus and an inspection method.
従来、立体的な対象物に光を照射して撮像し、撮像画像に基づいて対象物の外観を検査する装置が利用されている。例えば、特許文献1では、円形状製品を検査するための検査方法が開示されている。当該方法では、回転治具にて円形状製品を回転させながら撮像手段を用いて当該円形状製品の検査画像が帯状に展開取得され、帯状に展開したマスター画像に、検査基準位置をパターンマッチング処理により基準合わせした後、検査画像とマスター画像とが照合される。
2. Description of the Related Art Conventionally, there has been used an apparatus that irradiates a three-dimensional object with light and picks up an image and inspects the appearance of the object based on the picked-up image. For example,
なお、非特許文献1では、2つの画像におけるオプティカルフローを求める手法が開示されている。当該手法では、輝度不変の仮定、輝度勾配不変の仮定、および、平滑性の仮定からの逸脱にペナルティーを与えるエネルギー関数が用いられ、このエネルギーを最小化するベクトルが、粗密ワーピング(coarse-to-fine warping)を利用して求められる。
Note that Non-Patent
ところで、撮像部によりステージ上の対象物を撮像する際に、対象物の向きが、予め定められた向きからずれると、撮像部からの対象物の見え方が変化する。この場合に、撮像部により取得される対象画像と、所定の参照画像とを比較すると、対象画像において、参照画像には現れない部分が出現しているため、当該部分が、欠陥ではないにもかかわらず、欠陥として検出されてしまう(いわゆる、偽欠陥の検出)。 By the way, when the object on the stage is imaged by the imaging unit, if the direction of the object deviates from a predetermined direction, the appearance of the object from the imaging unit changes. In this case, when the target image acquired by the imaging unit is compared with the predetermined reference image, a portion that does not appear in the reference image appears in the target image, so that the portion is not a defect. Regardless, it is detected as a defect (so-called false defect detection).
一方、参照画像と対象画像との間で画素のオプティカルフローを求めることにより参照画像を対象画像に対して位置合わせする場合、上記部分に似せるように参照画像の一部が歪められるため、偽欠陥の検出は抑制される。しかしながら、画素単位での位置合わせでは、参照画像が対象画像に対して過度に似せられることがあり、対象物において寸法が設計値と大きく異なる部分等の欠陥が検出されなくなる。 On the other hand, when the reference image is aligned with the target image by obtaining the optical flow of the pixel between the reference image and the target image, a part of the reference image is distorted so as to resemble the above-mentioned part, so that a false defect Detection is suppressed. However, in the alignment in units of pixels, the reference image may be made to resemble the target image excessively, and a defect such as a portion having a dimension greatly different from the design value in the target object is not detected.
本発明は上記課題に鑑みなされたものであり、対象画像と参照画像との位置合わせを適切に行って、好ましい検査を行うことを目的としている。 The present invention has been made in view of the above problems, and an object of the present invention is to appropriately perform alignment between a target image and a reference image and perform a preferable inspection.
請求項1に記載の発明は、検査装置であって、対象物を撮像した対象画像を記憶する対象画像記憶部と、参照画像を記憶する参照画像記憶部と、前記対象画像と前記参照画像との位置合わせを行う位置合わせ部と、位置合わせ後の両画像を比較することにより、前記対象画像中の欠陥領域を検出する比較部とを備え、前記位置合わせ部が、前記対象画像および前記参照画像の一方の画像の第1設定領域に含まれる複数の領域を、他方の画像に対して個別に位置合わせする第1位置合わせ処理部と、前記一方の画像の第2設定領域に含まれ、かつ、前記複数の領域のいずれよりも大きい領域を前記他方の画像に対して位置合わせする第2位置合わせ処理部とを備える。
The invention according to
請求項2に記載の発明は、請求項1に記載の検査装置であって、前記比較部が、前記位置合わせ後の両画像の一方を他方に対して上下左右にずらした複数の相対位置関係において、前記両画像から複数の差分画像を求め、前記複数の差分画像に基づいて前記欠陥領域を検出する。 A second aspect of the present invention is the inspection apparatus according to the first aspect, wherein the comparison unit has a plurality of relative positional relationships in which one of the images after the alignment is shifted vertically and horizontally with respect to the other. In step (b), a plurality of difference images are obtained from the two images, and the defect area is detected based on the plurality of difference images.
請求項3に記載の発明は、請求項1または2に記載の検査装置であって、前記第2位置合わせ処理部が、アフィン変換を用いて前記第2設定領域における前記他方の画像に対する位置合わせを行う。 A third aspect of the present invention is the inspection apparatus according to the first or second aspect, wherein the second alignment processing unit aligns the other image in the second setting area using affine transformation. I do.
請求項4に記載の発明は、請求項3に記載の検査装置であって、前記第2位置合わせ処理部が、アフィン変換を用いて前記一方の画像の全体の処理済み画像を取得し、前記第1位置合わせ処理部による位置合わせ後の前記第1設定領域が、前記処理済み画像に合成される。
The invention according to
請求項5に記載の発明は、請求項1ないし4のいずれかに記載の検査装置であって、前記第1位置合わせ処理部が、前記第1設定領域における各画素の前記他方の画像に対するオプティカルフローを求めることにより、位置合わせを行う。 A fifth aspect of the present invention is the inspection apparatus according to any one of the first to fourth aspects, wherein the first alignment processing unit is optical for the other image of each pixel in the first setting area. Alignment is performed by obtaining the flow.
請求項6に記載の発明は、検査方法であって、a)対象物を撮像した対象画像を準備する工程と、b)前記対象画像と参照画像との位置合わせを行う工程と、c)位置合わせ後の両画像を比較することにより、前記対象画像中の欠陥領域を検出する工程とを備え、前記b)工程が、b1)前記対象画像および前記参照画像の一方の画像の第1設定領域に含まれる複数の領域を、他方の画像に対して個別に位置合わせする工程と、b2)前記一方の画像の第2設定領域に含まれ、かつ、前記複数の領域のいずれよりも大きい領域を前記他方の画像に対して位置合わせする工程とを備える。 Invention of Claim 6 is an inspection method, Comprising: a) The process of preparing the target image which imaged the target object, b) The process of aligning the said target image and a reference image, c) Position A step of detecting a defective area in the target image by comparing the two images after alignment, wherein the step b) includes a first setting area of one of the target image and the reference image. A step of individually aligning the plurality of regions included in the other image, and b2) a region included in the second setting region of the one image and larger than any of the plurality of regions. Aligning with the other image.
請求項7に記載の発明は、請求項6に記載の検査方法であって、前記c)工程において、前記位置合わせ後の両画像の一方を他方に対して上下左右にずらした複数の相対位置関係において、前記両画像から複数の差分画像が求められ、前記複数の差分画像に基づいて前記欠陥領域が検出される。 The invention according to claim 7 is the inspection method according to claim 6, wherein in the step c), a plurality of relative positions in which one of the images after the alignment is shifted vertically and horizontally with respect to the other. In relation, a plurality of difference images are obtained from the two images, and the defect area is detected based on the plurality of difference images.
請求項8に記載の発明は、請求項6または7に記載の検査方法であって、前記b2)工程において、アフィン変換を用いて前記第2設定領域における前記他方の画像に対する位置合わせが行われる。
The invention according to
請求項9に記載の発明は、請求項8に記載の検査方法であって、前記b2)工程において、アフィン変換を用いて前記一方の画像の全体の処理済み画像が取得され、前記b1)工程における位置合わせ後の前記第1設定領域が、前記処理済み画像に合成される。
The invention according to
請求項10に記載の発明は、請求項6ないし9のいずれかに記載の検査方法であって、前記b1)工程において、前記第1設定領域における各画素の前記他方の画像に対するオプティカルフローを求めることにより、位置合わせが行われる。 A tenth aspect of the present invention is the inspection method according to any one of the sixth to ninth aspects, wherein in the step b1), an optical flow for the other image of each pixel in the first setting area is obtained. Thus, alignment is performed.
本発明によれば、対象画像と参照画像との位置合わせを、第1および第2設定領域において個別に行うことにより、各設定領域に応じた位置合わせを適切に行って、好ましい検査を行うことができる。 According to the present invention, the target image and the reference image are individually aligned in the first and second setting areas, thereby appropriately performing the alignment according to each setting area and performing a preferable inspection. Can do.
図1は、本発明の一の実施の形態に係る検査装置1の構成を示す図である。図2は、検査装置1の本体11を示す平面図である。検査装置1は、表面に光沢を有する立体的な対象物9の外観を検査する装置である。対象物9は、例えば、鍛造や鋳造により形成された金属部品であり、その表面は微小な凹凸を有する梨地状である。対象物9は、例えば、自在継手に用いられる各種部品(円筒形のハブの軸や外輪、ヨーク等)である。
FIG. 1 is a diagram showing a configuration of an
図1に示すように、検査装置1は、本体11と、コンピュータ12とを備える。本体11は、ステージ2と、ステージ回動部21と、撮像ユニット3と、光源ユニット4とを備える。対象物9はステージ2上に載置される。ステージ回動部21は、上下方向を向く中心軸J1を中心として対象物9をステージ2と共に所定の角度だけ回動する。中心軸J1は、ステージ2の中央を通過する。本体11には、外部の光がステージ2上に到達することを防止する図示省略の遮光カバーが設けられ、ステージ2、撮像ユニット3および光源ユニット4は、遮光カバー内に設けられる。
As shown in FIG. 1, the
図1および図2に示すように、撮像ユニット3は、1個の上方撮像部31と、4個の斜方撮像部32と、4個の側方撮像部33とを備える。図2では、上方撮像部31の図示を省略している(後述の上方光源部41において同様)。上方撮像部31は、ステージ2の上方にて中心軸J1上に配置される。上方撮像部31によりステージ2上の対象物9を真上から撮像した画像が取得可能である。
As shown in FIGS. 1 and 2, the imaging unit 3 includes one
図2に示すように、上側から下方を向いて本体11を見た場合に(すなわち、本体11を平面視した場合に)、4個の斜方撮像部32はステージ2の周囲に配置される。4個の斜方撮像部32は、中心軸J1を中心とする周方向に90°の角度間隔(ピッチ)にて配列される。各斜方撮像部32の撮像光軸K2と中心軸J1とを含む面において(図1参照)、撮像光軸K2と中心軸J1とがなす角度θ2は、およそ45°である。各斜方撮像部32によりステージ2上の対象物9を斜め上から撮像した画像が取得可能である。
As shown in FIG. 2, when the
本体11を平面視した場合に、4個の側方撮像部33も、4個の斜方撮像部32と同様にステージ2の周囲に配置される。4個の側方撮像部33は、周方向に90°の角度間隔にて配列される。各側方撮像部33の撮像光軸K3と中心軸J1とを含む面において、撮像光軸K3と中心軸J1とがなす角度θ3は、およそ90°である。各側方撮像部33によりステージ2上の対象物9を横から撮像した画像が取得可能である。上方撮像部31、斜方撮像部32および側方撮像部33は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等を有し、多階調の画像が取得される。上方撮像部31、斜方撮像部32および側方撮像部33は、図示省略の支持部により支持される。
When the
光源ユニット4は、1個の上方光源部41と、8個の斜方光源部42と、8個の側方光源部43とを備える。上方光源部41は、中心軸J1を中心とするリング状に複数のLED(発光ダイオード)が配列された光源部である。リング状の上方光源部41は上方撮像部31の周囲を囲むように、上方撮像部31に固定される。上方光源部41によりステージ2上の対象物9に対して真上から中心軸J1に平行な方向に沿って光が照射可能である。
The
本体11を平面視した場合に、8個の斜方光源部42はステージ2の周囲に配置される。8個の斜方光源部42は、周方向に45°の角度間隔にて配列される。各斜方光源部42は、中心軸J1を中心とする円周の接線方向に伸びるバー状に複数のLEDが配列された光源部である。各斜方光源部42の出射面の中央と対象物9(の中心)とを結ぶ線を「照明軸」と呼ぶと、当該斜方光源部42の照明軸と中心軸J1とを含む面において、当該照明軸と中心軸J1とがなす角度は、およそ45°である。各斜方光源部42では、ステージ2上の対象物9に対して斜め上から当該照明軸に沿って光が照射可能である。検査装置1では、8個の斜方光源部42のうち4個の斜方光源部42は4個の斜方撮像部32にそれぞれ固定され、残りの4個の斜方光源部42は、図示省略の支持部により支持される。
When the
本体11を平面視した場合に、8個の側方光源部43はステージ2の周囲に配置される。8個の側方光源部43は、周方向に45°の角度間隔にて配列される。各側方光源部43は、中心軸J1を中心とする円周の接線方向に伸びるバー状に複数のLEDが配列された光源部である。斜方光源部42と同様に、各側方光源部43の出射面の中央と対象物9とを結ぶ線を「照明軸」と呼ぶと、当該側方光源部43の照明軸と中心軸J1とを含む面において、当該照明軸と中心軸J1とがなす角度は、およそ90°である。各側方光源部43では、ステージ2上の対象物9に対して横から当該照明軸に沿って光が照射可能である。検査装置1では、8個の側方光源部43のうち4個の側方光源部43は4個の側方撮像部33にそれぞれ固定され、残りの4個の側方光源部43は、図示省略の支持部により支持される。
When the
例えば、上方撮像部31および上方光源部41と対象物9との間の距離は、約55cm(センチメートル)である。また、斜方撮像部32および斜方光源部42と対象物9との間の距離は約50cmであり、側方撮像部33および側方光源部43と対象物9との間の距離は約40cmである。上方光源部41、斜方光源部42および側方光源部43では、LED以外の種類の光源が用いられてよい。
For example, the distance between the
図3は、コンピュータ12が実現する機能構成を示すブロック図である。コンピュータ12は、検査部5を備える。検査部5は、対象画像記憶部51と、参照画像記憶部52と、位置合わせ部53と、比較部54とを備える。対象画像記憶部51は、撮像ユニット3(の撮像部)により撮像された対象物9の画像(以下、「対象画像」という。)のデータを記憶する。参照画像記憶部52は、対象画像と同じ撮像部により取得された、欠陥が無い対象物9の画像(以下、「参照画像」という。)のデータを記憶する。位置合わせ部53は、対象画像と参照画像との位置合わせを行う。位置合わせ部53は、第1位置合わせ処理部531と、第2位置合わせ処理部532と、合成部533とを有する。比較部54は、位置合わせ後の両画像を比較することにより、対象画像中の欠陥領域を検出する。検査部5による処理の詳細については、後述する。コンピュータ12は、検査装置1の全体制御を行う制御部としての役割も担う。
FIG. 3 is a block diagram illustrating a functional configuration realized by the
図4は、検査装置1による対象物9の検査の処理の流れを示す図である。まず、ステージ2上に検査対象の対象物9が載置される(ステップS11)。ステージ2上には、例えば位置合わせ用の複数のピンが設けられており、対象物9の予め定められた部位を当該複数のピンに当接させることにより、ステージ2上の所定位置に対象物9が(理想的には)所定の向きにて配置される。続いて、操作者による入力等に基づいて、ステージ2上の対象物9に対する撮像設定情報が取得される(ステップS12)。ここで、撮像設定情報は、撮像ユニット3において使用する撮像部(以下、「選択撮像部」という。)と、当該選択撮像部による画像の取得の際に光源ユニット4において点灯する光源部(以下、「選択光源部」という。)とを示す。ここでは、選択撮像部として、一の斜方撮像部32が選択され、選択光源部として、選択撮像部の周囲の光源部が選択されているものとする。もちろん、他の撮像部および光源部が選択撮像部および選択光源部として選択されてもよい。撮像設定情報が取得されると、選択光源部および選択撮像部を利用して、図5に示す対象画像71(のデータ)が取得される(ステップS13)。
FIG. 4 is a diagram showing a flow of processing for inspecting the
対象画像71は、対象物9を示す多階調の画像であり、対象画像記憶部51に記憶されて準備される。図5では、対象画像71中の対象物9に対して同じ符号9を付している(後述の図6の参照画像8において同様)。対象物9は、板状のベース部901の中央に円柱部902が設けられた形状を有する。撮像時における対象物9は、予め定められた向きから円柱部902を中心として僅かな角度だけ回転した向きとなっている。その結果、対象画像71では、ベース部901において、本来は背後に隠れた部分(いわゆる、オクルージョン)である角部側面903が現れている。また、ベース部901のエッジに欠陥904が存在し、円柱部902の長さも設計値に対して短くなっている(後述の図6参照)。
The
一方、検査装置1では、光源部および撮像部の様々な組合せを利用して、欠陥が無い他の対象物9を撮像することにより、複数の参照画像(のデータ)が予め取得されている。参照画像は、欠陥が無い複数の対象物9を撮像した複数の画像から作成されてもよく、対象物9の設計データから作成されてもよい。検査部5では、対象画像71と同じ光源部および撮像部の組合せを利用して取得された参照画像が特定され、対象画像71と共に位置合わせ部53に出力される。
On the other hand, in the
図6は、対象画像71に対応する参照画像8を示す図である。第1位置合わせ処理部531および第2位置合わせ処理部532では、参照画像8と対象画像71との位置合わせが行われる。ここで、位置合わせ(レジストレーション)とは、対象画像71および参照画像の一方の画像において、対象物9の各部位を示す領域を、他方の画像における当該部位を示す位置へと移動する処理であり、位置合わせにより、両画像の差が低減される。
FIG. 6 is a diagram illustrating the
第1位置合わせ処理部531では、参照画像8の各画素の対象画像71に対するオプティカルフローが求められる。そして、オプティカルフローに基づいて、参照画像8が対象画像71に対して位置合わせされ、図7に示す位置合わせ後の参照画像81(以下、「第1処理済み参照画像81」という。)が取得される(ステップS14)。
The first
ここで、参照画像8と対象画像71との間のオプティカルフローの算出では、例えば、Thomas Broxらによる"High Accuracy Optical Flow Estimation Based on a Theory for Warping"(European Conference on Computer Vision, Springer LNCS 3024, May 2004, vol. 4, p. 25-36)(非特許文献1)に記載の手法が利用可能である。本手法では、輝度不変の仮定、輝度勾配不変の仮定、および、平滑性の仮定からの逸脱にペナルティーを与えるエネルギー関数が用いられ、このエネルギーを最小化するベクトルが、粗密ワーピング(coarse-to-fine warping)を利用して求められる。
Here, in the calculation of the optical flow between the
このように、第1位置合わせ処理部531による位置合わせ処理では、画素を単位とする微視的な位置合わせ(すなわち、他方の画像にて類似する部分を探索する際における単位領域を1つの画素とする位置合わせ)が行われる。その結果、参照画像8には現れていない対象画像71中の角部側面903が、輝度が比較的近い参照画像8中の周囲の画素の位置合わせにより、第1処理済み参照画像81においてある程度表現される。また、第1処理済み参照画像81では、円柱部902の長さも対象画像71における長さにある程度合わせられる。オプティカルフローの算出では、他の手法が用いられてもよい。
As described above, in the alignment processing by the first
また、第2位置合わせ処理部532では、アフィン変換を用いて参照画像8が対象画像71に対して位置合わせされ、図8に示す位置合わせ後の参照画像82(以下、「第2処理済み参照画像82」という。)が取得される(ステップS15)。アフィン変換を用いた位置合わせの一例では、参照画像8において対象物9上の複数の特徴点(例えば、対象物9の外形を示す線上の点)が予め定められており、対象画像71において当該複数の特徴点を示す複数の位置が、パターンマッチングにより求められる。そして、参照画像8における複数の特徴点の座標と、対象画像71における当該複数の位置の座標とを用いてアフィン変換行列の要素(ここでは、平行移動および回転に係る要素)の値が求められ、参照画像8に対して当該変換行列を用いてアフィン変換が施される。
In the second
このように、第2位置合わせ処理部532による位置合わせ処理では、複数の特徴点により囲まれる比較的大きな領域を単位として巨視的な位置合わせ(すなわち、単位領域を多数の画素の集合とする位置合わせ)が行われる。その結果、処理前の参照画像8と第2処理済み参照画像82との間において、対象物9の各部位の寸法(例えば、円柱部902の長さや直径、ベース部901の幅等)はおよそ維持される。なお、複数の特徴点により囲まれる領域は、後述の設定領域A1の外側の領域も含む。一方、第2処理済み参照画像82において、参照画像8には現れていない角部側面903に対応する領域(図8中に同じ符号903を付して示す領域)は、例えば背景となる。
Thus, in the alignment processing by the second
図6の参照画像8では、破線の矩形にて示す設定領域A1が操作者の入力等により予め定められており、合成部533では、図7の第1処理済み参照画像81における設定領域A1の部分が抽出され、図8の第2処理済み参照画像82における設定領域A1の部分と置き換えられる。すなわち、第1位置合わせ処理部531による位置合わせ後の設定領域A1が、第2位置合わせ処理部532による位置合わせ後の第2処理済み参照画像82に合成される。これにより、図9に示す合成参照画像83が取得される(ステップS16)。
In the
比較部54では、対象画像71と合成参照画像83とを比較することにより、対象画像71中の欠陥領域が検出される(ステップS17)。ここで、図9中にて二点鎖線で囲む領域A0を拡大した図10に示すように、設定領域A1の境界では、対象物9のエッジに僅かなずれが生じる場合がある。第1処理済み参照画像81の設定領域A1を第2処理済み参照画像82に合成する際に、両画像が示す対象物9の位置が必ずしも完全には一致しないためである。そこで、比較部54では、ゆすらせ比較処理が行われる。
The
図11は、ゆすらせ比較処理を説明するための図であり、対象画像71と合成参照画像83との間の複数の(9個の)位置関係を3行3列に並べて示している。ゆすらせ比較処理では、図11中に破線の矩形にて示す対象画像71を、実線の矩形にて示す合成参照画像83と完全に重なる位置(図11中の中央参照)から、8方向のそれぞれに所定の画素数(例えば、1画素)だけ移動し、移動後の対象画像71の各画素に対して、当該画素の値と、当該画素と重なる合成参照画像83の画素の値との差(絶対値)が求められる。換言すると、移動後の対象画像71と合成参照画像83との差分画像が求められる。対象画像71が、合成参照画像83と完全に重なる位置においても同様に差分画像が求められる。
FIG. 11 is a diagram for explaining the sway comparison process, and shows a plurality of (nine) positional relationships between the
そして、複数の(ここでは、9個の)差分画像において、同じ位置の画素の値の最小値が特定され、当該位置に当該最小値を付与した画像が、ゆすらせ比較処理の結果画像として取得される。結果画像は、所定の閾値で二値化され、欠陥候補領域を示す二値の欠陥候補画像が取得される。比較部54では、欠陥候補画像が示す欠陥候補領域のうち、所定の条件(例えば、面積等)を満たすものが欠陥領域として特定される。これにより、図12に示すように、欠陥領域611を示す欠陥領域画像61が取得され、対象画像71中の欠陥領域が検出される。図12では、対象画像71が示す対象物9を二点鎖線にて示している(後述の図13および図14において同様)。上記ステップS11〜S17は、他の対象物9に対して繰り返される。なお、ゆすらせ比較処理により得られる結果画像は、上記の複数の差分画像から導かれるものであればよく、例えば、複数の差分画像のうち画素の値の和が最小の差分画像がそのまま結果画像として用いられてもよい。
Then, in a plurality of (here, nine) difference images, the minimum value of the pixel value at the same position is specified, and an image in which the minimum value is assigned to the position is acquired as a result image of the sway comparison process. Is done. The result image is binarized with a predetermined threshold value, and a binary defect candidate image indicating a defect candidate area is acquired. The
ここで、対象画像71と参照画像8との位置合わせを行う際に、第2位置合わせ処理部532のみを用いる(アフィン変換のみを用いる)比較例の処理について説明する。当該比較例の処理では、欠陥領域を検出する際に、図8の第2処理済み参照画像82と図5の対象画像71とが比較されることにより、図13に示す欠陥領域画像91が取得される。図13の欠陥領域画像91では、図12の欠陥領域画像61と同様に、ベース部901のエッジに存在する欠陥領域911、および、円柱部902の長さが短いことを示す欠陥領域911が検出される。一方、既述のように、第2処理済み参照画像82では、参照画像8に現れていない角部側面903に対応する領域が、例えば背景となってしまう。したがって、欠陥領域画像91では、欠陥ではない角部側面903が欠陥領域911として検出され、欠陥が過検出されてしまう(偽欠陥が検出される。)。また、対象画像71における角部側面903の存在により、アフィン変換による参照画像8と対象画像71との位置合わせにおいてずれが生じ、多くの偽欠陥が検出される場合もある。上記問題は、欠陥が無い他の対象物9を撮像して参照画像8を取得する際に、当該対象物9が、予め定められた向きから僅かに回転している場合、すなわち、参照画像8にオクルージョンが発生している場合において同様である。
Here, a process of a comparative example that uses only the second alignment processing unit 532 (uses only affine transformation) when performing alignment between the
また、対象画像71と参照画像8との位置合わせを行う際に、第1位置合わせ処理部531のみを用いる(オプティカルフローのみを用いる)他の比較例の処理について説明する。当該他の比較例の処理では、欠陥領域を検出する際に、図7の第1処理済み参照画像81と図5の対象画像71とが比較されることにより、図14に示す欠陥領域画像92が取得される。図14の欠陥領域画像92では、図12の欠陥領域画像61と同様に、ベース部901のエッジに存在する欠陥領域921が検出される。また、既述のように、参照画像8には現れていない角部側面903が、参照画像8中の輝度が比較的近い周囲の画素により、第1処理済み参照画像81においてある程度表現される。したがって、当該他の比較例の処理により得られる欠陥候補画像では、角部側面903に対応する欠陥候補領域が比較的小さくなり、欠陥領域として検出されることが抑制される。一方、第1処理済み参照画像81では、円柱部902の長さが対象画像71における長さにある程度合わせられてしまうため、対象画像71において円柱部902の長さが短いことを示す欠陥領域が検出されなくなる。すなわち、円柱部902の長さに係る欠陥が見逃されてしまう。図14では、当該欠陥を示す領域922を破線にて示している。
In addition, processing of another comparative example that uses only the first alignment processing unit 531 (uses only the optical flow) when performing alignment between the
これに対し、検査装置1では、対象画像71と参照画像8との位置合わせを行う際に、第1位置合わせ処理部531および第2位置合わせ処理部532の双方が利用される。第1位置合わせ処理部531では、参照画像8の各画素の対象画像71に対するオプティカルフローを求めることにより、参照画像8の複数の(全ての)画素が対象画像71に対して個別に位置合わせされる。第2位置合わせ処理部532では、参照画像8中の対象物9の領域が、アフィン変換を用いて全体的に対象画像71に対して位置合わせされる。そして、第1位置合わせ処理部531による位置合わせ後の設定領域A1が、第2位置合わせ処理部532による位置合わせ後の参照画像(第2処理済み参照画像82)に合成される。
On the other hand, in the
上記処理では、対象物9の回転による偽欠陥の発生が生じやすい、または、対象物9の寸法不良の許容範囲が大きい設定領域A1については、第1位置合わせ処理部531による位置合わせが実質的に行われる。また、対象物9の回転による偽欠陥の発生が生じにくい(上記の例では、回転体である円柱部902)、または、対象物9の寸法不良の許容範囲が小さい他の領域については、第2位置合わせ処理部532による位置合わせが実質的に行われる。このように、対象画像71と参照画像8との位置合わせを、設定領域A1と、設定領域A1以外の領域とにおいて個別に(すなわち、異なる大きさの単位領域で)行うことにより、各領域に応じた位置合わせを適切に行って、好ましい検査を行うことが可能となる。
In the processing described above, the first
また、比較部54では、位置合わせ後の参照画像(合成参照画像83)に対して、対象画像71を上下左右にずらした複数の相対位置関係において、両画像から複数の差分画像が求められ、当該複数の差分画像に基づいて欠陥領域が検出される。これにより、第1処理済み参照画像81と第2処理済み参照画像82との位置ずれに起因する偽欠陥の発生を抑制することができる。
In addition, the
上記検査装置1では様々な変形が可能である。
The
第1位置合わせ処理部531が、参照画像8における設定領域A1のみに対して処理を行って、図15に示すように、位置合わせ後の設定領域A1の画像81aが取得されてもよい。この場合、設定領域A1の画像81aが、第2位置合わせ処理部532による参照画像8の全体の処理済み画像(第2処理済み参照画像82)に合成され、図9と同様の合成参照画像83が取得される。また、第2位置合わせ処理部532が、参照画像8における設定領域A1以外の領域のみに対して処理を行って、位置合わせ後の当該領域を示す画像が取得され、第1処理済み参照画像81に合成されてもよい。
The first
ここで、同じ大きさの領域の位置合わせに係る演算量は、第2位置合わせ処理部532よりも第1位置合わせ処理部531において多くなる。したがって、位置合わせ部53における演算量を低減するには、第2位置合わせ処理部532が参照画像8の全部に対して処理を行い、第1位置合わせ処理部531が参照画像8の一部の領域のみ(設定領域A1)に対して処理を行うことが好ましいといえる。
Here, the amount of calculation related to the alignment of regions of the same size is larger in the first
上記処理例では、参照画像8において、ベース部901を主に含む1つの設定領域A1が設けられるが、図16に示すように、円柱部902を主に含む他の設定領域A2が、設定領域A1に加えて設けられてもよい。この場合、例えば、第2位置合わせ処理部532が、参照画像8における設定領域A2のみに対して処理を行って(詳細には、設定領域A2における複数の特徴点に基づくアフィン変換により位置合わせを行って)、図17に示すように、位置合わせ後の設定領域A2の画像82aが取得される。そして、図15の位置合わせ後の設定領域A1の画像81aと、図17の位置合わせ後の設定領域A2の画像82aとを結合して、位置合わせ後の参照画像が取得される。
In the above processing example, in the
また、設定領域A1および設定領域A2(以下、それぞれ「第1設定領域A1」および「第2設定領域A2」という。)において、対象画像71との比較が個別に行われてもよい。例えば、図15の位置合わせ後の第1設定領域A1の画像81aと対象画像71とを比較することにより、第1設定領域A1についての比較結果(欠陥領域画像の第1設定領域A1の部分)が取得される。また、図17の位置合わせ後の第2設定領域A2の画像82aと対象画像71とを比較することにより、第2設定領域A2についての比較結果(欠陥領域画像の第2設定領域A2の部分)が取得される。この場合、演算量を大幅に削減することができる。
Further, in the setting area A1 and the setting area A2 (hereinafter, referred to as “first setting area A1” and “second setting area A2”, respectively), the comparison with the
第1処理済み参照画像81および第2処理済み参照画像82を取得する上記処理例において、参照画像8中の設定領域A1を第1設定領域A1と捉え、設定領域A1以外の全ての領域を第2設定領域と捉えることも可能である。この場合、第1処理済み参照画像81は、参照画像8の第1設定領域A1に含まれる複数の画素を対象画像71に対して個別に位置合わせした画像であるといえる。また、第2処理済み参照画像82は、参照画像8の第2設定領域に含まれる対象物9の領域を対象画像71に対して位置合わせした画像であるといえる。
In the above processing example for obtaining the first processed
位置合わせ部53では、対象画像71が参照画像8に対して位置合わせされてもよい。この場合、対象画像71において、第1設定領域および第2設定領域が設定され、第1位置合わせ処理部531により、対象画像71の第1設定領域に含まれる複数の画素が参照画像8に対して個別に位置合わせされる。また、第2位置合わせ処理部532により、対象画像71の第2設定領域に含まれる対象物9の領域が参照画像8に対して位置合わせされる。
In the
第1位置合わせ処理部531では、例えば、対象画像71および参照画像8の一方の画像の第1設定領域を分割して複数の領域を取得し、各領域(例えば、数個の画素の集合)をアフィン変換を用いて他方の画像に対して位置合わせすることにより、位置合わせ後の第1設定領域の画像が取得されてもよい。このように、一方の画像の第1設定領域に含まれる複数の領域(画素であってもよい。)を、他方の画像に対して個別に位置合わせすることにより、第1設定領域に対して微視的な位置合わせ(微小領域を単位とする位置合わせ)を実現することができる。なお、位置合わせ後の第1設定領域において当該複数の領域の間に間隙が生じる場合には、当該間隙を埋める補間処理が適宜行われる(間隙が生じる他の処理において同様)。
In the first
第2位置合わせ処理部532では、第2設定領域に対して巨視的な位置合わせが実現されるのであるならば、アフィン変換以外の様々な手法が採用されてよい。ここで、第2位置合わせ処理部532による第2設定領域における位置合わせは、第1位置合わせ処理部531による位置合わせの単位よりも大きい領域を位置合わせの単位とするものであればよい。すなわち、第2位置合わせ処理部532では、対象画像71および参照画像8の一方の画像の第2設定領域に含まれ、かつ、第1位置合わせ処理部531における位置合わせの単位である複数の領域のいずれよりも大きい領域が他方の画像に対して位置合わせされる。検査装置1では、対象画像71と参照画像8との位置合わせを、第1および第2設定領域において異なる大きさの単位領域で行うことにより、各設定領域に応じた位置合わせを適切に行って、好ましい検査を実現することができる。
The second
位置合わせ部53では、複数の第1設定領域が設定されてもよく、同様に複数の第2設定領域が設定されてもよい。また、対象画像71中の対象物9の領域において、欠陥の検査を行わない非検査領域が設定されてもよい。
In the
比較部54におけるゆすらせ比較処理では、合成参照画像83を対象画像71に対して移動させてもよい。すなわち、ゆすらせ比較処理では、対象画像71と参照画像8との位置合わせを行った後、両画像の一方を他方に対して上下左右にずらした複数の相対位置関係において、当該両画像から複数の差分画像が求められる。比較部54の設計によっては、ゆすらせ処理を行うことなく、両画像の比較が行われてもよい。また、位置合わせされた対象画像71と参照画像8との比較は、両画像の差分画像を求める手法以外に、例えば、両画像の対応する画素の値の比を求めることにより行われてもよい。
In the sway comparison process in the
比較部54が有するメモリ領域によっては、対象画像71と第1処理済み参照画像81との比較結果を示す第1欠陥領域画像と、対象画像71と第2処理済み参照画像82との比較結果を示す第2欠陥領域画像とが取得されてもよい。この場合、例えば第1欠陥領域画像における設定領域A1の部分を第2欠陥領域画像に合成することにより、欠陥領域画像が取得される。
Depending on the memory area of the
検査装置1における検査対象は、立体的な対象物9以外に、板状またはフィルム状の対象物等であってもよい。
The inspection object in the
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。 The configurations in the above-described embodiments and modifications may be combined as appropriate as long as they do not contradict each other.
1 検査装置
8 参照画像
9 対象物
51 対象画像記憶部
52 参照画像記憶部
53 位置合わせ部
54 比較部
71 対象画像
82 第2処理済み参照画像
83 合成参照画像
531 第1位置合わせ処理部
532 第2位置合わせ処理部
611 欠陥領域
A1 第1設定領域
A2 第2設定領域
S11〜S17 ステップ
DESCRIPTION OF
Claims (10)
対象物を撮像した対象画像を記憶する対象画像記憶部と、
参照画像を記憶する参照画像記憶部と、
前記対象画像と前記参照画像との位置合わせを行う位置合わせ部と、
位置合わせ後の両画像を比較することにより、前記対象画像中の欠陥領域を検出する比較部と、
を備え、
前記位置合わせ部が、
前記対象画像および前記参照画像の一方の画像の第1設定領域に含まれる複数の領域を、他方の画像に対して個別に位置合わせする第1位置合わせ処理部と、
前記一方の画像の第2設定領域に含まれ、かつ、前記複数の領域のいずれよりも大きい領域を前記他方の画像に対して位置合わせする第2位置合わせ処理部と、
を備えることを特徴とする検査装置。 An inspection device,
A target image storage unit that stores a target image obtained by imaging the target;
A reference image storage unit for storing a reference image;
An alignment unit for aligning the target image and the reference image;
A comparison unit that detects a defective area in the target image by comparing both images after alignment; and
With
The alignment portion is
A first alignment processing unit that individually aligns a plurality of areas included in a first setting area of one of the target image and the reference image with respect to the other image;
A second alignment processing unit that aligns a region that is included in the second setting region of the one image and is larger than any of the plurality of regions with respect to the other image;
An inspection apparatus comprising:
前記比較部が、前記位置合わせ後の両画像の一方を他方に対して上下左右にずらした複数の相対位置関係において、前記両画像から複数の差分画像を求め、前記複数の差分画像に基づいて前記欠陥領域を検出することを特徴とする検査装置。 The inspection apparatus according to claim 1,
The comparison unit obtains a plurality of difference images from the two images in a plurality of relative positional relationships in which one of the images after the alignment is shifted vertically and horizontally with respect to the other, and based on the plurality of difference images An inspection apparatus for detecting the defective area.
前記第2位置合わせ処理部が、アフィン変換を用いて前記第2設定領域における前記他方の画像に対する位置合わせを行うことを特徴とする検査装置。 The inspection apparatus according to claim 1 or 2,
The inspection apparatus, wherein the second alignment processing unit performs alignment with respect to the other image in the second setting region using affine transformation.
前記第2位置合わせ処理部が、アフィン変換を用いて前記一方の画像の全体の処理済み画像を取得し、
前記第1位置合わせ処理部による位置合わせ後の前記第1設定領域が、前記処理済み画像に合成されることを特徴とする検査装置。 The inspection apparatus according to claim 3,
The second alignment processing unit acquires an entire processed image of the one image using affine transformation;
The inspection apparatus, wherein the first setting area after alignment by the first alignment processing unit is combined with the processed image.
前記第1位置合わせ処理部が、前記第1設定領域における各画素の前記他方の画像に対するオプティカルフローを求めることにより、位置合わせを行うことを特徴とする検査装置。 The inspection apparatus according to any one of claims 1 to 4,
The inspection apparatus, wherein the first alignment processing unit performs alignment by obtaining an optical flow with respect to the other image of each pixel in the first setting region.
a)対象物を撮像した対象画像を準備する工程と、
b)前記対象画像と参照画像との位置合わせを行う工程と、
c)位置合わせ後の両画像を比較することにより、前記対象画像中の欠陥領域を検出する工程と、
を備え、
前記b)工程が、
b1)前記対象画像および前記参照画像の一方の画像の第1設定領域に含まれる複数の領域を、他方の画像に対して個別に位置合わせする工程と、
b2)前記一方の画像の第2設定領域に含まれ、かつ、前記複数の領域のいずれよりも大きい領域を前記他方の画像に対して位置合わせする工程と、
を備えることを特徴とする検査方法。 An inspection method,
a) preparing a target image obtained by imaging the target;
b) aligning the target image with the reference image;
c) detecting a defective area in the target image by comparing both images after alignment;
With
Step b)
b1) individually aligning a plurality of areas included in a first setting area of one of the target image and the reference image with respect to the other image;
b2) aligning an area included in the second setting area of the one image and larger than any of the plurality of areas with respect to the other image;
An inspection method comprising:
前記c)工程において、前記位置合わせ後の両画像の一方を他方に対して上下左右にずらした複数の相対位置関係において、前記両画像から複数の差分画像が求められ、前記複数の差分画像に基づいて前記欠陥領域が検出されることを特徴とする検査方法。 The inspection method according to claim 6,
In the step c), a plurality of difference images are obtained from the images in a plurality of relative positional relationships in which one of the images after the alignment is shifted vertically and horizontally with respect to the other. An inspection method characterized in that the defect area is detected based on the detection result.
前記b2)工程において、アフィン変換を用いて前記第2設定領域における前記他方の画像に対する位置合わせが行われることを特徴とする検査方法。 The inspection method according to claim 6 or 7,
In the step b2), the alignment of the other image in the second setting area is performed using affine transformation.
前記b2)工程において、アフィン変換を用いて前記一方の画像の全体の処理済み画像が取得され、
前記b1)工程における位置合わせ後の前記第1設定領域が、前記処理済み画像に合成されることを特徴とする検査方法。 The inspection method according to claim 8,
In the step b2), the entire processed image of the one image is acquired using affine transformation,
The inspection method, wherein the first setting area after the alignment in the step b1) is combined with the processed image.
前記b1)工程において、前記第1設定領域における各画素の前記他方の画像に対するオプティカルフローを求めることにより、位置合わせが行われることを特徴とする検査方法。 The inspection method according to any one of claims 6 to 9,
In the step b1), the alignment is performed by obtaining an optical flow of each pixel in the first setting area with respect to the other image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016185788A JP6933887B2 (en) | 2016-09-23 | 2016-09-23 | Inspection equipment and inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016185788A JP6933887B2 (en) | 2016-09-23 | 2016-09-23 | Inspection equipment and inspection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018048968A true JP2018048968A (en) | 2018-03-29 |
JP6933887B2 JP6933887B2 (en) | 2021-09-08 |
Family
ID=61767396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016185788A Active JP6933887B2 (en) | 2016-09-23 | 2016-09-23 | Inspection equipment and inspection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6933887B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102031001B1 (en) * | 2018-11-05 | 2019-10-11 | 신한대학교 산학협력단 | Apparatus for Providing Service of Checking Workpiece and Driving Method Thereof |
KR102317992B1 (en) * | 2021-03-26 | 2021-10-28 | 주식회사 트윔 | Product inspection method and appratus using the neural network and method of training product inspection appratus |
KR102355997B1 (en) * | 2021-05-17 | 2022-02-08 | 주식회사 한국건설 방재연구원 | method for monitoring the soundness of concrete structure based on smart glass |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292017A (en) * | 2004-04-02 | 2005-10-20 | Dainippon Screen Mfg Co Ltd | Apparatus for acquiring amount of position deviation, and defect detector |
JP2012196597A (en) * | 2011-03-18 | 2012-10-18 | Meidensha Corp | System for inspecting filter membrane plate by image processing |
WO2012144025A1 (en) * | 2011-04-20 | 2012-10-26 | 株式会社メガトレード | Automatic inspection device and alignment method for automatic inspection device |
JP2013124868A (en) * | 2011-12-13 | 2013-06-24 | Canon Inc | Inspection apparatus, inspection method and computer program |
JP2013123812A (en) * | 2011-12-13 | 2013-06-24 | Canon Inc | Inspecting device, inspecting method, and computer program |
JP2014048154A (en) * | 2012-08-31 | 2014-03-17 | Dainippon Screen Mfg Co Ltd | Device for determining area of interest, defect detector, method for determining area of interest and method for detecting defect |
JP2015232485A (en) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | Image inspection device, image inspection method, image inspection program and computer readable recording medium, and apparatus having image inspection program recorded therein |
JP2016075615A (en) * | 2014-10-08 | 2016-05-12 | 三菱電機株式会社 | Target detection device |
-
2016
- 2016-09-23 JP JP2016185788A patent/JP6933887B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292017A (en) * | 2004-04-02 | 2005-10-20 | Dainippon Screen Mfg Co Ltd | Apparatus for acquiring amount of position deviation, and defect detector |
JP2012196597A (en) * | 2011-03-18 | 2012-10-18 | Meidensha Corp | System for inspecting filter membrane plate by image processing |
WO2012144025A1 (en) * | 2011-04-20 | 2012-10-26 | 株式会社メガトレード | Automatic inspection device and alignment method for automatic inspection device |
JP2013124868A (en) * | 2011-12-13 | 2013-06-24 | Canon Inc | Inspection apparatus, inspection method and computer program |
JP2013123812A (en) * | 2011-12-13 | 2013-06-24 | Canon Inc | Inspecting device, inspecting method, and computer program |
JP2014048154A (en) * | 2012-08-31 | 2014-03-17 | Dainippon Screen Mfg Co Ltd | Device for determining area of interest, defect detector, method for determining area of interest and method for detecting defect |
JP2015232485A (en) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | Image inspection device, image inspection method, image inspection program and computer readable recording medium, and apparatus having image inspection program recorded therein |
JP2016075615A (en) * | 2014-10-08 | 2016-05-12 | 三菱電機株式会社 | Target detection device |
Non-Patent Citations (1)
Title |
---|
BROX, THOMAS ET AL.: "High Accuracy Optical Flow Estimation Based on a Theory for Warping", SPRINGER LNCS, vol. 4, JPN6020027801, 2004, pages 25 - 36, ISSN: 0004456224 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102031001B1 (en) * | 2018-11-05 | 2019-10-11 | 신한대학교 산학협력단 | Apparatus for Providing Service of Checking Workpiece and Driving Method Thereof |
KR102317992B1 (en) * | 2021-03-26 | 2021-10-28 | 주식회사 트윔 | Product inspection method and appratus using the neural network and method of training product inspection appratus |
KR102355997B1 (en) * | 2021-05-17 | 2022-02-08 | 주식회사 한국건설 방재연구원 | method for monitoring the soundness of concrete structure based on smart glass |
Also Published As
Publication number | Publication date |
---|---|
JP6933887B2 (en) | 2021-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI598581B (en) | Inspection apparatus and inspection method | |
JP6370177B2 (en) | Inspection apparatus and inspection method | |
JP6594039B2 (en) | Image processing apparatus, method, and program | |
JP5039519B2 (en) | Appearance inspection method and apparatus | |
US8731274B2 (en) | Method and system for wafer registration | |
WO2017141611A1 (en) | Defect detection apparatus, defect detection method, and program | |
JP6922539B2 (en) | Surface defect determination method and surface defect inspection device | |
US20080181484A1 (en) | Advanced cell-to-cell inspection | |
WO2020246366A1 (en) | Substrate inspection device, substrate inspection system, and substrate inspection method | |
JP2018048968A (en) | Inspection device and inspection method | |
JP2014215163A (en) | Inspection apparatus | |
JP2020106461A (en) | Image generation device and appearance inspection device | |
JP2017040612A (en) | Inspection method, inspection device, image processor, program and record medium | |
JP2017166957A (en) | Defect detection device, defect detection method and program | |
JP2016156648A (en) | Pattern inspection device and pattern inspection method | |
JP6679538B2 (en) | Inspection device and inspection method | |
CN112991334B (en) | Global positioning method and device for industrial particle continuous product | |
JP2017166956A (en) | Defect detection device detection method and program | |
US20160379360A1 (en) | Inspecting method, inspecting apparatus, image processing apparatus, program and recording medium | |
JP2017181228A (en) | Measurement device, measurement method and manufacturing method of article | |
JP6688629B2 (en) | Defect detecting device, defect detecting method and program | |
JP6393663B2 (en) | Surface inspection device | |
WO2023106260A1 (en) | Mask image generation method, inspection method, and inspection device | |
JP6595800B2 (en) | Defect inspection apparatus and defect inspection method | |
US20210342618A1 (en) | Marking inspection device, marking inspection method and article inspection apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210820 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6933887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |