JP2017034202A - Inspection device, mounting device, inspection method and program - Google Patents
Inspection device, mounting device, inspection method and program Download PDFInfo
- Publication number
- JP2017034202A JP2017034202A JP2015155705A JP2015155705A JP2017034202A JP 2017034202 A JP2017034202 A JP 2017034202A JP 2015155705 A JP2015155705 A JP 2015155705A JP 2015155705 A JP2015155705 A JP 2015155705A JP 2017034202 A JP2017034202 A JP 2017034202A
- Authority
- JP
- Japan
- Prior art keywords
- mounting
- image
- component
- substrate
- post
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims description 38
- 239000000758 substrate Substances 0.000 claims abstract description 96
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 8
- 230000000873 masking effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 12
- 230000032258 transport Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/04—Mounting of components, e.g. of leadless components
- H05K13/0404—Pick-and-place heads or apparatus, e.g. with jaws
- H05K13/0408—Incorporating a pick-up tool
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Operations Research (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、基板に対する部品の搭載有無を検査する検査装置、実装装置、検査方法及びプログラムに関する。 The present invention relates to an inspection apparatus, a mounting apparatus, an inspection method, and a program for inspecting whether a component is mounted on a substrate.
実装装置として、実装ヘッドに搭載された撮像装置を用いて、基板に対する部品の搭載有無を検査する検査装置を備えたものが知られている(例えば、特許文献1参照)。特許文献1に記載の検査装置では、基板に対する搭載面を部品の搭載前後で撮像して、搭載前画像と搭載後画像との輝度差分を求めることで、基板の搭載領域に部品が搭載されているか否かが検査される。このような搭載前後の輝度差分を利用した検査では、部品以外の箇所の輝度差分が影響を与える場合がある。このため、通常は部品の周辺ノイズを除去するために撮像画像に対してノイズカットが施されている。
As a mounting apparatus, an apparatus including an inspection apparatus that inspects whether or not a component is mounted on a substrate using an imaging apparatus mounted on a mounting head is known (see, for example, Patent Document 1). In the inspection apparatus described in
ところで、部品のボディ部分が基板と同程度の輝度に映る場合には、部品の搭載前画像と搭載後画像の輝度差分が小さい。この場合、必要な輝度差分を出すために部品のボディに印字された文字が重要になっている。しかしながら、部品のボディに印字された文字が薄かったり、細かったりすると、搭載後画像にノイズカットが施されることで、部品のボディから文字が消されてしまう。このため、搭載前画像と搭載後画像の十分な輝度差分が得られず、基板の搭載面に部品が搭載されているにも関わらず、部品が搭載されていないと誤判定される可能性があった。 By the way, when the body part of a component appears to have the same luminance as the board, the luminance difference between the pre-mounting image and the post-mounting image is small. In this case, the character printed on the body of the component is important in order to obtain the necessary luminance difference. However, if characters printed on the body of the component are thin or thin, the character is erased from the body of the component by applying a noise cut to the post-mounting image. For this reason, there is a possibility that a sufficient luminance difference between the pre-mounting image and the post-mounting image cannot be obtained, and it is erroneously determined that the component is not mounted even though the component is mounted on the mounting surface of the board. there were.
本発明はかかる点に鑑みてなされたものであり、簡易な処理により、基板に対する部品の搭載有無を高精度に検査することができる検査装置、実装装置、検査方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above points, and an object thereof is to provide an inspection apparatus, a mounting apparatus, an inspection method, and a program capable of inspecting whether a component is mounted on a substrate with high accuracy by simple processing. And
本発明の検査装置は、基板の搭載面に対する部品の搭載前後を撮像した前記部品の搭載前画像と搭載後画像から前記部品の搭載有無を検査する検査装置であって、前記搭載前画像の輝度値から前記基板を識別可能な閾値を設定する閾値設定部と、前記閾値によって前記搭載前画像から前記基板以外をマスクするマスク画像を生成するマスク画像生成部とを備え、前記マスク画像を用いて前記搭載前画像及び前記搭載後画像の前記基板の前記載置面に相当する特定領域を比較することで、前記部品の搭載有無を検査することを特徴とする。 The inspection apparatus according to the present invention is an inspection apparatus that inspects whether or not the component is mounted from the pre-mounting image and post-mounting image of the component obtained by imaging before and after mounting of the component on the mounting surface of the substrate, and the luminance of the pre-mounting image A threshold setting unit configured to set a threshold capable of identifying the substrate from the value; and a mask image generating unit configured to generate a mask image that masks other than the substrate from the pre-mounting image using the threshold, and using the mask image The presence / absence of mounting of the component is inspected by comparing a specific area corresponding to the placement surface of the board in the pre-mounting image and the post-mounting image.
本発明の検査方法は、基板の搭載面に対する部品の搭載前後を撮像した前記部品の搭載前画像と搭載後画像から前記部品の搭載有無を検査する検査方法であって、前記搭載前画像の輝度値から前記基板を識別可能な閾値を設定するステップと、前記閾値によって前記搭載前画像から前記基板以外をマスクするマスク画像を生成するステップと、前記マスク画像を用いて前記搭載前画像及び前記搭載後画像の前記基板の前記載置面に相当する特定領域を比較することで、前記部品の搭載有無を検査するステップとを有することを特徴とする。 The inspection method of the present invention is an inspection method for inspecting the presence / absence of mounting of the component from the pre-mounting image and post-mounting image of the component obtained by imaging before and after mounting of the component on the mounting surface of the substrate, and the luminance of the pre-mounting image Setting a threshold that can identify the substrate from the value, generating a mask image that masks other than the substrate from the pre-mounting image by the threshold, and using the mask image, the pre-mounting image and the mounting And a step of inspecting whether or not the component is mounted by comparing a specific area corresponding to the placement surface of the substrate in the subsequent image.
これらの構成によれば、マスク画像によって基板以外の領域がマスクされるため、搭載前画像と搭載後画像の載置面に相当する特定領域同士を比較する際に、基板以外の領域の輝度の影響を受けることがない。また、ノイズカットのように画像全体の輝度がカットされることもないため、搭載前画像と搭載後画像の特定領域同士を適切に比較することができ、簡易な処理により部品の搭載有無を高精度に検査することができる。 According to these configurations, since the area other than the substrate is masked by the mask image, the luminance of the area other than the substrate is compared when comparing the specific areas corresponding to the placement surfaces of the pre-mounting image and the post-mounting image. Not affected. Also, since the brightness of the entire image is not cut unlike noise cut, it is possible to appropriately compare specific areas of the pre-mounting image and the post-mounting image, and increase the presence / absence of component mounting by simple processing. It can be inspected with accuracy.
上記の検査装置において、前記搭載前画像と前記搭載後画像から差分画像を生成する差分画像生成部と、前記差分画像から前記マスク画像で前記特定領域を抽出する特定領域抽出部とを備え、前記特定領域の輝度値に基づいて、前記部品の搭載有無を検査する。この構成によれば、搭載前画像と搭載後画像の差分画像における特定領域の輝度から部品の搭載有無を高精度に検査することができる。 In the inspection apparatus, the image processing apparatus includes a difference image generation unit that generates a difference image from the pre-mounting image and the post-mounting image, and a specific region extraction unit that extracts the specific region from the difference image using the mask image, Based on the luminance value of the specific area, whether or not the component is mounted is inspected. According to this configuration, the presence / absence of mounting of a component can be inspected with high accuracy from the luminance of a specific area in the difference image between the pre-mounting image and the post-mounting image.
上記の検査装置において、前記閾値設定部は、前記搭載前画像の輝度値毎の画素数を示すヒストグラムを生成し、当該ヒストグラムのピーク値に基づいて前記閾値を設定する。この構成によれば、載置前画像は部品の搭載前の基板を撮像したものであるため、ヒストグラムのピーク値をとる輝度値が基板の平均的な輝度値を示している。よって、このピーク値に基づいて閾値を設定することにより、基板と基板以外を識別することができる。 In the inspection apparatus, the threshold setting unit generates a histogram indicating the number of pixels for each luminance value of the pre-mounting image, and sets the threshold based on the peak value of the histogram. According to this configuration, since the pre-placement image is an image of the board before the component is mounted, the luminance value that takes the peak value of the histogram indicates the average luminance value of the board. Therefore, by setting a threshold value based on this peak value, it is possible to identify the substrate and other than the substrate.
上記の検査装置において、前記マスク画像生成部は、前記閾値を用いて前記搭載前画像を二値化することで前記マスク画像を生成する。この構成によれば、簡易な処理によって搭載前画像からマスク画像を生成することができる。 In the inspection apparatus, the mask image generation unit generates the mask image by binarizing the pre-mounting image using the threshold value. According to this configuration, the mask image can be generated from the pre-mounting image by simple processing.
本発明の実装装置は、上記の検査装置と、前記搭載面に対して前記部品を搭載する実装ヘッドと、前記実装ヘッドによる部品の搭載前後を撮像する撮像装置とを備えたことを特徴とする。この構成によれば、撮像装置によって実装ヘッドによる部品の搭載前後の実装面が撮像され、搭載前画像と搭載後画像から実装ヘッドによる部品の搭載ミスを即座に検出することができる。 A mounting apparatus of the present invention includes the above-described inspection apparatus, a mounting head for mounting the component on the mounting surface, and an imaging device for imaging before and after mounting of the component by the mounting head. . According to this configuration, the mounting surface before and after the mounting of the component by the mounting head is imaged by the imaging device, and a mounting error of the component by the mounting head can be immediately detected from the pre-mounting image and the post-mounting image.
本発明のプログラムは、上記の検査方法を検査装置に実行させることを特徴とする。この構成によれば、検査装置にプログラムをインストールすることで、部品の搭載有無の高精度な検査機能を検査装置に追加することができる。 A program according to the present invention causes an inspection apparatus to execute the above-described inspection method. According to this configuration, by installing a program in the inspection apparatus, it is possible to add a high-precision inspection function for whether or not a component is mounted to the inspection apparatus.
本発明によれば、搭載前画像及び搭載後画像の載置面に相当する特定領域を残してマスク画像で覆うことで、搭載前画像と搭載後画像の特定領域同士を比較して部品の搭載有無を高精度に検査することができる。 According to the present invention, the specific area corresponding to the placement surface of the pre-mounting image and the post-mounting image is left and covered with the mask image, so that the specific areas of the pre-mounting image and the post-mounting image are compared with each other and the parts are mounted. Existence can be inspected with high accuracy.
以下、添付図面を参照して本実施の形態に係る実装装置について説明する。図1は、本実施の形態に係る実装装置全体を示す模式図である。図2は、本実施の形態に係る実装ヘッド周辺を示す模式図である。図3は、比較例に係る部品の搭載前画像及び搭載後画像の一例を示す図である。なお、本実施の形態に係る実装装置は一例に過ぎず、適宜変更が可能である。 Hereinafter, a mounting apparatus according to the present embodiment will be described with reference to the accompanying drawings. FIG. 1 is a schematic diagram showing the entire mounting apparatus according to the present embodiment. FIG. 2 is a schematic diagram showing the periphery of the mounting head according to the present embodiment. FIG. 3 is a diagram illustrating an example of a pre-mounting image and a post-mounting image of components according to a comparative example. Note that the mounting apparatus according to the present embodiment is merely an example, and can be changed as appropriate.
図1に示すように、実装装置1は、テープフィーダ等の部品供給ユニット20から供給された部品P(図2参照)を、一対の実装ヘッド40によって基板Wの載置面に搭載するように構成されている。基板Wの表面には配線パターンや電極パッド等が設けられており、配線パターンや電極パッド等には後段のリフロー工程で部品Pの端子に接合するための半田ペーストが付着されている。なお、基板Wは部品Pが搭載可能なものであればよく、形状や種類は特に限定されない。また、部品PとしてICチップを例示して説明するが、基板Wに搭載される部品であれば、特に電子部品に限られない。
As shown in FIG. 1, the
実装装置1には、X軸方向に基板Wを搬送する基板搬送ユニット10が配設されている。基板搬送ユニット10は、基板Wを搬送する一対のコンベアベルト11と各コンベアベルト11に沿って基板Wの搬送をガイドする一対のガイドレール12とによって搬送路を形成している。コンベアベルト11は、X軸方向の一端側から部品搭載前の基板Wを実装ヘッド40の下方に搬入して位置決めし、部品搭載後の基板WをX軸方向の他端側に搬出している。一対のガイドレール12の上部は内向きに屈曲している(図2参照)。昇降機構(不図示)により、この屈曲部分に向けて、基板Wと一対のコンベアベルト11が上昇して、基板Wが位置決めされる。
The
部品供給ユニット20にはテープリール21が着脱自在に装着され、テープリール21には多数の部品Pをパッケージングしたキャリアテープが巻回されている。各部品供給ユニット20は、テープリール21の回転によって実装ヘッド40にピックアップされる受け渡し位置に向けて、順番に部品Pを繰り出している。実装ヘッド40の受け渡し位置では、キャリアテープから表面のカバーテープが剥離され、キャリアテープのポケット内の部品Pが外部に露出される。なお、本実施の形態では、部品供給ユニット20としてテープフィーダを例示したが、ボールフィーダ等の他の部品供給ユニット20で構成されていてもよい。
A
一対の実装ヘッド40は、移動機構30によって実装ヘッド40をX軸方向、Y軸方向に移動させて、部品供給ユニット20からピックアップした部品Pを基板W上の搭載面に実装している。移動機構30は、Y軸方向に延びる一対のY軸駆動部31上に、X軸方向に延びる一対のX軸駆動部32が両持ちで支持されている。一対のY軸駆動部31には一対のX軸駆動部32がY軸方向に移動可能に設置されており、各X軸駆動部32には実装ヘッド40がX軸方向に移動可能に設置されている。一対の実装ヘッド40は、X軸駆動部32とY軸駆動部31とによって、部品供給ユニット20と基板Wとの間を往復移動される。
The pair of
図2に示すように、実装ヘッド40は、X軸駆動部32(図1参照)に支持されたヘッド本体41に複数のノズル42(本実施の形態では1つのみ図示)を設けて構成されている。各ノズル42は、ノズル駆動部43を介してヘッド本体41に支持されており、ノズル駆動部43によってZ軸方向に上下動すると共にノズル42をZ軸回りに回転する。各ノズル42は吸引源(不図示)に接続されており、吸引源からの吸引力によって部品Pを吸着保持する。ノズル42にはコイルバネが設けられており、コイルバネを収縮させながらノズル42に吸着された部品Pを基板Wに搭載している。
As shown in FIG. 2, the mounting
ヘッド本体41には、基板Wからの高さを検出する高さセンサ(不図示)や、ノズル42で吸着した部品Pの姿勢を検出する姿勢認識部45が設けられている。高さセンサでは、基板Wからノズル42までの距離が検出され、検出結果に基づいてノズル42の上下方向の移動量が制御される。姿勢認識部45では、横一列に並んだ発光素子46と受光素子47とを水平方向で対向させ、各発光素子46からのレーザー光が部品Pに遮られて各受光素子47の受光状態が変わることで部品Pの吸着姿勢が認識される。この姿勢認識部45の認識結果によってノズル42の吸着位置や吸着向きが補正される。
The
ヘッド本体41には、基板W上のBOCマークを真上から撮像する基板撮像部(不図示)と、ノズル42による部品Pの搭載動作を斜め上方から撮像する部品撮像部48(撮像装置)とが設けられている。基板撮像部では、BOCマークの撮像画像に基づいて基板Wの位置、反り等が認識され、これらの認識結果に基づいて基板Wに対する部品Pの搭載位置が補正される。部品撮像部48では、部品供給ユニット20に対する部品Pの吸着前後が撮像される他、基板Wの載置面に対する部品Pの搭載前後が撮像される。これら撮像画像によって、ノズル42による部品Pの吸着有無、基板Wにおける部品Pの搭載有無が検査される。
The head
また、実装装置1には、装置各部を統括制御する制御装置50と、ノズル42による部品Pの吸着有無や基板Wに対する部品Pの搭載有無を検査する検査装置60とが設けられている。これらの装置は、各種処理を実行するプロセッサやメモリ等により構成されている。メモリは、用途に応じてROM(Read Only Memory)、RAM(Random Access Memory)等の一つ又は複数の記憶媒体で構成されており、実装装置1の制御プログラムや、検査装置60に検査方法を実行させるためのプログラム等、部品Pの搭載有無の判定閾値等の各種パラメータが記憶されている。
In addition, the mounting
このように構成された実装装置1では、実装ヘッド40を部品供給ユニット20(図1参照)まで移動させて、部品供給ユニット20から供給された部品Pをノズル42でピックアップして、基板Wの所望の搭載面に部品Pを搭載している。このノズル42による部品Pの搭載動作では、基板Wに対する部品Pの搭載が失敗して、基板W上に部品Pが搭載されていない場合がある。このため、上記したように、基板Wの搭載面に対する部品Pの搭載前後がモノクロ画像で撮像され、検査装置60によって部品Pの搭載前画像と搭載後画像から基板W上の部品Pの搭載有無が検査されている。
In the mounting
部品Pの搭載有無を検査する際には、搭載前画像と搭載後画像から差分画像が生成され、差分画像に対して設定された判定ウインドウ内の各画素の輝度に基づいて部品Pの搭載有無が検査される。しかしながら、実装装置1では、装置の振動等によって搭載前画像と搭載後画像にズレが生じる。基板W上のシルクや電極パッドの光沢等のように輝度のコントラストが明確な箇所にズレが生じていると、差分画像の判定ウインドウの中で部品P以外の箇所の影響が大きくなる。このため、搭載後画像に部品Pが搭載されていないにも関わらず、輝度の変化が大きくなって部品Pが搭載されていると誤判定されるおそれがある。
When inspecting whether or not the component P is mounted, a difference image is generated from the pre-mounting image and the post-mounting image, and whether or not the component P is mounted based on the luminance of each pixel in the determination window set for the difference image Is inspected. However, in the mounting
このため、一般には判定ウインドウ全体にノイズカットが施されて、搭載前画像と搭載後画像のズレの影響が抑えられている。ところで、図3Aに示すように、比較的大きな部品Pを基板Wに搭載する際には、判定ウインドウ69内における部品Pを占める割合が大きい。また、モノクロ画像では部品Pのボディ部分が基板Wと同程度の輝度に映る場合がある。このような場合には部品Pのボディ部分に印字された文字74によって輝度差分が得られている。しかしながら、図3Bに示すように、部品Pの文字74が薄い線や細い線で描かれていると、判定ウインドウ69に施されたノイズカットによって文字74が除去され、部品Pが搭載されているにも関わらず、十分な輝度が得られない。
For this reason, noise cut is generally applied to the entire determination window, and the influence of the deviation between the pre-mounting image and the post-mounting image is suppressed. Incidentally, as shown in FIG. 3A, when a relatively large component P is mounted on the substrate W, the proportion of the component P in the
そこで、本実施の形態に係る検査装置60では、差分画像に対してノイズカットを施す代わりに、差分画像から部品Pの載置面に相当する特定領域を抜き出して、この特定領域の輝度に基づいて部品Pの搭載有無を検査するようにしている。これにより、部品Pのボディ部分の文字74を削ることなく、部品P以外でコントラストが明確な箇所の輝度の影響を抑えることができ、基板Wに対する部品Pの搭載有無を高精度に検査することが可能になっている。
Therefore, in the
以下、部品の搭載有無の検査処理について説明する。図4は、本実施の形態に係る検査装置のブロック図である。図5は、本実施の形態に係る検査処理の一例を示すフローチャートである。図6は、本実施の形態に係る部品の搭載前画像及び搭載後画像の一例を示す図である。図7は、本実施の形態に係る閾値設定処理の一例を示す図である。図8は、本実施の形態に係るマスク画像の一例を示す図である。図9は、本実施の形態に係る差分画像の一例を示す図である。図10は、本実施の形態に係る差分画像の特定領域の一例を示す図である。 Hereinafter, the inspection process for the presence / absence of component mounting will be described. FIG. 4 is a block diagram of the inspection apparatus according to the present embodiment. FIG. 5 is a flowchart illustrating an example of the inspection process according to the present embodiment. FIG. 6 is a diagram illustrating an example of a pre-mounting image and a post-mounting image of components according to the present embodiment. FIG. 7 is a diagram illustrating an example of threshold setting processing according to the present embodiment. FIG. 8 is a diagram illustrating an example of a mask image according to the present embodiment. FIG. 9 is a diagram illustrating an example of a difference image according to the present embodiment. FIG. 10 is a diagram illustrating an example of the specific area of the difference image according to the present embodiment.
先ず、図4を参照して、検査装置60の制御構成について簡単に説明する。検査装置60は、部品撮像部48に接続されており、部品撮像部48で撮像された搭載前画像及び搭載後画像を取得可能に構成されている。検査装置60は、マッチング部61、閾値設定部62、マスク画像生成部63、差分画像生成部64、特定領域抽出部65、算出部66、判定部67を備えている。マッチング部61では、搭載前画像と搭載後画像の位置合わせのマッチング処理が実施される。閾値設定部62では、搭載前画像の輝度値から搭載面を識別可能な閾値の設定処理が実施される。
First, a control configuration of the
マスク画像生成部63では、閾値によって搭載前画像から載置面以外をマスクするマスク画像の生成処理が実施される。差分画像生成部64では、搭載前画像と搭載後画像から差分画像の生成処理が実施される。特定領域抽出部65では、差分画像からマスク画像で載置面に相当する特定領域の抽出処理が実施される。算出部66では、特定領域の各画素の差分二乗和の算出処理が実施される。判定部67では、算出結果と判定閾値とを比較することで部品の搭載有無の判定処理が実施される。なお、検査装置60は簡略して記載されたものであり、検査装置60が通常備える構成については備えているものとする。
In the mask
続いて、図5から図10を参照して、検査装置の検査処理の流れについて説明する。なお、図5のフローチャートの説明では、図4の各ブロックに付された符号を適宜使用して説明する。図5に示すように、検査装置60には、部品撮像部48から搭載前画像及び搭載後画像が入力される(ステップS01)。図6Aに示すように、搭載前画像は、部品Pの搭載前の基板Wが部品撮像部48で斜め上方から撮像されたモノクロ画像である。搭載前画像には、基板Wに印刷されたシルク71や、シルク71の内側に3つの電極パッド72が配設された載置面73が映されている。
Next, the flow of the inspection process of the inspection apparatus will be described with reference to FIGS. In the description of the flowchart in FIG. 5, the description will be made by appropriately using the reference numerals attached to the respective blocks in FIG. 4. As shown in FIG. 5, the pre-mounting image and the post-mounting image are input to the
図6Bに示すように、搭載後画像は、部品Pの搭載後の基板Wが部品撮像部48で斜め上方から撮像されたモノクロ画像である。搭載後画像には、基板Wの載置面73の電極パッド72上に載せられた部品Pが映されている。なお、モノクロ画像とは、無彩色又は有彩色の単色の濃淡で表された画像であり、グレースケールを含むものである。次に、マッチング部61にてマッチング処理が実施される(ステップS02)。マッチング処理では、部品Pの搭載時に生じる基板Wの反りや撓みを考慮して、搭載前画像と搭載後画像の位置合わせが実施される。
As shown in FIG. 6B, the post-mounting image is a monochrome image in which the board W after mounting the component P is imaged obliquely from above by the
次に、閾値設定部62にて閾値の設定処理が実施される(ステップS03)。図7に示すように、閾値の設定処理では、搭載前画像の輝度値毎の画素数を示すヒストグラムが生成され、ヒストグラムのピーク値に基づいて閾値が設定される。この場合、載置前画像は部品Pの搭載前の基板Wを撮像したものであるため、基板Wを示す画素で搭載前画像の大部分が占められている。よって、ヒストグラムのピーク値をとる輝度値が基板Wの平均的な輝度値を示していると考えられる。そして、このピーク値から所定輝度だけ高い輝度値に閾値が設定され、ヒストグラムの山の中腹を境に基板Wと基板W以外が識別される。 Next, threshold setting processing is performed by the threshold setting unit 62 (step S03). As shown in FIG. 7, in the threshold setting process, a histogram indicating the number of pixels for each luminance value of the pre-mounting image is generated, and the threshold is set based on the peak value of the histogram. In this case, since the pre-mounting image is an image of the substrate W before mounting the component P, most of the pre-mounting image is occupied by pixels indicating the substrate W. Therefore, it is considered that the luminance value that takes the peak value of the histogram indicates the average luminance value of the substrate W. Then, a threshold value is set to a luminance value higher than the peak value by a predetermined luminance, and the substrate W and the substrate other than the substrate W are identified on the border of the mountain of the histogram.
次に、マスク画像生成部63にてマスク画像の生成処理が実施される(ステップS04)。マスク画像の生成処理では、搭載前画像の各画素について、閾値以下の輝度値の画素が基板Wとして識別され、閾値よりも大きな輝度値の画素が基板W以外として識別される。そして、閾値以下の輝度値の画素が黒色にされ、閾値よりも大きな輝度値の画素が白色にされて、搭載前画像が白黒2諧調で二値化される。その後、図8に示すように、二値化画像に対してノイズカット及び白黒反転処理が施されて、搭載前画像から基板W以外をマスクするマスク画像が生成される。
Next, the mask
次に、差分画像生成部64にて差分画像の生成処理が実施される(ステップS05)。図9に示すように、差分画像の生成処理では、マッチング後の搭載前画像と搭載後画像の輝度差分の絶対値を取って差分画像が生成される。差分画像には、部品Pの搭載有無の他、搭載前画像と搭載後画像における電極パッド72の光沢75の違いが明確に現れている。この差分画像に対して判定ウインドウ69が設定されて、判定ウインドウ69内の輝度値に基づいて部品Pの搭載有無が判定されるが、電極パッド72の光沢75の影響が大きい。差分画像に残った電極パッド72の光沢75は、部品Pの搭載有無の誤判定の原因になる恐れがある。なお、判定ウインドウ69の大きさは部品Pの大きさに応じて設定される。
Next, the difference
次に、特定領域抽出部65にて特定領域の抽出処理が実施される(ステップS06)。図10に示すように、特定領域の抽出処理では、マスク画像を用いて判定ウインドウ69内の差分画像から載置面に相当する特定領域だけが抽出される。すなわち、判定ウインドウ69内の差分画像からマスク画像の白色の部分だけが抜き出される。これにより、判定ウインドウ69内に残った光沢75がマスク画像によって除去され、判定ウインドウ69内に部品Pだけが映される。なお、搭載後画像に部品Pが映っていない場合には、判定ウインドウ69内は真黒になる。
Next, a specific area extraction process is performed by the specific area extraction unit 65 (step S06). As shown in FIG. 10, in the specific area extraction process, only the specific area corresponding to the placement surface is extracted from the difference image in the
次に、算出部66にて差分二乗和の算出処理が実施される(ステップS07)。差分二乗和の算出処理では、特定領域の各画素の輝度値の二乗の合計が算出される。これにより、搭載前画像と搭載後画像の特定領域における輝度差が強調され、部品Pの搭載時と非搭載時とで算出結果の違いが明確になっている。この場合、部品Pのボディ部分に付された文字74の分だけ算出結果が高くなっている。また、特定領域からは光沢75(図10参照)を示す画素が取り除かれているため、光沢75の画素の輝度値によって算出結果が必要以上に高くなることがない。
Next, a calculation process of the sum of squared differences is performed in the calculation unit 66 (step S07). In the difference square sum calculation process, the sum of the squares of the luminance values of the pixels in the specific region is calculated. As a result, the luminance difference in the specific region between the pre-mounting image and the post-mounting image is emphasized, and the difference in the calculation result between when the component P is mounted and when it is not mounted becomes clear. In this case, the calculation result is higher by the amount of the
次に、判定部67にて部品Pの搭載有無の判定処理が実施される(ステップS08)。部品Pの搭載有無の判定処理では、算出部66による算出結果と予め設定された判定閾値とが比較される。算出結果が判定閾値以上であれば「部品あり」と判定され、算出結果が判定閾値よりも低ければ「部品なし」と判定される。本実施の形態では、特定領域に部品Pが映っているため、算出部66による算出結果が高くなって「部品あり」と判定される。このように、部品Pの搭載後にボディ部分が位置する領域に着目して、部品Pの搭載前後の輝度差分を求めることで、輝度差分が大きくなった分だけ判定が容易になっている。
Next, the
なお、上記の説明では、部品Pの搭載時に撮像した搭載前画像から基板識別用の閾値が設定されてマスク画像が生成される構成について説明したが、閾値の設定タイミングやマスク画像の生成タイミングは部品Pの搭載時に限定されない。例えば、事前に撮像された搭載前画像から閾値が設定されてマスク画像が生成されてもよい。すなわち、閾値の設定タイミング及びマスク画像の生成タイミングが部品Pの搭載前に設定されてもよい。上記のフローチャートは、あくまでも一例を示しており、適宜順番を入れ替えることは可能である。 In the above description, a configuration has been described in which a mask image is generated by setting a threshold for substrate identification from a pre-mounting image captured when the component P is mounted. However, the threshold setting timing and the mask image generation timing are as follows. It is not limited when the component P is mounted. For example, a mask image may be generated by setting a threshold value from a pre-mounting image captured in advance. That is, the threshold setting timing and the mask image generation timing may be set before the component P is mounted. The above flowchart shows an example to the last, and the order can be changed as appropriate.
以上のように、本実施の形態に係る検査装置60は、マスク画像によって基板W以外の領域がマスクされるため、搭載前画像と搭載後画像の載置面に相当する特定領域同士を比較する際に、基板W以外の電極パッド72の光沢75等の輝度の影響を受けることがない。また、ノイズカットのように画像全体の輝度がカットされることもないため、部品Pのボディ部分に薄い線や細い線で描かれた文字が除去されることがない。よって、搭載前画像と搭載後画像の特定領域同士を適切に比較することができ、簡易な処理により部品Pの搭載有無を高精度に検査することができる。
As described above, since the area other than the substrate W is masked by the mask image, the
なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。上記実施の形態において、添付図面に図示されている大きさや形状などについては、これに限定されず、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。 In addition, this invention is not limited to the said embodiment, It can change and implement variously. In the above-described embodiment, the size, shape, and the like illustrated in the accompanying drawings are not limited to this, and can be appropriately changed within a range in which the effect of the present invention is exhibited. In addition, various modifications can be made without departing from the scope of the object of the present invention.
例えば、本実施の形態において、搭載前画像と搭載後画像の差分画像からマスク画像で特定領域が抽出されて、特定領域の各画素の輝度値に対する差分二乗和によって部品Pの搭載有無が検査されたが、この構成に限定されない。部品Pの搭載有無は、マスク画像を用いて搭載前画像と搭載後画像の特定領域の比較によって検査されればよい。例えば、搭載前画像と搭載後画像のそれぞれからマスク画像で抽出された特定領域のマッチング処理(ステップS02)にて算出された相関値によって部品Pの搭載有無が検査されてもよい。 For example, in the present embodiment, a specific area is extracted with a mask image from the difference image between the pre-mounting image and the post-mounting image, and whether or not the component P is mounted is inspected by the sum of squares of the difference between the luminance values of the pixels in the specific area. However, it is not limited to this configuration. The presence / absence of the component P may be inspected by comparing specific areas of the pre-mounting image and the post-mounting image using the mask image. For example, the presence / absence of mounting of the component P may be inspected based on the correlation value calculated in the matching process (step S02) of the specific area extracted from the pre-mounting image and the post-mounting image with the mask image.
また、本実施の形態において、検査装置60が実装装置1に備えられている構成について説明したが、この構成に限定されない。検査装置60は、部品の搭載有無の検査が必要な加工装置に備えられていればよい。また、検査装置60は、実装装置1とは別体の検査専用の装置でもよい。
Moreover, in this Embodiment, although the structure with which the
また、本実施の形態において、撮像装置としての部品撮像部48が斜め上方から基板Wを撮像する構成にしたが、この構成に限定されない。撮像装置は搭載前画像と搭載後画像を比較可能に撮像できればよく、例えば、真上から基板Wを撮像してもよい。上述した、ヘッド本体41に設けた基板W上のBOCマークを真上から撮像する基板撮像部を用いて撮像してもよい。なお、斜め上方から基板Wを撮像する部品撮像部48は、部品搭載直後ヘッド本体41が移動することなく、基板に搭載された電子部品周辺の画像を撮像することができるようにその撮影領域が設定されている。
Moreover, in this Embodiment, although the
また、本実施の形態において、搭載前画像及び搭載後画像がモノクロ画像で撮像されたが、この構成に限定されない。搭載前画像及び搭載後画像はカラー画像で撮像されてもよい。閾値設定部62によって基板Wの色(例えば、緑色)を指定して、この指定色の輝度値(緑色の強さ)から搭載前画像内の基板Wを識別可能な閾値が設定される。そして、特定領域の指定色の輝度差に基づいて部品Pの搭載有無が検査される。この場合、部品Pと基板Wとが異なる色の場合には、部品Pの有無によって差分値が大きくなるため、特定領域に対する差分二乗和を省略することもできる。
In the present embodiment, the pre-mounting image and the post-mounting image are captured as monochrome images, but the present invention is not limited to this configuration. The pre-mounting image and post-mounting image may be captured as color images. The
また、本実施の形態において、閾値設定部62が搭載前画像の輝度値毎の画素数を示すヒストグラムのピーク値よりも所定輝度だけ高い輝度値に基板識別用の閾値を設定したが、この構成に限定されない。閾値設定部62は、ヒストグラムを基板Wと基板W以外とに識別可能な輝度値に閾値を設定していればよい。例えば、白色基板の場合には、閾値設定部62は、ヒストグラムのピーク値よりも所定輝度よりも低い輝度値に閾値を設定して、閾値以上の輝度値の画素を基板Wとして識別し、閾値よりも小さな輝度値の画素を基板W以外として識別してもよい。
In the present embodiment, the
また、本実施の形態において、閾値設定部62がヒストグラムから基板識別用の閾値を設定する構成にしたが、この構成に限定されない。閾値設定部62は、搭載前画像の輝度値に基づいて閾値を設定していればよく、搭載前画像からヒストグラムを生成しなくてもよい。
In the present embodiment, the
また、本実施の形態において、判定部67が特定領域の各画素の輝度値に対する差分二乗和の算出結果に基づいて、部品Pの搭載有無を判定する構成にしたが、この構成に限定されない。判定部67は、特定領域の輝度値に基づいて部品Pの搭載有無を判定する構成であればよい。例えば、判定部67は、特定領域の各画素の輝度値の合計で部品Pの搭載有無を判定してもよいし、特定領域の各画素の輝度値に対する差分三乗和の算出結果で部品Pの搭載有無を判定してもよい。
In the present embodiment, the
また、本実施の形態において、基板Wは、プリント基板に限定されず、治具基板上に載せられたフレキシブル基板であってもよい。 Moreover, in this Embodiment, the board | substrate W is not limited to a printed circuit board, The flexible substrate mounted on the jig | tool board | substrate may be sufficient.
さらに、本発明のプログラムは、上記の検査方法を検査装置に実行させることを特徴としている。これに加えて、既存の検査プログラムのリトライ処理として追加しても良い。例えば既存の検査処理で「搭載無し」判定が発生した場合に、本発明のプログラムを実行させることで更に検査精度を高めることが出来る。リトライ処理の実施有無は部品サイズや形状などにより自動で選択しても良いし、ユーザが自由に設定できる構成でも良い。 Furthermore, a program according to the present invention is characterized by causing an inspection apparatus to execute the above inspection method. In addition to this, it may be added as a retry process of an existing inspection program. For example, when the “no mounting” determination occurs in the existing inspection process, the inspection accuracy can be further improved by executing the program of the present invention. Whether or not the retry process is performed may be automatically selected according to the component size or shape, or may be configured so that the user can freely set it.
以上説明したように、本発明は、簡易な処理により、基板に対する部品の搭載有無を高精度に検査することができるという効果を有し、特に、部品のボディ部分に薄線や細線で文字が描かれた部品の搭載有無を検査する検査装置、実装装置、検査方法及びプログラムに有用である。 As described above, the present invention has an effect that it is possible to inspect the presence / absence of mounting of a component on a substrate with a high degree of accuracy by a simple process. The present invention is useful for an inspection apparatus, a mounting apparatus, an inspection method, and a program for inspecting whether or not a drawn component is mounted.
1 実装装置
40 実装ヘッド
48 部品撮像部(撮像装置)
60 検査装置
62 閾値設定部
63 マスク画像生成部
64 差分画像生成部
65 特定領域抽出部
73 載置面
74 文字
75 光沢
P 部品
W 基板
DESCRIPTION OF
DESCRIPTION OF
Claims (7)
前記搭載前画像の輝度値から前記基板を識別可能な閾値を設定する閾値設定部と、
前記閾値によって前記搭載前画像から前記基板以外をマスクするマスク画像を生成するマスク画像生成部とを備え、
前記マスク画像を用いて前記搭載前画像及び前記搭載後画像の前記基板の前記載置面に相当する特定領域を比較することで、前記部品の搭載有無を検査することを特徴とする検査装置。 An inspection apparatus for inspecting the presence / absence of mounting of the component from the pre-mounting image and post-mounting image of the component obtained by imaging before and after mounting of the component on the mounting surface of the substrate,
A threshold setting unit for setting a threshold capable of identifying the substrate from the luminance value of the pre-mounting image;
A mask image generation unit that generates a mask image for masking other than the substrate from the pre-mounting image by the threshold value,
An inspection apparatus for inspecting whether or not the component is mounted by comparing a specific area corresponding to the placement surface of the substrate in the pre-mounting image and the post-mounting image using the mask image.
前記差分画像から前記マスク画像で前記特定領域を抽出する特定領域抽出部とを備え、
前記特定領域の輝度値に基づいて、前記部品の搭載有無を検査することを特徴とする請求項1に記載の検査装置。 A difference image generation unit that generates a difference image from the pre-mounting image and the post-mounting image;
A specific area extraction unit that extracts the specific area with the mask image from the difference image,
The inspection apparatus according to claim 1, wherein the presence or absence of the component is inspected based on a luminance value of the specific area.
前記搭載面に対して前記部品を搭載する実装ヘッドと、
前記実装ヘッドによる部品の搭載前後を撮像する撮像装置とを備えたことを特徴とする実装装置。 The inspection apparatus according to any one of claims 1 to 4,
A mounting head for mounting the component on the mounting surface;
A mounting apparatus comprising: an imaging device that images before and after mounting of a component by the mounting head.
前記搭載前画像の輝度値から前記基板を識別可能な閾値を設定するステップと、
前記閾値によって前記搭載前画像から前記基板以外をマスクするマスク画像を生成するステップと、
前記マスク画像を用いて前記搭載前画像及び前記搭載後画像の前記基板の前記載置面に相当する特定領域を比較することで、前記部品の搭載有無を検査するステップとを有することを特徴とする検査方法。 An inspection method for inspecting the presence / absence of mounting of the component from the pre-mounting image and the post-mounting image of the component obtained by imaging before and after mounting of the component on the mounting surface of the substrate,
Setting a threshold capable of identifying the substrate from the luminance value of the pre-mounting image;
Generating a mask image for masking other than the substrate from the pre-mounting image by the threshold;
A step of inspecting whether or not the component is mounted by comparing a specific area corresponding to the mounting surface of the substrate in the pre-mounting image and the post-mounting image using the mask image. Inspection method to do.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155705A JP6738583B2 (en) | 2015-08-06 | 2015-08-06 | Inspection device, mounting device, inspection method, and program |
CN201610639662.2A CN106455478B (en) | 2015-08-06 | 2016-08-05 | Inspection apparatus, mounting apparatus, and inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155705A JP6738583B2 (en) | 2015-08-06 | 2015-08-06 | Inspection device, mounting device, inspection method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017034202A true JP2017034202A (en) | 2017-02-09 |
JP6738583B2 JP6738583B2 (en) | 2020-08-12 |
Family
ID=57987327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015155705A Active JP6738583B2 (en) | 2015-08-06 | 2015-08-06 | Inspection device, mounting device, inspection method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6738583B2 (en) |
CN (1) | CN106455478B (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018207023A (en) * | 2017-06-08 | 2018-12-27 | Juki株式会社 | Inspection apparatus, mounting apparatus, and inspection method |
CN113545185A (en) * | 2019-03-14 | 2021-10-22 | 株式会社富士 | Object determination method and object determination device |
WO2023248281A1 (en) * | 2022-06-20 | 2023-12-28 | 株式会社Fuji | Inspection device, mounting device, and inspection method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196642A (en) * | 2001-12-25 | 2003-07-11 | Aisin Aw Co Ltd | Image processing noise removing device and method |
JP2004053369A (en) * | 2002-07-18 | 2004-02-19 | Nidec Copal Corp | Implemented component inspection method |
JP2012039096A (en) * | 2010-07-13 | 2012-02-23 | Fuji Mach Mfg Co Ltd | Device and method for determining presence/absence of component |
JP2015079933A (en) * | 2013-09-10 | 2015-04-23 | Juki株式会社 | Inspection method, mounting method, and mounting device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5925540B2 (en) * | 2012-03-16 | 2016-05-25 | Juki株式会社 | Electronic component mounting equipment |
-
2015
- 2015-08-06 JP JP2015155705A patent/JP6738583B2/en active Active
-
2016
- 2016-08-05 CN CN201610639662.2A patent/CN106455478B/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196642A (en) * | 2001-12-25 | 2003-07-11 | Aisin Aw Co Ltd | Image processing noise removing device and method |
JP2004053369A (en) * | 2002-07-18 | 2004-02-19 | Nidec Copal Corp | Implemented component inspection method |
JP2012039096A (en) * | 2010-07-13 | 2012-02-23 | Fuji Mach Mfg Co Ltd | Device and method for determining presence/absence of component |
JP2015079933A (en) * | 2013-09-10 | 2015-04-23 | Juki株式会社 | Inspection method, mounting method, and mounting device |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018207023A (en) * | 2017-06-08 | 2018-12-27 | Juki株式会社 | Inspection apparatus, mounting apparatus, and inspection method |
CN113545185A (en) * | 2019-03-14 | 2021-10-22 | 株式会社富士 | Object determination method and object determination device |
EP3941176A4 (en) * | 2019-03-14 | 2022-04-06 | FUJI Corporation | Object determination method and object determination device |
CN113545185B (en) * | 2019-03-14 | 2022-11-25 | 株式会社富士 | Object determination method and object determination device |
WO2023248281A1 (en) * | 2022-06-20 | 2023-12-28 | 株式会社Fuji | Inspection device, mounting device, and inspection method |
Also Published As
Publication number | Publication date |
---|---|
CN106455478A (en) | 2017-02-22 |
CN106455478B (en) | 2020-07-14 |
JP6738583B2 (en) | 2020-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6389651B2 (en) | Inspection method, mounting method, and mounting apparatus | |
CN107124865B (en) | Inspection apparatus, mounting apparatus, and inspection method | |
US7545514B2 (en) | Pick and place machine with improved component pick image processing | |
CN109040537B (en) | Inspection device, mounting device, and inspection method | |
KR102534983B1 (en) | Apparatus and method for detecting attitude of electronic component | |
JPWO2016203638A1 (en) | Component mounting apparatus and component mounting method | |
CN107926154B (en) | Component mounting apparatus | |
JP6706717B2 (en) | Transfer status inspection system and component mounter | |
CN106455478B (en) | Inspection apparatus, mounting apparatus, and inspection method | |
JP4883636B2 (en) | Electronic component orientation inspection apparatus, electronic component orientation inspection method, and electronic component placement machine | |
JPWO2017081773A1 (en) | Image processing apparatus and image processing method for substrate | |
JP2019036015A (en) | Surface mounting machine | |
US10069042B2 (en) | Light-emitting components containing body, manufacturing method of light-emitting components containing body, components mounting apparatus, components mounting method, and components mounting system | |
WO2018235186A1 (en) | Apparatus for performing work on substrate | |
JP6466960B2 (en) | Mounting machine and electronic component suction posture inspection method using mounting machine | |
US20220151120A1 (en) | Correction amount calculating device and correction amount calculating method | |
JP6904978B2 (en) | Parts mounting machine | |
CN109644585B (en) | Component mounting apparatus and position recognition method | |
JP2017130592A (en) | Component data handling device, component data handling method, and component mounting system | |
JP7097504B2 (en) | Object determination method, object determination device | |
CN110678060B (en) | Image processing apparatus, mounting apparatus, image processing method, and storage medium | |
KR101779020B1 (en) | Method for mounting components | |
JP2013011569A (en) | Displacement amount identification device, displacement amount identification method, and displacement amount identification program | |
JP2018014516A (en) | Component mounting device and component mounting method | |
JP6751567B2 (en) | Electronic component inspection method, electronic component mounting method, and electronic component mounting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6738583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |