JP7257514B2 - Component mounting system and learning device - Google Patents

Component mounting system and learning device Download PDF

Info

Publication number
JP7257514B2
JP7257514B2 JP2021529658A JP2021529658A JP7257514B2 JP 7257514 B2 JP7257514 B2 JP 7257514B2 JP 2021529658 A JP2021529658 A JP 2021529658A JP 2021529658 A JP2021529658 A JP 2021529658A JP 7257514 B2 JP7257514 B2 JP 7257514B2
Authority
JP
Japan
Prior art keywords
component
board
learning
mounting
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021529658A
Other languages
Japanese (ja)
Other versions
JPWO2021001996A1 (en
Inventor
光孝 稲垣
茂人 大山
春菜 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2021001996A1 publication Critical patent/JPWO2021001996A1/ja
Application granted granted Critical
Publication of JP7257514B2 publication Critical patent/JP7257514B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

本明細書は、部品実装システムについて開示する。 This specification discloses a component mounting system.

従来より、１台又は複数台の部品実装機を含む部品実装ラインと、部品実装ラインの基板搬出側に設置され回路基板に実装した各部品の実装状態の良否を判定する外観検査装置と、部品実装ラインのネットワークに接続され学習処理に用いる教師データの収集及び学習を行なう学習用コンピュータと、を備える部品実装システムが提案されている（例えば、特許文献１参照）。各部品実装機の制御装置は、生産中に撮像対象を撮像した低解像度画像から高解像度画像を推定する再構成型超解像処理部と、生産中に学習用コンピュータの学習処理の学習結果に基づいて部品を撮像した低解像度画像から高解像度画像を推定する学習型超解像処理部とを有する。各部品実装機の制御装置は、学習用コンピュータの学習処理が完了するまでは再構成型超解像処理により高解像度画像を推定すると共に推定した高解像度画像を処理して部品を認識する。一方、各部品実装機の制御装置は、学習用コンピュータの学習処理が完了した後は、学習型超解像処理に切り替えて高解像度画像を推定すると共に推定した高解像度画像を処理して部品を認識する。また、各部品実装機の制御装置は、学習型超解像処理の実行期間中に、教師データの学習結果を更新する必要があると判断したときに、再構成型超解像処理に切り替えて高解像度画像を推定すると共に、学習結果の更新要求を学習用コンピュータへ送信する。そして、各部品実装機の制御装置は、更新要求を受信した学習用コンピュータが教師データを再収集すると共に再学習して教師データの学習結果を更新してその学習処理を完了すると、再構成型超解像処理から学習型超解像処理に切り替える。 Conventionally, a component mounting line including one or more component mounters, a visual inspection apparatus installed on the board unloading side of the component mounting line and determining the quality of the mounting state of each component mounted on the circuit board, and a component A component mounting system has been proposed that includes a learning computer that is connected to a network of mounting lines and that collects teacher data used in learning processing and performs learning (see, for example, Patent Document 1). The controller of each component mounter consists of a reconstruction super-resolution processing unit that estimates a high-resolution image from low-resolution images of the object to be imaged during production, and a learning computer that uses the learning results of the learning process during production. a learning-type super-resolution processing unit for estimating a high-resolution image from a low-resolution image obtained by imaging the part based on the learning type super-resolution processing unit. The control device of each mounter estimates a high-resolution image by reconstruction-type super-resolution processing and processes the estimated high-resolution image to recognize the component until the learning processing of the learning computer is completed. On the other hand, after the learning processing of the learning computer is completed, the control device of each component mounter switches to learning-type super-resolution processing, estimates a high-resolution image, and processes the estimated high-resolution image to determine the component. recognize. In addition, when the control device of each mounter determines that it is necessary to update the learning result of the teacher data during the execution period of the learning-type super-resolution processing, it switches to the reconstruction-type super-resolution processing. A high-resolution image is estimated, and a learning result update request is sent to the learning computer. Then, when the learning computer that received the update request re-collects the teacher data and re-learns to update the learning result of the teacher data and completes the learning process, the control device of each component mounter completes the learning process. Switch from super-resolution processing to learning-type super-resolution processing.

特開２０１８－９７７３１号公報JP 2018-97731 A

ところで、部品実装システムにおいて、実装動作を行なった後の基板（部品実装後基板）を撮像し、その撮像画像において部品を認識する画像処理を行なうことで当該部品実装後基板の検査を行なう場合、部品実装後基板の品質を確保するために、当該検査は適切に行なわれなければならない。 By the way, in a component mounting system, when an image of a board after a mounting operation (component-mounted board) is captured and image processing is performed to recognize components in the captured image, the component-mounted board is inspected. The inspection must be properly performed in order to ensure the quality of the board after component mounting.

本開示は、教師データに基づいて機械学習により生成される学習データを用いて部品実装後基板の撮像画像に画像処理を施して当該部品実装後基板の検査を行なう場合に、当該検査を適切に行なって部品実装後基板の品質を確保することを主目的とする。 In the present disclosure, when performing image processing on a captured image of a board after component mounting using learning data generated by machine learning based on teacher data, and inspecting the board after component mounting, the inspection can be performed appropriately. The main purpose is to ensure the quality of the printed circuit board after component mounting.

本開示は、上述の主目的を達成するために以下の手段を採った。 The present disclosure has taken the following means to achieve the above-mentioned main objectives.

本開示の部品実装システムは、
基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、
部品を実装する実装動作を行なう前の部品実装前基板と前記実装動作を行なった後の部品実装後基板とを前記撮像装置で撮像し、前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する学習装置と、
前記部品実装後基板を前記撮像装置で撮像し、前記部品検査用の学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なう検査装置と、
を備えることを要旨とする。The component mounting system of the present disclosure includes:
A component mounting system comprising a plurality of component mounters arranged in a substrate conveying direction and each having an imaging device for imaging the substrate,
The imaging device captures an image of the pre-component mounting board before performing the mounting operation for mounting the component and the post-component mounting board after performing the mounting operation, and machine learning is performed based on the captured images of the pre-component mounting board. and acquiring teacher data based on the captured image of the board after component mounting, and performing machine learning based on the acquired teacher data and the captured image of the board after component mounting to generate learning data for component inspection. a learning device;
The component-mounted board is imaged by the imaging device, and image processing is performed to recognize components in the captured image of the component-mounted board using the learning data for component inspection, thereby inspecting the component-mounted board. an inspection device to perform;
The gist is to provide

この本開示の部品実装システムは、学習装置と検査装置とを備える。学習装置は、部品実装前基板と部品実装後基板とを撮像し、部品実装前基板の撮像画像に基づいて機械学習を行ない、部品実装後基板の撮像画像に基づく教師データを取得すると共に取得した教師データと部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する。検査装置は、部品実装後基板を撮像し、部品検査用の学習データを用いて部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで部品実装後基板の検査を行なう。このように、部品実装前基板および部品実装後基板のそれぞれの撮像画像に基づいて部品検査用の学習データを生成することで、部品実装後基板の撮像画像から部品を認識する際の認識精度を高めることができる。この結果、部品実装後基板の検査を適切に行なってその品質を確保することができる。 The component mounting system of the present disclosure includes a learning device and an inspection device. The learning device images the board before component mounting and the board after component mounting, performs machine learning based on the captured image of the board before component mounting, and acquires teacher data based on the captured image of the board after component mounting. Machine learning is performed based on the teacher data and the captured image of the board after component mounting to generate learning data for component inspection. The inspection apparatus picks up an image of the board after component mounting, and performs image processing for recognizing the component in the picked-up image of the board after component mounting using learning data for component inspection, thereby inspecting the board after component mounting. In this way, by generating the learning data for component inspection based on the imaged images of the board before component mounting and the board after component mounting, the recognition accuracy when recognizing the component from the imaged image of the board after component mounting is improved. can be enhanced. As a result, it is possible to appropriately inspect the board after component mounting and ensure its quality.

本実施形態の部品実装システム１の構成の概略を示す構成図である。1 is a configuration diagram showing an outline of the configuration of a component mounting system 1 of this embodiment; FIG. 部品実装機１０の外観斜視図である。1 is an external perspective view of a component mounter 10. FIG. 部品実装機１０の制御装置６０と管理装置８０との電気的な接続関係を示す説明図である。3 is an explanatory diagram showing an electrical connection relationship between a control device 60 and a management device 80 of the mounter 10; FIG. 部品実装処理の一例を示すフローチャートである。6 is a flowchart showing an example of component mounting processing; 学習処理の一例を示すフローチャートである。6 is a flowchart showing an example of learning processing; 再学習実行条件成否判定処理の一例を示すフローチャートである。It is a flow chart which shows an example of re-learning execution condition success/failure determination processing. 検査処理の一例を示すフローチャートである。6 is a flowchart showing an example of inspection processing; 変形例の学習処理を示すフローチャートである。It is a flowchart which shows the learning process of a modification. 追加学習実行条件成否判定処理の一例を示すフローチャートである。9 is a flowchart showing an example of additional learning execution condition success/failure determination processing;

次に、本開示の発明を実施するための形態について図面を参照しながら説明する。 Next, embodiments for implementing the invention of the present disclosure will be described with reference to the drawings.

図１は、本実施形態の部品実装システム１の構成の概略を示す構成図である。図２は、部品実装機１０の外観斜視図である。図３は、部品実装機１０の制御装置６０と管理装置８０との電気的な接続関係を示す説明図である。なお、図１，２中、左右方向をＸ軸方向とし、前後方向をＹ軸方向とし、上下方向をＺ軸方向とする。 FIG. 1 is a configuration diagram showing an outline of the configuration of a component mounting system 1 of this embodiment. FIG. 2 is an external perspective view of the component mounter 10. FIG. FIG. 3 is an explanatory diagram showing an electrical connection relationship between the control device 60 and the management device 80 of the mounter 10. As shown in FIG. 1 and 2, the horizontal direction is the X-axis direction, the front-rear direction is the Y-axis direction, and the vertical direction is the Z-axis direction.

部品実装システム１は、図１に示すように、印刷機２と、印刷検査機３と、複数台（例えば５台）の部品実装機１０と、システム全体を管理する管理装置８０と、を備える。印刷機２は、基板Ｓ上にはんだを印刷して回路パターンを形成する。印刷検査機３は、印刷機２で印刷されたはんだの状態を検査する。複数の部品実装機１０は、部品を基板に実装する実装動作を行なうと共に基板に部品が実装されたか否かの実装検査を行なう。印刷機２と印刷検査機３と複数の部品実装機１０とは、基板Ｓの搬送方向に並べて設置されて生産ラインを構成する。 As shown in FIG. 1, the component mounting system 1 includes a printer 2, a print inspection machine 3, a plurality of (for example, five) component mounters 10, and a management device 80 that manages the entire system. . The printer 2 prints solder on the board S to form a circuit pattern. A print inspection machine 3 inspects the state of solder printed by the printer 2 . A plurality of component mounters 10 perform a mounting operation for mounting components on a board, and perform a mounting inspection to determine whether or not the components have been mounted on the board. The printing machine 2, the printing inspection machine 3, and the plurality of component mounters 10 are arranged side by side in the transport direction of the board S to form a production line.

部品実装機１０は、図２に示すように、部品を供給する部品供給装置２１と、基板を搬送する基板搬送装置２２と、部品を吸着する吸着ノズルを有するヘッド４０と、ヘッド４０をＸ軸方向およびＹ軸方向に移動させるヘッド移動装置３０と、実装機全体をコントロールする制御装置６０（図３参照）と、を備える。また、部品実装機１０は、これらの他に、吸着ノズルに吸着させた部品の吸着姿勢を撮像するためのパーツカメラ２３や、交換用の吸着ノズルを収容するノズルステーション２４、基板Ｓを撮像するためのマークカメラ４３なども備えている。 As shown in FIG. 2, the component mounter 10 includes a component supply device 21 for supplying components, a board transfer device 22 for transferring a board, a head 40 having a suction nozzle for sucking components, and the head 40 on the X axis. A head moving device 30 for moving in the direction and the Y-axis direction, and a control device 60 (see FIG. 3) for controlling the entire mounter are provided. In addition to these components, the component mounter 10 also captures images of a parts camera 23 for capturing an image of the pickup posture of a component picked up by the pickup nozzle, a nozzle station 24 housing a replacement pickup nozzle, and the board S. A mark camera 43 and the like for the purpose are also provided.

部品供給装置２１は、例えば、所定間隔で部品を収容したキャリアテープが巻回されたテープリールと、駆動モータの駆動によりテープリールからキャリアテープを引き出して部品供給位置まで送り出すテープ送り機構と、を備えるテープフィーダとして構成される。この部品供給装置２１（テープフィーダ）は、部品実装機１０が備える図示しないフィーダ台に着脱可能に取り付けられる。 The component supply device 21 includes, for example, a tape reel on which a carrier tape containing components is wound at predetermined intervals, and a tape feeding mechanism that pulls out the carrier tape from the tape reel by driving a drive motor and feeds the carrier tape to a component supply position. configured as a tape feeder comprising: This component supply device 21 (tape feeder) is detachably attached to a feeder table (not shown) provided in the component mounter 10 .

基板搬送装置２２は、Ｙ軸方向に間隔を空けて配置される一対のコンベアレールを備えており、一対のコンベアレールを駆動することにより基板を図１の左から右（基板搬送方向）へと搬送する。 The substrate transfer device 22 has a pair of conveyor rails spaced apart in the Y-axis direction. By driving the pair of conveyor rails, the substrate is transferred from left to right in FIG. 1 (substrate transfer direction). transport.

ヘッド移動装置３０は、図２に示すように、一対のＸ軸ガイドレール３１と、Ｘ軸スライダ３２と、Ｘ軸アクチュエータ３３（図３参照）と、一対のＹ軸ガイドレール３５と、Ｙ軸スライダ３６と、Ｙ軸アクチュエータ３７（図３参照）と、を備える。一対のＹ軸ガイドレール３５は、Ｙ軸方向に互いに平行に延在するように筐体１１の上段に設置される。Ｙ軸スライダ３６は、一対のＹ軸ガイドレール３５に架け渡され、Ｙ軸アクチュエータ３７の駆動によりＹ軸ガイドレール３５に沿ってＹ軸方向に移動する。一対のＸ軸ガイドレール３１は、Ｘ軸方向に互いに平行に延在するようにＹ軸スライダ３６の下面に設置される。Ｘ軸スライダ３２は、一対のＸ軸ガイドレール３１に架け渡され、Ｘ軸アクチュエータ３３の駆動によりＸ軸ガイドレール３１に沿ってＸ軸方向に移動する。Ｘ軸スライダ３２にはヘッド４０が取り付けられており、ヘッド移動装置３０は、Ｘ軸スライダ３２とＹ軸スライダ３６とを移動させることで、ヘッド４０をＸ軸方向とＹ軸方向とに移動させる。 2, the head moving device 30 includes a pair of X-axis guide rails 31, an X-axis slider 32, an X-axis actuator 33 (see FIG. 3), a pair of Y-axis guide rails 35, a Y-axis It has a slider 36 and a Y-axis actuator 37 (see FIG. 3). A pair of Y-axis guide rails 35 are installed on the upper stage of the housing 11 so as to extend parallel to each other in the Y-axis direction. The Y-axis slider 36 is bridged over a pair of Y-axis guide rails 35 and is moved in the Y-axis direction along the Y-axis guide rails 35 by driving the Y-axis actuator 37 . A pair of X-axis guide rails 31 are installed on the lower surface of the Y-axis slider 36 so as to extend parallel to each other in the X-axis direction. The X-axis slider 32 is bridged over a pair of X-axis guide rails 31 and moves in the X-axis direction along the X-axis guide rails 31 by driving the X-axis actuator 33 . A head 40 is attached to the X-axis slider 32, and the head moving device 30 moves the X-axis slider 32 and the Y-axis slider 36 to move the head 40 in the X-axis direction and the Y-axis direction. .

ヘッド４０は、吸着ノズルをＺ軸（上下）方向に移動させるＺ軸アクチュエータ４１（図３参照）と、吸着ノズルをＺ軸周りに回転させるθ軸アクチュエータ４２（図３参照）とを備える。ヘッド４０は、吸着ノズルの吸引口に負圧源を連通させることで、吸引口に負圧を作用させて部品を吸着することができる。また、ヘッド４０は、吸着ノズルの吸引口に正圧源を連通させることで、吸引口に正圧を作用させて部品の吸着を解除することができる。 The head 40 includes a Z-axis actuator 41 (see FIG. 3) that moves the suction nozzle in the Z-axis (vertical) direction, and a θ-axis actuator 42 (see FIG. 3) that rotates the suction nozzle around the Z-axis. By connecting a negative pressure source to the suction port of the suction nozzle, the head 40 can apply negative pressure to the suction port to suck the component. In addition, the head 40 can release the suction of the component by applying a positive pressure to the suction port by communicating the suction port of the suction nozzle with a positive pressure source.

制御装置６０は、図３に示すように、ＣＰＵ６１を中心としたマイクロプロセッサとして構成されており、ＣＰＵ６１の他に、ＲＯＭ６２と、ＨＤＤ６３と、ＲＡＭ６４と、入出力インタフェース６５とを備える。これらは、バス６６を介して電気的に接続されている。制御装置６０には、Ｘ軸スライダ３２の位置を検知するＸ軸位置センサ３４からの位置信号や、Ｙ軸スライダ３６の位置を検知するＹ軸位置センサ３８からの位置信号、マークカメラ４３からの画像信号、パーツカメラ２３からの画像信号などが入出力インタフェース６５を介して入力されている。一方、制御装置６０からは、部品供給装置２１への制御信号や、基板搬送装置２２への制御信号、Ｘ軸アクチュエータ３３への駆動信号、Ｙ軸アクチュエータ３７への駆動信号、Ｚ軸アクチュエータ４１への駆動信号、θ軸アクチュエータ４２への駆動信号、パーツカメラ２３への制御信号、マークカメラ４３への制御信号などが入出力インタフェース６５を介して出力されている。また、制御装置６０は、管理装置８０と双方向通信可能に接続されており、互いにデータや制御信号のやり取りを行っている。 As shown in FIG. 3 , the control device 60 is configured as a microprocessor centered around a CPU 61 , and includes a ROM 62 , an HDD 63 , a RAM 64 and an input/output interface 65 in addition to the CPU 61 . These are electrically connected via a bus 66 . The controller 60 receives a position signal from the X-axis position sensor 34 that detects the position of the X-axis slider 32, a position signal from the Y-axis position sensor 38 that detects the position of the Y-axis slider 36, and a position signal from the mark camera 43. An image signal, an image signal from the parts camera 23 and the like are input via the input/output interface 65 . On the other hand, from the control device 60 , a control signal to the component supply device 21 , a control signal to the substrate transfer device 22 , a drive signal to the X-axis actuator 33 , a drive signal to the Y-axis actuator 37 , a drive signal to the Z-axis actuator 41 , a drive signal to the .theta.-axis actuator 42, a control signal to the parts camera 23, a control signal to the mark camera 43, and the like are output via the input/output interface 65. FIG. Also, the control device 60 is connected to the management device 80 so as to be capable of two-way communication, and exchanges data and control signals with each other.

管理装置８０は、例えば、汎用のコンピュータであり、図３に示すように、ＣＰＵ８１とＲＯＭ８２とＨＤＤ８３とＲＡＭ８４と入出力インタフェース８５などを備える。これらは、バス８６を介して電気的に接続されている。この管理装置８０には、マウスやキーボード等の入力デバイス８７から入力信号が入出力インタフェース８５を介して入力されている。また、管理装置８０からは、ディスプレイ８８への画像信号が入出力インタフェース８５を介して出力されている。ＨＤＤ８３は、基板Ｓの生産ジョブを記憶している。ここで、基板Ｓの生産ジョブには、各部品実装機１０においてどの部品をどの順番で基板Ｓへ実装するか、また、そのように部品を実装した基板Ｓを何枚作製するかなどの生産スケジュールが含まれる。管理装置８０は、オペレータが入力デバイス８７を介して入力したデータに基づいて生産ジョブを生成し、生成した生産ジョブを各部品実装機１０へ送信することで、各部品実装機１０に対して生産の開始を指示する。 The management device 80 is, for example, a general-purpose computer, and as shown in FIG. These are electrically connected via a bus 86 . An input signal is input to the management device 80 from an input device 87 such as a mouse or a keyboard via an input/output interface 85 . An image signal to a display 88 is output from the management device 80 via an input/output interface 85 . The HDD 83 stores production jobs for substrates S. FIG. Here, the production job of the board S includes information such as which components are to be mounted on the board S in what order in each mounter 10, and how many boards S on which the components are mounted in that manner are to be manufactured. Includes schedule. The management device 80 generates a production job based on the data input by the operator via the input device 87, and transmits the generated production job to each component mounter 10, thereby allowing each component mounter 10 to perform production. to start

次に、こうして構成された本実施形態の部品実装システム１における部品実装機１０の動作について説明する。特に、部品を基板Ｓに実装すると共に実装した部品の実装状態を検査する際の動作について説明する。図４は、制御装置６０のＣＰＵ６１により実行される部品実装処理の一例を示すフローチャートである。この処理は、管理装置８０から生産ジョブを伴って生産開始が指示されたときに実行される。制御装置６０は、生産開始が指示されると、管理装置８０から受信した生産ジョブに従って部品実装処理を行なう。 Next, the operation of the component mounter 10 in the component mounting system 1 of this embodiment configured as described above will be described. In particular, the operation of mounting components on the board S and inspecting the mounting state of the mounted components will be described. FIG. 4 is a flowchart showing an example of component mounting processing executed by the CPU 61 of the control device 60. As shown in FIG. This process is executed when the management device 80 instructs to start production with a production job. When instructed to start production, control device 60 performs component mounting processing according to the production job received from management device 80 .

部品実装処理が実行されると、制御装置６０のＣＰＵ６１は、まず、基板Ｓが搬入されるよう基板搬送装置２２を制御する（ステップＳ１００）。続いて、ＣＰＵ６１は、後述する学習処理が実行中であるか否かを判定し（ステップＳ１１０）、学習処理が実行中であると判定すると、搬入した基板Ｓの上方にマークカメラ４３が来るようヘッド移動装置３０を制御すると共に当該基板Ｓを撮像するようマークカメラ４３を制御して（ステップＳ１２０）、ステップＳ１３０に進む。これにより、部品が実装される前の基板の画像（部品実装前基板画像）が取得される。一方、ＣＰＵ６１は、学習処理が実行中でない（学習済み）と判定すると、ステップＳ１２０をスキップして、ステップＳ１３０に進む。 When the component mounting process is executed, the CPU 61 of the control device 60 first controls the board transfer device 22 so that the board S is carried in (step S100). Subsequently, the CPU 61 determines whether or not a learning process, which will be described later, is being executed (step S110). The head moving device 30 is controlled and the mark camera 43 is controlled so as to image the substrate S (step S120), and the process proceeds to step S130. As a result, an image of the board before components are mounted (board image before component mounting) is acquired. On the other hand, when the CPU 61 determines that the learning process is not being executed (learned), it skips step S120 and proceeds to step S130.

次に、ＣＰＵ６１は、部品供給装置２１の部品供給位置の上方に吸着ノズルが来るようにヘッド移動装置３０を制御し、吸着ノズルに部品を吸着するようヘッド４０を制御する吸着動作を行なう（ステップＳ１３０）。そして、ＣＰＵ６１は、吸着した部品が基板Ｓの目標実装位置の上方へ来るようにヘッド移動装置３０を制御すると共に（ステップＳ１４０）、部品を基板Ｓの目標実装位置に実装するようヘッド４０を制御する実装動作を行なう（ステップＳ１５０）。なお、ステップＳ１４０の処理は、吸着した部品がパーツカメラ２３の上方を通過して目標実装位置の上方へ至るように行なわれる。ＣＰＵ６１は、吸着した部品がパーツカメラ２３の上方を通過する際に当該部品を撮像し、得られた撮像画像に基づいて部品の吸着ずれ量を算出すると共に算出した吸着ずれ量に基づいて目標実装位置を補正する。ＣＰＵ６１は、こうして実装動作を行なうと、部品を実装した基板Ｓを撮像するようマークカメラ４３を制御する（ステップＳ１６０）。これにより、部品が実装された後の基板の画像（部品実装後基板画像）が取得される。そして、ＣＰＵ６１は、当該基板Ｓが搬出されるよう基板搬送装置２２を制御して（ステップＳ１７０）、本処理を終了する。 Next, the CPU 61 controls the head moving device 30 so that the suction nozzle is positioned above the component supply position of the component supply device 21, and performs a suction operation of controlling the head 40 so that the suction nozzle picks up the component (step S130). Then, the CPU 61 controls the head moving device 30 so that the sucked component is positioned above the target mounting position on the board S (step S140), and controls the head 40 to mount the component at the target mounting position on the board S. mounting operation is performed (step S150). Note that the process of step S140 is performed so that the sucked component passes above the parts camera 23 and reaches above the target mounting position. The CPU 61 captures an image of the picked-up component when it passes over the parts camera 23, calculates the amount of displacement of the picked-up component based on the obtained captured image, and determines the target mounting based on the calculated amount of displacement of the picked-up component. Correct the position. After performing the mounting operation in this way, the CPU 61 controls the mark camera 43 to take an image of the board S on which the component is mounted (step S160). As a result, an image of the board after the components are mounted (board image after component mounting) is acquired. Then, the CPU 61 controls the substrate transfer device 22 so that the substrate S is unloaded (step S170), and ends this process.

次に、学習処理について説明する。学習処理は、部品の実装検査に用いられる学習データを作成する処理であり、本実施形態では、管理装置８０によって所定時間毎に繰り返し実行される。図５は、管理装置８０のＣＰＵ８１により実行される学習処理の一例を示すフローチャートである。学習処理は、上述した部品実装処理が実行されている間、所定時間毎に繰り返し実行される。 Next, learning processing will be described. The learning process is a process of creating learning data used for component mounting inspection, and in the present embodiment, the learning process is repeatedly executed by the management device 80 at predetermined time intervals. FIG. 5 is a flowchart showing an example of learning processing executed by the CPU 81 of the management device 80. As shown in FIG. The learning process is repeatedly executed at predetermined time intervals while the component mounting process described above is being executed.

学習処理が実行されると、管理装置８０のＣＰＵ８１は、まず、学習が未完了であるか否かを判定する（ステップＳ２００）。ＣＰＵ８１は、学習が未完了であると判定すると、部品実装前基板画像が取得されたか否かを判定する（ステップＳ２１０）。部品実装前基板画像は、上述したように、部品実装処理のステップＳ１２０において、基板Ｓに部品を実装する前に当該基板Ｓをマークカメラ４３で撮像することにより取得される。ＣＰＵ８１は、部品実装前基板画像が取得されたと判定すると、部品無しを教師データとして部品実装前基板画像に基づいて機械学習（例えばサポートベクタマシン等）により部品検査用学習データを生成する（ステップＳ２２０）。ここで、部品検査用学習データの生成は、入力である部品実装前基板画像と出力である検査結果（部品無し）とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。 When the learning process is executed, the CPU 81 of the management device 80 first determines whether or not the learning is incomplete (step S200). When the CPU 81 determines that the learning has not been completed, it determines whether or not the board image before component mounting has been obtained (step S210). The board image before component mounting is acquired by capturing an image of the board S with the mark camera 43 before components are mounted on the board S in step S120 of the component mounting process, as described above. When determining that the pre-component board image has been acquired, the CPU 81 generates learning data for component inspection by machine learning (for example, a support vector machine) based on the pre-component board image using no component as teacher data (step S220). ). Here, component inspection learning data is generated by pairing an input pre-component board image and an output inspection result (no component) and determining the relationship between the board image and the inspection result.

次に、ＣＰＵ８１は、部品実装後基板画像が取得されたか否かを判定する（ステップＳ２３０）。部品実装後基板画像は、上述したように、部品実装処理のステップＳ１６０において、基板Ｓに部品を実装した後に当該基板Ｓをマークカメラ４３で撮像することにより取得される。ＣＰＵ８１は、部品実装後基板画像が取得されたと判定すると、部品実装後基板画像をディスプレイ８８に表示し、部品有無の教師データの入力を受け付け（ステップＳ２４０）、教師データが入力されるのを待つ（ステップＳ２５０）。オペレータは、ディスプレイ８８に表示されている部品実装後基板画像中に検査対象となる部品が写っているか否かを判断し、部品が写っていると判断すれば、「部品有り」を入力し、部品が写っていないと判断すれば、「部品無し」を入力する。ＣＰＵ８１は、部品有無の教師データを入力すると、入力した教師データと部品実装後基板画像とに基づいて上述した機械学習により部品検査用学習データを生成（更新）すると共に（ステップＳ２６０）、教師データの取得数Ｎを値１だけインクリメントする（ステップＳ２７０）。部品検査用学習データの生成は、入力である部品実装後基板画像と出力である検査結果の教師データ（オペレータが入力した部品有無）とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。 Next, the CPU 81 determines whether or not a board image after component mounting has been obtained (step S230). As described above, the post-components-mounted board image is acquired by imaging the board S with the mark camera 43 after components are mounted on the board S in step S160 of the component mounting process. When the CPU 81 determines that the component-mounted board image has been acquired, the CPU 81 displays the component-mounted board image on the display 88, accepts the input of teacher data indicating the presence or absence of the component (step S240), and waits for input of the teacher data. (Step S250). The operator determines whether or not the component to be inspected is shown in the board image after component mounting displayed on the display 88. If the operator determines that the component is shown, he/she inputs "component present". If it is determined that the part is not shown, input "no part". When the CPU 81 inputs teacher data indicating the presence or absence of components, the CPU 81 generates (updates) learning data for component inspection by the above-described machine learning based on the input teacher data and the board image after component mounting (step S260). is incremented by 1 (step S270). The learning data for component inspection is generated by pairing the input board image after component mounting and the output inspection result teacher data (part presence/absence entered by the operator) to determine the relationship between the board image and the inspection result. carried out by

そして、ＣＰＵ８１は、教師データの取得数Ｎが所定数Ｎｒｅｆ以上であるか否かを判定する（ステップＳ２８０）。ここで、所定数Ｎｒｅｆは、学習データを用いた実装検査の精度を確保するために必要十分な数が定められる。ＣＰＵ８１は、教師データの取得数Ｎが所定数Ｎｒｅｆ未満であると判定すると、ステップＳ２１０に戻って、部品実装前基板画像や部品実装後基板画像に基づいて機械学習により部品検査用学習データを生成（更新）する処理を繰り返す。ＣＰＵ８１は、繰り返し処理においてステップＳ２８０で教師データの取得数Ｎが所定数Ｎｒｅｆ以上となったと判定すると、学習が完了したと判定して（ステップＳ２９０）、本処理を終了する。 Then, the CPU 81 determines whether or not the acquisition number N of teacher data is equal to or greater than a predetermined number Nref (step S280). Here, the predetermined number Nref is determined to be a necessary and sufficient number to ensure the accuracy of the mounting inspection using the learning data. When the CPU 81 determines that the acquired number N of teacher data is less than the predetermined number Nref, the CPU 81 returns to step S210 and generates learning data for component inspection by machine learning based on the board image before component mounting and the board image after component mounting. Repeat the (update) process. When the CPU 81 determines in step S280 that the number N of acquired teacher data has reached or exceeded the predetermined number Nref in the repeated process, it determines that learning is completed (step S290), and terminates this process.

ＣＰＵ８１は、ステップＳ２００において学習が完了していると判定すると、再学習実行条件が成立しているか否かを判定する（ステップＳ３００）。ＣＰＵ８１は、再学習実行条件が成立していないと判定すると、本処理を終了し、再学習実行条件が成立していると判定すると、ステップＳ２２０，Ｓ２６０の学習履歴をクリアすると共に（ステップＳ３１０）、教師データの取得数Ｎを値０に初期化して（ステップＳ３２０）、ステップＳ２１０に進む。これにより、教師データの取得数Ｎが所定数Ｎｒｅｆ以上となるまで、再度、部品実装前基板画像と部品無しの教師データとに基づく学習（再学習）と、部品実装後基板画像と当該部品実装後基板画像を見たオペレータが入力した部品有無の教師データとに基づく学習（再学習）が実行されて部品検査用学習データが再生成されることになる。 When the CPU 81 determines that the learning is completed in step S200, it determines whether or not the re-learning execution condition is satisfied (step S300). If the CPU 81 determines that the relearning execution condition is not satisfied, it terminates this process, and if it determines that the relearning execution condition is satisfied, it clears the learning history of steps S220 and S260 (step S310). , the number N of acquired teacher data is initialized to 0 (step S320), and the process proceeds to step S210. As a result, learning (relearning) based on the board image before component mounting and teacher data without components, the board image after component mounting, and the component mounting are carried out again until the number N of acquisitions of training data becomes equal to or greater than the predetermined number Nref. Learning (re-learning) is executed based on teacher data on the presence/absence of components input by the operator who has seen the post-board image, and learning data for component inspection is regenerated.

ここで、再学習条件が成立しているか否かの判定は、図６の再学習実行条件成否判定処理を実行することにより行なわれる。再学習実行条件成否判定処理では、管理装置８０のＣＰＵ８１は、オペレータから再学習指示があるか否か（ステップＳ４００）、基板Ｓのロットが切り替わったか否か（ステップＳ４１０）、基板Ｓに実装する部品のロットが切り替わったか否か（ステップＳ４２０）、前回学習してから所定時間が経過したか否か（ステップＳ４３０）、生産ジョブが編集されたか否か（ステップＳ４４０）、をそれぞれ判定する。ＣＰＵ８１は、ステップＳ４００～Ｓ４４０のうちいずれもが否定的な判定であれば、再学習実行条件が成立していないと判定して（ステップＳ４５０）、本処理を終了し、いずれかが肯定的な判定であれば、再学習実行条件が成立していると判定して（ステップＳ４６０）、本処理を終了する。基板Ｓや部品のロットの切り替わりが発生した場合に再学習するのは、その切り替わり前後で基板Ｓや部品の写りが変化するおそれがあるからである。また、前回学習してから所定時間が経過した場合に再学習するのは、照明等の生産環境の経年変化に伴って、基板Ｓや部品の写りが変化するおそれがあるからである。さらに、生産ジョブが編集された場合に再学習するのは、部品の寸法や形状、実装位置等が編集されると、その前後で部品の写りが変化するおそれがあるからである。 Here, whether or not the relearning condition is satisfied is determined by executing the relearning execution condition success/failure determination process of FIG. In the relearning execution condition success/failure determination process, the CPU 81 of the management device 80 determines whether or not there is a relearning instruction from the operator (step S400), whether or not the lot of the board S has changed (step S410), and whether or not the board S is mounted. It is determined whether or not the part lot has changed (step S420), whether or not a predetermined time has elapsed since the previous learning (step S430), and whether or not the production job has been edited (step S440). If all of steps S400 to S440 are negative determinations, the CPU 81 determines that the re-learning execution condition is not satisfied (step S450), terminates this processing, and If so, it is determined that the re-learning execution condition is satisfied (step S460), and this process is terminated. The reason why re-learning is performed when the lot of the board S or parts is changed is that the image of the board S or the parts may change before and after the change. Further, the reason why learning is performed again when a predetermined time has passed since the previous learning is that there is a possibility that the images of the board S and parts may change due to aging of the production environment such as lighting. Furthermore, the reason for re-learning when a production job is edited is that if the size, shape, mounting position, etc. of a component are edited, the appearance of the component may change before and after that.

ＣＰＵ８１は、基板Ｓを識別する基板ＩＤと関連付けて当該基板Ｓのロット情報をＨＤＤ８３に予め記憶しておき、部品実装機１０に基板Ｓが搬入されると、当該基板Ｓの基板ＩＤに対応するロット情報を読み出して基板Ｓのロットに切り替わりが発生したか否かを判定する。そして、ＣＰＵ８１は、基板Ｓのロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した部品検査用学習データをその学習データを識別する識別情報（学習ＩＤ）および基板ＩＤと関連付けてＨＤＤ８３に記憶する。また、ＣＰＵ８１は、部品を識別する部品ＩＤと関連付けて当該部品のロット情報をＨＤＤ８３に予め記憶しておき、部品実装機１０に搬入された基板Ｓに部品が実装されると、当該部品の部品ＩＤに対応するロット情報を読み出して部品のロットに切り替わりが発生したか否かを判定する。そして、ＣＰＵ８１は、部品のロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した部品検査用学習データをその学習ＩＤおよび基板ＩＤと関連付けてＨＤＤ８３に記憶する。こうして記憶された部品検査用学習データは、次の検査処理に用いられる。 The CPU 81 associates the board S with the board ID for identifying the board S and stores the lot information of the board S in the HDD 83 in advance. The lot information is read to determine whether or not the lot of the substrate S has been changed. When the CPU 81 determines that the lot of the board S has changed, the CPU 81 executes re-learning, and sets the learning data for component inspection generated by the re-learning to the identification information (learning ID) and the board ID for identifying the learning data. is stored in the HDD 83 in association with the In addition, the CPU 81 stores in advance the lot information of the component in the HDD 83 in association with the component ID that identifies the component. Lot information corresponding to the ID is read out to determine whether or not the part lot has been switched. When the CPU 81 determines that the component lot has changed, the CPU 81 executes relearning, and stores the learning data for component inspection generated by the relearning in the HDD 83 in association with the learning ID and board ID. The component inspection learning data thus stored is used for the next inspection process.

次に、部品検査用学習データを用いた部品の実装検査について説明する。図７は、管理装置８０のＣＰＵ８１により実行される検査処理の一例を示すフローチャートである。この処理は、上述した部品実装処理が実行されている間、所定時間毎に繰り返し実行される。ここで、ＣＰＵ８１は、上述した学習処理による学習が完了するのを待ってから検査処理を実行してもよいし、部品検査用学習データが生成されていれば、部品の学習が完了するのを待たず（教師データが揃う前）に検査処理を実行してもよい。 Next, the component mounting inspection using the learning data for component inspection will be described. FIG. 7 is a flowchart showing an example of inspection processing executed by the CPU 81 of the management device 80. As shown in FIG. This process is repeatedly executed at predetermined time intervals while the component mounting process described above is being executed. Here, the CPU 81 may execute the inspection process after waiting for the learning by the learning process described above to be completed. The inspection process may be executed without waiting (before the training data are collected).

検査処理が実行されると、管理装置８０のＣＰＵ８１は、まず、部品実装後基板画像が取得されたか否か（ステップＳ５００）、部品検査用学習データが存在するか否か（ステップＳ５１０）、をそれぞれ判定する。ＣＰＵ８１は、部品実装後基板画像が取得されてないと判定したり、部品検査用学習データが存在しないと判定すると、部品検査を行なうことができないと判断し、本処理を終了する。一方、ＣＰＵ８１は、部品実装後基板画像が取得され、且つ、部品検査用学習データが存在すると判定すると、その部品検査用学習データを用いて部品実装後基板画像において部品を認識する認識処理（画像処理）を行なうことで検査対象となった部品が基板Ｓに実装されているか否かを判定する実装検査を行なう（ステップＳ５２０）。ここで、実装検査は、検査対象となった基板Ｓおよび部品の識別情報（基板ＩＤおよび部品ＩＤ）に基づいて対応する部品検査用学習データをＨＤＤ８３から読み出し、読み出した学習データ（認識モデル）を用いて部品実装後基板画像から部品が認識できるかどうかによって行なわれる。ＣＰＵ８１は、認識処理により部品の認識が成功したか否かを判定し（ステップＳ５３０）、部品の認識が成功したと判定すると、部品の実装が正常に行なわれたと判定して（ステップＳ５４０）、本処理を終了し、部品の認識が失敗したと判定すると、実装エラーが発生したと判定して（ステップＳ５５０）、本処理を終了する。 When the inspection process is executed, the CPU 81 of the management device 80 first determines whether or not a board image after component mounting has been obtained (step S500), and whether or not learning data for component inspection exists (step S510). judge each. When the CPU 81 determines that the board image after component mounting has not been acquired or that the learning data for component inspection does not exist, the CPU 81 determines that the component inspection cannot be performed, and terminates this process. On the other hand, when the CPU 81 determines that a component-mounted board image is obtained and that there is component inspection learning data, the CPU 81 uses the component-inspection learning data to perform recognition processing (image processing) is performed to determine whether or not the components to be inspected are mounted on the board S (step S520). Here, in the mounting inspection, based on the identification information (board ID and component ID) of the board S and the component to be inspected, corresponding component inspection learning data is read from the HDD 83, and the read learning data (recognition model) is used. This is done depending on whether or not the component can be recognized from the board image after the component is mounted. The CPU 81 determines whether or not the component has been successfully recognized by the recognition process (step S530). When this process ends and it is determined that component recognition has failed, it is determined that a mounting error has occurred (step S550), and this process ends.

ここで、実施形態の主要な要素と発明の開示の欄に記載した発明の主要な要素との対応関係について説明する。即ち、マークカメラ４３が撮像装置に相当し、部品実装機１０が部品実装機に相当し、部品実装システム１が部品実装システムに相当し、学習処理を実行する管理装置８０のＣＰＵ８１が学習装置に相当し、検査処理を実行する管理装置８０のＣＰＵ８１が検査装置に相当する。また、管理装置８０のＨＤＤ８３が記憶装置に相当する。また、ヘッド４０がヘッドに相当し、ヘッド移動装置３０がヘッド移動装置に相当する。 Here, the correspondence between the main elements of the embodiment and the main elements of the invention described in the Disclosure of the Invention column will be described. That is, the mark camera 43 corresponds to the imaging device, the component mounter 10 corresponds to the component mounter, the component mounting system 1 corresponds to the component mounting system, and the CPU 81 of the management device 80 that executes the learning process corresponds to the learning device. , and the CPU 81 of the management device 80 that executes the inspection process corresponds to the inspection device. Also, the HDD 83 of the management device 80 corresponds to a storage device. Also, the head 40 corresponds to the head, and the head moving device 30 corresponds to the head moving device.

なお、本発明は上述した実施形態に何ら限定されることはなく、本開示の発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。 It goes without saying that the present invention is not limited to the above-described embodiments, and can be embodied in various forms as long as they fall within the technical scope of the invention disclosed herein.

例えば、上述した実施形態では、管理装置８０のＣＰＵ８１は、学習処理において、再学習条件が成立したときには、学習履歴をクリアすると共に教師データの取得数Ｎを値０に初期化して、教師データの取得数Ｎが所定数Ｎｒｅｆ以上となるまで教師データに基づく機械学習によって再学習を行なうものとした。しかし、ＣＰＵ８１は、学習履歴をクリアすることなく、教師データを追加で取得して学習データを更新する追加学習を行なうものとしてもよい。図８は、管理装置８０のＣＰＵ８１により実行される変形例の学習処理を示すフローチャートである。なお、変形例の学習処理の各ステップのうち実施形態の学習処理と同一のステップについては同一のステップ番号を付し、その説明は重複するから省略する。変形例の学習処理では、ＣＰＵ８１は、ステップＳ２００において学習が完了したと判定すると、追加学習条件が成立しているか否かを判定する（ステップＳ３００Ｂ）。ＣＰＵ８１は、追加学習条件が成立していないと判定すると、本処理を終了し、追加学習条件が成立していると判定すると、教師データの取得数Ｎを所定数Ｎｒｅｆよりも少ない所定値αだけデクリメントして（ステップＳ３２０Ｂ）、ステップＳ２１０に進み、追加学習を行なう。追加学習は、学習履歴をクリアすることなく、教師データの取得数Ｎが所定数Ｎｒｅｆ以上となるまで、すなわち教師データが新たに所定値α取得されるまで、教師データを追加取得して部品検査用学習データを更新することによって行なわれる。 For example, in the above-described embodiment, the CPU 81 of the management device 80 clears the learning history and initializes the acquisition number N of the teacher data to 0 when the re-learning condition is satisfied in the learning process. Re-learning is performed by machine learning based on teacher data until the acquisition number N reaches or exceeds a predetermined number Nref. However, the CPU 81 may perform additional learning to additionally acquire teacher data and update the learning data without clearing the learning history. FIG. 8 is a flow chart showing a modified learning process executed by the CPU 81 of the management device 80. As shown in FIG. Among the steps of the learning process of the modified example, the same steps as those of the learning process of the embodiment are given the same step numbers, and redundant descriptions thereof are omitted. In the learning process of the modification, when the CPU 81 determines that the learning is completed in step S200, it determines whether or not the additional learning condition is satisfied (step S300B). When the CPU 81 determines that the additional learning condition is not satisfied, it terminates this process. Decrement (step S320B) and proceed to step S210 to perform additional learning. In the additional learning, without clearing the learning history, until the number N of acquisitions of the teacher data becomes equal to or greater than the predetermined number Nref, that is, until the teacher data is newly acquired with a predetermined value α, the teacher data is additionally acquired and the parts are inspected. This is done by updating the learning data for

ここで、追加学習条件が成立しているか否かの判定は、図９の追加学習実行条件成否判定処理を実行することにより行なわれる。追加学習実行条件成否判定処理では、管理装置８０のＣＰＵ８１は、再学習実行条件成否判定処理と同様に、オペレータから追加学習指示があるか否か（ステップＳ４００Ｂ）、基板Ｓのロットが切り替わったか否か（ステップＳ４１０）、基板Ｓに実装する部品のロットが切り替わったか否か（ステップＳ４２０）、前回学習してから所定時間が経過したか否か（ステップＳ４３０）、生産ジョブが編集されたか否か（ステップＳ４４０）、をそれぞれ判定する。ＣＰＵ８１は、ステップＳ４００Ｂ，Ｓ４１０～Ｓ４４０のうちいずれもが否定的な判定であれば、追加学習実行条件が成立していないと判定して（ステップＳ４５０Ｂ）、本処理を終了し、いずれかが肯定的な判定であれば、追加学習実行条件が成立していると判定して（ステップＳ４６０Ｂ）、本処理を終了する。 Here, whether or not the additional learning condition is satisfied is determined by executing the additional learning execution condition success/failure determination process of FIG. In the additional learning execution condition success/failure determination process, the CPU 81 of the management apparatus 80 determines whether or not there is an additional learning instruction from the operator (step S400B), and whether or not the lot of the substrate S has changed, as in the re-learning execution condition success/failure determination process. (step S410), whether the lot of the component to be mounted on the board S has changed (step S420), whether a predetermined time has passed since the previous learning (step S430), and whether the production job has been edited. (Step S440), are determined respectively. If all of steps S400B and S410 to S440 are negative determinations, the CPU 81 determines that the additional learning execution condition is not established (step S450B), terminates this processing, and either is affirmative. If the determination is positive, it is determined that the additional learning execution condition is established (step S460B), and this processing ends.

上述した実施形態では、ＣＰＵ８１は、検査処理において、部品検査用学習データを用いた実装検査として、実装動作を行なった後の基板Ｓに実際に部品が実装されたか否かの検査を行なうものとした。しかし、ＣＰＵ８１は、学習データを用いた実装検査として、基板Ｓに対して部品に実装ずれ（ＸＹ方向のずれや回転方向のずれ）が生じているか否かの検査を行なうものとしてもよい。 In the above-described embodiment, in the inspection process, the CPU 81 inspects whether or not the component is actually mounted on the board S after the mounting operation as the mounting inspection using the component inspection learning data. bottom. However, the CPU 81 may inspect whether or not there is a mounting deviation (a deviation in the XY direction or a deviation in the rotational direction) of the component with respect to the board S as a mounting inspection using the learned data.

なお、部品実装機１０は、複数のブロック（子基板）を含み、ブロック毎に部品を実装するか否かを示す情報（スキップ情報）が設定された基板を実装する場合、「スキップ無し」が設定されたブロックに対しては部品を実装し、「スキップ有り」が設定されたブロックについては部品を実装しない。こうした複数のブロックを含む基板への部品実装前の学習は、スキップ有り無しに拘わらず全てのブロックについて行なわれる。一方、部品実装後の学習は、スキップ無しが設定されたブロックに対してのみ行なわれ、スキップ有りが設定されたブロックに対しては行なわれない。これにより、より確実に実装された部品のみを学習することができる。 Note that when the component mounter 10 mounts a board that includes a plurality of blocks (child boards) and information (skip information) indicating whether to mount components for each block is set, "no skip" is selected. Parts are mounted for the set blocks, and parts are not mounted for the blocks for which "with skip" is set. Learning before component mounting on a board including such a plurality of blocks is performed for all blocks regardless of whether or not skipping is performed. On the other hand, the learning after component mounting is performed only for the blocks set without skip, and not for the blocks set with skip. As a result, it is possible to learn only the parts that are more reliably mounted.

以上説明したように、本開示の部品実装システムは、基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、部品を実装する実装動作を行なう前の部品実装前基板と前記実装動作を行なった後の部品実装後基板とを前記撮像装置で撮像し、前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する学習装置と、前記部品実装後基板を前記撮像装置で撮像し、前記部品検査用の学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なう検査装置と、を備えることを要旨とする。 As described above, the component mounting system of the present disclosure is a component mounting system that includes a plurality of component mounters that are arranged in the board conveying direction and each have an imaging device that captures an image of the board. The imaging device picks up images of the board before component mounting and the board after component mounting after performing the mounting operation, and machine learning is performed based on the captured images of the board before component mounting, and the board after component mounting is performed. a learning device for acquiring training data based on the picked-up image of the component mounting, and performing machine learning based on the acquired teaching data and the picked-up image of the board after component mounting to generate learning data for component inspection; An inspection apparatus for inspecting the board after component mounting by imaging the back board with the imaging device and performing image processing for recognizing the component in the captured image of the board after component mounting using the learning data for component inspection. and

この本開示の部品実装システムは、学習装置と検査装置とを備える。学習装置は、部品実装前基板と部品実装後基板とを撮像し、部品実装前基板の撮像画像に基づいて機械学習を行ない、部品実装後基板の撮像画像に基づく教師データを取得すると共に取得した教師データと部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する。検査装置は、部品実装後基板を撮像し、部品検査用の学習データを用いて部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで部品実装後基板の検査を行なう。このように、部品実装前基板および部品実装後基板のそれぞれの撮像画像に基づいて学習データを生成することで、部品実装後基板の撮像画像から部品を認識する際の認識精度を高めることができる。この結果、部品実装後基板の検査を適切に行なってその品質を確保することができる。 The component mounting system of the present disclosure includes a learning device and an inspection device. The learning device images the board before component mounting and the board after component mounting, performs machine learning based on the captured image of the board before component mounting, and acquires teacher data based on the captured image of the board after component mounting. Machine learning is performed based on the teacher data and the captured image of the board after component mounting to generate learning data for component inspection. The inspection apparatus picks up an image of the board after component mounting, and performs image processing for recognizing the component in the picked-up image of the board after component mounting using learning data for component inspection, thereby inspecting the board after component mounting. By generating the learning data based on the captured images of the pre-mounted board and the post-mounted board in this way, it is possible to improve the recognition accuracy when recognizing the component from the captured image of the post-mounted board. . As a result, it is possible to appropriately inspect the board after component mounting and ensure its quality.

こうした本開示の部品実装システムにおいて、前記学習装置は、所定の再学習条件が成立した場合には、前記部品実装前基板と前記部品実装後基板とを前記撮像装置で撮像し、前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に基づく教師データを再取得すると共に該再取得した教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを再生成し、前記部品実装後基板の識別情報または該部品実装後基板に実装された部品の識別情報と関連付けて前記再生成した部品検査用の学習データを記憶装置に記憶し、前記検査装置は、前記部品実装後基板を前記撮像装置で撮像し、前記部品実装後基板の識別情報または該部品実装後基板に実装された部品の識別情報を取得すると共に該取得した識別情報に対応する部品検査用の学習データを前記記憶装置から読み出し、該読み出した部品検査用の学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なうものとしてもよい。こうすれば、部品の認識精度を良好に維持することができる。ここで、前記再学習条件は、オペレータにより指示された場合、基板のロットが切り替わった場合、実装する部品のロットが切り替わった場合、前回に学習を実行してから所定時間が経過した場合または生産ジョブが変更された場合に成立する条件であるものとしてもよい。 In the component mounting system of the present disclosure, when a predetermined re-learning condition is satisfied, the learning device captures images of the pre-component-mounted board and the post-component-mounted board with the imaging device. Machine learning is performed based on the captured image of the board, re-obtaining teacher data based on the captured image of the board after component mounting, and machine learning based on the re-acquired teacher data and the captured image of the board after component mounting. to regenerate the learning data for component inspection, and associate the regenerated learning data for component inspection with the identification information of the board after component mounting or the identification information of the component mounted on the board after component mounting. The inspection device captures an image of the component-mounted board with the imaging device, and acquires the identification information of the component-mounted board or the identification information of the component mounted on the component-mounted board. Learning data for component inspection corresponding to the acquired identification information is read out from the storage device, and image processing is performed to recognize the component in the captured image of the substrate after component mounting using the read learning data for component inspection. Thus, the board may be inspected after the components are mounted. By doing so, it is possible to maintain good component recognition accuracy. Here, the re-learning conditions are when instructed by the operator, when the lot of the board is changed, when the lot of the component to be mounted is changed, when a predetermined time has passed since the learning was performed last time, or when the production It may be a condition that is satisfied when the job is changed.

また、本開示の部品実装システムにおいて、前記学習装置は、所定の追加学習条件が成立した場合には、前記部品実装前基板と前記部品実装後基板とを前記撮像装置で撮像し、前記部品実装前基板の撮像画像に基づいて追加学習を行ない、前記部品実装後基板の撮像画像に基づく教師データを再取得すると共に該再取得した教師データと前記部品実装後基板の撮像画像とに基づいて追加学習を行なって前記部品検査用の学習データを更新するものとしてもよい。こうすれば、部品の認識精度を良好に維持することができる。ここで、前記追加学習条件は、オペレータにより指示された場合、基板のロットが切り替わった場合、実装する部品のロットが切り替わった場合、前回に学習を実行してから所定時間が経過した場合または生産ジョブが変更された場合に成立する条件であるものとしてもよい。 Further, in the component mounting system of the present disclosure, when a predetermined additional learning condition is satisfied, the learning device captures images of the pre-component-mounted board and the post-component-mounted board with the imaging device, Additional learning is performed based on the captured image of the previous board, reacquisition of teacher data based on the captured image of the board after component mounting, and addition based on the reacquired teacher data and the captured image of the board after component mounting. Learning may be performed to update the learning data for component inspection. By doing so, it is possible to maintain good component recognition accuracy. Here, the additional learning conditions are when instructed by the operator, when the lot of the board is changed, when the lot of the component to be mounted is changed, when a predetermined time has passed since the learning was performed last time, or when the production It may be a condition that is satisfied when the job is changed.

さらに、本開示の部品実装システムにおいて、前記検査装置は、前記部品実装後基板の検査として、前記部品実装後基板に検査対象の部品が実装されているか否かを判定するものとしてもよい。 Furthermore, in the component mounting system of the present disclosure, the inspection device may determine whether or not a component to be inspected is mounted on the component-mounted board as the inspection of the component-mounted board.

また、本開示の部品実装システムにおいて、前記部品実装機は、前記部品を採取可能なヘッドと、前記ヘッドを移動させるヘッド移動装置と、を備え、前記撮像装置は、前記ヘッド移動装置によって前記ヘッドと共に移動可能に設けられているものとしてもよい。 Further, in the component mounting system of the present disclosure, the component mounter includes a head that can pick up the component and a head moving device that moves the head, and the imaging device moves the head by the head moving device. It is good also as what is provided so that it can move together.

本開示は、部品実装機や部品実装システムの製造産業などに利用可能である。 INDUSTRIAL APPLICABILITY The present disclosure is applicable to the manufacturing industry of component mounters and component mounting systems.

１ 部品実装システム、２ 印刷機、３ 印刷検査機、１０ 部品実装機、１１ 筐体、２１ 部品供給装置、２２ 基板搬送装置、２３ パーツカメラ、２４ ノズルステーション、３０ ヘッド移動装置、３１ Ｘ軸ガイドレール、３２ Ｘ軸スライダ、３３ Ｘ軸アクチュエータ、３４ Ｘ軸位置センサ、３５ Ｙ軸ガイドレール、３６ Ｙ軸スライダ、３７ Ｙ軸アクチュエータ、３８ Ｙ軸位置センサ、４０ ヘッド、４１ Ｚ軸アクチュエータ、４２ θ軸アクチュエータ、４３ マークカメラ、６０ 制御装置、６１ ＣＰＵ、６２ ＲＯＭ、６３ ＨＤＤ、６４ ＲＡＭ、６５ 入出力インタフェース、６６ バス、８０ 管理装置、８１ ＣＰＵ、８２ ＲＯＭ、８３ ＨＤＤ、８４ ＲＡＭ、８５ 入出力インタフェース、８６ バス、８７ 入力デバイス、８８ ディスプレイ、Ｓ 基板。 Reference Signs List 1 component mounting system 2 printer 3 print inspection machine 10 component mounter 11 housing 21 component supply device 22 substrate transfer device 23 parts camera 24 nozzle station 30 head moving device 31 X-axis guide Rail, 32 X-axis slider, 33 X-axis actuator, 34 X-axis position sensor, 35 Y-axis guide rail, 36 Y-axis slider, 37 Y-axis actuator, 38 Y-axis position sensor, 40 Head, 41 Z-axis actuator, 42 θ axis actuator, 43 mark camera, 60 control device, 61 CPU, 62 ROM, 63 HDD, 64 RAM, 65 input/output interface, 66 bus, 80 management device, 81 CPU, 82 ROM, 83 HDD, 84 RAM, 85 input/output Interface, 86 Bus, 87 Input Device, 88 Display, S Substrate.

Claims (8)

基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、
部品を実装する実装動作を行なう前の部品実装前基板と前記実装動作を行なった後の部品実装後基板とを前記撮像装置で撮像し、検査対象の部品が無い部品無しを教師データとして前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に検査対象の部品が写っているか否かの部品有無の教師データを取得すると共に該取得した部品有無の教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する学習装置と、
前記部品実装後基板を前記撮像装置で撮像し、前記部品検査用の学習データを用いて前記部品実装後基板の撮像画像において検査対象の部品を認識する画像処理を行なって当該部品の認識の成否を判定することで前記部品実装後基板の検査を行なう検査装置と、
を備える部品実装システム。 A component mounting system comprising a plurality of component mounters arranged in a substrate conveying direction and each having an imaging device for imaging the substrate,
The board before mounting the component and the board after mounting the component after the mounting operation are imaged by the imaging device, and the absence of the component to be inspected is used as teacher data for the component. Machine learning is performed based on the picked-up image of the board before mounting, and teacher data of whether or not the part to be inspected is shown in the picked-up image of the board after component-mounting is acquired, and the acquired teacher data of the presence or absence of the part is obtained. a learning device that performs machine learning based on the data and the captured image of the substrate after component mounting to generate learning data for component inspection;
An image of the component-mounted board is imaged by the imaging device, and image processing is performed to recognize a component to be inspected in the captured image of the component-mounted board using the learning data for component inspection, thereby recognizing the component. an inspection device that inspects the board after component mounting by determining whether or not the component is mounted;
A component mounting system comprising: 請求項１に記載の部品実装システムであって、
前記学習装置は、所定の再学習条件が成立した場合には、前記部品実装前基板と前記部品実装後基板とを前記撮像装置で撮像し、前記部品無しを教師データとして前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に基づく前記部品有無の教師データを再取得すると共に該再取得した部品有無の教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを再生成し、前記部品実装後基板の識別情報または該部品実装後基板に実装された部品の識別情報と関連付けて前記再生成した部品検査用の学習データを記憶装置に記憶し、
前記検査装置は、前記部品実装後基板を前記撮像装置で撮像し、前記部品実装後基板の識別情報または該部品実装後基板に実装された部品の識別情報を取得すると共に該取得した識別情報に対応する部品検査用の学習データを前記記憶装置から読み出し、該読み出した部品検査用の学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なって当該部品の認識の成否を判定することで前記部品実装後基板の検査を行なう、
部品実装システム。 The component mounting system according to claim 1,
When a predetermined re-learning condition is satisfied, the learning device captures images of the pre-component-mounted board and the post-component-mounted board with the imaging device, and uses the absence of the component as teacher data for the pre-component-mounted board. Machine learning is performed based on the picked-up image to re-acquire teacher data on the presence /absence of the component based on the picked-up image of the board after component mounting, and to combine the re-acquired teacher data on the presence/absence of the component with the picked-up image of the board after component mounting. machine learning is performed to regenerate learning data for component inspection, and the regenerated component inspection is associated with the identification information of the board after component mounting or the identification information of the component mounted on the board after component mounting. storing learning data for
The inspection device captures an image of the component-mounted board with the imaging device, acquires identification information of the component-mounted board or identification information of a component mounted on the component-mounted board, and uses the acquired identification information as The corresponding learning data for component inspection is read out from the storage device, and image processing for recognizing the component in the picked-up image of the board after component mounting is performed using the read learning data for component inspection , thereby recognizing the component. Inspecting the board after mounting the component by determining success or failure of recognition ;
Component mounting system. 請求項２に記載の部品実装システムであって、
前記再学習条件は、オペレータにより指示された場合、基板のロットが切り替わった場合、実装する部品のロットが切り替わった場合、前回に学習を実行してから所定時間が経過した場合または生産ジョブが変更された場合に成立する条件である、
部品実装システム。 The component mounting system according to claim 2,
The re-learning conditions are when instructed by the operator, when the lot of the board is switched, when the lot of the component to be mounted is switched, when a predetermined time has passed since learning was performed last time, or when the production job is changed. is a condition that holds when
Component mounting system. 請求項１ないし３いずれか１項に記載の部品実装システムであって、
前記学習装置は、所定の追加学習条件が成立した場合には、前記部品実装前基板と前記部品実装後基板とを前記撮像装置で撮像し、前記部品無しを教師データとして前記部品実装前基板の撮像画像に基づいて追加学習を行ない、前記部品実装後基板の撮像画像に基づく前記部品有無の教師データを再取得すると共に該再取得した部品有無の教師データと前記部品実装後基板の撮像画像とに基づいて追加学習を行なって前記部品検査用の学習データを更新する、
部品実装システム。 The component mounting system according to any one of claims 1 to 3,
When a predetermined additional learning condition is satisfied, the learning device captures images of the board before component mounting and the board after component mounting with the imaging device, and uses the absence of the component as teacher data for the board before component mounting. Additional learning is performed based on the picked-up image to re-acquire the teacher data on the presence /absence of the component based on the picked-up image of the board after component mounting, and the re-acquired teacher data on the presence/absence of the component and the picked-up image of the board after component mounting. performing additional learning based on to update the learning data for the component inspection;
Component mounting system. 請求項４に記載の部品実装システムであって、
前記追加学習条件は、オペレータにより指示された場合、基板のロットが切り替わった場合、実装する部品のロットが切り替わった場合、前回に学習を実行してから所定時間が経過した場合または生産ジョブが変更された場合に成立する条件である、
部品実装システム。 The component mounting system according to claim 4,
The additional learning conditions are when instructed by the operator, when the lot of the board is switched, when the lot of the component to be mounted is switched, when a predetermined time has passed since learning was performed last time, or when the production job is changed. is a condition that holds when
Component mounting system. 請求項１ないし５いずれか１項に記載の部品実装システムであって、
前記検査装置は、前記部品実装後基板の検査として、前記部品実装後基板に検査対象の部品が実装されているか否かを判定する、
部品実装システム。 The component mounting system according to any one of claims 1 to 5,
The inspection device determines whether or not a component to be inspected is mounted on the component-mounted board as an inspection of the component-mounted board.
Component mounting system. 請求項１ないし６いずれか１項に記載の部品実装システムであって、
前記部品実装機は、前記部品を採取可能なヘッドと、前記ヘッドを移動させるヘッド移動装置と、を備え、
前記撮像装置は、前記ヘッド移動装置によって前記ヘッドと共に移動可能に設けられている、
部品実装システム。 The component mounting system according to any one of claims 1 to 6,
The component mounter includes a head capable of picking up the component, and a head moving device that moves the head,
The imaging device is provided so as to be movable together with the head by the head moving device,
Component mounting system. 部品を基板に実装する実装動作を行なう複数の部品実装機を備え、前記実装動作を行なった後の基板の撮像画像に対し部品検査用の学習データを用いて検査対象の部品を認識する画像処理を行なって当該部品の認識の成否を判定することで当該基板の検査を行なう部品実装システムに用いられ、前記部品検査用の学習データを生成する学習装置であって、 Image processing for recognizing components to be inspected using learning data for component inspection in a photographed image of the board after performing the mounting operation, wherein a plurality of component mounters are provided for performing the mounting operation of mounting components on the board. is used in a component mounting system for inspecting the board by determining success or failure of recognition of the component, and generating learning data for the component inspection,
前記画像処理に先立って、前記実装動作を行なう前の部品実装前基板と前記実装動作を行なった後の部品実装後基板とを取得し、検査対象の部品が無い部品無しを教師データとして前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に検査対象の部品が写っているか否かの部品有無の教師データを取得すると共に該取得した部品有無の教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって前記部品検査用の学習データを生成する、 Prior to the image processing, a pre-component-mounted board before the mounting operation and a post-component-mounted board after the mounting operation are obtained. Machine learning is performed based on the picked-up image of the board before mounting, and teacher data of whether or not the part to be inspected is shown in the picked-up image of the board after component-mounting is acquired, and the acquired teacher data of the presence or absence of the part is obtained. Machine learning is performed based on the data and the captured image of the board after mounting the component to generate learning data for the component inspection.
学習装置。 learning device.
JP2021529658A 2019-07-04 2019-07-04 Component mounting system and learning device Active JP7257514B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/026655 WO2021001996A1 (en) 2019-07-04 2019-07-04 Component mounting system

Publications (2)

Publication Number Publication Date
JPWO2021001996A1 JPWO2021001996A1 (en) 2021-01-07
JP7257514B2 true JP7257514B2 (en) 2023-04-13

Family

ID=74100816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021529658A Active JP7257514B2 (en) 2019-07-04 2019-07-04 Component mounting system and learning device

Country Status (2)

Country Link
JP (1) JP7257514B2 (en)
WO (1) WO2021001996A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145958A (en) 2010-01-15 2011-07-28 Canon Inc Pattern identification device and method of controlling the same
JP2017033979A (en) 2015-07-29 2017-02-09 ファナック株式会社 Packaging tact, component mounter for reducing power consumption, and machine learning device
JP2018025481A (en) 2016-08-10 2018-02-15 オムロン株式会社 Surface mounting line survey instrument and quality management system
JP2018097731A (en) 2016-12-15 2018-06-21 株式会社Ｆｕｊｉ Image processing system and image processing method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1041700A (en) * 1996-07-25 1998-02-13 Sanyo Electric Co Ltd Method and device for setting mounting route of electronic part mounting equipment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145958A (en) 2010-01-15 2011-07-28 Canon Inc Pattern identification device and method of controlling the same
JP2017033979A (en) 2015-07-29 2017-02-09 ファナック株式会社 Packaging tact, component mounter for reducing power consumption, and machine learning device
JP2018025481A (en) 2016-08-10 2018-02-15 オムロン株式会社 Surface mounting line survey instrument and quality management system
JP2018097731A (en) 2016-12-15 2018-06-21 株式会社Ｆｕｊｉ Image processing system and image processing method

Also Published As

Publication number Publication date
WO2021001996A1 (en) 2021-01-07
JPWO2021001996A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7127075B2 (en) board working system
JP3965288B2 (en) Substrate work result inspection device
JP4237158B2 (en) Mounting board manufacturing apparatus and manufacturing method
WO2004049775A1 (en) Substrate working system including unit for judging propriety of working program and program for judging propriety of working program
JP2023126381A (en) system
JP2019175914A (en) Image management method and image management device
CN106255402B (en) Component mounting system and component mounting method for component mounting system
CN112166660B (en) Component mounting system and method for instructing placement of component supply unit
JP2006351911A (en) Electronic-component mounting apparatus and method for verifying component sucking position of sucking nozzle present therein
JP7257514B2 (en) Component mounting system and learning device
JP2023054189A (en) Board work system
JP2007214494A (en) Mark recognition method and surface mounter
JP4694516B2 (en) Component mounting method and surface mounter
JP2015119114A (en) Mounting method of electronic component and mounting device of electronic component
JP7197705B2 (en) Mounting equipment, mounting system, and inspection mounting method
WO2017216846A1 (en) Component-mounting system
JP7394852B2 (en) Component mounting system
JP4228868B2 (en) Electronic component mounting method
CN115700028A (en) Component mounting system
JP5384085B2 (en) Component mounting method and component mounting system
CN114026975B (en) Component mounting apparatus
WO2023195173A1 (en) Component mounting system and image classification method
JP7249426B2 (en) Mounting machine
WO2024069783A1 (en) Control device, mounting device, management device and information processing method
WO2022269679A1 (en) Control method for component mounting system, and component mounting system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230403

R150 Certificate of patent or registration of utility model

Ref document number: 7257514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150