JP6824398B2 - Image processing equipment, multiplex communication system and image processing method - Google Patents

Image processing equipment, multiplex communication system and image processing method Download PDF

Info

Publication number
JP6824398B2
JP6824398B2 JP2019519818A JP2019519818A JP6824398B2 JP 6824398 B2 JP6824398 B2 JP 6824398B2 JP 2019519818 A JP2019519818 A JP 2019519818A JP 2019519818 A JP2019519818 A JP 2019519818A JP 6824398 B2 JP6824398 B2 JP 6824398B2
Authority
JP
Japan
Prior art keywords
image data
information
machine learning
machine
classification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019519818A
Other languages
Japanese (ja)
Other versions
JPWO2018216075A1 (en
Inventor
伸夫 長坂
伸夫 長坂
英和 金井
英和 金井
憲司 渡邉
憲司 渡邉
紘佑 土田
紘佑 土田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2018216075A1 publication Critical patent/JPWO2018216075A1/en
Application granted granted Critical
Publication of JP6824398B2 publication Critical patent/JP6824398B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)

Description

本発明は、作業機の作業状態を撮像した画像データを処理する画像処理装置、多重通信システム、及び画像処理方法に関するものである。 The present invention relates to an image processing apparatus for processing image data obtained by capturing an image of the working state of a working machine, a multiplex communication system, and an image processing method.

作業機、例えば、電子部品を回路基板に装着する部品装着機では、製造ラインを搬送される回路基板に表記されたマークやコードを認識したり、回路基板や電子部品の状態を検査したりするためにカメラを備えている。この種のカメラに係わる技術として、例えば、撮像領域の中に関心領域（ＲＯＩ：Region Of Interest）を設定して画像データを出力する技術がある（例えば、特許文献１など）。特許文献１に開示される撮像装置は、撮像領域の中に複数の関心領域を設定し、各関心領域に対して読出しアドレスを付与することで、各領域からの画像データの読み出しが可能となっている。 A work machine, for example, a component mounting machine that mounts electronic components on a circuit board, recognizes marks and codes written on the circuit board transported on the production line, and inspects the state of the circuit board and electronic components. Equipped with a camera for. As a technique related to this type of camera, for example, there is a technique of setting a region of interest (ROI) in an imaging region and outputting image data (for example, Patent Document 1). The image pickup apparatus disclosed in Patent Document 1 can read image data from each area by setting a plurality of areas of interest in the image area and assigning a read address to each area of interest. ing.

特開２００６−１０９００１号公報Japanese Unexamined Patent Publication No. 2006-109001

ところで、例えば、上記した部品装着機では、回路基板に電子部品を実装する実装作業中において、撮像動作や移動動作など複雑な動作を繰り返し行う。このため、部品装着機は、実装作業中の各工程において複数の画像を撮像する。そこで、実装作業中に撮像した複数の画像データを分析などして画像処理の精度の向上を図ることが望まれている。 By the way, for example, in the above-mentioned component mounting machine, complicated operations such as an imaging operation and a moving operation are repeatedly performed during a mounting operation for mounting an electronic component on a circuit board. Therefore, the component mounting machine captures a plurality of images in each step during the mounting work. Therefore, it is desired to improve the accuracy of image processing by analyzing a plurality of image data captured during the mounting work.

本発明は、上記の課題に鑑みてなされたものであり、作業機の作業状態を撮像した画像データに機械学習用分類情報を付加することで、画像処理の精度を向上できる画像処理装置、多重通信システム、及び画像処理方法を提供することを目的とする。 The present invention has been made in view of the above problems, and is an image processing apparatus capable of improving the accuracy of image processing by adding classification information for machine learning to image data obtained by capturing the working state of a working machine. An object of the present invention is to provide a communication system and an image processing method.

上記課題を解決するために、本明細書は、ワークに対する作業を行う作業機の作業状態を撮像する撮像装置と、前記撮像装置によって撮像された画像データに対し、前記画像データを撮像した際の前記作業機の状態を示す機械学習用分類情報を付加して出力する機械学習用分類情報付加部と、前記機械学習用分類情報付加部から前記機械学習用分類情報を付加した前記画像データを入力し、前記機械学習用分類情報に基づいて前記画像データに対する処理を行う機械学習用分類情報処理部と、を備ええ、前記機械学習用分類情報処理部は、前記機械学習用分類情報に加え、前記作業機において発生したエラーの履歴を示すエラー履歴情報に基づいて前記画像データを分類し、分類した前記画像データを機械学習の教師データとして用いて機械学習のアルゴリズムを適用する、画像処理装置を開示する。
また、本明細書は、画像処理装置を備える多重通信システム、及び画像処理方法を開示する。 In order to solve the above problems, the present specification describes an imaging device that captures the working state of a work machine that performs work on a work, and when the image data is captured with respect to the image data captured by the imaging device. Input the machine learning classification information addition unit that adds and outputs machine learning classification information indicating the state of the working machine, and the image data to which the machine learning classification information is added from the machine learning classification information addition unit. and, the example includes a machine learning classification information processing unit based on the machine learning classification information performs processing on the image data, wherein the machine learning classification information processing unit, in addition to the machine learning classification information, An image processing device that classifies the image data based on the error history information indicating the history of errors that have occurred in the working machine, and applies the machine learning algorithm by using the classified image data as teacher data for machine learning. Disclose.
Further, the present specification discloses a multiplex communication system including an image processing device and an image processing method.

本開示によれば、機械学習用分類情報処理部は、撮像装置によって作業状態を撮像した複数の画像データに対し、機械学習用分類情報に基づいて、分類、関連付けなどを実施できる。その結果、例えば、分類や関連付けした画像データごとに分析し、画像データの画像処理の条件などに分析結果をフィードバック（適用）することで、フィードバック後の画像処理の精度を向上できる。 According to the present disclosure, the machine learning classification information processing unit can classify, associate, and the like with respect to a plurality of image data obtained by capturing a working state by an imaging device based on the machine learning classification information. As a result, for example, by analyzing each classification or associated image data and feeding back (applying) the analysis result to the image processing conditions of the image data, the accuracy of the image processing after the feedback can be improved.

実施形態における対基板作業システムの構成を示す図である。It is a figure which shows the structure of the board-to-board work system in embodiment. 部品装着機の構成を示すブロック図である。It is a block diagram which shows the structure of the component mounting machine. 装着ヘッドによる装着作業の状態を示す模式図である。It is a schematic diagram which shows the state of the mounting work by the mounting head. ヘッダ情報付きの画像データのデータ構成を示す図である。It is a figure which shows the data structure of the image data with a header information. 画像データの分類処理を示すフロー図である。It is a flow chart which shows the classification process of image data. 画像データの分類処理を示すフロー図である。It is a flow chart which shows the classification process of image data. エラー履歴情報のデータ構成を示す図である。It is a figure which shows the data structure of the error history information.

以下、本願の画像処理装置を具体化した一実施形態である対基板作業システム１０について、図を参照しつつ詳しく説明する。 Hereinafter, the substrate-to-board work system 10 which is an embodiment of the image processing apparatus of the present application will be described in detail with reference to the drawings.

（１．対基板作業システム１０の構成）
図１は、本実施形態の対基板作業システム１０の構成を示している。本実施形態の対基板作業システム１０は、複数の部品装着機１１と、検査装置１２と、ホストコンピュータ１３と、学習用ＰＣ１４と、を備えている。複数の部品装着機１１は、例えば、並列に配置して互いに連結されており、回路基板に電子部品を実装する生産ラインを構成している。検査装置１２は、複数の部品装着機１１によって電子部品を実装された回路基板の実装状態を検査する。(1. Configuration of board work system 10)
FIG. 1 shows the configuration of the board-to-board work system 10 of the present embodiment. The board-to-board work system 10 of the present embodiment includes a plurality of component mounting machines 11, an inspection device 12, a host computer 13, and a learning PC 14. The plurality of component mounting machines 11 are arranged in parallel and connected to each other, for example, to form a production line for mounting electronic components on a circuit board. The inspection device 12 inspects the mounting state of the circuit board on which the electronic components are mounted by the plurality of component mounting machines 11.

ホストコンピュータ１３は、複数の部品装着機１１及び検査装置１２と接続されており、部品装着機１１等を統括して制御する装置である。ホストコンピュータ１３は、例えば、部品装着機１１や検査装置１２の動作を制御するための制御プログラム（所謂、レシピ）の作成や管理を行う。学習用ＰＣ１４は、例えば、ＣＰＵ、ＲＡＭ等を備えたコンピュータを主体として構成され、記憶装置１４Ａを備えている。記憶装置１４Ａは、例えば、ハードディスクや不揮発性メモリー等を備えている。学習用ＰＣ１４は、複数の部品装着機１１及び検査装置１２と接続されている。学習用ＰＣ１４は、部品装着機１１の各々からヘッダ情報付きの画像データを受信し、受信した画像データを記憶装置１４Ａに蓄積して機械学習を行う。部品装着機１１の各々と接続するための学習用ＰＣ１４のインタフェースは、特に限定されない。インタフェースとしては、例えば、イーサネット（登録商標）規格、ＵＳＢ規格、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）規格等の装置を用いることができる。また、部品装着機１１及び検査装置１２は、エラーに関する情報（エラー履歴情報ＥＲ）を学習用ＰＣ１４へ送信する。 The host computer 13 is a device that is connected to a plurality of component mounting machines 11 and inspection devices 12 and controls the component mounting machines 11 and the like in a centralized manner. The host computer 13 creates and manages, for example, a control program (so-called recipe) for controlling the operation of the component mounting machine 11 and the inspection device 12. The learning PC 14 is mainly composed of a computer equipped with, for example, a CPU, RAM, and the like, and includes a storage device 14A. The storage device 14A includes, for example, a hard disk, a non-volatile memory, or the like. The learning PC 14 is connected to a plurality of component mounting machines 11 and an inspection device 12. The learning PC 14 receives image data with header information from each of the component mounting machines 11, stores the received image data in the storage device 14A, and performs machine learning. The interface of the learning PC 14 for connecting to each of the component mounting machines 11 is not particularly limited. As the interface, for example, a device such as an Ethernet (registered trademark) standard, a USB standard, or a Thunderbolt (registered trademark) standard can be used. Further, the component mounting machine 11 and the inspection device 12 transmit information regarding the error (error history information ER) to the learning PC 14.

（２．部品装着機１１の構成）
次に、部品装着機１１の構成について説明する。図２は、部品装着機１１の構成を示すブロックである。図２に示すように、部品装着機１１は、装置本体２１、装着ヘッド２２、Ｘ軸スライダ２３、Ｙ軸スライダ２４等を備えている。部品装着機１１は、例えば、装置本体２１の装着制御用ボード３２の制御に基づいて、生産ラインを搬送される回路基板に対し、装着ヘッド２２の吸着ノズルに保持された電子部品を装着する作業を実施する。(2. Configuration of component mounting machine 11)
Next, the configuration of the component mounting machine 11 will be described. FIG. 2 is a block showing the configuration of the component mounting machine 11. As shown in FIG. 2, the component mounting machine 11 includes a device main body 21, a mounting head 22, an X-axis slider 23, a Y-axis slider 24, and the like. For example, the component mounting machine 11 mounts the electronic components held by the suction nozzles of the mounting head 22 on the circuit board conveyed on the production line based on the control of the mounting control board 32 of the apparatus main body 21. To carry out.

装置本体２１は、本体側の多重通信装置２５及びＹ軸スライダ２４に接続されている。本体側の多重通信装置２５は、装着ヘッド２２側の多重通信装置２６と、Ｘ軸スライダ２３側の多重通信装置２７とに接続されている。多重通信装置２５は、多重通信装置２６，２７の各々と、例えば、光ファイバケーブル２８を介して接続され多重化通信を行う。なお、光ファイバケーブル２８は、耐屈曲性の高いものが好ましい。また、多重通信装置２５，２６，２７を相互に接続する有線は、光ファイバケーブルに限らず、例えば、Gigabit Ethernet（登録商標）の通信規格に準拠したＬＡＮケーブルや、ＵＳＢ（Universal Serial Bus）３．０の通信規格に準拠したＵＳＢケーブルでもよい。また、多重通信装置２５は、有線に限らず、無線通信により多重通信装置２６，２７の各々と多重化通信を実施してもよい。 The device main body 21 is connected to the multiplex communication device 25 and the Y-axis slider 24 on the main body side. The multiplexing communication device 25 on the main body side is connected to the multiplexing communication device 26 on the mounting head 22 side and the multiplexing communication device 27 on the X-axis slider 23 side. The multiplex communication device 25 is connected to each of the multiplex communication devices 26 and 27 via, for example, an optical fiber cable 28, and performs multiplexing communication. The optical fiber cable 28 preferably has high bending resistance. The wires that connect the multiplex communication devices 25, 26, and 27 to each other are not limited to optical fiber cables, but are, for example, LAN cables that comply with the communication standard of Gigabit Ethernet (registered trademark) and USB (Universal Serial Bus) 3. A USB cable conforming to the communication standard of 0.0 may be used. Further, the multiplex communication device 25 is not limited to wired communication, and may carry out multiplex communication with each of the multiplex communication devices 26 and 27 by wireless communication.

多重通信装置２５〜２７は、光ファイバケーブル２８を介して、画像データＧＤ１、Ｉ／Ｏ情報ＩＯ、エンコーダ情報ＥＤ、トリガ信号ＴＲＧ等を送受信する。多重通信装置２５〜２７は、例えば、時分割多重（ＴＤＭ）方式の多重化通信により、画像データＧＤ１等を多重化して送受信する。なお、多重通信装置２５〜２７による通信方式は、時分割多重方式に限らず他の多重方式（周波数分割など）でもよい。 The multiplexing communication devices 25 to 27 transmit and receive image data GD1, I / O information IO, encoder information ED, trigger signal TRG, and the like via the optical fiber cable 28. The multiplexing communication devices 25 to 27 multiplex and transmit and receive image data GD1 and the like by, for example, time division multiplexing (TDM) type multiplexing communication. The communication method by the multiplex communication devices 25 to 27 is not limited to the time division multiplexing method, and other multiplexing methods (frequency division, etc.) may be used.

装置本体２１は、上記した装着制御用ボード３２の他に、画像処理ボード３１、アンプ基板３３を備えている。画像処理ボード３１は、装着制御用ボード３２からの撮像指示に基づいて、装着ヘッド２２のＩＰＳカメラ４１やＸ軸スライダ２３のマークカメラ５１に対してトリガ信号ＴＲＧを送信する。トリガ信号ＴＲＧは、多重化通信を介してＩＰＳカメラ４１等に送信される。例えば、ＩＰＳカメラ４１は、トリガ信号ＴＲＧの受信に応じて撮像を行う。 The apparatus main body 21 includes an image processing board 31 and an amplifier board 33 in addition to the mounting control board 32 described above. The image processing board 31 transmits a trigger signal TRG to the IPS camera 41 of the mounting head 22 and the mark camera 51 of the X-axis slider 23 based on the imaging instruction from the mounting control board 32. The trigger signal TRG is transmitted to the IPS camera 41 or the like via multiplexing communication. For example, the IPS camera 41 takes an image in response to the reception of the trigger signal TRG.

アンプ基板３３は、装着ヘッド２２のサーボモータ４３やＸ軸スライダ２３のサーボモータ５３に取り付けられたエンコーダからエンコーダ情報ＥＤを受信する。アンプ基板３３は、装着ヘッド２２等から多重化通信を介してエンコーダ情報ＥＤを受信する。アンプ基板３３は、受信したエンコーダ情報ＥＤを装着制御用ボード３２に送信する。装着制御用ボード３２は、エンコーダ情報ＥＤに基づいて、例えば、装着ヘッド２２を移動させる位置等を決定する。装着制御用ボード３２は、位置の変更等の情報をアンプ基板３３に送信する。アンプ基板３３は、装着制御用ボード３２から受信した情報に基づいて、サーボモータ５３等に供給する電力を変更することで、サーボモータ５３等を制御し、装着ヘッド２２の位置・移動速度などを制御する。 The amplifier board 33 receives the encoder information ED from the encoder mounted on the servomotor 43 of the mounting head 22 and the servomotor 53 of the X-axis slider 23. The amplifier board 33 receives the encoder information ED from the mounting head 22 and the like via the multiplexing communication. The amplifier board 33 transmits the received encoder information ED to the mounting control board 32. The mounting control board 32 determines, for example, a position for moving the mounting head 22 based on the encoder information ED. The mounting control board 32 transmits information such as a position change to the amplifier board 33. The amplifier board 33 controls the servomotor 53 and the like by changing the power supplied to the servomotor 53 and the like based on the information received from the mounting control board 32, and determines the position and moving speed of the mounting head 22 and the like. Control.

装着ヘッド２２は、ヘッド側の多重通信装置２６に接続されている。装着ヘッド２２は、ＩＰＳカメラ４１、各種のＩ／Ｏ素子４２、各軸用のサーボモータ４３，４４，４５を備えている。装着ヘッド２２は、Ｘ軸スライダ２３に取り付けられている。装着ヘッド２２は、例えば、Ｘ軸スライダ２３によって装置本体２１の上部においてＸ軸方向に移動させられ、Ｙ軸スライダ２４によってＹ軸方向に移動させられる。 The mounting head 22 is connected to the multiplexing communication device 26 on the head side. The mounting head 22 includes an IPS camera 41, various I / O elements 42, and servomotors 43, 44, 45 for each axis. The mounting head 22 is mounted on the X-axis slider 23. The mounting head 22 is moved in the X-axis direction at the upper part of the apparatus main body 21 by, for example, the X-axis slider 23, and is moved in the Y-axis direction by the Y-axis slider 24.

ＩＰＳカメラ４１は、例えば、カメラリンク（登録商標）規格に対応するマシンビジョンカメラである。ＩＰＳカメラ４１は、装着ヘッド２２の吸着ノズルで吸着した電子部品を側方から撮像するカメラである。画像処理ボード３１は、多重化通信を介して装着ヘッド２２のＩＰＳカメラ４１から画像データＧＤ１を受信し、画像データＧＤ１から吸着状態の電子部品を検出する。装着制御用ボード３２は、画像処理ボード３１による検出情報に基づいて、吸着姿勢の良否や吸着エラーの有無等を判定する。なお、ＩＰＳカメラ４１等は、カメラリンク（登録商標）規格に限らず、他の規格、例えば、ＧｉｇＥ Ｖｉｓｉｏｎ（登録商標）やＣｏａＸｐｒｅｓｓ（登録商標）の規格に対応するカメラでもよい。 The IPS camera 41 is, for example, a machine vision camera corresponding to the camera link (registered trademark) standard. The IPS camera 41 is a camera that images electronic components sucked by the suction nozzle of the mounting head 22 from the side. The image processing board 31 receives the image data GD1 from the IPS camera 41 of the mounting head 22 via the multiplexing communication, and detects the electronic component in the attracted state from the image data GD1. The mounting control board 32 determines whether the suction posture is good or not, whether there is a suction error, or the like, based on the detection information from the image processing board 31. The IPS camera 41 and the like are not limited to the camera link (registered trademark) standard, and may be a camera corresponding to other standards such as the GigE Vision (registered trademark) and CoaXpress (registered trademark) standards.

Ｉ／Ｏ素子４２は、装着ヘッド２２の吸着ノズルの位置、部品の吸着状況、吸着ノズルと回路基板との離隔状況等を検出するセンサやリレー素子である。Ｉ／Ｏ素子４２は、検出結果等のＩ／Ｏ情報ＩＯを、多重化通信を介して装着制御用ボード３２へ送信する。 The I / O element 42 is a sensor or relay element that detects the position of the suction nozzle of the mounting head 22, the suction status of parts, the separation status between the suction nozzle and the circuit board, and the like. The I / O element 42 transmits the I / O information IO such as the detection result to the mounting control board 32 via the multiplexing communication.

サーボモータ４３は、例えば、装着ヘッド２２に設けられた複数の吸着ノズルを保持する回転ヘッド（ロータリヘッド）を回転させることで、複数の吸着ノズルをまとめて鉛直軸線回り（Ｒ軸方向）に回動させるための駆動源として機能する。サーボモータ４４は、例えば、個々の吸着ノズルを鉛直方向（Ｚ軸方向）に移動させるための駆動源として機能する。また、サーボモータ４５は、個々の吸着ノズルを鉛直軸線回り（θ軸方向）に回動させるための駆動源として機能する。サーボモータ４３〜４５の各々には、回転位置等を検出するエンコーダが取り付けられている。装置本体２１のアンプ基板３３は、サーボモータ４３〜４５のエンコーダのエンコーダ情報ＥＤを、多重化通信を介して受信する。アンプ基板３３は、受信したエンコーダ情報ＥＤに基づいてサーボモータ４３〜４５に供給する電力を制御し、吸着ノズルの位置を制御する。 The servomotor 43 rotates, for example, a rotary head (rotary head) for holding a plurality of suction nozzles provided on the mounting head 22, so that the plurality of suction nozzles are collectively rotated around the vertical axis (R-axis direction). It functions as a drive source for moving. The servomotor 44 functions as, for example, a drive source for moving individual suction nozzles in the vertical direction (Z-axis direction). Further, the servomotor 45 functions as a drive source for rotating each suction nozzle around the vertical axis (in the θ-axis direction). An encoder for detecting a rotation position or the like is attached to each of the servomotors 43 to 45. The amplifier board 33 of the apparatus main body 21 receives the encoder information ED of the encoders of the servomotors 43 to 45 via the multiplexing communication. The amplifier board 33 controls the electric power supplied to the servomotors 43 to 45 based on the received encoder information ED, and controls the position of the suction nozzle.

Ｘ軸スライダ２３は、装着ヘッド２２の位置をＸ軸方向に移動させるスライダ装置である。Ｘ軸スライダ２３は、マークカメラ５１と、各種のＩ／Ｏ素子５２と、サーボモータ５３とを備えている。マークカメラ５１は、回路基板を上方から撮像する装置であり、回路基板に表記された識別情報（マークなど）を撮像する。画像処理ボード３１は、多重化通信を介してＸ軸スライダ２３のマークカメラ５１から画像データＧＤ１を受信し、画像データＧＤ１から識別情報を検出する。装着制御用ボード３２は、画像処理ボード３１の検出結果に基づいて、作業内容等を決定する。 The X-axis slider 23 is a slider device that moves the position of the mounting head 22 in the X-axis direction. The X-axis slider 23 includes a mark camera 51, various I / O elements 52, and a servomotor 53. The mark camera 51 is a device that images the circuit board from above, and captures identification information (marks, etc.) written on the circuit board. The image processing board 31 receives the image data GD1 from the mark camera 51 of the X-axis slider 23 via the multiplexing communication, and detects the identification information from the image data GD1. The mounting control board 32 determines the work content and the like based on the detection result of the image processing board 31.

Ｉ／Ｏ素子５２は、例えば、Ｘ軸スライダ２３の位置に応じた信号を出力する位置センサである。Ｉ／Ｏ素子５２は、検出結果等を示すＩ／Ｏ情報ＩＯを、多重化通信を介して装着制御用ボード３２へ送信する。 The I / O element 52 is, for example, a position sensor that outputs a signal corresponding to the position of the X-axis slider 23. The I / O element 52 transmits the I / O information IO indicating the detection result and the like to the mounting control board 32 via the multiplexing communication.

サーボモータ５３は、装着ヘッド２２をＸ軸方向に移動させるための駆動源として機能する。装置本体２１のアンプ基板３３は、サーボモータ５３に取り付けられたエンコーダから多重化通信を介してエンコーダ情報ＥＤを受信する。アンプ基板３３は、受信したエンコーダ情報ＥＤに基づいてサーボモータ５３に供給する電力を制御し、サーボモータ５３の回転位置や回転速度を制御する。これにより、アンプ基板３３は、Ｘ軸方向における装着ヘッド２２の位置を制御できる。 The servomotor 53 functions as a drive source for moving the mounting head 22 in the X-axis direction. The amplifier board 33 of the apparatus main body 21 receives the encoder information ED from the encoder attached to the servomotor 53 via multiplexing communication. The amplifier board 33 controls the electric power supplied to the servomotor 53 based on the received encoder information ED, and controls the rotation position and rotation speed of the servomotor 53. As a result, the amplifier board 33 can control the position of the mounting head 22 in the X-axis direction.

Ｙ軸スライダ２４は、Ｘ軸スライダ２３の位置をＹ軸方向に移動させるスライダ装置である。Ｙ軸スライダ２４は、駆動源としてサーボモータ２９を備えている。アンプ基板３３は、Ｙ軸スライダ２４と多重化通信を介さずに接続されている。アンプ基板３３は、サーボモータ２９のエンコーダから受信したエンコーダ情報ＥＤに基づいてサーボモータ２９に供給する電力を制御する。そして、上記したように、装着ヘッド２２は、Ｘ軸スライダ２３に取り付けられている。このため、装着ヘッド２２は、Ｘ軸スライダ２３及びＹ軸スライダ２４の駆動に応じて、回路基板の上方においてＸ軸方向及びＹ軸方向に移動可能となっている。 The Y-axis slider 24 is a slider device that moves the position of the X-axis slider 23 in the Y-axis direction. The Y-axis slider 24 includes a servomotor 29 as a drive source. The amplifier board 33 is connected to the Y-axis slider 24 without using multiplexed communication. The amplifier board 33 controls the power supplied to the servomotor 29 based on the encoder information ED received from the encoder of the servomotor 29. Then, as described above, the mounting head 22 is attached to the X-axis slider 23. Therefore, the mounting head 22 can move in the X-axis direction and the Y-axis direction above the circuit board in response to the drive of the X-axis slider 23 and the Y-axis slider 24.

図３は、部品装着機１１を上方から見た状態を模式的に示している。例えば、装着制御用ボード３２は、図３中の矢印７１で示すように、回路基板７２を搬送するコンベアを有する搬送装置７４を駆動し、上流側の部品装着機１１から回路基板７２を搬入する。装着制御用ボード３２は、搬入した回路基板７２を装着位置（図３に示す位置）で固定的に保持する。装着制御用ボード３２は、回路基板７２を保持した後に装着作業を開始する。 FIG. 3 schematically shows a state in which the component mounting machine 11 is viewed from above. For example, as shown by the arrow 71 in FIG. 3, the mounting control board 32 drives a transport device 74 having a conveyor for transporting the circuit board 72, and carries in the circuit board 72 from the component mounting machine 11 on the upstream side. .. The mounting control board 32 fixedly holds the carried-in circuit board 72 at the mounting position (position shown in FIG. 3). The mounting control board 32 starts the mounting operation after holding the circuit board 72.

部品装着機１１は、電子部品７５を供給する装置として、例えば、複数のテープフィーダ７７を備えている。テープフィーダ７７の各々は、装着制御用ボード３２の制御に基づいて、供給位置７７Ａに電子部品７５を順次送り出す。装着制御用ボード３２は、装着作業を開始すると、多重化通信を介してＸ軸スライダ２３及びＹ軸スライダ２４を駆動し、電子部品７５の供給位置７７Ａまで装着ヘッド２２を移動させる。装着ヘッド２２は、複数の吸着ノズル７８（図３においては１つのみ図示）のうち、１つの吸着ノズル７８を駆動して電子部品７５を吸着保持する。 The component mounting machine 11 includes, for example, a plurality of tape feeders 77 as devices for supplying the electronic components 75. Each of the tape feeders 77 sequentially sends out the electronic components 75 to the supply position 77A under the control of the mounting control board 32. When the mounting operation is started, the mounting control board 32 drives the X-axis slider 23 and the Y-axis slider 24 via multiplexing communication, and moves the mounting head 22 to the supply position 77A of the electronic component 75. The mounting head 22 drives one suction nozzle 78 out of a plurality of suction nozzles 78 (only one is shown in FIG. 3) to suck and hold the electronic component 75.

装着ヘッド２２は、吸着ノズル７８によって電子部品７５を吸着した後、Ｘ軸スライダ２３及びＹ軸スライダ２４の駆動に応じて、回路基板７２の上方まで移動する（矢印７９参照）。装着制御用ボード３２は、装着ヘッド２２のサーボモータ４３〜４５を駆動して吸着ノズル７８の位置を変更し、回路基板７２に電子部品７５を実装する。 After sucking the electronic component 75 by the suction nozzle 78, the mounting head 22 moves to the upper side of the circuit board 72 in response to the drive of the X-axis slider 23 and the Y-axis slider 24 (see arrow 79). The mounting control board 32 drives the servomotors 43 to 45 of the mounting head 22 to change the position of the suction nozzle 78, and mounts the electronic component 75 on the circuit board 72.

装着ヘッド２２は、装着作業を完了させると、次の電子部品７５を取得するために供給位置７７Ａまで移動する（矢印８１参照）。装着ヘッド２２は、このような装着作業を同一の回路基板７２に対して繰り返し実行する。装着制御用ボード３２は、すべての電子部品７５の装着作業を完了させると、回路基板７２を下流側の部品装着機１１へと搬出する（矢印８２参照）。 When the mounting operation is completed, the mounting head 22 moves to the supply position 77A in order to acquire the next electronic component 75 (see arrow 81). The mounting head 22 repeatedly executes such mounting work on the same circuit board 72. When the mounting control board 32 completes the mounting work of all the electronic components 75, the mounting control board 32 carries out the circuit board 72 to the component mounting machine 11 on the downstream side (see arrow 82).

一方で、装着制御用ボード３２は、上記した一連の作業中においてＩＰＳカメラ４１やマークカメラ５１によって複数の画像データＧＤ１を撮像する。例えば、装着制御用ボード３２は、供給位置７７Ａから回路基板７２まで移動する一定の撮像領域８４において、電子部品７５を吸着保持した吸着ノズル７８をＩＰＳカメラ４１によって撮像する。また、例えば、装着制御用ボード３２は、回路基板７２の上方の一定の撮像領域８５において、装着後の吸着ノズル７８、即ち、電子部品７５を保持していない吸着ノズル７８をＩＰＳカメラ４１によって撮像する。そして、図２に示すように、本実施形態の多重通信装置２５は、装置本体２１へ送信する画像データＧＤ１とは別に、画像データＧＤ１にヘッダ情報ＨＤを付加した画像データＧＤ２を学習用ＰＣ１４に向けて送信する。 On the other hand, the mounting control board 32 captures a plurality of image data GD1 by the IPS camera 41 and the mark camera 51 during the series of operations described above. For example, the mounting control board 32 uses the IPS camera 41 to image the suction nozzle 78 that sucks and holds the electronic component 75 in a constant imaging region 84 that moves from the supply position 77A to the circuit board 72. Further, for example, the mounting control board 32 uses the IPS camera 41 to image the suction nozzle 78 after mounting, that is, the suction nozzle 78 that does not hold the electronic component 75, in a constant imaging region 85 above the circuit board 72. To do. Then, as shown in FIG. 2, the multiplexing communication device 25 of the present embodiment transfers the image data GD2 to which the header information HD is added to the image data GD1 to the learning PC 14 in addition to the image data GD1 transmitted to the device main body 21. Send to.

（３．学習用の画像データＧＤ２について）
上記したように、多重通信装置２５は、画像データＧＤ１にヘッダ情報ＨＤを付加した画像データＧＤ２を、学習用ＰＣ１４に向けて送信する。図４は、ヘッダ情報ＨＤ付きの画像データＧＤ２の一例として、ＩＰＳカメラ４１の画像データＧＤ１にヘッダ情報ＨＤを付加したデータ構成を示している。図４に示すように、画像データＧＤ２には、幅情報６１等の各種情報がヘッダ情報ＨＤとして付加されている。本実施形態のヘッダ情報ＨＤは、例えば、幅情報６１、高さ情報６２、カメラ番号（カメラＮｏ）６４、トリガカウント情報６５、Ｉ／Ｏ情報ＩＯ、誤り検出符号（チェックサムなど）６８、及びエンコーダ情報ＥＤ１，ＥＤ２，ＥＤ３，ＥＤ４，ＥＤ５である。(3. About image data GD2 for learning)
As described above, the multiplexing communication device 25 transmits the image data GD2 in which the header information HD is added to the image data GD1 to the learning PC 14. FIG. 4 shows a data structure in which the header information HD is added to the image data GD1 of the IPS camera 41 as an example of the image data GD2 with the header information HD. As shown in FIG. 4, various information such as width information 61 is added as header information HD to the image data GD2. The header information HD of the present embodiment includes, for example, width information 61, height information 62, camera number (camera No.) 64, trigger count information 65, I / O information IO, error detection code (checksum, etc.) 68, and Encoder information ED1, ED2, ED3, ED4, ED5.

本実施形態の多重通信装置２５は、例えば、画像データＧＤ１の撮像ごとに画像データＧＤ２を生成して学習用ＰＣ１４へ送信する。なお、多重通信装置２５は、複数の画像データＧＤ２をまとめて学習用ＰＣ１４へ送信してもよい。また、ヘッダ情報ＨＤを画像データＧＤ１に付加する装置は、多重通信装置２５に限らず、他の装置、例えば、多重通信装置２６でもよい。この場合、多重通信装置２６は、多重化処理を実施する前に、ヘッダ情報ＨＤを画像データＧＤ１に付加してもよい。 The multiplex communication device 25 of the present embodiment generates image data GD2 for each image capture of the image data GD1, and transmits the image data GD2 to the learning PC 14, for example. The multiplex communication device 25 may collectively transmit a plurality of image data GD2 to the learning PC 14. Further, the device for adding the header information HD to the image data GD1 is not limited to the multiplex communication device 25, and may be another device, for example, the multiplex communication device 26. In this case, the multiplexing communication device 26 may add the header information HD to the image data GD1 before performing the multiplexing process.

図４に示す幅情報６１は、画像データＧＤ１の幅Ｗに係わる情報であり、例えば、画像データＧＤ１の水平方向の画素数を示す情報である。また、高さ情報６２は、画像データＧＤ１の高さＨに係わる情報であり、例えば、画像データＧＤ１の垂直方向の画素数を示す情報である。画像データＧＤ１は、例えば、１０２４（高さ）×１０２４（幅）ピクセルの画素数を有している。また、画像データＧＤ１は、例えば、白黒の画像データであり、各色を８ビット（２５６階調）で表し、１画素あたり２バイトのデータ量を有している。 The width information 61 shown in FIG. 4 is information related to the width W of the image data GD1, and is, for example, information indicating the number of pixels in the horizontal direction of the image data GD1. Further, the height information 62 is information related to the height H of the image data GD1, and is, for example, information indicating the number of pixels in the vertical direction of the image data GD1. The image data GD1 has, for example, the number of pixels of 1024 (height) × 1024 (width) pixels. Further, the image data GD1 is, for example, black and white image data, and each color is represented by 8 bits (256 gradations), and each pixel has a data amount of 2 bytes.

なお、画像データＧＤ１は、ＩＰＳカメラ４１で撮像した画像データそのもの（全体画像）でもよく、あるいは撮像領域の中に設定した関心領域（ＲＯＩ：Region Of Interest）のデータ（画像データの一部）でもよい。関心領域を設定した場合、例えば、高さ情報６２は、関心領域の高さ（画素数）を示す情報となる。 The image data GD1 may be the image data itself (whole image) captured by the IPS camera 41, or the data (a part of the image data) of the region of interest (ROI) set in the imaging region. Good. When the region of interest is set, for example, the height information 62 is information indicating the height (number of pixels) of the region of interest.

カメラ番号６４は、複数のカメラ（ＩＰＳカメラ４１、マークカメラ５１など）を互いに識別するための装置固有の番号である。トリガカウント情報６５は、ＩＰＳカメラ４１等へ撮像指示を行った順番を識別する情報である。より具体的には、例えば、多重通信装置２５は、画像処理ボード３１からＩＰＳカメラ４１へトリガ信号ＴＲＧ（撮像指示）を送信した回数をカウントしている。多重通信装置２５は、例えば、トリガ信号ＴＲＧの立ち上がりエッジを検出してカウントアップ処理を行う。多重通信装置２５は、ＩＰＳカメラ４１による撮像が行われると、その時点のカウント値をトリガカウント情報６５として画像データＧＤ１に付加する。 The camera number 64 is a device-specific number for identifying a plurality of cameras (IPS camera 41, mark camera 51, etc.) from each other. The trigger count information 65 is information for identifying the order in which imaging instructions are given to the IPS camera 41 or the like. More specifically, for example, the multiplexing communication device 25 counts the number of times the trigger signal TRG (imaging instruction) is transmitted from the image processing board 31 to the IPS camera 41. The multiplexing communication device 25 detects, for example, the rising edge of the trigger signal TRG and performs count-up processing. When the image is captured by the IPS camera 41, the multiplexing communication device 25 adds the count value at that time to the image data GD1 as the trigger count information 65.

また、多重通信装置２５は、例えば、装着制御用ボード３２の制御に基づいてカウント値をリセット可能となっている。装着制御用ボード３２は、例えば、１時間毎に多重通信装置２５のカウント値をリセットする。これにより、学習用ＰＣ１４は、例えば、画像データＧＤ２の保存時間（取得時間）だけでなく、トリガカウント情報６５に基づいて後述する装置本体２１のエラー履歴情報ＥＲとの照合が可能となる。 Further, the multiplex communication device 25 can reset the count value based on the control of the mounting control board 32, for example. The mounting control board 32 resets the count value of the multiplexing communication device 25 every hour, for example. As a result, the learning PC 14 can collate not only the storage time (acquisition time) of the image data GD2 but also the error history information ER of the apparatus main body 21 described later based on the trigger count information 65, for example.

Ｉ／Ｏ情報ＩＯは、例えば、Ｉ／Ｏ素子４２の検出情報などである。誤り検出符号６８は、ヘッダ情報ＨＤや画像データＧＤ１の誤りを検出するためのデータであり、例えば、チェックサム、ＣＲＣ（巡回冗長検査）などのデータである。学習用ＰＣ１４は、例えば、検出符号６８に基づいて、受信した画像データＧＤ２のヘッダ情報ＨＤの誤りを検出すると、多重通信装置２５に対して画像データＧＤ２の再送を要求する。 The I / O information IO is, for example, detection information of the I / O element 42. The error detection code 68 is data for detecting an error in the header information HD or the image data GD1, and is, for example, data such as a checksum or CRC (Cyclic Redundancy Check). When the learning PC 14 detects an error in the header information HD of the received image data GD2 based on the detection code 68, for example, the learning PC 14 requests the multiplexing communication device 25 to retransmit the image data GD2.

エンコーダ情報ＥＤ１は、サーボモータ４３（Ｒ軸方向）のエンコーダ情報ＥＤである。エンコーダ情報ＥＤ２は、サーボモータ４４（Ｚ軸方向）のエンコーダ情報ＥＤである。エンコーダ情報ＥＤ３は、サーボモータ４５（θ軸方向）のエンコーダ情報ＥＤである。多重通信装置２５は、例えば、多重通信装置２６から受信した多重化データを分離して取得したサーボモータ４３等のエンコーダ情報ＥＤ１〜ＥＤ３をヘッダ情報ＨＤとして画像データＧＤ１に付加する。 The encoder information ED1 is the encoder information ED of the servomotor 43 (R-axis direction). The encoder information ED2 is the encoder information ED of the servomotor 44 (Z-axis direction). The encoder information ED3 is the encoder information ED of the servomotor 45 (in the θ-axis direction). For example, the multiplexing communication device 25 adds encoder information ED1 to ED3 of the servomotor 43 or the like separately acquired from the multiplexing data 26 as header information HD to the image data GD1.

また、エンコーダ情報ＥＤ４は、Ｘ軸スライダ２３のサーボモータ５３（Ｘ軸方向）のエンコーダ情報ＥＤである。多重通信装置２５は、例えば、多重通信装置２７から受信した多重化データを分離して取得したサーボモータ５３（Ｘ軸スライダ２３）のエンコーダ情報ＥＤ４をヘッダ情報ＨＤとして画像データＧＤ１に付加する。また、エンコーダ情報ＥＤ５は、Ｙ軸スライダ２４のサーボモータ２９（Ｙ軸方向）のエンコーダ情報ＥＤである。多重通信装置２５は、例えば、Ｙ軸スライダ２４やアンプ基板３３からサーボモータ２９のエンコーダ情報ＥＤ５を入力してヘッダ情報ＨＤとして画像データＧＤ１に付加する。 Further, the encoder information ED4 is the encoder information ED of the servomotor 53 (X-axis direction) of the X-axis slider 23. The multiplexing communication device 25 adds, for example, the encoder information ED4 of the servomotor 53 (X-axis slider 23) separately acquired from the multiplexing data 27 as header information HD to the image data GD1. Further, the encoder information ED5 is the encoder information ED of the servomotor 29 (Y-axis direction) of the Y-axis slider 24. For example, the multiplexing communication device 25 inputs the encoder information ED5 of the servomotor 29 from the Y-axis slider 24 or the amplifier board 33 and adds it to the image data GD1 as header information HD.

多重通信装置２５は、例えば、画像データＧＤ１を撮像した際のエンコーダ情報ＥＤ１〜ＥＤ５をヘッダ情報ＨＤとして画像データＧＤ１に付加する。より具体的には、エンコーダ情報ＥＤ１〜ＥＤ５は、例えば、ＩＰＳカメラ４１によって画像データＧＤ１を撮像した際の装着ヘッド２２や吸着ノズルの位置情報（作業機の状態を示す機械学習用分類情報）である。これにより、学習用ＰＣ１４においてエンコーダ情報ＥＤ１〜ＥＤ５に基づいて画像データＧＤ２の分類及び機械学習が可能となる。 The multiplexing communication device 25 adds, for example, encoder information ED1 to ED5 when the image data GD1 is imaged to the image data GD1 as header information HD. More specifically, the encoder information ED1 to ED5 are, for example, the position information of the mounting head 22 and the suction nozzle (classification information for machine learning indicating the state of the working machine) when the image data GD1 is imaged by the IPS camera 41. is there. As a result, the learning PC 14 can classify the image data GD2 and perform machine learning based on the encoder information ED1 to ED5.

なお、図４に示すヘッダ情報ＨＤは、一例であり、他のヘッダ情報ＨＤを付加してもよい。また、多重通信装置２５は、装置本体２１に対しても画像データＧＤ２と同一、又は異なるヘッダ情報ＨＤを付加した画像データＧＤ２を、画像データＧＤ１の代わりに送信してもよい。これにより、装置本体２１は、ヘッダ情報ＨＤに基づいた処理（分類等）が可能となる。また、多重通信装置２５は、Ｘ軸スライダ２３のマークカメラ５１の画像データＧＤ１に対しても、上記した処理と同様に、ヘッダ情報ＨＤを付加し学習用ＰＣ１４へ送信する。 The header information HD shown in FIG. 4 is an example, and other header information HD may be added. Further, the multiplex communication device 25 may transmit the image data GD2 to which the same or different header information HD as the image data GD2 is added to the device main body 21 instead of the image data GD1. As a result, the apparatus main body 21 can perform processing (classification and the like) based on the header information HD. Further, the multiplex communication device 25 adds header information HD to the image data GD1 of the mark camera 51 of the X-axis slider 23 and transmits the image data GD1 to the learning PC 14 in the same manner as in the above processing.

（４．学習用ＰＣ１４による画像データＧＤ２の機械学習）
（４−１．装着前後の自動分類）
次に、学習用ＰＣ１４による画像データＧＤ２の処理について説明する。図５及び図６は、画像データＧＤ２の分類処理のフローを示している。まず、図５のステップ（以下、単に「Ｓ」と表記する）１１において、学習用ＰＣ１４は、生産ラインに配置された複数の多重通信装置２５（部品装着機１１）から受信した画像データＧＤ２を記憶装置１４Ａに蓄積する。(4. Machine learning of image data GD2 by learning PC14)
(4-1. Automatic classification before and after mounting)
Next, the processing of the image data GD2 by the learning PC 14 will be described. 5 and 6 show a flow of classification processing of the image data GD2. First, in step 11 of FIG. 5 (hereinafter, simply referred to as “S”) 11, the learning PC 14 receives the image data GD2 received from the plurality of multiplex communication devices 25 (parts mounting machine 11) arranged on the production line. It is stored in the storage device 14A.

次に、学習用ＰＣ１４は、記憶装置１４Ａから画像データＧＤ２を読み出し、読み出した画像データＧＤ２に付加されたヘッダ情報ＨＤを解読する。学習用ＰＣ１４は、解読したヘッダ情報ＨＤに基づいて、機械学習用のデータとして用いるために、画像データＧＤ２の自動分類を実行する（Ｓ１２）。 Next, the learning PC 14 reads the image data GD2 from the storage device 14A and decodes the header information HD added to the read image data GD2. The learning PC 14 executes automatic classification of the image data GD2 for use as data for machine learning based on the decoded header information HD (S12).

学習用ＰＣ１４は、例えば、エンコーダ情報ＥＤ１（Ｒ軸方向）、エンコーダ情報ＥＤ２（Ｚ軸方向）、エンコーダ情報ＥＤ３（θ軸方向）に基づいて、装着ヘッド２２に設けられた複数の吸着ノズル７８の位置を検出する。学習用ＰＣ１４は、検出した吸着ノズル７８の位置に基づいて、画像データＧＤ２中に撮像された吸着ノズル７８、即ち、撮像対象の吸着ノズル７８がどの吸着ノズル７８であるのかを判定する。なお、学習用ＰＣ１４は、エンコーダ情報ＥＤ１〜ＥＤ３に限らず、他の情報、例えば、Ｉ／Ｏ情報ＩＯに基づいて撮像対象の吸着ノズル７８を判定してもよい。 The learning PC 14 is a plurality of suction nozzles 78 provided on the mounting head 22 based on, for example, encoder information ED1 (R-axis direction), encoder information ED2 (Z-axis direction), and encoder information ED3 (θ-axis direction). Detect the position. The learning PC 14 determines which suction nozzle 78 is the suction nozzle 78 imaged in the image data GD2, that is, the suction nozzle 78 to be imaged, based on the detected position of the suction nozzle 78. The learning PC 14 is not limited to the encoder information ED1 to ED3, and may determine the suction nozzle 78 to be imaged based on other information, for example, the I / O information IO.

装着ヘッド２２には、例えば、２３個の吸着ノズル７８が装着されているとする。また、記憶装置１４Ａには、吸着ノズル７８の数に合わせて、吸着ノズル７８ごとに装着前又は装着後の画像データＧＤ２を保存（分類）するための記憶領域（データフォルダなど）が確保されている。学習用ＰＣ１４は、ヘッダ情報ＨＤに基づいて、画像データＧＤ２の撮像対象となっている吸着ノズル７８の種類・識別番号等を判定し、判定結果の吸着ノズル７８に応じたデータフォルダ（図５中のノズル１〜ノズル２３）に画像データＧＤ２を保存する（Ｓ１３）。なお、図５に示すデータフォルダの種類は、一例であり、例えば、電子部品７５の種類に応じてデータフォルダの数を増やしてもよい。 It is assumed that the mounting head 22 is mounted with, for example, 23 suction nozzles 78. Further, in the storage device 14A, a storage area (data folder or the like) for storing (classifying) the image data GD2 before or after mounting is secured for each suction nozzle 78 according to the number of suction nozzles 78. .. The learning PC 14 determines the type, identification number, etc. of the suction nozzle 78 to be imaged in the image data GD2 based on the header information HD, and determines the data folder (in FIG. 5) according to the suction nozzle 78 as the determination result. The image data GD2 is stored in the nozzles 1 to 23) (S13). The type of data folder shown in FIG. 5 is an example, and the number of data folders may be increased according to the type of the electronic component 75, for example.

また、学習用ＰＣ１４は、例えば、エンコーダ情報ＥＤ４（Ｘ軸方向）及びエンコーダ情報ＥＤ５（Ｙ軸方向）に基づいて、装着ヘッド２２（吸着ノズル７８）の位置を検出する。学習用ＰＣ１４は、例えば、エンコーダ情報ＥＤ４，ＥＤ５に基づいて、電子部品７５（図３参照）を装着する前の画像データＧＤ２であるのか、あるいは装着後の画像データＧＤ２であるのかを判定する。図３に示すように、本実施形態の部品装着機１１では、電子部品７５を吸着した吸着ノズル７８を撮像する撮像領域８４と、電子部品７５を吸着していない吸着ノズル７８を撮像する撮像領域８４とが設定されている。撮像領域８４，８５は、Ｘ軸方向及びＹ軸方向における位置（座標）が異なっている。このため、学習用ＰＣ１４は、エンコーダ情報ＥＤ４，ＥＤ５に基づいて、ＸＹ座標の値を判定し、撮像領域８４，８５のいずれの領域内で撮像した画像データＧＤ２であるのかを判定する。これにより、学習用ＰＣ１４は、装着前（撮像領域８４）の画像データＧＤ２であるのか、あるいは装着後（撮像領域８５）の画像データＧＤ２であるのかを判定することが可能となる。 Further, the learning PC 14 detects the position of the mounting head 22 (suction nozzle 78) based on, for example, the encoder information ED4 (X-axis direction) and the encoder information ED5 (Y-axis direction). The learning PC 14 determines, for example, whether it is the image data GD2 before mounting the electronic component 75 (see FIG. 3) or the image data GD2 after mounting based on the encoder information ED4 and ED5. As shown in FIG. 3, in the component mounting machine 11 of the present embodiment, the imaging region 84 that images the suction nozzle 78 that has attracted the electronic component 75 and the imaging region that captures the suction nozzle 78 that does not attract the electronic component 75. 84 is set. The imaging regions 84 and 85 have different positions (coordinates) in the X-axis direction and the Y-axis direction. Therefore, the learning PC 14 determines the value of the XY coordinates based on the encoder information ED4 and ED5, and determines which of the imaging regions 84 and 85 is the image data GD2 captured. This makes it possible for the learning PC 14 to determine whether it is the image data GD2 before mounting (imaging area 84) or the image data GD2 after mounting (imaging area 85).

なお、上記した画像データＧＤ２を装着の前後で分類する方法は、一例である。例えば、学習用ＰＣ１４は、Ｉ／Ｏ情報ＩＯに基づいて、装着の前後を判定してもよい。学習用ＰＣ１４は、電子部品７５をＩ／Ｏ素子４２が検出している場合、装着前の画像データＧＤ２であると判定する。学習用ＰＣ１４は、電子部品７５をＩ／Ｏ素子４２が検出できない場合、装着後の画像データＧＤ２であると判定してもよい。また、学習用ＰＣ１４は、エンコーダ情報ＥＤ２（Ｚ軸方向）に基づいて、装着の前後を判定してもよい。例えば、学習用ＰＣ１４は、吸着ノズル７８の位置をＺ軸方向の上端まで上昇させていることを示すエンコーダ情報ＥＤ２である場合、装着前であると判定してもよい。また、学習用ＰＣ１４は、Ｚ軸方向において吸着ノズル７８の位置を下げていることを示すエンコーダ情報ＥＤ２である場合、装着後であると判定してもよい。この場合、装着制御用ボード３２は、電子部品７５を回路基板７２に装着した直後の吸着ノズル７８を、Ｚ軸方向の上端まで移動する前にＩＰＳカメラ４１によって撮像する。 The method of classifying the above-mentioned image data GD2 before and after mounting is an example. For example, the learning PC 14 may determine before and after wearing based on the I / O information IO. When the I / O element 42 detects the electronic component 75, the learning PC 14 determines that it is the image data GD2 before mounting. If the I / O element 42 cannot detect the electronic component 75, the learning PC 14 may determine that it is the image data GD2 after mounting. Further, the learning PC 14 may determine before and after mounting based on the encoder information ED2 (Z-axis direction). For example, when the learning PC 14 has the encoder information ED2 indicating that the position of the suction nozzle 78 is raised to the upper end in the Z-axis direction, it may be determined that the learning PC 14 has not been mounted. Further, when the learning PC 14 has the encoder information ED2 indicating that the position of the suction nozzle 78 is lowered in the Z-axis direction, it may be determined that the learning PC 14 has been mounted. In this case, the mounting control board 32 takes an image of the suction nozzle 78 immediately after mounting the electronic component 75 on the circuit board 72 by the IPS camera 41 before moving to the upper end in the Z-axis direction.

（４−２．エラーの有無による自動分類）
次に、エラー履歴情報ＥＲに基づいて画像データＧＤ２を分類する処理について説明する。学習用ＰＣ１４は、上記したＳ１３の処理により分類した画像データＧＤ２について、撮像時にエラーが発生していたか否かの基準に基づいて、さらに詳細に分類する。図１に示すように、部品装着機１１（装着制御用ボード３２）の各々は、作業中に発生したエラーについての情報であるエラー履歴情報ＥＲを学習用ＰＣ１４へ送信する。また、検査装置１２は、実装後の回路基板７２の検査において不良であると判定した情報（実装不良の電子部品７５の位置情報など）をエラー履歴情報ＥＲとして学習用ＰＣ１４へ送信する。学習用ＰＣ１４は、受信したエラー履歴情報ＥＲを記憶装置１４Ａに保存する（図６のＳ１５）。(4-2. Automatic classification based on the presence or absence of errors)
Next, a process of classifying the image data GD2 based on the error history information ER will be described. The learning PC 14 classifies the image data GD2 classified by the process of S13 described in more detail based on the criteria of whether or not an error has occurred at the time of imaging. As shown in FIG. 1, each of the component mounting machines 11 (mounting control board 32) transmits error history information ER, which is information about an error that occurred during work, to the learning PC 14. Further, the inspection device 12 transmits information determined to be defective in the inspection of the circuit board 72 after mounting (position information of the electronic component 75 having defective mounting, etc.) as error history information ER to the learning PC 14. The learning PC 14 stores the received error history information ER in the storage device 14A (S15 in FIG. 6).

図７は、部品装着機１１から受信したエラー履歴情報ＥＲの一例を示している。図７に示すように、エラー履歴情報ＥＲは、時間、トリガカウント情報、カメラ番号（Ｎｏ）、エラー内容の情報を有している。学習用ＰＣ１４は、Ｓ１３で記憶装置１４Ａのデータフォルダごとに保存した画像データＧＤ２を読み出す。また、学習用ＰＣ１４は、記憶装置１４Ａに保存したエラー履歴情報ＥＲを読み出す。 FIG. 7 shows an example of the error history information ER received from the component mounting machine 11. As shown in FIG. 7, the error history information ER has time, trigger count information, camera number (No), and error content information. The learning PC 14 reads out the image data GD2 saved in each data folder of the storage device 14A in S13. Further, the learning PC 14 reads out the error history information ER stored in the storage device 14A.

学習用ＰＣ１４は、例えば、記憶装置１４Ａから読み出した画像データＧＤ２の保存時間、トリガカウント情報６５（図４参照）、カメラ番号６４を、エラー履歴情報ＥＲの時間等と照合する（図６のＳ１５）。より具体的には、学習用ＰＣ１４は、画像データＧＤ２の撮像（保存）時間と一致する時間がないかを、エラー履歴情報ＥＲの時間情報（図７の左から１列目に示す時間）の中から検索する。また、学習用ＰＣ１４は、エラー履歴情報ＥＲから検索し検出した対象データのトリガカウント情報（図７の左から２列目に示す撮像回数）と、画像データＧＤ２のトリガカウント情報６５（図４参照）の撮像回数とが一致するかを判定する。さらに、学習用ＰＣ１４は、画像データＧＤ２のカメラ番号６４と、エラー履歴情報ＥＲのカメラ番号（図７の左から３列目に示すＮｏ）とが一致するかを判定する。このようにして、学習用ＰＣ１４は、エラー履歴情報ＥＲの中から画像データＧＤ２のヘッダ情報ＨＤと一致するエラー情報を検索する（Ｓ１５）。これにより、学習用ＰＣ１４は、画像データＧＤ２の撮像時にエラーが発生していたか否かを判定できる。また、例えば、多重通信装置２５と学習用ＰＣ１４とのシステム時間がずれていた場合であっても、時間以外の他の情報（トリガカウント情報６５など）に基づいて、画像データＧＤ２に対応するエラー情報を検出できる。なお、学習用ＰＣ１４は、検査装置１２のエラー履歴情報ＥＲ（実装不良の電子部品７５の位置情報など）に基づいて画像データＧＤ２を分類してもよい。 The learning PC 14 collates, for example, the storage time of the image data GD2 read from the storage device 14A, the trigger count information 65 (see FIG. 4), the camera number 64, and the time of the error history information ER (S15 in FIG. 6). ). More specifically, the learning PC 14 determines whether or not there is a time that matches the imaging (storing) time of the image data GD2 in the time information of the error history information ER (time shown in the first column from the left in FIG. 7). Search from inside. Further, the learning PC 14 has the trigger count information of the target data searched and detected from the error history information ER (the number of times of imaging shown in the second column from the left in FIG. 7) and the trigger count information 65 of the image data GD2 (see FIG. 4). ) Matches the number of imagings. Further, the learning PC 14 determines whether the camera number 64 of the image data GD2 and the camera number of the error history information ER (No shown in the third column from the left in FIG. 7) match. In this way, the learning PC 14 searches the error history information ER for error information that matches the header information HD of the image data GD2 (S15). As a result, the learning PC 14 can determine whether or not an error has occurred during the imaging of the image data GD2. Further, for example, even if the system time between the multiplex communication device 25 and the learning PC 14 is different, an error corresponding to the image data GD2 is made based on information other than the time (trigger count information 65, etc.). Information can be detected. The learning PC 14 may classify the image data GD2 based on the error history information ER of the inspection device 12 (position information of the electronic component 75 having a mounting defect, etc.).

また、図６に示すように、例えば、記憶装置１４Ａには、装着前及び装着後の各々の記憶領域（データフォルダなど）について、さらにエラーの有無で分類するための記憶領域（サブフォルダなど）が確保されている。学習用ＰＣ１４は、ヘッダ情報ＨＤ及びエラー履歴情報ＥＲに基づいて画像データＧＤ２をエラー有無で分類し、各データフォルダに保存する（Ｓ１６）。なお、上記した分類処理において、分類が困難な画像データＧＤ２がある場合、学習用ＰＣ１４は、分類エラーをユーザに通知してもよい。これにより、分類の困難な一部の画像データＧＤ２についてはユーザの手動による分類を実施できる。 Further, as shown in FIG. 6, for example, in the storage device 14A, a storage area (subfolder or the like) for further classifying each storage area (data folder or the like) before and after mounting according to the presence or absence of an error is secured. Has been done. The learning PC 14 classifies the image data GD2 according to the presence or absence of an error based on the header information HD and the error history information ER, and saves the image data GD2 in each data folder (S16). In the above classification process, when there is image data GD2 that is difficult to classify, the learning PC 14 may notify the user of the classification error. As a result, the user can manually classify some image data GD2 that are difficult to classify.

そして、学習用ＰＣ１４は、Ｓ１６で分類した画像データＧＤ２に基づいて機械学習を行う。ここでいう機械学習とは、例えば、人間の学習能力と同様の機能をコンピュータで実現する技術である。より具体的には、例えば、発生した複数の事象（画像データ）である教師データを学習することで、教師データの特徴の分析、特徴の重み付け、パターン化などを実施し、その学習結果を用いて画像処理の精度（エラーの検出精度など）を向上させる処理を行う。機械学習は、例えば、深層学習（ディープラーニング）やサポートベクタである。学習用ＰＣ１４は、例えば、分類した画像データＧＤ２を教師データとして深層学習のアルゴリズムを適用する。 Then, the learning PC 14 performs machine learning based on the image data GD2 classified in S16. Machine learning here is, for example, a technology that realizes a function similar to human learning ability on a computer. More specifically, for example, by learning teacher data which is a plurality of events (image data) that have occurred, analysis of features of teacher data, weighting of features, patterning, etc. are performed, and the learning results are used. Performs processing to improve the accuracy of image processing (error detection accuracy, etc.). Machine learning is, for example, deep learning or a support vector. For example, the learning PC 14 applies a deep learning algorithm using the classified image data GD2 as teacher data.

図６に示すように、分類した結果、本実施形態の画像データＧＤ２は、１つの吸着ノズル７８につき４つのデータフォルダに分類される。１つ目は、例えば、装着前の吸着ノズル７８を撮像したものであり、電子部品７５を吸着した正常状態の画像データＧＤ２である。２つ目は、例えば、装着前の吸着ノズル７８を撮像したものであり、テープフィーダ７７（図３参照）の供給位置７７Ａから電子部品７５を吸着できなかった吸着ノズル７８を撮像したエラーの画像データＧＤ２である。あるいは、電子部品７５を吸着しているもののエラーが発生している画像データＧＤ２である。この場合のエラーとしては、例えば、吸着ノズル７８が電子部品７５を不適切な状態（リードが横向いて電子部品７５が立った状態、あるいは電子部品７５が傾いた状態など）で吸着したため、回路基板７２の装着に失敗した場合が考えられる。 As shown in FIG. 6, as a result of classification, the image data GD2 of the present embodiment is classified into four data folders for one suction nozzle 78. The first is, for example, an image of the suction nozzle 78 before mounting, and the image data GD2 in a normal state in which the electronic component 75 is sucked. The second is, for example, an image of the suction nozzle 78 before mounting, and an image of an error in which the suction nozzle 78 that could not suck the electronic component 75 from the supply position 77A of the tape feeder 77 (see FIG. 3) was imaged. Data GD2. Alternatively, it is image data GD2 in which an error occurs even though the electronic component 75 is attracted. As an error in this case, for example, the suction nozzle 78 sucks the electronic component 75 in an inappropriate state (a state in which the lead is turned sideways and the electronic component 75 stands, or a state in which the electronic component 75 is tilted), so that the circuit board is used. It is conceivable that the installation of 72 has failed.

また、３つ目は、例えば、装着後の吸着ノズル７８を撮像したものであり、電子部品７５を吸着していない（装着を完了させた）正常状態の画像データＧＤ２である。４つ目は、例えば、装着後の吸着ノズル７８を撮像したものであり、電子部品７５を吸着しているエラー状態の画像データＧＤ２である。この場合のエラーとしては、例えば、回路基板７２の装着位置において、吸着ノズル７８から回路基板７２へ電子部品７５を離脱するのに失敗した場合が考えられる。装着ヘッド２２は、装着できていない電子部品７５を吸着ノズル７８に吸着したまま次の供給位置７７Ａへ向かう際に、吸着ノズル７８を撮像領域８５（図３参照）で撮像することとなる。 The third is, for example, an image of the suction nozzle 78 after mounting, and is image data GD2 in a normal state in which the electronic component 75 is not sucked (mounting is completed). The fourth is, for example, an image of the suction nozzle 78 after mounting, and is image data GD2 in an error state in which the electronic component 75 is sucked. As an error in this case, for example, it is conceivable that the electronic component 75 fails to be detached from the suction nozzle 78 to the circuit board 72 at the mounting position of the circuit board 72. The mounting head 22 takes an image of the suction nozzle 78 in the imaging region 85 (see FIG. 3) when the electronic component 75 that has not been mounted is attracted to the suction nozzle 78 and heads for the next supply position 77A.

学習用ＰＣ１４は、例えば、これらの装着前（正常）、装着前（エラー）、装着後（正常）、装着後（エラー）のタグ（情報）の付加された画像データＧＤ２（教師データ）を読み込み、自動的に画像データＧＤ２の特徴点を抽出等する。これにより、例えば、ユーザが何に着目してエラーの発生を判定すべきかを設定することなく、学習用ＰＣ１４が複数の画像データＧＤ２（ビックデータ）から機械学習によってエラーの発生を判定するための画像データＧＤ２の特徴点（電子部品７５の傾きの程度など）を自動で抽出することができる。より具体的には、装着前に吸着ノズル７８に対してどの程度だけ電子部品７５が傾いているとエラーが発生するのかなどを自動で学習することができる。また、装着制御用ボード３２や画像処理ボード３１の画像処理によってエラーが検出されなかったにも係わらず、実際にはエラーが発生した場合、画像データＧＤ２を機械学習し、その特徴点をフィードバックすれば、装着制御用ボード３２等の画像処理の精度を高めることができる。 The learning PC 14 reads, for example, the image data GD2 (teacher data) to which the tags (information) before mounting (normal), before mounting (error), after mounting (normal), and after mounting (error) are added. , Automatically extract feature points of image data GD2 and the like. Thereby, for example, the learning PC 14 can determine the occurrence of an error by machine learning from a plurality of image data GD2 (big data) without setting what the user should pay attention to to determine the occurrence of the error. The feature points of the image data GD2 (such as the degree of inclination of the electronic component 75) can be automatically extracted. More specifically, it is possible to automatically learn how much the electronic component 75 is tilted with respect to the suction nozzle 78 before mounting to cause an error. Further, if an error actually occurs even though the error is not detected by the image processing of the mounting control board 32 or the image processing board 31, the image data GD2 is machine-learned and the feature points are fed back. For example, the accuracy of image processing of the mounting control board 32 and the like can be improved.

また、上記したように、学習用ＰＣ１４（機械学習用分類情報処理部）は、画像データＧＤ１をヘッダ情報ＨＤに基づいて分類し、分類した画像データＧＤ１を機械学習の教師データとして用いて機械学習のアルゴリズムを適用する。これによれば、例えば、部品装着機１１（作業機）の作業状態を撮像した画像データＧＤ２を、ヘッダ情報ＨＤ（機械学習用分類情報）に基づいて分類し、機械学習の教師データとして用いて学習することで、学習結果に基づいて、画像データＧＤ１に対する画像処理の精度を向上できる。 Further, as described above, the learning PC 14 (classification information processing unit for machine learning) classifies the image data GD1 based on the header information HD, and uses the classified image data GD1 as the teacher data for machine learning for machine learning. Apply the algorithm of. According to this, for example, the image data GD2 that captures the working state of the component mounting machine 11 (working machine) is classified based on the header information HD (classification information for machine learning) and used as teacher data for machine learning. By learning, the accuracy of image processing for the image data GD1 can be improved based on the learning result.

また、ヘッダ情報ＨＤ（機械学習用分類情報）は、部品装着機１１（作業機）の駆動源として機能するモータ（サーボモータ４３等）のエンコーダ情報ＥＤ、ＩＰＳカメラ４１等へ撮像指示を行った順番を識別するトリガカウント情報６５（トリガ情報）、及び部品装着機１１（作業機）が備える検出装置（Ｉ／Ｏ素子４２，５２）のＩ／Ｏ情報ＩＯのうち、少なくとも１つの情報である。 Further, the header information HD (classification information for machine learning) gives an imaging instruction to the encoder information ED of the motor (servo motor 43, etc.) functioning as the drive source of the component mounting machine 11 (working machine), the IPS camera 41, and the like. At least one of the trigger count information 65 (trigger information) for identifying the order and the I / O information IO of the detection devices (I / O elements 42 and 52) included in the component mounting machine 11 (working machine). ..

エンコーダ情報ＥＤは、例えば、部品装着機１１（作業機）の可動部分（装着ヘッド２２）の動作状態（位置など）を示す情報である。部品装着機１１であれば、例えば、電子部品７５を回路基板７２に装着する前、装着後、電子部品７５の吸着動作中などにおける装着ヘッド２２や吸着ノズル７８の位置を示す情報である。これにより、エンコーダ情報ＥＤに基づいて、複数の画像データＧＤ２を部品装着機１１の動作状態ごとに分類できる。 The encoder information ED is, for example, information indicating an operating state (position, etc.) of a movable portion (mounting head 22) of the component mounting machine 11 (working machine). In the case of the component mounting machine 11, the information indicates, for example, the positions of the mounting head 22 and the suction nozzle 78 during the suction operation of the electronic component 75 before and after mounting the electronic component 75 on the circuit board 72. Thereby, a plurality of image data GD2 can be classified according to the operating state of the component mounting machine 11 based on the encoder information ED.

また、例えば、装着制御用ボード３２からＩＰＳカメラ４１等へ撮像指示を送る場合、装着制御用ボード３２において撮像指示をカウントした回数とエラー情報を関連付けしておき、画像データＧＤ２に付加したトリガカウント情報６５と照合すれば、いつどのような状態で撮像した画像データＧＤ１であるか（エラーが発生していたか）を後からでも判定できる。これにより、例えば、トリガカウント情報６５に基づいて、複数の画像データＧＤ２を、エラー発生の有無ごとに分類できる。 Further, for example, when an imaging instruction is sent from the mounting control board 32 to the IPS camera 41 or the like, the number of times the imaging instruction is counted on the mounting control board 32 and the error information are associated with each other, and the trigger count added to the image data GD2. By collating with the information 65, it is possible to determine later when and in what state the image data GD1 is captured (whether an error has occurred). Thereby, for example, a plurality of image data GD2 can be classified according to the presence or absence of an error based on the trigger count information 65.

また、Ｉ／Ｏ情報ＩＯは、例えば、装着ヘッド２２の吸着ノズル７８に電子部品７５が吸着されているか否かを示すＩ／Ｏ素子４２（センサ）の出力情報である。これにより、Ｉ／Ｏ情報ＩＯに基づいて、複数の画像データＧＤ２を、電子部品７５の吸着の有無ごとに分類できる。 Further, the I / O information IO is, for example, output information of the I / O element 42 (sensor) indicating whether or not the electronic component 75 is attracted to the suction nozzle 78 of the mounting head 22. Thereby, a plurality of image data GD2 can be classified according to the presence or absence of adsorption of the electronic component 75 based on the I / O information IO.

また、ヘッダ情報ＨＤ（機械学習用分類情報）は、部品装着機１１（作業機）の駆動源として機能する複数のモータ（サーボモータ５３など）のエンコーダ情報ＥＤを含む。学習用ＰＣ１４（機械学習用分類情報処理部）は、ＩＰＳカメラ４１（撮像装置）の撮像位置（装着の前後など）に関連する情報として複数のモータ（サーボモータ５３、サーボモータ２９など）のエンコーダ情報ＥＤに基づいて画像データＧＤ１を分類する。これによれば、学習用ＰＣ１４は、エンコーダ情報ＥＤに基づいて画像データＧＤ１を分類することで、画像データＧＤ１を撮像位置ごとに分類できる。なお、学習用ＰＣ１４は、エンコーダ情報ＥＤに限らず、例えば、ＩＰＳカメラ４１の照明の点灯の有無に基づいて画像データＧＤ１を分類してもよい。学習用ＰＣ１４は、例えば、ヘッダ情報ＨＤのＩ／Ｏ情報ＩＯに基づいてＩＰＳカメラ４１の照明が点灯していることを検出した場合に、ＩＰＳカメラ４１（装着ヘッド２２）が所定の撮像位置に配置されているとして画像データＧＤ１を分類してもよい。 Further, the header information HD (classification information for machine learning) includes encoder information ED of a plurality of motors (servo motor 53, etc.) that function as a drive source of the component mounting machine 11 (working machine). The learning PC 14 (machine learning classification information processing unit) is an encoder of a plurality of motors (servo motor 53, servo motor 29, etc.) as information related to the imaging position (before and after mounting, etc.) of the IPS camera 41 (imaging device). The image data GD1 is classified based on the information ED. According to this, the learning PC 14 can classify the image data GD1 for each imaging position by classifying the image data GD1 based on the encoder information ED. The learning PC 14 is not limited to the encoder information ED, and may classify the image data GD1 based on, for example, whether or not the illumination of the IPS camera 41 is turned on. For example, when the learning PC 14 detects that the illumination of the IPS camera 41 is lit based on the I / O information IO of the header information HD, the IPS camera 41 (mounting head 22) is set to a predetermined image pickup position. The image data GD1 may be classified as being arranged.

また、部品装着機１１は、回路基板７２に対する作業を行う装着ヘッド２２（可動部）と、画像データＧＤ１を入力し画像データＧＤ１に対する画像処理を行う画像処理ボード３１（画像処理部）と、画像処理ボード３１の画像処理の結果に基づいて装着ヘッド２２を制御する装着制御用ボード３２（制御部）と、を備える。画像処理ボード３１は、学習用ＰＣ１４（機械学習用分類情報処理部）とは別に設けられる。 Further, the component mounting machine 11 includes a mounting head 22 (movable part) that performs work on the circuit board 72, an image processing board 31 (image processing unit) that inputs image data GD1 and performs image processing on the image data GD1, and an image. A mounting control board 32 (control unit) that controls the mounting head 22 based on the result of image processing of the processing board 31 is provided. The image processing board 31 is provided separately from the learning PC 14 (machine learning classification information processing unit).

これによれば、ヘッダ情報ＨＤを付加した画像データＧＤ２を処理する学習用ＰＣ１４と、ヘッダ情報ＨＤを付加していない画像データＧＤ１を処理する画像処理ボード３１（画像処理部）とを別々に設ける。部品装着機１１は、例えば、ＩＰＳカメラ４１等で撮像した画像データＧＤ１に基づいて所定の作業をリアルタイムで次々と実行する必要がある。このため、画像処理ボード３１と、学習用ＰＣ１４とを別々に設けることで、学習用ＰＣ１４における処理の遅れ、学習用ＰＣ１４の不具合を改修するためのアップデート作業などにともなって、画像処理ボード３１の処理、即ち、部品装着機１１の処理が遅延（生産ラインが停止等）するのを防止することが可能となる。 According to this, a learning PC 14 for processing the image data GD2 to which the header information HD is added and an image processing board 31 (image processing unit) for processing the image data GD1 to which the header information HD is not added are separately provided. .. The component mounting machine 11 needs to execute predetermined operations one after another in real time based on, for example, the image data GD1 captured by the IPS camera 41 or the like. For this reason, by providing the image processing board 31 and the learning PC 14 separately, the image processing board 31 is provided with a delay in processing in the learning PC 14, an update work for repairing a defect in the learning PC 14, and the like. It is possible to prevent the processing, that is, the processing of the component mounting machine 11 from being delayed (the production line is stopped, etc.).

また、対基板作業システム１０（画像処理装置）は、学習用ＰＣ１４によって処理された画像データＧＤ２を保存する記憶装置１４Ａを、さらに備える。これによれば、学習用ＰＣ１４によって処理された（分類等された）画像データＧＤ２を、記憶装置１４Ａに保存（蓄積）する。これにより、例えば、記憶装置１４Ａに蓄積した複数の画像データＧＤ２をまとめて分析できる。また、例えば、部品装着機１１とは別に記憶装置１４Ａを設けることで、部品装着機１１との通信を切断した状態（オフライン）で画像データＧＤ２を分析等できる。 Further, the substrate working system 10 (image processing device) further includes a storage device 14A for storing the image data GD2 processed by the learning PC 14. According to this, the image data GD2 processed (classified or the like) by the learning PC 14 is stored (stored) in the storage device 14A. Thereby, for example, a plurality of image data GD2 stored in the storage device 14A can be analyzed collectively. Further, for example, by providing the storage device 14A separately from the component mounting machine 11, the image data GD2 can be analyzed in a state (offline) in which communication with the component mounting machine 11 is disconnected.

また、学習用ＰＣ１４は、ヘッダ情報ＨＤ（機械学習用分類情報）に加え、部品装着機１１において発生したエラーの履歴を示すエラー履歴情報ＥＲに基づいて画像データＧＤ２を分類し、分類した画像データＧＤ２を機械学習の教師データとして用いて機械学習のアルゴリズムを適用する。これによれば、学習用ＰＣ１４は、部品装着機１１の状態を示すヘッダ情報ＨＤに加え、部品装着機１１のエラー履歴情報ＥＲに基づいて画像データＧＤ２をより詳細に分類等して機械学習の教師データとして活用する。これにより、学習結果をフィードバックすれば画像処理の精度をより確実に向上させることができる。 Further, the learning PC 14 classifies the image data GD2 based on the error history information ER indicating the history of errors that have occurred in the component mounting machine 11 in addition to the header information HD (machine learning classification information), and the classified image data. A machine learning algorithm is applied using GD2 as machine learning teacher data. According to this, the learning PC 14 classifies the image data GD2 in more detail based on the error history information ER of the component mounting machine 11 in addition to the header information HD indicating the state of the component mounting machine 11, and performs machine learning. Use as teacher data. As a result, if the learning result is fed back, the accuracy of image processing can be improved more reliably.

また、部品装着機１１は、多重通信装置２５，２６，２７等で構成される多重通信システムを備える。部品装着機１１は、画像データＧＤ１を他の作業データ（エンコーダ情報ＥＤやＩ／Ｏ情報ＩＯ）と多重化して伝送する。これによれば、部品装着機１１は、複数のデータを多重化し同一の伝送路で伝送させ、省配線化を図ることができる。 Further, the component mounting machine 11 includes a multiplex communication system composed of multiplex communication devices 25, 26, 27 and the like. The component mounting machine 11 multiplexes the image data GD1 with other work data (encoder information ED and I / O information IO) and transmits the image data GD1. According to this, the component mounting machine 11 can multiplex a plurality of data and transmit them on the same transmission line to save wiring.

因みに、対基板作業システム１０は、画像処理装置及び多重通信システムの一例である。部品装着機１１は、作業機の一例である。学習用ＰＣ１４は、機械学習用分類情報処理部の一例である。装着ヘッド２２は、駆動部及び可動部の一例である。多重通信装置２５は、機械学習用分類情報付加部の一例である。サーボモータ２９，４３〜４５，５３は、モータの一例である。画像処理ボード３１は、画像処理部の一例である。装着制御用ボード３２は、制御部の一例である。ＩＰＳカメラ４１及びマークカメラ５１は、撮像装置の一例である。トリガカウント情報６５は、トリガ情報の一例である。回路基板７２は、ワークの一例である。Ｉ／Ｏ素子４２，５２は、検出装置の一例である。ヘッダ情報ＨＤは、機械学習用分類情報の一例である。 Incidentally, the board-to-board work system 10 is an example of an image processing device and a multiplex communication system. The component mounting machine 11 is an example of a working machine. The learning PC 14 is an example of a machine learning classification information processing unit. The mounting head 22 is an example of a drive unit and a movable unit. The multiplex communication device 25 is an example of a classification information addition unit for machine learning. Servo motors 29, 43 to 45, 53 are examples of motors. The image processing board 31 is an example of an image processing unit. The mounting control board 32 is an example of a control unit. The IPS camera 41 and the mark camera 51 are examples of an imaging device. The trigger count information 65 is an example of the trigger information. The circuit board 72 is an example of a work. The I / O elements 42 and 52 are examples of detection devices. The header information HD is an example of classification information for machine learning.

（５．効果）
以上、詳細に説明した上記実施形態によれば以下の効果を奏する。
本実施形態の画像処理装置（対基板作業システム１０）は、回路基板７２（ワーク）に対する作業を行う部品装着機１１（作業機）の作業状態を撮像する撮像装置（ＩＰＳカメラ４１、マークカメラ５１）と、ＩＰＳカメラ４１等によって撮像された画像データＧＤ１に対し、画像データＧＤ１を撮像した際の部品装着機１１（作業機）の状態を示すヘッダ情報ＨＤ（機械学習用分類情報）を付加して出力する多重通信装置２５（機械学習用分類情報付加部）と、多重通信装置２５からヘッダ情報ＨＤを付加した画像データＧＤ２を入力し、ヘッダ情報ＨＤに基づいて画像データＧＤ２に対する処理を行う学習用ＰＣ１４（機械学習用分類情報処理部）と、を備える。(5. Effect)
According to the above-described embodiment described in detail above, the following effects are obtained.
The image processing device (working system for board 10) of the present embodiment is an imaging device (IPS camera 41, mark camera 51) that captures the working state of the component mounting machine 11 (working machine) that performs work on the circuit board 72 (work). ) And the header information HD (classification information for machine learning) indicating the state of the component mounting machine 11 (working machine) when the image data GD1 is imaged is added to the image data GD1 captured by the IPS camera 41 or the like. The multiplex communication device 25 (classification information addition unit for machine learning) and the image data GD2 to which the header information HD is added are input from the multiplex communication device 25, and the image data GD2 is processed based on the header information HD. PC 14 (classification information processing unit for machine learning) is provided.

これによれば、学習用ＰＣ１４（機械学習用分類情報処理部）は、ＩＰＳカメラ４１等（撮像装置）によって作業状態を撮像した複数の画像データＧＤ１に対し、ヘッダ情報ＨＤ（機械学習用分類情報）に基づいて、分類、関連付けなどを実施できる。その結果、例えば、分類や関連付けした画像データＧＤ２ごとに分析し、画像データＧＤ１（画像データＧＤ２）の画像処理の条件などに分析結果をフィードバック（適用）することで、フィードバック後の画像処理の精度を向上できる。 According to this, the learning PC 14 (machine learning classification information processing unit) has header information HD (machine learning classification information) for a plurality of image data GD1s whose work state is captured by an IPS camera 41 or the like (imaging device). ), Classification, association, etc. can be carried out. As a result, for example, by analyzing each classification or associated image data GD2 and feeding back (applying) the analysis result to the image processing conditions of the image data GD1 (image data GD2), the accuracy of the image processing after the feedback is achieved. Can be improved.

（６．変形態様）
なお、本願は、上記実施形態に限定されるものではなく、当業者の知識に基づいて種々の変更、改良を施した形態で実施することが可能である。
例えば、上記実施形態では、分類した画像データＧＤ２を用いて学習用ＰＣ１４による機械学習を行い、画像処理の精度を向上させたが、これに限らない。例えば、ユーザが、自動で分類された画像データＧＤ２を確認し、装置本体２１による画像処理の設定（特徴点の抽出など）を手動で変更してもよい。この場合、予め自動で分類がなされているため、ユーザの作業負担を軽減できる。
また、本願の機械学習用分類情報処理部（学習用ＰＣ１４）による処理は、機械学習用分類情報（ヘッダ情報ＨＤ）に基づいた画像データＧＤ２の分類処理に限らない。例えば、学習用ＰＣ１４は、エンコーダ情報ＥＤに基づいて、吸着ノズル７８の位置の誤差を検出して吸着ノズル７８の位置ずれを補正してもよい。結果として、吸着ノズル７８の位置ずれが抑制されることで、画像処理の精度を向上させることができる。
また、上記実施形態では、機械学習を実施する学習用ＰＣ１４を、装置本体２１とは別に設けたが、これに限らない。例えば、装着制御用ボード３２が、装着作業の統括に加えて機械学習を実施してもよい。
また、本願における駆動部の位置情報は、部品装着機１１（作業機）の駆動源として機能するモータ（サーボモータ４３など）のエンコーダ情報ＥＤに限らず、例えば、部品装着機１１の各部位を駆動するアクチュエーター（駆動部）の出力軸の位置情報でもよい。
また、本願における機械学習用分類情報は、ヘッダ情報ＨＤに限らず、例えば、画像データＧＤ１のフッタに付け加えた情報でもよい。
また、本願におけるトリガ情報は、撮像回数を示すトリガカウント情報６５に限らず、例えば、画像データＧＤ１を特定できる他のトリガ情報（撮像を開始する際の作業工程名、吸着ノズル７８や電子部品７５ごとの撮像の順番を示す情報）でもよい。
また、上記実施形態では、機械学習用分類情報に基づく画像処理を行う対象の作業機として部品装着機１１を採用したが、これに限らない。例えば、作業後の回路基板に対する検査を行う検査装置１２を画像処理の対象の作業機として採用してもよい。また、例えば、ＦＡ分野で使用される他の作業用ロボットを画像処理の対象の作業機として採用してもよい。(6. Deformation mode)
The present application is not limited to the above embodiment, and can be implemented in a form in which various modifications and improvements have been made based on the knowledge of those skilled in the art.
For example, in the above embodiment, machine learning is performed by the learning PC 14 using the classified image data GD2 to improve the accuracy of image processing, but the present invention is not limited to this. For example, the user may check the automatically classified image data GD2 and manually change the image processing settings (extraction of feature points, etc.) by the apparatus main body 21. In this case, since the classification is automatically performed in advance, the work load on the user can be reduced.
Further, the processing by the machine learning classification information processing unit (learning PC14) of the present application is not limited to the classification processing of the image data GD2 based on the machine learning classification information (header information HD). For example, the learning PC 14 may detect an error in the position of the suction nozzle 78 and correct the misalignment of the suction nozzle 78 based on the encoder information ED. As a result, the misalignment of the suction nozzle 78 is suppressed, so that the accuracy of image processing can be improved.
Further, in the above embodiment, the learning PC 14 for performing machine learning is provided separately from the device main body 21, but the present invention is not limited to this. For example, the mounting control board 32 may perform machine learning in addition to supervising the mounting work.
Further, the position information of the drive unit in the present application is not limited to the encoder information ED of the motor (servo motor 43, etc.) that functions as the drive source of the component mounting machine 11 (working machine), for example, each part of the component mounting machine 11. It may be the position information of the output shaft of the actuator (driving unit) to be driven.
Further, the classification information for machine learning in the present application is not limited to the header information HD, and may be, for example, information added to the footer of the image data GD1.
Further, the trigger information in the present application is not limited to the trigger count information 65 indicating the number of times of imaging, and for example, other trigger information that can identify the image data GD1 (work process name at the time of starting imaging, suction nozzle 78, electronic component 75). Information indicating the order of imaging for each) may be used.
Further, in the above embodiment, the component mounting machine 11 is adopted as the target work machine for performing image processing based on the machine learning classification information, but the present invention is not limited to this. For example, an inspection device 12 that inspects the circuit board after work may be adopted as the work machine to be image-processed. Further, for example, another working robot used in the FA field may be adopted as the working machine to be image-processed.

１０ 対基板作業システム（画像処理装置、多重通信システム）、１１ 部品装着機（作業機）、１４ 学習用ＰＣ（機械学習用分類情報処理部）、１４Ａ 記憶装置、２２ 装着ヘッド（駆動部、可動部）、２５ 多重通信装置（機械学習用分類情報付加部）、２９，４３〜４５，５３ サーボモータ（モータ）、３１ 画像処理ボード（画像処理部）、３２ 装着制御用ボード（制御部）、４１ ＩＰＳカメラ（撮像装置）、４２，５２ Ｉ／Ｏ素子（検出装置）、５１ マークカメラ（撮像装置）、６５ トリガカウント情報（トリガ情報）、７２ 回路基板（ワーク）、ＥＤ，ＥＤ１〜ＥＤ５ エンコーダ情報、ＥＲ エラー履歴情報、ＨＤ ヘッダ情報（機械学習用分類情報）、ＩＯ Ｉ／Ｏ情報、ＧＤ１，ＧＤ２ 画像データ。 10 anti-board work system (image processing device, multiplex communication system), 11 component mounting machine (working machine), 14 learning PC (classification information processing unit for machine learning), 14A storage device, 22 mounting head (drive unit, movable) Unit), 25 Multiplex communication device (classification information addition unit for machine learning), 29,43 to 45,53 Servo motor (motor), 31 Image processing board (image processing unit), 32 Mounting control board (control unit), 41 IPS camera (imaging device), 42, 52 I / O element (detecting device), 51 mark camera (imaging device), 65 trigger count information (trigger information), 72 circuit board (work), ED, ED1 to ED5 encoder Information, ER error history information, HD header information (classification information for machine learning), IO I / O information, GD1, GD2 image data.

Claims (9)

ワークに対する作業を行う作業機の作業状態を撮像する撮像装置と、
前記撮像装置によって撮像された画像データに対し、前記画像データを撮像した際の前記作業機の状態を示す機械学習用分類情報を付加して出力する機械学習用分類情報付加部と、
前記機械学習用分類情報付加部から前記機械学習用分類情報を付加した前記画像データを入力し、前記機械学習用分類情報に基づいて前記画像データに対する処理を行う機械学習用分類情報処理部と、
を備え、
前記機械学習用分類情報処理部は、前記機械学習用分類情報に加え、前記作業機において発生したエラーの履歴を示すエラー履歴情報に基づいて前記画像データを分類し、分類した前記画像データを機械学習の教師データとして用いて機械学習のアルゴリズムを適用する、画像処理装置。 An imaging device that captures the working state of the work equipment that performs work on the work,
A machine learning classification information addition unit that adds and outputs machine learning classification information indicating the state of the working machine when the image data is imaged to the image data captured by the image pickup device.
A machine learning classification information processing unit that inputs the image data to which the machine learning classification information is added from the machine learning classification information addition unit and processes the image data based on the machine learning classification information.
Bei to give a,
The machine learning classification information processing unit classifies the image data based on the error history information indicating the history of errors that have occurred in the work machine in addition to the machine learning classification information, and the classified image data is machined. An image processing device that applies machine learning algorithms by using it as learning teacher data. 前記機械学習用分類情報処理部は、前記画像データを前記機械学習用分類情報に基づいて分類し、分類した前記画像データを機械学習の教師データとして用いて機械学習のアルゴリズムを適用する、請求項１に記載の画像処理装置。 The machine learning classification information processing unit classifies the image data based on the machine learning classification information, and applies the machine learning algorithm by using the classified image data as machine learning teacher data. The image processing apparatus according to 1. 前記機械学習用分類情報は、前記作業機の駆動源として機能する駆動部の位置情報である、請求項１又は２に記載の画像処理装置。 The image processing apparatus according to claim 1 or 2, wherein the machine learning classification information is position information of a drive unit that functions as a drive source for the work machine. 前記機械学習用分類情報は、前記作業機の駆動源として機能するモータのエンコーダ情報、前記撮像装置へ撮像指示を行った順番を識別するトリガ情報、及び前記作業機が備える検出装置のＩ／Ｏ情報のうち、少なくとも１つの情報である、請求項１又は２に記載の画像処理装置。 The machine learning classification information includes encoder information of a motor that functions as a drive source of the work machine, trigger information that identifies the order in which an image pickup instruction is given to the image pickup device, and I / O of the detection device included in the work machine. The image processing apparatus according to claim 1 or 2, which is at least one piece of information. 前記機械学習用分類情報は、前記作業機の駆動源として機能する複数のモータのエンコーダ情報を含み、
前記機械学習用分類情報処理部は、前記撮像装置の撮像位置に関連する情報として前記複数のモータの前記エンコーダ情報に基づいて前記画像データを分類する、請求項１又は２に記載の画像処理装置。 The machine learning classification information includes encoder information of a plurality of motors that function as a drive source for the work machine.
The image processing apparatus according to claim 1 or 2, wherein the machine learning classification information processing unit classifies the image data based on the encoder information of the plurality of motors as information related to the imaging position of the imaging device. .. 前記作業機は、前記ワークに対する作業を行う可動部と、前記画像データを入力し前記画像データに対する画像処理を行う画像処理部と、前記画像処理部の画像処理の結果に基づいて前記可動部を制御する制御部と、を備え、
前記画像処理部は、前記機械学習用分類情報処理部とは別に設けられる、請求項１乃至５の何れかに記載の画像処理装置。 The working machine has a movable unit that performs work on the work, an image processing unit that inputs the image data and performs image processing on the image data, and the movable unit based on the result of image processing of the image processing unit. Equipped with a control unit to control
The image processing device according to any one of claims 1 to 5, wherein the image processing unit is provided separately from the machine learning classification information processing unit. 前記機械学習用分類情報処理部によって処理された前記画像データを保存する記憶装置を、さらに備える、請求項１乃至６の何れかに記載の画像処理装置。 The image processing device according to any one of claims 1 to 6, further comprising a storage device for storing the image data processed by the machine learning classification information processing unit. 請求項１乃至７の何れかに記載の画像処理装置を備え、
前記画像データを他の作業データと多重化して伝送する、多重通信システム。 The image processing apparatus according to any one of claims 1 to 7 is provided.
A multiplex communication system that multiplexes and transmits the image data with other work data. ワークに対する作業を行う作業機の作業状態を撮像するステップと、
撮像された画像データに対し、前記画像データを撮像した際の前記作業機の状態を示す機械学習用分類情報を付加して出力するステップと、
前記機械学習用分類情報を付加した前記画像データを入力し、前記機械学習用分類情報に基づいて前記画像データに対する処理を行うステップと、
を含み、
前記機械学習用分類情報に基づいて前記画像データに対する処理を行うステップにおいて、前記機械学習用分類情報に加え、前記作業機において発生したエラーの履歴を示すエラー履歴情報に基づいて前記画像データを分類し、分類した前記画像データを機械学習の教師データとして用いて機械学習のアルゴリズムを適用する、画像処理方法。 Steps to image the working state of the work machine that performs work on the work,
A step of adding and outputting classification information for machine learning indicating the state of the working machine when the image data is captured to the captured image data.
A step of inputting the image data to which the machine learning classification information is added and performing processing on the image data based on the machine learning classification information.
Only including,
In the step of processing the image data based on the machine learning classification information, the image data is classified based on the error history information indicating the history of errors that have occurred in the working machine in addition to the machine learning classification information. An image processing method in which a machine learning algorithm is applied by using the classified image data as machine learning teacher data .
JP2019519818A 2017-05-22 2017-05-22 Image processing equipment, multiplex communication system and image processing method Active JP6824398B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/019049 WO2018216075A1 (en) 2017-05-22 2017-05-22 Image processing device, multiplex communication system, and image processing method

Publications (2)

Publication Number Publication Date
JPWO2018216075A1 JPWO2018216075A1 (en) 2019-12-12
JP6824398B2 true JP6824398B2 (en) 2021-02-03

Family

ID=64395350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019519818A Active JP6824398B2 (en) 2017-05-22 2017-05-22 Image processing equipment, multiplex communication system and image processing method

Country Status (2)

Country Link
JP (1) JP6824398B2 (en)
WO (1) WO2018216075A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7503370B2 (en) * 2019-07-01 2024-06-20 株式会社小松製作所 Method for producing trained task classification estimation model, computer-implemented method, and system including work machine
US20220408622A1 (en) * 2019-07-04 2022-12-22 Fuji Corporation Component mounting system
WO2023195173A1 (en) * 2022-04-08 2023-10-12 株式会社Fuji Component mounting system and image classification method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04139592A (en) * 1990-10-01 1992-05-13 Fujitsu Ltd Automatic teaching system for neurocomputer
JP4514230B2 (en) * 2006-11-22 2010-07-28 富士機械製造株式会社 Component suction posture discrimination method and component suction posture discrimination system
JP5427054B2 (en) * 2010-01-29 2014-02-26 株式会社日立ハイテクインスツルメンツ Component mounting device with anomaly detection device
JP2012212323A (en) * 2011-03-31 2012-11-01 Sony Corp Information processing device, information processing method, and program

Also Published As

Publication number Publication date
WO2018216075A1 (en) 2018-11-29
JPWO2018216075A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6824398B2 (en) Image processing equipment, multiplex communication system and image processing method
US11972589B2 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
JP2014060249A (en) Die bonder and die position recognition method
WO2015136669A1 (en) Image processing device and substrate production system
CN108142000B (en) Substrate working system and component mounting apparatus
JP2012234488A (en) Reference mark model template creating method
CN110168458B (en) Management device, installation-related device, and installation system
WO2018158888A1 (en) Backup-pin recognizing method and component mounting device
US11006561B2 (en) Component mounter
JP7153855B2 (en) Mounting system, abnormality determination device, and abnormality determination method
JP4913720B2 (en) Electronic component mounting method for electronic component mounting apparatus
US20230217637A1 (en) Component mounting system
JP6131315B2 (en) Communication system and electronic component mounting apparatus
JP4473012B2 (en) Transfer device, surface mounter, IC handler, illumination level determination method and threshold value determination method
JP7153127B2 (en) Pass/Fail Judgment Device and Pass/Fail Judgment Method
US10354036B2 (en) Model data generation device, method of generating model data, mounting reference point determination device, and method of determining mounting reference point
US20200029479A1 (en) Board work machine
JP7153126B2 (en) Pass/Fail Judgment Device and Pass/Fail Judgment Method
WO2024024008A1 (en) Display system
US11751371B2 (en) Component mounting device
JP7142169B2 (en) Image data management device and image data management method
JP2017224779A (en) Mounting related apparatus
JP7232894B2 (en) implementation system
CN111386028B (en) Substrate processing system
US20220232747A1 (en) Component mounting machine

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210112

R150 Certificate of patent or registration of utility model

Ref document number: 6824398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250