JP7257514B2

JP7257514B2 - 部品実装システムおよび学習装置

Info

Publication number: JP7257514B2
Application number: JP2021529658A
Authority: JP
Inventors: 光孝稲垣; 茂人大山; 春菜成田
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-07-04
Filing date: 2019-07-04
Publication date: 2023-04-13
Anticipated expiration: 2039-07-04
Also published as: JPWO2021001996A1; WO2021001996A1

Description

本明細書は、部品実装システムについて開示する。

従来より、１台又は複数台の部品実装機を含む部品実装ラインと、部品実装ラインの基板搬出側に設置され回路基板に実装した各部品の実装状態の良否を判定する外観検査装置と、部品実装ラインのネットワークに接続され学習処理に用いる教師データの収集及び学習を行なう学習用コンピュータと、を備える部品実装システムが提案されている（例えば、特許文献１参照）。各部品実装機の制御装置は、生産中に撮像対象を撮像した低解像度画像から高解像度画像を推定する再構成型超解像処理部と、生産中に学習用コンピュータの学習処理の学習結果に基づいて部品を撮像した低解像度画像から高解像度画像を推定する学習型超解像処理部とを有する。各部品実装機の制御装置は、学習用コンピュータの学習処理が完了するまでは再構成型超解像処理により高解像度画像を推定すると共に推定した高解像度画像を処理して部品を認識する。一方、各部品実装機の制御装置は、学習用コンピュータの学習処理が完了した後は、学習型超解像処理に切り替えて高解像度画像を推定すると共に推定した高解像度画像を処理して部品を認識する。また、各部品実装機の制御装置は、学習型超解像処理の実行期間中に、教師データの学習結果を更新する必要があると判断したときに、再構成型超解像処理に切り替えて高解像度画像を推定すると共に、学習結果の更新要求を学習用コンピュータへ送信する。そして、各部品実装機の制御装置は、更新要求を受信した学習用コンピュータが教師データを再収集すると共に再学習して教師データの学習結果を更新してその学習処理を完了すると、再構成型超解像処理から学習型超解像処理に切り替える。

特開２０１８－９７７３１号公報

ところで、部品実装システムにおいて、実装動作を行なった後の基板（部品実装後基板）を撮像し、その撮像画像において部品を認識する画像処理を行なうことで当該部品実装後基板の検査を行なう場合、部品実装後基板の品質を確保するために、当該検査は適切に行なわれなければならない。

本開示は、教師データに基づいて機械学習により生成される学習データを用いて部品実装後基板の撮像画像に画像処理を施して当該部品実装後基板の検査を行なう場合に、当該検査を適切に行なって部品実装後基板の品質を確保することを主目的とする。

本開示は、上述の主目的を達成するために以下の手段を採った。

本開示の部品実装システムは、
基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、
部品を実装する実装動作を行なう前の部品実装前基板と前記実装動作を行なった後の部品実装後基板とを前記撮像装置で撮像し、前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する学習装置と、
前記部品実装後基板を前記撮像装置で撮像し、前記部品検査用の学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なう検査装置と、
を備えることを要旨とする。

この本開示の部品実装システムは、学習装置と検査装置とを備える。学習装置は、部品実装前基板と部品実装後基板とを撮像し、部品実装前基板の撮像画像に基づいて機械学習を行ない、部品実装後基板の撮像画像に基づく教師データを取得すると共に取得した教師データと部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する。検査装置は、部品実装後基板を撮像し、部品検査用の学習データを用いて部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで部品実装後基板の検査を行なう。このように、部品実装前基板および部品実装後基板のそれぞれの撮像画像に基づいて部品検査用の学習データを生成することで、部品実装後基板の撮像画像から部品を認識する際の認識精度を高めることができる。この結果、部品実装後基板の検査を適切に行なってその品質を確保することができる。

本実施形態の部品実装システム１の構成の概略を示す構成図である。部品実装機１０の外観斜視図である。部品実装機１０の制御装置６０と管理装置８０との電気的な接続関係を示す説明図である。部品実装処理の一例を示すフローチャートである。学習処理の一例を示すフローチャートである。再学習実行条件成否判定処理の一例を示すフローチャートである。検査処理の一例を示すフローチャートである。変形例の学習処理を示すフローチャートである。追加学習実行条件成否判定処理の一例を示すフローチャートである。

次に、本開示の発明を実施するための形態について図面を参照しながら説明する。

図１は、本実施形態の部品実装システム１の構成の概略を示す構成図である。図２は、部品実装機１０の外観斜視図である。図３は、部品実装機１０の制御装置６０と管理装置８０との電気的な接続関係を示す説明図である。なお、図１，２中、左右方向をＸ軸方向とし、前後方向をＹ軸方向とし、上下方向をＺ軸方向とする。

部品実装システム１は、図１に示すように、印刷機２と、印刷検査機３と、複数台（例えば５台）の部品実装機１０と、システム全体を管理する管理装置８０と、を備える。印刷機２は、基板Ｓ上にはんだを印刷して回路パターンを形成する。印刷検査機３は、印刷機２で印刷されたはんだの状態を検査する。複数の部品実装機１０は、部品を基板に実装する実装動作を行なうと共に基板に部品が実装されたか否かの実装検査を行なう。印刷機２と印刷検査機３と複数の部品実装機１０とは、基板Ｓの搬送方向に並べて設置されて生産ラインを構成する。

部品実装機１０は、図２に示すように、部品を供給する部品供給装置２１と、基板を搬送する基板搬送装置２２と、部品を吸着する吸着ノズルを有するヘッド４０と、ヘッド４０をＸ軸方向およびＹ軸方向に移動させるヘッド移動装置３０と、実装機全体をコントロールする制御装置６０（図３参照）と、を備える。また、部品実装機１０は、これらの他に、吸着ノズルに吸着させた部品の吸着姿勢を撮像するためのパーツカメラ２３や、交換用の吸着ノズルを収容するノズルステーション２４、基板Ｓを撮像するためのマークカメラ４３なども備えている。

部品供給装置２１は、例えば、所定間隔で部品を収容したキャリアテープが巻回されたテープリールと、駆動モータの駆動によりテープリールからキャリアテープを引き出して部品供給位置まで送り出すテープ送り機構と、を備えるテープフィーダとして構成される。この部品供給装置２１（テープフィーダ）は、部品実装機１０が備える図示しないフィーダ台に着脱可能に取り付けられる。

基板搬送装置２２は、Ｙ軸方向に間隔を空けて配置される一対のコンベアレールを備えており、一対のコンベアレールを駆動することにより基板を図１の左から右（基板搬送方向）へと搬送する。

ヘッド移動装置３０は、図２に示すように、一対のＸ軸ガイドレール３１と、Ｘ軸スライダ３２と、Ｘ軸アクチュエータ３３（図３参照）と、一対のＹ軸ガイドレール３５と、Ｙ軸スライダ３６と、Ｙ軸アクチュエータ３７（図３参照）と、を備える。一対のＹ軸ガイドレール３５は、Ｙ軸方向に互いに平行に延在するように筐体１１の上段に設置される。Ｙ軸スライダ３６は、一対のＹ軸ガイドレール３５に架け渡され、Ｙ軸アクチュエータ３７の駆動によりＹ軸ガイドレール３５に沿ってＹ軸方向に移動する。一対のＸ軸ガイドレール３１は、Ｘ軸方向に互いに平行に延在するようにＹ軸スライダ３６の下面に設置される。Ｘ軸スライダ３２は、一対のＸ軸ガイドレール３１に架け渡され、Ｘ軸アクチュエータ３３の駆動によりＸ軸ガイドレール３１に沿ってＸ軸方向に移動する。Ｘ軸スライダ３２にはヘッド４０が取り付けられており、ヘッド移動装置３０は、Ｘ軸スライダ３２とＹ軸スライダ３６とを移動させることで、ヘッド４０をＸ軸方向とＹ軸方向とに移動させる。

ヘッド４０は、吸着ノズルをＺ軸（上下）方向に移動させるＺ軸アクチュエータ４１（図３参照）と、吸着ノズルをＺ軸周りに回転させるθ軸アクチュエータ４２（図３参照）とを備える。ヘッド４０は、吸着ノズルの吸引口に負圧源を連通させることで、吸引口に負圧を作用させて部品を吸着することができる。また、ヘッド４０は、吸着ノズルの吸引口に正圧源を連通させることで、吸引口に正圧を作用させて部品の吸着を解除することができる。

制御装置６０は、図３に示すように、ＣＰＵ６１を中心としたマイクロプロセッサとして構成されており、ＣＰＵ６１の他に、ＲＯＭ６２と、ＨＤＤ６３と、ＲＡＭ６４と、入出力インタフェース６５とを備える。これらは、バス６６を介して電気的に接続されている。制御装置６０には、Ｘ軸スライダ３２の位置を検知するＸ軸位置センサ３４からの位置信号や、Ｙ軸スライダ３６の位置を検知するＹ軸位置センサ３８からの位置信号、マークカメラ４３からの画像信号、パーツカメラ２３からの画像信号などが入出力インタフェース６５を介して入力されている。一方、制御装置６０からは、部品供給装置２１への制御信号や、基板搬送装置２２への制御信号、Ｘ軸アクチュエータ３３への駆動信号、Ｙ軸アクチュエータ３７への駆動信号、Ｚ軸アクチュエータ４１への駆動信号、θ軸アクチュエータ４２への駆動信号、パーツカメラ２３への制御信号、マークカメラ４３への制御信号などが入出力インタフェース６５を介して出力されている。また、制御装置６０は、管理装置８０と双方向通信可能に接続されており、互いにデータや制御信号のやり取りを行っている。

管理装置８０は、例えば、汎用のコンピュータであり、図３に示すように、ＣＰＵ８１とＲＯＭ８２とＨＤＤ８３とＲＡＭ８４と入出力インタフェース８５などを備える。これらは、バス８６を介して電気的に接続されている。この管理装置８０には、マウスやキーボード等の入力デバイス８７から入力信号が入出力インタフェース８５を介して入力されている。また、管理装置８０からは、ディスプレイ８８への画像信号が入出力インタフェース８５を介して出力されている。ＨＤＤ８３は、基板Ｓの生産ジョブを記憶している。ここで、基板Ｓの生産ジョブには、各部品実装機１０においてどの部品をどの順番で基板Ｓへ実装するか、また、そのように部品を実装した基板Ｓを何枚作製するかなどの生産スケジュールが含まれる。管理装置８０は、オペレータが入力デバイス８７を介して入力したデータに基づいて生産ジョブを生成し、生成した生産ジョブを各部品実装機１０へ送信することで、各部品実装機１０に対して生産の開始を指示する。

次に、こうして構成された本実施形態の部品実装システム１における部品実装機１０の動作について説明する。特に、部品を基板Ｓに実装すると共に実装した部品の実装状態を検査する際の動作について説明する。図４は、制御装置６０のＣＰＵ６１により実行される部品実装処理の一例を示すフローチャートである。この処理は、管理装置８０から生産ジョブを伴って生産開始が指示されたときに実行される。制御装置６０は、生産開始が指示されると、管理装置８０から受信した生産ジョブに従って部品実装処理を行なう。

部品実装処理が実行されると、制御装置６０のＣＰＵ６１は、まず、基板Ｓが搬入されるよう基板搬送装置２２を制御する（ステップＳ１００）。続いて、ＣＰＵ６１は、後述する学習処理が実行中であるか否かを判定し（ステップＳ１１０）、学習処理が実行中であると判定すると、搬入した基板Ｓの上方にマークカメラ４３が来るようヘッド移動装置３０を制御すると共に当該基板Ｓを撮像するようマークカメラ４３を制御して（ステップＳ１２０）、ステップＳ１３０に進む。これにより、部品が実装される前の基板の画像（部品実装前基板画像）が取得される。一方、ＣＰＵ６１は、学習処理が実行中でない（学習済み）と判定すると、ステップＳ１２０をスキップして、ステップＳ１３０に進む。

次に、ＣＰＵ６１は、部品供給装置２１の部品供給位置の上方に吸着ノズルが来るようにヘッド移動装置３０を制御し、吸着ノズルに部品を吸着するようヘッド４０を制御する吸着動作を行なう（ステップＳ１３０）。そして、ＣＰＵ６１は、吸着した部品が基板Ｓの目標実装位置の上方へ来るようにヘッド移動装置３０を制御すると共に（ステップＳ１４０）、部品を基板Ｓの目標実装位置に実装するようヘッド４０を制御する実装動作を行なう（ステップＳ１５０）。なお、ステップＳ１４０の処理は、吸着した部品がパーツカメラ２３の上方を通過して目標実装位置の上方へ至るように行なわれる。ＣＰＵ６１は、吸着した部品がパーツカメラ２３の上方を通過する際に当該部品を撮像し、得られた撮像画像に基づいて部品の吸着ずれ量を算出すると共に算出した吸着ずれ量に基づいて目標実装位置を補正する。ＣＰＵ６１は、こうして実装動作を行なうと、部品を実装した基板Ｓを撮像するようマークカメラ４３を制御する（ステップＳ１６０）。これにより、部品が実装された後の基板の画像（部品実装後基板画像）が取得される。そして、ＣＰＵ６１は、当該基板Ｓが搬出されるよう基板搬送装置２２を制御して（ステップＳ１７０）、本処理を終了する。

次に、学習処理について説明する。学習処理は、部品の実装検査に用いられる学習データを作成する処理であり、本実施形態では、管理装置８０によって所定時間毎に繰り返し実行される。図５は、管理装置８０のＣＰＵ８１により実行される学習処理の一例を示すフローチャートである。学習処理は、上述した部品実装処理が実行されている間、所定時間毎に繰り返し実行される。

学習処理が実行されると、管理装置８０のＣＰＵ８１は、まず、学習が未完了であるか否かを判定する（ステップＳ２００）。ＣＰＵ８１は、学習が未完了であると判定すると、部品実装前基板画像が取得されたか否かを判定する（ステップＳ２１０）。部品実装前基板画像は、上述したように、部品実装処理のステップＳ１２０において、基板Ｓに部品を実装する前に当該基板Ｓをマークカメラ４３で撮像することにより取得される。ＣＰＵ８１は、部品実装前基板画像が取得されたと判定すると、部品無しを教師データとして部品実装前基板画像に基づいて機械学習（例えばサポートベクタマシン等）により部品検査用学習データを生成する（ステップＳ２２０）。ここで、部品検査用学習データの生成は、入力である部品実装前基板画像と出力である検査結果（部品無し）とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。

次に、ＣＰＵ８１は、部品実装後基板画像が取得されたか否かを判定する（ステップＳ２３０）。部品実装後基板画像は、上述したように、部品実装処理のステップＳ１６０において、基板Ｓに部品を実装した後に当該基板Ｓをマークカメラ４３で撮像することにより取得される。ＣＰＵ８１は、部品実装後基板画像が取得されたと判定すると、部品実装後基板画像をディスプレイ８８に表示し、部品有無の教師データの入力を受け付け（ステップＳ２４０）、教師データが入力されるのを待つ（ステップＳ２５０）。オペレータは、ディスプレイ８８に表示されている部品実装後基板画像中に検査対象となる部品が写っているか否かを判断し、部品が写っていると判断すれば、「部品有り」を入力し、部品が写っていないと判断すれば、「部品無し」を入力する。ＣＰＵ８１は、部品有無の教師データを入力すると、入力した教師データと部品実装後基板画像とに基づいて上述した機械学習により部品検査用学習データを生成（更新）すると共に（ステップＳ２６０）、教師データの取得数Ｎを値１だけインクリメントする（ステップＳ２７０）。部品検査用学習データの生成は、入力である部品実装後基板画像と出力である検査結果の教師データ（オペレータが入力した部品有無）とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。

そして、ＣＰＵ８１は、教師データの取得数Ｎが所定数Ｎｒｅｆ以上であるか否かを判定する（ステップＳ２８０）。ここで、所定数Ｎｒｅｆは、学習データを用いた実装検査の精度を確保するために必要十分な数が定められる。ＣＰＵ８１は、教師データの取得数Ｎが所定数Ｎｒｅｆ未満であると判定すると、ステップＳ２１０に戻って、部品実装前基板画像や部品実装後基板画像に基づいて機械学習により部品検査用学習データを生成（更新）する処理を繰り返す。ＣＰＵ８１は、繰り返し処理においてステップＳ２８０で教師データの取得数Ｎが所定数Ｎｒｅｆ以上となったと判定すると、学習が完了したと判定して（ステップＳ２９０）、本処理を終了する。

ＣＰＵ８１は、ステップＳ２００において学習が完了していると判定すると、再学習実行条件が成立しているか否かを判定する（ステップＳ３００）。ＣＰＵ８１は、再学習実行条件が成立していないと判定すると、本処理を終了し、再学習実行条件が成立していると判定すると、ステップＳ２２０，Ｓ２６０の学習履歴をクリアすると共に（ステップＳ３１０）、教師データの取得数Ｎを値０に初期化して（ステップＳ３２０）、ステップＳ２１０に進む。これにより、教師データの取得数Ｎが所定数Ｎｒｅｆ以上となるまで、再度、部品実装前基板画像と部品無しの教師データとに基づく学習（再学習）と、部品実装後基板画像と当該部品実装後基板画像を見たオペレータが入力した部品有無の教師データとに基づく学習（再学習）が実行されて部品検査用学習データが再生成されることになる。

ここで、再学習条件が成立しているか否かの判定は、図６の再学習実行条件成否判定処理を実行することにより行なわれる。再学習実行条件成否判定処理では、管理装置８０のＣＰＵ８１は、オペレータから再学習指示があるか否か（ステップＳ４００）、基板Ｓのロットが切り替わったか否か（ステップＳ４１０）、基板Ｓに実装する部品のロットが切り替わったか否か（ステップＳ４２０）、前回学習してから所定時間が経過したか否か（ステップＳ４３０）、生産ジョブが編集されたか否か（ステップＳ４４０）、をそれぞれ判定する。ＣＰＵ８１は、ステップＳ４００～Ｓ４４０のうちいずれもが否定的な判定であれば、再学習実行条件が成立していないと判定して（ステップＳ４５０）、本処理を終了し、いずれかが肯定的な判定であれば、再学習実行条件が成立していると判定して（ステップＳ４６０）、本処理を終了する。基板Ｓや部品のロットの切り替わりが発生した場合に再学習するのは、その切り替わり前後で基板Ｓや部品の写りが変化するおそれがあるからである。また、前回学習してから所定時間が経過した場合に再学習するのは、照明等の生産環境の経年変化に伴って、基板Ｓや部品の写りが変化するおそれがあるからである。さらに、生産ジョブが編集された場合に再学習するのは、部品の寸法や形状、実装位置等が編集されると、その前後で部品の写りが変化するおそれがあるからである。

ＣＰＵ８１は、基板Ｓを識別する基板ＩＤと関連付けて当該基板Ｓのロット情報をＨＤＤ８３に予め記憶しておき、部品実装機１０に基板Ｓが搬入されると、当該基板Ｓの基板ＩＤに対応するロット情報を読み出して基板Ｓのロットに切り替わりが発生したか否かを判定する。そして、ＣＰＵ８１は、基板Ｓのロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した部品検査用学習データをその学習データを識別する識別情報（学習ＩＤ）および基板ＩＤと関連付けてＨＤＤ８３に記憶する。また、ＣＰＵ８１は、部品を識別する部品ＩＤと関連付けて当該部品のロット情報をＨＤＤ８３に予め記憶しておき、部品実装機１０に搬入された基板Ｓに部品が実装されると、当該部品の部品ＩＤに対応するロット情報を読み出して部品のロットに切り替わりが発生したか否かを判定する。そして、ＣＰＵ８１は、部品のロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した部品検査用学習データをその学習ＩＤおよび基板ＩＤと関連付けてＨＤＤ８３に記憶する。こうして記憶された部品検査用学習データは、次の検査処理に用いられる。

次に、部品検査用学習データを用いた部品の実装検査について説明する。図７は、管理装置８０のＣＰＵ８１により実行される検査処理の一例を示すフローチャートである。この処理は、上述した部品実装処理が実行されている間、所定時間毎に繰り返し実行される。ここで、ＣＰＵ８１は、上述した学習処理による学習が完了するのを待ってから検査処理を実行してもよいし、部品検査用学習データが生成されていれば、部品の学習が完了するのを待たず（教師データが揃う前）に検査処理を実行してもよい。

検査処理が実行されると、管理装置８０のＣＰＵ８１は、まず、部品実装後基板画像が取得されたか否か（ステップＳ５００）、部品検査用学習データが存在するか否か（ステップＳ５１０）、をそれぞれ判定する。ＣＰＵ８１は、部品実装後基板画像が取得されてないと判定したり、部品検査用学習データが存在しないと判定すると、部品検査を行なうことができないと判断し、本処理を終了する。一方、ＣＰＵ８１は、部品実装後基板画像が取得され、且つ、部品検査用学習データが存在すると判定すると、その部品検査用学習データを用いて部品実装後基板画像において部品を認識する認識処理（画像処理）を行なうことで検査対象となった部品が基板Ｓに実装されているか否かを判定する実装検査を行なう（ステップＳ５２０）。ここで、実装検査は、検査対象となった基板Ｓおよび部品の識別情報（基板ＩＤおよび部品ＩＤ）に基づいて対応する部品検査用学習データをＨＤＤ８３から読み出し、読み出した学習データ（認識モデル）を用いて部品実装後基板画像から部品が認識できるかどうかによって行なわれる。ＣＰＵ８１は、認識処理により部品の認識が成功したか否かを判定し（ステップＳ５３０）、部品の認識が成功したと判定すると、部品の実装が正常に行なわれたと判定して（ステップＳ５４０）、本処理を終了し、部品の認識が失敗したと判定すると、実装エラーが発生したと判定して（ステップＳ５５０）、本処理を終了する。

ここで、実施形態の主要な要素と発明の開示の欄に記載した発明の主要な要素との対応関係について説明する。即ち、マークカメラ４３が撮像装置に相当し、部品実装機１０が部品実装機に相当し、部品実装システム１が部品実装システムに相当し、学習処理を実行する管理装置８０のＣＰＵ８１が学習装置に相当し、検査処理を実行する管理装置８０のＣＰＵ８１が検査装置に相当する。また、管理装置８０のＨＤＤ８３が記憶装置に相当する。また、ヘッド４０がヘッドに相当し、ヘッド移動装置３０がヘッド移動装置に相当する。

なお、本発明は上述した実施形態に何ら限定されることはなく、本開示の発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態では、管理装置８０のＣＰＵ８１は、学習処理において、再学習条件が成立したときには、学習履歴をクリアすると共に教師データの取得数Ｎを値０に初期化して、教師データの取得数Ｎが所定数Ｎｒｅｆ以上となるまで教師データに基づく機械学習によって再学習を行なうものとした。しかし、ＣＰＵ８１は、学習履歴をクリアすることなく、教師データを追加で取得して学習データを更新する追加学習を行なうものとしてもよい。図８は、管理装置８０のＣＰＵ８１により実行される変形例の学習処理を示すフローチャートである。なお、変形例の学習処理の各ステップのうち実施形態の学習処理と同一のステップについては同一のステップ番号を付し、その説明は重複するから省略する。変形例の学習処理では、ＣＰＵ８１は、ステップＳ２００において学習が完了したと判定すると、追加学習条件が成立しているか否かを判定する（ステップＳ３００Ｂ）。ＣＰＵ８１は、追加学習条件が成立していないと判定すると、本処理を終了し、追加学習条件が成立していると判定すると、教師データの取得数Ｎを所定数Ｎｒｅｆよりも少ない所定値αだけデクリメントして（ステップＳ３２０Ｂ）、ステップＳ２１０に進み、追加学習を行なう。追加学習は、学習履歴をクリアすることなく、教師データの取得数Ｎが所定数Ｎｒｅｆ以上となるまで、すなわち教師データが新たに所定値α取得されるまで、教師データを追加取得して部品検査用学習データを更新することによって行なわれる。

ここで、追加学習条件が成立しているか否かの判定は、図９の追加学習実行条件成否判定処理を実行することにより行なわれる。追加学習実行条件成否判定処理では、管理装置８０のＣＰＵ８１は、再学習実行条件成否判定処理と同様に、オペレータから追加学習指示があるか否か（ステップＳ４００Ｂ）、基板Ｓのロットが切り替わったか否か（ステップＳ４１０）、基板Ｓに実装する部品のロットが切り替わったか否か（ステップＳ４２０）、前回学習してから所定時間が経過したか否か（ステップＳ４３０）、生産ジョブが編集されたか否か（ステップＳ４４０）、をそれぞれ判定する。ＣＰＵ８１は、ステップＳ４００Ｂ，Ｓ４１０～Ｓ４４０のうちいずれもが否定的な判定であれば、追加学習実行条件が成立していないと判定して（ステップＳ４５０Ｂ）、本処理を終了し、いずれかが肯定的な判定であれば、追加学習実行条件が成立していると判定して（ステップＳ４６０Ｂ）、本処理を終了する。

上述した実施形態では、ＣＰＵ８１は、検査処理において、部品検査用学習データを用いた実装検査として、実装動作を行なった後の基板Ｓに実際に部品が実装されたか否かの検査を行なうものとした。しかし、ＣＰＵ８１は、学習データを用いた実装検査として、基板Ｓに対して部品に実装ずれ（ＸＹ方向のずれや回転方向のずれ）が生じているか否かの検査を行なうものとしてもよい。

なお、部品実装機１０は、複数のブロック（子基板）を含み、ブロック毎に部品を実装するか否かを示す情報（スキップ情報）が設定された基板を実装する場合、「スキップ無し」が設定されたブロックに対しては部品を実装し、「スキップ有り」が設定されたブロックについては部品を実装しない。こうした複数のブロックを含む基板への部品実装前の学習は、スキップ有り無しに拘わらず全てのブロックについて行なわれる。一方、部品実装後の学習は、スキップ無しが設定されたブロックに対してのみ行なわれ、スキップ有りが設定されたブロックに対しては行なわれない。これにより、より確実に実装された部品のみを学習することができる。

以上説明したように、本開示の部品実装システムは、基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、部品を実装する実装動作を行なう前の部品実装前基板と前記実装動作を行なった後の部品実装後基板とを前記撮像装置で撮像し、前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する学習装置と、前記部品実装後基板を前記撮像装置で撮像し、前記部品検査用の学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なう検査装置と、を備えることを要旨とする。

この本開示の部品実装システムは、学習装置と検査装置とを備える。学習装置は、部品実装前基板と部品実装後基板とを撮像し、部品実装前基板の撮像画像に基づいて機械学習を行ない、部品実装後基板の撮像画像に基づく教師データを取得すると共に取得した教師データと部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する。検査装置は、部品実装後基板を撮像し、部品検査用の学習データを用いて部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで部品実装後基板の検査を行なう。このように、部品実装前基板および部品実装後基板のそれぞれの撮像画像に基づいて学習データを生成することで、部品実装後基板の撮像画像から部品を認識する際の認識精度を高めることができる。この結果、部品実装後基板の検査を適切に行なってその品質を確保することができる。

こうした本開示の部品実装システムにおいて、前記学習装置は、所定の再学習条件が成立した場合には、前記部品実装前基板と前記部品実装後基板とを前記撮像装置で撮像し、前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に基づく教師データを再取得すると共に該再取得した教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを再生成し、前記部品実装後基板の識別情報または該部品実装後基板に実装された部品の識別情報と関連付けて前記再生成した部品検査用の学習データを記憶装置に記憶し、前記検査装置は、前記部品実装後基板を前記撮像装置で撮像し、前記部品実装後基板の識別情報または該部品実装後基板に実装された部品の識別情報を取得すると共に該取得した識別情報に対応する部品検査用の学習データを前記記憶装置から読み出し、該読み出した部品検査用の学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なうものとしてもよい。こうすれば、部品の認識精度を良好に維持することができる。ここで、前記再学習条件は、オペレータにより指示された場合、基板のロットが切り替わった場合、実装する部品のロットが切り替わった場合、前回に学習を実行してから所定時間が経過した場合または生産ジョブが変更された場合に成立する条件であるものとしてもよい。

また、本開示の部品実装システムにおいて、前記学習装置は、所定の追加学習条件が成立した場合には、前記部品実装前基板と前記部品実装後基板とを前記撮像装置で撮像し、前記部品実装前基板の撮像画像に基づいて追加学習を行ない、前記部品実装後基板の撮像画像に基づく教師データを再取得すると共に該再取得した教師データと前記部品実装後基板の撮像画像とに基づいて追加学習を行なって前記部品検査用の学習データを更新するものとしてもよい。こうすれば、部品の認識精度を良好に維持することができる。ここで、前記追加学習条件は、オペレータにより指示された場合、基板のロットが切り替わった場合、実装する部品のロットが切り替わった場合、前回に学習を実行してから所定時間が経過した場合または生産ジョブが変更された場合に成立する条件であるものとしてもよい。

さらに、本開示の部品実装システムにおいて、前記検査装置は、前記部品実装後基板の検査として、前記部品実装後基板に検査対象の部品が実装されているか否かを判定するものとしてもよい。

また、本開示の部品実装システムにおいて、前記部品実装機は、前記部品を採取可能なヘッドと、前記ヘッドを移動させるヘッド移動装置と、を備え、前記撮像装置は、前記ヘッド移動装置によって前記ヘッドと共に移動可能に設けられているものとしてもよい。

本開示は、部品実装機や部品実装システムの製造産業などに利用可能である。

１部品実装システム、２印刷機、３印刷検査機、１０部品実装機、１１筐体、２１部品供給装置、２２基板搬送装置、２３パーツカメラ、２４ノズルステーション、３０ヘッド移動装置、３１Ｘ軸ガイドレール、３２Ｘ軸スライダ、３３Ｘ軸アクチュエータ、３４Ｘ軸位置センサ、３５Ｙ軸ガイドレール、３６Ｙ軸スライダ、３７Ｙ軸アクチュエータ、３８Ｙ軸位置センサ、４０ヘッド、４１Ｚ軸アクチュエータ、４２ θ軸アクチュエータ、４３マークカメラ、６０制御装置、６１ＣＰＵ、６２ＲＯＭ、６３ＨＤＤ、６４ＲＡＭ、６５入出力インタフェース、６６バス、８０管理装置、８１ＣＰＵ、８２ＲＯＭ、８３ＨＤＤ、８４ＲＡＭ、８５入出力インタフェース、８６バス、８７入力デバイス、８８ディスプレイ、Ｓ基板。

Claims

基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、
部品を実装する実装動作を行なう前の部品実装前基板と前記実装動作を行なった後の部品実装後基板とを前記撮像装置で撮像し、検査対象の部品が無い部品無しを教師データとして前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に検査対象の部品が写っているか否かの部品有無の教師データを取得すると共に該取得した部品有無の教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを生成する学習装置と、
前記部品実装後基板を前記撮像装置で撮像し、前記部品検査用の学習データを用いて前記部品実装後基板の撮像画像において検査対象の部品を認識する画像処理を行なって当該部品の認識の成否を判定することで前記部品実装後基板の検査を行なう検査装置と、
を備える部品実装システム。
請求項１に記載の部品実装システムであって、
前記学習装置は、所定の再学習条件が成立した場合には、前記部品実装前基板と前記部品実装後基板とを前記撮像装置で撮像し、前記部品無しを教師データとして前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に基づく前記部品有無の教師データを再取得すると共に該再取得した部品有無の教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって部品検査用の学習データを再生成し、前記部品実装後基板の識別情報または該部品実装後基板に実装された部品の識別情報と関連付けて前記再生成した部品検査用の学習データを記憶装置に記憶し、
前記検査装置は、前記部品実装後基板を前記撮像装置で撮像し、前記部品実装後基板の識別情報または該部品実装後基板に実装された部品の識別情報を取得すると共に該取得した識別情報に対応する部品検査用の学習データを前記記憶装置から読み出し、該読み出した部品検査用の学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なって当該部品の認識の成否を判定することで前記部品実装後基板の検査を行なう、
部品実装システム。
請求項２に記載の部品実装システムであって、
前記再学習条件は、オペレータにより指示された場合、基板のロットが切り替わった場合、実装する部品のロットが切り替わった場合、前回に学習を実行してから所定時間が経過した場合または生産ジョブが変更された場合に成立する条件である、
部品実装システム。
請求項１ないし３いずれか１項に記載の部品実装システムであって、
前記学習装置は、所定の追加学習条件が成立した場合には、前記部品実装前基板と前記部品実装後基板とを前記撮像装置で撮像し、前記部品無しを教師データとして前記部品実装前基板の撮像画像に基づいて追加学習を行ない、前記部品実装後基板の撮像画像に基づく前記部品有無の教師データを再取得すると共に該再取得した部品有無の教師データと前記部品実装後基板の撮像画像とに基づいて追加学習を行なって前記部品検査用の学習データを更新する、
部品実装システム。
請求項４に記載の部品実装システムであって、
前記追加学習条件は、オペレータにより指示された場合、基板のロットが切り替わった場合、実装する部品のロットが切り替わった場合、前回に学習を実行してから所定時間が経過した場合または生産ジョブが変更された場合に成立する条件である、
部品実装システム。
請求項１ないし５いずれか１項に記載の部品実装システムであって、
前記検査装置は、前記部品実装後基板の検査として、前記部品実装後基板に検査対象の部品が実装されているか否かを判定する、
部品実装システム。
請求項１ないし６いずれか１項に記載の部品実装システムであって、
前記部品実装機は、前記部品を採取可能なヘッドと、前記ヘッドを移動させるヘッド移動装置と、を備え、
前記撮像装置は、前記ヘッド移動装置によって前記ヘッドと共に移動可能に設けられている、
部品実装システム。
部品を基板に実装する実装動作を行なう複数の部品実装機を備え、前記実装動作を行なった後の基板の撮像画像に対し部品検査用の学習データを用いて検査対象の部品を認識する画像処理を行なって当該部品の認識の成否を判定することで当該基板の検査を行なう部品実装システムに用いられ、前記部品検査用の学習データを生成する学習装置であって、
前記画像処理に先立って、前記実装動作を行なう前の部品実装前基板と前記実装動作を行なった後の部品実装後基板とを取得し、検査対象の部品が無い部品無しを教師データとして前記部品実装前基板の撮像画像に基づいて機械学習を行ない、前記部品実装後基板の撮像画像に検査対象の部品が写っているか否かの部品有無の教師データを取得すると共に該取得した部品有無の教師データと前記部品実装後基板の撮像画像とに基づいて機械学習を行なって前記部品検査用の学習データを生成する、
学習装置。