JP7333408B2 - 画像処理装置、部品実装システムおよび画像処理方法 - Google Patents

Description

本明細書は、画像処理装置、部品実装システムおよび画像処理方法を開示する。

従来、この種の画像処理装置としては、認識対象を含み、各画素のＲＧＢ値（ＲＧＢ画素情報）が定められた画像を処理するものが提案されている（例えば、特許文献１参照）。この装置では、画像から抽出すべき認識対象のＲＧＢ値と、認識対象と間違われやすい色など積極的に除外すべき除外ＲＧＢ値とを予め設定しておく。そして、画像から除外ＲＧＢ値に含まれる画素を除去して認識対象のＲＧＢ値に含まれる画素を抽出することで、認識対象の領域に対応する画像だけを残して、認識対象の状態の検査などを行う。

特開２０１０－１７５４８３号公報

しかしながら、上述した画像処理装置では、認識対象のＲＧＢ値や除外ＲＧＢ値を予め設定しておく必要があるから、設定処理の負担が大きくなる。また、予め設定していても、実際に画像を撮像する際の対象物の姿勢や位置ずれなどによって光の当たり具合などが変化してＲＧＢ値に変化が生じると、認識対象のＲＧＢ値を精度よく抽出することが困難となることもある。

本開示は、除外すべき箇所のＲＧＢ値を予め設定することなく、認識対象を精度よく認識することを主目的とする。

本開示は、上述の主目的を達成するために以下の手段を採った。

本開示の画像処理装置は、
各画素がＲＧＢ三原色の階調値を有するカラー画像を処理する画像処理装置であって、
前記カラー画像として、認識対象と、該認識対象と主要な色成分が異なり輝度が類似の類似箇所とを含む画像を取得する画像取得部と、
ＲＧＢ三原色のうち前記類似箇所の主要な色成分に近い第１原色の階調値を前記カラー画像から抽出した第１原色画像と、前記第１原色以外の第２原色の階調値を前記カラー画像から抽出した第２原色画像とを用いて、前記第１原色画像の階調値から前記第２原色画像の階調値を減じた差分に基づく階調値を有する差分画像を生成する差分画像生成部と、
ＲＧＢ三原色のうちいずれかの原色を前記カラー画像から抽出した画像の階調値から前記差分画像の階調値を減じた階調値を有する認識用画像を生成する認識用画像生成部と、
前記認識用画像を用いて前記認識対象の認識処理を行う認識処理部と、
を備えることを要旨とする。

本開示の画像処理装置は、第１原色画像の階調値から第２原色画像の階調値を減じた差分に基づく階調値を有する差分画像を生成するため、差分画像の階調値は、類似箇所における主要な色成分に近い第１原色とそれ以外の第２原色との差分に基づくものとなる。また、いずれかの原色画像の階調値から差分画像の階調値を減じて認識用画像を生成するから、認識用画像内で類似箇所の輝度を低減して認識対象と類似箇所との輝度の差を明確にすることができる。このため、類似箇所を認識対象と誤認識するのを抑制することができる。また、処理に用いられる各画像は、実際に取得されたカラー画像から抽出されたり生成されるから、予め設定しておく必要がない。したがって、除外すべきＲＧＢの階調値を予め設定することなく、認識対象を精度よく認識することができる。

部品実装システム１０の一例を示す説明図。 実装装置２０の構成の概略を示す構成図。 実装装置２０と管理装置４０と実装検査装置３０の電気的な接続関係を示す説明図。 実装後検査処理ルーチンの一例を示すフローチャート。 認識対象の部品Ｐの一例を示す説明図。 比較例において部品Ｐの外形形状を誤認識する様子の一例を示す説明図。 認識用画像の生成処理の一例を示すフローチャート。 認識用画像Ｇｉを生成する様子の一例を示す説明図。

次に、本開示の実施の形態を図面を用いて説明する。図１は部品実装システム１０の構成の概略を示す構成図であり、図２は実装装置２０の構成の概略を示す構成図であり、図３は実装装置２０と管理装置４０と実装検査装置３０の電気的な接続関係を示す説明図である。なお、図１，２中、左右方向をＸ方向とし、前後方向をＹ方向とし、上下方向をＺ方向とする。

部品実装システム１０は、図１に示すように、印刷装置１２と、印刷検査装置１４と、複数の実装装置２０と、実装検査装置３０と、管理装置４０とを備え、これらがネットワークとしてのＬＡＮ１８に接続されている。印刷装置１２は、スクリーンマスクに形成されたパターン孔にはんだを押し込むことで基板Ｓ（図２参照）に印刷する。印刷検査装置１４は、印刷装置１２で印刷されたはんだの状態を検査する。実装装置２０は、基板Ｓの搬送方向（Ｘ方向）に沿って配置され、基板Ｓに部品を実装したり、実装した部品の実装状態を検査したりする。実装検査装置３０は、各実装装置２０で基板Ｓに実装された部品の実装状態を検査する。管理装置４０は、部品実装システム１０の全体を管理する。印刷装置１２と印刷検査装置１４と複数の実装装置２０と実装検査装置３０とは、この順で基板Ｓの搬送方向に並べて設置されて生産ラインを構成する。なお、生産ラインが、これらの装置以外に、部品が実装された基板Ｓのリフロー処理を行うリフロー装置などを備えてもよく、実装検査装置３０がリフロー装置の下流側に配置されていてもよい。

実装装置２０は、図２，図３に示すように、基板Ｓを搬送する基板搬送装置２１と、部品を供給する部品供給装置２２と、部品を吸着するノズル２４が昇降可能に配設されたヘッド２３と、ヘッド２３をＸＹ方向に移動させるヘッド移動装置２５とを備える。基板搬送装置２１は、図２の前後に間隔を開けて設けられ左右方向に架け渡されたコンベアベルトを２対有しており、各コンベアベルトにより基板Ｓを図中左から右へと搬送する。部品供給装置２２は、例えば部品が所定ピッチで収容されたテープを送り出すことで部品を供給するテープフィーダであり、複数種類の部品を供給可能となるように実装装置２０に複数セットされている。

また、実装装置２０は、この他にマークカメラ２６やパーツカメラ２７、記憶部２８、実装装置２０の全体を制御する実装制御装置２９を備える。マークカメラ２６は、ヘッド２３に取り付けられ、ヘッド移動装置２５によってヘッド２３と共にＸＹ方向に移動する。マークカメラ２６は、基板Ｓに付されたマークの他、部品供給装置２２により供給された部品や基板Ｓに実装された部品などの撮像対象を上方から撮像して画像を生成し、生成した画像を実装制御装置２９へ出力する。また、パーツカメラ２７は、部品供給装置２２と基板搬送装置２１との間に設置され、ノズル２４に保持（吸着）されている部品を下方から撮像して画像を生成し、生成した画像を実装制御装置２９へ出力する。なお、本実施形態では、少なくともマークカメラ２６は、カラー撮像素子を備え、各画素がＲＧＢ三原色の階調値（Ｒ，Ｇ，Ｂ）を有するカラー画像を撮像可能に構成されている。なお、階調値（Ｒ，Ｇ，Ｂ）は、それぞれ値０～２５５までの２５６段階の値をとる。記憶部２８は、処理プログラムや部品の実装位置に関する情報、実装結果などの情報を記憶するＨＤＤなどの装置である。

実装制御装置２９は、周知のＣＰＵやＲＯＭ、ＲＡＭなどで構成されている。実装制御装置２９は、基板搬送装置２１やヘッド２３、ヘッド移動装置２５などに駆動信号を出力する。実装制御装置２９には、マークカメラ２６やパーツカメラ２７からの画像が入力される。実装制御装置２９は、マークカメラ２６で撮像された部品実装前の基板Ｓの画像を処理してマークの位置を認識することにより基板Ｓの位置を認識したり、マークカメラ２６で撮像された部品実装後の基板Ｓの画像を処理して部品の実装状態を検査したりする。また、実装制御装置２９は、パーツカメラ２７で撮像された画像に基づいてノズル２４に部品が吸着されているか否かを判定したり、部品の吸着姿勢を判定したりする。

実装検査装置３０は、図３に示すように、各実装装置２０で部品が実装された基板Ｓを搬送する基板搬送装置３２と、部品の実装状態を検査するための画像を撮像する検査カメラ３４と、検査カメラ３４をＸＹ方向に移動させるカメラ移動装置３６と、実装検査装置３０の全体を制御する検査制御装置３９とを備える。基板搬送装置３２とカメラ移動装置３６は、それぞれ、実装装置２０の基板搬送装置２１とヘッド移動装置２５と同様の構成である。

検査制御装置３９は、周知のＣＰＵやＲＯＭ、ＲＡＭなどで構成されている。検査制御装置３９は、基板搬送装置３２やカメラ移動装置３６への駆動信号や検査カメラ３４への撮像信号を出力する。また、検査制御装置３９は、検査カメラ３４からの画像が入力され、その画像を処理して部品の実装状態を検査する。また、検査制御装置３９は、実装制御装置２９や管理装置４０の管理制御装置４２とＬＡＮ１８を介して通信可能に接続されており、検査状況や検査結果に関する情報などを送信する。

管理装置４０は、図３に示すように、管理制御装置４２と、記憶部４４と、入力デバイス４６と、ディスプレイ４８とを備える。管理制御装置４２は、周知のＣＰＵやＲＯＭ、ＲＡＭなどで構成されている。記憶部４４は、処理プログラムなどの各種情報を記憶するＨＤＤなどの装置である。入力デバイス４６は、作業者が各種指令を入力するキーボードおよびマウスなどを含む。ディスプレイ４８は、各種情報を表示する液晶表示装置である。また、記憶部４４には、生産プログラムが記憶されている。生産プログラムには、基板Ｓに実装する部品種の情報や各部品の実装順の情報、各部品の実装位置や実装角度の情報、各部品を供給する部品供給装置２２の情報、部品を吸着するノズル２４の情報、生産する基板Ｓの枚数の情報などが定められている。管理制御装置４２は、実装制御装置２９とＬＡＮ１８を介して通信可能に接続されており、実装制御装置２９から実装状況に関する情報を受信したり、実装制御装置２９に生産プログラムを送信したりする。また、管理制御装置４２は、検査制御装置３９とＬＡＮ１８を介して通信可能に接続されており、検査制御装置３９から検査状況や検査結果に関する情報を受信したり、検査制御装置３９に検査対象の基板Ｓの情報を送信したりする。管理制御装置４２は、この他に印刷装置１２や印刷検査装置１４の図示しない各制御装置とＬＡＮ１８を介して通信可能に接続されており、各装置から作業状況に関する情報を受信したり、作業指示を送信したりする。

以下は、こうして構成された実装装置２０の動作として、部品の実装処理と部品実装後の基板Ｓの検査処理についての説明である。部品の実装処理では、実装制御装置２９は、まず、ヘッド移動装置２５を制御してヘッド２３を部品供給装置２２の部品供給位置の上方へ移動させ、ノズル２４を下降させて部品供給位置に供給された部品をノズル２４に吸着させる。次に、実装制御装置２９は、ヘッド移動装置２５を制御してヘッド２３をパーツカメラ２７の上方に移動させ、パーツカメラ２７を制御してノズル２４に吸着させた部品を撮像する。続いて、実装制御装置２９は、撮像された画像を処理してノズル２４に吸着された部品の位置ずれなどを判定し、位置ずれが解消されるように当該部品の目標実装位置を補正する。そして、実装制御装置２９は、ヘッド移動装置２５を制御してヘッド２３を基板Ｓの上方へ移動させてノズル２４を下降させ、部品を基板Ｓ上の目標実装位置に実装する。また、本実施形態の実装制御装置２９は、基板Ｓへの部品の実装が完了すると、基板Ｓを搬出する前に部品の実装状態を検査する検査処理を行う。図４は実装後検査処理ルーチンの一例を示すフローチャートである。

このルーチンが開始されると、実装制御装置２９は、まず、マークカメラ２６で撮像された部品実装後の基板Ｓのカラー画像を取得する（Ｓ１００）。上述したように、マークカメラ２６で撮像されるカラー画像は、各画素がＲＧＢ三原色の階調値（Ｒ，Ｇ，Ｂ）を有する。次に、実装制御装置２９は、取得したカラー画像から部品を認識するための認識用画像の生成処理を行う（Ｓ１１０）。この生成処理の詳細は、後述する。続いて、実装制御装置２９は、生成した認識用画像を用いて部品を認識して実装状態を検査し（Ｓ１２０）、その検査結果を記憶部２８に登録（記憶）して（Ｓ１３０）、実装後検査処理ルーチンを終了する。Ｓ１２０では、実装制御装置２９は、例えば部品の実装位置のずれや部品の実装角度のずれを取得し、目標実装位置に対するＸ方向のずれ量およびＹ方向のずれ量が基準値内であるか否か、目標実装角度に対する回転ずれ量（角度）が基準値内であるか否かなどを検査する。また、実装制御装置２９は、部品の欠けの有無や部品の欠品なども検査する。

ここで、図５は認識対象の部品Ｐの一例を示す説明図である。図示するように、例えば部品Ｐは、上面視が矩形状で、両端部に電極Ｐｅを有すると共に中央部が樹脂などの非光沢性の材料で形成された部品である。このため、画像処理では、電極Ｐｅを認識対象として部品Ｐの外形形状や位置が認識されるものとする。また、図６は比較例において部品Ｐの外形形状を誤認識する様子の一例を示す説明図である。図６では、図５の部品Ｐが実装された基板Ｓの画像を処理した際の様子を示す。部品Ｐの電極Ｐｅは、画像の撮像時に、光を反射して白く光るため、画像内に白色で写るものとなる。このため、電極Ｐｅの階調値（Ｒ，Ｇ，Ｂ）は、例えば（２５５，２５５，２５５）となり、次式（１）により輝度Ｙは値２５５となる。

Ｙ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ・・・（１）

また、画像内には、基板Ｓに設けられている銅箔Ｃｆや印刷装置１２で基板Ｓに印刷されたはんだＳｏ（点線で図示）なども写っている。このうち銅箔Ｃｆは、はんだＳｏよりも光を反射しやすく、画像内にオレンジ色や黄色などで写るものとなる。この銅箔Ｃｆの階調値（Ｒ，Ｇ，Ｂ）は、例えば（２３９，１６０，１５４）となり、式（１）により輝度Ｙは値１８３となる。このように銅箔Ｃｆは、主要な色成分がオレンジ色や黄色に近い赤色（Ｒ）であり電極Ｐｅとは異なるものの、輝度Ｙが比較的高く電極Ｐｅの輝度Ｙに類似する。■ここで、認識対象の電極Ｐｅと主要な色成分が異なるとは、電極Ｐｅが白色で写るために３原色がいずれも高い階調値となるのに対し、３原色のうちいずれかの１の原色が他の原色よりも高い階調値となることをいう。なお、認識対象の主要な色成分即ち階調値の高い原色が３原色のいずれか１色であれば、その原色とは異なる原色が高い階調値となる場合に主要な色成分が異なるものとすればよい。また、電極Ｐｅと類似の輝度Ｙとは、例えば、電極Ｐｅの輝度Ｙに対する相違が３０％程度以内であるなど、数十％程度以内の所定範囲内にあることをいう。このため、実装制御装置２９は、マークカメラ２６で撮像されたカラー画像を画像処理する際に、電極Ｐｅと銅箔Ｃｆとを区別して認識することが困難となり、銅箔Ｃｆを電極Ｐｅの一部と誤認識する場合がある。その場合、実装制御装置２９は、銅箔Ｃｆの一部を含めて部品Ｐの形状を認識するため、部品Ｐの実装位置のずれや実装角度のずれを誤判定することになる。例えば、図６では、実際には部品Ｐの実装角度のずれが殆どない場合に、実装制御装置２９が部品Ｐの外形形状を誤認識して実装角度のずれがあると誤判定した様子の一例である。このような誤認識を防止するため、本実施形態では、Ｓ１１０の認識用画像の生成処理を以下のように行う。図７は認識用画像の生成処理の一例を示すフローチャートであり、図８は認識用画像Ｇｉを生成する様子の一例を示す説明図である。なお、図８は、各画像の実際の階調値とは異なり、階調値のイメージを示すものであり、例えば銅箔Ｃｆの部分などを均一な階調値で示していても、実際には階調値の高い部分や低い部分が混在している。

図７の認識用画像の生成処理では、実装制御装置２９は、まず、上述したＳ１００で取得したカラー画像における各画素の階調値（Ｒ，Ｇ，Ｂ）から、赤色の階調値Ｒを抽出したＲ画像Ｇｒ（第１原色画像）と、青色の階調値Ｂを抽出したＢ画像Ｇｂ（第２原色画像）とを生成する（Ｓ２００）。上述したように、銅箔Ｃｆの主要な色成分がオレンジ色や黄色であるため、実装制御装置２９は、ＲＧＢ三原色のうちオレンジ色や黄色に近い赤色の階調値Ｒを抽出してＲ画像Ｇｒ（図８Ａ参照）を生成する。また、実装制御装置２９は、ＲＧＢ三原色のうちオレンジ色や黄色に対する補色に近い青色の階調値Ｂを抽出してＢ画像Ｇｂ（図８Ｂ参照）を生成する。なお、銅箔Ｃｆの主要な色成分に近い赤色の階調値Ｒは、銅箔Ｃｆの階調値（Ｒ，Ｇ，Ｂ）のうち最も大きな値となり、補色に近い青色の階調値Ｂは、銅箔Ｃｆの階調値（Ｒ，Ｇ，Ｂ）のうち最も小さな値となる。

次に、実装制御装置２９は、Ｒ画像Ｇｒの各画素の階調値ＲからＢ画像Ｇｂの各画素の階調値Ｂを減算した差分の階調値を有する差分画像Ｇｄを生成する（Ｓ２１０）。例えば、電極Ｐｅの階調値（Ｒ，Ｇ，Ｂ）は（２５５，２５５，２５５）で、銅箔Ｃｆの階調値（Ｒ，Ｇ，Ｂ）は（２３９，１６０，１５４）であるから、差分画像Ｇｄは、電極Ｐｅの部分で差分の階調値が値０などとなり、銅箔Ｃｆの部分で差分の階調値が値８５などとなる。このため、図８Ｃに示すように、差分画像Ｇｄは、電極Ｐｅの部分や背景の部分で差分が殆ど値０（黒色）となり、銅箔Ｃｆの部分で銅箔Ｃｆの階調値Ｒと階調値Ｂとの差分が現れている。なお、銅箔Ｃｆの階調値（Ｒ，Ｇ，Ｂ）のうち、赤色の階調値Ｒが最も大きく、青色の階調値Ｂが最も小さいから、銅箔Ｃｆの部分で差分が比較的大きく現れることになる。

続いて、実装制御装置２９は、差分画像Ｇｄに平滑化処理を施して差分画像Ｇｄ’（差分平滑画像，平滑後画像，図８Ｄ参照）を生成する（Ｓ２２０）。Ｓ２２０の平滑化処理は、例えば周知の移動平均フィルタやガウシアンフィルタなどを用いて、階調値Ｒと階調値Ｂとの差分の階調値を平滑化してぼかすことにより行われ、ノイズの影響などを除外することができる。そして、実装制御装置２９は、Ｂ画像Ｇｂの各画素の階調値から差分画像Ｇｄ’の各画素の階調値を減算した階調値を有する認識用画像Ｇｉを生成して（Ｓ２３０）、認識用画像の生成処理を終了する。ここで、Ｂ画像Ｇｂは、銅箔Ｃｆの部分の階調値がＲ画像Ｇｒほど高くなく、そのＢ画像Ｇｂから差分画像Ｇｄ’を減算して認識用画像Ｇｉが生成されるから、認識用画像Ｇｉにおいて銅箔Ｃｆの部分の階調値をより抑えることができる。このため、図８Ｅに示すように、認識用画像Ｇｉは、銅箔Ｃｆの部分の輝度が、元のカラー画像（図６参照）や図８ＡのＲ画像Ｇｒ、図８ＢのＢ画像Ｇｂよりも低下した画像となる。一方で、電極Ｐｅの部分は、Ｂ画像Ｇｂでも高い階調値（Ｂ＝２５５）であり、差分画像Ｇｄ（Ｇｄ’）でも差分が値０となるなど殆ど差分が生じない。このため、認識用画像Ｇｉにおいて、電極Ｐｅの部分の輝度は、元のカラー画像と実質的に変わらないものとなる。したがって、実装制御装置２９がＳ１２０で認識用画像Ｇｉを用いて部品Ｐを認識する際に、銅箔Ｃｆを電極Ｐｅに含めて部品Ｐの外形形状を誤認識するのを防止して、電極Ｐｅを適切に認識することができる。

なお、上述したように、カラー画像内に銅箔Ｃｆはオレンジ色や黄色で写るが、光の反射具合によっては例えば銅箔Ｃｆの中心部分など一部分が白色で写って階調値（Ｒ，Ｇ，Ｂ）が（２５５，２５５，２５５）またはそれに近い値となる場合がある。その場合、Ｓ２１０で生成される差分画像Ｇｄでは、銅箔Ｃｆの一部分で電極Ｐｅと同様に差分が値０となり、銅箔Ｃｆの残りの部分に上述したような階調値Ｒと階調値Ｂとの差分が生じる。そして、実装制御装置２９がＳ２２０の平滑化処理を行わずに、差分画像ＧｄをＢ画像Ｇｂから減算して認識用画像Ｇｉを生成すると、銅箔Ｃｆの残りの部分は輝度が低下し、銅箔Ｃｆの一部分は電極Ｐｅと同様に元の輝度で残ることになる。そうなると、実装制御装置２９は、銅箔Ｃｆの一部分と残りの部分との境界を、電極Ｐｅの境界などと誤認識するおそれがある。これに対して、実装制御装置２９がＳ２２０の平滑化処理を行うと、銅箔Ｃｆの残りの部分で生じた差分が銅箔Ｃｆの一部分に分散されるため、銅箔Ｃｆの一部分のみが残りの部分と極端に異なる輝度となるのを抑制することができる。これにより、実装制御装置２９が、銅箔Ｃｆの一部分と残りの部分との境界を誤認識するおそれを低減することができる。このように、差分の急激な変化による影響を低減して誤認識を抑制するために、本実施形態ではＳ２２０の平滑化処理を行うのである。

ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の図４の実装後検査処理ルーチンのＳ１００を実行する実装制御装置２９が画像取得部に相当し、図７の認識用画像の生成処理のＳ２００～Ｓ２２０を実行する実装制御装置２９が差分画像生成部に相当し、認識用画像の生成処理のＳ２３０を実行する実装制御装置２９が認識用画像生成部に相当し、実装後検査処理ルーチンのＳ１２０を実行する実装制御装置２９が認識処理部に相当する。また、マークカメラ２６が撮像装置に相当し、実装制御装置２９が画像処理装置に相当し、部品実装システム１０が部品実装システムに相当する。なお、本実施形態では、実装制御装置２９の動作を説明することにより本開示の画像処理方法の一例も明らかにしている。

以上説明した本実施形態の実装制御装置２９は、Ｒ画像Ｇｒ（第１原色画像）からＢ画像Ｇｂ（第２原色画像）を減じた差分画像Ｇｄを生成する。このため、差分画像Ｇｄの階調値は、部品Ｐの電極Ｐｅに輝度が類似する類似箇所である銅箔Ｃｆにおける主要な色成分に近い赤色（第１原色）と、それ以外の青色（第２原色）との差分となる。また、Ｂ画像Ｇｂから差分画像Ｇｄ（Ｇｄ’）を減じて認識用画像Ｇｉを生成するため、認識用画像Ｇｉ内で銅箔Ｃｆの輝度を低減することができるから、銅箔Ｃｆを電極Ｐｅと誤認識するのを抑制することができる。したがって、除外すべきＲＧＢの階調値を画像撮像前に予め設定することなく、認識対象である電極Ｐｅを精度よく認識することができる。

また、実装制御装置２９は、銅箔Ｃｆの主要な色成分に対する補色に近い青色の階調値を抽出したＢ画像Ｇｂを用いるから、緑色の階調値を抽出する場合に比して、主要な色成分に近い赤色とその補色に近い青色との差分を大きくして認識用画像Ｇｉ内で銅箔Ｃｆの輝度をより低減することができる。

また、実装制御装置２９は、Ｒ画像ＧｒからＢ画像Ｇｂを減じた差分を平滑化した階調値を有する差分画像Ｇｄ’を生成するから、認識用画像Ｇｉ内で差分の急激な変化による影響を低減して、銅箔Ｃｆを電極Ｐｅと誤認識するのを抑制することができる。

なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態では、Ｒ画像ＧｒからＢ画像Ｇｂを減じた差分を平滑化した階調値を有する差分画像Ｇｄ’を用いて認識用画像Ｇｉを生成したが、これに限られるものではない。例えば、Ｒ画像ＧｒからＢ画像Ｇｂを減じた差分画像Ｇｄを平滑化することなくそのまま用いて認識用画像Ｇｉを生成してもよい。

上述した実施形態では、銅箔Ｃｆの主要な色成分に対する補色に近い青色の階調値を抽出したＢ画像Ｇｂを用いて差分画像Ｇｄを生成したが、補色を用いるものに限られず、他の色の原色画像を用いるものであればよい。即ち、ＲＧＢ三原色のうち緑色の階調値Ｇを抽出してＧ画像Ｇｇを第２原色画像として生成し、Ｒ画像ＧｒからＧ画像Ｇｇを減じて差分画像Ｇｄ（Ｇｄ’）を生成してもよい。その場合、Ｇ画像Ｇｇから差分画像Ｇｄ（Ｇｄ’）を減じて認識用画像Ｇｉを生成すればよい。なお、Ｒ画像Ｇｒを第１原色画像、Ｂ画像Ｇｂを第２原色画像とした場合に、第２原色画像であるＢ画像Ｇｂから差分画像Ｇｄ（Ｇｄ’）を減じて認識用画像Ｇｉを生成したが、これに限られず、第１原色画像であるＲ画像Ｇｒや、Ｇ画像Ｇｇなど、いずれかの原色画像から差分画像Ｇｄ（Ｇｄ’）を減じて認識用画像Ｇｉを生成してもよい。

上述した実施形態では、基板Ｓに設けられている銅箔Ｃｆを類似箇所として除外する処理を例示したが、これに限られず、印刷装置１２で基板Ｓに印刷されたはんだＳｏなどを類似箇所として除外してもよいし、基板Ｓ自体を類似箇所として除外してもよい。

上述した実施形態では、実装装置２０で行う検査処理に本開示を適用したが、これに限られず、実装検査装置３０で行う検査処理に本開示を適用してもよい。その場合、検査制御装置３９を画像処理装置として同様な処理を行えばよい。また、実装制御装置２９や検査制御装置３９に限られず、管理装置４０の管理制御装置４２を画像処理装置として同様な処理を行ってもよい。あるいは、実装制御装置２９がカラー画像の取得と、差分画像Ｇｄ（Ｇｄ’）や認識用画像Ｇｉの生成とを行い、検査制御装置３９や管理制御装置４２が認識用画像Ｇｉを用いた認識処理（検査処理）を行うなど、２以上の装置が共同で行うものなどとしてもよい。あるいは、部品実装後の基板Ｓの検査処理に本開示を適用するものに限られず、部品実装前にはんだＳｏの塗布状態を検査する検査処理に本開示を適用してもよい。その場合、印刷検査装置１４の制御装置を画像処理装置として同様な処理を行えばよい。

上述した実施形態では、認識対象として上面視が矩形状で両端部に電極Ｐｅが設けられた部品Ｐを例示したが、これに限られず、両端部に電極Ｐｅが設けられていない部品や、上面視が円形状など矩形状以外の形状の部品などを認識対象としてもよい。また、基板Ｓに実装された部品Ｐを認識対象としたが、これに限られず、部品供給装置２２で部品供給位置に供給された部品や、部品供給位置でノズル２４に吸着されてから一旦所定箇所に仮置きされた部品など、基板Ｓに実装される前の部品を認識対象としてもよい。

上述した実施形態では、部品Ｐが基板Ｓに実装される実装処理における検査に必要な画像処理に本開示を適用するものを例示したが、実装処理における検査に必要な画像処理に限られず、例えば製品への異物の付着有無を検査するために、異物を認識対象とする画像処理などに本開示を適用するものであってもよい。

ここで、本開示の画像処理装置は、以下のように構成してもよい。例えば、本開示の画像処理装置において、前記認識用画像生成部は、前記認識用画像として、前記第２原色画像の階調値から前記差分画像の階調値を減じた階調値を有する画像を生成するものとしてもよい。類似箇所における第２原色画像の階調値は、第１原色画像の階調値ほど高くなく輝度が抑えられている。このため、第２原色画像から差分画像を減じることで、認識用画像内で類似箇所の輝度をより低減することができるから、類似箇所を認識対象と誤認識するのをより抑制することができる。また、第２原色画像は、差分画像の生成に用いられたものであるから、新たな原色画像を準備することなく速やかに処理を行うことができる。

本開示の画像処理装置において、前記差分画像生成部は、前記第２原色画像として、ＲＧＢ三原色のうち前記類似箇所の主要な色成分に対する補色に近い原色を前記第２原色とする画像を用いるものとしてもよい。こうすれば、第１原色画像の階調値と第２原色画像の階調値との差分即ち差分画像の階調値がより大きくなるから、第２原色画像の階調値から差分画像の階調値を減じた階調値を小さくすることができる。このため、認識用画像内で類似箇所の輝度をさらに低減することができるから、類似箇所を認識対象と誤認識するのをさらに抑制することができる。

本開示の画像処理装置において、前記差分画像生成部は、前記差分画像として、前記第１原色画像の階調値から前記第２原色画像の階調値を減じた差分を平滑化した階調値を有する画像を生成するものとしてもよい。こうすれば、差分画像の画素間における差分の急激な変化を抑えることができるから、認識用画像内の類似箇所において階調値が急激に変化するのを低減することができる。このため、類似箇所において階調値が急激に変化する箇所を、認識対象の境界などと誤認識するのを抑制することができる。

本開示の部品実装システムは、
基板に部品を実装する部品実装システムであって、
前記部品が実装された前記基板のカラー画像を撮像する撮像装置と、
前記基板に実装された前記部品を前記認識対象として含む前記カラー画像を処理する上述したいずれかの前記画像処理装置と、
を備えることを要旨とする。

本開示の部品実装システムは、部品が実装された基板のカラー画像を撮像する撮像装置と、基板に実装された部品を認識対象として含むカラー画像を処理する本開示のいずれかの画像処理装置とを備える。したがって、上述した画像処理装置と同様に、除外すべきＲＧＢの階調値を予め設定することなく、認識対象を精度よく認識することができる。

本開示の画像処理方法は、
各画素がＲＧＢ三原色の階調値を有するカラー画像を処理する画像処理方法であって、
（ａ）前記カラー画像として、認識対象と、該認識対象と主要な色成分が異なり輝度が類似の類似箇所とを含む画像を取得するステップと、
（ｂ）ＲＧＢ三原色のうち前記類似箇所の主要な色成分に近い第１原色の階調値を前記カラー画像から抽出した第１原色画像と、前記第１原色以外の第２原色の階調値を前記カラー画像から抽出した第２原色画像とを用いて、前記第１原色画像の階調値から前記第２原色画像の階調値を減じた差分に基づく階調値を有する差分画像を生成するステップと、
（ｃ）ＲＧＢ三原色のうちいずれかの原色を前記カラー画像から抽出した画像の階調値から前記差分画像の階調値を減じた階調値を有する認識用画像を生成するステップと、
（ｄ）前記認識用画像を用いて前記認識対象の認識処理を行うステップと、
を含むことを要旨とする。

本開示の画像処理方法は、上述した画像処理装置と同様に、第１原色画像の階調値から第２原色画像の階調値を減じた差分に基づく階調値を有する差分画像を生成し、差分画像の階調値をいずれかの原色画像の階調値から減じて認識用画像を生成する。したがって、除外すべきＲＧＢの階調値を予め設定することなく、認識対象を精度よく認識することができる。なお、この画像処理方法において、上述した画像処理装置の種々の態様を採用してもよいし、画像処理装置の各機能を実現するようなステップを追加してもよい。

本開示は、カラー画像の画像処理や部品の実装処理の技術分野などに利用可能である。

１０ 部品実装システム、１２ 印刷装置、１４ 印刷検査装置、１８ ＬＡＮ、２０ 実装装置、２１，３２ 基板搬送装置、２２ 部品供給装置、２３ ヘッド、２４ ノズル、２５ ヘッド移動装置、２６ マークカメラ、２７ パーツカメラ、２８ 記憶部、２９ 実装制御装置、３０ 実装検査装置、３４ 検査カメラ、３６ カメラ移動装置、３９ 検査制御装置、４０ 管理装置、４２ 管理制御装置、４４ 記憶部、４６ 入力デバイス、４８ ディスプレイ、Ｃｆ 銅箔、Ｇｄ，Ｇｄ’ 差分画像、Ｇｂ Ｂ画像、Ｇｉ 認識用画像、Ｇｒ Ｒ画像、Ｐ 部品、Ｐｅ 電極、Ｓ 基板、Ｓｏ はんだ。

Claims (5)

1. 各画素がＲＧＢ三原色の階調値を有するカラー画像を処理する画像処理装置であって、
   前記カラー画像として、認識対象としての部品の電極と、該認識対象と主要な色成分が異なり輝度が類似の類似箇所とを含む画像を取得する画像取得部と、
   前記類似箇所のＲＧＢ三原色の階調値のうち最も大きな値である原色を、主要な色成分に近い第１原色として、前記第１原色の階調値を前記カラー画像から抽出した第１原色画像と、前記第１原色以外の第２原色の階調値を前記カラー画像から抽出した第２原色画像とを用いて、前記第１原色画像の階調値から前記第２原色画像の階調値を減じた差分に基づく階調値を有する差分画像を生成する差分画像生成部と、
   前記第２原色画像の階調値から前記差分画像の階調値を減じた階調値を有する認識用画像を生成する認識用画像生成部と、
   前記認識用画像を用いて前記認識対象の認識処理を行う認識処理部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記差分画像生成部は、前記第２原色画像として、前記類似箇所のＲＧＢ三原色の階調値のうち最も小さな値である原色を、主要な色成分に対する補色に近い原色として、前記第２原色とする画像を用いる
   画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記差分画像生成部は、前記差分画像として、前記第１原色画像の階調値から前記第２原色画像の階調値を減じた差分を平滑化した階調値を有する画像を生成する
   画像処理装置。
4. 基板に前記部品を実装する部品実装システムであって、
   前記部品が実装された前記基板のカラー画像を撮像する撮像装置と、
   前記基板に実装された前記部品の電極を前記認識対象として含む前記カラー画像を処理する請求項１ないし３のいずれか１項に記載の前記画像処理装置と、
   を備える部品実装システム。
5. 各画素がＲＧＢ三原色の階調値を有するカラー画像を処理する画像処理方法であって、
   （ａ）前記カラー画像として、認識対象としての部品の電極と、該認識対象と主要な色成分が異なり輝度が類似の類似箇所とを含む画像を取得するステップと、
   （ｂ）前記類似箇所のＲＧＢ三原色の階調値のうち最も大きな値である原色を、主要な色成分に近い第１原色として、前記第１原色の階調値を前記カラー画像から抽出した第１原色画像と、前記第１原色以外の第２原色の階調値を前記カラー画像から抽出した第２原色画像とを用いて、前記第１原色画像の階調値から前記第２原色画像の階調値を減じた差分に基づく階調値を有する差分画像を生成するステップと、
   （ｃ）前記第２原色画像の階調値から前記差分画像の階調値を減じた階調値を有する認識用画像を生成するステップと、
   （ｄ）前記認識用画像を用いて前記認識対象の認識処理を行うステップと、
   を含む画像処理方法。

Images