JP2006200900A - 対象物の認識方法及び装置 - Google Patents

Abstract

【課題】対象物のサイズが極めて小さい場合でも、確実にその対象物を認識することが可能な対象物の認識方法及び装置を提供する。
【解決手段】撮像装置４で撮像された電子部品２の画像が、アフィン変換処理部３６ａでアフィン変換されて拡大される。この拡大された画像は、エッジ強調処理部３６ｂにおいて画像のエッジのコントラストが強調される。続いて、加重平均演算処理部３６ｃで、アフィン変換後の画像とエッジ強調後の画像が加重平均され、その加重平均された画像が輝度調整処理部３６ｄでガンマ補正されて、明るさが調整され、その画像に対して認識が行われる。このような構成では、アフィン変換、エッジ強調、加重平均、輝度調整の各処理を施された拡大画像により、部品認識を行っているので、小型部品であっても、高精度な部品認識が可能となる。
【選択図】図１

Description

本発明は、対象物の認識方法及び装置、更に詳細には、電子部品実装機において撮像装置で撮像された電子部品や基板マークなどの対象物の画像を処理して対象物の位置を検出する対象物の認識方法及び装置に関するものである。

電子部品実装装置においては、電子部品（以下、部品という）が部品供給装置から供給され、吸着ノズルにより吸着されて回路基板に実装される。吸着ノズルは必ずしも正しい姿勢で部品を吸着するとは限らないので、通常ＣＣＤカメラなど撮像装置により吸着部品が撮像され、この撮像された部品の画像を画像処理装置において画像処理することにより部品認識が行われ、吸着姿勢が検出され、部品のＸＹ方向の位置ずれと傾きのずれが検出される。そして、正しい姿勢で吸着されていない場合には、認識結果に基づきＸＹ方向の位置補正、傾き補正が行なわれ、部品は正しい姿勢で回路基板の正確な位置に実装される。

従来の部品実装機では、部品のサイズが小型化すると撮像装置で撮像される部品のサイズも小さくなり、部品認識が困難になる。部品が小さい場合には、高解像度の撮像装置を用いたり、また、例えば、特許文献１などに記載されているように、部品の画像をズーミングすることにより拡大し、拡大された画像を処理して部品認識することが行われている。
特開平８−２９０３４９号公報

このように、従来の部品実装機では、小型の部品に対しては、ハードウェア的には撮像装置の解像度を上げたり、ソフトウェア的には画像を拡大するなどの方法を用いて対応している。しかし、さらに対象物が小型化すると、新たな対応をしなければならず、根本的な解決策がないという問題があった。

本発明は、このような問題点を解決するためになされたもので、対象物のサイズが極めて小さい場合でも、確実にその対象物を認識することが可能な対象物の認識方法及び装置を提供することを課題とする。

本発明（請求項１）は、
撮像された対象物の画像を処理して対象物を認識する対象物の認識方法であって、
アフィン変換により対象物の拡大された画像を取得し、
前記拡大された画像にコントラストをつけて画像のエッジを強調し、
アフィン変換後の画像とエッジ強調後の画像を加重平均し、
前記加重平均された画像を処理して対象物の認識を行うことを特徴とする。

また、本発明（請求項４）は、
撮像された対象物の画像を処理して対象物を認識する対象物の認識装置であって、
前記対象物の拡大された画像を取得するためにアフィン変換処理を行うアフィン変換処理部と、
前記拡大された画像にコントラストをつけて画像のエッジを強調するエッジ強調処理部と、
アフィン変換後の画像とエッジ強調後の画像を加重平均演算する加重平均演算処理部とを有し、
前記加重平均された画像を処理して対象物の認識を行うことを特徴とする。

また、本発明（請求項２、５）では、加重平均された画像に対して、更にガンマ補正を行って画像の明るさを調整し、その明るさの調整された拡大画像を処理して対象物の認識を行うようにしている。

また、本発明（請求項３、６）では、対象物の認識結果が拡大された画像と同じサイズの対象物の認識結果と許容誤差範囲内で一致するように、エッジ強調、加重平均、あるいはガンマ補正の処理に用いられる処理パラメータを調整するようにしている。

本発明によれば、アフィン変換、エッジ強調、加重平均、あるいはそれに加えて輝度調整の各処理を施された拡大画像により、対象物の認識が行われるので、極めてサイズの小さい対象物でも位置検出ができ、対象物を撮像するレンズやカメラの解像度に限界があっても、正確な対象物の認識が可能となる。また、本発明を、電子部品実装機に採用することで、これまで不十分であった部品や基板マークの認識精度が向上する。

また、対象物の認識結果が拡大された画像と同じサイズの対象物の認識結果と許容誤差範囲内で一致するように、エッジ強調、加重平均、あるいはガンマ補正の処理に用いられる処理パラメータを調整するようにしているので、処理パラメータの最適化が行われ、拡大画像と同じサイズの対象物の認識結果と同じ程度の認識結果が得られ、サイズの小さい対象物に対する認識精度を向上させることができる。

本発明は、電子部品実装機において撮像装置で撮影した部品や基板マークなどの対象物の画像を拡大処理して対象物の位置と傾きの各ずれを検出し、対象物の認識を行うもので、以下に添付図面を参照して本発明を詳細に説明する。

図１は、本発明に使用される部品実装機２０と、撮像された部品の画像を処理する画像処理装置３０の構成を概略示している。

同図において、吸着ノズル１は、部品実装機２０のメイン制御装置２１により制御されてＸ、Ｙ軸方向に移動して部品供給装置（不図示）から供給される部品（電子部品）２を吸着する。メイン制御装置２１は、部品２を吸着した吸着ノズル１を、撮像位置へ移動させ、そこで、照明装置３により照明された部品２が、ＣＣＤカメラあるいはＣＭＯＳカメラなどの撮像装置４により撮像される。

撮像された部品の画像は、後述するように、画像処理装置３０において画像処理され、部品認識が行われて、部品中心と吸着中心（画像中心）間のＸＹ方向の位置ずれ並びに基準角度に対する吸着角度の角度ずれが検出される。その後、部品２は、メイン制御装置２１により基板６の位置に移動され、部品認識に基づいて検出された位置ずれと角度ずれが補正されて基板６の所定位置に搭載される。

基板６には、基板マーク（不図示）が形成されており、この基板マークは、吸着ノズル１を設けたヘッドに取り付けられる基板認識カメラ５により撮影され、そのマーク画像が画像処理装置３０で処理され、基板位置が検出される。基板６に位置ずれと角度ずれがある場合には、そのずれが補正されるので、部品２は、高精度で基板６上に搭載される。

画像処理装置３０は、撮像装置４、５からの画像をデジタル値に変換するＡ／Ｄコンバータ３１を有し、デジタル画像に変換された部品あるいは基板マークの画像は、画像記憶部３３に記憶される。この画像記憶部３３に記憶された画像は、ＣＰＵ３５に読み込まれ、以下に述べるように拡大画像処理が行われる。

ＣＰＵ３５は、アフィン変換処理部３６ａ、エッジ強調処理部３６ｂ、加重平均演算処理部３６ｃ、輝度調整処理部３６ｄから構成される拡大画像処理部３６を有している。この拡大画像処理部３６では、アフィン変換処理部３６ａにより拡大された画像データが、エッジ強調処理部３６ｂでエッジ部分のコントラストが強調され、加重平均演算処理部３６ｃにてアフィン変換後の画像とエッジ強調後の画像で加重平均演算が行われ、輝度調整処理部３６ｄにてガンマ補正が行われて明るさが調整される。このように拡大画像処理部３６でアフィン変換、エッジ強調、加重平均、輝度調整の各処理が行われた画像は、拡大画像記憶部３８に格納される。

ＣＰＵ３５は、部品位置検出プログラム３９を、拡大画像記憶部３８に記憶された画像とともに読み込んで、吸着部品の中心位置および傾きを検出し、ＸＹの位置ずれと角度ずれを算出する。この部品認識時には、部品の画像ないし画像処理の様子がモニタ１０に表示される。また、画像処理装置３０には、ＲＡＭ３４が設けられており、各種データ、処理されたデータが一時的に格納され、作業用のデータ格納空間が提供される。

ＣＰＵ３５による部品の認識結果（ＸＹ方向の位置ずれと角度ずれ）は、インターフェース３７を介してメイン制御装置２１に送信され、メイン制御装置２１は、この認識結果に基づいて位置ずれと角度ずれを補正して部品２を基板６の所定位置に搭載する。

また、メイン制御装置２１からは、部品の種類、部品外形寸法、特徴物のサイズや位置などの部品データが画像処理装置３０に送信され、これらの部品データは、部品種ごとにＩＤ番号を付して画像処理装置３０内の部品データ格納メモリ４０に格納される。

以下に画像処理装置３０において行われる画像処理を、図２と図３に示す流れに沿って説明する。

まず、撮像装置４、５により部品２や基板６上の基板マーク（不図示）の撮像を行い、その画像をＡ／Ｄコンバータ３１でデジタル画像に変換したあと、画像記憶部３３に格納する。

ＣＰＵ３５は、画像記憶部３３に記憶された画像を読み込んで、部品データを参照し、当該部品が所定サイズ（例えば縦横が０．４ｍｍ×０．２ｍｍのサイズ）より小さくて、画像を拡大処理する必要があるかどうかを判断する（ステップＳ１）。拡大処理が必要でないと判断したときは、従来の画像処理を行う（ステップＳ２）。

これに対して、部品が上記所定のサイズより小さくて小型である場合には、拡大処理が必要であるとして、画像拡大用の処理パラメータを抽出する。この画像拡大用の処理パラメータ抽出のための流れが図３に示されている。この図３の処理は、例えば、基板の生産を開始する前に行われ、そのために、小型の部品と、小型の部品の画像を設定した倍率で拡大したときと同じサイズになる部品（以下、拡大サイズ部品という）をそれぞれ治具部品（治具チップ）として用意する。

まず、部品サイズから倍率を算出し（ステップＳ１１）。部品が比較的小型である場合には、低倍率を設定し、極めて小さい部品である場合には、高倍率を設定する。

続いて、その設定倍率に応じた拡大サイズ部品を撮像し、公知のアルゴリズムにより部品のエッジなどを検出して部品認識し（ステップＳ１２）、その認識結果（ＸＹ方向の位置ずれと角度ずれ）を、ＲＡＭ３４に保存しておく。次に、画像を拡大すべき部品、つまり小型の部品を撮像する（ステップＳ１３）。なお、このとき、小型部品と、拡大サイズ部品の吸着、撮像条件（吸着位置、吸着角度、照明光量など）を同じにしておき、小型部品と、拡大サイズ部品におけるＸＹ方向の実際の位置ずれが、倍率に応じた量だけ相違し、また角度ずれは同じになるように設定しておく。

次に、画像拡大用の処理パラメータを初期化する（ステップＳ１４）。ここでいうパラメータとは、後述するシグモイド関数に用いられるＸ，Ｙ最小値Ｍｉｎｘ、Ｍｉｎｙ、その最大値Ｍａｘｘ、Ｍａｘｙ、中心値Ｃや係数α、加重平均係数Ｒ、ガンマ補正係数γの各処理パラメータを意味する（ステップＳ２１を参照）。

各処理パラメータを初期化した後、小型の部品に対して拡大画像処理部３６で画像拡大処理が行われる（ステップＳ１５）。その拡大処理は、最初は、アフィン変換処理部３６ａにおける拡大処理であり、数１で示す式を用いて、アフィン変換（線形補完）を行い、拡大された画像データを取得する。

ここで、

であり、［Ｗ］はＷを超えない最大の整数を表す。なお、アフィン変換の補完方法は、最近傍法（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、線形補完法（ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、３次補完法（ｃｕｂｉｃ ｃｏｎｖｏｌｕｔｉｏｎ）のどの方法でもよい。

アフィン変換による拡大画像には境界が少しぼけてしまい全体的に先鋭でなくなる特徴を持つため、エッジ強調処理部３６ｂで、シグモイド関数を応用した数３で示す式を用いてエッジ部分のコントラストを高める。

ここで、Ｙは出力値、Ｘは入力値、αは係数、Ｍｉｎｘは入力値の最小値、Ｍａｘｘは入力値の最大値、Ｍｉｎｙは出力値の最小値、Ｍａｘｙは出力値の最大値、Ｃは中心値であり、Ｃの値を分岐点としてそれぞれ算出方法を変える。このシグモイド関数の各パラメータα、Ｃ、Ｍｉｎｘ、Ｍａｘｘ、Ｍｉｎｙ、Ｍａｘｙは、ステップＳ１４で初期化したものが使用される。

また、加重平均演算処理部３６ｃにて、アフィン変換処理部３６ａにより求めたアフィン変換後の画像と、エッジ強調処理部３６ｂより得たエッジ強調後の画像とを数４の式を用いて加重平均する。

ここで、ｉとｊは画素単位の座標位置、ｆ（ｉ，ｊ）は出力値、ｇ（ｉ，ｊ）はアフィン変換処理部３６ａでアフィン変換した後の画像の輝度、ｈ（ｉ，ｊ）はエッジ強調処理部３６ｂでエッジ強調した後の画像の輝度で、Ｒは（０≦Ｒ≦１）を範囲とする係数であり、ステップＳ１４で初期化した値を用いる。この加重平均によりアフィン変換によるぼやけを除去し、かつアフィン変換後の画像の持つ原画像の風合いを兼ね備えることができる。

また、加重平均演算処理部３６ｃで求められた加重平均後の画像は、全体的に明るい画像になってしまうため、輝度調整処理部３６において数５を用いて明るさを調整する。

このガンマ補正のパラメータγは、ステップＳ１４で初期化した値を用いる。

そして、このように拡大画像処理部３６で、アフィン変換、エッジ強調、加重平均、輝度調整された拡大画像を、拡大画像記憶部３８に格納し、部品位置検出プログラム３９により公知のアルゴリズムを用いてエッジ検出などを行って部品認識する（ステップＳ１６）。そして、その認識結果（ＸＹ方向の位置ずれ、角度ずれ）が、ＲＡＭ３４に保存されている拡大サイズ部品の認識結果と許容誤差範囲内で一致しているかどうかを判定し（ステップＳ１７）、一致しておれば、各処理パラメータを、部品データとして部品データ格納メモリ４０に保存する（ステップＳ１８）。

一方、一致していなければ、シグモイド関数のＸ，Ｙ最小値Ｍｉｎｘ、Ｍｉｎｙ、その最大値Ｍａｘｘ、Ｍａｘｙ、中心値Ｃや係数α、加重平均係数Ｒ、ガンマ補正係数γの各パラメータをステップＳ２１で示された量ずつ順次インクリメントする。インクリメントする順序は、まず、Ｘ，Ｙ最小値から始め、その最大値Ｍａｘｘ、Ｍａｘｙ、中心値Ｃや係数α、加重平均係数Ｒ、ガンマ補正係数の順に行う。

各処理パラメータのぞれぞれが上限を超えるまで（ステップＳ２２）、ステップＳ１５とＳ２１間の処理を繰り返し、順次インクリメントされた各パラメータで処理された拡大画像で認識する。この間に、前回よりも認識結果がよい場合には、そのときの各処理パラメータをメモリ４０に保存する（ステップＳ１９、Ｓ２０）。

また、すべてのパラメータが上限を超えた場合には、倍率を２倍にして（ステップＳ２３）、ステップＳ１２からの処理を行い、各処理を倍率が３２倍になるまで繰り返す。倍率が３２倍になったら（ステップＳ２４）、メモリ４０に格納されている最も成績のよい各パラメータ、すなわち認識結果の誤差が最も小さくなるような各処理パラメータをメモリ４０に部品データとして保存する（ステップＳ２５）。

このように、小型部品と、拡大サイズ部品に対して正確な治具部品を用いることにより、拡大画像処理時の各処理パラメータを最適化することができる。

図２のステップＳ３では、部品データ格納メモリ４０に格納されているステップＳ１８あるいはＳ２５で取得したＭｉｎｘ、Ｍｉｎｙ、Ｍａｘｘ、Ｍａｘｙ、Ｃ、α、Ｒ、γの各処理パラメータが読み出されることになる。

続いて、この各処理パラメータで、実際の小型部品に対して拡大画像処理が行われる（ステップＳ４）。この画像拡大処理は、図３のステップＳ１５で行われるものと同じであり、ステップＳ３で取得した各処理パラメータを用いて各処理部３６ａ〜３６ｄで、アフィン変換、エッジ強調、加重平均、輝度調整が行われ、この各処理のなされた画像を拡大画像記憶部３８に格納する。

続いて、部品データメモリ４０に格納されている部品データを画像拡大後の値に変更する必要がある場合には、それに変更して（ステップＳ５）、部品位置検出プログラム３９が読み込まれて、公知のアルゴリズムで画像処理が行われ（ステップＳ６）、部品認識が行われる。この認識結果は、実際の小型の部品の認識結果に変換して、つまり位置ずれ、角度ずれを実寸法に変換してメイン制御装置２１に送信され、メイン制御装置２１は、この位置ずれと角度ずれを補正し、部品を基板６の所定位置に搭載する。

以上の実施例において、輝度調整処理部３６ｄで行われるガンマ補正を付加的に行うようにしてもよい。例えば、小型部品でも、加重平均された画像を処理するだけで充分な認識精度が得られるには、ガンマ補正はする必要がなく、加重平均された画像の処理だけでは、十分な精度で認識できない場合に、ガンマ補正を行い、明るさを調整するようにしてもよい。

また、ステップＳ４において、アフィン変換、エッジ強調、加重平均、輝度調整の各処理を施された拡大画像を、再度、エッジ強調処理部３６ｂでエッジ部分のコントラストをつけ、加重平均演算処理部３６ｃにてアフィン変換後の画像と再度、加重平均演算を行い、輝度調整処理部３６ｄにて明るさを再調整した画像を、拡大画像記憶部３８に格納し、この格納された画像を用いて部品位置検出プログラム３９により部品中心と傾きを求め、部品認識を行うようにしてもよい。

このように、本発明では、拡大画像処理部３６でアフィン変換、エッジ強調、加重平均、あるいはそれに加えて輝度調整の各処理を施された拡大画像により、部品認識を行っているので、小型部品であっても、大型の部品に対して部品認識するのと、同じ精度で部品認識でき、小型部品に対する搭載精度が顕著に向上する。

なお、上述した実施例で、画像記憶部３３と拡大画像記憶部３８を別構成としているが、撮像装置４により撮像された原画像が必要でないならば、画像記憶部３３に拡大画像を格納し、拡大画像記憶部３８を省略することもできる。

また、拡大処理における倍率の決定方法は、一定値による固定方式やユーザによる指定方式、入力された部品のデータや撮像された部品サイズ等から自動判別するアルゴリズムによる算出方式、または様々な状況を想定して、テーブル化して記憶しておくなどのどの方式でもよい。

また、拡大画像処理部３６での数１、数３、数４、数５などによる計算処理方法は、データが入力されたその都度、式により算出してもよいが、入力されるデータにある程度の規則性があり、データを記憶させるメモリ空間に余裕があるならば、計算結果をテーブルに設定しておき、計算処理時間の短縮をしても良い。

本発明に用いられる部品実装機と画像処理装置の構成を示した構成図である。 部品認識の流れを示すフローチャートである。 画像拡大用パラメータを抽出する流れを示したフローチャートである。

符号の説明

１ 吸着ノズル
２ 電子部品
４ 撮像装置
２０ 部品実装機
２１ メイン制御装置
３０ 画像処理装置
３３ 画像記憶部
３６ 拡大画像処理部
３８ 拡大画像記憶部
３９ 部品位置検出プログラム

Claims (6)

1. 撮像された対象物の画像を処理して対象物を認識する対象物の認識方法であって、
   アフィン変換により対象物の拡大された画像を取得し、
   前記拡大された画像にコントラストをつけて画像のエッジを強調し、
   アフィン変換後の画像とエッジ強調後の画像を加重平均し、
   前記加重平均された画像を処理して対象物の認識を行うことを特徴とする対象物の認識方法。
2. 前記加重平均された画像に対して、更にガンマ補正を行って画像の明るさを調整し、該明るさの調整された拡大画像を処理して対象物の認識を行うことを特徴とする請求項１に記載の対象物の認識方法。
3. 対象物の認識結果が拡大された画像と同じサイズの対象物の認識結果と許容誤差範囲内で一致するように、前記エッジ強調、加重平均、あるいはガンマ補正の処理に用いられる処理パラメータを調整することを特徴とする請求項１又は２に記載の対象物の認識方法。
4. 撮像された対象物の画像を処理して対象物を認識する対象物の認識装置であって、
   前記対象物の拡大された画像を取得するためにアフィン変換処理を行うアフィン変換処理部と、
   前記拡大された画像にコントラストをつけて画像のエッジを強調するエッジ強調処理部と、
   アフィン変換後の画像とエッジ強調後の画像を加重平均演算する加重平均演算処理部とを有し、
   前記加重平均された画像を処理して対象物の認識を行うことを特徴とする対象物の認識装置。
5. 更に、前記加重平均された画像に対してガンマ補正を施し明るさを調整する輝度調整処理部を設け、該明るさの調整された拡大画像を処理して対象物の認識を行うことを特徴とする請求項４に記載の対象物の認識装置。
6. 対象物の認識結果が拡大された画像と同じサイズの対象物の認識結果と許容誤差範囲内で一致するように、前記エッジ強調、加重平均、あるいはガンマ補正の処理に用いられる処理パラメータを調整することを特徴とする請求項４又は５に記載の対象物の認識装置。