JP2012069003A - 形状ベースマッチングパラメータの調整装置、形状ベースマッチングパラメータの調整方法および部品実装装置 - Google Patents

形状ベースマッチングパラメータの調整装置、形状ベースマッチングパラメータの調整方法および部品実装装置 Download PDF

Info

Publication number
JP2012069003A
JP2012069003A JP2010214489A JP2010214489A JP2012069003A JP 2012069003 A JP2012069003 A JP 2012069003A JP 2010214489 A JP2010214489 A JP 2010214489A JP 2010214489 A JP2010214489 A JP 2010214489A JP 2012069003 A JP2012069003 A JP 2012069003A
Authority
JP
Japan
Prior art keywords
parameter
image
shape
edge
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010214489A
Other languages
English (en)
Other versions
JP5759133B2 (ja
Inventor
Kazunori Yamada
山田  和範
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Priority to JP2010214489A priority Critical patent/JP5759133B2/ja
Priority to CN201110288632.9A priority patent/CN102421279B/zh
Publication of JP2012069003A publication Critical patent/JP2012069003A/ja
Application granted granted Critical
Publication of JP5759133B2 publication Critical patent/JP5759133B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

【課題】形状ベースマッチング処理における精度や処理時間、ロバスト性等の特性に関して最適化されたテンプレートデータを作成するための形状ベースマッチングパラメータの調整装置、形状ベースマッチングパラメータの調整方法および部品実装装置を提供する。
【解決手段】形状ベースマッチング処理を用いて電子部品2の搭載位置決めをする部品実装装置において、サーチ評価画像を取得し、このサーチ評価画像をもとに上記パラメータを調整する。このとき、先ず、位置決め処理の精度が、ユーザが指定した要求精度を満たすようにパラメータを設定する。次に、位置決め処理のタクトタイムが短縮する方向に上記パラメータを徐変しながら精度を評価し、当該精度が要求精度を保てる限界値を最適なパラメータとして取得する。この最適パラメータ取得処理を、部品ロットの切り替わりに際し必要に応じて行う。
【選択図】 図3

Description

本発明は、エッジ勾配などの形状情報を比較してサーチ対象画像から対象物を探し出す形状ベースマッチングに用いるパラメータの調整装置、当該パラメータの調整方法、及び形状ベースマッチングにより搭載部品の位置決めを行う部品実装装置に関する。
予め作成したテンプレートデータを用いて、サーチ対象画像内に存在する対象物を探し出す方法として、エッジ勾配などの形状情報を比較する、形状ベースのマッチング方法がある。この形状ベースのマッチング方法では、エッジ判定用のパラメータ設定が非常に重要である。このパラメータの設定の違いにより、検出されるエッジ線の形状が微妙に変わり、マッチング処理及びこれを用いた位置検出処理における位置検出精度や処理時間、ロバスト性等の特性に影響を与える。
ところが、これらの特性は、対象物毎に要求特性も調整レベルも異なり、このような微妙なパラメータ調整は、従来、ユーザが使用環境に合わせて調整しなければならなかった。従来装置では、エッジ検出に係わるパラメータ、例えば最小濃度値、最小エッジ強さ、フィルタサイズ等について数値入力機能を設けたり、エッジの有効/無効をウインドウで囲んで指定したりする等、ユーザが対話形式で調整できる仕組みを設けていた。
また、位置検出処理を行う際の処理性能に係る評価を行い、評価値の最も高いテンプレート候補を実際のテンプレートとして決定するなど、テンプレートデータを自動的に作成するものもある(例えば、特許文献1参照)。
特許第4470503号公報
しかしながら、上記のような微妙なパラメータ調整をユーザが行う場合、位置検出処理のアルゴリズムや挙動についてのノウハウがないと適切に設定できず、性能を最大限に引き出せないという問題がある。また、形状ベースマッチング処理を用途に合わせた所望の精度と処理速度できめ細かに調整したいとの要望もあり、従来装置にあっては、これを実現するのは困難であった。
また、部品実装装置において、形状ベースマッチング処理を用いた位置検出処理を行って搭載部品の位置決めを行う場合、部品ロットの切り替わりで部品の材質や色等が変わったり、製造誤差による微妙なサイズ変動等でティーチング時のテンプレートデータとの差異が生じたりすることで、微妙に位置決め精度が悪化したりタクトタイムが延びたりする等の問題が発生する場合がある。このようなエラーとならないレベルの悪化は、注意深く観察していないと検出できず、パラメータの再調整のタイミングが見極め難い。
そこで、本発明は、形状ベースマッチング処理における精度や処理時間、ロバスト性等の特性に関して最適化されたテンプレートデータを作成するための形状ベースマッチングパラメータの調整装置、形状ベースマッチングパラメータの調整方法および部品実装装置を提供することを課題としている。
上記課題を解決するために、請求項1に係る形状ベースマッチングパラメータの調整装置は、形状ベースマッチング処理に用いるパラメータの調整を行う形状ベースマッチングパラメータの調整装置であって、形状ベースマッチング処理の要求精度および要求タクトタイムを指定する指定手段と、基準姿勢に対して任意の変動を加えた姿勢の対象物の画像を、前記パラメータの評価用画像として取得する評価用画像取得手段と、前記評価用画像取得手段で取得した前記評価用画像をもとに前記パラメータを調整するパラメータ調整手段と、を備え、前記パラメータ調整手段は、形状ベースマッチング処理の精度が、前記指定手段でユーザが指定した要求精度を満たすように、前記パラメータを自動設定するパラメータ設定手段と、前記パラメータ設定手段で設定した前記パラメータを用いて、前記評価用画像に対して形状ベースマッチング処理を行った結果、タクトタイムが、前記指定手段でユーザが指定した要求タクトタイムを満たしていないとき、当該タクトタイムが短縮する方向に前記パラメータ設定手段で設定した前記パラメータを徐変しながら形状ベースマッチング処理の精度を評価し、当該精度が前記要求精度を保てる限界のパラメータ値に前記パラメータを更新するパラメータ更新手段と、を備えることを特徴とする形状マッチング用テンプレートの調整装置。
これにより、要求精度および要求タクトタイムを満たす形状ベースマッチング処理に用いる最適なパラメータを自動的に設定することができる。また、要求精度および要求タクトタイムを満たさないときは要求精度のみを満たす最良のタクトタイムのパラメータを自動的に設定することができる。そのため、ユーザに形状ベースマッチング処理のアルゴリズム等についてのノウハウがなくても、適切にテンプレートパラメータの調整を行うことができ、最適なテンプレートデータの作成およびサーチ用パラメータの設定が可能となる。また、要求精度および要求タクトタイムをユーザが指定することができるので、用途に合わせたきめ細やかなパラメータ調整が可能となる。
また、請求項2に係る形状ベースマッチングテンプレートの調整装置は、請求項1に係る発明において、前記対象物を撮像する撮像手段と、前記撮像手段で基準姿勢の前記対象物を撮像し、これをテンプレート画像として取得するテンプレート画像取得手段と、を備え、前記評価用画像取得手段は、前記テンプレート画像取得手段で取得したテンプレート画像をもとに、当該テンプレート画像に対して任意の変動量を加えた画像を生成し、これを前記評価用画像として取得することを特徴としている。
このように、テンプレート画像に対して内部的に変動を加えて評価用画像を生成し、生成した評価用画像を用いてパラメータ調整を行うので、テンプレート画像を1枚撮像するだけでパラメータ調整が可能となる。したがって、撮像画像を記憶するメモリの容量が少ないシステムや、評価用の実画像を用意できないシステムにも対応可能である。
さらに、請求項3に係る形状ベースマッチングテンプレートの調整装置は、請求項2に係る発明において、前記パラメータ設定手段は、前記テンプレート画像取得手段で取得したテンプレート画像のエッジ領域を抽出するエッジ領域抽出手段と、前記エッジ領域抽出手段で抽出したエッジ領域におけるエッジ特性値の分布に基づいて、前記パラメータのうちエッジ検出精度に関するパラメータを、予め設定した複数のパラメータ候補値の中で最も良好なエッジ検出精度が得られる値に設定するエッジ検出パラメータ設定手段と、を備えることを特徴としている。
このように、テンプレート画像のエッジ領域を抽出し、コントラスト、エッジ強さ、エッジスケール等のエッジ特性値の分布を計測することで、最適なエッジ検出パラメータを設定する。これにより、形状ベースマッチング処理の精度に大きな影響を与えるエッジ検出精度が最良となるようにパラメータを設定することができ、確実に要求精度を満たすパラメータ設定が可能となる。
また、請求項4に係る形状ベースマッチングテンプレートの調整装置は、請求項2又は3に係る発明において、形状ベースマッチング処理の精度は、前記評価用画像取得手段で前記テンプレート画像に対して加えた前記変動量を真値とした絶対精度で評価することを特徴としている。
このように、絶対精度評価が可能であるため、形状ベースマッチング処理の精度評価が容易となる。
さらにまた、請求項5に係る形状ベースマッチングテンプレートの調整装置は、請求項1に係る発明において、前記対象物を撮像する撮像手段と、前記撮像手段で基準姿勢の前記対象物を撮像し、これをテンプレート画像として取得するテンプレート画像取得手段と、を備え、前記評価用画像取得手段は、前記撮像手段で基準姿勢に対して任意の変動を加えた姿勢の前記対象物を複数撮像し、これらを前記評価用画像として取得することを特徴としている。
このように、実際のサーチ対象画像の変動範囲を示す複数の撮像条件での評価用画像を用いてパラメータ調整を行うので、ロバスト性の高いパラメータを取得することができる。
また、請求項6に係る形状ベースマッチングテンプレートの調整装置は、請求項5に係る発明において、前記パラメータ設定手段は、前記評価用画像取得手段で取得した同一撮像条件での複数の評価用画像から、相対的なエッジの変動量が最も大きい2枚の評価用画像を抽出する抽出手段と、前記抽出手段で抽出した2枚の評価用画像のエッジの一致度が所定の判定閾値よりも低い不安定エッジを抽出する不安定エッジ抽出手段と、前記不安定エッジ抽出手段で抽出した不安定エッジに対応するエッジ部位を、形状ベースマッチング処理の対象から除外する方向に前記パラメータを徐変しながら形状ベースマッチング処理の精度を評価し、当該精度が前記要求精度を満たすパラメータ値を前記パラメータとして決定するパラメータ徐変手段と、を備えることを特徴としている。
このように、コントラストが弱いエッジ等、撮像条件によってエッジ検出結果が不安定となる部位については、形状ベースマッチング処理の対象から除外することができる。したがって、要求精度を満たす最適なパラメータ設定が可能となる。
さらに、請求項7に係る形状ベースマッチングテンプレートの調整装置は、請求項6に係る発明において、前記パラメータは、前記テンプレート画像から前記対象物のエッジ点の座標とエッジ勾配ベクトルとで構成されるテンプレートデータを作成する際に用いるテンプレートパラメータと、前記テンプレートデータをもとにサーチ対象画像から前記対象物を検出する際に用いるサーチ用パラメータとを含み、前記パラメータ徐変手段は、前記不安定エッジ抽出手段で抽出した不安定エッジに対応するエッジ部位を、前記テンプレートデータから除外する方向に前記テンプレートパラメータを徐変することを特徴としている。
このように、テンプレートパラメータのうち最小エッジ強さを大きくしたり、エッジスケール値を小さくしたりすることで、テンプレート画像からテンプレートデータを作成する際に、不安定エッジを抽出しないようにすることができる。これにより、不安定エッジを確実に形状ベースマッチング処理の対象から除外することができる。
また、請求項8に係る形状ベースマッチングテンプレートの調整装置は、請求項6又は7に係る発明において、前記パラメータは、前記テンプレート画像から前記対象物のエッジ点の座標とエッジ勾配ベクトルとで構成されるテンプレートデータを作成する際に用いるテンプレートパラメータと、前記テンプレートデータをもとにサーチ対象画像から前記対象物を検出する際に用いるサーチ用パラメータとを含み、前記パラメータ徐変手段は、前記不安定エッジ抽出手段で抽出した不安定エッジに対応するエッジ部位を、前記サーチ対象画像から検出し難い方向に前記サーチ用パラメータを徐変することを特徴としている。
このように、サーチ用パラメータのうち最小エッジ強さを小さくしたり、エッジスケール値を大きくしたりすることで、サーチ対象画像からエッジを抽出する際に、不安定エッジを抽出しないようにすることができる。これにより、不安定エッジを確実に形状ベースマッチング処理の対象から除外することができる。
さらにまた、請求項9に係る形状ベースマッチングテンプレートの調整装置は、請求項5〜8の何れかに係る発明において、形状ベースマッチング処理の精度は、前記複数の評価用画像に対して形状ベースマッチング処理を行った結果を統計処理した繰り返し精度で評価することを特徴としている。
このように、繰り返し精度評価を行うので、ロバスト性の高い評価を行うことができる。
また、請求項10に係る形状ベースマッチングテンプレートの調整装置は、請求項1〜9の何れかに係る発明において、形状ベースマッチング処理は、サーチ対象画像に対してエッジ検出処理を行った結果に対して粗サーチ処理を行い、当該粗サーチ処理の結果をもとに精サーチ処理を行うものであって、前記パラメータ更新手段は、前記エッジ検出処理、前記粗サーチ処理及び前記精サーチ処理のタクトタイムがそれぞれ短縮する方向に、当該各処理で用いる前記パラメータを徐変しながら形状ベースマッチング処理の精度を評価し、当該精度が前記要求精度を保てる限界のパラメータ値に前記パラメータを更新することを特徴としている。
このように、形状ベースマッチング処理における各処理のタクトタイムに関するパラメータを個別に調整するので、より最適なパラメータ調整が可能となる。
さらに、請求項11に係る形状ベースマッチングテンプレートの調整方法は、形状ベースマッチング処理に用いるパラメータの調整を行う形状ベースマッチングパラメータの調整方法であって、形状ベースマッチング処理の要求精度及び要求タクトタイムを指定するステップと、基準姿勢に対して任意の変動を加えた姿勢の対象物の画像を、前記パラメータの評価用画像として取得するステップと、形状ベースマッチング処理の精度が前記要求精度を満たすように、前記パラメータを設定するステップと、設定した前記パラメータを用いて、前記評価用画像に対して形状ベースマッチング処理を行い、タクトタイムを計測するステップと、計測したタクトタイムが前記要求タクトタイムを満たしていないとき、当該タクトタイムが短縮する方向に前記パラメータを徐変しながら形状ベースマッチング処理の精度を評価し、当該精度が前記要求精度を保てる限界のパラメータ値に前記パラメータを更新するステップと、を備えることを特徴としている。
これにより、形状ベースマッチング処理に用いる最適なパラメータを自動的に設定することができる。そのため、ユーザに形状ベースマッチング処理のアルゴリズム等についてのノウハウがなくても、用途に合わせたきめ細やかなパラメータ調整が可能な形状ベースマッチングテンプレートの調整方法とすることができる。
また、請求項12に係る部品実装装置は、吸着ノズルにより電子部品を吸着し、基板上の所定位置に当該電子部品を装着する部品実装装置であって、前記請求項1〜11の何れか1項に記載の形状ベースマッチングパラメータの調整装置と、形状ベースマッチング処理に用いるパラメータを記憶する記憶手段と、前記吸着ノズルによって吸着した電子部品の画像を撮像し、これをサーチ対象画像として取得するサーチ対象画像取得手段と、前記サーチ対象画像取得手段で取得したサーチ対象画像に対して、前記記憶手段に記憶されたパラメータを用いて形状ベースマッチング処理を行い、前記電子部品の搭載位置決めを行う位置決め手段と、部品ロットの切り替わりを検知する検知手段と、前記検知手段で部品ロットの切り替わりを検知したとき、前記記憶手段に記憶されたパラメータの調整の要否を判断する判断手段と、を備え、前記判断手段で前記パラメータの調整が必要であると判断したとき、前記形状ベースマッチングパラメータの調整装置によって前記パラメータの調整を行うことを特徴としている。
このように、生産中に部品ロットが切り替わったことを検知して、パラメータ調整の要否を判断するので、適切なタイミングでパラメータの再調整を行うことができる。したがって、常に最適なパラメータを用いた形状ベースマッチング処理(位置決め処理)が可能となり、適切な部品実装が可能となる。
本発明によれば、形状ベースマッチング処理における精度やタクトタイム、ロバスト性等の特性に関して最適化された形状ベースマッチングパラメータを設定することができる。このとき、ユーザが指定した要求精度及び要求タクトタイムに応じて、パラメータを自動的に調整するので、ユーザに形状ベースマッチング処理のアルゴリズム等についてのノウハウがなくても、用途に合わせたきめ細やかなパラメータ調整が可能となる。
また、本発明における部品実装装置によれば、部品ロットの切り替わりを検知してパラメータを再調整するので、適切なタイミングでパラメータの再調整を行うことができる。したがって、部品ロットの切り替わりで部品の材質や色等が変わったり、製造誤差による微妙なサイズ変動等でティーチング時のテンプレートデータとの差異が生じたりすることに起因して、微妙に精度が悪化したりタクトタイムが延びたりするのを防止することができる。
本発明における部品実装装置の構成を示すブロック図である。 画像処理装置12内のタスク構成を示す図である。 第1の実施形態の最適パラメータ取得処理手順を示すフローチャートである。 最小エッジ強さ設定処理手順を示すフローチャートである。 第2の実施形態のテンプレート作成用画像撮像処理手順を示すフローチャートである。 第2の実施形態の最適パラメータ取得処理手順を示すフローチャートである。 精度パラメータ調整処理手順を示すフローチャートである。 不安定エッジの抽出方法について説明する図である。 タクトタイムパラメータ調整処理手順を示すフローチャートである。 特徴点上の平行移動ベクトル、拡大縮小ベクトル及び回転ベクトルの関係を示す図である。
以下、本発明の実施の形態を図面に基づいて説明する。
(第1の実施形態)
(構成)
図1は、本発明に係る形状ベースマッチングテンプレートの調整装置を部品実装装置に適用した場合のブロック図である。
図中、符号1は部品実装装置である。この部品実装装置1は、電子部品2を吸着する吸着ノズル3と、吸着ノズル3の移動によって所定の撮像位置に移動された電子部品2に光を照射する照明装置4と、上記撮像位置に配置された電子部品2を撮像する標準カメラ5a及び高解像度カメラ5bと、を備える。また、部品実装装置1は、吸着ノズル3や照明装置4の動作を制御するマシン制御装置11と、カメラ5a,5bを制御すると共に、カメラ5a,5bで撮像した画像を処理して撮像画像内に存在する対象物(電子部品2)の位置検出(サーチ処理)を行い、電子部品2の位置決めを行う画像処理装置12とを備える。本実施形態では、位置決め処理に形状ベースマッチング処理を用いる。
マシン制御装置11は、通常、電子部品2の電極サイズによって撮像するカメラ5a又は5bを選択し、電子部品2を吸着ノズル3で吸着した後、選択したカメラの撮像位置に電子部品2が位置するように吸着ノズル3を移動する。さらにこのとき、マシン制御装置11は、照明装置4を選択したカメラで撮像できるよう移動し、点灯させる。そして、マシン制御装置11は、画像処理装置12に対して、選択したカメラチャネル情報と共に位置決め処理の実行を指示するコマンドを送信する。マシン制御装置11は、画像処理装置12からこのコマンド送信に対するレスポンス(位置決め処理結果)を受信すると、吸着ノズル3を所定の部品搭載位置に移動し、電子部品2を基板上に搭載する。このとき、位置決め処理結果から得られる電子部品2の吸着位置ずれ量および吸着角度ずれ量をもとに、部品搭載位置を決定するようにする。
また、マシン制御装置11は、部品ロットの切り替わりに際し、画像処理装置12に対してこれを通知する機能を有する。このとき、マシン制御装置11は、位置決め処理で使用するテンプレートデータの調整に関する各種コマンドパラメータを送信する。コマンドパラメータとしては、位置決め処理の要求精度や要求タクトタイムがある。これらのパラメータは、マシン制御装置11に接続されたマンマシンインタフェース6を介して、オペレータが指定することができる(指定手段)。
画像処理装置12は、マシン制御装置11から送信されるコマンドに従って、指定されたカメラ5a又は5bを制御して電子部品2の画像を撮像し、撮像した画像に対して各種処理を行う。
具体的には、画像処理装置12は、マシン制御装置11から位置決め処理を実行するコマンドを受信したとき、カメラチャネル情報に基づいてカメラ5a又は5bを制御して撮像位置にある電子部品2を撮像し(サーチ対象画像取得手段)、撮像画像に対して位置決め処理を行い、その結果をマシン制御装置11に返信する(位置決め手段)。また、画像処理装置12は、マシン制御装置11から生産開始のコマンドを受信したとき、生産開始から所定時間(例えば、所定の数の電子部品2を搭載する時間)、位置決め処理毎に当該位置決め処理の精度及びタクトタイムを計測し、その繰り返し精度及びタクトタイムを後述する作業メモリ24に保持する処理を行う。さらに、画像処理装置12は、マシン制御装置11から部品ロットの切り替わりを通知するコマンドを受信したとき、位置決め処理で用いるテンプレートデータを作成するためのテンプレートパラメータ及びサーチ処理で用いるサーチ用パラメータを調整する処理(最適パラメータ取得処理)を行う。
画像処理装置12は、A/D変換部21と、画像メモリ22と、演算部23と、作業用メモリ24と、パラメータ格納部25と、制御部26と、並列演算部27と、インタフェース28と、D/A変換部29と、を備える。
A/D変換部21は、カメラ5a,5bで撮像した画像データをA/D変換し、画像メモリ22に多値画像データとして記憶する。演算部23は、画像メモリ22に記憶された画像データをもとに、位置決め処理や最適パラメータ取得処理を行う。作業用メモリ24は、演算部23による処理中に生成される処理データを記憶する。パラメータ格納部25は、テンプレートパラメータ、テンプレートデータ及びサーチ用パラメータを格納する。制御部26は、カメラ5a,5bを制御する。並列演算部27は、フィルタ演算などの処理速度が要求される処理を演算部23での処理と並行して行う。インタフェース28は、マシン制御装置11との間で信号の送受信を行う。D/A変換部29は、画像メモリ22に記憶した画像データをD/A変換し、カメラ5a,5bで撮像した画像をモニタ7に表示する。
図2は、画像処理装置12内のタスク構成を示す図である。
この図2に示すように、画像処理装置12は、コマンド解析タスク12a、画像入力タスク12b、認識実行タスク12cおよびテンプレート調整タスク12dで構成される。
コマンド解析タスク12aは、マシン制御装置11からのコマンドの受信、及びマシン制御装置11への位置決め処理結果等のレスポンスの送信を行う。また、並列処理が不要なコマンドの実行はコマンド解析タスク12aで行なわれる。
マシン制御装置11から、部品位置決め処理などの高速なタクトタイムが要求される処理の実行コマンドを受信した場合には、コマンド解析タスク12aは画像入力タスク12b、認識実行タスク12cにそれぞれ実行要求を出す。これにより、認識実行タスク12cで位置決め処理を行っている間に、画像入力タスク12bで次の部品画像を撮像することができ、画像入力と並列で位置決め処理を行うことができる。
さらに、コマンド解析タスク12aは、マシン制御装置11から部品ロットの切り替え通知を受けたとき、テンプレート調整タスク12dに実行要求を出し、バックグラウンド処理にて最適パラメータ取得処理を行う。
次に、画像処理装置12で実行する最適パラメータ取得処理の全体フローについて説明する。
画像処理装置12は、マシン制御装置11から部品ロットの切り替わりを通知するコマンドを受けた場合、コマンド解析タスク12aがテンプレート調整タスク12dを起床し(検知手段)、位置決め処理の精度及びタクトタイムを計測し、作業用メモリ24に保持している値と比較する。ここでは、位置決め処理の精度及びタクトタイムを評価するために電子部品2を撮像したサーチ評価画像を取得し、サーチ評価画像に対して、その時点でパラメータ格納部25に格納されているテンプレートデータ及びサーチ用パラメータを用いて位置決め処理を行うことで、精度及びタクトタイムを計測する。
そして、計測した位置決め処理の精度又はタクトタイムが、作業用メモリ24に保持している値に対してある許容範囲を越えて悪化していた場合、テンプレートデータの調整(最適パラメータ取得処理)が必要であると判断し、コマンド解析タスク12aは作業用メモリ24に設けた処理フラグをONにする(判断手段)。このとき、テンプレート調整タスク12dは、一旦、休止状態となる。
画像入力タスク12bは、上記処理フラグがONとなっていることを検知すると、生産用の撮像処理に割り込み、テンプレートデータ調整用の画像(テンプレート画像)を撮像し、画像メモリ22に蓄積する。
画像入力タスク12bによりテンプレートデータ調整用の画像が撮像されると、コマンド解析タスク12aは、再びテンプレート調整タスク12dを起床し、最適パラメータ取得処理を開始する。このとき、テンプレート調整タスク12dの優先度は、精度及びタクトタイムの悪化度合いに応じて決定するものとし、緊急度(悪化度合い)が低い場合は、空き時間で処理する等、できるだけ生産効率を落とさないようにする。一方、緊急度(悪化度合い)が高い場合は、即テンプレートの再調整を行う等、生産安定性を落とさないようにする。
最適パラメータ取得処理が終了すると、コマンド解析タスク12aは、位置決め処理の精度及びタクトタイムを再計測し、作業用メモリ24に保持していた値を更新すると共に処理フラグをOFFにする。このとき、テンプレート調整タスク12dは休止状態となる。
以下、画像処理装置12で実行する最適パラメータ取得処理について、詳細に説明する。
図3は、最適パラメータ取得処理手順を示すフローチャートである。
この最適パラメータ取得処理は、画像入力タスク12bが、上記処理フラグがONとなっていることを検知したときに実行開始される。本実施形態では、1枚のテンプレート画像から最適パラメータの取得(テンプレートデータの調整)を行うものとする。
先ずステップS1で、画像処理装置12は、マシン制御装置11から指定されたカメラ5a又は5bを制御し、基準姿勢の対象物(電子部品)2の画像を撮像する。撮像した画像はA/D変換部21でデジタル化し、画像メモリ22にテンプレート画像データとして記憶する。
次にステップS2では、画像処理装置12は、テンプレートパラメータの初期設定を行い、これをパラメータ格納部25に格納してステップS3に移行する。本実施形態では、テンプレートパラメータとして、最小濃度値(対象物とみなす濃度値の最小値)、最小エッジ強さ(エッジとみなす最小のエッジ強さ)、エッジスケール(エッジ勾配の幅=フィルタサイズ)、最大エッジ点数(テンプレートデータとして登録するエッジの数)を用いる。ここでは、各パラメータの初期値を、例えば、最小濃度値=80、最小エッジ強さ=32、エッジスケール=2、エッジ点数=1024に設定する。
ステップS3では、画像処理装置12は、画像メモリ22に記憶しているテンプレート画像データについて、公知の判別分析法を用いて背景領域と対象物領域を分離する閾値を求め、これを最小濃度値として取得する。
次に、ステップS4では、画像処理装置12は、前記ステップS3で取得した最小濃度値を用いて、テンプレート画像データを二値化する。さらに、エッジ検出フィルタサイズに合わせて膨張処理を行い、エッジ勾配区間が対象物領域側になるよう最小濃度値を調整する。そして、調整後の最小濃度値でパラメータ格納部25に格納した初期値を更新する。
次に、ステップS5では、画像処理装置12は、画像メモリ22に記憶しているテンプレート画像データについて、フィルタ処理を行い、ステップS6に移行する。ここでは、精度的に最も良好な結果を得るために、予め設定したエッジスケール候補値の中で最大のエッジスケール値(2.5)を用いてフィルタ処理を行う。
ステップS6では、画像処理装置12は、前記ステップS4で求めた二値化データを用いて、前記ステップS5で求めたフィルタ出力値について、背景領域、対象物領域別にそれぞれ統計処理を行い、各領域の濃度分布の平均値、分散値、最小値、最大値を求める。そして、これらの値を用いて、図4に示す処理を行い、最小エッジ強さMinPwrを取得する。
図4に示すように、先ずステップS6aで、背景最大エッジ強さaを最小エッジ強さMinPwrとして設定し、ステップS6bに移行して背景最大エッジ強さaが対象物最小エッジ強さbより小さいか否かを判定する。そして、a<bである場合にはステップS6cに移行し、背景最大エッジ強さaと対象物最小エッジ強さbとの平均値(a+b)/2を、最終的な最小エッジ強さMinPwrとして設定して処理を終了する。
また、ステップS6bでa≧bであると判断した場合には、ステップS6dに移行し、背景最大エッジ強さaが対象物平均エッジ強さcより小さいか否かを判定する。そして、a<cである場合にはステップS6eに移行し、a≧cである場合には、最小エッジ強さMinPwrをステップS6aで設定した背景最大エッジ強さaのままとするものとして、そのまま処理を終了する。
ステップS6eでは、次式をもとに対象物最小エッジ強さbを算出してステップS6fに移行する。
b=c−d・k ………(1)
ここで、dは対象物分散値、kは補正係数である。
そして、ステップS6fでは、背景最大エッジ強さaが対象物最小エッジ強さbより小さいか否かを判定する。そして、a<bである場合にはステップS6gに移行し、背景最大エッジ強さaと対象物最小エッジ強さbとの平均値(a+b)/2を、最終的な最小エッジ強さMinPwrとして設定して処理を終了する。
一方、ステップS6fでa≧bであると判断した場合には、最小エッジ強さMinPwrをステップS6aで設定した背景最大エッジ強さaのままとするものとして、そのまま処理を終了する。
すなわち、ここでは、背景最大エッジ強さaと対象物最小エッジ強さbとの間に閾値(最小エッジ強さMinPwr)を設ければ、最適なエッジ検出ができるという考えに基づいて、最小エッジ強さ取得処理を行っている。このように、本実施形態では、テンプレート画像のエッジ領域を抽出し、コントラスト、エッジ強さ、エッジスケール等のエッジ特性値の分布に基づいて、最適なエッジ検出パラメータ(最小エッジ強さ)を設定する。
図3に戻って、ステップS7では、画像処理装置12は、前記ステップS6で設定した最小エッジ強さMinPwrを用いて、前記ステップS5で求めたフィルタ出力値について閾値処理を行い、エッジ点を検出する。
次に、ステップS8では、画像処理装置12は、エッジスケール値の調整が終了したか否かを判定する。ここでは、前記ステップS7で検出したエッジ点について、予め設定したすべてのエッジスケール候補値を用いてそれぞれフィルタ演算を行い、各フィルタ演算結果について評価(エッジ評価)を行ったか否かを判定する。エッジスケール候補値は、例えば、1、2、2.5とする。そして、すべてのエッジ評価が終了していないと判断した場合にはステップS9に移行し、すべてのエッジ評価が終了していると判断した場合には、後述するステップS12に移行する。
ステップS9では、画像処理装置12は、エッジスケール値を、フィルタ演算を行っていない1段階小さい値に切り替え、ステップS10に移行する。なお、初回時には、エッジスケール値を最大値(2.5)とし、これをエッジスケール基準値とする。
ステップS10では、画像処理装置12は、前記ステップS7検出したエッジ点について、前記ステップS9で設定したエッジスケール値でフィルタ演算を行う。
次に、ステップS11では、画像処理装置12は、前記ステップS10で行ったフィルタ演算結果(フィルタ出力値)についてエッジ評価を行い、前記ステップS8に移行する。具体的には、各エッジ点において、前記ステップS10でのフィルタ出力値と、エッジスケール基準値でのフィルタ出力値とを比較し、フィルタ出力値が大きい(フィルタの反応が強い)方のエッジスケール値を、そのエッジ点の最適なエッジスケール値として選択する。そして、最も多くのエッジ点で選ばれた最適なエッジスケール値を、テンプレートパラメータとして最適なエッジスケール値とし、これをエッジスケール基準値とすると共に、パラメータ格納部25に格納されたエッジスケール値をこの値に更新する。なお、フィルタサイズ(エッジスケール)が大きくなればフィルタ出力値も大きくなるので、異なるフィルタサイズでも大小関係が比較できるよう、それぞれのフィルタサイズの出力値を正規化してエッジ評価を行うものとする。
以上の処理により、位置決め処理の精度に関する最適なテンプレートパラメータ値の取得が完了する。すなわち、この時点では、テンプレートパラメータのうちエッジ検出精度に関するパラメータ(最小濃度値、最小エッジ強さ、エッジスケール値)が、予め設定したパラメータ候補値の範囲内で最も良好なエッジ検出精度が得られる値となっており、オペレータが指定した要求精度を満たした状態となっている。
したがって、以下の処理では、タクトタイムに関する最適なテンプレートパラメータ値の取得を行う。ここでは、タクトタイムが短縮される方向にテンプレートパラメータ(最大エッジ点数)を変更していき、その都度サーチ処理を行って精度及びタクトタイムを評価する。そして、要求精度を保持できる限界タクトタイムでのパラメータ値を最適なパラメータ値として取得する手法を用いる。
ステップS12では、画像処理装置12は、この時点でパラメータ格納部25に格納されているテンプレートパラメータ値を用いてテンプレートデータを作成し、ステップS13に移行する。ここでは、テンプレートパラメータ値を用いてテンプレート画像のエッジを検出し、エッジ点の座標とエッジ勾配ベクトルとで構成されるリストを作成し、これをテンプレートデータとする。このとき、最大エッジ点数を越えないよう間引き処理を行って、テンプレートデータに登録するエッジ点が決定される。作成したテンプレートデータは、パラメータ格納部25に格納する。
ステップS13では、画像処理装置12は、サーチ評価用の画像を生成し、画像メモリ22に記憶する。ここでは、画像メモリ22に記憶されたテンプレート画像データに対して、任意の変動(平行移動、回転、拡大・縮小)を加えた画像データを生成し、これをサーチ評価画像とする。なお、ここで与えた変動量は、位置決め処理結果の真値として、位置決め処理の絶対精度評価値として使用する。
次に、ステップS14では、画像処理装置12は、前記ステップS12で作成したテンプレートデータを用いて、前記ステップS13で生成したサーチ評価画像についてサーチ処理を行う。
ここで、サーチ処理手順について簡単に説明する。
本実施形態におけるサーチ処理は、ピラミッド構造サーチを使用したパターンマッチング処理であり、パラメータ格納部25に格納したサーチ用パラメータをもとに、撮像画像内に存在する対象物の位置を検出する。サーチ用パラメータとしては、最小濃度値、最小エッジ強さ、エッジスケール値、ピラミッド開始層を用いる。
ピラミッド構造サーチでは、先ずサーチ対象画像から上記サーチ用パラメータを用いてエッジを検出し、その画像をピラミッド開始層に応じた圧縮率で圧縮する。次に圧縮画像に対して粗処理(粗サーチ)を行い、対象物の存在する大まかな座標位置を検出する。その後、検出された座標の近辺においてテンプレートデータを用いて詳細処理(精サーチ)を行い、さらに正確な位置を検出する。この精サーチを、階層が進む毎に徐々に精度を上げて行う。このように、粗いサーチを行って大体の位置を特定した後、この結果に基づいて特定された範囲に詳細なサーチを行うことにより、画像全体にわたって詳細なサーチを行うことなく必要な部分のみを順次精査していくことができ、総処理タクトタイムを短縮できる。
すなわち、このステップS14では、前記ステップS13で生成したサーチ評価画像を上記サーチ対象画像としてサーチ処理を行う。ここでのサーチ処理で用いるサーチ用パラメータは、この時点で取得されているテンプレートデータをもとに、以下のルールで設定する。
(1)テンプレート用パラメータ値がデフォルト値の場合、デフォルト値とする。
(2)デフォルト値でない場合、テンプレート用パラメータより緩め(例えば、表1に示す各パラメータの候補値をもとに1段階下)に設定する。
(3)ピラミッド開始層は対象物の外形サイズに合わせて設定する。
Figure 2012069003
ステップS15では、画像処理装置12は、前記ステップS14のサーチ処理結果から、タクトタイム及び精度(位置決め処理結果と真値(前記ステップS13で与えた変動量)とのずれ量)を求め、これらを基準値として作業メモリ24に保持する。
次にステップS16では、タクトタイム調整処理を終了するか否かの判定を行う。ここでは、作業メモリ24に保持しているタクトタイムが要求タクトタイムに達している場合や、タクトタイムが前回値より短縮されていない場合、調整回数が予め設定した所定回数を越えた場合に、タクトタイム調整処理を終了すると判断する。そして、タクトタイム調整処理を継続すると判断した場合にはステップS17に移行し、タクトタイム調整処理を終了すると判断した場合には後述するステップS23に移行する。
ステップS17では、画像処理装置12は、最大エッジ点数の最適化を行う。位置決め処理のタクトタイムは、テンプレートデータに登録されているエッジ点の数に依存している。したがって、このエッジ点数を減らせばタクトタイムは短縮できる。但し、精度は悪化する。
本実施形態では、テンプレートデータに登録されているエッジ点数を段階的に削減し、その度に位置決め処理の精度を確認することで、要求精度を保つことのできる限界タクトタイムでのエッジ点数を取得する。そして、このエッジ点数を最適なエッジ点数とする。ここで、エッジ点数の削減は、エッジ点がエッジ線上に均等に配置されるよう、間引き処理にて行う。すなわち、間引き点数を1、2、3、…の順に増やしていくことで、段階的にエッジ点数を削減する。
テンプレートパラメータからテンプレートデータを作成するとき、最大エッジ点数を越えないよう自動的に間引き処理が行われるので、最大エッジ点数を小さくすることでエッジ点数の削減(間引き点数の増加)を行うことができる。したがって、このステップS17では最大エッジ点数を、パラメータ格納部25に格納されている値より所定値小さい値に設定する。
次にステップS18では、画像処理装置12は、前記ステップS17で設定したテンプレートパラメータを用いて、テンプレートデータを作成し直し、ステップS19に移行する。
ステップS19では、画像処理装置12は、前記ステップS18で作成し直したテンプレートデータを用いて、前記ステップS13で生成したサーチ評価画像についてサーチ処理を行い、ステップS20に移行する。
ステップS20では、画像処理装置12は、前記ステップS19のサーチ処理結果からタクトタイム及び精度を求め、ステップS21に移行して、前記ステップS20で求めた位置決め処理の精度と作業メモリ24に保持しておいた基準値とを比較する。そして、このときの位置決め処理の精度が基準値と比較して悪化していない(精度の悪化が許容範囲内である)場合にはステップS22に移行し、タクトタイム及び精度の基準値を更新して前記ステップS16に移行する。
一方、このときの位置決め処理の精度が基準値と比較して悪化している(精度の悪化が許容範囲外である)場合には、ひとつ前の最大エッジ点数が、要求精度を保持できる限界値であったと判断する。したがって、この場合にはステップS23に移行して、サーチ処理用パラメータの初期設定を行う。ここでは、ここまでの処理で得た最適なテンプレート用パラメータ値をもとに、サーチ処理用パラメータの初期値を上述したルール(1)〜(3)を用いて設定する。
なお、標準カメラ5a及び高解像度カメラ5bが撮像手段に対応し、パラメータ格納部25が記憶手段に対応している。また、図3において、ステップS1がテンプレート画像取得手段に対応し、ステップS3〜S5がエッジ領域抽出手段に対応し、ステップS6がエッジ検出パラメータ設定手段に対応し、ステップS13が評価用画像取得手段に対応している。また、ステップS3〜S11がパラメータ設定手段に対応し、ステップS12〜S22がパラメータ更新手段に対応している。
(動作)
次に、第1の実施形態の動作について説明する。
今、画像処理装置12のパラメータ格納部25に、最適なテンプレートデータ及び最適なサーチ用パラメータが格納されているものとする。この状態で部品実装装置1が電子部品2の搭載処理を行う場合、マシン制御装置11は吸着ノズル3を電子部品供給装置(不図示)の部品供給位置へ移動し、電子部品2の吸着を行う。電子部品2を吸着すると、マシン制御装置11は、吸着ヘッド3を所定の撮像位置へ移動する。このとき、吸着部品に応じて撮像するカメラ5a又は5bを選択し、選択したカメラの撮像位置に電子部品2が位置するように吸着ノズル3を移動する。吸着ノズル3を撮像位置に移動すると、マシン制御装置11は、照明装置4を制御して電子部品2に照明光を照射し、画像処理装置12に対して、選択したカメラチャネル情報と共に位置決め処理の実行を指示するコマンドを送信する。
画像処理装置12は、このコマンドを、インタフェース28を介して受信する。するとコマンド解析タスク12aは画像入力タスク12bを起床し、制御部26がカメラを制御することで撮像位置にある電子部品2を撮像する。撮像した電子部品2の画像は、A/D変換部21でデジタル化されて画像メモリ22に記憶される。この画像データがサーチ対象画像となる。また、このとき画像メモリ22に記憶される画像データは、D/A変換部29でアナログ化されてモニタ7に表示される。
サーチ対象画像の準備ができると、コマンド解析タスク12aは認識実行タスク12cを起床し、演算部23及び並列演算部27によって電子部品2の位置決め処理を実行する。この位置決め処理では、先ず、サーチ対象画像に対して、パラメータ格納部25にサーチ用パラメータとして格納されているエッジスケールに応じたフィルタをかけ、最小エッジ強さを用いて閾値処理を行ってサーチ対象画像内のエッジ点を抽出する。
次に、このエッジ画像をサーチ用パラメータであるピラミッド開始層に応じた圧縮率で圧縮し、パラメータ格納部25に格納されたテンプレートデータを用いて粗サーチを行う。この粗サーチでは、エッジサーチ、正規化相関サーチ、一般化ハフ変換、ジオメトリックハッシング等の既知のサーチ技術を用いて、サーチ対象画像から対象物の大まかな位置及び姿勢を取得する。
続いて、粗サーチで取得した検索領域に対して精サーチを行い、対象物の詳細な位置を検出する。この精サーチでは、粗サーチで得られた対象物の位置及び姿勢を開始位置及び開始姿勢とし、テンプレートデータから作成されるテンプレート(パターンモデル)をサーチ対象画像に重ね、テンプレートの平行移動や回転移動、スケール変動を繰り返し行うことでサーチ対象画像内の対象物との一致度が最も高くなる位置を検出する。そして、このテンプレートの移動量に基づいて、サーチ対象画像内の対象物の詳細位置を取得する。これにより、位置決め処理結果(テンプレートに対するサーチ対象画像内の対象物の平行移動量、回転移動量、スケール変動量)を得ることができ、吸着ノズル3で吸着した電子部品2の吸着位置ずれ量、吸着角度ずれ量が分かり、搭載位置決めが可能となる。
位置決め処理が終了すると、認識実行タスク12cは休止状態となり、コマンド解析タスク12aは、位置決め処理結果をマシン制御装置11へのレスポンスとしてインタフェース28を介してマシン制御装置11へ送信する。
マシン制御装置11は、画像処理装置12から位置決め処理結果を受信すると、当該位置決め処理結果に応じて部品搭載位置を調整して、電子部品2を基板上に搭載する。これにより、電子部品2を所望の位置に適切に搭載することができる。
その後、部品ロットが切り替わると、マシン制御装置11は、画像処理装置12に対してこれを通知する。このとき、マシン制御装置11は、画像処理装置12に対して、オペレータが指定した位置決め処理の要求精度や要求タクトタイムも送信する。
画像処理装置12がマシン制御装置11からインタフェース28を介して部品ロットの切り替わり通知を受信すると、コマンド解析タスク12aは画像入力タスク12bを起床し、制御部26がカメラを制御することで基準姿勢の電子部品2の画像を撮像する。撮像した電子部品2の画像は、A/D変換部21でデジタル化されて画像メモリ22に記憶される。次に、コマンド解析タスク12aは、テンプレート調整タスク12dを起床し、画像メモリ22に記憶された画像データに対して任意の変動(平行移動、回転、拡大・縮小)を加えた画像データを生成し、これを作業メモリ24に記憶する。この画像データは、位置決め処理の精度及びタクトタイムを計測してパラメータ調整の要否を判断するためのサーチ評価画像となる。そして、生成したサーチ評価画像に対して、パラメータ格納部25に格納されたテンプレートデータを用いてサーチ処理を行い、位置決め処理結果を得る。
このとき、得られる位置決め処理結果と真値(サーチ評価画像の生成時に用いた変動量)とを比較することで位置決め処理の精度を求める。また、同時に位置決め処理のタクトタイムも計測する。そして、これらを作業用メモリ24に保持している値と比較し、許容範囲を超えて悪化している場合、パラメータ格納部25に格納されたテンプレートデータ及びサーチ用パラメータを調整すべきであると判断し、最適パラメータ取得処理を実行する。
最適パラメータ取得処理では、テンプレートデータを作成するためのパラメータである最小濃度値、最小エッジ強さ、エッジスケール、最大エッジ点数を最適な値に調整する。本実施形態では、テンプレート作成用の画像であるテンプレート画像を撮像し(図3のステップS1)、このテンプレート画像を処理して、位置決め処理の精度に関するテンプレートパラメータ(最小濃度値、最小エッジ強さ、エッジスケール)を、精度が最も良くなる最適な値に設定する(ステップS3〜S11)。
そして、これらのテンプレートパラメータをもとに作成したテンプレートデータを用いて、テンプレート画像から生成したサーチ評価画像についてサーチ処理(サーチテスト)を行って、位置決め処理の精度を求め、これを基準値として保持しておく(ステップS12〜S15)。次に、位置決め処理のタクトタイムに関するテンプレートパラメータ(最大エッジ点数)を、初期値から徐々にタクトタイムが良くなる方向へ変更していき、調整毎に精度を評価して、当該精度が要求精度を満たしている上記基準値を保てる限界の値を最適なパラメータ値として取得する(ステップS16〜S22)。
ところで、従来のテンプレートパラメータの調整では、オペレータが実際にパラメータ値の数値入力を行ったり、エッジの有効/無効をウインドウで囲んで指定したりするなど、オペレータが自身で使用環境に合わせて調整しなければならなかった。したがって、対象物毎に微妙なパラメータ調整を行うためには、位置決め処理のアルゴリズムや挙動についてのノウハウが必要であり、高精度かつ高速な最適調整だけでなく、用途に合わせたきめ細やかな調整を行うのは非常に困難であった。
これに対して、本実施形態では、要求精度および要求タクトタイムを満たすテンプレートパラメータを自動的に取得することができるので、微妙なパラメータ調整を適切に行うことができる。また、オペレータが要求精度および要求タクトタイムを指示することができる構成であるため、例えば、精度は多少犠牲にしても良いからより高速に行いたい等、用途に合わせた調整が可能となる。
また、部品ロットの切り替え時にパラメータ調整の要否を判断し、必要に応じてパラメータ調整を行うので、部品ロットの切り替えに起因して部品の材質や色、サイズの変動が生じた場合であっても、適切なパラメータに更新することができる。したがって、自動的に精度およびタクトタイムの悪化を検知し、自動的にこれを修復することができる。
(効果)
このように、第1の実施形態では、位置検出が可能なテンプレートデータであるのみならず、位置検出処理に用いた場合の位置検出精度やタクトタイム、ロバスト性等の特性に関しても最適化されたテンプレートデータを作成するためのパラメータを設定することができる。また、オペレータが指定した要求精度及び要求タクトタイムに応じて、パラメータを自動的に調整するので、オペレータに形状ベースマッチング処理のアルゴリズム等についてのノウハウがなくても、用途に合わせたきめ細やかなパラメータ調整が可能となる。
このとき、テンプレート画像に対して内部的に変動を加えてサーチ評価画像を生成し、生成したサーチ評価画像を用いてパラメータ調整を行うので、テンプレート画像を1枚撮像するだけでパラメータ調整が可能となる。したがって、撮像画像を記憶するメモリの容量が少ないシステムや、評価用の実画像を用意できないシステムにも対応可能である。また、テンプレート画像に対して加えた変動量を、位置決め処理結果の真値とし、位置決め処理の絶対精度評価値として使用することができるので、形状ベースマッチング処理の精度評価が容易である。
さらに、パラメータ調整を行う際には、先ず、位置決め処理の精度が要求精度を満たすようにパラメータを設定する。このとき、テンプレート画像のエッジ領域を抽出し、コントラスト、エッジ強さ、エッジスケール等のエッジ特性値の分布を計測することで、最適なエッジ検出パラメータ(エッジ検出の閾値処理で用いる閾値)を設定する。このように、エッジ検出精度が最良となるようにパラメータを設定することができるので、確実に要求精度を満たすパラメータ設定が可能となる。
また、パラメータ調整を行う際には、最大エッジ点数を段階的に削減し、調整毎に位置決め処理の精度を評価し、要求精度を保てる限界タクトで必要なエッジ点数を取得する。このように、最大エッジ点数を段階的に削減するので、確実にタクトタイムが短縮する方向にパラメータを徐変させることができる。また、タクトタイムが短縮する方向にパラメータを徐変しながら位置決め処理の精度を評価し、最適なパラメータ値を取得するので、よりきめ細やかなパラメータ調整が可能となる。
さらに、生産中に部品ロットの切り替わりを検知し、パラメータ調整の要否を判断するので、部品ロットの切り替わりで部品の材質や色等が変わったり、製造誤差による微妙なサイズ変動等でティーチング時のテンプレートデータとの差異が生じたりした場合には、自動的にパラメータの再調整を行い、最適なパラメータに更新することができる。そのため、部品ロットの切り替わりに起因して微妙に精度が悪化したりタクトタイムが延びたりするのを防止することができる。
したがって、このような部品実装装置では、常に高精度な部品搭載が可能となる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
この第2の実施形態は、前述した第1の実施形態において、テンプレート画像から生成したサーチ評価画像を用いて最適パラメータ取得処理を行っているのに対し、実際に撮像した複数のサーチ評価画像を用いて最適パラメータ取得処理を行うようにしたものである。生産前のテンプレートの初期作成で用いる場合は、生産時に起こり得る、姿勢の変動範囲、照明の変動範囲を考慮してサーチ評価画像を用意する。
(構成)
本実施形態のマシン制御装置11は、テンプレートデータの調整に関するコマンドパラメータとして、位置決め処理での要求精度、要求タクトタイムに加えて、サーチ評価画像の撮像姿勢(評価姿勢)、撮像枚数、撮像時の照明の明るさなど、サーチ評価画像の撮像条件を画像処理装置12へ送信する。これらのサーチ評価画像の撮像条件は、マンマシンインタフェース6を介して、オペレータが指定することができる。
図5は、第2の実施形態のテンプレート作成用画像撮像処理手順を示すフローチャートである。
先ずステップS31で、画像処理装置12は、マシン制御装置11から指定されたカメラ5a又は5bを制御し、基準姿勢の対象物(電子部品)2の画像を撮像する。撮像した画像はA/D変換部21でデジタル化し、画像メモリ22にテンプレート画像データとして記憶する。
次にステップS32では、画像処理装置12は、サーチ評価画像の撮像処理を終了するか否かを判定する。ここでは、マシン制御装置11から指定された撮像条件でサーチ評価画像を撮像し終わっているか否かを判定し、終わっていない場合にはステップS33に移行し、終わっている場合には後述するステップS34に移行する。
ステップS33では、画像処理装置12は、マシン制御装置11に対して、対象物(電子部品2)を吸着した吸着ノズル3を撮像条件である一評価姿勢に移動させると共に、その評価姿勢での照明の明るさを指定するコマンドを送信する。マシン制御装置11からのレスポンス(サーチ評価画像の撮像コマンド)を受けると、画像処理装置12は、指定されたカメラ5a又は5bを制御し、評価姿勢での対象物(電子部品2)を撮像する。このとき、指定された枚数分、撮像する。一評価姿勢でのサーチ評価画像の撮像が終了すると、前記ステップS32に移行する。このように、ステップS32及びS33の処理を繰り返すことで、すべての撮像条件でサーチ評価画像が撮像される。
ステップS34では、画像処理装置12は、撮像したサーチ評価画像のリストを作成し、これを画像メモリ22に添付データとして記憶する。
次に、本実施形態における最適パラメータ取得処理について説明する。
図6は、第2の実施形態の最適パラメータ取得処理手順を示すフローチャートである。
先ずステップS41で、画像処理装置12は、テンプレートパラメータの初期設定を行い、ステップS42に移行する。ここでは、テンプレートパラメータをデフォルト値である最小濃度値=80、最小エッジ強さ=32、エッジスケール=2、エッジ点数=1024に設定する。設定したテンプレートパラメータは、作業用メモリ24に記憶する。
なお、このステップS41では、前述した図3に示す最適パラメータ取得処理を行ってテンプレートパラメータの初期設定を行うようにしてもよい。この場合、テンプレートパラメータの初期値を有用な値とすることができるため、以下の処理において比較的容易にテンプレートパラメータ値を最適な値に収束させることができる。
ステップS42では、画像処理装置12は、作業用メモリ24に記憶されているテンプレートパラメータを用いてテンプレートデータの作成を行い、ステップS43に移行する。
ステップS43では、画像処理装置12は、図5に示す処理で撮像したすべてのサーチ評価画像についてサーチ処理を行ったか否かを判定する。そして、すべてのサーチ処理が終了していない場合にはステップS44に移行し、すべてのサーチ処理が終了している場合には後述するステップS46に移行する。
ステップS44では、画像処理装置12は、前記ステップS42で作成したテンプレートデータを用いて、同一評価姿勢の対象物を撮像した複数のサーチ評価画像について、それぞれサーチ処理を行い、位置決め処理結果を得る。
次にステップS45では、画像処理装置12は、前記ステップS44で求めた位置決め処理結果について統計処理データを取得し、前記ステップS43に移行する。ここで、統計処理される位置決め処理結果データは、テンプレートの中心座標(x,y)、最遠点座標(x,y)であり、それぞれ平均値及び標準偏差(3σ)を求める。また、タクトタイムについても、総処理タクトタイム、エッジ検出タクトタイム、粗サーチタクトタイム、精サーチタクトタイムの4つを計測し、それぞれ平均タクトタイム、最小タクトタイム、最大タクトタイムを求める。さらに、ここでは位置決め処理結果(テンプレートに対するサーチ評価画像内の対象物の平行移動量、回転量、スケール変動量)についても求めておく。
また、ステップS46では、画像処理装置12は、前記ステップS45で求めたテンプレートの中心座標の標準偏差(3σ)と最遠点座標の標準偏差(3σ)とが、それぞれ要求精度に応じた所定の許容範囲内であるか否かの評価を行う。
そして、ステップS47では、画像処理装置12は、前記ステップS46で各標準偏差(3σ)が許容範囲内であると判断した場合には、テンプレートデータの精度に関するパラメータ(精度パラメータ)を調整する必要はないものとして、後述するステップS52に移行する。一方、許容範囲外であると判断した場合には、テンプレートデータの精度パラメータを調整するべくステップS48に移行する。
精度パラメータの調整は、テンプレートパラメータのうちの最小エッジ強さ及びエッジスケール、並びにサーチパラメータのうちの最小エッジ強さ及びエッジスケールを調整することにより行う。本実施形態では、上記パラメータを、複数の候補値の中から精度が良くなる方向に1段階ずつ厳しく、若しくは1段階ずつ緩くなるよう変更し、その都度、サーチ処理を行って精度を評価する。この処理を、要求精度を満足するまで繰り返し行う(リトライする)。
ステップS48では、画像処理装置12は、精度パラメータ調整のリトライ回数が予め設定した最大回数を超えたか否かを判定する。そして、最大回数を超えていない場合にはステップS49に移行し、精度パラメータ調整処理を行う。
図7は、ステップS49で実行する精度パラメータ調整処理手順を示すフローチャートである。
先ずステップS49aで、複数枚のサーチ評価画像データに対する統計処理の結果、最も差異が大きい2枚の画像を抽出する。ここでは、同一の撮像条件(撮像姿勢、照明の明るさ等)の組について、それぞれ処理する。
次に、ステップS49bでは、前記ステップS49aで抽出した2枚の画像について、それぞれエッジ検出を行い、ステップS49cに移行する。
ステップS49cでは、先ず、前記ステップS49bで得られた2枚のサーチ評価画像のエッジを、前記ステップS45で得られた位置決め処理結果(平行移動量、回転量、スケール変動量)をもとにテンプレート画像の座標系に変換する。そして、図8に示すように、変換した2枚のサーチ評価画像のエッジ(a)及び(b)と、テンプレート画像のエッジ(c)とを重ね合わせ、一致しない部位(不安定エッジ)を抽出する。このとき、重ね合わせた3枚の画像のエッジの一致度が所定の判定閾値よりも低い部位を不安定エッジとして抽出する。最後に、2枚のサーチ評価画像データとテンプレート画像データの計3枚について、それぞれ不安定エッジ点の座標値リスト(不安定エッジリスト)を作成する。このとき、リスト上のエッジ点について、エッジ検出パラメータ値(最小エッジ強さ、エッジスケール値)を対応付けておく。
次にステップS49dでは、前記ステップS49cの画像重ね合わせ処理の結果、不安定エッジ(差異エッジ)が抽出されているか否かを判定する。そして、不安定エッジが抽出されている場合にはステップS49eに移行し、不安定エッジが抽出されていない場合には、精度パラメータ調整処理を終了する。
ステップS49eでは、不安定エッジが無くなるように、精度パラメータである最小エッジ強さを調整する。テンプレートパラメータの最小エッジ強さについては、テンプレートの差異エッジを削除するべく、値が大きくなるよう調整する。また、サーチ用パラメータの最小エッジ強さについては、抽出されるエッジ点を増やし、テンプレート画像のエッジとの一致度合いを向上させることで不安定エッジを無くすよう、値が小さくなるよう調整する。なお、最小エッジ強さの調整は、不安定エッジリストに格納されているエッジ検出パラメータ値を基準に、1段階厳しく若しくは1段階緩くなるよう、上述した表1に示す候補値の中から選択することで行う。
次にステップS49fでは、不安定エッジが無くなるように、精度パラメータであるエッジスケール値を調整し、精度パラメータ調整処理を終了する。テンプレートパラメータのエッジスケール値については、テンプレートの差異エッジを削除するべく、値が大きくなるよう調整する。また、サーチ用パラメータのエッジスケール値については、抽出されるエッジ点を増やし、テンプレート画像のエッジとの一致度合いを向上させることで不安定エッジを無くすよう、値が小さくなるよう調整する。なお、エッジスケール値の調整は、不安定エッジリストに格納されているエッジ検出パラメータ値を基準に、1段階厳しく若しくは1段階緩くなるよう、上述した表1に示す候補値の中から選択することで行う。
図6に戻って、ステップS50では、画像処理装置12は、精度パラメータ調整のリトライ回数に相当するリトライカウンタをインクリメントして、前記ステップS42に移行する。
また、前記ステップS48で、精度パラメータ調整のリトライ回数が予め設定した最大回数に達したと判断すると、ステップS51に移行し、サーチ処理の精度が要求精度に達しなかったとして、その時点でのテンプレートパラメータを最終的なパラメータとして設定する。そして、そのパラメータをもとにテンプレートデータを作成し、最適パラメータ取得処理を終了する。
ステップS52では、画像処理装置12は、前記ステップS45で得られた統計データを解析し、エッジ検出タクトタイム、粗サーチタクトタイム、精サーチタクトタイムの3つについて、それぞれ目標タクトタイムに達しているか否かを判定する。ここで、各処理の目標タクトタイムは、要求タクトタイム値を、位置決め処理アルゴリズムを考慮して設定した内訳比率で配分することで設定する。そして、すべてのタクトタイムが目標タクトタイムに達している場合には、最適パラメータの取得に成功したものとして、ステップS53に移行する。そして、ステップS53では、画像処理装置12は、その時点でのテンプレートパラメータを最終的なパラメータとして設定し、そのパラメータをもとにテンプレートデータを作成してから、最適パラメータ取得処理を終了する。
一方、前記ステップS52で、上記3つのタクトタイムのうち少なくとも1つのタクトタイムが目標タクトタイムに達していないと判断した場合には、ステップS54に移行してタクトタイムパラメータ調整処理を行う。
図9は、ステップS54で実行されるタクトタイムパラメータ調整処理手順を示すフローチャートである。
先ずステップS54aで、エッジ検出タクトタイムが目標タクトタイムに達しているか否かを判定する。そして、目標タクトタイムに達していない場合には、エッジ検出タクトタイムの調整が必要であると判断してステップS54bに移行し、目標タクトタイムに達している場合には、エッジ検出タクトタイムの調整が不要であると判断して後述するステップS54cに移行する。
ステップS54bでは、エッジ検出タクトタイムの調整を行う。エッジ検出タクトタイムは、フィルタサイズやエッジ候補点数に依存する。したがって、ここでは、テンプレートパラメータのエッジスケール値を小さくすると共に、テンプレートパラメータの最小エッジ強さを大きくすることで、エッジ検出タクトタイムを短縮する方向に調整する。
各パラメータの調整は、現在値を基準に1段階厳しく若しくは1段階緩くなるよう、上述した表1に示す候補値の中から選択することで行う。また、サーチ用パラメータについては、テンプレートパラメータより厳しくならないよう考慮して調整する。
次に、ステップS54cでは、粗サーチタクトタイムが目標タクトタイムに達しているか否かを判定する。そして、目標タクトタイムに達していない場合には、粗サーチタクトタイムの調整が必要であると判断してステップS54dに移行し、目標タクトタイムに達している場合には、粗サーチタクトタイムの調整が不要であると判断して後述するステップS54eに移行する。
ステップS54dでは、粗サーチタクトタイムの調整を行う。粗サーチ処理は特徴点ベースで対象物をサーチするものであるため、粗サーチタクトタイムは、特徴点数、すなわち特徴点間距離に依存する。したがって、ここでは、テンプレートパラメータとして設定されている特徴点間距離を大きくすることで特徴点数を少なくし、粗サーチタクトタイムを短縮する方向に調整する。特徴点間距離の調整は、現在値に対して予め設定した所定の調整用加算値を加算することで行う。なお、このとき、特徴点間距離が予め設定した上限値を超えないよう考慮して調整する。
次に、ステップS54eでは、精サーチタクトタイムが目標タクトタイムに達しているか否かを判定する。そして、目標タクトタイムに達していない場合には、精サーチタクトタイムの調整が必要であると判断してステップS54fに移行し、目標タクトタイムに達している場合には、精サーチタクトタイムの調整が不要であると判断してタクトタイムパラメータ調整処理を終了する。
ステップS54fでは、精サーチタクトタイムの調整を行ってから、タクトタイムパラメータ調整処理を終了する。精サーチタクトタイムは、テンプレートデータに登録されているエッジ点数に依存する。したがって、ここでは、テンプレートパラメータの最大エッジ点数を小さくすることで、精サーチタクトタイムを短縮する方向に調整する。最大エッジ点数の調整は、現在値に対して予め設定した所定の調整用減算値を減算することで行う。これは、エッジ点がエッジ線上に均等に配置されるよう、間引き処理にてエッジ点の削減を行うことと等価であり、間引き点数を1,2,3,…の順に増やしていくことで、段階的にエッジ点数を削減するようにする。
ところで、精サーチ処理は、上述したように、テンプレートをサーチ対象画像に重ね、テンプレートの平行移動や回転移動、スケール変動を繰り返し行うことでサーチ対象画像内の対象物との一致度が最も高くなる位置を検出するものである。
ある特徴点は、サーチ対象画像上のエッジの近傍にあるとき、画像エネルギー(画像の濃度データをx,y方向それぞれに2階微分したもの)から力を受け、エッジに引き寄せられる。この画像エネルギーから受ける力が、その特徴点の平行移動ベクトルである。図10に示すように、特徴点の平行移動ベクトルgを、その特徴点とテンプレートの重心とを結ぶ直線(重心法線)方向を基準に垂直成分および水平成分に分解したとき、水平成分が拡大縮小ベクトルhとなり、垂直成分が回転ベクトルvとなる。本実施形態では、平行移動ベクトルg、回転ベクトルv及び拡大縮小ベクトルhを、それぞれ所定の補正係数を用いて移動量(平行移動量、回転角度、スケール変動量)に変換することで、1回のループ処理でのテンプレートの移動量を算出する。移動量は、下記(2)〜(4)式をもとに算出する。
m=Γ・γg・Σg ………(2)
θ=Γ・γθ・Σv/ΣRd ………(3)
scl=Γ・γscl・Σh/ΣRd ………(4)
ここで、mは平行移動量(単位:画素)、θは回転角度(単位:rad)、sclはスケール変動量(単位:倍率)、Rdは重心−特徴点間距離である。また、Γは全体の補正係数(デフォルト値:0.2)、γgは平行移動の補正係数(デフォルト値:1.0)、γθは回転の補正係数(デフォルト値:1.0)、γsclは拡大縮小の補正係数(デフォルト値:0.007)である。
そして、平行移動ベクトルg、回転ベクトルv及び拡大縮小ベクトルhの大きさを足し合わせたエネルギー総和が、所定の収束判定閾値以下となるまでテンプレートの移動を繰り返し行う。
したがって、精サーチタクトタイムは、精サーチ処理のループ回数や、移動ベクトルを移動量に変換する際の補正係数(Γ、γg、γθ、γscl)に依存する。そこで、ここでは、上記ループ回数を小さくすると共に、上記補正係数を大きくすることで、精サーチタクトタイムを短縮する方向に調整する。ループ回数及び補正係数の調整は、現在値に対して所定の調整値を減算もしくは加算することで行う。当該調整値は適用環境に応じて設定するものとし、ループ回数及び補正係数が予め設定した限界値に達しないよう考慮して調整する。
図6に戻って、ステップS55では、画像処理装置12は、現時点で設定されているテンプレートパラメータを用いて、テンプレートデータの作成を行う。作成したテンプレートデータは、パラメータ格納部25に格納する。
次にステップS56では、画像処理装置12は、前記ステップS55で作成したテンプレートデータを用いて、すべてのサーチ評価画像についてサーチ処理が終了したか否かを判定する。そして、すべてのサーチ処理が終了していないと判断した場合にはステップS57に移行し、すべてのサーチ処理が終了していると判断した場合には後述するステップS60に移行する。
ステップS57では、画像処理装置12は、前記ステップS55で作成したテンプレートデータを用いて、同一評価姿勢の対象物を撮像した複数のサーチ評価画像について、それぞれサーチ処理を行い、位置決め処理結果を得る。
次にステップS58では、画像処理装置12は、前記ステップS57でのサーチ処理における、総処理タクトタイム、エッジ検出タクトタイム、粗サーチタクトタイム、精サーチタクトタイムの4つを計測し、ステップS59に移行する。
ステップS59では、画像処理装置12は、前記ステップS57で求めた位置決め処理結果について統計処理データを取得し、前記ステップS56に移行する。ここでは、テンプレートの中心座標(x,y)、最遠点座標(x,y)について、それぞれ平均値及び標準偏差(3σ)を求める。また、前記ステップS58で計測した4つのタクトタイムについても、それぞれ平均タクトタイム、最小タクトタイム、最大タクトタイムを求める。
また、ステップS60では、画像処理装置12は、前記ステップS59で求めたテンプレートの中心座標の標準偏差(3σ)と最遠点座標の標準偏差(3σ)とが、それぞれ要求精度に応じた所定の許容範囲内であるか否かの評価を行う。
そして、ステップS61では、画像処理装置12は、前記ステップS60で各標準偏差(3σ)が許容範囲内であると判断した場合には、タクトタイムパラメータ調整処理を継続するものとして前記ステップS52に移行する。一方、許容範囲外であると判断した場合には、ステップS62に移行し、タクトタイムが目標タクトタイムに達する前にサーチ処理の精度が要求精度を下回ってしまったものとして、その時点でのテンプレートパラメータを最終的なパラメータとして設定する。そして、そのパラメータをもとにテンプレートデータを作成し、最適パラメータ取得処理を終了する。
なお、図5において、ステップS31がテンプレート画像取得手段に対応し、ステップS32〜S34が評価用画像取得手段に対応している。また、図6において、ステップS42〜S50がパラメータ設定手段に対応し、ステップS52〜S61がパラメータ更新手段に対応している。さらに、図7において、ステップS49aが抽出手段に対応し、ステップS49b及びS49cが不安定エッジ抽出手段に対応し、ステップS49d〜49fがパラメータ徐変手段に対応している。
(動作)
次に、第2の実施形態の動作について説明する。
部品ロットが切り替わると、マシン制御装置11は、画像処理装置12に対してこれを通知する。このとき、マシン制御装置11は、画像処理装置12に対して、位置決め処理の要求精度や要求タクトタイムも送信する。
画像処理装置12がマシン制御装置11からインタフェース28を介して部品ロットの切り替わり通知を受信すると、前述した第1の実施形態と同様に、画像処理装置12は位置決め処理の精度及びタクトタイムを計測し、作業用メモリ24に保持している値と比較する。そして、計測した精度及びタクトタイムが、作業用メモリ24に保持している値に対して許容範囲を超えて悪化している場合、パラメータ格納部25に格納されたテンプレートデータ及びサーチ用パラメータを調整すべきであると判断し、最適パラメータ取得処理を実行する。
最適パラメータ取得処理では、テンプレートパラメータ及びサーチ用パラメータを最適な値に調整する。本実施形態では、テンプレート画像を撮像すると共に(図5のステップS31)、所定の撮像条件で複数のサーチ評価画像を撮像する(ステップS32及びS33)。そして、初期状態のテンプレートデータを用いて、撮像した複数のサーチ評価画像についてサーチ処理を行い、繰り返し精度を計測して位置決め処理の精度が要求精度を満たしているかを判定する(図6のステップS43〜S47)。要求精度を満たしていない場合は、要求精度を満たすように位置決め処理の精度に関するパラメータ(最小エッジ強さ、エッジスケール)を調整する(ステップS49)。
具体的には、複数のサーチ評価画像の中から相対的なエッジの変動量が最も大きくなる2枚のサーチ評価画像を抽出し(図7のステップS49a)、その2枚のサーチ評価画像とテンプレート画像とを重ね合わせることで不安定エッジを抽出する(ステップS49b及びS49c)。そして、不安定エッジに対応するテンプレートのエッジ部分が削除されるように、テンプレートパラメータの最小エッジ強さ及びエッジスケールを調整すると共に、サーチ処理にて不安定エッジが安定してサーチできるように、サーチ用パラメータの最小エッジ強さ及びエッジスケールを調整する(ステップS49e,S49f)。
精度に関するパラメータの調整が終了すると、次にタクトタイムに関するパラメータの調整を行う。ここでは、タクトタイムが要求タクトタイムを満たしているかを判定し(図6のステップS52)、要求タクトタイムを満たしていない場合に、要求タクトタイムを満たすように位置決め処理のタクトタイムに関するパラメータ(最小エッジ強さ、エッジスケール値、特徴点間距離、最大エッジ点数、ループ回数、移動量補正係数)を調整する(ステップS54)。
具体的には、最小エッジ強さ及びエッジスケール値を徐々にエッジ検出タクトタイムが短縮する方向へ変化させていき、要求精度を保てる限界値を最適なパラメータ値とする。また、特徴点間距離を徐々に粗サーチタクトタイムが短縮する方向へ変化させていき、要求精度を保てる限界値を最適なパラメータ値とする。さらに、最大エッジ点数、ループ回数及び移動量補正係数を、精サーチタクトタイムが短縮する方向へ変化させていき、要求精度を保てる限界値を最適なパラメータ値とする。このように、要求精度を保つことのできる限界タクトタイムでエッジ検出、粗サーチ及び精サーチを行うように、各パラメータ値を調整する(ステップS55〜S61)。
(効果)
このように、上記第2の実施形態では、実際のサーチ対象画像の変動範囲を示す複数の撮像条件でサーチ評価画像を撮像し、撮像したサーチ評価画像をもとにパラメータ調整を行うので、ロバスト性の高いテンプレートデータを作成することができる。したがって、他のマシンへも調整不要でテンプレートを展開することができる。
また、パラメータ調整を行う際には、コントラストが弱いエッジ等、撮像条件によってエッジ検出結果が不安定となる部位については、サーチ処理の対象から除外するようにパラメータを調整する。したがって、要求精度を満たす最適なパラメータ設定が可能となる。
このとき、テンプレートパラメータのうち最小エッジ強さを大きくしたり、エッジスケール値を小さくしたりするので、テンプレート画像からテンプレートデータを作成する際に不安定エッジを抽出しないようにすることができ、不安定エッジを確実にサーチ処理の対象から除外することができる。また、同様に、サーチ用パラメータのうち最小エッジ強さを小さくしたり、エッジスケール値を大きくしたりするので、サーチ対象画像からエッジを抽出する際に不安定エッジを抽出しないようにすることができ、不安定エッジを確実にサーチ処理の対象から除外することができる。
さらに、パラメータ調整を行う際には、エッジ検出処理、粗サーチ処理及び精サーチ処理のタクトタイムに関するパラメータを、各処理のタクトタイムがそれぞれ短縮する方向に調整することができる。これにより、より最適なパラメータ調整が可能となる。
このとき、最小エッジ強さを大きくしたりエッジスケール値を小さくしたりするので、確実にエッジ検出タクトタイムを短縮することができる。また、特徴点間距離を大きくするので、確実に粗サーチタクトタイムを短縮することができる。さらに、最大エッジ点数を削減したり、精サーチ処理のループ回数を少なくしたり、精サーチ処理において移動ベクトルを移動量に変換する際の補正係数を大きくしたりするので、確実に精サーチタクトタイムを短縮することができる。
1…部品実装装置、2…電子部品、3…吸着ノズル、4…照明装置、5a…標準カメラ、5b…高解像度カメラ、6…マンマシンインタフェース、7…モニタ、11…マシン制御装置、12…画像処理装置、21…A/D変換部、22…画像メモリ、23…演算部、24…作業用メモリ、25…パラメータ格納部、26…制御部、27…並列演算部、28…インタフェース、29…D/A変換部

Claims (12)

  1. 形状ベースマッチング処理に用いるパラメータの調整を行う形状ベースマッチングパラメータの調整装置であって、
    形状ベースマッチング処理の要求精度および要求タクトタイムを指定する指定手段と、
    基準姿勢に対して任意の変動を加えた姿勢の対象物の画像を、前記パラメータの評価用画像として取得する評価用画像取得手段と、
    前記評価用画像取得手段で取得した前記評価用画像をもとに前記パラメータを調整するパラメータ調整手段と、
    を備え、
    前記パラメータ調整手段は、
    形状ベースマッチング処理の精度が、前記指定手段でユーザが指定した要求精度を満たすように、前記パラメータを自動設定するパラメータ設定手段と、
    前記パラメータ設定手段で設定した前記パラメータを用いて、前記評価用画像に対して形状ベースマッチング処理を行った結果、タクトタイムが、前記指定手段でユーザが指定した要求タクトタイムを満たしていないとき、当該タクトタイムが短縮する方向に前記パラメータ設定手段で設定した前記パラメータを徐変しながら形状ベースマッチング処理の精度を評価し、当該精度が前記要求精度を保てる限界のパラメータ値に前記パラメータを更新するパラメータ更新手段と、を備えることを特徴とする形状ベースマッチングパラメータの調整装置。
  2. 前記対象物を撮像する撮像手段と、
    前記撮像手段で基準姿勢の前記対象物を撮像し、これをテンプレート画像として取得するテンプレート画像取得手段と、を備え、
    前記評価用画像取得手段は、
    前記テンプレート画像取得手段で取得したテンプレート画像をもとに、当該テンプレート画像に対して任意の変動量を加えた画像を生成し、これを前記評価用画像として取得することを特徴とする請求項1に記載の形状ベースマッチングパラメータの調整装置。
  3. 前記パラメータ設定手段は、
    前記テンプレート画像取得手段で取得したテンプレート画像のエッジ領域を抽出するエッジ領域抽出手段と、
    前記エッジ領域抽出手段で抽出したエッジ領域におけるエッジ特性値の分布に基づいて、前記パラメータのうちエッジ検出精度に関するパラメータを、予め設定した複数のパラメータ候補値の中で最も良好なエッジ検出精度が得られる値に設定するエッジ検出パラメータ設定手段と、を備えることを特徴とする請求項2に記載の形状ベースマッチングパラメータの調整装置。
  4. 形状ベースマッチング処理の精度は、前記評価用画像取得手段で前記テンプレート画像に対して加えた前記変動量を真値とした絶対精度で評価することを特徴とする請求項2又は3に記載の形状ベースマッチングパラメータの調整装置。
  5. 前記対象物を撮像する撮像手段と、
    前記撮像手段で基準姿勢の前記対象物を撮像し、これをテンプレート画像として取得するテンプレート画像取得手段と、を備え、
    前記評価用画像取得手段は、
    前記撮像手段で基準姿勢に対して任意の変動を加えた姿勢の前記対象物を複数撮像し、これらを前記評価用画像として取得することを特徴とする請求項1に記載の形状ベースマッチングパラメータの調整装置。
  6. 前記パラメータ設定手段は、
    前記評価用画像取得手段で取得した同一撮像条件での複数の評価用画像から、相対的なエッジの変動量が最も大きい2枚の評価用画像を抽出する抽出手段と、
    前記抽出手段で抽出した2枚の評価用画像のエッジの一致度が所定の判定閾値よりも低い不安定エッジを抽出する不安定エッジ抽出手段と、
    前記不安定エッジ抽出手段で抽出した不安定エッジに対応するエッジ部位を、形状ベースマッチング処理の対象から除外する方向に前記パラメータを徐変しながら形状ベースマッチング処理の精度を評価し、当該精度が前記要求精度を満たすパラメータ値を前記パラメータとして決定するパラメータ徐変手段と、を備えることを特徴とする請求項5に記載の形状ベースマッチングパラメータの調整装置。
  7. 前記パラメータは、前記テンプレート画像から前記対象物のエッジ点の座標とエッジ勾配ベクトルとで構成されるテンプレートデータを作成する際に用いるテンプレートパラメータと、前記テンプレートデータをもとにサーチ対象画像から前記対象物を検出する際に用いるサーチ用パラメータとを含み、
    前記パラメータ徐変手段は、前記不安定エッジ抽出手段で抽出した不安定エッジに対応するエッジ部位を、前記テンプレートデータから除外する方向に前記テンプレートパラメータを徐変することを特徴とする請求項6に記載の形状ベースマッチングパラメータの調整装置。
  8. 前記パラメータは、前記テンプレート画像から前記対象物のエッジ点の座標とエッジ勾配ベクトルとで構成されるテンプレートデータを作成する際に用いるテンプレートパラメータと、前記テンプレートデータをもとにサーチ対象画像から前記対象物を検出する際に用いるサーチ用パラメータとを含み、
    前記パラメータ徐変手段は、前記不安定エッジ抽出手段で抽出した不安定エッジに対応するエッジ部位を、前記サーチ対象画像から検出し難い方向に前記サーチ用パラメータを徐変することを特徴とする請求項6又は7に記載の形状ベースマッチングパラメータの調整装置。
  9. 形状ベースマッチング処理の精度は、前記複数の評価用画像に対して形状ベースマッチング処理を行った結果を統計処理した繰り返し精度で評価することを特徴とする請求項5〜8の何れか1項に記載の形状ベースマッチングパラメータの調整装置。
  10. 形状ベースマッチング処理は、サーチ対象画像に対してエッジ検出処理を行った結果に対して粗サーチ処理を行い、当該粗サーチ処理の結果をもとに精サーチ処理を行うものであって、
    前記パラメータ更新手段は、前記エッジ検出処理、前記粗サーチ処理及び前記精サーチ処理のタクトタイムがそれぞれ短縮する方向に、当該各処理で用いる前記パラメータを徐変しながら形状ベースマッチング処理の精度を評価し、当該精度が前記要求精度を保てる限界のパラメータ値に前記パラメータを更新することを特徴とする請求項1〜9の何れか1項に記載の形状ベースマッチングパラメータの調整装置。
  11. 形状ベースマッチング処理に用いるパラメータの調整を行う形状ベースマッチングパラメータの調整方法であって、
    形状ベースマッチング処理の要求精度及び要求タクトタイムを指定するステップと、
    基準姿勢に対して任意の変動を加えた姿勢の対象物の画像を、前記パラメータの評価用画像として取得するステップと、
    形状ベースマッチング処理の精度が前記要求精度を満たすように、前記パラメータを設定するステップと、
    設定した前記パラメータを用いて、前記評価用画像に対して形状ベースマッチング処理を行い、タクトタイムを計測するステップと、
    計測したタクトタイムが前記要求タクトタイムを満たしていないとき、当該タクトタイムが短縮する方向に前記パラメータを徐変しながら形状ベースマッチング処理の精度を評価し、当該精度が前記要求精度を保てる限界のパラメータ値に前記パラメータを更新するステップと、を備えることを特徴とする形状ベースマッチングパラメータの調整方法。
  12. 吸着ノズルにより電子部品を吸着し、基板上の所定位置に当該電子部品を装着する部品実装装置であって、
    前記請求項1〜11の何れか1項に記載の形状ベースマッチングパラメータの調整装置と、
    形状ベースマッチング処理に用いるパラメータを記憶する記憶手段と、
    前記吸着ノズルによって吸着した電子部品の画像を撮像し、これをサーチ対象画像として取得するサーチ対象画像取得手段と、
    前記サーチ対象画像取得手段で取得したサーチ対象画像に対して、前記記憶手段に記憶されたパラメータを用いて形状ベースマッチング処理を行い、前記電子部品の搭載位置決めを行う位置決め手段と、
    部品ロットの切り替わりを検知する検知手段と、
    前記検知手段で部品ロットの切り替わりを検知したとき、前記記憶手段に記憶されたパラメータの調整の要否を判断する判断手段と、を備え、
    前記判断手段で前記パラメータの調整が必要であると判断したとき、前記形状ベースマッチングパラメータの調整装置によって前記パラメータの調整を行うことを特徴とする部品実装装置。
JP2010214489A 2010-09-24 2010-09-24 形状ベースマッチングパラメータの調整装置および部品実装装置 Active JP5759133B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010214489A JP5759133B2 (ja) 2010-09-24 2010-09-24 形状ベースマッチングパラメータの調整装置および部品実装装置
CN201110288632.9A CN102421279B (zh) 2010-09-24 2011-09-22 形状基础匹配参数的调整装置、调整方法及部件安装装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010214489A JP5759133B2 (ja) 2010-09-24 2010-09-24 形状ベースマッチングパラメータの調整装置および部品実装装置

Publications (2)

Publication Number Publication Date
JP2012069003A true JP2012069003A (ja) 2012-04-05
JP5759133B2 JP5759133B2 (ja) 2015-08-05

Family

ID=45945431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010214489A Active JP5759133B2 (ja) 2010-09-24 2010-09-24 形状ベースマッチングパラメータの調整装置および部品実装装置

Country Status (2)

Country Link
JP (1) JP5759133B2 (ja)
CN (1) CN102421279B (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002813A1 (ja) * 2012-06-26 2014-01-03 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2015133349A (ja) * 2014-01-09 2015-07-23 ヤマハ発動機株式会社 評価装置、表面実装機、評価方法
JP2016025130A (ja) * 2014-07-17 2016-02-08 パナソニックIpマネジメント株式会社 部品実装方法および部品実装システム
JP2018195282A (ja) * 2017-05-19 2018-12-06 エムファウテック ソフトウェア ゲゼルシャフト ミット ベシュレンクテル ハフツングMVTec Software GmbH モデルを修正するためのシステムおよび方法
JP2019045938A (ja) * 2017-08-30 2019-03-22 オムロン株式会社 画像処理装置、設定支援方法、および設定支援プログラム
JP2020504373A (ja) * 2016-12-13 2020-02-06 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像上に配置された点のシーケンスを含む輪郭を修正する方法及び装置
JP2020077692A (ja) * 2018-11-06 2020-05-21 ヤマハ発動機株式会社 ワーク作業装置、ワーク作業システム、及び、ワーク作業装置の制御方法
CN113361553A (zh) * 2020-03-06 2021-09-07 株式会社理光 图像处理方法、图像处理装置、存储介质和***
CN113378886A (zh) * 2021-05-14 2021-09-10 珞石(山东)智能科技有限公司 一种自动训练形状匹配模型的方法
CN113647208A (zh) * 2019-03-28 2021-11-12 松下知识产权经营株式会社 生产数据制成装置以及生产数据制成方法
WO2023162476A1 (ja) * 2022-02-28 2023-08-31 パナソニックIpマネジメント株式会社 特徴点登録装置および特徴点登録方法
JP7502528B2 (ja) 2020-02-04 2024-06-18 ファナック株式会社 画像処理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6370038B2 (ja) * 2013-02-07 2018-08-08 キヤノン株式会社 位置姿勢計測装置及び方法
US11816754B2 (en) 2020-03-13 2023-11-14 Omron Corporation Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000260699A (ja) * 1999-03-09 2000-09-22 Canon Inc 位置検出装置及び該位置検出装置を用いた半導体露光装置
JP2002140693A (ja) * 2000-10-31 2002-05-17 Keyence Corp 画像処理パラメータ決定装置、画像処理パラメータ決定方法および画像処理パラメータ決定プログラムを記録した記録媒体
JP2003042970A (ja) * 2001-07-31 2003-02-13 Matsushita Electric Ind Co Ltd 実装基板の外観検査装置および外観検査方法
JP2004333422A (ja) * 2003-05-12 2004-11-25 Fanuc Ltd 画像処理装置
JP2007004829A (ja) * 2006-09-11 2007-01-11 Mitsubishi Electric Corp 画像処理装置
JP2010091525A (ja) * 2008-10-10 2010-04-22 Juki Corp 電子部品のパターンマッチング方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4470503B2 (ja) * 2004-01-30 2010-06-02 株式会社ニコン 基準パターン決定方法とその装置、位置検出方法とその装置、及び、露光方法とその装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000260699A (ja) * 1999-03-09 2000-09-22 Canon Inc 位置検出装置及び該位置検出装置を用いた半導体露光装置
JP2002140693A (ja) * 2000-10-31 2002-05-17 Keyence Corp 画像処理パラメータ決定装置、画像処理パラメータ決定方法および画像処理パラメータ決定プログラムを記録した記録媒体
JP2003042970A (ja) * 2001-07-31 2003-02-13 Matsushita Electric Ind Co Ltd 実装基板の外観検査装置および外観検査方法
JP2004333422A (ja) * 2003-05-12 2004-11-25 Fanuc Ltd 画像処理装置
JP2007004829A (ja) * 2006-09-11 2007-01-11 Mitsubishi Electric Corp 画像処理装置
JP2010091525A (ja) * 2008-10-10 2010-04-22 Juki Corp 電子部品のパターンマッチング方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002813A1 (ja) * 2012-06-26 2014-01-03 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5477518B1 (ja) * 2012-06-26 2014-04-23 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2015133349A (ja) * 2014-01-09 2015-07-23 ヤマハ発動機株式会社 評価装置、表面実装機、評価方法
JP2016025130A (ja) * 2014-07-17 2016-02-08 パナソニックIpマネジメント株式会社 部品実装方法および部品実装システム
JP2020504373A (ja) * 2016-12-13 2020-02-06 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像上に配置された点のシーケンスを含む輪郭を修正する方法及び装置
JP2018195282A (ja) * 2017-05-19 2018-12-06 エムファウテック ソフトウェア ゲゼルシャフト ミット ベシュレンクテル ハフツングMVTec Software GmbH モデルを修正するためのシステムおよび方法
US10460472B2 (en) 2017-05-19 2019-10-29 Universität Leipzig System and method for model adaptation
JP2019045938A (ja) * 2017-08-30 2019-03-22 オムロン株式会社 画像処理装置、設定支援方法、および設定支援プログラム
JP2020077692A (ja) * 2018-11-06 2020-05-21 ヤマハ発動機株式会社 ワーク作業装置、ワーク作業システム、及び、ワーク作業装置の制御方法
CN113647208A (zh) * 2019-03-28 2021-11-12 松下知识产权经营株式会社 生产数据制成装置以及生产数据制成方法
CN113647208B (zh) * 2019-03-28 2023-08-18 松下知识产权经营株式会社 生产数据制成装置以及生产数据制成方法
JP7502528B2 (ja) 2020-02-04 2024-06-18 ファナック株式会社 画像処理装置
CN113361553A (zh) * 2020-03-06 2021-09-07 株式会社理光 图像处理方法、图像处理装置、存储介质和***
CN113361553B (zh) * 2020-03-06 2024-02-02 株式会社理光 图像处理方法、图像处理装置、存储介质和***
CN113378886A (zh) * 2021-05-14 2021-09-10 珞石(山东)智能科技有限公司 一种自动训练形状匹配模型的方法
WO2023162476A1 (ja) * 2022-02-28 2023-08-31 パナソニックIpマネジメント株式会社 特徴点登録装置および特徴点登録方法

Also Published As

Publication number Publication date
JP5759133B2 (ja) 2015-08-05
CN102421279B (zh) 2016-04-13
CN102421279A (zh) 2012-04-18

Similar Documents

Publication Publication Date Title
JP5759133B2 (ja) 形状ベースマッチングパラメータの調整装置および部品実装装置
JP5075757B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP5074322B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
TWI404609B (zh) 機械手臂系統參數的校正方法與校正裝置
CN109739239B (zh) 一种用于巡检机器人的不间断仪表识别的规划方法
CN101122457A (zh) 影像边界扫描***及方法
JP2013197918A5 (ja)
US10996569B2 (en) Measurement device, method and display device
CN104002602A (zh) 具有加工精度纠正功能的激光活化设备和激光活化方法
CN112634376B (zh) 标定方法及装置、标定设备和存储介质
JP2019168520A (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
CN114289332A (zh) 工件分拣的视觉识别与定位方法、装置及分拣***
JP2017528766A (ja) 焦点合わせと傾斜補正のデザインを有するマーク及びそのアラインメント方法
CN106289678B (zh) 一种圆柱体异形鼓曲检测装置与识别方法
US11528410B2 (en) Calibration operation support device for industrial camera
TWI696390B (zh) 用於投影機投影畫面測試與對位的方法及系統
CN106094162B (zh) 一种对焦方法
JP4933961B2 (ja) カメラモジュールのフォーカス調整装置及びフォーカス調整方法
JP3684799B2 (ja) 移動体の停止位置ズレ量検出装置
JP2021111929A (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN115020174A (zh) 带电粒子束扫描成像设备实际像素尺寸的测量和监控方法
CN113079318B (zh) 晶边缺陷自动对焦***及方法和计算机存储介质
JP6025400B2 (ja) ワーク位置検出装置、及びワーク位置検出方法
US20080008381A1 (en) Coordinate acquisition apparatus for test of printed board, and coordinate acquisition method and program for test thereof
CN113808212A (zh) 一种线扫描图像同步的标定方法和***

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150605

R150 Certificate of patent or registration of utility model

Ref document number: 5759133

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150