JP6258480B2 - 画像処理装置、及び位置決めシステム - Google Patents

Description

本発明は、画像センサを接続し、画像センサから取得される画像を認識処理する画像処理装置、及び位置決めシステムに関する。

近年、画像処理装置では、画像中に含まれる特定の物体を判別や、画像中に含まれる特定の物体の位置や、サイズなどの物理量を算出するために必要となる画像処理の高速化のため、画像の全体領域のうち、必要な部分領域のみを画像処理する方法が用いられている。

例えば、このような従来技術として、特許文献１に記載の技術が開示されている。

特許文献１に記載の技術では、複数の画像データから被写体の顔部を検出して、顔部の大きさの変化量、水平/垂直方向への移動量を検出して変化量、移動量の補正量を算出し、補正量に基づいて顔部の器官（口、鼻等）の画像データ上の位置や大きさを補正する。

特開２０１２−１９８８０７号公報

以降の説明は当業者に分かりやすく説明するためのものであり、本発明を限定的に解釈するために意図されたものではない。

特許文献１に記載の技術は、画像センサへの画像転送性能の設定を想定しておらず、画像センサからの画像転送を高速化することが困難である。

また、特許文献１に記載の技術では、画像の位置とサイズを、認識対象の移動量や、変化量のみで決定するため、画像転送の要求性能を満たすように画像のサイズや、画像の位置を変更することが困難である。

本発明は、上述した画像転送の高速化、及び画像転送の要求性能を考慮した画像認識の少なくとも１つに配慮したものである。

本発明は、例えば以下の側面のうち少なくとも１つを有する。
（１）本発明は、要求性能を考慮して取得する画像の取得条件（例えば、寸法、及びフレームレートの少なくとも１つ）を得る。
（２）本発明は、得られた画像から認識対象の軌道を予測し、予測の結果と要求性能を考慮して画像の取得条件を得る。
（３）本発明は、画像センサから転送される画像の位置、サイズ、階調数を画像センサ自体に設定を行うことで変更し、画像転送を高速化する。
（４）本発明は、画像転送の要求性能を満たすように、画像センサから転送される画像の位置、サイズ、階調数を容易に変更可能な画像処理装置を提供する。

本発明は以下の効果の少なくとも１つを奏する。（１）画像センサからの転送画像の位置、サイズ、階調数を変更し、画像センサからの転送データ量を削減できるため、画像転送の高速化が実現できる。（２）画像転送の要求性能を満たしつつ、自動的に画像センサへの設定が可能となるため、容易に、かつ、柔軟に画像転送の速度を制御できる。

本実施形態に係る画像処理装置の位置決め装置への適用例を示す図。 本実施形態に係る画像処理装置の構成図。 本実施形態に係る画像処理装置の処理動作を示すフローチャート。 本実施形態に係る画像処理装置に連続転送される最大サイズの画像を示す図。 本実施形態に係る画像処理装置の認識処理を示す図。 本実施形態に係る画像処理装置に連続転送される画像の一例を示す図。 本実施形態に係る画像処理装置の設定画面を示す図。 本実施形態に係る部品実装装置の第２の実施例を示す図。 数１〜数４を説明する図。 数５〜数１０を説明する図。

次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。なお、以下の実施形態では、画像センサが搭載された可動部を駆動させ、認識対象に位置決めする位置決め装置への適用例として説明する。

ここで、各実施形態（各図面）において、Ｘ軸およびＹ軸のそれぞれの方向は、水平方向と平行な方向であり、Ｘ軸およびＹ軸は、水平方向に沿った平面上の直交座標系を形成するものである。また、ＸＹ軸系という場合は、水平方向に平行な平面におけるＸ軸系とＹ軸系とを表している。なお、Ｘ軸とＹ軸の関係は、お互いが入れ替わってもよい。また、各実施形態（各図面）において、Ｚ軸の方向は、垂直方向であり、Ｚ軸系という場合は、垂直方向に平行な平面におけるＸ軸系を表している。

実施形態１

図１は、本実施形態に係る画像処理装置１００の位置決め装置１１０への適用例を示す図である。なお、図１の（ａ）は、位置決め装置１１０の上面図であり、図１の（ｂ）は、図１（ａ）に示すＡ−Ａ線に沿って切断した構造を示す断面図である。

画像認識装置１００は、画像センサ１０１と、表示入力装置１０２と接続されている。さらに、
位置決め装置１１０は、画像センサ１０１、位置決めヘッド１１１、ビーム１１２、架台１１３、及びベース１１４を含む。

ベース１１４は認識対象を搭載するものである。位置決めヘッド１１１は画像センサ１０１を搭載し、X軸方向に移動する。ビーム１１２は位置決めヘッド１１１を搭載し、Y軸方向に移動する。架台１１３はビーム１１２を支持するものである。

位置決め装置１１０は、位置決めヘッド１１１をＸＹ方向に駆動させ、認識対象１２０に位置決め動作を行う。

このため、画像センサ１０１で撮像される認識対象１２０は、撮像時刻の異なる連続した複数の画像において、位置決めヘッド１１１の位置決め動作の駆動方向に対し、反対となる方向に移動する。

また、画像センサ１０１で撮像される認識対象１２０は、撮像時刻の異なる連続した複数の画像において、位置決めヘッド１１１の駆動速度と同等の速度で移動する。

図２は、本実施形態に係る画像処理装置１００の構成図である。

画像処理装置１００は、画像取得部２００、画像認識部２０１、画像センサ設定部２０３、画像センサ設定情報演算部２０２、演算方法指定部２０４、入出力制御部２０５を含む。

画像取得部２００は、画像センサ１０１で撮影され、画像センサ１０１より転送される画像を取得する。

画像認識部２０１は、画像取得部２００と接続されおり、画像取得部２００で取得される撮像時刻の異なる連続した複数の画像から、あらかじめ指定された演算方法で認識対象１２０を認識処理するものである。

画像センサセンサ設定情報演算部２０２は、画像認識部２０１と接続されており、画像認識部２０１の認識結果、及びあらかじめ指定された演算方法に基づき、あらかじめ指定されたフレームレートの要求性能を満たすように、画像センサ１０１への設定情報を算出するものである。

画像センサ設定部２０３は、画像センサ設定情報演算部２０２で算出された設定情報を、画像センサ１０１に転送し、設定を行うものである。

演算方法指定部２０４は、画像センサ設定情報演算部２０２にフレームレートの要求性能などの設定情報や、演算方法を指定するものである。

入出力制御部２０５は、画像認識部２０１と、演算方法指定部２０４への演算方法や、演算処理の実行指令の入力と、画像認識部２０１と、演算方法指定部２０４に設定された演算方法や、演算結果を出力するものである。

次に、画像処理装置１００の処理動作について図３、図４、図５を用いて説明する。図３は、本実施形態に係る画像処理装置１００の処理動作を示すフローチャートである。

画像処理装置１００は、まず、入出力制御部２０５に接続される表示入力装置１０２を介して、演算方法指定部２０４に演算方法を指定する（Ｓ３００）。このとき、演算方法指定部２０４に指定する演算方法は、以下の（１）〜（７）を含む。（１）画像センサ１０１から転送される画像のフレームレートの要求値（２）画像センサ１０１から転送される画像のＸ軸方向の余剰サイズ比率の下限値（３）画像センサ１０１から転送される画像のＹ軸方向の余剰サイズ比率の下限値（４）画像センサ１０１から転送される画像の中心位置の変更有無（５）画像センサ１０１から転送される画像の階調の変更有無からなる演算条件情報を複数個（６）各演算条件情報の初期値（７）各演算条件情報の適用条件からなる演算適用条件情報。
次に、Ｓ３０１では、画像処理装置１００は、画像処理を開始するか否か判断する。例えば、入出力制御部２０５に接続される表示入力装置１０２を介して、演算方法指定部２０４に画像処理の開始が指令された場合、画像処理装置１００は画像処理を開始する。（Ｓ３０１→Ｙｅｓ）。Ｓ３０１の処理でＮｏの場合、画像処理装置１００は、画像処理の開始指令を待つ。

画像処理の開始が決定されると演算方法指定部２０４に設定された演算適用条件情報に基づき、画像センサ１０１には所定の初期値が設定される（S３０２）。

次に、画像センサ１０１から転送される画像を画像取得部２００で取得する（Ｓ３０３）。

ここで、Ｓ３０３で画像センサ１０１から画像処理装置１００に転送される画像の例を図４を用いて説明する。

図４は、本実施形態に係る画像処理装置１００に連続転送される最大サイズの画像を示す図である。なお、画像センサ１０１から転送される画像の座標系は、図１で示した座標系と同じものとする。

画像センサ１０１から転送される最大サイズの画像である全領域画像４００−１〜４００−４は、認識対象１２０を撮像し、固有のフレームレート F_max [fps] で画像処理装置１００に転送される。

このため、全領域画像４００−１の撮像時刻を t0 [s] とし、全領域画像４００−１〜４００−４のそれぞれの撮像間の時間を Tc_max [s]（＝ 1 ／ F_max）とすると、全領域画像４００−２の撮像時刻は、t0 ＋ Tc_max [s]、全領域画像４００−３の撮像時刻は、t0 ＋ 2 × Tc_max [s]、全領域画像４００−４の撮像時刻は、t0 ＋ 3 × Tc_max [s]、と表すことができる。

このとき、全領域画像４００−１〜４００−４に撮像される認識対象１２０は、位置決めヘッド１１１の位置決め動作の駆動方向に対して、反対となる方向に移動する。

このため、全領域画像４００−１〜４００−４に示すとおり、認識対象１２０は、撮像時刻の経過とともに、全領域画像４００−１の画像左下から、全領域画像４００−４の中心へと移動し、停止する。

ここから、画像処理装置１００の処理動作を、図３に示すフローチャートに戻って、Ｓ３０３からの処理について説明する。

Ｓ３０３の処理の後、画像処理装置１００は、画像取得部２００で取得された画像を画像認識部２０１に転送し、画像認識部２０１にて、画像の認識処理を実行する（Ｓ３０４）。

ここで、Ｓ３０４の行う認識処理の内容を図５（ａ）を用いて説明する。なお、ここでは、画像センサ１０１から転送される画像のフレームレートを f [fps]、画像センサ１０１から転送される連続画像の撮像間の時間を tc [s]（＝ 1 ／ f）とし、ある時刻 t [s] の撮像画像とその１つ前の撮像時刻 t − tc [s] の撮像画像とを重ね合せた画像を重畳画像５００とする。なお、時刻 t − tc [s] の撮像画像は第１の画像、時刻 t [s] の撮像画像は第２の画像、時刻 t [s] より後の時刻に得られた撮像画像は第３の画像と表現することができる。

なお、図５の重畳画像５００では、説明の簡便にするため、時刻 t − tc の撮像画像で認識される物体や数値の符号の末尾に−１を付与（例：認識対象１２０−１）し、時刻 t の撮像画像で認識された物体や数値の符号の末尾に−２を付与（例：認識対象１２０−２）する。

画像認識部２０１は、画像センサ１０１から画像が転送されると、認識対象１２０−１、１２０−２の有無を認識する。そして、画像内に認識対象１２０−１、１２０−２が存在する場合、以下の（１）〜（３）を認識する。（１）画像内の認識対象１２０−１、１２０−２の中心の位置である中心座標５１０−１、５１０−２、（２）認識対象１２０−１、１２０−２のＸ軸方向のサイズであるＸ軸サイズ５１１−１、５１１−２、（３）認識対象１２０−１、１２０−２のＹ軸方向のサイズであるＹ軸サイズ５１２−１、５１２−２。

ここで、認識対象１２０−１、１２０−２の有無と、中心座標５１０−１、５１１−２は、パターンマッチングなどの一般的な画像処理方法で認識を行う。

また、画像認識部２０１は、重畳画像５００の認識対象１２０−１、１２０−２の輝度値、及び重畳画像５００の認識対象１２０−１、１２０−２以外の部分である背景画像の輝度値から、認識処理に最低限必要となる画像センサ１０１の撮像画像における輝度の階調数である最小階調数 g_min を算出する。

次に、画像認識部２０１は上述の処理で得られた中心座標５１０−１、５１０−２、Ｘ軸サイズ５１１−１、５１１−２、Ｙ軸サイズ５１２−１、５１２−２、及び最小階調数 g_min を画像センサ設定情報演算部２０２に転送し、その処理を終了する。

ここから、画像処理装置１００の処理動作を、図３に示すフローチャートに戻って、Ｓ３０５からの処理について説明する。

画像処理装置１００は、画像認識部２０１の画像認識の結果、認識対象１２０を検出できた場合（Ｓ３０５→Ｙｅｓ）、Ｓ３００で演算方法指定部に指定された演算適用条件情報に合致する１つの演算条件情報と、Ｓ３０４で算出された画像認識の結果に基づいて、画像センサ設定情報演算部２０２の処理により画像センサ１０１への設定値を算出する（Ｓ３０６）。Ｓ３０５の処理でＮｏの場合、画像処理装置１００は、画像センサ１０１の設定値を変更せずに、画像センサ１０１から転送される次の時刻の画像を画像取得部２００で取得し（Ｓ３０３）、処理を繰り返す。

ここで、画像センサ設定情報演算部２０２の処理内容について図５（ｂ）を用いて説明する。
画像センサ設定情報演算部２０２は、画像認識部２０１から転送される中心座標５１０−１、５１０−２に基づき、認識対象１２０−１から、認識対象１２０−２までのＸ軸方向の移動量であるＸ軸移動量５２０と、認識対象１２０−１から、認識対象１２０−２までのＹ軸方向の移動量であるＹ軸移動量５２１を算出する。

ここで、中心座標５１０−１を（x0, y0）、中心座標５１０−２を（x, y）とし、Ｘ軸移動量５２０を Δx（＝ x − x0）、Ｙ軸移動量５２１を Δy（＝ y − y0） とする。

このとき、認識対象１２０−１から認識対象１２０−２までのＸ軸方向の速度 v_x [pixel/s] と、認識対象１２０−１から認識対象１２０−２までのＹ軸方向の速度 v_y [pixel/s] は、数１を用いて求められる。

なお、認識対象１２０のＸ軸方向の速度、およびＹ軸方向の速度は、オプティカルフローなどの他の一般的な画像処理方法で求めてもよい。

さらに、Ｘ軸サイズ５１１−１を lx0、Ｘ軸サイズ５１１−２を lx 、Ｙ軸サイズ５１２−１を ly0、Ｙ軸サイズ５１２−２を ly とし、Ｘ軸方向の認識対象のサイズの変化量を Δlx（＝ lx − lx0）、Ｙ軸方向の認識対象のサイズの変化量をΔly（＝ ly − ly0）、とする。

また、認識対象１２０−１から認識対象１２０−２までのＺ軸方向の速度のうち、Ｘ軸方向に作用するものをＸ軸サイズ変化度 v_zx [pixel/s] とし、Ｙ軸方向に作用するものをＹ軸サイズ変化度 v_zy [pixel/s]とする。

このとき、画像センサ設定情報演算部２０２は、Ｘ軸サイズ変化度 v_zx と、Ｙ軸サイズ変化度 v_z を、数２を用いて算出する。

なお、Ｘ軸サイズ変化度と、Ｙ軸サイズ変化度は、ステレオビジョンなどの他の一般的な画像処理方法で求めてもよい。

次に、画像センサ設定情報演算部２０２は、認識対象１２０−１、１２０−２を用いて算出された以下の（１）〜（）から画像センサ１０１の撮像時刻 t の、次の時刻の撮像における認識対象１２０−３の予測される認識結果を算出する。（１）Ｘ軸方向の速度 v_x 、（２）Ｙ軸方向の速度 v_y 、（３）Ｘ軸サイズ変化度 v_zx 、（４）Ｙ軸サイズ変化度 v_zy 。

ここで、画像センサ１０１の時刻 t での撮像に対する、次の時刻の撮像画像が転送される際のフレームレートを f’[fps]、画像センサ１０１の時刻 t での撮像から、次の時刻の撮像までの時間を tc’[s]（＝ 1 ／ f’）とし、撮像時刻 t ＋ tc’で撮像される認識対象１２０−３の予測位置を図５（ｂ）に破線にて示す。

なお、図５（ｂ）では、時刻 t ＋ tc’の画像において予測される認識結果の符合の末尾に−３を付与（例：認識対象１２０−３）する。

まず、画像センサ設定情報演算部２０２は、時刻 t ＋ tc’の撮像画像の認識結果の予測値として、以下の（１）〜（３）を算出する。（１）認識対象１２０−３の重畳画像５００の座標系における中心座標５１０−３、（２）認識対象１２０−３のＸ軸サイズ５１１−３、（３）認識対象１２０−３のＹ軸サイズ５１２−３。

このとき、画像センサ設定情報演算部２０２は、認識対象１２０−３の予測される中心座標５１０−３を（x’, y’）とすると、数３を用いて、中心座標５１０−３を算出する。

次に、画像センサ設定情報演算部２０２は、認識対象１２０−３の予測されるＸ軸サイズ５１１−３を l_x’、認識対象１２０−３の予測されるＹ軸サイズ５１２−３を l_y’とすると、数４を用いて、Ｘ軸サイズ５１１−３と、Ｙ軸サイズ５１２−３をそれぞれ算出する。

次に、画像センサ設定情報演算部２０２は、自身で算出した、中心座標５１０−３、Ｘ軸サイズ５１１−３、及びＹ軸サイズ５１２−３に基づいて、以下の（a）〜（c）によって構成される演算条件情報（所定の条件や要求値と表現することができる）を満たす画像センサ設定情報（（１）〜（５）、第１の設定情報と表現することができる）を得る。（a）フレームレートの要求値 fr [fps]、（b）Ｘ軸サイズ５１１−３に対するＸ軸方向の余剰サイズ比率の下限値 αr [%]、（c）Ｙ軸サイズ５１２−３に対するＹ軸方向の余剰サイズ比率の下限値 βr [%] 、（１）画像センサ１０１から転送される画像のＸ軸方向の転送サイズであるＸ軸転送サイズ５３１、（２）画像センサ１０１から転送される画像のＹ軸方向の転送サイズであるＹ軸転送サイズ５３２、（３）画像センサ１０１から転送される画像の転送する位置を、最大サイズの画像における位置座標にて指定するための座標情報である転送座標５３３、（４）画像センサ１０１から転送される画像の階調数である転送階調数 g、（５）フレームレート f’。なお、Ｘ軸転送サイズ５３１、及びＹ軸転送サイズ５３２は第３の画像の寸法と表現することができる。また、転送座標５３３は第３の画像の位置を規定する情報の一例と表現することもできる。

ここで、Ｘ軸転送サイズ５３１を lp_x’、Ｙ軸転送サイズ５３２を lp_y’とし、Ｘ軸サイズ５１１−３に対するＸ軸方向の余剰サイズ比率をＸ軸余剰サイズ比率 α [%]、Ｙ軸サイズ５１２−３に対するＹ軸方向の余剰サイズ比率をＹ軸余剰サイズ比率 β [%] とする。 lp_x’は第１の方向における寸法と、 lp_y’は前記第１の方向と交差する方向における第２の寸法と表現できる。α、βは所定の係数と表現することができる。

まず、画像センサ設定情報演算部２０２は、数５を用いて、Ｘ軸転送サイズ５３１とＹ軸転送サイズ５３２とをそれぞれ算出する。ここで、Ｘ軸余剰サイズ比率 α と、Ｙ軸余剰サイズ比率 β は、数６を満たす値とする。

ここで、画像センサ１０１から転送される画像に設定できる座標の最小値を（x_min, y_min）、画像センサ１０１から転送される画像に設定できる座標の最大値を（x_max, y_max）とし、転送座標５３３を（xp, yp）とする。

画像センサ設定情報演算部２０２は、数７を用いて、転送座標５３３を算出する。 ここで、数７の数式内の変数 a 、b は、それぞれ、(l_x’/ 2) ≦ a ≦ lp_x’- (l_x’/ 2)、(l_y’/ 2) ≦ b ≦ lp_y’- (l_y’/ 2)、を満たす任意の一意の数とする。

図５（ｂ）では、a = (lp_y’/ 2)、b = (lp_y’/ 2)とした場合の例を示している。 ここで、さらに、算出されたＸ軸転送サイズ５３１とＹ軸転送サイズ５３２の場合における画像転送サイズ５３０を s’[pixel]（＝ lp_x’× lp_y’）、画像センサ１０１の露光時間を Te [s]、画像センサ１０１の画像転送におけるヘッダ部分の転送時間を Th [s]、画像センサ１０１の１ラインの転送あたりに増加する転送時間を Tl [s]、画像センサ１０１の画素値の１ビットあたりの転送時間を Td [bps]、画像センサ１０１に設定される階調値のビット数を d [bit]（＝ceil(log₂g)）(ceilは天井関数)とする。これらTe、Th、Tl、d、Tdは第２の設定情報と表現することができる。

画像センサ設定情報演算部２０２は、数８を用いて、このときのフレームレート f’を算出する。ここで、転送階調数 g は、数９を満たす値とする。

また、画像センサ設定情報演算部２０２は、数３〜数９に示した数式を計算し、数１０を満たすことで、演算条件情報を満足しながら、画像センサ設定情報を算出できる。

このとき、画像センサ設定情報演算部２０２は、数９に示す条件を満たすように、Ｘ軸余剰サイズ比率 α や、Ｙ軸余剰サイズ比率 β 、転送階調数 ｇ の値を調整しながら、画像センサ設定情報を算出する計算手順が必要となる。

このような、画像センサ設定情報演算部２０２の計算手順の一例として、各パラメータの初期値を、tc’＝ 1 ／ fr、α ＝ αr、β ＝ βr、g ＝ g_min、として ｆ’を算出し、数８の条件を満たすようであれば、f’＝ fr に近づくように α、β、ｇ を増加させていく方法などが考えられる。

なお、このような画像センサ設定情報演算部２０２の計算手順は、一般的な最適化計算の手法を適用してもよい。

最後に、画像センサ設定情報演算部２０２は、算出された画像センサ設定情報を画像センサ設定部２０３に転送し、Ｓ３０６の処理を完了する。

ここから、画像処理装置１００の処理動作を、図３に示すフローチャートに戻って、Ｓ３０７からの処理について説明する。

Ｓ３０６の処理の後、画像認識装置１００の画像センサ設定部２０３は、画像センサ設定情報演算部２０２より転送された画像センサ設定情報を画像センサ１０１に設定する（Ｓ３０７）。

次に、画像処理装置１００は、入出力制御部２０５に接続される表示入力装置１０２を介して、演算方法指定部２０４に画像処理の終了が指令された場合（Ｓ３０８→Ｙｅｓ）、処理を終了する。Ｓ３０８の処理でＮｏの場合、画像センサ１０１から転送される次の時刻の画像を画像取得部２００で取得し（Ｓ３０３）、処理を繰り返す。

図６は、本実施形態に係る画像処理装置１００に連続転送される画像の一例を示す図である。

第一の部分取得画像６００−１〜６００−７は、画像センサ１０１から全領域画像４００−１〜４００−４の部分領域のみを転送した画像であり、フレームレートは、図６の例では、全領域画像４００−１〜４００−４の約３倍である。

第二の部分取得画像６１０−１〜６１０−７は、全領域画像４００−１〜４００−４の部分領域のみを画像センサ１０１から転送した画像であり、フレームレートは、図６の例では、全領域画像４００−１〜４００−４の約６倍であり、第一の部分取得画像６００−１〜６００−７の約３倍である。

そのため、第二の部分取得画像６１０−１〜６１０−７は、第一の部分取得画像６００−１〜６００−７に比べて転送画像のサイズが小さい。

本実施例のような位置決め装置１１０に適用される画像処理装置１００では、図６に示すとおり、画像センサ１０１が搭載された位置決めヘッド１１１と認識対象１２０との距離が遠いときには、認識対象１２０を広域で探すために全領域画像４００−１の適用が望ましい。また、位置決めヘッド１１１と認識対象１２０との距離が近づき、位置決めヘッド１１１が減速するにつれて、位置決めヘッド１１１の振動的な誤差を認識するためには、画像センサ１０１の設定を切り替え、画像センサ１０１からの転送画像を、第一の部分取得画像６００−１〜６００−７や、第二の部分取得画像６１０−１〜６１０−７に変更することで、フレームレートを向上することが望ましい。

具体的な例として、本実施例の位置決め装置１１０が、短辺のサイズが数百μｍの電子部品をプリント配線板に実装する部品実装装置である場合、全領域画像４００−１〜４００−４の画像サイズは、Ｘ軸方向、Ｙ軸方向ともに約１０〜２０ｍｍ程度とし、そのときのフレームレートは、約１００〜２００ｆｐｓ程度とし、第一の部分取得画像６００−１〜６００−７の画像サイズは、Ｘ軸方向、Ｙ軸方向ともに約３〜６ｍｍ程度とし、そのときのフレームレートは、約３００〜６００ｆｐｓ程度とし、第二の部分取得画像６１０−１〜６１０−７の画像サイズは、約１〜３ｍｍ程度とし、そのときのフレームレートは、約１０００ｆｐｓ程度とすることが望ましい。

図７は、本実施形態に係る画像処理装置１００の設定画面７００を示す図である。

設定画面７００は、パラメータ設定部７０１と、パラメータ適用条件設定部７０２と、画像処理結果表示部７０３と、処理内容表示部７０４から構成される。

パラメータ設定部７０１は、演算条件情報を設定するための入力インタフェースである。

パラメータ設定条件設定部７０２は、複数の演算条件情報に対して演算適用条件情報を設定するための入力インタフェースである。

画像処理結果表示部７０３は、パラメータ設定部７０１で設定された演算条件情報と、パラメータ適用条件設定部７０２で設定された演算適用条件情報に基づいて、画像処理装置１００の画像認識部２０１と、画像センサ設定情報演算部２０２の処理の結果を示すための出力インタフェースである。

また、画像処理結果表示部７０３は、具体的には、画像センサ１０１から取得される最新の画像の表示や、認識対象１２０の認識値の表示や、画像センサ１０１から転送された画像の時刻歴の表示などを行う。

処理内容表示部７０４は、画像処理装置１００の内部処理の進行等を示すための出力インタフェースである。

画像処理装置１００の使用者は、まず、パラメータ設定部７０１で演算条件情報の設定と、パラメータ適用条件設定部７０２で演算適用条件情報の設定を実施し、次に、画像処理結果表示部７０３と処理内容表示部７０４とを参照することによって、所望の認識処理の実行可否を確認し、確認した内容に基づいて、演算条件情報と、演算適用条件情報の調整を行う。

実施形態２

図８は、本実施形態に係る画像処理装置１００の第２の実施例を示す図である。

サーボ制御装置８００は、アクチュエータ制御部８０１と、動作情報転送部８０２から構成される。サーボ制御装置８００はアクチュエータ８１０とアクチュエータ８１０の位置や、速度、加速度等をフィードバックするためのセンサ８２０とを接続する。アクチュエータ制御部８０１は、センサ８２０のフィードバック情報に基づいてアクチュエータ８１０の制御を実行する。

また、アクチュエータ制御部８０１は、センサ８２０のフィードバック情報により、アクチュエータ８１０を用いた可動部の現在の位置や、速度などを取得する。

さらに、アクチュエータ制御部８０１は、アクチュエータ８１０を駆動させるための位置や、速度の指令波形や、軌道の生成に基づいて、画像センサ１０１の次の撮像時刻に予測されるアクチュエータ８１０を用いた可動部の位置や、速度などを算出する。

アクチュエータ制御部８０１は、算出したアクチュエータ８１０を用いた可動部の現在の位置や、速度の情報、画像センサ１０１の次の撮像時刻に予測されるアクチュエータ８１０を用いた可動部の位置、速度の情報を動作情報転送部８０２に転送する。

また、動作情報転送部８０２は、画像処理装置１００の画像センサ設定情報演算部２０２と接続される。

ここで、本実施形態の画像処理装置１００の画像センサ設定情報演算部２０２は、以下の（１）〜（）のうち少なくとも１つを、サーボ制御装置８００の動作情報転送部８０２から取得することで処理を実行する。（１）現在の撮像画像の認識対象１２０−２のＸ軸方向の速度、（２）Ｙ軸方向の速度、（３）Ｘ軸サイズ変化度、（４）Ｙ軸サイズ変化度、（５）次の時刻の撮像画像で予測される中心座標５１０−３、（６）Ｘ軸サイズ５１１−３、（７）Ｙ軸サイズ５１１−３。

このとき、画像センサ設定情報演算部２０２は、自身の処理に必要となる全ての情報のうち、動作情報転送部８０２から取得しない情報に関しては、実施形態１と同様に画像認識部２０１から取得する。

このような画像処理装置１００の構成にすることによって、画像認識部２０１と、画像センサ設定情報演算部２０２の演算負荷を軽減でき、より高速な画像処理が可能となる。

また、本実施形態の画像処理装置１００を位置決め装置１１０に適用し、位置決め装置１１０の可動部である位置決めヘッド１１１と、ビーム１１２の制御に、アクチュエータ８１０と、センサ８２０を適用し、さらに、これらのアクチュエータ８１０と、センサ８２０の制御にサーボ制御装置８００を適用すると、画像処理装置１００の認識処理で算出される位置や、速度に比べ、より高精度な位置や、速度を得ることができる。

本実施形態２の部品実装装置によって得られるその他の効果については、実施形態１のものと同様であるため、その重複説明は省略する。

以上、本発明の実施例について説明したが、本発明は実施例に限定されない。本実施例に開示される内容は自動車、鉄道にも適用可能である。すなわち、位置決めシステムとは、部品実装装置、自動車、鉄道、そのほかのシステムを含みえる広義の表現である。

１００・・・画像処理装置
１０１・・・画像センサ
１０２・・・表示入力装置
１１０・・・位置決め装置
１１１・・・位置決めヘッド
１１２・・・ビーム
１１３・・・架台
１１４・・・ベース
１２０、１２０−１、１２０−２、１２０−３・・・認識対象
２００・・・画像取得部
２０１・・・画像認識部
２０２・・・画像センサ設定情報演算部
２０３・・・画像センサ設定部
２０４・・・演算方法指定部
２０５・・・入出力制御部
４００、４００−１〜４００−４・・・全領域画像
５００・・・重畳画像
５１０−１、５１０−２、５１０−３・・・中心座標
５１１−１、５１１−２、５１１−３・・・Ｘ軸サイズ
５１２−１、５１２−２、５１２−３・・・Ｙ軸サイズ
５２０・・・Ｘ軸移動量
５２１・・・Ｙ軸移動量
５３０・・・画像転送サイズ
５３１・・・Ｘ軸転送サイズ
５３２・・・Ｙ軸転送サイズ
５３３・・・転送座標
６００−１〜６００−７・・・第一の部分取得画像
６１０−１〜６１０−７・・・第二の部分取得画像
７００・・・設定画面
７０１・・・パラメータ設定部
７０２・・・パラメータ適用条件設定部
７０３・・・画像処理結果表示部
７０４・・・処理内容表示部
８００・・・サーボ制御装置
８０１・・・アクチュエータ制御部
８０２・・・動作情報転送部
８１０・・・アクチュエータ
８２０・・・センサ

Claims (16)

1. センサと、
   処理部と、を有し、
   前記センサは第１の時刻に認識対象を含む第１の画像を得て、第１の時刻よりも後の第２の時刻に前記認識対象を含む第２の画像を得て、前記第２の時刻より後の第３の時刻に前記認識対象を含む第３の画像を得て、
   前記処理部は、前記第３の画像を得る際の前記センサの第１の設定情報を所定の条件を満たすよう前記第１の画像、及び前記第２の画像から決定し、前記第３の画像の寸法を前記第３の画像中での前記認識対象の予測寸法値、及び所定の係数を使用して得て、
   前記第１の設定情報は、前記第３の画像の寸法、及び前記第３の画像を得る際のフレームレートを含む画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
   前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む画像処理装置。
4. 請求項１または請求項３に記載の画像処理装置において、
   前記所定の条件は、前記フレームレートの要求値を含み、
   前記フレームレートは前記要求値以下である画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記所定の条件は、前記所定の係数の下限値を含む画像処理装置。
6. 請求項１または請求項５に記載の画像処理装置において、
   前記第１の設定情報は前記第３の画像の位置を規定する情報を含む画像処理装置。
7. 請求項１または請求項６に記載の画像処理装置において、
   前記第１の設定情報は前記第３の画像の階調数を含む画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記所定の条件は、前記第３の画像を得るための所定の係数の下限値を含む画像処理装置。
9. センサと、
   前記センサを移動させる移動部と、
   処理部と、を有し、
   前記センサは第１の時刻に認識対象を含む第１の画像を得て、第１の時刻よりも後の第２の時刻に前記認識対象を含む第２の画像を得て、前記第２の時刻より後の第３の時刻に前記認識対象を含む第３の画像を得て、
   前記処理部は、前記第３の画像を得る際の前記センサの第１の設定情報を所定の条件を満たすよう前記第１の画像、及び前記第２の画像から決定し、前記第３の画像の寸法を前記第３の画像中での前記認識対象の予測寸法値、及び所定の係数を使用して得て、
   前記第１の設定情報は、前記第３の画像の寸法、及び前記第３の画像を得る際のフレームレートを含む位置決めシステム。
10. 請求項９に記載の位置決めシステムにおいて、
    前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
    前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る位置決めシステム。
11. 請求項１０に記載の位置決めシステムにおいて、
    前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む位置決めシステム。
12. 請求項９または請求項１１に記載の位置決めシステムにおいて、
    前記所定の条件は、前記フレームレートの要求値を含み、
    前記フレームレートは前記要求値以下である位置決めシステム。
13. 請求項１２に記載の位置決めシステムにおいて、
    前記所定の条件は、前記所定の係数の下限値を含む位置決めシステム。
14. 請求項９または請求項１３に記載の位置決めシステムにおいて、
    前記第１の設定情報は前記第３の画像の位置を規定する情報を含む位置決めシステム。
15. 請求項９または請求項１４に記載の位置決めシステムにおいて、
    前記第１の設定情報は前記第３の画像の階調数を含む位置決めシステム。
16. 請求項９に記載の位置決めシステムにおいて、
    前記所定の条件は、前記第３の画像を得るための所定の係数の下限値を含む位置決めシステム。

Images