JP5438574B2 - 画像探索方法 - Google Patents
画像探索方法 Download PDFInfo
- Publication number
- JP5438574B2 JP5438574B2 JP2010069097A JP2010069097A JP5438574B2 JP 5438574 B2 JP5438574 B2 JP 5438574B2 JP 2010069097 A JP2010069097 A JP 2010069097A JP 2010069097 A JP2010069097 A JP 2010069097A JP 5438574 B2 JP5438574 B2 JP 5438574B2
- Authority
- JP
- Japan
- Prior art keywords
- base pair
- point
- image
- search
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
このGeometric Hashingの一般理論を使用する探索方法は、大きく、探索対象物の基準座標群の作成と被探索画像における特徴点の照合とに分かれている。
図28に基づいて、基準座標群(つまり、テンプレート)の作成概念を説明する。図28(A)に示すように、探索対象物であるモデルMの形状は輪郭上に設定された6つの特徴点A〜Fで表される。これらの6つの特徴点から任意に二つを選択し(ここでは、特徴点AとBとする。以下、これらの二つの特徴点のペアを基底ペアという)、特徴点Aを始点、特徴点Bを終点とするベクトル(以下、基底ベクトルという)の大きさを1、角度を0°にする正規化を図るためのモデルMの変換量(図28(B))を求めて保持しておく。この変換量を用いて、モデルの6つの特徴点を全て変換し、データテーブルAc〜Fc(図28(C))を取得する。図28(D)は正規化後のモデルMを示している。
これらの座標点は、照合しやすいようにハッシュ表とよばれる2次元のデータテーブルで管理される(図28(E))。
なお、基底ベクトルを選択するための二つの特徴点を選ぶ組み合わせは、全特徴点から二つ選ぶ順列の数、例えば、6つの特徴点であれば30通りの基準ベクトルが選択可能である。
図29(A)に示す被探索画像上から六つの特徴点a〜fを抽出し、これら六つの特徴点から2つの特徴点を順次選定して基底ベクトルを定め、当該基底ベクトルを大きさ1、角度を0°にする変換量(図29(C))を求めて、図29(B)に示すように、すべての特徴点を変換(正規化)する。そして、正規化された各特徴点を前述したモデルMのハッシュ表と照合して、一致する点について1点づつ加算していく。この図の例では、特徴点数が6であるので、6点が満点となる(図29(D))。
抽出した六つの特徴点から2つ選ぶ順列の数、即ち、この図29の例では30通りの基底ベクトルについて照合を行い、最大点数となる基底ベクトルを探す。また、図29の例では特徴点が六つの場合を例示したが、実際には被探索画像中にはより多くの特徴点が得られる場合もあり、その場合には、それらの特徴点の中から六つの特徴点の組み合わせを全て選出し、各組み合わせごとに上記処理を行い、最大得点となる基底ベクトルを探索する。
そこで、前述したモデルMの正規化の際の変換量(図29(B)参照)と被探索画像の各特徴点の正規化の際の変換量(図29(C)参照)とを用いて被探索画像におけるモデルMの位置及び姿勢を判別する。
この特許文献1の先行技術では、まず、第1特徴点を一定の間隔で輪郭上に設定し、然る後に、第1特徴点における輪郭の法線の方向に対し所定の角度を持つ直線(法線そのものでも良い)と輪郭が交差する点を第2特徴点として設定する。
そして、被探索画像上でも同様に一定の間隔で第1特徴点を設定し、各第1特徴点で所定角度で輪郭に交差する直線を引き出して、輪郭の1つ以上の交差点を第2特徴点の候補として設定し、第1,第2の特徴点のペアの組み合わせについてのみ、ハッシュ表での照合を行うこととし、照合点数を減らすことにより探索処理の高速化を図っている。
例えば、直線部に発生した第1特徴点は精度良く勾配ベクトルを求めることができ、第2特徴点を安定して得ることができるが、第1特徴点の候補は多数存在することになる。
これらを判別するためにはハッシュ表の照合まで行わなければならない。
逆に、第1特徴点がコーナ等の比較的対応が取りやすい部分に発生した場合は、第1特徴点の候補は限定されるが、このような部分では対象物の姿勢によって勾配ベクトルがばらつくので、第2特徴点がばらつく可能性がある。従って、このような場合も、ハッシュ表の照合を行わなければならない。
また、必要な特徴的な部分を欠落させないために間隔を細かくすると、特徴点の数が増加して計算量も増加することとなり、処理の高速化を図ることができなくなる。
さらに、基底ペア情報に、安定区間に基づくエッジ勾配ベクトルと基底ベクトルの相対角度(角度差)を含むので、基底ベクトルの始点におけるエッジ勾配ベクトルと基底ベクトルの相対角度(角度差)を用いる場合に比して、基底ベクトルの方向を安定して特定することが可能となり、基底ベクトルの終点の予測をより正確に行い、探索の錯誤を低減して精度の良い画像探索を可能とする。
本発明の第1の実施形態について、図1乃至図21に基づいて説明する。本実施形態は、撮像画像内で探索対象物である電子部品を探索するための画像解析装置10が電子部品実装装置100に搭載され、後述する吸着ノズルに吸着された電子部品の位置を検出する目的に利用される場合の例を示している。
図1は電子部品実装装置100の平面図、図2は制御系を示すブロック図である。電子部品実装装置100は、基板に各種の電子部品の搭載を行うものであって、電子部品の搭載手段として、図1に示すように、搭載される電子部品を供給する複数の電子部品フィーダ101と、電子部品フィーダ101を複数並べて保持する電子部品供給部としてのフィーダバンク102と、一定方向に基板を搬送する基板搬送手段103と、当該基板搬送手段103による基板搬送経路の途中に設けられた基板に対する電子部品搭載作業を行うための搭載作業部104と、電子部品を吸着する吸着ノズル105を保持して電子部品の保持を行う部品保持手段としてのヘッド106と、ヘッド106を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのX−Yガントリ107と、吸着ノズル105に吸着された電子部品の撮像を行う標準カメラ115及び高解像度カメラ116と、撮像位置に照明光を照射する照明装置117と、電子部品実装装置100の各構成に対して制御を行う制御装置120と、カメラ115,116の撮像画像から探索対象となる電子部品の探索処理を実行する画像処理装置10とを備えている。
画像解析装置10は、カメラ115,116による電子部品Cの撮像画像から正確な位置情報を求め、制御装置120に出力することでヘッド106の位置決め動作に反映させるために利用される。
標準カメラ115及び高解像度カメラ116はいずれもCCDカメラであり、搭載が行われる電子部品の電極サイズによって使い分けられるようになっている。以下の記載では、標準カメラ115が使用される前提で説明を行うこととする。
また、以下の説明において、水平面に沿って互いに直交する一の方向をX軸方向とし、他の方向をY軸方向とし、垂直上下方向をZ軸方向と称することとする。
また、前述したように、基板搬送手段103による基板搬送経路の途中には、電子部品を基板へ搭載する搭載作業部104が設けられている。基板搬送手段103は、搭載作業部104まで基板を搬送すると共に停止して、図示しない保持機構により基板の保持を行う。つまり、基板は保持機構により保持された状態で安定した電子部品の搭載作業が行われる。
また、各吸着ノズル105は負圧発生装置108に接続され、当該吸着ノズル105の先端部において吸気吸引を行うことにより電子部品の吸着及び保持が行われる。
つまりこれらの構造により、搭載作業時には、吸着ノズル105の先端部で所定の電子部品フィーダ101から電子部品を吸着し、所定位置で基板に向かって吸着ノズル105を下降させると共に吸着ノズル105を回転させて電子部品の向きの調整を行いつつ搭載作業が行われる。
また、前述した各カメラ115,116は、ベースフレーム114に搭載されており、X−Yガントリ107によりヘッド106が各カメラ115,116の位置決めされて撮像が行われるようになっている。
各カメラ115,116は、ベースフレーム114から上方に向けられた状態で保持されており、吸着ノズル105に吸着された電子部品Cを下方から撮像し、撮像画像を画像処理装置10に出力する。
なお、各モータは、ぞれぞれの回転量が制御装置120に認識され、所望の回転量となるように制御されることにより、ヘッド106を介して吸着ノズル105や各カメラ115,116の位置決めを行っている。
また、電子部品の必要上、前記したフィーダバンク102,搭載作業部104とはいずれもX−Yガントリ107によるヘッド106の搬送可能領域内に配置されている。
各電子部品フィーダ101は、後端部に電子部品が一列に並んで封止された部品テープのリール(図示略)が保持されており、部品テープはリールから電子部品フィーダ101の先端部(基板側の端部)の上側に設けられた部品受け渡し位置101aまで繰り出され、当該部品受け渡し位置101aにおいて吸着ノズル105により電子部品の吸着が行われるようになっている。
かかる制御装置120は、電子部品Cの吸着ノズル105による吸着後に標準カメラ115又は高解像度カメラ116による撮像が行われ、当該撮像画像に基づいて画像処理装置10が求めた電子部品の正確な位置及び向きに基づいて電子部品Cの向きをθ軸モータ112により補正し、X軸モータ109及びY軸モータ110により搭載時のヘッド106による搭載位置を補正するようになっている。
画像解析装置10は、各カメラ115,116及びその照明装置117と画像解析装置全体を制御する制御部11と、各カメラ115,116の画像信号をデジタル化するA/D変換器12と、デジタル化された撮像画像データを記憶する画像メモリ13と、撮像画像データに基づいて電子部品や半田パターンなどの探索対象を探索するための画像処理を実行する演算部14と、画像処理や各部の制御において作業領域となる作業用メモリ15と、探索を行う画像処理において探索対象のモデルとなる電子部品又は半田パターンのテンプレートデータが記憶されるテンプレートデータ格納メモリ16と、画像処理装置10
の制御部11が制御装置120とのデータ通信を行うインターフェイス17とを備えている。
以下、電子部品の撮像画像からこの画像処理装置10が行う電子部品の探索処理について説明することととする。
画像処理装置10は、カメラ115(又は116)を用いて予め探索対象である電子部品Cの撮像を行い、電子部品Cのテンプレートの作成を行う。図3はテンプレートの作成処理を示すフローチャートである。
このテンプレートの作成処理は、電子部品実装装置100の制御装置120により、ヘッド106を位置制御して電子部品Cを吸着した吸着ノズル105をカメラ115の撮像位置にセットし、照明装置117を点灯されると、画像処理装置10にインターフェイス17を介して、選択されたカメラチャネル情報と共に処理実行が指示されることで開始される。
次いで、エッジ抽出処理により画像データから電子部品Cの輪郭を抽出し、抽出データを作業用メモリ15に格納する(ステップS22)。
そして、抽出したエッジ点についてラベリング処理を行い、連結し、輪郭線として分類したデータ管理を行えるようにする。これらのデータを用い、輪郭線上の形状特徴部分を特徴点として抽出する。特徴抽出方法としては、HarrisやSUSANなどのコーナー検出オペレータを用いる、境界追跡により曲率の高い点を抽出する、などのいろいろな方法が考えられる(ステップS23)。なお、この特徴点抽出処理については詳細を後述する。
そして、基底ペアが選定されると、当該基底ペアの一方の特徴点を始点、他方を終点とするベクトルを正規化する座標変換を行い、同様に基底ペア以外の特徴点の座標変換を行うと共に、変換された座標群をテンプレートデータ格納メモリ16に記録する(ステップS25)。
そこで本発明では、基底ペアの始点を基準に終点の座標が予測できるように2つの点の間の相対位置情報を作成する(ステップS26)。終点を予測するためには、本来、対象物のスケール、傾きが分からなければならない。しかし、その2つの値こそ、最終的に求めたい値である。
つまり、ここでいう予測とは、これらの変動の影響を受けづらい局所領域でおおよそのスケール、傾きを求め、終点の候補の存在する大体の領域に絞り込んだ後、対応する正確な特徴点を求め、正確なスケール、傾きを求める行為である。
そして、相対位置情報(基底ペア情報)が求まると、テンプレートデータとして、テンプレートデータ格納メモリ16に格納され、テンプレート作成処理が終了する(ステップS27)。
前述した画像処理装置10が行う特徴点の抽出処理(前述したステップS23)について図4のフローチャートに基づいて説明する。
この処理は、コーナー検出オペレータと境界追跡を組み合わせて輪郭上の形状特徴部分を特徴点として抽出し、さらに各エッジセグメントの重心も特徴点に加える。
まず、前述のステップS22で検出したエッジ点について、例えばHarrisやSUSANなど、コーナー抽出器を用いてコーナー度を計算する。計算結果は、各エッジ点の属性データとして、作業用メモリ15に格納される(ステップS31)。
コーナー度とは、濃度変化の激しさを示すものであり、局所領域をずらしたときの類似度を用いて算出することができる。図5に示すように、局所領域Rは撮像画像中の一定の領域であり、Raは(dx,dy)だけずらした状態を示している。
例えば、濃度が一様な領域(図6:RA)では、局所領域をずらしても常に類似度が大きくなる。次に、一方向に沿ったエッジのみしか含まれない領域の場合(図6:RB)には、エッジ方向に沿って局所領域をずらしても類似度は変わらない。しかし、複数の方向のエッジ成分が含まれている領域(図6:RC)は、少しずらすと類似度は大きく低下する。HarrisやSUSANなどのコーナー抽出器はこのような特性を評価するためのオペレータである。このような濃度変化が激しい場所は、他の形状との区別がしやすく、対応付けが取りやすい場所であるので、特徴点として適した場所だといえる。
そして、各エッジセグメントごとに次のステップS33〜S35の処理が繰り返し実行される。
そして、各エッジセグメントについて、境界追跡を行い、変曲点を抽出し、当該変曲点を特徴点とする(ステップS35)。
変曲点(曲率の高い点)の抽出方法はいろいろ考えられるが、例えば図7に示すような方法で得ることができる。まず、起点と終点を結ぶ直線L1に対して、画素列の中で一番遠い点Pfを選ぶ(図7(A))。その点Pfでエッジ点である画素列を2分して、それぞれの画素列に同様の処理を再帰的に繰り返す(図7(B),(C))。このとき、線分と点との距離の最小値を決めておき、その値より小さくなれば再帰処理を終了するものとする。
このとき、検出した際の再帰の回数がより少ないほど、そのセグメントの輪郭線においてより抽象度の高い重要な特徴点といえる。従って、特徴点として抽出した際、この値(検出再帰回数)も一緒に記録しておく。再帰処理が終了した際、最大の再帰ネスト回数を分母として正規化を行い、0〜1の値で特徴点の重要度を表すようにする。
さらに、前後の特徴点(変曲点)間のエッジ点数の1/2も特徴点の属性として記録しておく。
まず、「対応付けのしやすさ」を示すものとして、ステップS31で求める「コーナー度」、ステップS35で求める「再帰回数」がある。「コーナー度」については、全ての特徴抽出が完了した段階で、コーナー度の最大値を求め、これを分母として正規化し、やはり0〜1の値で表すようにする。これら2つに重みを設定し、加重平均を取り、一つの評価値としてまとめる。
次に、特徴点が何点のエッジ点を代表するのかという値を使って、その特徴点の「信頼度」を示す評価値とする。具体的には、ステップS34の重心演算で用いたエッジ点数、ステップS35で求めた各変曲点間のエッジ数を用いることにする。これらは全エッジ点数を分母として正規化する。
さらに、3つ目の評価値として、ある基準位置からの距離を追加する。
Geometric Hashingでは基底ペアの照合を行なう際、基底ペアベクトルの傾きを求め、これを用いて全特徴点の座標変換を行う。すなわち、傾きはより正確で安定している程、正確な照合につながり、安定した照合が行なえることになる。傾きの精度は基底ペアの特徴点間距離が長い程、高くなる。つまり、より特徴点間距離が長い基底ペアを選んだ方が有利である。
また、基底ペアは最低1つあれば位置決めを行うことは可能であるが、サーチ時に隠蔽など基底ペアのいずれかが欠落する可能性がある場合は、やはり複数の基底ペアを用意しておく必要がある。
対象物の隠蔽に対しての耐性を強くすることを考えた場合、2つめ以降の基底ペアは、先に選択したペアと離れた箇所に発生するようにすべきである。そのために、評価値として、先に選択したペア線分との距離も評価値に加えるようにする。
選定するペア数は、多ければ、特徴点の欠落などへの対応力が上がる、また、各基底ペアの位置決め結果の平均をとるなどして総合的に位置決め精度が上がるなどの効果を得ることができるが、処理時間は増大する。本発明は単純に基底ペア数を減らして速度アップを図るのではなく、より効果的な基底ペアから順に選択していくものである。選定数は必要な処理時間に合わせて調整すればよい。本発明では、その範囲の中でより安定した結果を得ることができるペアを選択することができることに特徴がある。
前述した画像処理装置10が行う特徴点の基底ペア選定処理(前述したステップS24)について図8及び図9のフローチャート及び図10の探索対象画像の説明図に基づいて説明する。この図10はコーナー点がある閉セグメントE1と、円形の閉セグメントE2と、開セグメントE3と、方向性のある閉曲セグメントE4からなり、後述する第一の基底ペアABと第二の基底ペアCDとが図示されている。
基底ペアの候補は全特徴点の順列の数だけある。選択ペアの評価値を0で初期化し(ステップS41)、全基底ペア候補について評価値を求め、その最大値を求めるループ処理(ステップS42〜S46)を実行する。
まず、対応付けのしやすさを示す値として、「コーナー度」と「再帰回数」から算出した評価値を読み出す(ステップS42)。
次いで、信頼度を示す値として、ステップS33の重心演算で用いたエッジ点数、ステップS35で求めた変曲点間のエッジ数を全エッジ点数を分母として、正規化した評価値を読み出す(ステップS43)。
これらの属性データは0〜1に正規化された数値であり、大きい程、特徴点としての適性が高いことを示す。
さらに、選択されている2つの特徴点間の距離を求める(ステップS44)。この特徴点間の距離について、ステップS42、S43で求めた2つの特徴点の計4つの値を掛けて、基底ペア選択の評価値とする。この値は2つ目以降のペア選択にも使用するので、作業用メモリ8に格納しておく(ステップS45)。
そして、全基底ペア候補についてのループ処理により、ステップS45で求まる評価値を毎回比較し、評価値が大きい方の基底ペアを更新して記録する(ステップS46)。これにより、最終的に評価値が最大の基底ペアが選出され、第1基底ペア(一番目の候補)が決定する。
まず、選択ペアの評価値を0で初期化し(ステップS51)、全基底ペア候補について、評価値を求め、その最大値を求めるループ処理(s52〜s56)に移行する。
交差している場合には、ペアとなる2つ特徴点について、第1基底ペア線分との距離を算出する(ステップS53)。
そして、第1基底ペア選択時に作業用メモリに格納しておいた評価値を取り出し、上記第一の基底ペアとの距離を評価値に統合させる計算を行う(ステップS54)。この新しい評価値は、元の評価値に対して、2つの距離値を足し込み、求めるものとする。
そして、全基底ペア候補についてのループ処理において、ステップS55で求まる評価値を比較し、先の基底ペアより大きな評価値の場合にその基底ペアを記録する(ステップS56)。これにより、第1の基底ペアに続く評価値となる第2の基底ペアが決定される。
前述した画像処理装置10が行う基底ペアを構成する特徴点の相対位置情報作成処理(前述したステップS26)について図11〜図14に基づいて説明する。図11は探索対象物の撮像画像における各特徴点の配置を示す説明図、図12は基底ペアの視点となる特徴点近傍のエッジ勾配ベクトルを示す説明図、図13は特徴点の相対位置情報を作成するための後述する安定区間取得処理を示すフローチャート、図14は相対位置情報(基底ペア情報)の内容を示す説明図である。
ここで、図11を用いて、基底終点の予測方法について、詳細に説明する。最も局所的な方法で傾きを取得するには、基底ペア始点のエッジ勾配ベクトルと基底ペアベクトルとの角度差を求めればよい。しかし、特徴点が対応付けのしやすいコーナー等に設定されている場合、そのエッジ勾配ベクトルは姿勢によって不安定であり、予測精度が悪い。そこで、コーナー位置そのもののエッジ勾配ベクトルではなく、コーナー位置から少し離れた、例えばコーナーを生成する直線部(以下、「エッジ勾配ベクトル安定区間」とする)のエッジ勾配ベクトルと基底ペアベクトルの方向を関連付けておけば、被探索画像上でのこの安定区間のエッジ勾配ベクトルの方向は分かるので、基底ペア始点から終点の方向を得ることができることになる。
また、基底ペア始点とこの安定区間との距離(例えば、安定区間の中点を基準点として基底ペア始点から安定区間の中点までの距離をとる)を求め、相対位置情報として記録しておくことにより、基準画像(テンプレート)と被探索画像との比でスケールの予測が可能となる。図11の例では、基底ペア始点に対して、前後に2つの安定区間を設けているが、この安定区間は最低一つあれば足りる。但し、前後に2つの安定区間を設定することで、予測の信頼性が向上し、輪郭線の追跡方向の判定が不要になるというメリットを得ることが可能である。
エッジ勾配ベクトル安定区間とは、その区間内にある画素について、エッジ勾配ベクトルの角度の差が指定許容値以内である区間のことであり、基底ペアの始点を起点に、輪郭線上を起点から遠ざかる方向に移動しながら探索する(図12参照)。
図13のフローチャートに従って説明すると、エッジ勾配ベクトル安定区間の探索起点は基底ペアの始点であり、探索終点は、基底ペアの始点を含むエッジセグメントの始点、もしくは終点となる。エッジセグメントが長い場合は、探索起点からの距離で探索終点を規定する。
まず、安定区間の探索の終了を判定し(ステップS61)、終了ではない場合には、区間先頭点から順にエッジ勾配ベクトル角度を求める(ステップS62)。そして、区間の終了判定を行い(ステップS63)、終了ではない場合には、次の点のエッジ勾配ベクトル角度を求め(ステップS64)、当該エッジ勾配ベクトル角度と、ステップS62で求めたエッジ勾配ベクトル角度との差を計算し、その差がしきい値以内かどうか判定を行う(ステップS65)。しきい値以内である限り、安定区間の各点について順番にステップS63〜S65の処理を繰り返し行い、途中でしきい値以上となった場合には、その区間
処理を中断し、探索区間を進めて次の点を新たな区間の始点として、ステップS62から処理をやり直す(ステップS66)。
そして、区間終了点に到達すると(ステップS63)、当該区間内の全てが閾値以内か判定し(ステップS67)、閾値以内であったなら、安定区間と判定し、安定区間情報をテンプレートに登録する(ステップS68)。また、区間の全ての点の中で閾値以上となる点が存在した場合には、当該区間は安定区間ではないと判定する(ステップS69)。
次に、吸着ノズル105に吸着された電子部品Cのカメラ115又は116による撮像画像を被探索画像として、電子部品Cの探索を行い、撮像範囲内の電子部品Cの位置及び向きを取得するために画像処理装置10が実行する被探索画像サーチ処理について、図15のフローチャートに基づいて説明する。
そして、画像処理装置10は、画像メモリ13のデータに対して、エッジ検出処理を行い、抽出データを作業用メモリ15に格納する(ステップS72)。
さらに、特徴抽出処理を行い、抽出データを作業用メモリ8に格納する(ステップS73)。
ここまでの処理については、テンプレート作成時と同等のものになる。
図16に2D木の概念に基づく特徴点の画像配置イメージを示す。かかる画像配置イメージは被探索画像における特徴点の座標を2次元で表現し、各点における分割線を記述したものである。この分割線を基準に左右、もしくは上下の2つの領域に分割し、特徴点をそれぞれ2つの領域に属するグループに分割し、リンク管理する。そして、領域の分割を属する特徴点が1つになるまで、再帰的に繰り返し、木構造を生成する。
図17に各特徴点の管理構造を示す。この構造は指定領域内にある特徴点を高速に探索するのに有効な管理構造である。この管理構造を用いて探索する方法の詳細については後述する。ここまでがサーチ処理を行うための前処理部分である。
基本は、すべての特徴点について、基底ペア始点と仮定し(ステップS77)、終点となる位置に特徴点が存在するか探査し(ステップS78)、終点の有無に応じて投票を行う(ステップS79)という処理であり、これをさらに基底ペアの数、繰り返すことになる(ステップS76)。
このループ処理の中で、基底ペアの終点候補数を減らすことで不正解の投票処理を削減でき、高速化を実現することが可能となる。
このようにして、基底ペアの終点候補取得を行った結果、1つも候補が見つからなかった場合は、投票自体をスキップし、次の特徴点の処理へと移る(ステップS79)。
そして、被探索画像中のすべての特徴点、基底ペアの組み合わせについて、照合スコアを集計、最大スコアの基底ペアを見つけ出す(ステップS82)。
そして、被探索画像における最大スコアの基底ペアの正規化座標系への2つの変換量(テンプレートの変換量、被探索画像の変換量)がわかれば、前述した式(1)〜(3)より探索対象である電子部品Cの位置情報(位置及び角度)を取得することができる。
前述した画像処理装置10が行う基底ペア終点候補取得処理(前述したステップS78)について図18のフローチャートに基づいて説明する。
この処理は、基底ペアの終点座標を予測、候補点の存在領域を設定する処理と、その領域内にある特徴点を探索する処理から成る。
等倍時の2つの安定区間のエッジ勾配ベクトルの相対関係を比較し、スケール予測が可能であるかどうか判定する。基底ペア始点から安定区間までなだらかにエッジ勾配ベクトルが変化する区間にある程度の長さがある形状についてのみ、スケール予測が可能である(ステップS92)。
この条件が成り立つ場合にはスケール予測を行う(ステップS93)。
スケール予測が出来ない場合は、ステップS93の処理をスキップして、スケール誤差を考慮して候補点の存在領域を設定する。
こうして求めた方向と、等倍時の距離から等倍時の基底ペアの終点の予測位置を取得する。この時、ステップS93の処理によるスケール予測値がある場合は、その位置に対してスケール補正を行う(ステップS96)。
さらに、ステップS96で求められた出力点を中心に角度、スケール誤差を考慮して許容範囲を含む探索範囲を設定する(ステップS97)。例えば、探索範囲としては、図19に示すような扇形の探索範囲、もしくは、図20に示すような円形の探索範囲を設定す
る。
そして、設定された探索範囲内から2D木を利用して、基底ペア終点の候補となる特徴点を探索する(ステップS98)。
前述した画像処理装置10が行う基底ペア終点探索処理(前述したステップS98)について図21のフローチャートに基づいて説明する。
基底ペア終点探索処理では、前述した各特徴点の2D木に基づく管理構造を利用する。
ここでは、説明の明確性のために、探索範囲が矩形の場合を例に説明する。画像上にある矩形の探索範囲が設定され(図16の領域T)、その矩形内に入っている特徴点を探索しようとする場合、矩形領域Tの位置と特徴点毎に設定した領域分割線の位置関係を元に図17の木構造を辿れば、高速にその矩形内の特徴点を取得することができる。
以下に探索の手順を示す。
(I)矩形領域は点Aより上にある。→上側のリンクを辿る。
(II)矩形領域は点Eを含み、さらに右に拡がる。→点Eを候補として取得。さらに右側のリンクを辿る。
(III)点Fは矩形領域内にある。→上下両方のリンクを辿る。
(IV)矩形領域は点Kの左にある。→以降のリンクはすべて矩形領域外である。
(V)矩形領域は点Pの左にある。→以降のリンクはすべて矩形領域外である。
ここまでの探索で、矩形領域と特徴点の位置関係は確定し、探索終了となる。
ここまでの探索で矩形領域内にあると判定された点はEとFの2点である。
このようにして、予測領域に含まれる特徴点の抽出が行われ、基底ペアの候補が選択される。
探索処理は再帰処理となる。
まず、2D木のルートより、注目ノードの点が指定された領域内に入っているか、つまり、探索ノードであるかを判定する(ステップS131)。
領域内に入っていれば、候補点の情報を書き出すためのブロック(出力リストブロック)を作成する(ステップS132)。
注目ノードがノード終点であれば処理は終了する(ステップS133)。
次に、出力リストブロックリンク先の取得を行う(ステップS134)。
注目ノードの左ノードにリンクがある場合かどうか判定する(ステップS135)。
リンクがある場合、左ノードより左側に探索領域があるかどうか判定する(ステップS136)。探索領域が左ノードより左側にある場合は、以降のリンクを辿る必要はなく、ここが探索の終点ということになるので、右ノードの処理へ進む。
左ノードより右側にある場合は、この2D木探索を再帰的に終点条件が成り立つまで、呼び出ししていくことになる。(s137)
前述したステップS134で出力リストブロックリンク先が取得できているかどうかチェックし(ステップS138)、取得できている場合は、出力リストリンクにステップS132で作成した出力リストブロックを接続する(ステップS139)。
取得できない場合は、ここで作成した出力リストブロックがリンク先頭であるということになる。
右ノードについても同様の処理となる。(s141〜s145)
即ち、注目ノードの左ノードにリンクがある場合かどうか判定し(ステップS142)リンクがある場合、右ノードより右側に探索領域があるかどうか判定する(ステップS143)。探索領域が右ノードより右側にある場合は、以降のリンクを辿る必要はない。
右ノードより左側にある場合は、この2D木探索を再帰的に終点条件が成り立つまで、呼び出ししていくことになる(ステップS144)。そして、出力リストブロックリンク先が取得できているかどうかチェックし(ステップS145)、取得できている場合は、出力リストリンクにステップS132で作成した出力リストブロックを接続する(ステップS146)。
なお、ここで、正解の基底ペア(照合スコアがしきい値以上、エッジ勾配ベクトルの相関値がしきい値以上の基底ペア)が見つからなかった場合や、基底ペアの絞り込みに失敗して、正解の基底ペアを投票前に削除してしまう場合等がある。
このようなトラブルを防止するためには、図15のステップS75〜S82の処理について、基底ペア終点候補探索範囲を広げてリトライする処理を追加しておけばよい。
以上のように、画像処理装置10を用いて上述の画像探索方法を実施することにより、基底ペア情報に基づいて被探索画像中の基底ペアの始点の候補となる特徴点の絞り込みを行うので、全特徴点同士の照合を行う前に対象となる特徴点を低減することができ、探索処理の所要時間を低減し、処理の高速化を図ることが可能となる。
さらに、基底ペア情報に、安定区間に基づくエッジ勾配ベクトルと基底ベクトルの相対角度(角度差)を含むので、基底ベクトルの始点におけるエッジ勾配ベクトルと基底ベクトルの相対角度(角度差)を用いる場合に比して、基底ベクトルの方向を安定して特定することが可能となり、基底ベクトルの終点の予測をより正確に行い、探索の錯誤を低減して精度の良い画像探索を可能とする。
この第2の実施形態では、前述した第1の実施形態である画像解析装置10に対して、面積比によるスケールの概念を取り込んて画像探索を行う例について説明する。
基準撮像画像に探索対象物の全体が写っている場合、基準撮像画像の探索対象物の面積と被探索画像の探索対象物の面積を求め、面積比の平方根を取ることで基準撮像画像の探索対象物に対する被探索画像の撮像対象物のスケールを算出することが可能である。
面積値は、対象物の姿勢によらず一定となるので面積比を利用すると対象物の姿勢が未知の状態でもスケールが取得可能となる。従って、前述したサーチ処理において基底ペアをの探索(図15のステップS74〜S81)の前に、スケールを計算しておくことで、基底ペア終点候補点のサーチ範囲をより絞り込むことができ、更なる高速化を実現することができる。
面積を求める一般的な方法としては、設定した閾値以上の濃度値を持つ画素数をカウントする手法が挙げられる。かかる方法を採用しても良いが、この方法は基準撮像画像と被探索画像で明度差がない場合は有効であるが、明度変動がある場合、正しく面積を求めることができない。また、すべての画素に対して判定処理するため、処理時間がかかるという問題がある。そこで、探索対象物について検出したエッジ点を用い、エッジ点の最外周の点を選び、点を結んでできる凸多角形を検出し、その面積を求めることで、高速かつ高精度に撮像対象物の面積を近似することが可能となる。
凸多角形の面積Wは、下記式により求まる。但し、Nは頂点数(最外周のエッジ点数)である。
そして、上記全基準点の位置座標を式(4)に代入することで探索対象物の面積が算出される。
従って、サーチ処理において、被探索画像中の各特徴点を始点とした場合における終点候補予測範囲に他の特徴点が存在するか否かを判定する処理(図15のステップS75)より前に、予めスケールを算出する処理(図25のステップS741〜S743参照)を設けることで、基底ペア終点予測ごとに必要だったスケール予測(図18のステップS93)が不要となる。さらに、面積比により、より高精度にスケールを求めることができているので、終点候補予測範囲(図27の探索領域)の絞りこみが可能となる。
これに対して、図27に面積比で高精度なスケールを求めることが出来ている場合の基底終点候補予測範囲Sを表す。予め、面積比により高精度なスケールを求めることが出来れば、スケール誤差を小さく設定することができ、図27に示すように予測範囲Sが狭まり、サーチ時間が短縮される。さらに終点候補となる特徴点が削減できるため、サーチ処理における投票(ステップS80)にかかる時間が短縮できる。
まず、テンプレート作成処理では、図24に示すように、基準画像から探索対象物の面積を取得し(ステップS231)。テンプレートデータとしてテンプレートデータ収納メモリ16に格納する(ステップS232)。このとき、面積の取得ができない場合は、その旨をテンプレートデータとして記録する。例えば、面積値に0を格納する。
かかる妥当性検査は、算出したスケール値が、予め設定しておいた被探索画像の変動範囲内であるかどうかで判定する。変動範囲内であれば算出したスケールをサーチ時に用いる。範囲外の場合は、先に記載したようなノイズ等の原因により、正しく取得できなかったとみなし、面積比に基づくスケール値を採用せず、従来どおり、スケール予測を行い(図26:ステップS92,S93)、基底終点候補を抽出する。
変動範囲内で妥当なスケールが得られた場合には、サーチ処理において各特徴点を基底ペア始点と仮定した場合(ステップS77)に、当該特徴点が、面積取得時に得た最外輪郭線上の点か否かを判断する(ステップS771)ことで、最外輪郭線上にない点を排除して基底ペア始点候補を絞り込む。
また、その後の許容範囲を設定する(s97)際の誤差マージンは、与えるスケール値の精度により切り替え、スケール予測(s93)した場合よりも小さくする。
上記第2の実施形態では、第1の実施形態と同様の効果を具備すると共に、基準撮像画像に探索対象物の全体が写っている場合においては、基準撮像画像と被探索対象画像から探索対象物の面積をそれぞれ求めることが可能となり、大局的な評価値(対象物全体の面積比)でスケールを求めるため、基底ベクトルの始点における局所領域から基底ベクトルの終点を予測した場合と比べて、予測精度を格段に向上させることとが可能となる(例えば、小数点以下4桁までの精度まで向上する)。この様に高精度なスケール値を算出することで、基底ベクトル終点の予測をより正確に行い、基底ベクトル終点の絞りこみを行うので、探索処理時間の所要時間を低減し、処理の高速化を図ることが可能となる。
11 制御部
13 画像メモリ
14 演算部
15 作業用メモリ
16 テンプレートデータ格納メモリ
100 電子部品実装装置
105 吸着ノズル
106 ヘッド
115 標準カメラ
116 高解像度カメラ
120 制御装置
C 電子部品
Claims (9)
- 探索対象物の基準撮像画像から得られた前記探索対象物の輪郭線上に複数の特徴点を設定する工程と、
前記各特徴点の内の二つの特徴点からなる少なくとも一組の基底ペアを設定する工程と、
前記基底ペアの一方の特徴点を始点とし、他方の特徴点を終点とする基底ベクトルを正規化する座標変換量を求め、当該座標変換量に従って前記各特徴点について座標変換を行い、前記基底ベクトルとそれ以外の特徴点とが相対的な位置関係を保った基準座標点群を予め登録する工程と、
被探索画像の撮像画像データから特徴点を抽出する工程と、
前記被探索画像の各特徴点の中の二つの特徴点からなる特徴点ペアのベクトルを正規化する座標変換量を求め、当該座標変換量に従って前記被探索画像の各特徴点について座標変換を行う工程と、
前記座標変換された被探索画像の各特徴点と前記基準座標点群との照合を行う工程と、
前記照合により前記基底ペアと一致すると判定された前記特徴点ペアの座標変換量と前記基底ペアの座標変換量とにより前記被探索画像上での探索対象物の角度、スケール、撮像平面における位置を取得する画像探索方法において、
前記基底ペアの始点となる特徴点を基準として前記輪郭線の境界追跡を行い、前記輪郭線に沿った各位置でのエッジ勾配ベクトルの方向の差が規定範囲以下となる安定区間を探す工程と、
前記安定区間と前記基底ペアの始点との相対位置関係と、前記安定区間のエッジ勾配ベクトルと前記基底ベクトルの相対角度と、前記基底ペアの始点と終点の相対位置関係とを含む基底ペア情報を求める工程と、
前記被探索画像の前記各特徴点を前記基底ペアの始点と仮定し、前記基底ペア情報に基づいて、基底ペア終点の被探索画像上での座標位置を予測する工程と、
前記予測される基底ペアの終点の座標位置に基づいて前記基底ペアの終点に該当する特徴点を探索する工程と、
前記基底ペアの終点の探索結果に基づいて、前記基底ペアの始点と見なして前記被探索画像の各特徴点と前記基準座標点群との照合を行う特徴点の絞り込みを行うことを特徴とする画像探索方法。 - 前記基底ペアの始点を中心として前後の輪郭線の境界追跡を行い、2つの前記安定区間を探すと共に、
前記基準撮像画像と前記被探索画像での前記基底ペアの始点から前記各安定区間までの距離の比からスケール変動を予測し、前記基底ペアの終点の探索に反映することを特徴とする請求項1に記載の画像探索方法。 - 前記基準撮像画像の探索対象物の面積と前記被探索画像の前記特徴点群の最外輪郭線に囲まれた領域の面積とをそれぞれ求める工程と、
前記各面積の面積比から前記基準撮像画像に対する前記被探索画像のスケールを算出する工程とを備え、
前記基底ペア終点の被探索画像上での座標位置を予測する工程において、前記スケールに基づく前記基底ペア終点の予測座標位置の絞り込みを行うことを特徴とする請求項1又は2記載の画像探索方法。 - 前記基底ペア終点の被探索画像上での座標位置を予測する工程において、
前記基底ペアの始点の候補を、前記被探索画像の前記特徴点群の最外輪郭線上にある特徴点に絞り込むことを特徴とする請求項3記載の画像探索方法。 - 前記被探索画像の特徴点の座標を木構造で管理し、基底ペアの始点を基準とした扇形の探索領域を指定、もしくは基底ペアの終点を中心とした円形の探索領域を指定して高速に基底ペアの終点の探索を行うことを特徴とする請求項1から4のいずれか一項に記載の画像探索方法。
- 前記探索対象物の基準撮像画像の各特徴点について、基準点としての適性を示す属性値を算出する工程と、
前記基底ペアとして二つの特徴点を組み合わせる場合の前記各属性値を統合した評価値を算出する工程と、
前記評価値に基づいて前記基底ペアの候補となる特徴点を絞り込む工程とを備えることを特徴とする請求項1から5のいずれか一項に記載の画像探索方法。 - 前記属性値として、コーナー度を示す評価値、基底ペア間の距離、その特徴点を取得するのに使ったエッジ点数を用いることを特徴とする請求項6に記載の画像探索方法。
- 前記属性値としての各要素に対して正規化と重み付けを行い、ひとつの評価値として統合することを特徴とする請求項6又は7に記載の画像探索方法。
- 前記属性値として、二番目以降の基底ペアの候補を選択する場合に、先に選択した基底ペアの線分との距離を評価値の一つに加え、前記距離が離れているほど高い評価値とすることを特徴とする請求項6から8のいずれか一項に記載の画像探索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010069097A JP5438574B2 (ja) | 2009-08-26 | 2010-03-25 | 画像探索方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009195024 | 2009-08-26 | ||
JP2009195024 | 2009-08-26 | ||
JP2010069097A JP5438574B2 (ja) | 2009-08-26 | 2010-03-25 | 画像探索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011070633A JP2011070633A (ja) | 2011-04-07 |
JP5438574B2 true JP5438574B2 (ja) | 2014-03-12 |
Family
ID=44015813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010069097A Active JP5438574B2 (ja) | 2009-08-26 | 2010-03-25 | 画像探索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5438574B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102260805B1 (ko) | 2014-08-06 | 2021-06-07 | 삼성전자주식회사 | 이미지 검색 장치 및 그 방법 |
JP7383880B2 (ja) * | 2019-01-16 | 2023-11-21 | 株式会社ニコン | 画像生成装置、撮像装置、培養装置、画像生成方法およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3914864B2 (ja) * | 2001-12-13 | 2007-05-16 | 株式会社東芝 | パターン認識装置及びその方法 |
JP3884468B2 (ja) * | 2005-03-29 | 2007-02-21 | 株式会社ファースト | 高速画像探索方法 |
-
2010
- 2010-03-25 JP JP2010069097A patent/JP5438574B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011070633A (ja) | 2011-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guo et al. | Efficient center voting for object detection and 6D pose estimation in 3D point cloud | |
US7693348B2 (en) | Method of registering and aligning multiple images | |
JP5253066B2 (ja) | 位置姿勢計測装置及び方法 | |
JP5061350B2 (ja) | モーションキャプチャシステム、及びモーションキャプチャシステムにおける特徴点の三次元再構成法 | |
US9805443B2 (en) | Image processing method, image processing apparatus, program, storage medium, production apparatus, and method of producing assembly | |
CN1136848A (zh) | 指纹匹配*** | |
Yang et al. | Aligning 2.5 D scene fragments with distinctive local geometric features and voting-based correspondences | |
JP6344389B2 (ja) | 光学文字認識装置 | |
CN110929795B (zh) | 高速焊线机焊点快速识别与定位方法 | |
CN110544202B (zh) | 一种基于模板匹配与特征聚类的视差图像拼接方法及*** | |
JP4327289B2 (ja) | 部品認識方法および装置 | |
Said et al. | Automated detection and classification of non-wet solder joints | |
Kataria et al. | Improving structure from motion with reliable resectioning | |
JP5438574B2 (ja) | 画像探索方法 | |
US10650557B2 (en) | Focus detection apparatus and method thereof | |
JP2012048593A (ja) | 画像処理装置 | |
JP5957310B2 (ja) | 画像処理装置 | |
JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
López et al. | Hybrid laser and vision based object search and localization | |
CN112150541A (zh) | 一种多led晶片定位算法 | |
JP5160366B2 (ja) | 電子部品のパターンマッチング方法 | |
CN109978829A (zh) | 一种待检测对象的检测方法及其*** | |
CN112786509B (zh) | 一种定位***、定位方法及计算设备 | |
JP5867787B2 (ja) | 欠陥抽出装置および欠陥抽出方法 | |
Krueger | Model based object classification and localisation in multiocular images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5438574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |