JP5080416B2

JP5080416B2 - 入力画像から検出対象物の像を検出する画像処理装置

Info

Publication number: JP5080416B2
Application number: JP2008266567A
Authority: JP
Inventors: 一訓伴; 文和藁科; 桂祐渡邊
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2008-10-15
Filing date: 2008-10-15
Publication date: 2012-11-21
Anticipated expiration: 2028-10-15
Also published as: JP2010097341A

Description

本発明は、撮像装置によって取得した入力画像から予め教示された検出対象物の像を検出する画像処理装置に関する。

ファクトリーオートメーションの分野では、画像処理装置が広く用いられている。例えば、カメラなどの撮像装置によって工業製品を撮像し、取得した画像によってその工業製品の位置や姿勢を特定して例えばロボットでその工業製品をハンドリングしたり、取得した画像によってその工業製品の色や形などの検査を行ったりするために、画像処理装置が用いられる。

画像処理装置を用いて撮像装置の視野内の画像の中から特定の対象物の像を検出する場合、対象物を表す基準情報（一般に、教示モデルと呼称される）と撮像装置によって取得された入力画像とのマッチングを行い、一致の度合いが所定のレベルを越えたときに対象物の検出に成功したと判断することが一般的である。

このようなマッチングの際に用いられる方法の一つとして、テンプレートマッチングがある。テンプレートマッチングでは、検出すべき対象物を含む画像を画素単位で表したものをテンプレート画像として予め記憶しておき、このテンプレート画像を撮像装置によって取得された入力画像中の任意の領域（テンプレート画像と同じ大きさ）に移動させながら重ね合わせ、両者の間の類似度すなわち相関度に基づいて対象物を検出する。

詳細には、例えば、入力画像ｆの画像サイズがＭ×Ｎ画素、テンプレート画像ｇの画像サイズがＭ_T×Ｎ_T画素であり、入力画像ｆの画像サイズがテンプレート画像ｇの画像サイズより大きく（すなわち、Ｍ_T＜Ｍ、Ｎ_T＜Ｎ）、テンプレート画像ｇの中心が入力画像ｆ中の位置（ｍ，ｎ）にあるとしたとき、相関度を表す値Ｃを以下の式により求める。

ここで、ｆ（ｉ，ｊ）は入力画像ｆの位置（ｉ，ｊ）の画素の輝度値を表し、ｇ（ｉ，ｊ）はテンプレート画像ｇの位置（ｉ，ｊ）の画素の輝度値を表し、Ｄは、｜ｉ−ｍ｜≦Ｍ_T／２、｜ｊ−ｎ｜≦Ｎ_T／２を満たす（ｉ，ｊ）の範囲、すなわちテンプレート画像ｇの中心を入力画像ｆ中の位置（ｍ，ｎ）に重ねて配置したときに入力画像ｆ中においてテンプレート画像ｇに相当するサイズの領域である。

上式により求められる値Ｃは、一般に、正規化された相互相関係数と呼称され、二つの画像間の類似性を判断する尺度として用いられる。入力画像ｆ中の全ての位置（ｍ，ｎ）にテンプレート画像ｇの中心を移動させてその座標における相互相関係数を求め、相互相関係数Ｃの値が大きい箇所を求めることにより入力画像ｆ中においてテンプレート画像ｇと類似した領域を見つけることができる。特に、入力画像ｆ中の領域Ｄの画像がテンプレート画像ｇと輝度のみ異なる同じ画像であるとき、すなわち入力画像ｆ中の領域Ｄの画像の輝度がテンプレート画像ｇの輝度の定数倍になるときには、相互相関係数Ｃは１に等しくなる。一方、入力画像ｆ中の領域Ｄの画像とテンプレート画像との相違が大きいほど、相互相関係数Ｃは０に近くなる。

このようなテンプレートマッチングでは、テンプレート画像すなわち教示モデルの各画素の輝度値が、検出すべき対象物を表す特徴量として用いられていることになる。

また、対象物を含む画像を教示モデルとして直接的に使用せずに、当該画像に画像処理を施すことによって抽出された対象物についての幾何学的特徴を表す数値を特徴量として用いて、マッチングを行う方法も知られている。従来からよく知られた画像処理の例としては、メディアンフィルタによるノイズ低減、ヒストグラム均一化によるコントラスト改善、２値化、ｓｏｂｅｌフィルタによるエッジ抽出などがある。また、幾何学的特徴の検出に用いられる方法として、ハフ変換による直線検出、境界線追跡による境界線検出、ラベリングによる連結領域検出などがある。幾何学的特徴の例としては、連結領域の周囲長、面積、円形度、曲率、モーメントなどがある。例えば、入力画像中から正方形の対象物を検出する場合、四つの直線、それらが互いにほぼ直角に交わること、四つの直線によって囲まれる領域の面積といった幾何学的特徴を表す特徴量を用いることができる。

マッチングには、固有空間法により対象物を検出する方法や遺伝的アルゴリズムにより対象物に関するパターンを検出する方法など他にも様々な方法を用いることができる。

さらに、入力画像中からの対象物の像の検出を高精度で行うために、特許文献１や特許文献２のような手法を用いることもある。特許文献１に開示の画像処理装置では、検出すべき対象物が人間の顔の目、鼻、口などのように特定物体に限定されている場合に、左右の目の大きさの関係や目、鼻、口の位置関係など予め既知の拘束条件を利用し、操作者からの少ない情報入力に基づいて入力画像から適切な特徴量を抽出するようにしている。また、特許文献２に開示の情報処理装置では、テンプレート画像に類似する画像を検索する検索手段を複数設けて、各検索手段の検索結果に重み付けをしたものの総和で総合類似度を算出し、この重み付けを変更可能にし、重み付けを適宜変更することで検索の正確さを向上させている。

特開２０００−３１１２４８号公報特開２００４−３３４３３９号公報

上述したような方法によって入力画像中から対象物の像を検出する際には、入力画像中の対象物の像が安定して得られる場合や対象物の形状が安定している場合、比較的安定した検出結果が得られる。しかしながら、例えば、入力画像を撮像するときの照明光の明るさにばらつきがある場合には、画像の一部分が他の部分に比べて暗くなったり明るくなったりすることがあり、対象物の像が部分的に安定して得られなくなることがある。また、対象物が工業製品であり、その形状が必ずしも一定でない場合もある。例えば、対象物がダイキャスト部品のような鋳物部品である場合、金型に溶解金属を流し入れて部品を製造するので、同一金型を用いて製造する同一ロット内では形状の個体差は小さいが、異なる金型を用いて製造された別ロットとの間では形状の個体差が大きくなることがある。このように形状に個体差がある対象物を撮像して得られた入力画像中から対象物の像を検出する場合、その形状に関する個体差に起因して対象物の検出が安定しなくなることがあり得る。

そこで、従来は、オペレータが、対象物の検出が不安定になりにくくなるように、教示モデルを人手によって適宜修正していた。例えば、正規化された相互相関係数を用いて対象物の検出を行う場合、テンプレート画像内の画素の中で相互相関係数の演算に用いない画素を設ける、いわゆる画素のマスキングが行われる。画素のマスキングを行うとき、マスキングした画素に対応する入力画像上の画素については、その輝度がどのような値であっても正規化された相互相関係数の値に影響を与えないようにする。また、対象物の幾何学的特徴を用いて対象物の検出を行う場合、一種のマスキングとして、教示モデルを定義する複数の特徴量のうちから不要なものを除外するようにする。このようにして対象物を検出するのに効果的な特徴量に絞り込むことにより、対象物の検出を安定化させる。

しかしながら、従来技術には、このように対象物の検出を安定化させる手法は存在するが、どのようなマスキングを行うことが適切であるかの判断が困難であるという問題がある。例えば、正規化された相互相関係数を用いる手法では、相互相関係数の値やテンプレート画像のどの部位の相関が高いか低いかに関する情報をオペレータに提示しなければ、テンプレート画像のどの部位をマスキングすべきかの手掛かりがないので、オペレータが教示モデルの調整（すなわち、マスキング）を行うことができない。また、仮に相互相関係数の値やテンプレート画像のどの部位の相関が高いか低いかに関する情報を出力するようにしても、オペレータは発生した不安定な検出結果に関する上記のような情報を頼りに、テンプレート画像のどの部位をマスキングすれば安定化するかを推測して、試行錯誤的に教示モデルの調整を行わなければならず、最適な調整が困難であるだけでなく、調整に手間がかかるという問題がある。これは、幾何学的特徴を表す特徴量を用いる手法でも同じである。

よって、本発明の目的は、従来技術に存する問題を解決して、入力画像中から対象物を検出する際に用いる教示モデルの修正を自動的に行うことを可能にすることにある。

上記目的を達成するために、本発明によれば、複数の特徴量を用いて予め定義された検出対象物の特徴量モデルと、撮像装置によって取得された入力画像との相関度に基づいて、前記入力画像内から前記検出対象物の像を検出する画像処理装置であって、前記相関度を求めるための相関度算出処理を行うマッチング処理手段と、前記相関度算出処理を行った後、前記特徴量モデルの前記複数の特徴量の各々について、直前の相関度算出処理における前記相関度の増加への貢献度を算出し、算出された貢献度を累積した値に基づいて貢献指数を求める特徴量貢献指数算出手段と、複数の異なる入力画像に対して、前記特徴量モデルの前記複数の特徴量の各々についての前記貢献度を算出し、該貢献度を累積した値に基づいた前記貢献指数を求めた後、前記特徴量モデルの前記複数の特徴量の各々について、求められた該貢献指数が予め定められた閾値以下であるか否か判定し、該貢献指数が予め定められた閾値以下であった場合に、該特徴量を前記特徴量モデルの前記複数の特徴量から除外することにより、前記特徴量モデルを修正する特徴量モデル修正手段と、を備える画像処理装置が提供される。

本発明の画像処理装置では、検出対象物の特徴量モデルを定義する複数の特徴量の各々が入力画像から検出対象物を検出する際に用いる特徴量モデルと入力画像との相関度へどの程度貢献しているかを表す貢献度を用いて、複数の特徴量の中から必要な特徴量を選択する。したがって、特徴量モデルの修正を自動化することが可能になる。

本発明の画像処理装置では、複数回の相関度演算処理を通して特徴量モデル（すなわち、教示モデル）を定義する複数の特徴量の各々について相関度の増加への貢献度を累積して貢献指数記憶手段に記憶するので、特徴量モデルを定義する複数の特徴量の各々について検出対象物の検出に対する貢献度を合理的・統計的に評価できる。また、特徴量モデルを修正するときに、記憶された累積指数が予め定められた閾値以下の特徴量を不要な特徴量として特徴量モデルを定義する複数の特徴量の中から自動的に除外するので、特徴量モデルをより適切なものへ簡単に修正することが可能になる。

上記画像処理装置において、前記複数の特徴量は前記検出対象物を含む画像の各画素の輝度値とすることができる。
例えば、前記特徴量モデルを表すテンプレート画像がＭ_T×Ｎ_Tの画素によって表されており、前記相関度をＣ、前記テンプレート画像の各画素における輝度値をｆ（ｘ，ｙ）、入力画像の各画素における輝度値をｇ（ｘ，ｙ）、前記テンプレート画像の中心が前記入力画像の座標（ｍ，ｎ）にあるとしたときの前記テンプレート画像の大きさに相当する領域をＤと表すとき、前記相関度は、以下の式で表される。

また、前記複数の特徴量は前記検出対象物の幾何学的特徴を数値によって表したものとすることができる。

本発明によれば、特徴量モデルすなわち教示モデルを定義する複数の特徴量の各々の相関度への貢献度に基づいて各特徴量の選択を行うことにより特徴量モデルの修正を行うので、特徴量モデルの修正の自動化が可能になる。

以下、図面を参照して、本発明の好ましい実施形態を説明する。
最初に、図１を参照して、本発明の画像処理装置１０の全体構成を説明する。画像処理装置１０は、全体を統括制御するためのＣＰＵ（中央演算処理装置）１２を備えている。ＣＰＵ１２にはバス１４を介して、複数のフレームメモリ１６、ＲＯＭ（読み出し専用メモリ）１８、ＲＡＭ（ランダムアクセスメモリ）２０、不揮発性ＲＡＭ２２が接続されている。また、バス１４には、カメラインタフェース２４を介してカメラ２６が接続されると共に、モニタインタフェース２８を介してモニタ３０が接続されている。さらに、ＣＰＵ１２には、バス１４を介して外部機器インタフェース３２が接続されている。

ＲＯＭ１８には、画像処理装置１０で行われる様々な処理のためのプログラムが格納されており、揮発性ＲＡＭ２２には、プログラム実行時に必要な設定などが記憶される。また、ＲＡＭ２０には、プログラムの実行時に必要な一時待避データが格納され、フレームメモリ１６には画像データが格納される。

カメラ２６は、ＣＰＵ１２からの指令に従って、対象物を撮像して画像を取得し、取得した画像に関する信号を出力する。カメラインタフェース２４は、ＣＰＵ１２からの指令に従ってカメラ２６に対して露光のタイミングを制御するための同期信号を発生する機能や、カメラ２６から受信した信号を増幅する機能を有している。このようなカメラ２６やカメラインタフェース２４は市販される一般的なものであり、特に限定されるものではない。

カメラ２６から取り込まれた画像に関する信号は、カメラインタフェース２４においてＡ／Ｄ変換され、バス１４を介してディジタル画像データとしてフレームメモリ１６に一時的に格納される。画像処理装置１０では、フレームメモリ１６、ＲＯＭ１８、ＲＡＭ２０及び不揮発性ＲＡＭ２２に格納されているデータを用いてＣＰＵ１２が画像処理を行い、画像処理の結果データが再度フレームメモリ１６に格納される。ＣＰＵ１２は、指令により、フレームメモリ１６に格納されているデータをモニタインタフェース２８に転送してモニタ３０上に表示させ、オペレータなどがデータの内容を確認することを可能にさせている。

外部機器インタフェース３２は様々な外部機器に接続される。例えば、外部機器インタフェース３２にはロボット３４が接続され、ロボット３４から画像処理のトリガ信号を受けたり、画像処理によって得られたデータをロボット３４に供給する。また、外部機器インタフェース３２には、オペレータのための入力装置３３としてキーボードやマウスなどが接続される。

詳細には、ＣＰＵ１２は、図２に示されているように、マッチング処理手段３５と、特徴量貢献度算出手段３６と、特徴量貢献度加算手段３８と、特徴量モデル修正手段４０とを含む。

マッチング処理手段３５は、検出対象物を複数の特徴量を用いて予め定義され、揮発性ＲＡＭ２２などの特徴量モデル記憶手段４２に記憶された特徴量モデルと、カメラ２６などの撮像装置によって取得された入力画像とを比較することによって、特徴量モデルと入力画像との相関度を算出し、算出された相関度に基づいてマッチング処理を行い、入力画像内から検出対象物の像を検出する。

また、特徴量貢献度算出手段３６は、マッチング処理手段３５による相関度算出処理の結果を考慮して、特徴量モデルの複数の特徴量の各々について、直前の相関度算出処理における相関度の増加への貢献度を所定の方法に従って算出する。貢献度の算出方法の例については後述する。特徴量貢献度加算手段３８は、特徴量モデルの複数の特徴量の各々について、揮発性ＲＡＭ２２などの特徴量貢献指数記憶手段４４に記憶される貢献指数に特徴量貢献度算出手段３６によって算出された貢献度を加算して貢献指数を更新し、更新された貢献指数を特徴量貢献指数記憶手段４４に記憶させる。これら特徴量貢献度算出手段３６、特徴量貢献度加算手段３８、特徴量貢献指数記憶手段４４は、特徴量モデルの複数の特徴量の各々に関する相関度の増加への貢献の度合いを表す貢献指数を算出するための特徴量貢献指数算出手段を構成している。

一方、特徴量モデル修正手段４０は、特徴量モデルの修正が所望されるときに、特徴量モデルの複数の特徴量の各々について、特徴量貢献指数記憶手段４４に記憶される貢献指数と予め定められた閾値とを比較して、貢献指数が予め定められた閾値より小さいと判定されたときに、その特徴量を特徴量モデルを特定する複数の特徴量から除外することによって特徴量モデルを自動的に修正する。

次に、図３及び図４を参照して、図１に示されている画像処理装置１０において行われる処理の全体的な流れについて説明する。画像処理装置１０には、ｉｍａｘ個の特徴量を用いて定義された検出対象物を特定するための特徴量モデルが教示モデルとして予め教示されているものとする。特徴量モデルは、例えば、正規化された相互相関係数を用いた検出対象物の検出の場合には検出対象物を含んだテンプレート画像の各画素の輝度値によって定義され、幾何学的特徴に基づく検出対象物の検出の場合には幾何学的特徴を表す特徴量によって定義される。これら特徴量モデルの詳細については後述する。

最初に、画像処理装置１０における処理で使用されるパラメータが初期化される。次に、図３に示されているように、撮像装置であるカメラ２６によって視野内に対象物を含む入力画像が取得され、カメラインタフェース２４によってＡ／Ｄ変換された後、ディジタル画像データとしてフレームメモリ１６に一時的に格納される（ステップＳ１００）。フレームメモリ１６に格納された入力画像は、必要に応じて画像処理を施され、マッチング処理手段３５が、予め教示された特徴量モデル（教示モデル）と入力画像とを用いてマッチング処理を行う（ステップＳ１０２）。マッチングが成立しない場合すなわち検出対象物の像の検出に失敗した場合には、取得された入力画像内に検出対象物の像が含まれていないと判断され、次の入力画像が取得される。一方、マッチングが成立した場合すなわち検出対象物の像の検出に成功した場合には、入力画像内に検出対象物の像が含まれていると判断され、画像処理によって入力画像から検出対象物の位置や姿勢などが特定され、特定された検出対象物の位置や姿勢などがロボット制御装置などに送られ、ロボット３４等を用いて検出対象物に対して所定の処理が行われる。一つの入力画像に対する以上の処理が全て終了すると、新たな入力画像が取得され、同様の処理が繰り返される。

本発明による画像処理装置１０では、ステップＳ１０２においてマッチングが成立すると、特徴量モデル（教示モデル）を定義する複数の特徴量の各々について、マッチング処理手段３５によって直前に行われたマッチング処理における相関度の増加への貢献度（すなわち、マッチングへの貢献度）が算出され、記憶される。詳細には、特徴量貢献度算出手段３６が、特徴量モデルのｉ番目の特徴量についてマッチングへの貢献度を表す貢献度値Ｃｔを算出し（ステップＳ１０４）、貢献指数記憶手段４４に記憶された貢献指数Ｐ（ｉ）に、算出された貢献度値Ｃｔを加算して貢献指数Ｐ（ｉ）を更新し、更新された貢献指数Ｐ（ｉ）を特徴量貢献指数記憶手段４４に記憶させる（ステップＳ１０６）。これらステップＳ１０４及びステップＳ１０６の処理がｉｍａｘ個の特徴量の全てに対して繰り返し行われる（ステップＳ１０８）。一回のマッチング処理の後に、以上の手順が行われると、次の入力画像についてのマッチング処理の後、同様の手順が繰り返される。

検出対象物の検出が安定しない場合などに特徴量モデル（教示モデル）の修正が所望されるとき、特徴量モデル修正手段４０が特徴量モデルの修正を自動的に行う。詳細には、特徴量モデル修正手段４０は、特徴量モデルの修正が所望されると、図４に示されているように、特徴量モデルのｉ番目の特徴量について、その時点で特徴量貢献指数記憶手段４４に記憶された貢献指数Ｐ（ｉ）と閾値Ｔｈとを比較し（ステップＳ２００）、貢献指数Ｐ（ｉ）が閾値Ｔｈよりも小さいときには、そのｉ番目の特徴量が相関度演算処理においてマッチングへの貢献度が少ないと判断して特徴量モデルを定義するｉｍａｘ個の特徴量の中からその特徴量を除外し（ステップＳ２０２）、除外された特徴量の数を表す変数ｄを１だけ増やす。一方、ステップＳ２００において貢献指数Ｐ（ｉ）が閾値Ｔｈ以上であるときには、ｉ番目の特徴量は除外されずに残される。

以上のステップＳ２００及びステップＳ２０２の処理がｉｍａｘ個の特徴量の全てに対して繰り返し行われる（ステップＳ２０４）。ｉｍａｘ個の特徴量の全てについて以上のような処理が行われると、特徴量モデルを定義するｉｍａｘ個の特徴量からｄ個の特徴量が除外されるので、特徴量モデルを定義する特徴量の数は（ｉｍａｘ−ｄ）個となり（ステップＳ２０６）、（ｉｍａｘ−ｄ）個の特徴量によって、修正後の特徴量モデルが定義され、修正後の特徴量モデルに基づいて検出対象物の検出が続けられる。

このような特徴量モデルの自動修正処理において除外された特徴量は、相関度の増加への貢献が少ないので、除外されてもマッチングの成立率への影響が少ない一方、検出対象物の検出を不安定にする要素が減らされるので、検出対象物の検出が安定化させられる。

次に、図５及び図６を参照して、相関度を表す指標として正規化された相互相関係数を利用したマッチング処理の詳細並びにこの場合の特徴量モデルの自動修正処理の手順について説明する。正規化された相互相関係数を利用したマッチング処理、すなわちテンプレートマッチングでは、特徴量モデルとして、テンプレート画像が特徴量モデル記憶手段４２に記憶される。

図５において、ｆで示されるＭ×Ｎ個の画素からなる領域がカメラ２６によって取得された入力画像を表しており、左上を原点（０，０）とし、上下方向下向きをＸ軸、左右方向右向きをＹ軸として定義するときに、位置（ｘ，ｙ）にある画素の輝度値をｆ（ｘ，ｙ）で表す。また、ｇで示されるＭ_T×Ｎ_T個の画素からなる領域がテンプレート画像を表しており、Ｘ軸及びＹ軸を入力画像と同様に定義するときに、位置（ｘ，ｙ）にある画素の輝度値をｇ（ｘ，ｙ）で表す。ここで、入力画像のサイズはテンプレート画像よりも大きい、すなわちＭ_T＜Ｍ、Ｎ_T＜Ｎである。また、図５では、テンプレート画像は、中心が入力画像の位置（ｍ，ｎ）にある状態で入力画像に重ねて描かれている。テンプレート画像が入力画像上において占める領域Ｄは、｜ｉ−ｍ｜≦Ｍ_T／２、｜ｊ−ｎ｜≦Ｎ_T／２を満たす（ｉ，ｊ）の範囲として表される。

図５に示されている位置（ｍ，ｎ）を中心とした領域Ｄに検出対象物の像があるか否かは、以下の式（１）によって求められる相互相関係数Ｃの値に基づいて判断される。

正規化された相互相関係数Ｃを利用したマッチング処理では、テンプレート画像が入力画像の領域をはみ出さない入力画像上の範囲の全ての画素にテンプレート画像の中心を移動させながら、正規化された相互相関係数Ｃを求め、このような相互相関係数Ｃが最も大きくなった位置又は相互相関係数Ｃが所定の閾値よりも大きくなった位置に検出対象物の像が存在すると判断する。

ここで、式（１）において、以下の式（２）の部分は、テンプレート画像の各画素の輝度値の二乗和の平方根であるから、（ｍ，ｎ）によらず一定値（正の値）Ｔとなる。

したがって、検出対象物の像が位置すると判断されたときの入力画像上におけるテンプレート画像の中心位置を（ｍ_d，ｎ_d）とすると、以下の式（３）によって求められる値Ｃｔは、入力画像上の位置（ｐ，ｑ）（∈Ｄ）にある画素の輝度値の相互相関係数Ｃへの貢献度を表すことになる。なお、式（３）中のＣ₀は定数を表す。

このことは、Ｄに属する全ての（ｐ，ｑ）について求められる値Ｃｔの総和が相互相関係数Ｃの値の定数倍となり、式（３）によって求められる値Ｃｔが大きいほど、Ｃｔが相互相関係数Ｃの値に占める割合が大きくなることから分かる。式（３）は、同時に、テンプレート画像の位置（ｐ−ｍ_d，ｑ−ｎ_d）にある画素の輝度値により表される特徴量の相互相関係数Ｃへの貢献度も表していることが分かるであろう。したがって、テンプレート画像の各画素毎に値Ｃｔを求め、これを累積したものを貢献指数Ｐとして用いることで、テンプレート画像の各画素の相互相関係数Ｃへの貢献の程度を評価することが可能になる。

具体的には、例えば、図６に示されているように、テンプレート画像のＭ_T×Ｎ_T個の画素に対応するメモリ領域を用意し、ある時点で各画素に対応するメモリの値を０にクリアし、テンプレート画像に含まれる検出対象物の像が入力画像中に検出されるたびに、すなわち位置（ｍ_d，ｎ_d）が求められるたびに、テンプレート画像の各画素について貢献度の値Ｃｔを求めて各メモリに加算していけばよい。単に貢献度の値Ｃｔを加算するのではなく、加算の回数を別途記憶しておき、貢献度の平均値に直してメモリに記憶させてもよい。

図６は、ある時点におけるテンプレート画像の各画素に対応する貢献指数Ｐすなわち貢献度Ｃｔの累積値又は平均値を示している。各数値の大きさは式（３）のＣ₀の値に依存するので、大きさ自体よりも各数値間の相対的な大きさが重要となる。図６に示されているメモリ領域に記憶された数値すなわち貢献指数Ｐは、検出対象物についての複数回の検出に関する貢献度Ｃｔの値が加算されたものであるので統計的な意味を有しており、値が大きいほど、テンプレート画像の対応する画素が検出対象物の検出に貢献する度合いが高いことを意味し、逆に値が小さいほど、テンプレート画像の対応する画素が検出対象物の検出に貢献する度合いが低いことを意味する。図６に示されている貢献指数Ｐの値を絵図的に表示すれば、各画素の貢献の度合いが直感的に分かるようになるので好ましい。例えば、数値が大きいほど画素の色を赤色に近くし、数値が小さいほど画素の色を青色に近くするようにカラー表示すればよい。

そして、図６に示されているような貢献指数Ｐに対して適宜の閾値Ｔｈが設定され、テンプレート画像の各画素に対応する貢献指数Ｐが閾値Ｔｈより小さい場合に、その画素は、検出対象物の検出に対する貢献の度合いが低いと判定されて、マスキングされ、すなわち式（１）に従った相互相関係数Ｃの演算において演算対象から除外される。これにより、特徴量モデルの自動修正が行われる。具体的には、マスキングされる画素の位置を（ｉ_m，ｊ_m）、マスキングにより修正された後の特徴量モデルに対応するテンプレート画像をｇ^*すると、修正後のテンプレート画像の位置（ｘ，ｙ）にある画素の輝度値を表す関数ｇ^*（ｘ，ｙ）及び相互相関係数Ｃは以下のように表される。
（ｘ，ｙ）＝（ｉ_m，ｊ_m）のとき、ｇ^*（ｘ，ｙ）＝０
（ｘ，ｙ）≠（ｉ_m，ｊ_m）のとき、ｇ^*（ｘ，ｙ）＝ｇ（ｘ，ｙ）

したがって、式（１）に代えて式（４）を用いれば、自動的に修正された特徴量モデルによって以後の検出対象物の検出を行うことができる。

次に、図７〜図１１を参照して、幾何学的特徴を利用したマッチング処理の詳細並びにこの場合の特徴量モデルの自動修正処理の手順について説明する。

入力画像から幾何形状を検出する一般的な方法として一般化ハフ変換を用いたものが知られている。一般化ハフ変換は、検出対象物の幾何学的特徴（輪郭線形状）を特徴量モデルとして予め定義して、この幾何学的特徴が入力画像領域内のどこにあるかを投票と多数決という手法で見出すものである。

一般化ハフ変換では、入力画像の座標空間を、検出対象物のポーズ（位置、姿勢、大きさ）を座標軸とするパラメータ空間に変換する写像を利用し、パラメータ空間をセルと呼称される要素に分解して、入力画像中の物体像の幾何学的特徴を表す各特徴量について特徴量モデルに属する全ての特徴量に対応するパラメータ空間内のセルに投票する処理を行い、入力画像中の物体像の特徴量（幾何学的特徴）と特徴量モデルの特徴量の全ての組合せについての投票が終了したときに、投票度数が最も大きいセルを抽出する。この投票度数が予め定められた閾値以上であれば、入力画像中に特徴量モデルに定義された検出対象物の像が検出されたと判断され、この投票度数が予め定められた閾値より小さければ、入力画像中に検出対象物の像が検出されなかったと判断される。

具体例として、図７に示されるような輪郭線形状の物体の像を入力画像の中から検出する場合について説明する。ここでは、説明を簡単にするために、比較的単純な形状の物体を例示しているが、より複雑な形状の物体であっても同様の手順で処理を行えばよい。

まず、検出対象物の特徴量を抽出するために、図７に示されているような輪郭線形状の物体の像を含んだテンプレート画像の前処理を行なう。例えば、テンプレート画像にＳｏｂｅｌフィルタをかけてエッジ画像へ変換する。次に、エッジ画像中から予め定められた閾値以上の強度を持つ画素を抽出し（一般にエッジ点と呼称される）、抽出したｉｍａｘ個のエッジ点の位置及び濃淡勾配方向を求める。Ｓｏｂｅｌフィルタを使用してエッジ点を求める方法は、「画像ハンドブック」（昭晃堂、１９８７年第一版）の第２８０〜２８６頁の「エッジと線の検出」などに記載されているように、一般的な技術であるので、ここでは詳しく説明しない。

さらに、図７に示される輪郭線形状内の任意の点、例えば幾何学的形状の重心を基準点Ｏ（Ｏ_ｘ，Ｏ_ｙ）として設定し、ｉｍａｘ個のエッジ点の各々の位置及び濃淡勾配方向の情報から、各エッジ点（ｘ_ｉ，ｙ_ｉ）から基準点Ｏ（Ｏ_ｘ，Ｏ_ｙ）へ向かうベクトルＸ_ｉ（Ｖｘ_ｉ，Ｖｙ_ｉ）と各エッジ点（ｘ_ｉ，ｙ_ｉ）における濃度勾配方向ψ_ｉとを求め、特徴量（Ｖｘ_ｉ，Ｖｙ_ｉ，ψ_ｉ）の集合体として検出対象物の特徴量モデルを定義する。この特徴モデルは、検出対象物の像の幾何学的特徴を数値によって表したものと言える。具体的には、図８に示されているように、濃度勾配方向ψ_ｉごとにベクトルＸ_ｉの座標値（Ｖｘ_ｉ，Ｖｙ_ｉ）を登録した「Ｒテーブル」を作成し、これを特徴量モデルとする。ここで、Ｖｘ_ｉ＝Ｏ_ｘ−ｘ_ｉ、Ｖｙ_ｉ＝Ｏ_ｙ−ｙ_ｉである。「Ｒテーブル」を作成することにより、入力画像から抽出したエッジ点の特徴量が検出対象物の特徴量モデルを構成する特徴量の一つに対応すると仮定したときの入力画像中における基準点Ｏの位置を求めることができるようになる。

次に、同様に入力画像の前処理を行って入力画像中の物体の像の特徴量を抽出し、各特徴量についてパラメータ空間内のセルへの投票を行う。入力画像に写った検出対象物の像の大きさが変わらない場合を例にとると、パラメータ空間は（ｕ，ｖ，θ）の３次元で定義される。投票は、入力画像中の全てのエッジ点の特徴量（ｘ_ｊ，ｙ_ｊ，ψ_ｊ）の濃淡勾配方向ψ_ｊに対して、特徴量モデルの各特徴量（Ｖｘ_ｉ，Ｖｙ_ｉ，ψ_ｉ）の濃淡勾配方向ψ_ｉをθ＝ψ_ｊ-ψ_ｉだけ回転させて濃淡勾配方向を一致させたときに特徴量モデルの基準点Ｏが示す位置（ｕ，ｖ）を求め、該当する３次元パラメータ空間上の点（ｕ，ｖ，θ）のセルの投票度数を１増やすというやり方で行なわれる。特徴量モデルの各特徴量を（Ｖｘ_ｉ，Ｖｙ_ｉ，ψ_ｉ）（ただし、ｉ＝１，…，Ｎ）とし、入力画像中のエッジ点の特徴量を（ｘ_ｊ，ｙ_ｊ，ψ_ｊ）（ただし、ｊ＝１，…，Ｍ）としたとき、次の式で入力画像中の各エッジ点の特徴量に対するパラメータ空間上の点（ｕ，ｖ，θ）が求まる。ここで、Ｒ（θ）は回転行列を意味する。
θ＝ψ_ｊ−ψ_ｉ
Ｖｘ_ｉ＝Ｏ_ｘ−ｘ_ｉ，Ｖｙ_ｉ＝Ｏ_ｙ−ｙ_ｉ
［ｕｖ］^Ｔ＝Ｒ（θ）［Ｖｘ_ｉＶｙ_ｉ］^Ｔ＋［ｘ_ｊｙ_ｊ］^Ｔ（５）

検出する対象物の大きさｓを考慮した場合には、パラメータ空間が（ｕ，ｖ，θ，ｓ）の４次元空間となるが、上述した式（５）のベクトル（Ｖｘ_ｉ，Ｖｙ_ｉ）に大きさの係数ｓを乗算した式で（ｕ，ｖ）を求めればよく、基本的な考え方は同じである。

入力画像中の全てのエッジ点の特徴量に対するパラメータ空間への投票が終了したとき、パラメータ空間の各セルのうち投票度数の高いセルが（ｕ_０，ｖ_０，θ_０）であったとすると、入力画像中の（ｕ_０，ｖ_０）の位置に姿勢θ₀で特徴量モデルによって表わされる検出対象物の像が映っていると推測されることになる。投票度数を特徴量モデルの総特徴量数で除算したもの（以下、スコアＳと称する）が、正規化された相互相関係数に相当する数値、すなわち入力画像中の物体の像と特徴量モデルに定義される検出対象物の像との相関度を表す数値であり、このスコアＳが予め定められた閾値以上であれば、特徴量モデルによって表される検出対象物の像がスコアＳを持つセルに対応するポーズで入力画像中に検出されたと判断され、このスコアＳが予め定められた閾値より小さければ、検出対象物の像が入力画像中に検出されなかったと判断される。スコアＳは０から１までの値をとり、これに対して閾値も０から１までの適宜の値に設定しうる。この閾値を余り高く設定しすぎると、入力画像中のノイズ等で検出ができなくなる可能性があり、反対に低く設定しすぎると誤検出を招く可能性がある。したがって、条件にもよるが、概ね０．７ぐらいが適している。

次に、検出対象物の像が入力画像中に検出されたと判断されると、特徴量モデルのどの特徴量が検出に寄与したかを評価し、特徴量モデルの各特徴量の貢献指数Ｐを求める。このために、まず特徴量モデルの各特徴量に対応するメモリ領域を用意し、ある時点で特徴量に対応するメモリの値を０にクリアし、検出対象物の像が入力画像中に検出されるたびに、特徴量モデルの各特徴量についてその特徴量がその検出に寄与したかを評価し、寄与している場合はメモリに貢献度値Ｃｔとして所定の定数（例えば１）を加算していけばよい。貢献指数Ｐは、メモリの値そのものとしてもよいし、別途加算回数を数えておき、メモリに保存された値を加算回数で除算した、いわゆる平均値としてもよい。

特徴量モデルのある特徴量（Ｖｘ_ｉ，Ｖｙ_ｉ，ψ_ｉ）が、あるポーズ（ｕ，ｖ，θ）の投票に寄与したかどうかは以下のようにして評価することができる。すなわち、上述した式（５）に（Ｖｘ_ｉ，Ｖｙ_ｉ，ψ_ｉ）と（ｕ，ｖ，θ）を代入し、逆算して（ｘ_ｊ，ｙ_ｊ，ψ_ｊ）を求める。求めた（ｘ_ｊ，ｙ_ｊ，ψ_ｊ）に一致する特徴量がエッジ点として入力画像中にあれば検出に寄与していると判断することが出来る。

特徴量モデルの各特徴量（Ｖｘ_ｉ，Ｖｙ_ｉ，ψ_ｉ）の貢献指数Ｐは、検出対象物の複数回の検出に関する貢献度値が加算されたものであるので統計的な意味を有しており、値が大きいほど、対応する特徴量モデルの特徴量が検出対象物の像の検出に貢献する度合いが高いことを意味し、逆に値が小さいほど、対応する特徴量が検出対象物の像の検出に貢献する度合いが低いことを意味する。例えば図９に示されているような図形を検出対象物の輪郭線形状とした場合、図１０に示されているように、小さい方の円の半径が図９の円２（図１０では点線で示されている）よりも少し大きい円２’のようであったとすると、円２に対応する特徴量の貢献度が特徴量モデルに含まれる他の特徴量の貢献度よりも小さくなる。

そして、図１１に例示されるような、ある時点での貢献指数Ｐに対して適宜の閾値Ｔｈが設定され、特徴量モデルのある特徴量に対応する貢献指数Ｐが閾値Ｔｈより小さい場合に、その特徴量は検出対象物の像の検出に対する貢献の度合いが低いと判断されて、特徴量モデルの中から除外され、スコアＳの演算においても演算対象から除外される。こうして特徴量モデルの自動修正が行われることになる。

以上、正規化された相互相関係数を用いた検出対象物の検出及び幾何学的特徴を用いた検出対象物の検出を例に、本発明の画像処理装置１０における特徴量モデルの自動修正の手順について説明したが、本発明の画像処理装置１０は、正規化された相互相関係数Ｃを用いた検出対象物の検出及び幾何学的特徴を用いた検出対象物の検出を行うものに限定されるものではなく、特徴量モデルと入力画像とのマッチングに相関度を用いるタイプのマッチング処理を行うものであれば、任意のタイプの画像処理装置に適用可能である。また、上記実施形態では、貢献指数Ｐの求め方を例示しているが、貢献指数Ｐの求め方は、例示される方法に限定されるものではなく、適宜に定めることが可能である。

本発明の画像処理装置の全体構成を示すブロック図である。図１に示される画像処理装置のＣＰＵの詳細な構成を示すブロック図である。本発明の画像処理装置によるマッチング処理及び貢献指数演算処理の流れを示すフローチャートである。本発明の画像処理装置による特徴量モデルの自動修正の手順を示すフローチャートである。テンプレートマッチングを行う際の入力画像とテンプレート画像との位置関係を示す線図である。テンプレート画像の各画素の貢献指数を求めるためのメモリ領域を示す説明図である。幾何学的特徴を用いたマッチング処理に用いられる検出対象物の輪郭線形状の例を示す線図である。一般化ハフ変換で作成されるＲテーブルを示した表である。幾何学的特徴を用いたマッチング処理に用いられる検出対象物の輪郭線形状の別の例を示す線図である。図９に示される検出対象物と僅かに異なる幾何形状を検出した例を示す線図である。検出対象物の輪郭線形状の各特徴量の貢献指数を示した表である。

符号の説明

１０画像処理装置
３５マッチング処理手段
３６特徴量貢献度算出手段
３８特徴量貢献度加算手段
４０特徴量モデル修正手段
４２特徴量モデル記憶手段
４４特徴量貢献指数記憶手段

Claims

複数の特徴量を用いて予め定義された検出対象物の特徴量モデルと、撮像装置によって取得された入力画像との相関度に基づいて、前記入力画像内から前記検出対象物の像を検出する画像処理装置であって、
前記相関度を求めるための相関度算出処理を行うマッチング処理手段と、
前記相関度算出処理を行った後、前記特徴量モデルの前記複数の特徴量の各々について、直前の相関度算出処理における前記相関度の増加への貢献度を算出し、算出された貢献度を累積した値に基づいて貢献指数を求める特徴量貢献指数算出手段と、
複数の異なる入力画像に対して、前記特徴量モデルの前記複数の特徴量の各々についての前記貢献度を算出し、該貢献度を累積した値に基づいた前記貢献指数を求めた後、前記特徴量モデルの前記複数の特徴量の各々について、求められた該貢献指数が予め定められた閾値以下であるか否か判定し、該貢献指数が予め定められた閾値以下であった場合に、該特徴量を前記特徴量モデルの前記複数の特徴量から除外することにより、前記特徴量モデルを修正する特徴量モデル修正手段と、を備えることを特徴とする画像処理装置。
前記複数の特徴量は前記検出対象物を含む画像の各画素の輝度値である、請求項１に記載の画像処理装置。
前記特徴量モデルを表すテンプレート画像がＭ_T×Ｎ_Tの画素によって表されており、前記相関度をＣ、前記テンプレート画像の各画素における輝度値をｆ（ｘ，ｙ）、入力画像の各画素における輝度値をｇ（ｘ，ｙ）、前記テンプレート画像の中心が前記入力画像の座標（ｍ，ｎ）にあるとしたときの前記テンプレート画像の大きさに相当する領域をＤと表すとき、前記相関度Ｃは、以下の式で表される、請求項２に記載の画像処理装置。
前記複数の特徴量は前記検出対象物の幾何学的特徴を数値によって表したものである、請求項１に記載の画像処理装置。