JP4661957B2 - 画像マッチング装置、およびカメラ - Google Patents

Description

本発明は、テンプレートマッチングを行うための画像マッチング装置、および画像マッチング機能を備えたカメラに関する。

次のようなパターンマッチング方法が知られている。このパターンマッチング方法は、画像を複数の領域に分割し、各領域ごとにテンプレートマッチング処理を行って、最も類似度が高い領域をマッチング領域として抽出する（例えば、特許文献１）。

特開平５−８１４３３号公報

しかしながら、従来のパターン・マッチング方法を用いた場合には、テンプレート画像とターゲット画像との間で画像の明るさが変化した場合には、その両画像間の輝度成分の値に違いが生じるため、テンプレートマッチングの精度が低下するという問題があった。

本発明による画像マッチング装置は、各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とをそれぞれ複数の分割領域に分割する分割手段と、分割領域ごとに輝度成分の値の平均値と色差成分の値の平均値とを算出し、いずれか１つの分割領域における輝度成分の値の平均値を基準値として算出する平均値算出手段と、テンプレート画像およびターゲット画像のそれぞれについて、各画素の色差成分の値に基づいて係数を算出する係数算出手段と、各分割領域の輝度成分の平均値から基準値に係数を掛けた値を減算して、各分割領域の輝度成分の値の平均値を正規化する正規化手段と、テンプレート画像における各分割領域の正規化後の輝度成分の値の平均値と各分割領域の色差成分の値の平均値、およびターゲット画像における各分割領域の正規化後の輝度成分の値の平均値と各分割領域の色差成分の値の平均値に基づいて、テンプレート画像とターゲット画像の類似度を算出する類似度算出手段と、類似度算出手段による類似度の算出結果に基づいて、入力画像内における前記テンプレート画像との類似度が最も高いターゲット画像の位置を特定することによりテンプレートマッチング処理を実行するマッチング手段とを備えることを特徴とする。
本発明による画像マッチング装置はまた、各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とをそれぞれ複数の分割領域に分割する分割手段と、分割領域ごとに輝度成分の値の加算値と色差成分の値の加算値とを算出し、いずれか１つの分割領域における輝度成分の値の加算値を基準値として算出する加算値算出手段と、テンプレート画像およびターゲット画像のそれぞれについて、各画素の色差成分の値に基づいて係数を算出する係数算出手段と、各分割領域の輝度成分の加算値から基準値に係数を掛けた値を減算して、各分割領域の輝度成分の値の加算値を正規化する正規化手段と、テンプレート画像における各分割領域の正規化後の輝度成分の値の加算値と各分割領域の色差成分の値の加算値、およびターゲット画像における各分割領域の正規化後の輝度成分の値の加算値と各分割領域の色差成分の値の加算値に基づいて、テンプレート画像とターゲット画像の類似度を算出する類似度算出手段と、類似度算出手段による類似度の算出結果に基づいて、入力画像内におけるテンプレート画像Ａとの類似度が最も高いターゲット画像の位置を特定することによりテンプレートマッチング処理を実行するマッチング手段とを備えることを特徴とする。
本発明では、係数は、０から１の範囲の値であることが好ましい。
係数は、微分可能であり、かつ入力値に対する出力値が０から１の範囲の値を連続的にとり、かつ出力値が一意に決まる関数により出力される値であるようにしてもよい。
関数は、シグモイド関数であってもよい。
本発明によるカメラでは、被写体像を撮像して画像を取得する撮像手段と、上記画像マッチング装置とを備えることを特徴とする。

本発明によれば、テンプレート画像とターゲット画像との間で画像の明るさが変化した場合でも、テンプレートマッチング処理の精度が低下することを防ぐことができる。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、撮像素子１０３から入力されるスルー画の各フレームに対して、あらかじめ用意したテンプレート画像を用いたテンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を特定する。そして、制御装置１０４は、特定した領域をフレーム間で追跡することによって、被写体追跡処理を行う。

具体的には、制御装置１０４は、テンプレートマッチング処理の基準となるテンプレート画像と、撮像素子１０３から時系列で入力される各フレームとのマッチング演算を行う。例えば、制御装置１０４は、図２に示すように、テンプレート画像Ａを用いて画像Ｉ内における被写***置を特定する。ここで用いるテンプレート画像Ａは、あらかじめ使用者からの指示に基づいて取得される。例えば、使用者は、スルー画の最初のフレームがモニタ１０６に表示されたときに、操作部材１０１を操作して、最初のフレーム内で、フレーム間で追跡したい被写体を含む範囲を指定する。制御装置１０４は、使用者によって指定された範囲内の画像をテンプレート画像Ａとして抽出して、ＳＤＲＡＭに記憶する。

制御装置１０４は、撮像素子１０３からのスルー画の入力が開始されると、各フレーム（コマ）を対象として、この画像Ｉ内の所定の位置にテンプレート画像と同じ大きさのターゲット枠を設定し、設定したターゲット枠内のターゲット画像Ｂをテンプレートマッチングの対象とする。すなわち、制御装置１０４は、ターゲット枠を画像Ｉ内で移動させながら、各ターゲット枠位置におけるターゲット画像Ｂと、テンプレート画像Ａとのマッチング演算を行なう。マッチング演算の結果、テンプレート画像Ａとターゲット画像Ｂとの類似度が最も高い合致領域の画像Ｉ内における座標値を被写***置として特定する。

なお、制御装置１０４は、画像Ｉの全体ではなく、画像内からテンプレート画像Ａを抽出した位置を含む所定範囲内（探索対象領域内）を対象としてテンプレートマッチングを行うようにしてもよい。これによって、テンプレートマッチングを行う範囲を画像Ｉ内の被写体が存在している可能性が高い範囲に限定することができ、処理を高速化することができる。本実施の形態では、制御装置１０４は、画像Ｉ内に設定した探索対象領域内を対象としてテンプレートマッチングを行う例について説明する。

本実施の形態では、テンプレート画像Ａ内の各画素は、テンプレート画像Ａ内における横方向の画素位置を示すｍと、縦方向の画素位置を示すｎとを用いて、Ａｍｎと表すものとする。例えば、テンプレート画像Ａにおける左上端の画素はＡ_１１と表される。また、ターゲット画像Ｂ内の各画素は、ターゲット画像Ｂ内における横方向の画素位置を示すｍと、縦方向の画素位置を示すｎとを用いて、Ｂｍｎと表すものとする。例えば、ターゲット画像Ｂにおける左上端の画素はＢ_１１と表される。

テンプレートマッチングの手法としては、一般的に、公知の残差逐次検定法などが用いられる。この残差逐次検定法では、次式（１）に示す残差和により類似度値ｒを算出し、算出した類似度値ｒに基づいてテンプレートマッチングを行う。この次式（１）により算出される類似度値ｒは、その値が小さいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が高いことを示し、その値が大きいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が低いことを示す。

本実施の形態では、テンプレート画像Ａとターゲット画像Ｂは、いずれも輝度Ｙ、色差ＣｂおよびＣｒのＹＣｂＣｒ表色系で表される画像データであるものとし、制御装置１０４は、式（１）を用いてＹ成分の値に基づく類似度値ｒを算出し、式（１）を用いてＣｂ成分の値に基づく類似度値ｒを算出し、式（１）を用いてＣｒ成分の値に基づく類似度値ｒを算出する。そして、算出したＹ成分の値に基づく類似度値ｒとＣｂ成分の値に基づく類似度値ｒとＣｒ成分の値に基づく類似度値ｒの合計値を、テンプレート画像Ａとターゲット画像Ｂとの類似度値として算出する。

なお、式（１）では、テンプレート画像Ａとターゲット画像Ｂの対応する画素の差分をとり、それを画像全体で合計することによって類似度値を算出しているが、本実施の形態では、これを画素ごとではなくブロックごとに行う。すなわち、本実施の形態では、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂとをそれぞれ複数のブロックに分割し、テンプレート画像Ａとターゲット画像Ｂの対応するブロック（図３（ａ）で後述するブロック番号が同じブロック）同士でＹ成分の値の平均値の差分、Ｃｂ成分の値の平均値の差分、およびＣｒ成分の値の平均値の差分をとり、これを画像全体で合計することによって類似度値を算出する。

具体的には、制御装置１０４は、図３（ａ）に示すように、テンプレート画像Ａおよびターゲット画像Ｂを、複数のブロック（領域）に分割する。例えば、テンプレート画像Ａの大きさとターゲット画像Ｂの大きさをそれぞれ９×９画素の大きさとし、１つのブロックの大きさが３×３画素となるようにテンプレート画像Ａとターゲット画像Ｂとを９つのブロックに分割する。なお、本実施の形態では、各ブロックを図３（ａ）に示す番号を用いて表すこととし、例えば、左上のブロックはブロック１と表記する。

そして、制御装置１０４は、テンプレート画像Ａおよびターゲット画像Ｂのそれぞれについて、図３（ｂ）に示すように、各ブロックごとに、Ｙ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を算出する。例えば、図３（ｂ）に示す例では、左上のブロックであるブロック１は、Ｙ成分の値の平均値は７６であり、Ｃｂ成分の値の平均値は１１３であり、Ｃｒ成分の値の平均値は１４３であることを示している。

本実施の形態では、制御装置１０４は、このようにテンプレート画像Ａおよびターゲット画像Ｂのそれぞれについて算出した、各ブロックごとのＹ成分の値の平均値、Ｃｂ成分の値の平均値、Ｃｒ成分の値の平均値に基づいて、式（１）を用いた類似度値ｒの算出を行ってテンプレートマッチングを行う。

このようにテンプレート画像Ａおよびターゲット画像Ｂのそれぞれに、各ブロックごとのＹ成分の値の平均値、Ｃｂ成分の値の平均値、Ｃｒ成分の値の平均値を算出した場合には、画像の明るさが変化すると、その影響はＹ成分の値の変動に影響を与えることとなり、テンプレートマッチングの精度が低下する可能性がある。

例えば、図４（ａ）に示すような日陰で撮影された暗い画像と、図４（ｂ）に示すような日向で撮影された明るい画像とでは、図４（ｃ）および（ｄ）に示すように、Ｙ成分の値の平均値が大きく異なる。なお、図４（ｃ）は、図４（ａ）に示す暗い画像内における領域４ａを対象として算出されたＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を示している。また、図４（ｄ）は、図４（ｂ）に示す明るい画像における領域４ｂを対象として算出されたＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を示している。

図４（ｃ）と図４（ｄ）とにおいて、同じブロック番号同士のＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を比較すると、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値に大きな差はないが、Ｙ成分の値の平均値には大きな差が生じていることがわかる。これは、上述したように、図４（ａ）における領域４ａ内の画像と図４（ｂ）における領域４ｂ内の画像とで画像の明るさが異なっていることに起因する。

本実施の形態では、制御装置１０４は、テンプレートマッチングを行うに当たって、このような画像の明るさの変化に起因するＹ成分の値の平均値の変化によって、テンプレートマッチングの精度が低下するのを防ぐための処理を実行する。具体的には、制御装置１０４は、Ｙ成分の値の平均値を正規化することによって、あらかじめ画像の明るさ変化の影響を排除してから、類似度値ｒを算出するようにする。以下、本実施の形態における処理の詳細について説明する。

制御装置１０４は、テンプレート画像Ａおよびターゲット画像Ｂのそれぞれを対象として算出した各ブロックのＹ成分の値の平均値のうち、いずれか１つのブロックのＹ成分の値の平均値を基準値とし、各ブロックのＹ成分の値の平均値から該基準値を減算することによって、Ｙ成分の値の平均値を正規化すれば、Ｙ成分の値の平均値から画像の明るさ変化による影響を排除することができる。例えば、第１ブロックのＹ成分の値の平均値をＹ１、第２ブロックのＹ成分の値の平均値をＹ２のように表すようにし、第５ブロックのＹ成分の値の平均値Ｙ５を基準値として正規化を行う場合には、制御装置１０４は、次式（２）により正規化を行うことができる。

図５（ａ）は、図４（ｃ）に示す各ブロックのＹ成分の値の平均値を、式（２）を用いて正規化した結果を示している。また、図５（ｂ）は、図４（ｄ）に示す各ブロックのＹ成分の値の平均値を、式（２）を用いて正規化した結果を示している。図５（ａ）と図５（ｂ）とにおいて、同じブロック番号同士のＹ成分の値の平均値を比較すると、正規化により、全てのブロックでＹ成分の値の平均値の差が小さくなっている。

制御装置１０４は、このブロックごとのＹ成分の値の平均値の正規化を、テンプレート画像Ａおよびターゲット画像Ｂのそれぞれについて行った後、上述したように、式（１）を用いてブロックごとの各成分の値の平均値を用いた類似度値ｒの算出を行う。例えば、図４（ａ）における領域４ａ内の画像をテンプレート画像Ａとし、図４（ｂ）における領域４ｂ内の画像をターゲット画像Ｂとして、図５（ａ）と図５（ｂ）に示した正規化後のＹ成分の値の平均値を対象として式（１）により類似度値ｒを算出した場合には、次式（３）のようになる。
ｒ＝｜−３０−（−２７）｜＋｜２１−２２｜＋｜−１０−（−１７）｜＋｜−１７−（−２９）｜＋｜０−０｜＋｜−４−（−２７）｜＋｜−１０−４｜＋｜−９−（−３）｜＋｜１−１１｜＝７６ ・・・（３）

これに対して、Ｙ成分の値の平均値を正規化せずにＹ成分の値の平均値を対象として式（１）により類似度値ｒを算出した場合、例えば、図４（ａ）における領域４ａ内の画像をテンプレート画像Ａとし、図４（ｂ）における領域４ｂ内の画像をターゲット画像Ｂとして、図４（ｃ）と図４（ｄ）に示したＹ成分の値の平均値を対象として式（１）により類似度値ｒを算出した場合には、次式（４）のようになる。
ｒ＝｜７６−１２１｜＋｜１２７−１７０｜＋｜９６−１３１｜＋｜８９−１１９｜＋｜１０６−１４８｜＋｜１０２−１２１｜＋｜９６−１５２｜＋｜９７−１４５｜＋｜１０７−１５９｜＝３７０ ・・・（４）

式（３）に示した類似度値ｒの算出結果と式（４）に示した類似度値ｒの算出結果とを比較すると、式（４）に示した算出結果では、テンプレート画像Ａとターゲット画像Ｂとの類似度は低く算出されている（類似度値ｒが大きい）のに対して、式（３）に示した算出結果では、両画像の類似度は高く算出されている（類似度値ｒが小さい）ことがわかる。このように、テンプレート画像Ａとテンプレート画像Ｂとの明るさが異なる場合には、両画像内の被写体の類似度が高くてもＹ成分の値の平均値を正規化せずに類似度値ｒを算出すると、Ｙ成分の値の平均値に基づいて算出した類似度は低く算出されてしまう。

このため、Ｙ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値のそれぞれを対象として式（１）により各色成分の類似度値ｒを算出し、これを合計して得られる両画像の類似度値についても、図５に示す正規化後のＹ成分の値の平均値を用いた場合には２４４となり、図４に示す正規化を行わない場合には５３８となる。このように、Ｙ成分の値の平均値を正規化してから両画像の類似度値を算出することにより、画像の明るさの変化による影響を排除して、テンプレートマッチング演算の精度を向上させることができる。

なお、上述したＹ成分の値の平均値を正規化してから類似度値を算出することにより画像の明るさの変化による影響を排除する手法は、テンプレート画像Ａおよびターゲット画像Ｂが有彩色の場合には有効であるが、テンプレート画像Ａおよびターゲット画像Ｂが無彩色に近い場合には更なる工夫が必要である。

まず、テンプレート画像Ａとターゲット画像Ｂが無彩色に近い画像であるか否かは、次のように判断できる。例えば、図６（ａ）に示す画像内では、無彩色に近い画像領域として、黒髪を含む領域６ａと白い壁を含む領域６ｂとを設定し、有彩色の画像領域として衣服を含む領域６ｃとを設定している。なお、これらの領域６ａから６ｃは、図３（ａ）に示した９画素×９画素の領域である。図６（ｂ）は、領域６ａ内の各画素のＣｂ成分の値と、無彩色を示す１２８との絶対差分の算出結果を示している。図６（ｃ）は、領域６ａ内の各画素のＣｒ成分の値と、無彩色を示す１２８との絶対差分の算出結果を示している。

図６（ｄ）は、領域６ｂ内の各画素のＣｂ成分の値と、無彩色を示す１２８との絶対差分の算出結果を示している。図６（ｅ）は、領域６ｂ内の各画素のＣｒ成分の値と、無彩色を示す１２８との絶対差分の算出結果を示している。図６（ｆ）は、領域６ｃ内の各画素のＣｂ成分の値と、無彩色を示す１２８との絶対差分の算出結果を示している。図６（ｇ）は、領域６ｃ内の各画素のＣｒ成分の値と、無彩色を示す１２８との絶対差分の算出結果を示している。

図６（ｂ）〜図６（ｅ）に示すように、領域内の各画素の色差成分（Ｃｂ成分、Ｃｒ成分）の値と無彩色を示す１２８との絶対差分の算出結果は０に近い値となる。これに対して、図６（ｆ）および図６（ｇ）に示すように、領域内の各画素の輝度成分（Ｙ成分）の値と無彩色を示す１２８との絶対差分の算出結果は大きい値となる。

よって、テンプレート画像Ａ内の各画素のＣｂ成分、またはＣｒ成分の値と無彩色を示す１２８との絶対差分の算出結果が所定の値以下、例えば１０以下の場合には、テンプレート画像Ａは無彩色の画像であると判断することができる。また、ターゲット画像Ｂ内の各画素のＣｂ成分、またはＣｒ成分の値と無彩色を示す１２８との絶対差分の算出結果が所定の値以下、例えば１０以下の場合に、ターゲット画像Ｂは無彩色の画像であると判断することができる。

図６（ａ）に示す領域６ａ内の各画素のＹ成分の値を図７（ｂ）に示し、図６（ｂ）に示す領域６ｂ内の各画素のＹ成分の値を図７（ａ）に示す。上述したように、領域６ａは、人物の黒髪を含んだ無彩色に近い領域であり、領域６ｂは、白壁を含んだ無彩色に近い領域である。すなわち、領域６ａと領域６ｂとは、本来でれば類似度が低く算出されるべきである。ここで、領域６ａをテンプレート画像Ａとし、領域６ｂをターゲット画像Ｂとして式（１）により類似度を算出する場合について考える。

この場合、制御装置１０４は、上述したように、図６（ａ）に示す領域６ａ（テンプレート画像Ａ）内を３画素×３画素の９つのブロックに分割し、各ブロックごとに図７（ａ）に示すＹ成分の値の平均値を算出する。また、図６（ｂ）に示す領域６ｂ（ターゲット画像Ｂ）内を３画素×３画素の９つのブロックに分割し、各ブロックごとに図７（ｂ）に示すＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を算出する。

そして、制御装置１０４は、上述したように、Ｙ成分の値の平均値を正規化した後、式（１）を用いて、Ｙ成分についての類似度値ｒ、Ｃｂ成分についての類似度値ｒ、およびＣｒ成分についての類似度値ｒを算出する。なお、図７（ａ）および図７（ｂ）に示すＹ成分の値の平均値に基づいて算出されるＹ成分についての類似度値は６７．３３となる。これに対して、図７（ａ）および図７（ｂ）に示すＹ成分の値の平均値を正規化せずに、式（１）を用いてＹ成分についての類似度値ｒを算出した場合には９９３．１１となる。このように、Ｙ成分の値の平均値を正規化した場合には、正規化しない場合と比較してＹ成分についての類似度は高く算出される。

一方、図６（ｂ）〜図６（ｅ）に示したように、各画素における色差成分の値は、テンプレート画像Ａとターゲット画像Ｂとの間でほとんど差がないため、Ｃｂ成分の類似度値ｒとＣｒ成分の類似度値ｒは、いずれも小さくなる。このため、テンプレート画像Ａとターゲット画像Ｂとがいずれも無彩色である場合には、正規化して算出したＹ成分についての類似度値ｒと、Ｃｂ成分についての類似度値ｒと、Ｃｒ成分についての類似度値ｒとを合計して算出したテンプレート画像Ａとターゲット画像Ｂとの類似度は、高く算出されることになる。

すなわち、テンプレート画像Ａとターゲット画像Ｂがいずれも無彩色に近い画像の場合には、両画像が黒髪を含む画像と白壁を含む画像のように全く異なる画像であっても、Ｙ成分の値の平均値を正規化して類似度を算出すると両画像の類似度は高く算出されてしまうことになる。本実施の形態では、制御装置１０４は、このような問題を避けるために、以下のように処理を行う。

制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂとのそれぞれについて、各ブロックのＹ成分の値の平均値のうち、いずれか１つのブロックのＹ成分の値の平均値を基準値とし、各ブロックのＹ成分の値の平均値から次式（５）に示すシグモイド関数の出力値βを係数としてかけた基準値を減算することによって、Ｙ成分の値の平均値を正規化する。例えば、第１ブロックのＹ成分の値の平均値をＹ１、第２ブロックのＹ成分の値の平均値をＹ２のように表すようにし、第５ブロックのＹ成分の値の平均値Ｙ５を基準値として正規化を行う場合には、制御装置１０４は、次式（６）により正規化を行うことができる。

なお、シグモイド関数は、微分可能な関数であって、図８に示すように、入力値ｘの値に応じて０から１の範囲の値βを連続的に一意に出力するＳ字型関数である。このシグモイド関数は、図９に示すように、係数ａとｂとの値により傾きと出力値が１に漸近する位置が決まる。例えば、図９（ａ）は、ａ＝６、ｂ＝１とした場合を示しており、図９（ｂ）は、ａ＝１、ｂ＝６とした場合を示しており、図９（ｃ）は、ａ＝６、ｂ＝６とした場合を示している。また、図９（ｄ）は、ａ＝６、ｂ＝１１とした場合を示しており、図９（ｅ）は、ａ＝１１、ｂ＝６とした場合を示している。本実施の形態では、図９（ｃ）に示すａ＝６、ｂ＝６とした場合のシグモイド関数を使用するものとする。

また、入力値ｘは、次式（７）により算出される値を、所定数で割ることによって算出される。

本実施の形態では、式（７）により算出される値を、テンプレート画像Ａの画素数（８１）に１０をかけた値で割ることによってｘを算出する。このように設定されるシグモイド関数の出力値βは、テンプレート画像Ａおよびターゲット画像Ｂの無彩色度を示し、βが０に近いほど画像は無彩色に近く（無彩色度が高く）、βが０の場合には画像が完全無彩色であることを示す。また、βが１に近いほど画像は有彩色に近く（無彩色度が低く）、βが１の場合には画像が完全有彩色であることを示す。

式（６）を用いてＹ成分の値の平均値を正規化して類似度を算出する場合の具体例について、図６および図７に示す例を用いて説明する。なお、ここでは、図６（ａ）に示す領域６ａ、領域６ｂ、および図１０（ａ）に示す領域１０ａのそれぞれをテンプレート画像Ａとして、制御装置１０４がそれぞれのテンプレート画像Ａについて式（６）を用いてＹ成分の値の平均値を正規化する場合について説明する。

まず、図６（ａ）に示す領域６ａをテンプレート画像Ａとする場合について説明する。この場合には、制御装置１０４は、図６（ｂ）および図６（ｃ）に示す例において、式（７）により算出される値を、テンプレート画像Ａの画素数（８１）に１０をかけた値で割ることによってｘを算出する。算出結果は、ｘ＝（５５＋８９）／（８１×１０）＝０．１７８となる。そして、制御装置１０４は、このｘを用いて式（５）によりシグモイド関数の出力値βを得る。この場合の出力値β、すなわち無彩色度を示す値は、０．００７２となる。上述したように、黒髪を含む領域６ａ内から抽出したテンプレート画像Ａは、無彩色に近い画像であるため、βは０に近い値となっている。

制御装置１０４は、算出したβを用いて式（６）によりテンプレート画像Ａの各ブロックのＹ成分の値の平均値を正規化する。この場合、βは０に近い数値であるため、結果として、テンプレート画像Ａが無彩色に近い場合には、基準値である第５ブロックのＹ成分の値の平均値Ｙ５にβをかけると基準値は小さい値となり、各ブロックのＹ成分の値の平均値から減算される値は小さくすることができる。

これによって、テンプレート画像Ａが無彩色に近い画像の場合には、Ｙ成分の値の平均値を正規化して明るさの変化に対応するとともに、最終的に算出される類似度にＹ成分の類似度の影響も残して無彩色画像同士をテンプレートマッチングする場合におけるマッチング精度の低下を防ぐことができる。

次に、図６（ａ）に示す領域６ｂをテンプレート画像Ａとする場合について説明する。この場合には、制御装置１０４は、図６（ｄ）および図６（ｅ）に示す例において、式（７）により算出される値を、テンプレート画像Ａの画素数（８１）に１０をかけた値で割ることによってｘを算出する。算出結果は、ｘ＝（４００＋３５０）／（８１×１０）＝０．９２６となる。そして、制御装置１０４は、このｘを用いて式（５）によりシグモイド関数の出力値βを得る。この場合の出力値β、すなわち無彩色度を示す値は、０．３９０８となる。上述したように、白壁を含む領域６ｂ内から抽出したテンプレート画像Ａは、無彩色に近い画像であるため、βは０に近い値となる。

制御装置１０４は、算出したβを用いて式（６）によりテンプレート画像Ａの各ブロックのＹ成分の値の平均値を正規化する。この場合もβは０に近い数値であるため、結果として、テンプレート画像Ａが無彩色に近い場合には、基準値である第５ブロックのＹ成分の値の平均値Ｙ５にβをかけると基準値は小さい値となり、各ブロックのＹ成分の値の平均値から減算される値は小さくなる。

次に、図６（ａ）に示す領域６ｃをテンプレート画像Ａとする場合について説明する。この場合には、制御装置１０４は、図６（ｆ）および図６（ｇ）に示す例において、式（７）により算出される値を、テンプレート画像Ａの画素数（８１）に１０をかけた値で割ることによってｘを算出する。算出結果は、ｘ＝（１４２８＋２１２８）／（８１×１０）＝４．３９０となる。そして、制御装置１０４は、このｘを用いて式（５）によりシグモイド関数の出力値βを得る。この場合の出力値β、すなわち無彩色度を示す値は、１となる。上述したように、衣服を含む領域６ｃ内から抽出したテンプレート画像Ａは、有彩色の画像であるため、βは１となる。

制御装置１０４は、算出したβを用いて式（６）によりテンプレート画像Ａの各ブロックのＹ成分の値の平均値を正規化する。この場合もβは１であるため、結果として、テンプレート画像Ａが有彩色である場合には、基準値である第５ブロックのＹ成分の値の平均値Ｙ５にβをかけても値は変わらず、各ブロックのＹ成分の値の平均値から減算される値は大きくなる。

次に、図１０（ａ）に示す領域１０ａをテンプレート画像Ａとする場合について説明する。なお、図１０（ａ）においては、図６（ａ）に示した人物とは異なる人物の髪を含む領域１０ａ内の画像をテンプレート画像Ａとして抽出している。なお、図１０においては、領域１０ａは、図３（ａ）に示した９画素×９画素の領域である。また、図１０（ｂ）は、領域１０ａ内の各画素のＣｂ成分の値と、無彩色を示す１２８との絶対差分の算出結果を示している。図１０（ｃ）は、領域１０ａ内の各画素のＣｒ成分の値と、無彩色を示す１２８との絶対差分の算出結果を示している。

制御装置１０４は、図１０（ｂ）および図１０（ｃ）に示す例において、式（７）により算出される値を、テンプレート画像Ａの画素数（８１）に１０をかけた値で割ることによってｘを算出する。算出結果は、ｘ＝５５０／（８１×１０）＝０．６８となる。そして、制御装置１０４は、このｘを用いて式（５）によりシグモイド関数の出力値βを得る。この場合の出力値β、すなわち無彩色度を示す値は、０．１３となる。このβの値は、領域１０ａ内の人物の髪が、図６（ａ）における領域６ａ内の黒髪よりも若干有彩色がかっていることを示している。

この場合に、制御装置１０４は、算出したβを用いて式（６）によりテンプレート画像Ａの各ブロックのＹ成分の値の平均値を正規化すると、βは０に近い数値ではあるが、領域６ａにおける算出結果よりは大きいため、各ブロックのＹ成分の値の平均値から減算される値も大きくなる。これによって、テンプレート画像Ａが有彩色に近づくほど、各ブロックのＹ成分の値の平均値から減算される値を大きくすることができ、精度の高い類似度の算出が可能となる。

図１１は、本実施の形態におけるテンプレートマッチング処理の流れを示すフローチャートである。図１１に示す処理は、撮像素子１０３から画像データが入力されると起動するプログラムとして、制御装置１０４によって実行される。なお、テンプレートマッチング処理で用いる追跡対象の被写体を含んだテンプレート画像は、あらかじめ取得され、バッファメモリとしてのＳＤＲＡＭに記録されているものとする。

ステップＳ１０において、制御装置１０４は、入力画像Ｉ内の探索対象領域内にターゲット枠を設定し、ターゲット枠内の部分画像をターゲット画像Ｂとして抽出する。その後、ステップＳ２０へ進む。

ステップＳ２０では、制御装置１０４は、上述したように、テンプレート画像Ａとターゲット画像Ｂとのそれぞれについて、それぞれの画像内を９つのブロックに分割して、各ブロックごとにＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を算出する。そして、制御装置１０４は、算出したＹ成分の値の平均値を式（６）を用いて正規化して、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０４は、各ブロックごとの正規化後のＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値に基づいて、式（１）により各成分の類似度値ｒを算出する。そして、制御装置１０４は、算出した各成分の類似度値ｒを合計することによって、テンプレート画像Ａとターゲット画像Ｂとの類似度値を算出する。その後、ステップＳ４０へ進む。

ステップＳ４０では、制御装置１０４は、現在の入力画像内におけるターゲット画像Ｂの抽出位置と、ステップＳ３０で算出した類似度値とを対応付けてＳＤＲＡＭに記録し、ステップＳ５０へ進む。

ステップＳ５０では、制御装置１０４は、探索対象領域内の全範囲についてターゲット枠の移動が完了したことにより、探索が完了したか否か、すなわち探索対象領域の全範囲についてテンプレートマッチング処理が完了したか否かを判断する。

ステップＳ５０で否定判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、制御装置１０４は、探索対象領域内でのターゲット枠の設定位置をずらすことによって、ターゲット画像の抽出位置を移動させる。その後、ステップＳ１０へ戻って処理を繰り返す。

これに対して、ステップＳ５０で肯定判断した場合には、ステップＳ５０へ進む。ステップＳ７０では、制御装置１０４は、ステップＳ４０で記録した各ターゲット画像Ｂの抽出位置における類似度値をＳＤＲＡＭから読み出して、全ての類似度の中から最も類似度が高いもの、すなわち類似度値が最も小さいものを特定する。そして、制御装置１０４は、特定した最も小さい類似度が算出されたときのターゲット画像Ｂの抽出位置を、テンプレート画像Ａとの合致位置として特定して、処理を終了する。

なお、制御装置１０４は、図１１に示した上記処理を撮像素子１０３から時系列で入力される画像データに対して繰り返し実行することにより、フレーム間で被写体追跡を行うことができる。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂのそれぞれを複数のブロック（分割領域）に分割し、各ブロックごとにＹ成分の値の平均値とＣｂ成分の値の平均値と、Ｃｒ成分の値の平均値を算出し、いずれか１つのブロックにおけるＹ成分の値の平均値を基準値とする。そして、制御装置１０４は、テンプレート画像Ａおよびターゲット画像Ｂのそれぞれについて、各画素のＣｂ成分、Ｃｒ成分の各値に基づいて、シグモイド関数の出力値βを係数として算出し、各ブロックのＹ成分の平均値から上記基準値に該係数を掛けた値を減算して、各ブロックのＹ成分の値の平均値を正規化する。制御装置１０４は、テンプレート画像Ａにおける各ブロックの正規化後のＹ成分の値の平均値と各ブロックのＣｂ成分の値の平均値とＣｒ成分の値の平均値、およびターゲット画像Ｂにおける各ブロックの正規化後のＹ成分の値の平均値と各ブロックのＣｂ成分の値の平均値とＣｒ成分の値の平均値に基づいて、テンプレート画像Ａとターゲット画像Ｂの類似度を算出するようにした。そして、制御装置１０４は、算出した類似度に基づいて、入力画像内におけるテンプレート画像Ａとの類似度が最も高いターゲット画像Ｂの位置を特定することによりテンプレートマッチング処理を実行するようにした。これによって、テンプレート画像Ａ、およびターゲット画像Ｂが有彩色である場合、無彩色である場合のいずれの場合にも、画像の明るさの変化による影響を排除して、精度の高いテンプレートマッチングが可能となる。さらに、テンプレート画像Ａとターゲット画像Ｂとがいずれも無彩色に近い場合であっても、テンプレートマッチングの精度が低下するのを防ぐことができる。

（２）Ｙ成分の値の平均値を正規化するために用いる係数であるシグモイド関数の出力値βは、０から１の範囲の値をとるようにした。シグモイド関数の出力値βは、テンプレート画像Ａおよびターゲット画像Ｂの無彩色度を示し、βが０に近いほど画像は無彩色に近く（無彩色度が高く）、βが０の場合には画像が完全無彩色であることを示すようにすることができる。また、βが１に近いほど画像は有彩色に近く（無彩色度が低く）、βが１の場合には画像が完全有彩色であることを示すようにすることができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂをそれぞれ９つのブロックに分割し、各ブロックごとにＹ成分、Ｃｂ成分、およびＣｒ成分の値の平均値を算出するようにした。そして、算出したＹ成分の値の平均値を正規化した後、正規化後のＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値に基づいて、テンプレート画像Ａとターゲット画像Ｂとの類似度を算出する例について説明した。しかしながら、制御装置１０４は、各ブロックごとに、各成分の値の平均値ではなく各成分の値の加算値（合計値）を算出し、算出した加算値を用いて、Ｙ成分の値の加算値の正規化、およびテンプレート画像Ａとターゲット画像Ｂとの類似度の算出を行うようにしてもよい。これにより、上述した実施の形態と同様に、テンプレート画像Ａ、およびターゲット画像Ｂが有彩色である場合、無彩色である場合のいずれの場合にも、画像の明るさの変化による影響を排除して、精度の高いテンプレートマッチングが可能となる。

（２）上述した実施の形態では、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂとをそれぞれ９分割し、９つのブロックのそれぞれについてＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を算出する例について説明した。しかしながら、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂとを分割するブロック数を９以外としてもよい。また、テンプレート画像Ａとターゲット画像Ｂとはそれぞれ９×９画素であり、分割後の各ブロックは３×３画素である例について説明したが、テンプレート画像Ａとターゲット画像Ｂの大きさ、および分割後の各ブロックの大きさも上記サイズに限定されない。

（３）上述した実施の形態では、制御装置１０４は、式（１）を用いた残差逐次検定法により、テンプレート画像Ａとターゲット画像Ｂとのマッチング演算を行なう例について説明した。しかしながら、テンプレートマッチングの方法は、他の方法を用いてもよい。例えば、正規化相関法などの他の公知の手法を用いてテンプレート画像Ａとターゲット画像Ｂとのマッチング演算を行なうようにしてもよい。

（４）上述した実施の形態では、カメラ１００上でパターンマッチング処理を行って被写体追跡を行う例について説明したが、パーソナルコンピューター（パソコン）等を用いて上記処理を行ってもよい。例えば、動画再生が可能なパソコンにおいて、動画の各コマを上記ターゲット画像とし、あらかじめ用意されたテンプレート画像を用いてテンプレートマッチングを行う場合にも本発明は適用可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

カメラ１００の一実施の形態の構成を示すブロック図である。 テンプレート画像Ａ、画像Ｉ、およびターゲット画像Ｂの具体例を示す図である。 テンプレート画像Ａとターゲット画像Ｂを９つのブロックに分割した場合の具体例、および各ブロック後との輝度成分の値の平均値、色差成分の値の平均値の算出結果の例を示す図である。 画像の明るさが変化した場合の具体例を示す図である。 各ブロックの輝度成分の値の平均値を正規化した場合の具体例を示す図である。 画像内に設定した領域ごとの画素単位の色差成分の値の例を示す図である。 画像内に設定した領域ごとの画素単位の輝度成分の値の例を示す図である。 シグモイド関数の具体例を示す第１の図である。 シグモイド関数の具体例を示す第２の図である。 画像内に設定した領域の画素単位の色差成分の値の例を示す図である。 テンプレートマッチング処理の流れを示すフローチャート図である。

符号の説明

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (6)

1. 各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とをそれぞれ複数の分割領域に分割する分割手段と、
   前記分割領域ごとに輝度成分の値の平均値と色差成分の値の平均値とを算出し、いずれか１つの分割領域における輝度成分の値の平均値を基準値として算出する平均値算出手段と、
   前記テンプレート画像および前記ターゲット画像のそれぞれについて、各画素の色差成分の値に基づいて係数を算出する係数算出手段と、
   各分割領域の輝度成分の平均値から前記基準値に前記係数を掛けた値を減算して、各分割領域の輝度成分の値の平均値を正規化する正規化手段と、
   前記テンプレート画像における各分割領域の正規化後の輝度成分の値の平均値と各分割領域の色差成分の値の平均値、および前記ターゲット画像における各分割領域の正規化後の輝度成分の値の平均値と各分割領域の色差成分の値の平均値に基づいて、前記テンプレート画像と前記ターゲット画像の類似度を算出する類似度算出手段と、
   前記類似度算出手段による前記類似度の算出結果に基づいて、前記入力画像内における前記テンプレート画像との類似度が最も高い前記ターゲット画像の位置を特定することによりテンプレートマッチング処理を実行するマッチング手段とを備えることを特徴とする画像マッチング装置。
2. 各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とをそれぞれ複数の分割領域に分割する分割手段と、
   前記分割領域ごとに輝度成分の値の加算値と色差成分の値の加算値とを算出し、いずれか１つの分割領域における輝度成分の値の加算値を基準値として算出する加算値算出手段と、
   前記テンプレート画像および前記ターゲット画像のそれぞれについて、各画素の色差成分の値に基づいて係数を算出する係数算出手段と、
   各分割領域の輝度成分の加算値から前記基準値に前記係数を掛けた値を減算して、各分割領域の輝度成分の値の加算値を正規化する正規化手段と、
   前記テンプレート画像における各分割領域の正規化後の輝度成分の値の加算値と各分割領域の色差成分の値の加算値、および前記ターゲット画像における各分割領域の正規化後の輝度成分の値の加算値と各分割領域の色差成分の値の加算値に基づいて、前記テンプレート画像と前記ターゲット画像の類似度を算出する類似度算出手段と、
   前記類似度算出手段による前記類似度の算出結果に基づいて、前記入力画像内における前記テンプレート画像Ａとの類似度が最も高い前記ターゲット画像の位置を特定することによりテンプレートマッチング処理を実行するマッチング手段とを備えることを特徴とする画像マッチング装置。
3. 請求項１または２に記載の画像マッチング装置において、
   前記係数は、０から１の範囲の値であることを特徴とする画像マッチング装置。
4. 請求項３に記載の画像マッチング装置において、
   前記係数は、微分可能であり、かつ入力値に対する出力値が０から１の範囲の値を連続的にとり、かつ出力値が一意に決まる関数により出力される値であることを特徴とする画像マッチング装置。
5. 請求項４に記載の画像マッチング装置において、
   前記関数は、シグモイド関数であることを特徴とする画像マッチング装置。
6. 被写体像を撮像して画像を取得する撮像手段と、
   請求項１〜５のいずれか一項に記載の画像マッチング装置とを備えることを特徴とするカメラ。

Images