(第1の実施の形態)
本発明の第1の実施の形態について図面を参照して説明する。
図1は本発明の第1の実施の形態に係る物体識別装置の構成を示すブロック図である。物体識別装置Z1は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15で構成される。物体識別装置Z1は、例えば、パーソナルコンピュータや携帯情報端末等の情報処理装置を用いて構成されることができる。そして、物体識別装置Z1を構成する各部の機能は、例えば、メモリ等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが展開して実行したりすることにより実現することができる。なお、後述する他の実施形態における構成要素についても同様に実現することができる。
図面および以降の説明において、データベースを「DB」と略記することがある。
局所特徴量抽出部11は、入力画像から局所特徴量を抽出する。局所特徴量抽出部11による処理の詳細については後述する。
局所特徴量照合部12は、局所特徴量抽出部11において入力画像から抽出される局所特徴量である局所特徴量1と、参照画像から抽出される局所特徴量である局所特徴量2とを照合すると共に、入力画像と参照画像の幾何的なずれを補正するための幾何変換情報を出力する。この幾何変換情報は、局所特徴量1と局所特徴量2とを照合する際に、局所特徴点の対応に関する正誤を判断するために算出される。さらに、局所特徴量照合部12は、同一の物体を写している(すなわち、照合の結果、局所特徴量が一致する)と判定された参照画像の画像ID(Identification)を局所特徴識別画像IDとして出力する。局所特徴量2は、図1のように、あらかじめ複数の参照画像から抽出しておきデータベースに記憶しておいても良いし、オンザフライで参照画像から局所特徴量抽出部11を利用して抽出しても良い。データベースに記憶しておく場合、類似する物体を写した参照画像から抽出される局所特徴量を関連付けて登録しておいても良い。局所特徴量照合部12による処理の詳細については後述する。
入力画像差異領域決定部13は、局所特徴量照合部12から出力された局所特徴識別画像IDに対応する参照画像、あるいはその局所特徴識別画像IDに関連付いた参照画像群の差異領域に対し、局所特徴量照合部12から受け取る幾何変換情報を利用して幾何変換を行い、入力画像差異領域情報を出力する。
ここで、差異領域とは、入力画像に写っている物体と参照画像に写っている物体とでわずかに差異が生じ得る領域である。この差異領域は画像中に複数存在しても良い。参照画像(または参照画像群)の差異領域情報は、例えば差異領域が矩形である場合、参照画像における差異領域の4隅の座標値情報であっても良い。または、差異領域情報は、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。入力画像に写っている物体と参照画像に写っている物体との差分が、物体中の文字列領域である場合、差異領域情報は、その文字列全体を囲う矩形の参照画像における4隅の座標値情報であっても良いし、あるいはその文字列を構成する各文字を囲う矩形の参照画像における4隅の座標値情報群であっても良いし、あるいは、その両方の情報であっても良い。
入力画像差異領域情報は、参照画像における差異領域の4隅の座標値にそれぞれ幾何変換情報を作用させることによって得られる情報である。入力画像差異領域情報は、例えば、入力画像における差異領域の4隅の座標値によって示される。あるいは、参照画像における差異領域情報がその差異領域を構成する参照画像中の画素群の座標値情報である場合、それらの画素群にそれぞれ幾何変換情報を作用させ、入力画像における差異領域を構成する画素群の座標値情報を入力画像差異領域情報としても良い。入力画像に写っている物体と参照画像に写っている物体との差分が、物体中の文字列領域である場合、入力画像差異領域情報は、その文字列全体を囲う矩形の参照画像における4隅の各座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の4隅の座標値情報であっても良い。あるいは、入力画像差異領域情報は、その文字列を構成する各文字を囲う矩形の参照画像における4隅の座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の4隅の座標値情報群であっても良い。あるいは、入力画像差異領域情報は、その両方の情報であっても良い。参照画像における差異領域情報は、事前にデータベースに登録されている。その実現方法として、参照画像における差異領域情報は、局所特徴量2をデータベースとして記憶しておく場合には、図1のように局所特徴量DBに一緒に記憶されても良い。入力画像差異領域決定部13による処理の詳細については後述する。
入力画像差異領域特徴量抽出部14は、入力画像差異領域決定部13で決定された入力画像差異領域情報に基づき、入力画像中の差異領域に対して補正を行い、補正後の差異領域から特徴量を抽出する。入力画像差異領域特徴量抽出部14による処理の詳細については後述する。
特徴量照合部15は、入力画像差異領域特徴量抽出部14において入力画像中の差異領域から抽出された特徴量である特徴量1と、参照画像中の差異領域から抽出された特徴量である特徴量2とを照合して、入力画像及び参照画像が同一の物体を写しているか否かを判定する。特徴量照合部15は、同一の物体を写していると判定された画像に対応する画像IDを差異領域識別画像IDとして出力する。特徴量2は、図1のように、あらかじめ複数の参照画像から抽出されてデータベースに記憶されても良いし、オンザフライで参照画像から抽出されても良い。データベースに記憶しておく場合、類似する物体が関連付けて登録されても良い。入力画像の差異領域から抽出される特徴量1と、参照画像の差異領域から抽出される特徴量2は、同一の処理によって抽出された特徴量、あるいは同種の特徴量である。特徴量照合部15の詳細については後述する。
図2は、図1に示した入力画像差異領域決定部13の動作例を説明するためのフローチャートである。図2に示すように、入力画像差異領域決定部13は、S131で処理を制御するための変数iの初期化を行う。S132においては、入力画像差異領域決定部13は、幾何変換情報を取得する。S133においては、入力画像差異領域決定部13は、参照画像の差異領域情報を取得する。ここで取得される差異領域情報は、差異領域が矩形である場合、その4隅の参照画像における座標値情報であっても良いし、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。S134では、入力画像差異領域決定部13は、S132において取得した幾何変換情報を、S133において取得した差異領域情報に作用させる。ここで、差異領域情報が、差異領域を表す4隅の座標値情報である場合は、入力画像差異領域決定部13は、4つの座標値のうちの1つに幾何変換情報を作用させる。また、差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合は、入力画像差異領域決定部13は、画素群のうちの1つの画素に幾何変換情報を作用させる。この時点で変数iが所定の数N未満である場合、入力画像差異領域決定部13は、S135において変数iの値を更新し、変数iの値がN以上になるまでS133とS134の処理を継続する。S135の“i++”とは、iの値に1加算することを表す。S133において取得する差異領域情報が、参照画像中のある1つの領域に関する情報で、かつその領域の4隅の座標値情報である場合には、入力画像差異領域決定部13は、N=4を設定する。差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合には、入力画像差異領域決定部13は、差異領域を構成する参照画像中の画素群の数をNの値として設定する。また、S133において取得する差異領域情報が、物体中の一部の文字列を構成する各文字を囲う矩形のように、画像中に存在する複数の領域の4隅の座標値情報群である場合には、入力画像差異領域決定部13は、その領域数をnとするとN=4×nを設定する。最後に、S136では、入力画像差異領域決定部13は、S134で算出した入力画像差異領域情報を出力し、処理を終了する。
次に、図3を参照して、局所特徴量抽出部11による処理について詳述する。図3は、局所特徴量抽出部11の構成例を表すブロック図である。図3に示すように、局所特徴量抽出部11は、輝度情報抽出部101、局所特徴点検出部102、局所特徴量生成部103で構成される事が可能である。
輝度情報抽出部101は、入力画像を受け取り、その入力画像の各画素から輝度に関する情報のみを抽出し出力する。ここで受け取る入力画像は、デジタルカメラやデジタルビデオカメラ、携帯電話等の撮像機器で撮影された画像や、スキャナー等を通して取り込まれた画像などである。また、画像は、JPEG(Joint Photographic Experts Group)のように圧縮された画像であってもよいし、TIFF(Tagged Image File Format)のように圧縮されていない画像であってもよい。局所特徴点検出部102は、画像から特徴的な点(特徴点)を多数検出し、各特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された局所特徴点の座標位置やスケール、特徴点のオリエンテーション、特徴点に対して割り当てられた固有のIDである「特徴点番号」等を示すものである。なお、局所特徴点検出部102は、特徴点情報を、各特徴点のオリエンテーションの方向毎に別々の特徴点情報として出力しても良い。例えば、局所特徴点検出部102は、各特徴点における最も主たるオリエンテーションの方向についてのみ特徴点情報を出力してもよいし、2番目以降の主たるオリエンテーションの方向についての特徴点情報も出力してもよい。
また、局所特徴点検出部102は、2番目以降の主たるオリエンテーションの方向についての特徴点情報も出力する場合、各特徴点におけるオリエンテーションの方向ごとに異なる特徴点番号を付与することができる。局所特徴点検出部102は、画像から特徴点を検出して特徴点情報を抽出する際に、例えば、DoG(Difference−of−Gaussian)処理を用いることができる。具体的には、局所特徴点検出部102は、DoG処理を用いてスケールスペースにおける極値探索をすることで特徴点の位置とスケールを決定することができる。さらに局所特徴点検出部102は、決定した特徴点の位置およびスケールと周辺領域の勾配情報とを用いて各特徴点のオリエンテーションを算出することができる。なお、局所特徴点検出部102は、画像から特徴点を検出して特徴点情報を抽出する際に、DoGではなく、Fast−Hessian Detector等の他の手法を用いてもよい。局所特徴点検出部102は、その内部で検出された特徴点の中から重要な特徴点のみを選び出し、その特徴点に関する情報のみを特徴点情報として出力しても良い。
局所特徴量生成部103は、局所特徴点検出部102から出力される特徴点情報を受け取り、各特徴点に対する局所領域の特徴量である局所特徴量を生成(記述)する。なお、局所特徴量生成部103は、ZIPやLZH等の可逆圧縮で圧縮された形式で局所特徴量を出力してもよい。局所特徴量生成部103は、局所特徴点検出部102において、検出する特徴点の重要度を決めている場合、その特徴点の重要度順に局所特徴量を生成して出力することができる。また、局所特徴量生成部103は、特徴点の座標位置順に局所特徴量を生成して出力してもよい。局所特徴量生成部103は、まず、特徴点情報に基づいて、検出された各特徴点の座標値、スケール、及びオリエンテーションから、特徴量抽出を行う局所領域を取得する。なお、1つの特徴点に対してオリエンテーションの異なる複数の特徴点情報が存在する場合、局所特徴量生成部103は、各特徴点情報に対して局所領域を取得することができる。次に、局所特徴量生成部103は、局所領域を特徴点のオリエンテーション方向に応じて回転させて正規化した後、サブ領域に分割する。例えば、局所領域を16ブロック(4×4ブロック)に分割することができる。次に、局所特徴量生成部103は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。具体的には、局所特徴量生成部103は、各サブ領域の画素ごとに勾配方向を算出し、それを8方向に量子化して、サブ領域ごとに量子化された8方向の頻度を集計し、勾配方向ヒストグラムを生成する。この時、局所特徴量生成部103は、各特徴点に対して生成される16ブロック×8方向の勾配方向ヒストグラムにより構成される特徴ベクトルを局所特徴量として出力する。局所特徴量生成部103は、出力される局所特徴量には、特徴点の座標位置情報を含めて出力する。
次に、図4を参照して、局所特徴量照合部12による処理について詳述する。図4は、局所特徴量照合部12の構成例を表すブロック図である。図4に示すように、局所特徴量照合部12は、対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203、閾値判定部204で構成されることが可能である。
対応特徴点決定部201は、局所特徴量抽出部11によって入力画像から抽出される局所特徴量1と、参照画像から抽出される局所特徴量2とを受け取り、対応特徴点情報を出力する。例えば、上記の局所特徴量1と局所特徴量2がそれぞれ局所特徴点周辺の勾配ヒストグラムを記述した特徴量の集合である場合、対応特徴点決定部201は、特徴量空間における距離計算を特徴量の全組み合わせについて行う。ここで、対応特徴点決定部201は、最小となる距離値が次に小さい距離値に対して十分に小さくなる場合に限り、その距離値が最小となる特徴量の組み合わせに関して、その特徴量及び特徴量記述の基になっている局所特徴点は対応していると判断する。そして、対応特徴点決定部201は、局所特徴点の位置情報と対応する局所特徴点の位置情報を対応特徴点情報として出力する。
誤対応点除去部202は、対応特徴点決定部201から対応特徴点情報を受け取り、それらの対応特徴点の中から、正しく対応している特徴点と誤って対応している特徴点を判別する。そして、誤対応点除去部202は、その判別した特徴点情報をそれぞれ出力すると共に、その判別に使用する幾何変換情報もあわせて出力する。例えば、誤対応点除去部202は、対応特徴点決定部201から受け取った対応特徴点情報に対し、RANSAC(RANdom SAmple Consensus)等の手法を適用して、参照画像中の座標から入力画像中の座標への幾何変換情報を推定する。誤対応点除去部202は、ここで推定された幾何変換情報を、対応特徴点の参照画像側の特徴点に対しそれぞれ作用させ、それらが入力画像側の特徴点にほぼ一致する場合は正しく対応している特徴点であると判断する。逆に入力側の特徴点に一致しない場合は、誤対応点除去部202は、誤って対応している特徴点であると判断する。
識別スコア算出部203は、誤対応点除去部202から対応特徴点情報を受け取り、識別スコアを出力する。識別スコアは、(局所)特徴量の類似の程度を示す。出力する識別スコアは、以下のように求められてもよい。例えば、識別スコア算出部203は、誤対応点除去部202から受け取った対応特徴点情報の中から、正しく対応した特徴点の組み合わせ数をカウントする。そして、識別スコア算出部203は、あらかじめ用意された、正しく対応した特徴点の組み合わせの数を0から1の間のスコアにマッピングさせるためのテーブルを参照して識別スコアを出力しても良い。または、正しく対応した特徴点の組み合わせ数がcである場合、識別スコア算出部203は、あらかじめ定められた特徴点の最低対応数をmとして、m/(c+m)を識別スコアとして算出しても良い。
閾値判定部204は、識別スコア算出部203から出力された識別スコアを閾値処理する。識別スコアが閾値以上である場合は、閾値判定部204は、同一の物体を写した画像であると判定し、その参照画像のIDを局所特徴識別画像IDとして出力する。この閾値判定部204が使用する閾値は、事前に決定され内部に保持された値であっても良いし、外部から与えられる値であっても良い。
次に、入力画像差異領域特徴量抽出部14について詳述する。図5、図6は、入力画像差異領域特徴量抽出部14の構成例を表すブロック図である。以下、各図について説明する。
図5に示すように、入力画像差異領域特徴量抽出部14は、差異領域情報補正部401、補正差異領域画像生成部402、差異領域特徴量算出部403で構成される事が可能である。
差異領域情報補正部401は、入力画像差異領域決定部13から入力画像差異領域情報を受け取り、入力画像差異領域の範囲を変更するようにその入力画像差異領域情報を補正する。例えば、差異領域情報補正部401は、入力画像の差異領域内のある点を基準にして所定の比率だけ拡大した領域を補正後の差異領域としても良い。または、差異領域情報補正部401は、入力画像の差異領域内のある点を基準にして所定の画素分だけ広げた領域を補正後の差異領域としても良い。ここで、基準にする点は、差異領域の重心点であっても良い。また、入力画像の差異領域が、参照画像における差異領域の4隅の座標値にそれぞれ幾何変換情報を作用させることによって得られる、入力画像における差異領域の4隅の座標値である場合、基準にする点は、その4隅で定義される矩形の対角線の交点であっても良い。例えば、入力画像差異領域決定部13から受け取る入力画像差異領域の端にエッジが密集している等の場合、入力画像差異領域外に同種の情報が含まれていることが予測できる。この場合、差異領域情報補正部401は、入力画像差異領域情報の補正として、同種の情報を含んでいると予測できる方向に入力画像差異領域をずらしても良いし、もしくは入力画像差異領域を広げても良い。
補正差異領域画像生成部402は、入力画像と、差異領域情報補正部401から補正差異領域情報を受け取る。その補正差異領域情報が、入力画像における補正後の差異領域の4隅の座標値情報である場合、補正差異領域画像生成部402は、4隅のうち隣り合う2隅を直線で結んだ時に通過する画素を順に読み取る等して、入力画像中からその値を読み取っていく画素とその順序を決定する。この事により、補正差異領域画像生成部402は、差異領域画像を生成し出力する。または、差異領域情報補正部401から受け取る補正差異領域情報が、入力画像における補正後の差異領域を構成する画素群の座標値を表す情報である場合、補正差異領域画像生成部402は、その順序で入力画像を読み取り差異領域画像として出力する。
差異領域特徴量算出部403は、補正差異領域画像生成部402で生成された差異領域画像から特徴量を抽出し、その特徴量を出力する。差異領域特徴量算出部403の詳細については後述する。入力画像に写っている物体が湾曲しているような場合、入力画像差異領域決定部13で算出される入力画像の差異領域が誤差を含んでしまう事がある。そのような場合においても、入力画像差異領域特徴量抽出部14は、図5の構成を有していることにより、差異領域情報の補正を行ってから特徴量の抽出処理を行うため、正確な特徴量を抽出できる。
また、図6に示すように、入力画像差異領域特徴量抽出部14は、差異領域画像生成部404と差異領域特徴量算出部403で構成される事も可能である。図6の差異領域画像生成部404は、図5で示される入力画像差異領域特徴量抽出部14の構成要素である補正差異領域画像生成部402とほぼ同一であるが、補正差異領域情報の代わりに、入力画像差異領域情報が入力される点が異なっている。図6の差異領域特徴量算出部403は、図5で示される差異領域特徴量算出部403と同一であり、詳細な説明は省略する。
図7、図8、図9、図10、図11、図60は、差異領域特徴量算出部403の構成例を表すブロック図である。以下、各図について説明する。
図7に示すように、差異領域特徴量算出部403は、色構成比特徴量算出部40301で構成される事が可能である。色構成比特徴量算出部40301は、補正差異領域画像生成部402で生成された差異領域画像の色ヒストグラムを特徴量として出力する。ここで生成される特徴量は、例えばRGB(Red,Green,Blue)空間のヒストグラムであっても、HSV(Hue,Saturation,Value)空間のヒストグラムであっても、その他の色空間におけるヒストグラムであっても良い。差異領域特徴量算出部403の図7の構成は、入力画像に写っている物体と参照画像に写っている物体の色に明確な差がある時に特に効果的である。
また、図8に示すように、差異領域特徴量算出部403は、色配置特徴量算出部40302で構成される事も可能である。色配置特徴量算出部40302は、補正差異領域画像生成部402で生成された差異領域画像の色レイアウトの情報を特徴量として出力する。ここで生成される特徴量は、差異領域画像を8×8の区画に分割し、各区画における画素値の平均値に対し2次元DCT(Discrete Cosine Transform)を行い、変換係数を低周波成分から順に定められた個数だけ抽出したものであっても良い。または、ここで生成される特徴量は、差異領域画像をサブブロックに分割し、サブブロック毎に算出される平均色を示す値(RGB値等)であっても良い。差異領域特徴量算出部403の図8の構成は、図7の構成と同様、入力画像に写っている物体と参照画像に写っている物体の色に明確な差がある時に特に効果的である。
また、図9に示すように、差異領域特徴量算出部403は、文字照合用特徴量算出部40303で構成される事が可能である。この構成は、入力画像に写っている物体と参照画像に写っている物体との差分が物体中の文字列領域であるとすると、入力画像の差異領域が、その文字列を構成する各文字を囲う矩形の参照画像における4隅の座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の4隅の座標値情報群である場合に可能である。すなわち、この構成では、参照画像中の差異領域である各文字の外接矩形の4隅の座標値を幾何変換して得られる入力画像中の領域が差異領域画像として文字照合用特徴量算出部40303に入力される。そして、文字照合用特徴量算出部40303はその差異領域画像から特徴量抽出を行う。文字照合用特徴量算出部40303は、補正差異領域画像生成部402で生成された差異領域画像から、例えば、各文字に外接する矩形をそれぞれ4×4に分割し、その分割領域毎に8方向の勾配ヒストグラムを構築したものを特徴量として抽出しても良い。差異領域特徴量算出部403の図9の構成は、入力画像に写っている物体と参照画像に写っている物体とで、一部の文字のみに差がある場合に特に効果的である。
また、図10に示すように、差異領域特徴量算出部403は、二値化処理部40304、文字領域検出部40305、文字照合用特徴量算出部40306で構成される事も可能である。
この構成は、入力画像に写っている物体と参照画像に写っている物体との差分が物体中の文字列領域であるとすると、入力画像の差異領域が、その文字列全体を囲う矩形の参照画像における4隅の各座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の4隅の座標値情報である場合に可能である。これに加えて、その文字列を構成する各文字を囲う矩形の参照画像における4隅の座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の4隅の座標値情報群があっても良い。
二値化処理部40304は、補正差異領域画像生成部402で生成された差異領域画像に対し、あらかじめ定められた閾値、あるいは適応的に算出された閾値に基づいて二値化を行い、二値化の結果を二値化画像として出力する。適応的に閾値を算出する方法として、例えば、差異領域画像の画素値の分布に関して、ある点Pで分けられた2つのクラスのクラス内分散が最小&クラス間分散が最大になるPを閾値として自動的に算出するような判別二値化が考えられる。補正差異領域画像生成部402で生成された差異領域画像に文字が存在する場合、文字はその背景部とのコントラストが大きくなるよう黒あるいは白で書かれる事が多いという事を考慮すると、二値化処理部40304から出力される二値化画像は、文字部が黒で背景部が白、あるいは文字部が白で背景部が黒、のいずれかの画像が出力される。ここで、入力画像に写っている物体が湾曲しているような場合、入力画像差異領域決定部13で算出される入力画像の差異領域が誤差を含んでしまう事がある。このような場合、文字列全体を囲う矩形の参照画像における4隅の各座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域に対し直接判別二値化を行うと、二値化の閾値が正しく設定されず、文字領域が検出できなくなる可能性がある。しかし、図10の構成において、入力画像の差異領域が、文字列全体を囲う矩形の参照画像における4隅の各座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の4隅の座標値情報に加えて次のような情報を含んでいる場合、二値化処理部40304は、より正確な二値化画像を出力する事ができる。その情報とは、その文字列を構成する各文字を囲う矩形の参照画像における4隅の座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の4隅の座標値情報群である。具体的には、二値化処理部40304は、差分となっている文字列を構成する各文字を囲う矩形の参照画像における4隅の座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域に対してのみまず判別二値化を行う。次に、二値化処理部40304は、そこで算出される閾値を使って、文字列全体を囲う矩形の参照画像における4隅の座標値に、幾何変換情報を作用させる事によって得られる入力画像中の領域に対し、二値化を行う。このような二値化処理にした場合、初めに閾値を決定する際に使用する領域は、文字のみが含まれている可能性の高い領域になる。このため、文字列全体を囲う矩形の参照画像における4隅の各座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域に対し直接判別二値化を行う場合と比べて、入力画像の差異領域における誤差の影響を軽減した二値化を実現できる。さらに、閾値を決定する際に使用する領域の中で、文字が含まれている可能性の高い領域のみを選択的に利用したい場合には、各領域内の画素値の分散が高い領域のみが利用されてもよい。
文字領域検出部40305は、二値化処理部40304で生成された二値化画像を受け取り、画像中で文字が存在する領域の情報である文字領域情報を出力する。文字が存在する領域を検出するには、例えば、文字領域検出部40305は、二値化画像中の黒画素が連結している部分を一塊として、その各連結部分に外接する矩形の4隅の座標値情報群、あるいは各連結部分を構成する画素群の座標値情報を文字領域情報として出力する。連結部分を検出する際、二値化処理部40304で生成される二値化画像において黒画素が多くなっている場合、暗い背景に白い文字が書かれている可能性があるため、二値化画像における白画素と黒画素を反転した後、上記の処理が行われても良い。ここで出力される文字領域情報は、1つの連結部がほぼ1文字に相当すると考えられるため、差異領域画像中に存在する各文字に外接する矩形の4隅の情報を表すことになる。
文字照合用特徴量算出部40306は、図9で示される差異領域特徴量算出部403の構成要素である文字照合用特徴量算出部40303とほぼ同一であるが、差異領域画像に加えて文字領域情報が入力される点が異なっている。すなわち、この構成では、文字照合用特徴量算出部40306は、差分となっている文字列の各文字の外接矩形の参照画像における4隅の座標値を幾何変換して得られる入力画像中の領域から特徴量抽出を行うのではない。その代りに、文字照合用特徴量算出部40306は、差分の文字列全体を囲う矩形の参照画像における4隅の座標値を幾何変換して得られる入力画像中の領域から、文字領域を改めて検出し、その検出された文字領域から特徴量を算出する。差異領域特徴量算出部403の図10の構成は、図9の構成と同様、入力画像に写っている物体と参照画像に写っている物体とで、一部の文字のみに差がある場合に特に効果的である。
また、図11に示すように、差異領域特徴量算出部403は、画像値抽出部40307で構成される事も可能である。画像値抽出部40307は、補正差異領域画像生成部402で生成された差異領域画像の輝度値をそのまま特徴量として出力しても良い。または、補正差異領域画像生成部402で生成された差異領域画像の全輝度値の平均をa、標準偏差をsとして、差分領域画像の輝度値をpとした時、(p−a)/sのように補正した輝度値を特徴量として出力しても良い。なお、図11に示すように、差異領域特徴量算出部403は、画像値抽出部40307で構成される場合、差異領域の縦及び横の画素数の情報を、特徴量と一緒に出力しても良い。
また、図60に示すように、差異領域特徴量算出部403は、形状特徴量算出部40308で構成される事も可能である。形状特徴量算出部40308は、補正差異領域画像生成部402で生成された差異領域画像の形状の情報を特徴量として出力する。形状特徴量算出部40308は、次のような処理によって特徴量を生成しても良い。例えば、補正差異領域画像生成部402で生成された差異領域画像を4×4等の複数のサブブロックに分割し、その分割領域毎に複数方向の勾配ヒストグラムを構築し、そのヒストグラムを特徴量として抽出する事によって特徴量を生成しても良い。あるいは、補正差異領域画像生成部402で生成された差異領域画像からエッジを抽出し、各画素の値がエッジ強度を示すエッジ画像を作成し、そのエッジ画像を特徴量として抽出する事によって特徴量を生成しても良い。あるいは、上記のエッジ画像をエッジ強度に対する所定の閾値に基づいて処理で2値化する処理を行い、その2値化された画像を特徴量として抽出する事によって特徴量を生成しても良い。
差異領域特徴量算出部403の図60の構成は、入力画像に写っている物体と参照画像に写っている物体の形状に明確な差がある時に特に効果的である。
なお、差異領域特徴量算出部403は、図7、図8、図9、図10、図11、図60の構成の他に、これらを組み合わせた構成にして、それぞれ算出された特徴量を1つにまとめた特徴量にして出力する事も可能である。
図12、図13は、差異領域特徴量算出部403がそれぞれ図9、図10の構成である場合、特徴量を抽出する対象となる領域の例を示したイメージ図である。図12のように、入力画像の差異領域が、文字列を構成する各文字の外接矩形の参照画像における4隅の座標値を幾何変換して得られる領域である場合、入力画像に写っている物体が湾曲しているような時は、幾何変換情報を作用させて得られる領域が誤差を含む事がある。この時、特徴量を抽出する対象の領域が実際の文字部とずれてしまう。一方、図13のように、入力画像中の領域から文字領域を改めて検出し、その検出された文字領域から特徴量を抽出する場合、幾何変換による誤差の影響を受けず、より正確な特徴量を抽出する事が可能である。さらに、差異領域情報補正部401による補正を行う事で、補正前の入力画像の差異領域から文字がはみ出しているような場合でも、正確に特徴量を抽出する事が可能である。
次に、特徴量照合部15について詳述する。図14は、特徴量照合部15の構成例を表すブロック図である。以下、この図について説明する。図14に示すように、特徴量照合部15は、差異領域識別スコア算出部501と閾値判定部502で構成される事が可能である。
差異領域識別スコア算出部501は、入力画像の差異領域から抽出される特徴量を特徴量1として、参照画像の差異領域から抽出される特徴量を特徴量2として、それぞれ受け取る。そして、差異領域識別スコア算出部501は、この2つの特徴量から決定される識別スコアを差異領域識別スコアとして出力する。差異領域識別スコアは、特徴量1と特徴量2が類似している程、その値が高くなるような尺度である。例えば、差異領域識別スコア算出部501は、特徴量1と特徴量2の特徴量空間上での距離を計算し、その逆数を差異領域識別スコアとして出力しても良い。または、特徴量1と、複数の参照画像群からそれぞれ抽出した特徴量2を照合する場合、差異領域識別スコア算出部501は、差異領域識別スコアを次のように出力しても良い。まず、差異領域識別スコア算出部501は、特徴量の全組み合わせの中で特徴量空間上での距離の最小値を見つける。次に、差異領域識別スコア算出部501は、その最小値で特徴量の全組み合わせにおける特徴量空間上での距離を割った値の逆数を、差異領域識別スコアとして出力しても良い。または、差異領域識別スコア算出部501は、あらかじめ用意された、特徴量1と特徴量2の特徴量空間上での距離値を0〜1の間のスコアにマッピングさせるためのテーブルを参照することにより差異領域識別スコアを出力しても良い。または、入力画像の差異領域から抽出される特徴量が図11のような輝度値あるいは平均や標準偏差を利用して補正された輝度値である場合、差異領域識別スコア算出部501は、差異領域識別スコアを次のように出力しても良い。差異領域識別スコア算出部501は、参照画像の差異領域における対応する輝度値との差分の総和や、対応する輝度値の差の2乗の総和や、対応する輝度値の差の絶対値の総和が小さいものほど大きくなるようなスコアとして差異領域識別スコアを出力しても良い。または、差異領域識別スコア算出部501は、対応する輝度値の正規化相互相関が1に近いほど大きくなるようなスコアとして差異領域識別スコアを出力しても良い。入力画像の差異領域から抽出される特徴量が図11のような輝度値あるいは平均や標準偏差を利用して補正した輝度値である場合は、差異領域識別スコア算出部501は、差異領域識別スコアを次のように出力しても良い。まず、前記のように対応する画素の輝度値を比較する前に、差異領域識別スコア算出部501は、特徴量2を抽出した参照画像の差異領域と、特徴量1を抽出した入力画像の差異領域の位置が最も合うようにLucas-Kanade法等を用いて特徴量1を変換する。そして、差異領域識別スコア算出部501は、特徴量2と変換後の特徴量1の対応する画素の輝度値の差分の総和や、輝度値の差の2乗の総和や、輝度値の差の絶対値の総和が小さいものほど大きくなるようなスコアとして差異領域識別スコアを出力しても良い。または、入力画像の差異領域から抽出される特徴量が図60のような形状特徴量、特に各画素の値がエッジ強度を示すエッジ画像、あるいは前記エッジ画像をエッジ強度に対する閾値処理で2値化した画像である場合、差異領域識別スコア算出部501は、差異領域識別スコアを次のように出力しても良い。まず、差異領域識別スコア算出部501は、参照画像の差異領域から抽出される特徴量である特徴量2をテンプレートとして、そのスケールや方向や位置を変化させながら、特徴量1の中で画像パターンが最も類似する領域を探索する。そして、差異領域識別スコア算出部501は、その時のテンプレートの画素数に対するパターンが一致した画素数の割合を差異領域識別スコアとして出力しても良い。この時、パターンの一致度を測る尺度として、対応する画素のエッジ強度の差分の絶対値の総和、対応する画素のエッジ強度の差分の2乗の総和等を用いても良いし、それ以外の尺度を用いても良い。入力画像の差異領域から抽出される特徴量が図60のような形状特徴量、特に各画素の値がエッジ強度を示すエッジ画像、あるいは前記エッジ画像をエッジ強度に対する閾値処理で2値化した画像である場合、次のように処理しても良い。すなわち、差異領域識別スコア算出部501は、参照画像の差異領域から抽出される特徴量である特徴量2を全て利用するのではなく、部分的に利用しても良い。例えば、差異領域識別スコア算出部501は、エッジの連続性を考慮する等して輪郭に相当するエッジのみを照合に利用しても良い。具体的には、差異領域識別スコア算出部501は、特徴量2の中の輪郭に相当する各エッジに対し、一般化ハフ変換等の方法で特徴量1と最もフィッティングする位置を探索しても良い。または、差異領域識別スコア算出部501は、前記の輪郭に相当するエッジのスケールや方向や位置を変化させながら特徴量1と最も重なる位置を探索しても良いし、別の方法で探索しても良い。その時、差異領域識別スコア算出部501は、例えば全投票数に対する投票数の最大値の割合を差異領域識別スコアとして出力しても良い。または、入力画像の差異領域から抽出される特徴量が図9や図10の場合、差異領域識別スコア算出部501は、対応する矩形毎にその類似度を算出し、それら算出された類似度を差異領域識別スコアとして出力しても良い。入力画像の差異領域から抽出される特徴量が図9や図10の場合、対応する矩形の例を図12、図13の点線矢印でそれぞれ示す。図9の場合は、参照画像中における各文字の領域と、その各文字の座標位置を幾何変換して得られる入力画像中の領域が対応する矩形である。図10の場合は、参照画像中における各文字の座標位置と、入力画像中の各文字の座標位置を比較し、その座標位置が近い文字が対応する矩形である。
閾値判定部502は、差異領域識別スコア算出部501から出力された差異領域識別スコアを閾値処理する。差異領域識別スコアが閾値以上である場合は、閾値判定部502は、同一の物体を写した画像であると判定し、その参照画像のIDを差異領域識別画像IDとして出力する。この閾値判定部502が使用する閾値は、事前に決定され内部に保持された値であっても良いし、外部から与えられる値であっても良い。または、差異領域識別スコア算出部501から出力された差異領域識別スコアが、参照画像内の複数の矩形領域からそれぞれ抽出される特徴量と、その各矩形領域に対応する入力画像内の領域からそれぞれ抽出された特徴量の類似度である場合、閾値判定部502は次のように処理しても良い。すなわち、閾値判定部502は、対応する領域数に対する、類似度が閾値以上である対応領域数の割合を算出し、その割合が閾値以上である参照画像のIDを差異領域識別画像IDとして出力しても良い。または、差異領域識別スコア算出部501から出力された最も高い差異領域識別スコアと、2番目に高い差異領域識別スコアの差分が閾値以上である場合、閾値判定部502は、最も高い差異領域識別スコアとなる参照画像のIDを差異領域識別画像IDとして出力しても良い。または、差異領域識別スコア算出部501から出力された最も高い差異領域識別スコアに対する、2番目に高い差異領域識別スコアの比率が閾値以下である場合、閾値判定部502は、最も高い差異領域識別スコアとなる参照画像のIDを差異領域識別画像IDとして出力しても良い。または、閾値判定部502は、まず、差異領域識別スコア算出部501から出力された差異領域識別スコアを閾値処理し、閾値以上である物に絞る。その後、最も高い差異領域識別スコアと2番目に高い差異領域識別スコアが十分に離れている場合、閾値判定部502は、最も高い差異領域識別スコアとなる参照画像のIDを差異領域識別画像IDとして出力しても良い。または、入力画像差異領域特徴量抽出部14から受け取る特徴量が、複数の特徴量を1つにまとめた特徴量である場合、閾値判定部502は次のように処理しても良い。すなわち、閾値判定部502は、まず、ある特徴量に関して差異領域識別スコア算出及び閾値判定を行う。そこで結果として出力されるIDに対応する参照画像に対して、別の特徴量に関して差異領域識別スコア算出及び閾値判定を行うというように、閾値判定部502は、段階的に照合していっても良い。
図15は、本発明の第1の実施の形態に係る物体識別装置の実現例の1つである。図15の物体識別装置Z1’は、図1とほぼ同じだが、差異領域情報のみを格納したデータベースである差異領域情報DBを設けている点が異なる。局所特徴量2がデータベースとして記憶されておらず、参照画像からオンザフライで抽出される場合、この図15の構成で本発明の第1の実施の形態に係る物体識別装置が実現できる。
図16、図17、図18、図19は、それぞれ参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係として考えられるパターンを示したイメージ図である。
図16は、物体が参照画像全体に表示され、差異領域が参照画像全体である場合を示している。これは、同一銘柄で味付けが異なるお菓子パッケージ等でよく見られるように、物体に刻まれている文字・模様等はほぼ同一だが、その物体の色が異なる場合等が該当する。
図17は、物体が参照画像全体に表示され、差異領域が参照画像の一部である場合を示している。これは、同一シリーズで巻が異なる本の背表紙等でよく見られるように、ほぼ同一なのだが、物体の一部分のみ色や文字や模様が異なる場合が該当する。
図18、図19は、図16、図17とそれぞれほぼ同様だが、参照画像が画像全体ではなくその一部にしか写っていない点が異なる。このいずれのパターンにおいても、本発明の第1の実施の形態に係る物体識別装置Z1’では、その差異領域の情報が事前にデータベース登録されている。その登録されている参照画像中の差異領域、及び幾何変換情報と差異領域情報を用いて決定される入力画像中の差異領域、さらにその入力画像中の差異領域を補正した領域は、それぞれ、差異がある必要最小限の領域だけを参照画像と入力画像から抽出する事ができる。このため、差異領域が物体全体の場合はもちろん、物体のほんの一部の場合であっても、画像に写った物体を正確に識別する事ができる。このことにより、従来の局所特徴量のみを使った場合に問題となっていた誤識別を抑制する事が可能となる。
以上のように、本発明の第1の実施の形態に係る物体識別装置Z1あるいはZ1’は、入力画像に写っている物体とわずかの差異しか存在しない異なる物体を写した参照画像に対する誤識別を低減することができる。その理由は、以下のとおりである。局所特徴量を照合する際に算出する、入力画像と参照画像の間の幾何変換情報に基づき、参照画像中の差異領域を変換する事によって、入力画像中の差異領域が決定される。そして、入力画像の差異領域から抽出される特徴量と参照画像の差異領域から抽出される特徴量を照合する事で、従来の局所特徴量による照合だけでは識別できなかった細かな差異を見分け、同一の物体を写した画像のみを識別する事が可能になるためである。
(第2の実施の形態)
本発明の第2の実施の形態について図面を参照して説明する。
図20は、本発明の第2の実施の形態に係る物体識別装置の構成を示すブロック図である。図20に示すように、第2の実施の形態に係る物体識別装置Z2は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、差異領域推定部17、差異領域特徴量抽出部18、特徴量照合部15で構成される。このように、第2の実施の形態に係る物体識別装置Z2では、第1の実施の形態に係る物体識別装置の局所特徴量照合部12が局所特徴量照合部16に変更され、差異領域情報を格納したデータベースである差異領域情報DBが差異領域推定部17及び差異領域特徴量抽出部18に変更されている点が異なる。局所特徴量照合部16、差異領域推定部17、差異領域特徴量抽出部18の詳細については後述する。その他の構成要素については第1の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図21は、局所特徴量照合部16の構成例を表すブロック図である。以下、この図について説明する。図21に示すように、局所特徴量照合部16は、対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203、閾値判定部204で構成される事が可能である。これは、図4で示される、局所特徴量照合部12と同一の構成要素であるが、誤対応点除去部202から出力される幾何変換情報、閾値判定部204から出力される局所特徴識別画像IDに加え、誤対応点除去部202から出力される対応特徴点情報を局所特徴量照合部16から出力している点が異なっている。なお、対応特徴点情報は、前述のとおり、参照画像と入力画像との間で、特徴点が正しく対応しているか誤って対応しているかを示した情報を含む情報である。
図22は、差異領域推定部17の構成を表すブロック図である。以下、この図について説明する。図22に示すように、差異領域推定部17は、誤対応特徴点密集度探索部701のみで構成される事が可能である。
誤対応特徴点密集度探索部701は、局所特徴量照合部16から対応特徴点情報を受け取り、参照画像中の差異領域に関する情報である差異領域情報を出力する。局所特徴量照合部16から受け取る対応特徴点情報は、正しく対応している特徴点と誤って対応している特徴点が判別された状態になっている。このため、このうち誤って対応している特徴点が密集している領域を画像中から探索する事によって、参照画像中の差異領域を推定する事が可能である。誤って対応している特徴点が密集している領域の探索は、例えば、次のような方法によるものでも良いし、それ以外の方法であっても良い。その方法とは、所定の大きさの矩形窓を設定し、差分画像中でこの矩形窓を動かしていき、誤って対応している特徴点の数が矩形窓内で所定の数以上である場合、その矩形窓の領域を差異領域とする、というものである。
図23は、差異領域特徴量抽出部18の構成例を表すブロック図である。以下、この図について説明する。図23に示すように、差異領域特徴量抽出部18は、差異領域画像生成部801、差異領域特徴量算出部403で構成される事が可能である。
差異領域画像生成部801は、図6で示される、入力画像差異領域特徴量抽出部14の構成要素である差異領域画像生成部404とほぼ同一だが、以下の点で異なっている。それは、入力画像ではなく参照画像が、入力画像差異領域情報ではなく差異領域情報がそれぞれ入力される点と、入力画像差異領域情報に基づいて入力画像から生成した差異領域画像ではなく、差異領域情報に基づいて参照画像から生成した差異領域画像が出力される点である。差異領域特徴量算出部403は、図5や図6で示される、入力画像差異領域特徴量抽出部14の構成要素である差異領域特徴量算出部403と同一であり、詳細な説明は省略する。なお、図5、図6と図23における差異領域特徴量算出部403で算出する特徴量は、同一の処理で算出される特徴量である。
本発明の第2の実施の形態に係る物体識別装置Z2は、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができる。このため、物体識別装置Z2は、物体識別を利用した検品システムで、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない時に効果的である。そして、本発明の第2実施の形態に係る物体識別装置Z2が行う参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能である。このため、図16、図17、図18、図19のいずれの場合に対しても、本発明の第2の実施の形態に係る物体識別装置Z2は有効である。
(第3の実施の形態)
本発明の第3の実施の形態について図面を参照して説明する。
図24は、本発明の第3の実施の形態に係る物体識別装置の構成を示すブロック図である。図24に示すように、第3の実施の形態に係る物体識別装置Z3は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部19、差異領域特徴量抽出部18を備えて構成される。このように、第3の実施の形態に係る物体識別装置Z3は、第2の実施の形態に係る物体識別装置Z2の差異領域推定部17が差異領域推定部19に変更されている点が異なる。差異領域推定部19の詳細については後述する。その他の構成要素については、第2の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図25は、差異領域推定部19の構成例を表すブロック図である。以下、この図について説明する。図25に示すように、差異領域推定部19は、物体領域推定部901、誤対応特徴点密集度探索部902を備えて構成される事が可能である。
物体領域推定部901は、局所特徴量照合部16から出力される局所特徴識別画像IDに対応する参照画像、あるいはその局所特徴識別画像IDに関連付いた参照画像群を受け取り、参照画像中で物体が存在している領域を表す情報である物体領域情報を出力する。ここで受け取る参照画像は、図24のように、あらかじめデータベースに記憶されていても良いし、そうでなくても良い。物体領域推定部901における処理は、例えば、参照画像中のエッジ強度を解析することで物体領域を大まかに推定する方法でも良いし、背景領域の画像パターンをあらかじめ学習しておき背景以外の領域として物体領域を大まかに推定する方法でも良い。誤対応特徴点密集度探索部902は、図22で示される、差異領域推定部17の構成要素である誤対応特徴点密集度探索部701と類似しているが、局所特徴量照合部16から受け取る対応特徴点情報に加えて、物体領域推定部901から出力される物体領域情報が入力される点が異なっている。誤対応特徴点密集度探索部902は、対応特徴点のうち、物体領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索する事によって、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく、参照画像中の差異領域を推定する事が可能である。
また、誤対応特徴点密集度探索部902は、参照画像中で誤って対応している特徴点が密集している領域を探索する範囲が限定されるため、探索範囲が参照画像全体である誤対応特徴点密集度探索部701と比べて高速な処理が可能である。
本発明の第3の実施の形態に係る物体識別装置Z3は、第2の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができる。このため、物体識別装置Z3は、物体識別を利用した検品システムで多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない時に効果的である。そして、本発明の第3の実施の形態に係る物体識別装置Z3が行う参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく差異領域を高精度に推定する事が可能であるため、図18や図19の場合に特に有効である。
(第4の実施の形態)
本発明の第4の実施の形態について図面を参照して説明する。
図26は、本発明の第4の実施の形態に係る物体識別装置の構成を示すブロック図である。図26に示すように、第4の実施の形態に係る物体識別装置Z4は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部20、差異領域特徴量抽出部18を備えて構成される。
このように、第4の実施の形態に係る物体識別装置Z4は、第3の実施の形態に係る物体識別装置Z3の局所特徴量照合部16及び差異領域推定部19が、局所特徴量照合部12及び差異領域推定部20に変更されている点が異なる。局所特徴量照合部12は、第1の実施の形態に係る物体識別装置Z1あるいはZ1’の局所特徴量照合部12と同様であり、詳細な説明は省略する。差異領域推定部20の詳細については後述する。その他の構成要素については、第3の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図27は、差異領域推定部20の構成例を表すブロック図である。以下、この図について説明する。図27に示すように、差異領域推定部20は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2004を備えて構成される事が可能である。
変換画像生成部2001は、入力画像と局所特徴量照合部12から出力される幾何変換情報を受け取り、変換画像を出力する。変換画像生成部2001は、例えば、入力画像の各画素に幾何変換情報を作用させ、入力画像の各画素を参照画像と同じ大きさの画像上に投影させていくことで、変換画像を生成する。このとき、投影先の画像において、入力画像中の画素が投影されない画素については、変換画像生成部2001はその画素値を0等で埋めて変換画像を生成する。また、局所特徴量照合部12から出力される幾何変換情報が、参照画像中の座標から入力画像中の座標へ変換する情報である場合、この変換画像生成部2001で作用させる幾何変換情報は、その逆の変換を行う情報になっている必要がある。すなわち、局所特徴量照合部12から出力される幾何変換情報が、参照画像中の座標から入力画像中の座標へ変換する3×3の行列である場合、変換画像生成部2001で作用させる幾何変換情報は、その逆行列が用いられる。
差分画像生成部2002は、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する参照画像、あるいはその局所特徴識別画像IDに関連付いた参照画像群と、変換画像生成部2001から出力される変換画像を受け取り、参照画像と変換画像の差分を取った画像を差分画像として出力する。なお、差分画像生成部2002は、参照画像と変換画像の差分を取る際、例えば、両方の画像の輝度の平均値が一致するよう、一方の画像の輝度を補正してから差分を取っても良い。ここで受け取る参照画像は、図26のように、あらかじめデータベースに記憶されていても良いし、そうでなくても良い。
物体領域推定部2003は、差分画像生成部2002から差分画像を受け取り、物体領域情報を推定して出力する。ここで出力される物体領域情報は、例えば、差分画像の中でその差分値が小さい領域を画像中から探索する事によって推定される事が可能である。これは、差分画像の中で差分値が小さい領域は、参照画像と変換画像で同一の物体が写っている可能性が高い領域と考えられるためである。物体領域の推定は、例えば、所定の大きさの矩形窓を設定し、差分画像中でこの矩形窓を動かしていき、矩形窓内で画素値の小さい画素が所定の数以上あった場合、その矩形窓の領域を物体領域とすることにより行われても良いし、それ以外の方法で行われても良い。
大差分領域検出部2004は、差分画像生成部2002から出力される差分画像と、物体領域推定部2003から出力される物体領域情報を受け取り、差異領域情報を出力する。大差分領域検出部2004は、差分画像内の物体領域において、その差分値が大きくなっている箇所は、参照画像と変換画像に写っている物体で差異が存在している箇所である可能性が高いと判断し、差分値が大きい箇所を画像内から探索し、その領域情報を差異領域情報として出力する。差分値が大きい箇所すなわち差異領域の探索は、例えば、所定の大きさの矩形窓を設定し、差分画像内の物体領域中でこの矩形窓を動かしていき、矩形窓内で画素値の大きい画素が所定の数以上あった場合、その矩形窓の領域を差異領域とすることにより行っても良いし、それ以外の方法であっても良い。
以上のように、本発明の第4の実施の形態において、差異領域推定部20は、入力画像と、参照画像と、幾何変換情報とを用いて、参照画像中の差異領域を推定する。本発明の第4の実施の形態に係る物体識別装置Z4は、第2あるいは3の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができる。このため、物体識別装置Z4は、物体識別を利用した検品システムで多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない時に効果的である。そして、本発明の第4の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第3の実施の形態と同様、まず物体領域を推定することにより背景の影響を取り除いた上で、改めて差異領域を推定するため、差異領域を高精度に推定する事ができ、図18や図19の場合に特に有効である。
(第5の実施の形態)
本発明の第5の実施の形態について図面を参照して説明する。
図28は、本発明の第5の実施の形態に係る物体識別装置の構成を示すブロック図である。図28に示すように、第5の実施の形態に係る物体識別装置Z5は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部21、差異領域特徴量抽出部18を備えて構成される。
このように、第5の実施の形態に係る物体識別装置Z5は、第3の実施の形態に係る物体識別装置Z3と第4の実施の形態に係る物体識別装置Z4とをあわせた構成になっている。物体識別装置Z5と、第3の実施の形態に係る物体識別装置Z3との比較では、差異領域推定部19が差異領域推定部21に変更されている点が異なる。差異領域推定部21の詳細については後述する。その他の構成要素については、第3の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図29、図30、図31、図32は、差異領域推定部21の構成例を表すブロック図である。以下、各図について説明する。
図29に示すように、差異領域推定部21は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、誤対応特徴点密集度探索部902で構成される事が可能である。図29の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図27で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。また、図29の誤対応特徴点密集度探索部902は、図25で示される差異領域推定部19の構成要素である誤対応特徴点密集度探索部902と同一であり、詳細な説明は省略する。すなわち、差異領域推定部21は、差異領域推定部19のように、参照画像だけを利用して推定した物体領域から誤対応の特徴点が密集している領域を探索するのではなく、変換した入力画像と参照画像の差分を利用して推定した物体領域から誤対応の特徴点が密集している領域を探索することで、差分領域を推定する。
また、図30に示すように、差異領域推定部21は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、誤対応特徴点密集度探索部2102で構成される事も可能である。
図30の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図27で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。図30の大差分領域検出部2101は、図27で示される差異領域推定部20の構成要素である大差分領域検出部2004とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。
この大差分領域検出部2101が出力する差異候補領域情報は、大差分領域検出部2004で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉えられた領域情報であっても良い。図30の誤対応特徴点密集度探索部2102は、図25で示される差異領域推定部19の構成要素である誤対応特徴点密集度探索部902と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。
誤対応特徴点密集度探索部2102から出力される差異領域情報は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101の4つの組み合わせで推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部2102で差異領域を絞りこむことにより求められる。このため、信頼性の高い差異領域情報が出力される。
また、図31に示すように、差異領域推定部21は、変換画像生成部2001、誤対応特徴点密集度探索部2103、差分画像生成部2104、大差分領域検出部2105で構成される事も可能である。
図31の変換画像生成部2001は、図27で示される差異領域推定部20の構成要素である変換画像生成部2001と同一であり、詳細な説明は省略する。図31の誤対応特徴点密集度探索部2103は、図22で示される差異領域推定部17の構成要素である誤対応特徴点密集度探索部701とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。この誤対応特徴点密集度探索部2103が出力する差異候補領域情報は、誤対応特徴点密集度探索部701で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉えられた領域情報であっても良い。図31の差分画像生成部2104は、図27で示される差異領域推定部20の構成要素である差分画像生成部2002と類似しているが、参照画像と変換画像に加えて差異候補領域情報が入力される点が異なっている。差分画像生成部2104は、参照画像と変換画像の差分を取る事によって生成される差分画像から、差異候補領域情報で示される領域の画像を差分画像として出力する。図31の大差分領域検出部2105は、図27で示される差異領域推定部20の構成要素である大差分領域検出部2004と類似しているが、差分画像のみが入力される点が異なっている。大差分領域検出部2105に入力される差分画像は、誤対応特徴点密集度探索部2103で既に差異候補領域として推定された領域に関してのみ出力された差分画像であるため、既にこの段階で、物体領域の全体あるいはその一部を表す領域の画像となっている。大差分領域検出部2105から出力される差異領域情報は、誤対応特徴点密集度探索部2103で推定される差異候補領域の中から、さらに大差分領域検出部2105で差異領域を絞り込むことにより求められる。このため、信頼性の高い差異領域情報が出力される。
また、図32に示すように、差異領域推定部21は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、誤対応特徴点密集度探索部2103、差異候補領域重複検出部2106で構成される事も可能である。図32の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図27で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。図32の大差分領域検出部2101は、図30の大差分領域検出部2101と同一であり、詳細な説明は省略する。また、図32の誤対応特徴点密集度探索部2103は、図31の誤対応特徴点密集度探索部2103と同一であり、詳細な説明は省略する。図32の差異候補領域重複検出部2106は、大差分領域検出部2101から出力される差異候補領域情報、誤対応特徴点密集度探索部2103から出力される差異候補領域情報を受け取り、これらの2つの差異候補領域が重複している領域を差異領域と判断し、その差異領域情報を出力する。差異候補領域重複検出部2106は、大差分領域検出部2101と誤対応特徴点密集度探索部2103のいずれにおいても差異候補領域として判定された領域の情報を出力することにより、信頼性の高い差異領域情報を出力する。
以上のように、本発明の第5の実施の形態において、差異領域推定部21は、入力画像と、参照画像と、幾何変換情報と、対応特徴点情報とを用いて、参照画像中の差異領域を推定する。本発明の第5の実施の形態に係る物体識別装置Z5は、第2,3,4の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができる。このため、物体識別装置Z5は、物体識別を利用した検品システムで多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない時に効果的である。また、本発明の第5の実施の形態では、そして、第5の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第2の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本発明の第5の実施の形態では、差異領域推定部21が図31や図32の構成の場合、誤対応特徴点密集度探索部2103の前に物体領域推定部を加える事ができる。その場合、推定された物体領域の中から誤対応特徴点密集度探索を行うことにより差異候補領域が推定される。この時、第3あるいは4の実施の形態と同様、まず背景の影響を取り除いた上で、改めて差異領域を推定する事が可能であるため、第5の実施の形態に係る物体識別装置Z5は、図18や図19の場合に特に有効である。
(第6の実施の形態)
本発明の第6の実施の形態について図面を参照して説明する。
図33は、本発明の第6の実施の形態に係る物体識別装置の構成を示すブロック図である。図33に示すように、第6の実施の形態に係る物体識別装置Z6は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部22、差異領域特徴量抽出部18を備えて構成される。このように、第6の実施の形態に係る物体識別装置は、第4の実施の形態に係る物体識別装置Z4の差異領域推定部20が差異領域推定部22に変更されている点が異なる。差異領域推定部22の詳細については後述する。その他の構成要素については、第4の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図34、図35は、差異領域推定部22の構成例を表すブロック図である。以下、各図について説明する。
図34に示すように、差異領域推定部22は、テンプレートマッチング部2201で構成される事が可能である。テンプレートマッチング部2201は、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する参照画像、あるいはその局所特徴識別画像IDに関連付いた参照画像群を受け取る。さらに、テンプレートマッチング部2201は、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する参照画像の差異領域のテンプレート画像、あるいはその局所特徴識別画像IDに関連付いたテンプレート画像群も受け取り、差異領域情報を出力する。このテンプレート画像は、差異領域周辺で典型的に見られる画像パターンである。参照画像中でこのテンプレート画像を動かしていき、テンプレート画像に最も類似する領域を探すテンプレートマッチング処理を行うことによって、参照画像中の差異領域を推定する事が可能である。テンプレート画像は、図33のように、あらかじめデータベースに記憶されていても良いし、そうでなくても良い。
また、図35に示すように、差異領域推定部22は、物体領域推定部901、テンプレートマッチング部2202で構成される事も可能である。図35の物体領域推定部901は、図25で示される差異領域推定部19の構成要素である物体領域推定部901と同一であり、詳細な説明は省略する。テンプレートマッチング部2202は、図34で示される差異領域推定部22の構成要素であるテンプレートマッチング部2201と類似しているが、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する参照画像と、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する差異領域のテンプレート画像に加えて、物体領域推定部901から出力される物体領域情報が入力される点が異なっている。テンプレートマッチング部2202は、参照画像中の物体領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行う事により、参照画像中の差異領域を推定する事が可能である。また、テンプレートマッチング部2202は、参照画像中でテンプレート画像を動かす範囲が限定されるため、テンプレート画像を動かす範囲が参照画像全体であるテンプレートマッチング部2201と比べて高速な処理が可能である。
以上のように、本発明の第6の実施の形態において、差異領域推定部22は、参照画像と、差異領域周辺に見られる画像パターンを示すテンプレート画像とを用いて、参照画像中の差異領域を推定する。本発明の第6の実施の形態に係る物体識別装置Z6は、第2〜5の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はない。そして、差異領域に見られる典型的な画像パターンが事前にわかれば、物体識別装置Z6は、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できる。このため、このような場合に物体識別装置Z6は効果的である。そして、本発明の第6の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、差異領域推定部22の構成が図35の場合は、第3〜5の実施の形態と同様、まず物体領域を推定することにより背景の影響を取り除いた上で、改めて差異領域を推定する事が可能になる。このため、物体識別装置Z6は、差異領域を高精度に推定する事ができ、図18や図19の場合に特に有効である。
(第7の実施の形態)
本発明の第7の実施の形態について図面を参照して説明する。
図36は、本発明の第7の実施の形態に係る物体識別装置の構成を示すブロック図である。図36に示すように、第7の実施の形態に係る物体識別装置Z7は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部23、差異領域特徴量抽出部18を備えて構成される。このように、第7の実施の形態に係る物体識別装置Z7は、第2の実施の形態に係る物体識別装置Z2と第6の実施の形態に係る物体識別装置Z6をあわせた構成になっている。物体識別装置Z7と第2の実施の形態に係る物体識別装置Z2との比較では、差異領域推定部17が差異領域推定部23に変更されている点が異なる。差異領域推定部23の詳細については後述する。その他の構成要素については、第2の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図37、図38、図39は、差異領域推定部23の構成例を表すブロック図である。以下、各図について説明する。
図37に示すように、差異領域推定部23は、誤対応特徴点密集度探索部2103、テンプレートマッチング部2301で構成される事が可能である。図37の誤対応特徴点密集度探索部2103は、図31で示される差異領域推定部21の構成要素である誤対応特徴点密集度探索部2103と同一であり、詳細な説明は省略する。また、図37のテンプレートマッチング部2301は、図35で示される差異領域推定部22の構成要素であるテンプレートマッチング部2202と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。すなわち、図37のテンプレートマッチング部2301は、誤対応特徴点密集度探索部2103で推定された参照画像中の差異候補領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域を推定する。テンプレートマッチング部2301は、誤対応特徴点密集度探索部2103で推定される差異候補領域の中から、さらにテンプレートマッチングによって差異領域を絞りこむことにより、信頼性の高い差異領域情報を出力する。
また、図38に示すように、差異領域推定部23は、テンプレートマッチング部2302、誤対応特徴点密集度探索部2102で構成される事も可能である。図38のテンプレートマッチング部2302は、図34で示される差異領域推定部22の構成要素であるテンプレートマッチング部2201とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。このテンプレートマッチング部2302が出力する差異候補領域情報は、テンプレートマッチング部2201で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉えられた領域情報であっても良い。また、図38の誤対応特徴点密集度探索部2102は、図30で示される差異領域推定部21の構成要素である誤対応特徴点密集度探索部2102と同一であり、詳細な説明は省略する。すなわち、図38の誤対応特徴点密集度探索部2102は、対応特徴点のうち、テンプレートマッチング部2302で推定された参照画像中の差異候補領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索し、差異領域を推定する。誤対応特徴点密集度探索部2102は、テンプレートマッチング部2302で推定される差異候補領域の中から、さらに差異領域を絞りこむことにより、信頼性の高い差異領域情報を出力する。
また、図39に示すように、差異領域推定部23は、誤対応特徴点密集度探索部2103、テンプレートマッチング部2302、差異候補領域重複検出部2106で構成される事も可能である。図39の誤対応特徴点密集度探索部2103は、図31で示される差異領域推定部21の構成要素である誤対応特徴点密集度探索部2103と同一であり、詳細な説明は省略する。図39のテンプレートマッチング部2302は、図38で示される差異領域推定部23の構成要素であるテンプレートマッチング部2302と同一であり、詳細な説明は省略する。差異候補領域重複検出部2106は、図32で示される差異領域推定部21の構成要素である差異候補領域重複検出部2106と同一であり、詳細な説明は省略する。図39の構成において、差異候補領域重複検出部2106は、誤対応特徴点密集度探索部2103とテンプレートマッチング部2302のいずれにおいても差異候補領域として判定された領域の情報を出力することにより、信頼性の高い差異領域情報を出力する。
以上のように、本発明の第7の実施の形態において、差異領域推定部23は、参照画像と、テンプレート画像と、対応特徴点情報とを用いて、参照画像中の差異領域を推定する。本発明の第7の実施の形態に係る物体識別装置Z7は、第2〜6の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はない。そして、第6の実施の形態と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、物体識別装置Z7は、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できる。このため、このような場合に物体識別装置Z7は効果的である。そして、本発明の第7の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第5の実施の形態と同様、第2の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、ここまで述べてきた本発明の第7の実施の形態は、第2の実施の形態に係る物体識別装置Z2と第6の実施の形態に係る物体識別装置Z6とをあわせた構成の場合である。ここで、図36の構成は、第3の実施の形態に係る物体識別装置Z3と第6の実施の形態に係る物体識別装置Z6とをあわせた構成と捉えられることもできる。すなわち、差異領域推定部23が図37、図38、図39の構成の場合、誤対応特徴点密集度探索部2103とテンプレートマッチング部2302の前に物体領域推定部を加える事ができる。この構成は、背景の影響を取り除いた上で物体領域の中から差異領域を推定するため、図18や図19の場合に特に有効である。
(第8の実施の形態)
本発明の第8の実施の形態について図面を参照して説明する。
図40は、本発明の第8の実施の形態である物体識別装置の構成を示すブロック図である。図40に示すように、第8の実施の形態に係る物体識別装置Z8は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部24、差異領域特徴量抽出部18を備えて構成される。このように、第8の実施の形態に係る物体識別装置Z8は、第4の実施の形態に係る物体識別装置と第6の実施の形態に係る物体識別装置をあわせた構成になっている。物体識別装置Z8は、第4の実施の形態に係る物体識別装置Z4との比較では、差異領域推定部20が差異領域推定部24に変更されている点が異なる。差異領域推定部24の詳細については後述する。その他の構成要素については、第4の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図41、図42、図43は、差異領域推定部24の構成例を表すブロック図である。以下、各図について説明する。
図41に示すように、差異領域推定部24は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、テンプレートマッチング部2301で構成される事が可能である。図41の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図27で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。図41の大差分領域検出部2101は、図30で示される差異領域推定部21の構成要素である大差分領域検出部2101と同一であり、詳細な説明は省略する。また、図41のテンプレートマッチング部2301は、図37で示される差異領域推定部23の構成要素であるテンプレートマッチング部2301と同一であり、詳細な説明は省略する。すなわち、図41のテンプレートマッチング部2301は、大差分領域検出部2101で推定された参照画像中の差異候補領域についてのみテンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域を推定する。テンプレートマッチング部2301は、大差分領域検出部2101で推定される差異候補領域の中から、さらに差異領域を絞り込むことにより、信頼性の高い差異領域情報を出力する。
また、図42に示すように、差異領域推定部24は、変換画像生成部2001、テンプレートマッチング部2302、差分画像生成部2104、大差分領域検出部2105で構成される事も可能である。図42の変換画像生成部2001は、図27で示される差異領域推定部20の構成要素である変換画像生成部2001と同一であり、詳細な説明は省略する。また、図42のテンプレートマッチング部2302は、図38で示される差異領域推定部23の構成要素であるテンプレートマッチング部2302と同一であり、詳細な説明は省略する。図42の差分画像生成部2104及び大差分領域検出部2105は、それぞれ、図31で示される差異領域推定部21の構成要素である差分画像生成部2104及び大差分領域検出部2105と同一であり、詳細な説明は省略する。大差分領域検出部2105は、テンプレートマッチング部2302で推定される差異候補領域の中から、さらに差異領域を絞り込むことにより、信頼性の高い差異領域情報を出力する。
また、図43に示すように、差異領域推定部24は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、テンプレートマッチング部2302、差異候補領域重複検出部2106で構成される事も可能である。図43の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図27で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。また、図43の大差分領域検出部2101は、図30で示される差異領域推定部21の構成要素である大差分領域検出部2101と同一であり、詳細な説明は省略する。また、図43のテンプレートマッチング部2302は、図38で示される差異領域推定部23の構成要素であるテンプレートマッチング部2302と同一であり、詳細な説明は省略する。また、図43の差異候補領域重複検出部2106は、図32で示される差異領域推定部21の構成要素である差異候補領域重複検出部2106と同一であり、詳細な説明は省略する。図43の構成において、差異候補領域重複検出部2106は、大差分領域検出部2101とテンプレートマッチング部2302のいずれにおいても差異候補領域として判定された領域の情報を出力することにより、信頼性の高い差異領域情報を出力する。
以上のように、本発明の第8の実施の形態において、物体識別装置Z8は、入力画像と、参照画像と、幾何変換情報と、テンプレート画像とを用いて、参照画像中の差異領域情報を推定する。本発明の第8の実施の形態に係る物体識別装置Z8は、第2〜7の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はない。そして、第6や7の実施の形態と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、物体識別装置Z8は、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できる。このため、このような場合に物体識別装置Z8は効果的である。そして、本発明の第8の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第5及び第7の実施の形態と同様、第2の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本発明の第8の実施の形態では、差異領域推定部24が図42や図43の構成の場合、テンプレートマッチング部2302の前に物体領域推定部を加える事ができる。この構成は、背景の影響を取り除いた上で物体領域の中から差異領域を推定するため、図18や図19の場合に特に有効である。
(第9の実施の形態)
本発明の第9の実施の形態について図面を参照して説明する。
図44は、本発明の第9の実施の形態に係る物体識別装置の構成を示すブロック図である。図44に示すように、第9の実施の形態に係る物体識別装置Z9は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部25、差異領域特徴量抽出部18で構成される。このように、第9の実施の形態に係る物体識別装置Z9は、第5の実施の形態に係る物体識別装置Z5と第6の実施の形態に係る物体識別装置Z6をあわせた構成になっている。物体識別装置Z9は、第5の実施の形態に係る物体識別装置Z5との比較では、差異領域推定部21が差異領域推定部25に変更されている点が異なる。差異領域推定部25の詳細については後述する。その他の構成要素については、第5の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
差異領域推定部25は、図22のように誤対応特徴点密集度探索部701のみで差異領域を推定する構成と、図27のように変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2004で差異領域を推定する構成と、図34のようにテンプレートマッチング部2201のみで差異領域を推定する構成の組み合わせとして構成される事ができる。これら3つの差異領域を推定する構成に関して、ある1つの構成でまず差異候補領域を推定した後、別の構成でその差異候補領域をさらに絞り込んでいく構成にする場合、3つの差異領域を推定する構成は、どのような順番で構成されても良い。また、これら3つの差異領域を推定する構成に関して、各構成で差異候補領域をそれぞれ推定し、その各構成で推定された差異候補領域の重複領域が最終的な差異領域として出力されても良い。また、これら3つの差異領域を推定する構成に関して、ある1つの構成でまず差異候補領域を推定した後、その差異候補領域の中から、残り2つの各構成で差異候補領域をそれぞれ絞り込み、その2つの構成で推定された差異候補領域の重複領域が最終的な差異領域として出力されても良い。また、これら3つの差異領域を推定する構成に関して、まず2つの構成で差異候補領域をそれぞれ推定し、その2つの構成で推定された差異候補領域の重複領域の中から、残り1つの構成で差異候補領域を絞り込み、そこで絞り込まれた領域が最終的な差異領域として出力されても良い。
図45、図46は、差異領域推定部25の構成例を表すブロック図である。以下、各図について説明する。
図45に示すように、差異領域推定部25は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、テンプレートマッチング部2501、誤対応特徴点密集度探索部2102で構成される事が可能である。図45の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図27で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。図45の大差分領域検出部2101は、図30の大差分領域検出部2101と同一であり、詳細な説明は省略する。図45のテンプレートマッチング部2501は、図37で示される差異領域推定部23の構成要素であるテンプレートマッチング部2301とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。図45の誤対応特徴点密集度探索部2102は、図30で示される差異領域推定部21の構成要素である誤対応特徴点密集度探索部2102と同一であり、詳細な説明は省略する。すなわち、図45の誤対応特徴点密集度探索部2102は、対応特徴点のうち、テンプレートマッチング部2501で推定された参照画像中の差異候補領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索し、差異領域を推定する。そして、このテンプレートマッチング部2501も、大差分領域検出部2101で推定された参照画像中の差異候補領域についてのみテンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異候補領域を推定する。誤対応特徴点密集度探索部2102、大差分領域検出部2101及びテンプレートマッチング部2501で推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部2102によって差異領域を絞りこむことにより、信頼性の高い差異領域情報を出力する。
また、図46に示すように、差異領域推定部25は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、テンプレートマッチング部2302、誤対応特徴点密集度探索部2103、差異候補領域重複検出部2502で構成される事も可能である。
図46の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図27で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。また、図46の大差分領域検出部2101は、図30で示される差異領域推定部21の構成要素である大差分領域検出部2101と同一であり、詳細な説明は省略する。また、図46のテンプレートマッチング部2302は、図38で示される差異領域推定部23の構成要素であるテンプレートマッチング部2302と同一であり、詳細な説明は省略する。また、図46の誤対応特徴点密集度探索部2103は、図31で示される差異領域推定部21の構成要素である誤対応特徴点密集度探索部2103と同一であり、詳細な説明は省略する。図46の差異候補領域重複検出部2502は、図32で示される差異領域推定部21の構成要素である差異候補領域重複検出部2106と類似している。しかし、差異候補領域重複検出部2502は、大差分領域検出部2101、テンプレートマッチング部2302、誤対応特徴点密集度探索部2103からそれぞれ出力される3つの差異候補領域情報を受け取り、これらの3つの差異候補領域が重複している領域を差異領域と判断し、その差異領域情報を出力するという点が異なっている。差異候補領域重複検出部2502は、大差分領域検出部2101とテンプレートマッチング部2302と誤対応特徴点密集度探索部2103のいずれにおいても差異候補領域として判定された領域の情報を出力することにより、信頼性の高い差異領域情報を出力する。
なお、差異領域推定部25は、図45や図46以外でも構成されることができる。例えば、まず誤対応特徴点密集度探索部2103によって推定された差異候補領域に対して、次にテンプレートマッチング部2501がさらに差異候補領域を絞り込み、最後に変換画像生成部2001、差分画像生成部2104、大差分領域検出部2105の組み合わせが最終的な差異領域情報を推定しても良い。また、誤対応特徴点密集度探索を用いた差異候補領域の推定、テンプレートマッチングを用いた差異候補領域の推定、大差分領域検出を用いた差異候補領域の推定の処理順は、ここまで述べてきた構成例以外の順序であっても良い。
以上のように、本発明の第9の実施の形態において、差異領域推定部25は、入力画像と、参照画像と、幾何変換情報と、対応特徴点情報と、テンプレート画像とを用いて、参照画像中の差異領域情報を推定する。本発明の第9の実施の形態に係る物体識別装置Z9は、第2〜8の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はない。そして、第6〜8の実施の形態と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、物体識別装置Z9は、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できる。このため、このような場合に物体識別装置Z9は効果的である。そして、本発明の第9の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第5、7、8の実施の形態と同様、第2の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本発明の第9の実施の形態では、例えば、差異領域推定部25が図46の構成の場合、テンプレートマッチング部2302や誤対応特徴点密集度探索部2103の前に物体領域推定部を加える事ができる。その構成は、背景の影響を取り除いた上で物体領域の中から差異領域を推定するため、図18や図19の場合に特に有効である。
(第10の実施の形態)
本発明の第10の実施の形態について図面を参照して説明する。
図47は、本発明の第10の実施の形態に係る物体識別装置の構成例を示すブロック図である。図47に示すように、第10の実施の形態に係る物体識別装置Z10は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部26、特徴量照合部27を備えて構成される事ができる。このように、第10の実施の形態に係る物体識別装置Z10は、第1の実施の形態に係る物体識別装置Z1の入力画像差異領域特徴量抽出部14及び特徴量照合部15が、入力画像差異領域特徴量抽出部26及び特徴量照合部27に変更されている点が異なる。入力画像差異領域特徴量抽出部26と特徴量照合部27の詳細については後述する。その他の構成要素については、第1の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図48、図49は、入力画像差異領域特徴量抽出部26の構成例を表すブロック図である。以下、各図について説明する。
図48に示すように、入力画像差異領域特徴量抽出部26は、差異領域情報補正部401、差異領域局所特徴量抽出部2602で構成される事が可能である。図48の差異領域情報補正部401は、図5で示される入力画像差異領域特徴量抽出部14の構成要素である差異領域情報補正部401と同一であり、詳細な説明は省略する。差異領域局所特徴量抽出部2602は、差異領域情報補正部401から出力される補正差異領域情報と、局所特徴量抽出部11において入力画像から抽出される局所特徴量である局所特徴量1とを受け取り、特徴量1を抽出する。差異領域局所特徴量抽出部2602は、局所特徴量1を記述する際の基となっている特徴点の座標情報に基づき、補正した入力画像の差異領域内に存在する特徴点を探索し、その特徴点周辺の情報を局所特徴量として記述した特徴量を特徴量1として出力する。すなわち、ここで出力される特徴量1は、局所特徴量1の一部を切り出して生成された特徴量である。本発明の第10の実施の形態において、特徴量照合部27で特徴量1と照合する特徴量2は、特徴量1と同様、参照画像から抽出された局所特徴量である局所特徴量2の一部を切り出して生成した特徴量である。
また、図49に示すように、入力画像差異領域特徴量抽出部26は、差異領域局所特徴量抽出部2601で構成される事も可能である。図49の差異領域局所特徴量抽出部2601は、図48で示される入力画像差異領域特徴量抽出部26の構成要素である差異領域局所特徴量抽出部2602とほぼ同一であるが、補正差異領域情報ではなく、補正前の入力画像の差異領域情報である入力画像差異領域情報が入力される点が異なっている。
図50は、特徴量照合部27の構成例を表すブロック図である。以下、この図について説明する。図50に示すように、特徴量照合部27は、対応特徴点決定部201、誤対応点除去部2701、識別スコア算出部203、閾値判定部2702で構成される事が可能である。図50の対応特徴点決定部201、識別スコア算出部203は、図4で示される局所特徴量照合部12の構成要素である対応特徴点決定部201、識別スコア算出部203と同一であり、詳細な説明は省略する。図50の誤対応点除去部2701は、図4で示される局所特徴量照合部12の構成要素である誤対応点除去部202とほぼ同一だが、幾何変換情報は出力せず、対応特徴点情報のみを出力する点が異なっている。図50の閾値判定部2702は、図4で示される局所特徴量照合部12の構成要素である閾値判定部204とほぼ同一だが、局所特徴識別画像IDではなく差異領域識別画像IDを出力する点が異なっている。
本発明の第10の実施の形態においては、第1〜9の実施の形態とは異なり、局所特徴量の一部を切り出して生成した特徴量が差異領域の識別に使用される。このため、第10の実施の形態では、入力画像差異領域特徴量抽出部において特徴量を生成する際は、入力画像から抽出された局所特徴量が入力されれば良く、入力画像そのものは必要とされない。そのため、局所特徴量の抽出のみをクライアント側で行い、その他の処理をサーバー側で行うようなサーバークライアントシステムとして物体識別装置Z10が構成されている場合、入力画像よりも軽量な局所特徴量のみがサーバー側に伝送されれば良い。このことにより、物体識別装置Z10は、識別結果を得るまでの処理時間を短縮させる事が可能となる。また、本発明の第10の実施の形態における特徴量照合部は、局所特徴量照合部とほぼ同一の処理を行うが、差異領域以外から検出される特徴点の対応による影響を除外し、差異領域のみでの照合を行う事ができる。このため、画像全体から抽出された局所特徴量を全て用いる従来の方式と比べて、本発明の第10の実施の形態における特徴量照合部は、物体内の差異をより見分ける事ができ、結果的に高精度の識別を実現可能とする。なお、本発明の第10の実施の形態の構成例として、ここまで順番に説明してきた図47は、第1の実施の形態を基にした構成である。そして同様に、図47は、第2〜9の実施の形態、及び後述する第13、14の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第2〜9及び第13,14の実施の形態の構成例における入力画像差異領域特徴量抽出部14への入力を、入力画像ではなく局所特徴量1にして、物体識別装置Z10を構成する事も可能である。
(第11の実施の形態)
本発明の第11の実施の形態について図面を参照して説明する。
図51は、本発明の第11の実施の形態である物体識別装置の構成を示すブロック図である。図51に示すように、第11の実施の形態に係る物体識別装置Z11は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部28、特徴量照合部29を備えて構成される。このように、第11の実施の形態に係る物体識別装置Z11は、第1の実施の形態に係る物体識別装置Z1の入力画像差異領域特徴量抽出部14及び特徴量照合部15が、入力画像差異領域特徴量抽出部28及び特徴量照合部29に変更されている点が異なっている。入力画像差異領域特徴量抽出部28、特徴量照合部29の詳細については後述する。その他の構成要素については第1の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図52は、入力画像差異領域特徴量抽出部28の構成例を表すブロック図である。以下、この図について説明する。図52に示すように、入力画像差異領域特徴量抽出部28は、差異領域情報補正部401、補正差異領域画像生成部402、差異領域特徴量算出部403、差異領域画像生成部404で構成される事が可能である。図52の差異領域情報補正部401、補正差異領域画像生成部402、差異領域特徴量算出部403は、図5で示される入力画像差異領域特徴量抽出部14の構成要素である差異領域情報補正部401、補正差異領域画像生成部402、差異領域特徴量算出部403と同一であり、詳細な説明は省略する。また、図52の差異領域画像生成部404は、図6で示される入力画像差異領域特徴量抽出部14の構成要素である差異領域画像生成部404と同一であり、詳細な説明は省略する。すなわち、入力画像差異領域特徴量抽出部28は、図5と図6の構成を組み合わせ、補正をした入力画像の差異領域から特徴量1aを、補正をしない入力画像の差異領域から特徴量1bを、それぞれ抽出する。
図53、図54は、特徴量照合部29の構成例を表すブロック図である。以下、各図について説明する。
図53に示すように、特徴量照合部29は、差異領域識別スコア算出部2901、閾値判定部2902、差異領域識別スコア算出部2903、閾値判定部502で構成される事が可能である。図53の差異領域識別スコア算出部2901は、図14で示される特徴量照合部15の構成要素である差異領域識別スコア算出部501と同一であり、詳細な説明は省略する。図53の閾値判定部2902は、図14で示される特徴量照合部15の構成要素である閾値判定部502とほぼ同一であるが、閾値判定の結果、同一の画像ではないと判定された場合、それらの画像に対する再判定指示を出力する点が異なっている。図53の差異領域識別スコア算出部2903は、図14で示される特徴量照合部15の構成要素である差異領域識別スコア算出部501とほぼ同一であるが、2つの特徴量の他に閾値判定部2902から再判定指示を受け取る点が異なっている。差異領域識別スコア算出部2903は、再判定指示のあった画像に対して、再度、差異領域識別スコアを算出する。図53の閾値判定部502は、図14で示される特徴量照合部15の構成要素である閾値判定部502と同一であり、詳細な説明は省略する。すなわち、特徴量照合部29が図53の構成の場合は、次のように処理が行われる。まず、差異領域識別スコア算出部2901が、補正前の入力画像の差異領域から抽出される特徴量1bと参照画像の差異領域から抽出される特徴量とを使って識別スコアを算出する。そして、閾値判定部2902が、その同一性を判定する。その段階で同一であると判定された参照画像については、閾値判定部2902が、その参照画像のIDを差異領域識別画像IDとして出力する。一方、その段階で同一でないと判定された参照画像については、差異領域識別スコア算出部2903が、補正した入力画像の差異領域から抽出される特徴量1aと参照画像の差異領域から抽出される特徴量とを使って再度識別スコアを算出する。そして、閾値判定部502が、その同一性を判定する。ここで同一であると判定されれば、閾値判定部502が、その参照画像のIDを差異領域識別画像IDとして出力する。図53における閾値判定部2902と閾値判定部502は、同一の閾値を用いて判定を行っても良いし、閾値判定部2902における閾値が閾値判定部502における閾値より緩くても良い。
また、図54に示すように、特徴量照合部29は、差異領域識別スコア算出部2901、差異領域識別スコア算出部2904、閾値判定部2905で構成される事も可能である。図54の差異領域識別スコア算出部2901及び差異領域識別スコア算出部2904は、図14で示される特徴量照合部15の構成要素である差異領域識別スコア算出部501と同一であり、詳細な説明は省略する。図54の閾値判定部2905は、図14で示される特徴量照合部15の構成要素である閾値判定部502と類似しているが、差異領域識別スコアが2つ入力される点が異なっている。閾値判定部2905は、差異領域識別スコア算出部2901と差異領域識別スコア算出部2904から出力される差異領域識別スコアを合成して、合成後の差異領域識別スコアに対して閾値判定部502と同様の処理を行う。差異領域識別スコアの合成方法は、例えば、差異領域識別スコア算出部2901と差異領域識別スコア算出部2904から出力される差異領域識別スコアの積を算出しても良いし、これらのスコアの和を算出しても良いし、2つの差異領域識別スコアのうち大きい方を選択しても良い。すなわち、特徴量照合部29は、特徴量1a(第1の特徴量)及び参照画像の差異領域から抽出された特徴量(第3の特徴量)の照合と、特徴量1b(第2の特徴量)及び第3の特徴量の照合とを並列に実行し、2つの照合の結果を統合した結果を照合結果として出力する。
本発明の第11の実施の形態においては、第1の実施の形態と同様、その差異領域の情報が事前にデータベース登録されている。その登録されている参照画像中の差異領域、及び幾何変換情報と差異領域情報を用いて決定される入力画像中の差異領域、さらにその入力画像中の差異領域を補正した領域は、それぞれ、差異がある必要最小限の領域だけを参照画像と入力画像から抽出する事ができる。このため、差異領域が物体全体の場合はもちろん、物体のほんの一部の場合であっても、本発明の第11の実施の形態に係る物体識別装置Z11は、画像に写った物体を正確に識別する事ができ、従来の局所特徴量のみを使った場合に問題となっていた誤識別を抑制する事が可能である。さらに、第1の実施の形態のように、入力画像の補正前の差異領域、あるいは補正後の差異領域のいずれかから抽出される特徴量だけを使って識別するのではなく、入力画像の補正前と補正後の差異領域からそれぞれ抽出される特徴量を両方使って識別を行う事により、物体識別装置Z11は、より正確に識別を行う事が可能である。なお、本発明の第11の実施の形態の構成例として、ここまで順番に説明してきた図51は、第1の実施の形態を基にした構成である。そして同様に、図51は、第2〜10の実施の形態、及び後述する第13,14の実施の形態をそれぞれ基にした構成にする事も可能である。
(第12の実施の形態)
本発明の第12の実施の形態について図面を参照して説明する。
図55は、本発明の第12の実施の形態である物体識別装置の構成例を示すブロック図である。図55に示すように、第12の実施の形態に係る物体識別装置Z12は、局所特徴量抽出部11、局所特徴量照合部30、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部31、識別スコア統合判定部32を備えて構成される事ができる。このように、第12の実施の形態に係る物体識別装置Z12では、第1の実施の形態に係る物体識別装置Z1の局所特徴量照合部12及び特徴量照合部15が、局所特徴量照合部30及び特徴量照合部31に変更され、識別スコア統合判定部32が新たな構成要素として加わっている点が異なる。局所特徴量照合部30、特徴量照合部31、識別スコア統合判定部32の詳細については後述する。その他の構成要素については、第1の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図56は、局所特徴量照合部30の構成例を表すブロック図である。以下、この図について説明する。図56に示すように、局所特徴量照合部30は、対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203、閾値判定部3001で構成される事が可能である。図56の対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203は、図4で示される局所特徴量照合部12の構成要素である対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203と同一であり、詳細な説明は省略する。図56の閾値判定部3001は、図4で示される局所特徴量照合部12の構成要素である閾値判定部204とほぼ同一だが、局所特徴識別画像IDだけではなく、その局所特徴識別画像IDに対応する参照画像あるいはそれと関連付いた参照画像群から抽出した局所特徴との識別スコアを出力している点が異なっている。この閾値判定部3001で設定される閾値を閾値判定部204で設定される閾値よりも緩めにすることにより、局所特徴識別画像IDと識別スコアが多数出力されるようにしても良い。
図57は、特徴量照合部31の構成例を表すブロック図である。以下、この図について説明する。図57に示すように、特徴量照合部31は、差異領域識別スコア算出部501、閾値判定部3101で構成される事が可能である。図57の差異領域識別スコア算出部501は、図14で示される特徴量照合部15の構成要素である差異領域識別スコア算出部501と同一であり、詳細な説明は省略する。図57の閾値判定部3101は、図14で示される特徴量照合部15の構成要素である閾値判定部502とほぼ同一だが、差異領域識別画像IDだけではなく、その差異領域識別画像IDに対応する参照画像あるいはそれと関連付いた参照画像群の差異領域から抽出した特徴量との差異領域識別スコアを出力している点が異なっている。この閾値判定部3101で設定される閾値を、閾値判定部502で設定される閾値よりも緩めにすることにより、差異領域識別画像IDと差異領域識別スコアが多数出力されるようにしても良い。
図58は、識別スコア統合判定部32の構成例を表すブロック図である。以下、この図について説明する。図58に示すように、識別スコア統合判定部32は、識別スコア統合部3201、閾値判定部3202で構成される事が可能である。識別スコア統合部3201は、局所特徴量照合部30から出力された識別スコアと、特徴量照合部31から出力された差異領域識別スコアとを受け取り、統合スコアを出力する。この時、識別スコア統合判定部32は、例えば同一の画像IDに対応する識別スコアと差異領域識別スコアの積を求め、その値を統合スコアとして出力しても良い。図58の閾値判定部3202は、図4で示される局所特徴量照合部12の構成要素である閾値判定部204や図14で示される特徴量照合部15の構成要素である閾値判定部502とほぼ同一だが、識別スコア統合部3201で出力した統合スコアを入力として、その値が閾値以上となる画像の画像IDを識別画像IDとして出力する点が異なっている。
本発明の第12の実施の形態に係る物体識別装置Z12は、第1〜11の実施の形態とは異なり、差異領域識別スコアだけで最終的な識別結果を決定するのではなく、これらを局所特徴量による識別スコアと統合したスコアから最終的な識別結果を判定する。例えば、同一物体を写した画像が悪環境(例えば、暗い環境)で、他の類似物体は理想的な環境で撮影されているような場合、かつ、それらの類似物体がテクスチャだけでなく色味も類似している場合、差異領域から抽出した特徴量だけでは正しい識別ができない。しかし、局所特徴量による識別結果とあわせることで、同一物体に対する識別結果を相対的に上げる事ができる。なお、本発明の第12の実施の形態の構成例として、ここまで順番に説明してきた図55は、第1の実施の形態を基にした構成である。そして同様に、図55は、第2〜11の実施の形態、及び後述する第13,14の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第2〜11の実施の形態、及び第13,14の実施の形態の構成例において、局所特徴量照合部から識別スコアを、特徴量照合部から差異領域識別スコアを、それぞれ出力するようにし、それらを識別スコア統合判定部に入力させる事で物体識別装置Z12を構成する事が可能である。
(第13の実施の形態)
本発明の第13の実施の形態について図面を参照して説明する。
図61は、本発明の第13の実施の形態である物体識別装置の構成例を示すブロック図である。図61に示すように、第13の実施の形態に係る物体識別装置Z13は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域特徴量抽出部18、差異領域推定部33を備えて構成される。参照画像DBは、複数の参照画像を格納可能なデータベースである。
このように、第13の実施の形態に係る物体識別装置Z13は、第4の実施の形態に係る物体識別装置Z4の差異領域推定部20が、差異領域推定部33に変更されている点が異なる。その他の構成要素については、第4の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
差異領域推定部33は、参照画像を2枚ずつ比較することにより、参照画像中の差異領域を推定する。具体的には、差異領域推定部33は、次のような処理を行う。まず、差異領域推定部33は、2枚の参照画像からそれぞれの局所特徴量を抽出する。次に、差異領域推定部33は、それらの局所特徴量を照合することにより算出される幾何変換情報を利用して、その2枚の参照画像の位置合わせを行う。次に、差異領域推定部33は、位置が合わせられた2枚の参照画像の差分を求める。そして、差異領域推定部33は、その差分に基づいて、差異領域の推定を行うことにより、その2枚の参照画像に対応する差異領域情報を出力する。差異領域推定部33は、参照画像DBに格納される参照画像から選択される2枚の参照画像の組み合わせ毎に差異領域情報を出力しても良い。例えば、参照画像DBに参照画像A,B,C,D,Eの5枚の参照画像が格納されている場合、差異領域推定部33は、それら5枚の参照画像から2枚を選択する組み合わせの数である10通りの差異領域情報を出力しても良い。
差異領域推定部33は、上記の差異領域を推定する処理において、2枚の参照画像のそれぞれから局所特徴量を抽出し、それら局所特徴量を照合することにより対応特徴点を算出しても良い。そして、算出される対応特徴点は2枚の参照画像が一致している領域(同一の領域)を示す事から、差異領域推定部33は、対応特徴点に外接する領域を除く領域を、各参照画像における差異領域であると推定し、この領域を差異領域情報として出力しても良い。
第13の実施の形態における特徴量照合部15は、図14の第1の実施の形態における特徴量照合部15と同様に、差異領域識別スコア算出部501と閾値判定部502で構成される事が可能である。次に、第13の実施の形態における特徴量照合部15の処理について説明する。特徴量照合部15は、差異領域推定部33が出力した差異領域情報に対して、以下のような勝ち抜き方式による処理を行っても良い。まず、特徴量照合部15は、ある2枚の参照画像に対応する差異領域情報において、入力画像の差異領域から抽出した特徴量と、2枚の参照画像の各差異領域から抽出した特徴量とを照合し、差異領域識別スコアを算出する。そして、特徴量照合部15は、より高い差異領域識別スコアを有する方の参照画像を選択し、選択された参照画像と、まだ処理されていない他の1枚の参照画像に対応する差異領域情報において同様の処理を繰り返す。この処理を、全ての参照画像が処理されるまで行う。そして、特徴量照合部15は、最終的に選択された参照画像を、入力画像と同一の物体を写した画像であると判定し、この参照画像のIDを差異領域識別画像IDとして出力する。
上記の勝ち抜き方式による具体的な処理の例を説明する。参照画像DBは、参照画像A,B,C,D,Eの5つの参照画像を格納しているものとする。まず、特徴量照合部15は、参照画像Aと参照画像Bに対応する差異領域において、入力画像の特徴量と、参照画像Aと参照画像Bのそれぞれの特徴量から差異領域識別スコアを算出する。ここで、参照画像Aが参照画像Bよりも高い差異領域識別スコアを有していた場合、特徴量照合部15は、参照画像Aと次の参照画像である参照画像Cに対応する差異領域において、入力画像の特徴量と、参照画像Aと参照画像Cのそれぞれの特徴量から差異領域識別スコアを算出する。今度は、参照画像Cが参照画像Aよりも高い差異領域識別スコアを有していた場合、特徴量照合部15は、参照画像Cと次の参照画像である参照画像Dに対応する差異領域において、同様の処理を行う。今度は、参照画像Dが参照画像Cよりも高い差異領域識別スコアを有していた場合、特徴量照合部15は、参照画像Dと次の参照画像である参照画像Eに対応する差異領域において、同様の処理を行う。今度は、参照画像Dが参照画像Eよりも高い差異領域識別スコアを有していた場合、全ての参照画像が処理されたことにより、特徴量照合部15は、参照画像Dを、入力画像と同一の物体を写した画像であると判定する。そして、特徴量照合部15は、参照画像DのIDを差異領域識別画像IDとして出力する。
あるいは、特徴量照合部15は、上記勝ち抜き方式の処理において最終的に選択された参照画像を必ずしも出力しなくともよい。例えば、特徴量照合部15は、最終的に選択された参照画像と他の参照画像との組み合わせにおいて算出された、最終的に選択された参照画像の差異領域識別スコアの平均値や最小値が閾値以上であるか判定することにより、最終的に出力可否を決定しても良い。
あるいは、上記勝ち抜き方式の処理とは異なる処理を行っても良い。例えば、特徴量照合部15は、各参照画像の全ての組み合わせにおいて、入力画像の差異領域から抽出した特徴量と、2枚の参照画像の各差異領域から抽出した特徴量とを照合し、各参照画像の差異領域識別スコアを算出する。そして、特徴量照合部15は、どちらか一方の参照画像を択一的に選択するのではなく、差異領域識別スコアが所定の閾値以上である参照画像を全て選択する。あるいは、特徴量照合部15は、差異領域識別スコアが所定の閾値以上であり、かつもう一方の参照画像の差異領域識別スコアとの差が所定の値以上である参照画像を全て選択してもよい。そして、特徴量照合部15は、こうして選択された参照画像を、入力画像と同一の物体を写した画像であると判定し、これらの参照画像のIDを差異領域識別画像IDとして出力しても良い。
あるいは、次のような処理を行っても良い。特徴量照合部15は、各参照画像の組み合わせにおいて算出される差異領域識別スコアを保持しておく。そして、全参照画像の組み合わせに対して差異領域識別スコアが算出された時点で、特徴量照合部15は、参照画像毎にそれらの差異領域識別スコアの平均値を算出し、算出された値を各参照画像の最終的な差異領域識別スコアとする。特徴量照合部15は、それら最終的な差異領域識別スコアに基づいて差異領域識別画像IDを出力しても良い。
差異領域推定部33は、上記の差異領域を推定する処理において、2枚の参照画像において色が類似していない領域を差異領域であると推定しても良い。この処理は、例えば次のように行われる。まず、差異領域推定部33は、2枚の参照画像が同じ画像サイズになるようにサイズを変更する。次に、差異領域推定部33は、2枚の参照画像における対応する画素の色の類似度を計算する。次に、差異領域推定部33は、色が類似していない領域を差異領域であると推定し、この領域を差異領域情報として出力する。特徴量照合部15は、参照画像同士の比較において色が類似していない領域として検出された領域において、参照画像と同じ画像サイズに変更された入力画像と参照画像との間で照合処理を行う。この方法を用いる場合、参照画像同士あるいは参照画像と入力画像の色の類似度を計算する際は、対応する画素のみならず、その周辺画素も含めて類似する色が探索されても良い。色の類似度を計算する方法として、例えば、比較する画素におけるR(赤),G(緑),B(青)それぞれの輝度値の差分の2乗の和を算出する方法が利用されても良い。あるいは、R,G,Bの輝度値の総和でR,G,Bの輝度値をそれぞれ正規化した後、比較する画素における、正規化された値の差分の2乗の和を算出する方法が利用されても良い。
また、差異領域推定部33は、上記の差異領域を推定する処理において、2枚の参照画像において、色ではなくエッジ成分が類似していない領域を差異領域であると推定しても良い。具体的には、差異領域推定部33は、同じ画像サイズになるようにサイズが変更された2枚の参照画像において、それぞれの参照画像からエッジ成分を抽出し、抽出されたエッジ成分の類似度を計算する。次に、差異領域推定部33は、エッジ成分が類似していない領域を差異領域であると推定し、この領域を差異領域情報として出力する。特徴量照合部15は、参照画像同士の比較においてエッジ成分が類似していない領域として検出された領域において、入力画像と参照画像の照合処理を行う。
また、色やエッジ以外の特徴量を用いることにより、同様の処理が行なわれても良い。
以上のように、本発明の第13の実施の形態に係る物体識別装置Z13は、第2〜12の実施の形態のように入力画像と参照画像を動的に比較して差異領域を推定するのではなく、事前に参照画像間の比較を行うことによって差異領域を推定する。事前に推定された差異領域を利用することにより、本発明の第13の実施の形態に係る物体識別装置Z13は、識別結果を得るまでの時間を第2〜12の実施の形態よりも短縮することが可能である。
(第14の実施の形態)
本発明の第14の実施の形態について図面を参照して説明する。
図62は、本発明の第14の実施の形態である物体識別装置の構成例を示すブロック図である。図62に示すように、第14の実施の形態に係る物体識別装置Z14は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域特徴量抽出部18、差異領域推定部34を備えて構成される。
このように、第14の実施の形態に係る物体識別装置Z14は、第13の実施の形態に係る物体識別装置Z13の局所特徴量照合部12及び差異領域推定部33が、局所特徴量照合部16及び差異領域推定部34に変更されている点が異なる。その他の構成要素については、第13の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
差異領域推定部34は、第13の実施の形態における差異領域推定部33と同様に、参照画像を2枚ずつ比較することにより、参照画像中の差異領域を推定する。この差異領域を推定する処理において、差異領域推定部34は、局所特徴量照合部16が出力する対応特徴点情報と、2枚の参照画像の対応特徴点情報(以下「参照画像対応特徴点情報」と称する)を使用する点が第13の実施の形態と異なる。
具体的には、差異領域推定部34は、次のような処理を行う。まず、差異領域推定部34は、2枚の参照画像からそれぞれの局所特徴量を抽出する。次に、差異領域推定部34は、それら2枚の参照画像の局所特徴量を照合することにより参照画像対応特徴点情報を算出する。次に、差異領域推定部34は、局所特徴量照合部16が出力する対応特徴点情報から、算出された参照画像対応特徴点情報と一致する対応特徴点情報を除外する。次に、差異領域推定部34は、2枚の参照画像のうち除外されずに残った対応特徴点情報が多い方の参照画像を選択し、選択された参照画像において、残った対応特徴点に外接する領域を、その2枚の参照画像に対応する差異領域情報として出力する。
あるいは、差異領域推定部34は、対応特徴点に外接する領域の情報ではなく、対応特徴点情報の中から参照画像対応特徴点情報と一致するものを除外した対応特徴点情報そのものを差異領域情報として出力しても良い。この場合、入力画像差異領域特徴量抽出部14で使用される特徴量は、局所特徴量となる。
照合の処理においては、第13の実施の形態と同様に、画像の比較を2枚ずつ行う。
差異領域推定部34による、参照画像を2枚ずつ比較することにより参照画像中の差異領域を推定する方法は、第13の実施の形態における差異領域推定部33と同様、色やエッジ成分が類似していない領域を差異領域とする方法でもよい。この方法において、差異領域推定部34は、入力画像と参照画像の対応特徴点情報を用いた処理を加えて行っても良い。例えば、差異領域推定部34は、近傍に対応特徴点が存在する領域においては、算出される色やエッジの類似度の信頼度を高くし、近傍に対応特徴点が存在しない領域においては、算出される色やエッジの類似度の信頼度を低くしても良い。なお、「信頼度が高い」とは、算出される類似度を高く見積もる(例えばより大きな係数をかける)ことを示し、「信頼度が低い」とは、算出される類似度を低く見積もる(例えばより小さな係数をかける)ことを示す。
以上のように、本発明の第14の実施の形態に係る物体識別装置Z14は、事前の差異領域の推定処理において、参照画像間の比較処理に加え、入力画像と参照画像の対応特徴点情報に基づいた処理も行う。このことにより、物体識別装置Z14は、第13の実施の形態よりも高精度な識別を行うことが可能である。
図59は、コンピュータを構成する要素の例を表すブロック構成図である。図59のコンピュータ9000は、CPU(Central Processing Unit)9010と、RAM(Random Access Memory)9020と、ROM(Read Only Memory)9030と、ハードディスクドライブ9040と、通信インタフェース9050とを備えている。また、取り外し可能記憶媒体9060が、コンピュータ9000に着脱可能である。取り外し可能記憶媒体9060は、着脱可能な磁気ディスク媒体、光学ディスク媒体あるいはメモリカードなどでもよい。
前述した物体識別装置Z1,Z1’,Z2〜Z14の構成要素は、プログラムがコンピュータ9000のCPU9010において実行されることにより実現されてもよい。具体的には、これらの構成要素は、CPU9010がROM9030、ハードディスクドライブ9040あるいは取り外し可能記憶媒体9060からプログラムを読み込み、読み込んだプログラムを、例えば図2に示したフローチャートの手順の如くCPU9010が実行することにより実現されてもよい。そして、このような場合において、上述した実施形態を例に説明した本発明は、係るコンピュータプログラムを表わすコードあるいはそのコンピュータプログラムを表わすコードが格納されたコンピュータ読み取り可能な記憶媒体(例えばハードディスクドライブ9040や、取り外し可能記憶媒体9060など)によって構成されると捉えることができる。
あるいは、これらの構成要素は、専用のハードウェアで実現されてもよい。また、物体識別装置Z1,Z1’,Z2〜Z14は、これら構成要素を備える専用のハードウェアであってもよい。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2012年12月28日に出願された日本特許出願特願2012−288397を基礎とする優先権を主張し、その開示の全てを盛り込む。
上述した実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明を以下のように限定するものではない。
(付記1) 参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、前記参照画像から抽出した局所特徴量と前記入力画像から抽出した局所特徴量とを照合する局所特徴量照合部と、
前記照合により一致すると判定された前記入力画像についての前記幾何変換情報に基づいて、前記参照画像中の差異領域を変換して、前記参照画像中の差異領域に対応する前記入力画像中の差異領域を決定する入力画像差異領域決定部と、
前記入力画像中の差異領域を補正し、当該補正された入力画像の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出部と、
前記入力画像差異領域特徴量抽出部により抽出された特徴量と前記参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合部と、
を備える事を特徴とする物体識別装置。
(付記2) 前記入力画像差異領域特徴量抽出部は、前記入力画像の差異領域を、所定の画素分だけ広げた領域に補正し、当該補正した入力画像の差異領域から特徴量を抽出する事を特徴とする、付記1に記載の物体識別装置。
(付記3) 前記入力画像差異領域特徴量抽出部は、前記入力画像の差異領域を、当該差異領域内の基準点を基準に所定の比率だけ広げた領域に補正し、当該補正した入力画像の差異領域から特徴量を抽出する事を特徴とする、付記1に記載の物体識別装置。
(付記4) 前記入力画像差異領域特徴量抽出部は、前記入力画像の差異領域内の端にエッジが密集している領域が存在する場合、当該入力画像の差異領域を、当該エッジが密集している方向に広げた領域に補正し、当該補正した入力画像の差異領域から特徴量を抽出する事を特徴とする、付記1に記載の物体識別装置。
(付記5) 参照画像を2枚ずつ比較することにより、比較した参照画像間で違いのある領域を前記参照画像中の差異領域として算出する差異領域推定部をさらに備える事を特徴とする、付記1に記載の物体識別装置。
(付記6) 前記局所特徴量照合部は、幾何変換情報と、正しく対応している特徴点と誤って対応している特徴点を示す情報を含む対応特徴点情報を出力し、
前記差異領域推定部は、前記局所特徴量照合部が出力する対応特徴点情報に基づいて前記参照画像中の差異領域を算出する事を特徴とする、付記5に記載の物体識別装置。
(付記7) 前記入力画像差異領域特徴量抽出部は、前記入力画像差異領域決定部が決定した前記入力画像中の差異領域から抽出された特徴量である第1の特徴量と、前記入力画像差異領域特徴量抽出部により抽出された特徴量である第2の特徴量とを出力し、
前記特徴量照合部は、前記第1の特徴量と、前記参照画像中の差異領域から抽出された特徴量とを照合し、同一性がないと判定された場合、前記第2の特徴量と、前記参照画像中の差異領域から抽出された特徴量とを照合し、当該照合の結果を出力することを特徴とする、付記1〜6のいずれか1つに記載の物体識別装置。
(付記8) 前記特徴量照合部は、前記第1の特徴量及び前記参照画像中の差異領域から抽出された特徴量の照合と、前記第2の特徴量及び前記参照画像中の差異領域から抽出された特徴量の照合とを並列に実行し、前記2つの照合の結果を統合した結果を照合結果として出力することを特徴とする、付記7に記載の物体識別装置。
(付記9) 参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、前記参照画像から抽出した局所特徴量と前記入力画像から抽出した局所特徴量とを照合する局所特徴量照合ステップと、
前記照合により一致すると判定された前記入力画像についての前記幾何変換情報に基づいて、前記参照画像中の差異領域を変換して、前記参照画像中の差異領域に対応する前記入力画像中の差異領域を決定する入力画像差異領域決定ステップと、
前記入力画像中の差異領域を補正し、当該補正された入力画像の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出ステップと、
前記入力画像差異領域特徴量抽出ステップにより抽出された特徴量と前記参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合ステップと、
を備える事を特徴とする物体識別方法。
(付記10) コンピュータを、
参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、前記参照画像から抽出した局所特徴量と前記入力画像から抽出した局所特徴量とを照合する局所特徴量照合部、
前記照合により一致すると判定された前記入力画像についての前記幾何変換情報に基づいて、前記参照画像中の差異領域を変換して、前記参照画像中の差異領域に対応する前記入力画像中の差異領域を決定する入力画像差異領域決定部、
前記入力画像中の差異領域を補正し、当該補正された入力画像の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出部、
前記入力画像差異領域特徴量抽出部により抽出された特徴量と前記参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合部、
として機能させるためのプログラム。