<第1の実施形態>
以下、本発明の実施形態について、図面を参照して説明する。図1は、本第1の実施形態による対象物位置特定システムの概略構成を示したブロック図である。図1において、対象物位置特定システム10は、局所特徴ベクトル生成部110と、量子化ベクトル生成部120と、ヒストグラム生成部130と、SVM(Support vector machine:サポートベクタマシン)演算部140と、教師データ群150と、位置特定制御部160と、量子化ベクトル保存部170と、を備えている。
対象物位置特定システム10は、入力された画像に対して、画像に写っている物体、つまり、被写体(対象物)や画像が撮影されたシーンを認識するシーン認識の処理を行い、様々な対象物の種類毎に分類されたそれぞれの教師データとの類似度の情報を、シーン認識の処理によって判別した情報として出力する。また、対象物位置特定システム10は、シーン認識の処理を行った画像内で、判別した対象物が写っている位置を特定する位置特定の処理を行い、特定した対象物が写っている位置を表す情報を出力する。
教師データ群150は、同じ対象物が写っている大量の画像のヒストグラムが、対象物の種類(カテゴリ)毎に分類されたそれぞれの教師データとして含まれているデータベースである。教師データは、例えば、人、犬、猫、花などの対象物のカテゴリ毎に分類されており、分類されたそれぞれのカテゴリ毎に、例えば、1500枚の画像のヒストグラムから構成されている。すなわち、教師データ群150には、対象物が「人」である1つのカテゴリに対して、1500個のヒストグラムが教師データとしてそれぞれ存在し、同様に、対象物が「犬」、「猫」、「花」であるそれぞれのカテゴリに対しても、それぞれ1500個のヒストグラムが教師データとしてそれぞれ存在している。つまり、教師データ群150には、4つのカテゴリのそれぞれに対して1500個のヒストグラム(合計で4×1500=6000個のヒストグラム)が、教師データとして含まれている。
局所特徴ベクトル生成部110は、位置特定制御部160からの制御に応じて、対象物位置特定システム10に入力された画像の局所特徴ベクトルを生成する。局所特徴ベクトル生成部110は、入力された画像の全体の領域を予め定めた大きさの領域(以下、「シーン認識分割領域」という)に細かく分割し、分割したそれぞれのシーン認識分割領域に含まれる画像データにおける局所的な特徴を表す局所特徴ベクトルを生成する。そして、局所特徴ベクトル生成部110は、生成したそれぞれのシーン認識分割領域の局所特徴ベクトルの値を、量子化ベクトル生成部120に出力する。また、局所特徴ベクトル生成部110は、全てのシーン認識分割領域の局所特徴ベクトルの生成が完了したとき、局所特徴ベクトルの生成が完了したことを位置特定制御部160に通知する。なお、局所特徴ベクトル生成部110において局所特徴ベクトルを生成する処理の方法は、従来の技術においてシーン認識の処理を行う際に局所特徴ベクトルを生成する処理の方法と同様であるため、詳細な説明は省略する。
量子化ベクトル生成部120は、位置特定制御部160からの制御に応じて、局所特徴ベクトル生成部110から入力されたそれぞれのシーン認識分割領域の局所特徴ベクトルの値を量子化し、それぞれのシーン認識分割領域に対応する量子化ベクトルを生成する。そして、量子化ベクトル生成部120は、生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、ヒストグラム生成部130に出力すると共に、生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、量子化ベクトル保存部170に保存させる。また、量子化ベクトル生成部120は、全てのシーン認識分割領域の量子化ベクトルの生成が完了したとき、量子化ベクトルの生成が完了したことを位置特定制御部160に通知する。なお、量子化ベクトル生成部120において量子化ベクトルを生成する処理の方法は、従来の技術においてシーン認識の処理を行う際に量子化ベクトルを生成する処理の方法と同様であるため、詳細な説明は省略する。
量子化ベクトル保存部170は、量子化ベクトル生成部120からの制御に応じて、量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を一時的に保存する、例えば、DRAM(Dynamic Random Access Memory)などのメモリである。量子化ベクトル保存部170は、量子化ベクトル生成部120から入力された、それぞれのシーン認識分割領域に対応する量子化ベクトルの値を、それぞれのシーン認識分割領域毎に保存する。量子化ベクトル保存部170に保存されたそれぞれのシーン認識分割領域毎の量子化ベクトルの値は、ヒストグラム生成部130からの制御に応じて、ヒストグラム生成部130に出力される。
ヒストグラム生成部130は、位置特定制御部160からの制御に応じたシーン認識の処理において、量子化ベクトル生成部120から入力されたそれぞれのシーン認識分割領域毎の量子化ベクトルの値から、対象物位置特定システム10に入力された画像の全体を表すヒストグラムを生成する。そして、ヒストグラム生成部130は、生成した画像全体のヒストグラムを、SVM演算部140に出力する。また、ヒストグラム生成部130は、入力された画像に対応した画像全体のヒストグラムの生成が完了したとき、画像全体のヒストグラムの生成が完了したことを位置特定制御部160に通知する。なお、ヒストグラム生成部130において画像全体のヒストグラムを生成する処理の方法は、従来の技術においてシーン認識の処理を行う際に画像全体のヒストグラムを生成する処理の方法と同様であるため、詳細な説明は省略する。
また、ヒストグラム生成部130は、位置特定制御部160からの制御に応じた対象物の位置特定の処理において、量子化ベクトル保存部170に保存されているそれぞれのシーン認識分割領域毎の量子化ベクトルの値から、位置特定制御部160から指定された、シーン認識分割領域の大きさよりも大きな、予め定めた大きさの領域(以下、「位置特定分割領域」という)のヒストグラムを生成する。この位置特定分割領域は、対象物位置特定システム10に入力された画像全体の内で対象物が写っている位置を特定する単位を定めた領域である。そして、ヒストグラム生成部130は、生成したそれぞれの位置特定分割領域毎のヒストグラム(以下、「位置特定ヒストグラム」という)を、SVM演算部140に出力する。また、ヒストグラム生成部130は、位置特定制御部160から指定された位置特定分割領域に対応した位置特定ヒストグラムの生成が完了したとき、指定された位置特定ヒストグラムの生成が完了したことを位置特定制御部160に通知する。この通知によって、位置特定制御部160から次の位置特定分割領域が指定され、ヒストグラム生成部130は、指定された位置特定分割領域に対応した位置特定ヒストグラムの生成を繰り返す。なお、ヒストグラム生成部130において位置特定ヒストグラムを生成する処理の方法は、ヒストグラムを生成する領域の大きさが異なる以外は、シーン認識の処理において画像全体のヒストグラムを生成する処理の方法と同様である。
SVM演算部140は、位置特定制御部160からの制御に応じたシーン認識の処理において、ヒストグラム生成部130から入力された画像全体のヒストグラムと、教師データ群150に含まれるそれぞれの教師データのヒストグラムとを比較するSVM演算を行い、教師データ群150において分類された対象物のカテゴリ毎に類似度を算出する。そして、SVM演算部140は、入力された画像全体のヒストグラムに対するそれぞれの対象物のカテゴリとの類似度の算出が完了したとき、すなわち、SVM演算が完了したとき、SVM演算によって算出したそれぞれの対象物のカテゴリ毎の類似度を表す情報を、対象物位置特定システム10がシーン認識の処理を行って判別した情報として出力する。また、SVM演算部140は、シーン認識の処理を行うSVM演算が完了したことを位置特定制御部160に通知する。なお、SVM演算部140におけるSVM演算の方法は、従来の技術においてシーン認識の処理を行う際のSVM演算の方法と同様であるため、詳細な説明は省略する。
また、SVM演算部140は、位置特定制御部160からの制御に応じた対象物の位置特定の処理において、ヒストグラム生成部130から入力されたそれぞれの位置特定ヒストグラムと、教師データ群150に含まれるそれぞれの教師データのヒストグラムとを比較するSVM演算を行い、それぞれの位置特定分割領域毎に、教師データ群150において分類された対象物のカテゴリとの類似度を算出する。また、SVM演算部140は、対象物の位置特定の処理を行う位置特定分割領域毎に、SVM演算が完了したことを位置特定制御部160に通知する。この通知によって、位置特定制御部160から次の位置特定分割領域が指定され、SVM演算部140は、指定された位置特定分割領域の位置特定ヒストグラムに対するSVM演算を繰り返す。そして、SVM演算部140は、全ての位置特定分割領域の位置特定ヒストグラムに対するSVM演算が完了したとき、SVM演算によって算出したそれぞれの位置特定分割領域毎に、シーン認識の処理によって判別した対象物のカテゴリとの類似度を表す情報を、対象物位置特定システム10が対象物の位置特定の処理を行った結果として出力する。なお、SVM演算部140における位置特定ヒストグラムに対するSVM演算の方法は、SVM演算の処理を行うヒストグラムが異なる以外、つまり、画像全体のヒストグラムが位置特定ヒストグラムとなる以外は、シーン認識の処理におけるSVM演算の方法と同様である。
位置特定制御部160は、対象物位置特定システム10の全体、すなわち、対象物位置特定システム10に備えた局所特徴ベクトル生成部110、量子化ベクトル生成部120、ヒストグラム生成部130、およびSVM演算部140のそれぞれの動作を制御する。位置特定制御部160は、ヒストグラム生成分割領域指定部161を備えている。
ヒストグラム生成分割領域指定部161は、対象物位置特定システム10における対象物の位置特定の処理において、対象物位置特定システム10に入力された画像の全体の領域を、画像内で対象物が写っている位置を特定する位置特定の処理を行うための予め定めた大きさの位置特定分割領域に分割する。そして、ヒストグラム生成分割領域指定部161は、分割したそれぞれの位置特定分割領域を、ヒストグラム生成部130に位置特定ヒストグラムを生成させる領域およびSVM演算部140にSVM演算をさせる領域として、順次指定する。このとき、ヒストグラム生成分割領域指定部161は、今回指定した位置特定分割領域に対応した位置特定ヒストグラムの生成が完了したことを表す通知をヒストグラム生成部130から受け取る毎に、ヒストグラム生成部130に指定する位置特定分割領域を、次の位置特定分割領域に順次移動させる。また、ヒストグラム生成分割領域指定部161は、今回指定した位置特定分割領域の位置特定ヒストグラムに対するSVM演算が完了したことを表す通知をSVM演算部140から受け取る毎に、SVM演算部140に指定する位置特定分割領域を、次の位置特定分割領域に順次移動させる。つまり、ヒストグラム生成分割領域指定部161は、SVM演算部を行う位置特定ヒストグラムを、次の位置特定分割領域の位置特定ヒストグラムに順次変更する。
このような構成よって、対象物位置特定システム10では、シーン認識の処理において量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を量子化ベクトル保存部170に保存し、量子化ベクトル保存部170に保存したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、対象物の位置特定の処理を行う際の位置特定分割領域毎の位置特定ヒストグラムを生成する。これにより、対象物位置特定システム10では、シーン認識の処理の後に、判別した対象物が写っている画像内の位置を特定することが求められた場合でも、それぞれの位置特定分割領域に対してシーン認識の処理を再度行うよりも少ない処理で、対象物の位置特定の処理を行うことができる。
次に、対象物位置特定システム10の動作について説明する。図2は、本第1の実施形態の対象物位置特定システム10における処理手順を示したフローチャートである。また、図3〜図5は、本第1の実施形態の対象物位置特定システム10におけるそれぞれの処理の一例を説明する図である。図2に示した対象物位置特定システム10における処理のフローチャートの説明においては、適宜、図3〜図5に示した対象物位置特定システム10におけるそれぞれの処理の一例を参照し、画像に写っている対象物が「犬」である場合の例を説明する。
対象物位置特定システム10に画像が入力されると、位置特定制御部160は、まず、入力された画像に対するシーン認識の処理を行い、その後、対象物の位置特定の処理を行うように、対象物位置特定システム10に備えたそれぞれの構成要素の動作を制御する。図3は、本第1の実施形態の対象物位置特定システム10における全体の処理の一例を模式的に示した図である。
対象物位置特定システム10に、図3(a)に示したような位置に「犬」が写っている画像が入力された場合、まず、位置特定制御部160は、対象物位置特定システム10に備えたそれぞれの構成要素の動作を制御して、入力された画像(図3(a))に対してシーン認識の処理を行って、入力された画像に「犬」が写っていると判別する。その後、位置特定制御部160は、対象物位置特定システム10に備えたそれぞれの構成要素の動作を制御して、入力された画像(図3(a))全体の領域を図3(b)に示したように複数の位置特定分割領域に分割したそれぞれの位置特定分割領域毎に対象物の位置特定の処理を順次行って、対象物である「犬」が写っている位置特定分割領域の位置を特定する。図3(b)には、画像(図3(a))全体の領域を水平方向および垂直方向にそれぞれ3分割した9つの位置特定分割領域A1〜A9に分割し、位置特定分割領域A6の位置を、対象物である「犬」が写っている位置と特定した場合を示している。
対象物位置特定システム10に画像が入力されると、対象物位置特定システム10は、ステップS100から、入力された画像のシーンを認識するシーン認識の処理を開始する。対象物位置特定システム10におけるシーン認識の処理では、まず、ステップS100において、位置特定制御部160は、局所特徴ベクトル生成部110に、入力された画像(図3(a))全体の領域を予め定めた大きさの細かいシーン認識分割領域に分割したそれぞれのシーン認識分割領域毎の局所特徴ベクトルを生成させる。
続いて、ステップS110において、位置特定制御部160は、量子化ベクトル生成部120に、局所特徴ベクトル生成部110が生成した局所特徴ベクトルに基づいて、それぞれのシーン認識分割領域毎の量子化ベクトルを生成させる。また、ステップS115において、位置特定制御部160は、量子化ベクトル生成部120に、生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、量子化ベクトル保存部170に保存させる。
続いて、ステップS120において、位置特定制御部160は、ヒストグラム生成部130に、量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域毎の量子化ベクトルの値に基づいて、対象物位置特定システム10に入力された画像(図3(a))の全体を表すヒストグラムを生成させる。
続いて、ステップS130において、位置特定制御部160は、SVM演算部140に、ヒストグラム生成部130が生成した画像(図3(a))全体のヒストグラムと、教師データ群150に含まれるそれぞれの教師データのヒストグラムとの類似度を算出するSVM演算を実行させる。これにより、対象物位置特定システム10は、入力された画像(図3(a))に「犬」が写っていると判別することができ、それぞれの対象物のカテゴリ毎の類似度を表す情報を出力する。
ここまでの処理が、対象物位置特定システム10におけるシーン認識の処理である。なお、対象物位置特定システム10におけるシーン認識の処理は、従来の技術によるシーン認識の処理と同様である。
ここで、対象物位置特定システム10によって行われる、ステップS100〜ステップS130までのシーン認識の処理の一例について説明する。図4は、本第1の実施形態の対象物位置特定システム10においてシーン認識の処理を行う動作の一例を模式的に示した図である。
対象物位置特定システム10におけるシーン認識の処理では、まず、ステップS100において、局所特徴ベクトル生成部110が、位置特定制御部160からの制御に応じて、入力された画像(図3(a))全体の領域を、予め定めた大きさの細かいシーン認識分割領域に分割し、分割したそれぞれのシーン認識分割領域毎に局所特徴ベクトルを生成する。そして、局所特徴ベクトル生成部110は、生成したそれぞれのシーン認識分割領域の局所特徴ベクトルの値を、量子化ベクトル生成部120に出力する。図4(a)には、局所特徴ベクトル生成部110が、入力された画像を水平方向および垂直方向にそれぞれ9分割したシーン認識分割領域の状態の一例を示している。
そして、ステップS110において、量子化ベクトル生成部120が、位置特定制御部160からの制御に応じて、局所特徴ベクトル生成部110が生成した局所特徴ベクトルの値を量子化し、それぞれのシーン認識分割領域毎の量子化ベクトルを生成する。そして、量子化ベクトル生成部120は、生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、ヒストグラム生成部130に出力する。また、ステップS115において、量子化ベクトル生成部120は、生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、量子化ベクトル保存部170に保存する。図4(b)には、量子化ベクトル生成部120によって量子化ベクトルの生成が完了した状態の一例を示している。
その後、ステップS120において、ヒストグラム生成部130が、位置特定制御部160からの制御に応じて、量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域毎の量子化ベクトルの値から、対象物位置特定システム10に入力された画像(図3(a))の全体を表すヒストグラムを生成する。そして、ヒストグラム生成部130は、生成した画像(図3(a))全体のヒストグラムを、SVM演算部140に出力する。図4(c)には、ヒストグラム生成部130が生成した画像全体のヒストグラムの一例を示している。
その後、ステップS130において、SVM演算部140が、位置特定制御部160からの制御に応じて、ヒストグラム生成部130が生成した画像(図3(a))全体のヒストグラムと、教師データ群150に含まれるそれぞれの教師データのヒストグラム(例えば、上述した4つのカテゴリに含まれる1500個のヒストグラムの合計6000個のヒストグラム)との類似度を算出するSVM演算を行う。そして、SVM演算部140は、算出したSVM演算の結果に基づいて得られる、それぞれの対象物のカテゴリ毎の類似度を表す情報を出力する。
なお、SVM演算部140によるSVM演算では、ヒストグラム生成部130が生成した画像(図3(a))全体のヒストグラムとそれぞれの教師データのヒストグラムとにおける同じ階級同士の度数の差分絶対値を算出し、それぞれの階級の差分絶対値を加算する。ここで算出した差分絶対値の加算結果は、ヒストグラム生成部130が生成した画像(図3(a))全体のヒストグラムとそれぞれの教師データのヒストグラムとの差が小さいほど、つまり、それぞれのヒストグラムの類似度が高いほど、値が小さくなる。これにより、SVM演算部140が算出した差分絶対値の加算結果の値が最も小さい教師データが含まれているカテゴリが、入力された画像(図3(a))に写っている対象物のカテゴリであると判別することができる。SVM演算部140は、差分絶対値の加算結果に応じた類似度を表す情報を出力する。図4(d)には、対象物が「犬」であるカテゴリに対する類似度が80%である情報と、対象物が「猫」であるカテゴリに対する類似度が20%である情報とを出力した場合の一例を示している。
なお、それぞれのヒストグラムで表した画像の領域の大きさが異なると、つまり、画像に含まれる画像データの合計数(画素数)が異なると、たとえ、同じ画像を表すヒストグラムであったとしても、同じ階級における度数が異なり、同じ階級同士の度数から算出した差分絶対値が大きな値になってしまう。このため、SVM演算では、それぞれのヒストグラムで表した画像の領域の大きさが同等になるように、つまり、画像データの合計数が同等になるように、それぞれのヒストグラムに含まれる度数の数を正規化した後に、それぞれのヒストグラムにおける同じ階級同士の度数の差分絶対値を算出する。これは、従来の技術によるシーン認識の処理においても同様である。
そして、シーン認識の処理が完了すると、対象物位置特定システム10は、ステップS200から、シーン認識の処理を行った画像内で、判別した対象物が写っている位置を特定する位置特定の処理を開始する。対象物位置特定システム10における対象物の位置特定の処理では、シーン認識の処理において量子化ベクトル生成部120が量子化ベクトル保存部170に保存したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、シーン認識の処理における画像全体のヒストグラムの生成(ステップS120)以降の処理と同様の処理を、位置特定分割領域毎に行う。
まず、ステップS200において、位置特定制御部160は、ヒストグラム生成部130に、入力された画像(図3(a))全体の領域を分割した9つの位置特定分割領域(図3(b)参照)の内、1つ目の位置特定分割領域を指定する。そして、位置特定制御部160は、ヒストグラム生成部130に、指定した1つ目の位置特定分割領域に対応する量子化ベクトルの値を、量子化ベクトル保存部170から取得させる。
続いて、ステップS210において、位置特定制御部160は、ヒストグラム生成部130に、取得した1つ目の位置特定分割領域に対応する量子化ベクトルの値に基づいて、1つ目の位置特定分割領域を表す位置特定ヒストグラムを生成させる。
続いて、ステップS220において、位置特定制御部160は、SVM演算部140に、ヒストグラム生成部130が生成した1つ目の位置特定分割領域を表す位置特定ヒストグラムと、教師データ群150に含まれる、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリのそれぞれの教師データのヒストグラムとの類似度を算出するSVM演算を実行させる。これにより、対象物位置特定システム10は、1つ目の位置特定分割領域内に、シーン認識の処理において類似度が最も高かった「犬」が写っているか否かを判別することができる類似度を表す情報を出力する。
ここまでの処理が、対象物位置特定システム10における1つの位置特定分割領域に対する位置特定の処理である。対象物位置特定システム10では、入力された画像(図3(a))全体の領域を分割した9つの位置特定分割領域(図3(b)参照)、すなわち、全ての位置特定分割領域に対して、ステップS200〜ステップS220までの位置特定の処理を行う。
より具体的には、ステップS230において、位置特定制御部160は、入力された画像(図3(a))全体の領域を分割した全ての位置特定分割領域の指定が終了したか否かを判定する。ステップS230による判定の結果、分割した全ての位置特定分割領域の指定が終了した場合には、対象物位置特定システム10における処理を完了する。一方、ステップS230による判定の結果、分割した全ての位置特定分割領域の指定が終了していない場合には、ステップS200に戻って、次の位置特定分割領域を指定して、ステップS200〜ステップS220までの位置特定の処理を繰り返す。
ここで、対象物位置特定システム10によって行われる、ステップS200〜ステップS220までの位置特定の処理について説明する。図5は、本第1の実施形態の対象物位置特定システム10において対象物の位置を特定する処理の考え方を説明する図である。
対象物位置特定システム10における対象物の位置特定の処理では、まず、ステップS200において、位置特定制御部160が、入力された画像(図3(a))全体の領域を分割した9つの位置特定分割領域(図3(b)参照)の内、1つ目の位置特定分割領域A1を指定する。そして、ヒストグラム生成部130が、位置特定制御部160によって指定された1つ目の位置特定分割領域A1に対応する量子化ベクトルの値を量子化ベクトル保存部170から取得する。図5(a−1)には、ヒストグラム生成部130が、位置特定制御部160によって指定された1つ目の位置特定分割領域A1に対応するそれぞれのシーン認識分割領域の量子化ベクトルの値を、量子化ベクトル保存部170から取得する状態の一例を示している。
その後、ステップS210において、ヒストグラム生成部130が、位置特定制御部160からの制御に応じて、量子化ベクトル保存部170から取得した1つ目の位置特定分割領域A1に対応する量子化ベクトルの値から、1つ目の位置特定分割領域A1を表す位置特定ヒストグラムを生成する。そして、ヒストグラム生成部130は、生成した1つ目の位置特定分割領域A1を表す位置特定ヒストグラムを、SVM演算部140に出力する。図5(a−2)には、ヒストグラム生成部130が、量子化ベクトル保存部170から取得した1つ目の位置特定分割領域A1に対応する量子化ベクトルの値から生成した位置特定ヒストグラムの一例を示している。
その後、ステップS220において、SVM演算部140が、位置特定制御部160からの制御に応じて、ヒストグラム生成部130が生成した1つ目の位置特定分割領域A1を表す位置特定ヒストグラムと、教師データ群150に含まれる、シーン認識の処理において類似度が最も高かった「犬」であるカテゴリのそれぞれの教師データのヒストグラムとの類似度を算出するSVM演算を行う。そして、SVM演算部140は、位置特定分割領域A1に対して算出したSVM演算の結果に基づいて得られる、「犬」であるカテゴリとの類似度を表す情報を出力する。
なお、対象物の位置特定の処理においても、シーン認識の処理におけるSVM演算部140によるSVM演算と同様に、ヒストグラム生成部130が生成した1つ目の位置特定分割領域A1を表す位置特定ヒストグラムとそれぞれの教師データのヒストグラムとにおける同じ階級同士の度数の差分絶対値を算出し、それぞれの階級の差分絶対値を加算する。これにより、SVM演算部140は、算出した差分絶対値の加算結果の値が最も小さい位置特定分割領域を、対象物である「犬」が写っている位置特定分割領域であると判別し、その位置特定分割領域の位置を特定する情報を出力する。
また、ヒストグラム生成部130は、位置特定制御部160から指定された1つ目の位置特定分割領域A1を表す位置特定ヒストグラムの生成が完了したとき、1つ目の位置特定分割領域A1を表す位置特定ヒストグラムの生成が完了したことを位置特定制御部160に通知する。この通知に応じて、位置特定制御部160は、ステップS230の判定を行い、ステップS200に戻って、2つ目の位置特定分割領域A2を指定する。
そして、ヒストグラム生成部130が、位置特定制御部160によって指定された2つ目の位置特定分割領域A2に対応する量子化ベクトルの値を量子化ベクトル保存部170から取得する。図5(b−1)には、ヒストグラム生成部130が、位置特定制御部160によって指定された2つ目の位置特定分割領域A2に対応するそれぞれのシーン認識分割領域の量子化ベクトルの値を、量子化ベクトル保存部170から取得する状態の一例を示している。
その後、ステップS210において、ヒストグラム生成部130が、位置特定制御部160からの制御に応じて、量子化ベクトル保存部170から取得した2つ目の位置特定分割領域A2に対応する量子化ベクトルの値から、2つ目の位置特定分割領域A2を表す位置特定ヒストグラムを生成する。そして、ヒストグラム生成部130は、生成した2つ目の位置特定分割領域A2を表す位置特定ヒストグラムを、SVM演算部140に出力する。図5(b−2)には、ヒストグラム生成部130が、量子化ベクトル保存部170から取得した2つ目の位置特定分割領域A2に対応する量子化ベクトルの値から生成した位置特定ヒストグラムの一例を示している。
その後、ステップS220において、SVM演算部140が、位置特定制御部160からの制御に応じて、ヒストグラム生成部130が生成した2つ目の位置特定分割領域A2を表す位置特定ヒストグラムと、教師データ群150に含まれる、シーン認識の処理において類似度が最も高かった「犬」であるカテゴリのそれぞれの教師データのヒストグラムとの類似度を算出するSVM演算を行う。そして、SVM演算部140は、位置特定分割領域A2に対して算出したSVM演算の結果に基づいて得られる、「犬」であるカテゴリとの類似度を表す情報を出力する。
以降、同様に、位置特定制御部160が、入力された画像(図3(a))全体の領域を分割した9つの位置特定分割領域を順次指定し、ヒストグラム生成部130が、位置特定制御部160によって指定されたそれぞれの位置特定分割領域を表す位置特定ヒストグラムを順次生成してSVM演算部140に出力する。また、同様に、SVM演算部140が、ヒストグラム生成部130が生成したそれぞれの位置特定分割領域を表す位置特定ヒストグラムと、教師データ群150に含まれる、シーン認識の処理において類似度が最も高かった「犬」であるカテゴリのそれぞれの教師データのヒストグラムとの類似度を算出するSVM演算を行う。そして、SVM演算部140は、算出したSVM演算の結果に基づいて得られる、それぞれの位置特定分割領域における「犬」であるカテゴリとの類似度を表す情報を出力する。
また、SVM演算部140は、それぞれの位置特定分割領域における「犬」であるカテゴリとの類似度を表す情報に基づいて、類似度が最も大きい位置特定分割領域を、対象物である「犬」が写っている位置特定分割領域であると判別し、その位置特定分割領域の位置を特定する情報を出力する。
このようにして、対象物位置特定システム10では、入力された画像(図3(a))全体の領域を分割した全ての位置特定分割領域に対する位置特定の処理を繰り返すことによって、それぞれの位置特定分割領域の中で、「犬」であるカテゴリとの類似度が最も高い位置特定分割領域を、シーン認識の処理によって判別した「犬」が対象物として写っている位置特定分割領域として特定することができる。これにより、対象物位置特定システム10は、特定した位置特定分割領域の位置を表す情報を出力することができる。
本実施形態によれば、入力された画像の全体の領域を、予め定めた第1の大きさの複数の第1の領域(シーン認識分割領域)に分割し、この分割したシーン認識分割領域毎に、このシーン認識分割領域に含まれる画像データにおける局所的な特徴を表す局所特徴ベクトルを生成する局所特徴ベクトル生成部(局所特徴ベクトル生成部110)と、局所特徴ベクトル生成部110が生成した、それぞれのシーン認識分割領域の局所特徴ベクトルの値を量子化し、それぞれのシーン認識分割領域に対応する量子化ベクトルを生成する量子化ベクトル生成部(量子化ベクトル生成部120)と、量子化ベクトル生成部120が生成したそれぞれの量子化ベクトルの値を、シーン認識分割領域毎に保存する量子化ベクトル保存部(量子化ベクトル保存部170)と、シーン認識分割領域毎のそれぞれの量子化ベクトルの値から、画像の全体または一部の領域を表すヒストグラム(画像全体のヒストグラムまたは位置特定ヒストグラム)を生成するヒストグラム生成部(ヒストグラム生成部130)と、ヒストグラム生成部130が生成したヒストグラムに対するサポートベクタマシン(SVM)演算を行うSVM演算部(SVM演算部140)と、対象物位置特定システム10内の構成要素のそれぞれを制御し、対象物が写されている画像のシーンを認識するシーン認識の処理を実行させた後に、このシーン認識の処理において判別した対象物(例えば、「犬」)が、画像の全体の領域をシーン認識分割領域よりも大きな予め定めた第2の大きさに分割した複数の第2の領域(位置特定分割領域)のいずれの位置に写されているかを特定するための位置特定の処理を実行させる位置特定制御部(位置特定制御部160)と、を備え、位置特定制御部160は、シーン認識の処理において、ヒストグラム生成部130に、それぞれのシーン認識分割領域毎の量子化ベクトルの値から、画像の全体を表すヒストグラムを生成させ、SVM演算部140に、画像の全体を表すヒストグラムと、複数の画像のヒストグラムが対象物の種類毎に分類してまとめられた複数の教師データのヒストグラムのそれぞれとを比較するSVM演算を実行させ、位置特定の処理において、ヒストグラム生成部130に、量子化ベクトル保存部170に保存されたシーン認識分割領域毎のそれぞれの量子化ベクトルの値から、それぞれの位置特定分割領域の画像を表すヒストグラムを生成させ、SVM演算部140に、位置特定分割領域を表すヒストグラムのそれぞれに対するSVM演算を実行させる、対象物位置特定システム(対象物位置特定システム10)が構成される。
また、本実施形態によれば、入力された画像の全体の領域を、予め定めた第1の大きさの複数の第1の領域(シーン認識分割領域)に分割し、この分割したシーン認識分割領域毎に、このシーン認識分割領域に含まれる画像データにおける局所的な特徴を表す局所特徴ベクトルを生成する局所特徴ベクトル生成部(局所特徴ベクトル生成部110)と、局所特徴ベクトル生成部110が生成した、それぞれのシーン認識分割領域の局所特徴ベクトルの値を量子化し、それぞれのシーン認識分割領域に対応する量子化ベクトルを生成する量子化ベクトル生成部(量子化ベクトル生成部120)と、量子化ベクトル生成部120が生成したそれぞれの量子化ベクトルの値を、シーン認識分割領域毎に保存する量子化ベクトル保存部(量子化ベクトル保存部170)と、シーン認識分割領域毎のそれぞれの量子化ベクトルの値から、画像の全体または一部の領域を表すヒストグラム(画像全体のヒストグラムまたは位置特定ヒストグラム)を生成するヒストグラム生成部(ヒストグラム生成部130)と、ヒストグラム生成部130が生成したヒストグラムに対するサポートベクタマシン(SVM)演算を行うSVM演算部(SVM演算部140)と、対象物位置特定システム10内の構成要素のそれぞれを制御し、対象物が写されている画像のシーンを認識するシーン認識の処理を実行させた後に、このシーン認識の処理において判別した対象物(例えば、「犬」)が、画像の全体の領域をシーン認識分割領域よりも大きな予め定めた第2の大きさに分割した複数の第2の領域(位置特定分割領域)のいずれの位置に写されているかを特定するための位置特定の処理を実行させる位置特定制御部(位置特定制御部160)と、を備えた対象物位置特定システムにおいて、位置特定制御部160が、シーン認識の処理において、ヒストグラム生成部130に、それぞれのシーン認識分割領域毎の量子化ベクトルの値から、画像の全体を表すヒストグラムを生成させる手順と、SVM演算部140に、画像の全体を表すヒストグラムと、複数の画像のヒストグラムが対象物の種類毎に分類してまとめられた複数の教師データのヒストグラムのそれぞれとを比較するSVM演算を実行させる手順と、を含み、位置特定の処理において、ヒストグラム生成部130に、量子化ベクトル保存部170に保存されたシーン認識分割領域毎のそれぞれの量子化ベクトルの値から、それぞれの位置特定分割領域の画像を表すヒストグラムを生成させる手順と、SVM演算部140に、位置特定分割領域を表すヒストグラムのそれぞれに対するSVM演算を実行させる手順と、を含む、対象物位置特定方法が構成される。
上記に述べたように、本第1の実施形態の対象物位置特定システム10では、シーン認識の処理において量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、量子化ベクトル保存部170に保存する。そして、本第1の実施形態の対象物位置特定システム10における対象物の位置特定の処理では、量子化ベクトル保存部170に保存したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、位置特定分割領域毎の位置特定ヒストグラムを生成する。これにより、本第1の実施形態の対象物位置特定システム10では、対象物が写っている画像内の位置を特定するために、入力された画像に対してシーン認識の処理を行った後に、それぞれの位置特定分割領域に対してシーン認識の処理と同等の処理を再度行うよりも少ない処理で、位置特定の処理を行うことができる。つまり、本第1の実施形態の対象物位置特定システム10における対象物の位置特定の処理では、シーン認識の処理における局所特徴ベクトルを生成する処理(ステップS100)と、量子化ベクトルを生成する処理(ステップS110)とを省略することができる。このことにより、本第1の実施形態の対象物位置特定システム10では、対象物が写っている画像内の位置を特定するために要する演算時間を短縮することができる。
なお、本第1の実施形態の対象物位置特定システム10では、SVM演算部140が、シーン認識の処理において、算出したSVM演算の結果に基づいて得られるそれぞれの対象物のカテゴリ毎の類似度を表す情報を出力し、対象物の位置特定の処理において、判別した対象物が写っている位置特定分割領域の位置を特定する情報を出力する構成について説明した。しかし、対象物のカテゴリ毎の類似度を表す情報や、判別した対象物が写っている位置特定分割領域の位置を特定する情報を出力する構成要素は、SVM演算部140に限定されるものではない。例えば、位置特定制御部160が、SVM演算部140が算出したそれぞれのSVM演算の結果に基づいて、それぞれの対象物のカテゴリ毎の類似度を表す情報や、判別した対象物が写っている位置特定分割領域の位置を特定する情報を出力する構成にすることもできる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。図6は、本第2の実施形態による対象物位置特定システムの概略構成を示したブロック図である。図6において、対象物位置特定システム20は、局所特徴ベクトル生成部110と、量子化ベクトル生成部120と、ヒストグラム生成部230と、SVM演算部240と、教師データ群150と、位置特定制御部260と、量子化ベクトル保存部170と、ヒストグラム保存部280と、を備えている。
なお、図6に示した対象物位置特定システム20は、図1に示した第1の実施形態の対象物位置特定システム10に備えたヒストグラム生成部130がヒストグラム生成部230に、SVM演算部140がSVM演算部240に、位置特定制御部160が位置特定制御部260に、それぞれ代わり、さらに、ヒストグラム保存部280を備えた構成である。また、対象物位置特定システム20に備えたその他の構成要素は、図1に示した第1の実施形態の対象物位置特定システム10に備えた構成要素と同じ構成要素である。従って、本第2の実施形態の対象物位置特定システム20の説明においては、第1の実施形態の対象物位置特定システム10に備えた構成要素と異なる構成要素および動作のみを説明し、第1の実施形態の対象物位置特定システム10と同様の構成要素および動作に関する詳細な説明は省略する。
対象物位置特定システム20は、第1の実施形態の対象物位置特定システム10と同様に、入力された画像に対して、画像に写っている被写体(対象物)や画像が撮影されたシーンを認識するシーン認識の処理を行い、様々な対象物の種類毎に分類されたそれぞれの教師データとの類似度の情報を、シーン認識の処理によって判別した情報として出力する。また、対象物位置特定システム20は、第1の実施形態の対象物位置特定システム10と同様に、シーン認識の処理を行った画像内で、判別した対象物が写っている位置を特定する位置特定の処理を行い、特定した対象物が写っている位置を表す情報を出力する。
局所特徴ベクトル生成部110は、位置特定制御部260からの制御に応じて、対象物位置特定システム20に入力された画像の局所特徴ベクトルをシーン認識分割領域毎に生成し、生成したそれぞれのシーン認識分割領域の局所特徴ベクトルの値を、量子化ベクトル生成部120に出力する。
量子化ベクトル生成部120は、位置特定制御部260からの制御に応じて、局所特徴ベクトル生成部110から入力されたそれぞれのシーン認識分割領域の局所特徴ベクトルの値を量子化したシーン認識分割領域毎の量子化ベクトルを生成し、生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、ヒストグラム生成部230に出力すると共に、量子化ベクトル保存部170に保存させる。
量子化ベクトル保存部170は、量子化ベクトル生成部120から入力された、それぞれのシーン認識分割領域に対応する量子化ベクトルの値を、それぞれのシーン認識分割領域毎に保存し、保存したそれぞれのシーン認識分割領域毎の量子化ベクトルの値を、ヒストグラム生成部230からの制御に応じて、ヒストグラム生成部230に出力する。
ヒストグラム生成部230は、第1の実施形態の対象物位置特定システム10に備えたヒストグラム生成部130と同様に、位置特定制御部260からの制御に応じたシーン認識の処理において、量子化ベクトル生成部120から入力されたそれぞれのシーン認識分割領域毎の量子化ベクトルの値から、対象物位置特定システム20に入力された画像の全体を表すヒストグラムを生成する。そして、ヒストグラム生成部230は、生成した画像全体のヒストグラムを、SVM演算部240に出力する。また、ヒストグラム生成部230は、第1の実施形態の対象物位置特定システム10に備えたヒストグラム生成部130と異なり、生成した画像全体のヒストグラムを、ヒストグラム保存部280に保存させる。また、ヒストグラム生成部230は、入力された画像に対応した画像全体のヒストグラムの生成が完了したとき、画像全体のヒストグラムの生成が完了したことを位置特定制御部260に通知する。なお、ヒストグラム生成部230において画像全体のヒストグラムを生成する処理の方法も、第1の実施形態の対象物位置特定システム10に備えたヒストグラム生成部130と同様に、従来の技術においてシーン認識の処理を行う際に画像全体のヒストグラムを生成する処理の方法と同様であるため、詳細な説明は省略する。
また、ヒストグラム生成部230は、第1の実施形態の対象物位置特定システム10に備えたヒストグラム生成部130と同様に、位置特定制御部260からの制御に応じた対象物の位置特定の処理において、量子化ベクトル保存部170に保存されているそれぞれのシーン認識分割領域毎の量子化ベクトルの値から、位置特定制御部260から指定された位置特定分割領域を表す位置特定ヒストグラムを生成する。そして、ヒストグラム生成部230は、生成したそれぞれの位置特定分割領域毎の位置特定ヒストグラムを、SVM演算部240に出力する。また、ヒストグラム生成部230は、位置特定制御部260から指定された位置特定分割領域に対応した位置特定ヒストグラムの生成が完了したとき、指定された位置特定ヒストグラムの生成が完了したことを位置特定制御部260に通知する。この通知によって、位置特定制御部260から次の位置特定分割領域が指定され、ヒストグラム生成部230は、指定された位置特定分割領域に対応した位置特定ヒストグラムの生成を繰り返す。なお、ヒストグラム生成部230において位置特定ヒストグラムを生成する処理の方法も、ヒストグラムを生成する領域の大きさが異なる以外は、シーン認識の処理において画像全体のヒストグラムを生成する処理の方法と同様である。
ヒストグラム保存部280は、ヒストグラム生成部230からの制御に応じて、ヒストグラム生成部230が生成した画像全体のヒストグラムを一時的に保存する、例えば、DRAMなどのメモリである。ヒストグラム保存部280に保存された画像全体のヒストグラムは、SVM演算部240からの制御に応じて、SVM演算部240に出力される。
SVM演算部240は、第1の実施形態の対象物位置特定システム10に備えたSVM演算部140と同様に、位置特定制御部260からの制御に応じたシーン認識の処理において、ヒストグラム生成部230から入力された画像全体のヒストグラムと、教師データ群150に含まれるそれぞれの教師データのヒストグラムとを比較するSVM演算を行い、教師データ群150において分類された対象物のカテゴリ毎に類似度を算出する。そして、SVM演算部240は、入力された画像全体のヒストグラムに対するSVM演算が完了したとき、SVM演算によって算出したそれぞれの対象物のカテゴリ毎の類似度を表す情報を、対象物位置特定システム20がシーン認識の処理を行って判別した情報として出力する。また、SVM演算部240は、シーン認識の処理を行うSVM演算が完了したことを位置特定制御部260に通知する。なお、SVM演算部240におけるSVM演算の方法も、第1の実施形態の対象物位置特定システム10に備えたSVM演算部140と同様に、従来の技術においてシーン認識の処理を行う際のSVM演算の方法と同様であるため、詳細な説明は省略する。
また、SVM演算部240は、第1の実施形態の対象物位置特定システム10に備えたSVM演算部140と異なり、位置特定制御部260からの制御に応じた対象物の位置特定の処理において、ヒストグラム生成部230から入力されたそれぞれの位置特定ヒストグラムと、ヒストグラム保存部280に保存されている画像全体のヒストグラムとを比較するSVM演算(以下、「簡易SVM演算」という)を行い、それぞれの位置特定分割領域毎に、画像全体のヒストグラムとの類似度を算出する。また、SVM演算部240は、対象物の位置特定の処理を行う位置特定分割領域毎に、簡易SVM演算が完了したことを位置特定制御部260に通知する。この通知によって、位置特定制御部260から次の位置特定分割領域が指定され、SVM演算部240は、指定された位置特定分割領域の位置特定ヒストグラムに対する簡易SVM演算を繰り返す。なお、SVM演算部240における位置特定ヒストグラムに対する簡易SVM演算の方法も、SVM演算の処理を行う、教師データ群150に含まれるそれぞれの教師データのヒストグラムが、ヒストグラム保存部280に保存されている画像全体のヒストグラムに代わる以外は、シーン認識の処理におけるSVM演算の方法と同様である。
また、SVM演算部240は、位置特定制御部260からの制御に応じた対象物の位置特定の処理において、全ての位置特定分割領域の位置特定ヒストグラムに対する簡易SVM演算が完了した後に、画像全体のヒストグラムとの類似度が最も高かった位置特定ヒストグラムと、教師データ群150に含まれるそれぞれの教師データのヒストグラムとを比較するSVM演算を行い、教師データ群150において分類された対象物のカテゴリとの類似度を算出する。そして、SVM演算部240は、簡易SVM演算において画像全体のヒストグラムとの類似度が最も高かった位置特定ヒストグラムに対するSVM演算が完了したとき、SVM演算によって算出した位置特定分割領域の位置特定ヒストグラムの、シーン認識の処理によって判別した対象物のカテゴリとの類似度を表す情報を、対象物位置特定システム20が対象物の位置特定の処理を行った結果として出力する。なお、SVM演算部240における位置特定ヒストグラムに対するSVM演算の方法も、第1の実施形態の対象物位置特定システム10に備えたSVM演算部140と同様に、SVM演算の処理を行うヒストグラムが位置特定ヒストグラムに代わる以外は、シーン認識の処理におけるSVM演算の方法と同様である。
位置特定制御部260は、対象物位置特定システム20の全体、すなわち、対象物位置特定システム20に備えた局所特徴ベクトル生成部110、量子化ベクトル生成部120、ヒストグラム生成部230、およびSVM演算部240のそれぞれの動作を制御する。位置特定制御部260は、ヒストグラム生成分割領域指定部161と、位置特定SVM演算判定部262と、を備えている。
なお、位置特定制御部260は、図1に示した第1の実施形態の対象物位置特定システム10に備えた位置特定制御部160に、さらに、位置特定SVM演算判定部262を備えた構成である。なお、位置特定制御部260に備えたヒストグラム生成分割領域指定部161は、図1に示した第1の実施形態の対象物位置特定システム10に備えた位置特定制御部160内のヒストグラム生成分割領域指定部161と同じ動作をする。従って、ヒストグラム生成分割領域指定部161の動作に関する詳細な説明は省略する。
位置特定SVM演算判定部262は、対象物位置特定システム20における対象物の位置特定の処理において、SVM演算部240が、ヒストグラム生成部230から入力されたそれぞれの位置特定ヒストグラムに対するSVM演算を行う際のヒストグラムを、ヒストグラム保存部280に保存されている画像全体のヒストグラム、または教師データ群150に含まれるそれぞれの教師データのヒストグラムのいずれか一方に切り替える。より具体的には、位置特定SVM演算判定部262は、SVM演算部240が、ヒストグラム生成部230から入力されたそれぞれの位置特定ヒストグラムに対する簡易SVM演算を行う際に、それぞれの位置特定ヒストグラムと比較するヒストグラムを、ヒストグラム保存部280に保存されている画像全体のヒストグラムに切り替える。また、位置特定SVM演算判定部262は、SVM演算部240が、全ての位置特定分割領域の位置特定ヒストグラムに対する簡易SVM演算が完了した後、SVM演算部240がさらに、画像全体のヒストグラムとの類似度が最も高かった位置特定ヒストグラムに対するSVM演算を行う際に、画像全体のヒストグラムと最も類似度が高かった位置特定ヒストグラムと比較するヒストグラムを、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリのそれぞれの教師データのヒストグラムに切り替える。
このような構成よって、対象物位置特定システム20では、第1の実施形態の対象物位置特定システム10と同様に、シーン認識の処理において量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、対象物の位置特定の処理を行う際の位置特定分割領域毎の位置特定ヒストグラムを生成する。さらに、対象物位置特定システム20では、ヒストグラム生成部230が生成した画像全体のヒストグラムをヒストグラム保存部280に保存し、ヒストグラム保存部280に保存した画像全体のヒストグラムを用いて、対象物の位置特定の処理を行う。より具体的には、対象物位置特定システム20による対象物の位置特定の処理において、ヒストグラム生成部230が生成した位置特定分割領域毎の位置特定ヒストグラムに対するSVM演算において比較する、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリのそれぞれの教師データのヒストグラム(例えば、1つのカテゴリに含まれる1500個のヒストグラム)の代わりに、ヒストグラム保存部280に保存した画像全体のヒストグラムを用いる。つまり、対象物位置特定システム20による対象物の位置特定の処理では、SVM演算を行う際に用いる大量の教師データの代わりに、シーン認識の処理において生成した画像全体を表す1つのヒストグラムを使用して、シーン認識の処理において判別した対象物が写っている位置特定分割領域の位置を、簡易的に特定することができる。この画像全体を表す1つのヒストグラムを大量の教師データの代わりに使用することができる理由は、シーン認識の処理において一度判別した対象物は、いずれかの位置特定分割領域内に写っていると考えられるからである。これにより、対象物位置特定システム20では、画像全体のヒストグラムとの類似度が最も高い位置特定ヒストグラムを特定するためにSVM演算部240によって行う、ヒストグラム生成部230が生成した位置特定分割領域毎の位置特定ヒストグラムに対するSVM演算に要する時間を短縮することができる。
次に、対象物位置特定システム20の動作について説明する。図7は、本第2の実施形態の対象物位置特定システム20における処理手順を示したフローチャートである。また、図8は、本第2の実施形態の対象物位置特定システム20において対象物の位置を特定する処理の一例を説明する図である。図7に示した対象物位置特定システム20における処理のフローチャートの説明においては、適宜、図3〜図5に示した第1の実施形態の対象物位置特定システム10におけるそれぞれの処理の一例、および図8に示した対象物位置特定システム20において対象物の位置を特定する処理の一例を参照する。そして、対象物位置特定システム20における処理においても、第1の実施形態の対象物位置特定システム10と同様に、画像に写っている対象物が「犬」である場合において、画像全体の領域を9つの位置特定分割領域に分割して、対象物である「犬」が写っている位置特定分割領域を特定する場合の例を説明する。
なお、対象物位置特定システム20の処理には、第1の実施形態の対象物位置特定システム10の処理と同じ処理が含まれている。このため、図7に示した本第2の実施形態の対象物位置特定システム20における処理手順を示したフローチャートには、第1の実施形態の対象物位置特定システム10の処理と同じ処理を行う手順に、図2に示した本第1の実施形態の対象物位置特定システム10における処理手順を示したフローチャートに付与したステップ番号と同一のステップ番号を付与している。従って、図7に示した対象物位置特定システム20における処理のフローチャートの説明においては、第1の実施形態の対象物位置特定システム10の処理と同じ処理を行う手順に関する詳細な説明は省略する。
対象物位置特定システム20に画像が入力されると、位置特定制御部260は、第1の実施形態の対象物位置特定システム10に備えた位置特定制御部160と同様に、まず、入力された画像に対するシーン認識の処理を行い、その後、対象物の位置特定の処理を行うように、対象物位置特定システム20に備えたそれぞれの構成要素の動作を制御する(図3参照)。
対象物位置特定システム20におけるシーン認識の処理では、まず、ステップS100〜ステップS115において、位置特定制御部260は、局所特徴ベクトル生成部110に、入力された画像(図3(a)参照)のそれぞれのシーン認識分割領域毎の局所特徴ベクトルを生成させ、量子化ベクトル生成部120に、それぞれのシーン認識分割領域毎の量子化ベクトルを生成させて、生成した量子化ベクトルの値をそれぞれのシーン認識分割領域に量子化ベクトル保存部170に保存させる。
続いて、ステップS120において、位置特定制御部260は、ヒストグラム生成部230に、量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域毎の量子化ベクトルの値から、対象物位置特定システム20に入力された画像(図3(a)参照)の全体を表すヒストグラムを生成させる。また、ステップS125において、位置特定制御部260は、ヒストグラム生成部230に、生成した画像(図3(a)参照)の全体を表すヒストグラムを、ヒストグラム保存部280に保存させる。
続いて、ステップS130において、位置特定制御部260は、SVM演算部240に、ヒストグラム生成部230が生成した画像(図3(a)参照)全体のヒストグラムと、教師データ群150に含まれるそれぞれの教師データのヒストグラムとの類似度を算出するSVM演算を実行させる。これにより、対象物位置特定システム20は、入力された画像(図3(a)参照)に「犬」が写っていると判別することができ、それぞれの対象物のカテゴリ毎の類似度を表す情報を出力する(図4参照)。
そして、ステップS100〜ステップS130までのシーン認識の処理が完了すると、対象物位置特定システム20は、ステップS300から、シーン認識の処理を行った画像内で、判別した対象物が写っている位置を特定する位置特定の処理を開始する。対象物位置特定システム20における対象物の位置特定の処理では、第1の実施形態の対象物位置特定システム10と同様に、まず、シーン認識の処理において量子化ベクトル生成部120が量子化ベクトル保存部170に保存したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、位置特定ヒストグラムを生成する。その後、対象物位置特定システム20における対象物の位置特定の処理では、生成した位置特定ヒストグラムに対する簡易SVM演算を、シーン認識の処理においてヒストグラム生成部230がヒストグラム保存部280に保存した画像の全体を表すヒストグラムを用いて、位置特定分割領域毎に行う。そして、対象物位置特定システム20における対象物の位置特定の処理では、最後に、簡易SVM演算によって簡易的に判別した、シーン認識の処理において判別した対象物が写っている位置特定分割領域を表す位置特定ヒストグラムに対するSVM演算を行う。
まず、ステップS300において、位置特定制御部260は、第1の実施形態の対象物位置特定システム10におけるステップS200と同様に、ヒストグラム生成部230に、入力された画像全体の領域を分割した9つの位置特定分割領域の内、1つ目の位置特定分割領域を指定し、指定した1つ目の位置特定分割領域に対応する量子化ベクトルの値を、量子化ベクトル保存部170から取得させる。
続いて、ステップS310において、位置特定制御部260は、第1の実施形態の対象物位置特定システム10におけるステップS210と同様に、ヒストグラム生成部230に、取得した1つ目の位置特定分割領域に対応する量子化ベクトルの値に基づいて、1つ目の位置特定分割領域を表す位置特定ヒストグラムを生成させる。
続いて、ステップS320において、位置特定制御部260は、SVM演算部240に、ヒストグラム生成部230が生成した1つ目の位置特定分割領域を表す位置特定ヒストグラムと、ヒストグラム保存部280に保存した画像の全体を表すヒストグラムとの類似度を算出する簡易SVM演算を実行させる。これにより、対象物位置特定システム20は、1つ目の位置特定分割領域内に、シーン認識の処理において類似度が最も高かった対象物(図3に示した処理の一例では「犬」)が写っているか否かを、簡易的に判別することができる。
続いて、ステップS330において、位置特定制御部260は、入力された画像全体の領域を分割した全ての位置特定分割領域に対する簡易的な判別が終了したか否かを判定する。ステップS330による判定の結果、分割した全ての位置特定分割領域に対する簡易的な判別が終了していない場合には、ステップS300に戻って、次の位置特定分割領域を指定し、分割した全ての位置特定分割領域に対する簡易的な判別が終了するまで、ステップS300〜ステップS320までの簡易的な判別の処理を繰り返す。ステップS330による判定の結果、分割した全ての位置特定分割領域に対する簡易的な判別が終了した場合には、対象物位置特定システム20における簡易的な判別の処理を終了し、ステップS340に進む。
ここで、対象物位置特定システム20によって行われる、ステップS300〜ステップS320までの簡易的な判別の処理について説明する。図8は、本第2の実施形態の対象物位置特定システム20において対象物の位置を簡易的に特定する処理の考え方を説明する図である。
対象物位置特定システム20における対象物の位置特定の処理では、まず、位置特定制御部260が、ステップS300およびステップS310において、第1の実施形態の対象物位置特定システム10におけるステップS200およびステップS210と同様に、入力された画像(図3(a)参照)全体の領域を分割した9つの位置特定分割領域(図3(b)参照)の内、1つ目の位置特定分割領域A1を指定する。これにより、ヒストグラム生成部230は、位置特定制御部260によって指定された1つ目の位置特定分割領域A1に対応する量子化ベクトルの値を量子化ベクトル保存部170から取得し(図5(a−1)参照)、取得した1つ目の位置特定分割領域A1に対応する量子化ベクトルの値から、1つ目の位置特定分割領域A1を表す位置特定ヒストグラムを生成する(図5(a−2)参照)。そして、ヒストグラム生成部230は、生成した1つ目の位置特定分割領域A1を表す位置特定ヒストグラムを、SVM演算部240に出力する。
その後、ステップS320において、SVM演算部240が、位置特定制御部260からの制御に応じて、ヒストグラム保存部280に保存されている画像の全体を表すヒストグラムを取得する。そして、SVM演算部240は、取得した画像の全体を表すヒストグラムと、ヒストグラム生成部230が生成した1つ目の位置特定分割領域A1を表す位置特定ヒストグラムとの類似度を算出する簡易SVM演算を行う。そして、SVM演算部240は、位置特定分割領域A1に対して算出した簡易SVM演算の結果に基づいて得られる、「犬」であるカテゴリとの類似度を表す情報を、位置特定分割領域A1内に「犬」が写っているか否かを簡易的に判別する情報として出力する。
なお、SVM演算部240による簡易SVM演算においても、シーン認識の処理におけるSVM演算部240によるSVM演算と同様に、ヒストグラム生成部230が生成した1つ目の位置特定分割領域A1を表す位置特定ヒストグラムと、取得した画像の全体を表すヒストグラムとのそれぞれが表す領域の大きさが同等になるように正規化した後に、それぞれのヒストグラムにおける同じ階級同士の度数の差分絶対値を算出し、それぞれの階級の差分絶対値を加算する。これにより、SVM演算部240は、1つ目の位置特定分割領域A1内に、シーン認識の処理において類似度が最も高かった「犬」が写っているか否かを、簡易的に判別することができる、画像の全体を表すヒストグラムと1つ目の位置特定分割領域A1を表す位置特定ヒストグラムとの類似度を表す情報を出力する。なお、SVM演算部240による簡易SVM演算においても、算出した差分絶対値の加算結果の値が最も小さい位置特定分割領域を、対象物である「犬」が写っている位置特定分割領域であると判別し、その位置特定分割領域の位置を特定する情報を出力することができる。
また、SVM演算部240は、位置特定制御部260から指定された1つ目の位置特定分割領域A1を表す位置特定ヒストグラムに対する簡易SVM演算が完了したとき、1つ目の位置特定分割領域A1を表す位置特定ヒストグラムに対する簡易SVM演算が完了したことを位置特定制御部260に通知する。この通知に応じて、位置特定制御部260は、ステップS330の判定を行い、ステップS300に戻って、2つ目の位置特定分割領域A2を指定する。
そして、ヒストグラム生成部230は、位置特定制御部260によって指定された2つ目の位置特定分割領域A2に対応する量子化ベクトルの値を量子化ベクトル保存部170から取得し(図5(b−1)参照)、取得した2つ目の位置特定分割領域A2に対応する量子化ベクトルの値から、2つ目の位置特定分割領域A2を表す位置特定ヒストグラムを生成する(図5(b−2)参照)。そして、ヒストグラム生成部230は、生成した2つ目の位置特定分割領域A2を表す位置特定ヒストグラムを、SVM演算部240に出力する。
その後、ステップS320において、SVM演算部240が、位置特定制御部260からの制御に応じて、取得した画像の全体を表すヒストグラムと、ヒストグラム生成部230が生成した2つ目の位置特定分割領域A2を表す位置特定ヒストグラムとの類似度を算出する簡易SVM演算を行う。そして、SVM演算部240は、位置特定分割領域A2に対して算出した簡易SVM演算の結果に基づいて得られる、「犬」であるカテゴリとの類似度を表す情報を、位置特定分割領域A2内に「犬」が写っているか否かを簡易的に判別する情報として出力する。
以降、同様に、位置特定制御部260が、入力された画像(図3(a)参照)全体の領域を分割した9つの位置特定分割領域(図3(b)参照)を順次指定し、ヒストグラム生成部230が、位置特定制御部260によって指定されたそれぞれの位置特定分割領域を表す位置特定ヒストグラムを順次生成してSVM演算部240に出力する。また、同様に、SVM演算部240が、ヒストグラム保存部280から取得した画像の全体を表すヒストグラムと、ヒストグラム生成部230が生成したそれぞれの位置特定分割領域を表す位置特定ヒストグラムとの類似度を算出する簡易SVM演算を行う。そして、SVM演算部240は、それぞれの位置特定分割領域に対して算出した簡易SVM演算の結果に基づいて得られる、それぞれの位置特定分割領域内に「犬」が写っているか否かを簡易的に判別する情報を出力する。図8には、SVM演算部240が、ヒストグラム保存部280に保存されている画像全体のヒストグラムと、ヒストグラム生成部230が生成した位置特定ヒストグラムのそれぞれとを比較する簡易SVM演算を実行している状態の一例を示している。
また、SVM演算部240は、それぞれの位置特定分割領域における「犬」であるカテゴリとの類似度を表す情報に基づいて、類似度が最も大きい位置特定分割領域を、対象物である「犬」が写っている位置特定分割領域であると判別し、その位置特定分割領域を特定する情報を出力する。
ここまでの処理が、対象物位置特定システム20による対象物の位置特定の処理における、シーン認識の処理において判別した対象物が写っている位置特定分割領域の簡易的な判別の処理である。
続いて、位置特定制御部260は、ステップS330において全ての位置特定分割領域に対する簡易的な判別が終了した場合、SVM演算部240に、シーン認識の処理において類似度が最も高かった対象物(図3に示した処理の一例では「犬」)が写っていると簡易的に判別した位置特定分割領域に対するSVM演算を実行させる。より具体的には、ステップS340において、位置特定制御部260は、SVM演算部240に、シーン認識の処理において類似度が最も高かった「犬」が写っていると簡易的に判別した位置特定分割領域を表す位置特定ヒストグラムと、教師データ群150に含まれる、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリのそれぞれの教師データのヒストグラムとの類似度を算出するSVM演算を実行させる。そして、対象物位置特定システム20が、SVM演算の結果に基づいて得られる、「犬」であるカテゴリとの類似度を表す情報を出力し、対象物位置特定システム20における処理を完了する。
なお、SVM演算部240によるステップS330におけるSVM演算においても、シーン認識の処理におけるSVM演算部240によるSVM演算と同様に、簡易的に判別した位置特定分割領域を表す位置特定ヒストグラムとそれぞれの教師データのヒストグラムとにおける同じ階級同士の度数の差分絶対値を算出し、それぞれの階級の差分絶対値を加算する。
このようにして、対象物位置特定システム20では、入力された画像(図3(a))全体の領域を分割した全ての位置特定分割領域に対する簡易的な判別を繰り返すことによって、それぞれの位置特定分割領域の中で、画像全体のヒストグラムとの類似度が最も高い位置特定分割領域を、シーン認識の処理によって判別した「犬」が対象物として写っている位置特定分割領域として簡易的に特定することができる。そして、対象物位置特定システム20では、簡易的に特定した位置特定分割領域の位置を、シーン認識の処理において判別した対象物が写っている位置特定分割領域の位置として、類似度を表す情報を出力することができる。
本実施形態によれば、対象物位置特定システム20に、ヒストグラム生成部(ヒストグラム生成部230)が生成した、画像の全体を表すヒストグラムを保存するヒストグラム保存部(ヒストグラム保存部280)、をさらに備え、位置特定制御部(位置特定制御部260)は、位置特定の処理において、SVM演算部(SVM演算部240)に、位置特定分割領域を表すヒストグラムのそれぞれと、ヒストグラム保存部280に保存された画像の全体を表すヒストグラムとを比較するSVM演算を実行させる、対象物位置特定システム(対象物位置特定システム20)が構成される。
上記に述べたように、本第2の実施形態の対象物位置特定システム20では、第1の実施形態の対象物位置特定システム10と同様に、シーン認識の処理において量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、量子化ベクトル保存部170に保存する。これにより、本第2の実施形態の対象物位置特定システム20における対象物の位置特定の処理では、第1の実施形態の対象物位置特定システム10と同様に、量子化ベクトル保存部170に保存したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、少ない処理で位置特定分割領域毎の位置特定ヒストグラムを生成することができる。
また、本第2の実施形態の対象物位置特定システム20では、シーン認識の処理においてヒストグラム生成部230が生成した画像全体のヒストグラムを、ヒストグラム保存部280に保存する。そして、本第2の実施形態の対象物位置特定システム20における対象物の位置特定の処理では、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリのそれぞれの教師データのヒストグラムの代わりに、ヒストグラム保存部280に保存した画像全体のヒストグラムを用いて簡易SVM演算を行う。これにより、本第2の実施形態の対象物位置特定システム20では、対象物が写っている画像内の位置を特定するために行う、ヒストグラム生成部230が生成した位置特定分割領域毎の位置特定ヒストグラムに対するSVM演算を、簡易的に行うことができる。つまり、本第2の実施形態の対象物位置特定システム20における対象物の位置特定の処理では、1つの位置特定ヒストグラムに対すSVM演算を、類似度が最も高かった対象物のカテゴリに含まれる大量の教師データを用いて行うのではなく、ヒストグラム保存部280に保存した1つのヒストグラムのみを用いて行うことができる。このことにより、本第2の実施形態の対象物位置特定システム20では、詳細なSVM演算を行う必要がある位置特定分割領域を絞り込むことができ、対象物が写っている画像内の位置を特定するために要する演算時間を、第1の実施形態の対象物位置特定システム10よりもさらに短縮することができる。
なお、本第2の実施形態の対象物位置特定システム20でも、第1の実施形態の対象物位置特定システム10と同様に、SVM演算部240が、対象物のカテゴリ毎の類似度を表す情報や、判別した対象物が写っている位置特定分割領域の位置を特定する情報を出力する構成について説明したが、第1の実施形態の対象物位置特定システム10と同様に、SVM演算部240以外の構成要素が出力する構成にすることもできる。例えば、位置特定制御部260に備えた位置特定SVM演算判定部262が、SVM演算部240が行ったぞれぞれの位置特定分割領域に対する簡易SVM演算の結果から得られる対象物のカテゴリとの類似度を表す情報に基づいて、判別した対象物が写っている位置特定分割領域の位置を特定する情報を出力する構成にすることもできる。
なお、本第2の実施形態の対象物位置特定システム20では、画像全体のヒストグラムを保存する構成、つまり、ヒストグラム保存部280を備えることによって、SVM演算部240が行うSVM演算を簡易的にし、対象物が写っている画像内の位置を特定するために要する演算時間を短縮する構成について説明した。しかし、画像全体のヒストグラムを保存する構成を備えない場合でも、対象物が写っている画像内の位置を特定するためにSVM演算部240が行うSVM演算を簡易的にすることができる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。図9は、本第3の実施形態による対象物位置特定システムの概略構成を示したブロック図である。図9において、対象物位置特定システム30は、局所特徴ベクトル生成部110と、量子化ベクトル生成部120と、ヒストグラム生成部130と、SVM演算部140と、教師データ群150と、位置特定制御部360と、量子化ベクトル保存部170と、教師データ切り替え部390と、を備えている。
なお、図9に示した対象物位置特定システム30は、図1に示した第1の実施形態の対象物位置特定システム10に備えた位置特定制御部160が位置特定制御部360に代わり、さらに、教師データ切り替え部390を備えた構成である。また、対象物位置特定システム30に備えたその他の構成要素は、図1に示した第1の実施形態の対象物位置特定システム10に備えた構成要素と同じ構成要素である。従って、本第3の実施形態の対象物位置特定システム30の説明においては、第1の実施形態の対象物位置特定システム10に備えた構成要素と異なる構成要素および動作のみを説明し、第1の実施形態の対象物位置特定システム10と同様の構成要素および動作に関する詳細な説明は省略する。
対象物位置特定システム30は、第1の実施形態の対象物位置特定システム10と同様に、入力された画像に対して、画像に写っている被写体(対象物)や画像が撮影されたシーンを認識するシーン認識の処理を行い、様々な対象物の種類毎に分類されたそれぞれの教師データとの類似度の情報を、シーン認識の処理によって判別した情報として出力する。また、対象物位置特定システム30は、第1の実施形態の対象物位置特定システム10と同様に、シーン認識の処理を行った画像内で、判別した対象物が写っている位置を特定する位置特定の処理を行い、特定した対象物が写っている位置を表す情報を出力する。
局所特徴ベクトル生成部110は、位置特定制御部360からの制御に応じて、対象物位置特定システム30に入力された画像の局所特徴ベクトルをシーン認識分割領域毎に生成し、生成したそれぞれのシーン認識分割領域の局所特徴ベクトルの値を、量子化ベクトル生成部120に出力する。
量子化ベクトル生成部120は、位置特定制御部360からの制御に応じて、局所特徴ベクトル生成部110から入力されたそれぞれのシーン認識分割領域の局所特徴ベクトルの値を量子化したシーン認識分割領域毎の量子化ベクトルを生成し、生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、ヒストグラム生成部130に出力すると共に、量子化ベクトル保存部170に保存させる。
ヒストグラム生成部130は、位置特定制御部360からの制御に応じたシーン認識の処理において、量子化ベクトル生成部120から入力されたそれぞれのシーン認識分割領域毎の量子化ベクトルの値に基づいた画像全体を表すヒストグラムを生成し、生成した画像全体のヒストグラムを、SVM演算部240に出力する。また、ヒストグラム生成部130は、位置特定制御部360からの制御に応じた対象物の位置特定の処理において、量子化ベクトル保存部170に保存されているそれぞれのシーン認識分割領域毎の量子化ベクトルの値に基づいた位置特定分割領域毎の位置特定ヒストグラムを生成し、生成した位置特定分割領域毎の位置特定ヒストグラムのそれぞれを、SVM演算部240に出力する。
SVM演算部140は、位置特定制御部360からの制御に応じたシーン認識の処理において、ヒストグラム生成部130から入力された画像全体のヒストグラムと、教師データ群150に含まれるそれぞれの教師データのヒストグラムとを比較するSVM演算を行い、教師データ群150において分類された対象物のカテゴリ毎に類似度を算出する。ただし、対象物位置特定システム30では、SVM演算部140が画像全体のヒストグラムと比較するそれぞれの教師データが、教師データ切り替え部390を介して入力される。
また、SVM演算部140は、位置特定制御部360からの制御に応じた対象物の位置特定の処理において、ヒストグラム生成部130から入力されたそれぞれの位置特定ヒストグラムと、教師データ群150に含まれるそれぞれの教師データのヒストグラムとを比較するSVM演算を行い、それぞれの位置特定分割領域毎に、教師データ群150において分類された対象物のカテゴリとの類似度を算出する。ただし、対象物位置特定システム30では、SVM演算部140がそれぞれの位置特定ヒストグラムと比較するそれぞれの教師データも、教師データ切り替え部390を介して入力される。なお、対象物位置特定システム30では、第2の実施形態の対象物位置特定システム20と同様に、まず、それぞれの位置特定ヒストグラムに対するSVM演算を簡易的に行い、全ての位置特定ヒストグラムに対する簡易SVM演算が完了した後に、最も類似度が最も高かった位置特定ヒストグラムに対してさらにSVM演算を行って、教師データ群150において分類された対象物のカテゴリとの類似度を算出する。以下の説明においては、対象物位置特定システム30における簡易的なSVM演算も、「簡易SVM演算」という。
教師データ切り替え部390は、位置特定制御部360からの制御に応じて、SVM演算部140に入力するそれぞれの教師データを切り替える。より具体的には、SVM演算部140が、ヒストグラム生成部130から入力されたそれぞれの位置特定ヒストグラムに対する簡易SVM演算を行う際にSVM演算部140に入力する教師データのヒストグラムを、予め定めた条件に応じて選択された教師データのヒストグラムのみとする。また、SVM演算部140が、全ての位置特定分割領域の位置特定ヒストグラムに対する簡易SVM演算が完了した後、さらにSVM演算を行う際にSVM演算部140に入力する教師データのヒストグラムを、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリの全ての教師データのヒストグラムとする。
なお、SVM演算部140が簡易SVM演算を行う際に入力する教師データのヒストグラムは、対象物のカテゴリを代表する教師データのヒストグラムであり、例えば、対象物の正面が写った画像、対象物の側面が写った画像など、SVM演算によって同じカテゴリの対象物を簡易的に判別することができる予め定めた条件によって選択された教師データのヒストグラムである。より具体的には、教師データ群150に含まれる1つのカテゴリの教師データとして1500個のヒストグラムがある場合、上述したような条件によって、例えば、この1500個のヒストグラムの内、10個のヒストグラムを選択する。以下の説明においては、選択された対象物のカテゴリを代表する教師データを、「抽出教師データ」という。
位置特定制御部360は、対象物位置特定システム30の全体、すなわち、対象物位置特定システム30に備えた局所特徴ベクトル生成部110、量子化ベクトル生成部120、ヒストグラム生成部130、SVM演算部140、および教師データ切り替え部390のそれぞれの動作を制御する。位置特定制御部360は、ヒストグラム生成分割領域指定部161と、位置特定SVM演算判定部362と、を備えている。
なお、位置特定制御部360は、図6に示した第1の実施形態の対象物位置特定システム10に備えた位置特定制御部260内の位置特定SVM演算判定部262が、位置特定SVM演算判定部362に代わった構成である。なお、位置特定制御部360に備えたヒストグラム生成分割領域指定部161は、第1の実施形態の対象物位置特定システム10に備えた位置特定制御部160内のヒストグラム生成分割領域指定部161および第2の実施形態の対象物位置特定システム20に備えた位置特定制御部260内のヒストグラム生成分割領域指定部161と同じ動作をする。従って、ヒストグラム生成分割領域指定部161の動作に関する詳細な説明は省略する。
位置特定SVM演算判定部362は、対象物位置特定システム30における対象物の位置特定の処理において、SVM演算部140が、ヒストグラム生成部130から入力されたそれぞれの位置特定ヒストグラムに対するSVM演算を行う際のヒストグラムを、教師データ群150に含まれるそれぞれの教師データのヒストグラム、または予め定めた条件に応じて選択された抽出教師データのヒストグラムのいずれか一方を選択する。これにより、教師データ切り替え部390は、対象物位置特定システム30における対象物の位置特定の処理において、教師データ群150に含まれる同じカテゴリの対象物の全ての教師データのヒストグラム、または予め定めた条件に応じて選択された教師データ群150内の一部の教師データのヒストグラムのいずれか一方を、SVM演算部140に出力する。より具体的には、位置特定SVM演算判定部362は、SVM演算部140が、ヒストグラム生成部130から入力されたそれぞれの位置特定ヒストグラムに対する簡易SVM演算を行う際に、それぞれの位置特定ヒストグラムと比較するヒストグラムを、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリを代表する一部の教師データのヒストグラムとするように、教師データ切り替え部390を制御する。また、位置特定SVM演算判定部362は、SVM演算部140が、全ての位置特定分割領域の位置特定ヒストグラムに対する簡易SVM演算が完了した後、SVM演算部140がさらに、SVM演算を行う際に、簡易SVM演算において比較した教師データと最も類似度が高かった位置特定ヒストグラムと比較するヒストグラムを、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリの全ての教師データのヒストグラムとするように、教師データ切り替え部390を制御する。
このような構成よって、対象物位置特定システム30では、第1の実施形態の対象物位置特定システム10と同様に、シーン認識の処理において量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、対象物の位置特定の処理を行う際の位置特定分割領域毎の位置特定ヒストグラムを生成する。さらに、対象物位置特定システム30では、対象物の位置特定の処理において、SVM演算を行う際に用いる教師データのヒストグラムを、抽出教師データまたは全ての教師データのいずれか一方を選択し、選択した教師データムを用いて、対象物の位置特定の処理を行う。より具体的には、対象物位置特定システム30による対象物の位置特定の処理において、ヒストグラム生成部130が生成した位置特定分割領域毎の位置特定ヒストグラムに対するSVM演算において比較する、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリの全ての教師データのヒストグラム(例えば、1つのカテゴリに含まれる1500個のヒストグラム)の代わりに、予め定めた条件に応じて選択した抽出教師データのヒストグラムを用いる。つまり、対象物位置特定システム30による対象物の位置特定の処理では、SVM演算を行う際に用いる大量の教師データの代わりに、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリを代表する抽出教師データのヒストグラムを使用して、シーン認識の処理において判別した対象物が写っている位置特定分割領域の位置を、簡易的に特定することができる。これにより、対象物位置特定システム30では、対象物のカテゴリを代表する抽出教師データのヒストグラムとの類似度が最も高い位置特定ヒストグラムを特定するためにSVM演算部140によって行う、ヒストグラム生成部130が生成した位置特定分割領域毎の位置特定ヒストグラムに対するSVM演算に要する時間を短縮することができる。
次に、対象物位置特定システム30の動作について説明する。図10は、本第3の実施形態の対象物位置特定システム30における処理手順を示したフローチャートである。また、図11は、本第3の実施形態の対象物位置特定システム30において対象物の位置を特定する処理の一例を説明する図である。図10に示した対象物位置特定システム30における処理のフローチャートの説明においては、適宜、図3〜図5に示した第1の実施形態の対象物位置特定システム10におけるそれぞれの処理の一例、および図11に示した対象物位置特定システム30において対象物の位置を特定する処理の一例を参照する。そして、対象物位置特定システム30における処理においても、第1の実施形態の対象物位置特定システム10と同様に、画像に写っている対象物が「犬」である場合において、画像全体の領域を9つの位置特定分割領域に分割して、対象物である「犬」が写っている位置特定分割領域を特定する場合の例を説明する。
なお、対象物位置特定システム30の処理には、第1の実施形態の対象物位置特定システム10の処理と同じ処理が含まれている。このため、図10に示した本第3の実施形態の対象物位置特定システム30における処理手順を示したフローチャートには、第1の実施形態の対象物位置特定システム10の処理と同じ処理を行う手順に、図2に示した本第1の実施形態の対象物位置特定システム10における処理手順を示したフローチャートに付与したステップ番号と同一のステップ番号を付与している。従って、図10に示した対象物位置特定システム30における処理のフローチャートの説明においては、第1の実施形態の対象物位置特定システム10の処理と同じ処理を行う手順に関する詳細な説明は省略する。
対象物位置特定システム30に画像が入力されると、位置特定制御部360は、第1の実施形態の対象物位置特定システム10に備えた位置特定制御部160と同様に、まず、入力された画像に対するシーン認識の処理を行い、その後、対象物の位置特定の処理を行うように、対象物位置特定システム30に備えたそれぞれの構成要素の動作を制御する(図3参照)。
対象物位置特定システム30におけるシーン認識の処理では、まず、ステップS100〜ステップS115において、位置特定制御部360は、局所特徴ベクトル生成部110に、入力された画像(図3(a)参照)のそれぞれのシーン認識分割領域毎の局所特徴ベクトルを生成させ、量子化ベクトル生成部120に、それぞれのシーン認識分割領域毎の量子化ベクトルを生成させて、生成した量子化ベクトルの値をそれぞれのシーン認識分割領域に量子化ベクトル保存部170に保存させる。
続いて、ステップS120〜ステップS130において、位置特定制御部360は、ヒストグラム生成部130に、それぞれのシーン認識分割領域毎の量子化ベクトルの値から入力された画像(図3(a)参照)の全体を表すヒストグラムを生成させ、SVM演算部140に、生成した画像(図3(a)参照)全体のヒストグラムに対するSVM演算を実行させる。これにより、対象物位置特定システム30は、入力された画像(図3(a)参照)に「犬」が写っていると判別することができ、それぞれの対象物のカテゴリ毎の類似度を表す情報を出力する(図4参照)。
そして、ステップS100〜ステップS130までのシーン認識の処理が完了すると、対象物位置特定システム30は、ステップS400から、シーン認識の処理を行った画像内で、判別した対象物が写っている位置を特定する位置特定の処理を開始する。対象物位置特定システム30における対象物の位置特定の処理では、第1の実施形態の対象物位置特定システム10および第2の実施形態の対象物位置特定システム20と同様に、まず、シーン認識の処理において量子化ベクトル生成部120が量子化ベクトル保存部170に保存したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、位置特定ヒストグラムを生成する。その後、対象物位置特定システム30における対象物の位置特定の処理では、生成した位置特定ヒストグラムに対する簡易SVM演算を、抽出教師データのヒストグラムを用いて、位置特定分割領域毎に行う。そして、対象物位置特定システム30における対象物の位置特定の処理では、最後に、第2の実施形態の対象物位置特定システム20と同様に、簡易SVM演算によって簡易的に判別した、シーン認識の処理において判別した対象物が写っている位置特定分割領域を表す位置特定ヒストグラムに対するSVM演算を行う。
まず、ステップS400〜ステップS410において、位置特定制御部360は、第1の実施形態の対象物位置特定システム10におけるステップS200〜ステップS210と同様に、ヒストグラム生成部130に、1つ目の位置特定分割領域を指定し、指定した1つ目の位置特定分割領域に対応する量子化ベクトルの値を量子化ベクトル保存部170から取得させ、1つ目の位置特定分割領域を表す位置特定ヒストグラムを生成させる。
続いて、ステップS420において、位置特定制御部360は、SVM演算部140に、ヒストグラム生成部130が生成した1つ目の位置特定分割領域を表す位置特定ヒストグラムと、抽出教師データのヒストグラムとの類似度を算出する簡易SVM演算を実行させる。これにより、対象物位置特定システム30は、1つ目の位置特定分割領域内に、シーン認識の処理において類似度が最も高かった対象物(図3に示した処理の一例では「犬」)が写っているか否かを、簡易的に判別することができる。
続いて、ステップS430において、位置特定制御部360は、入力された画像全体の領域を分割した全ての位置特定分割領域に対する簡易的な判別が終了したか否かを判定する。ステップS430による判定の結果、分割した全ての位置特定分割領域に対する簡易的な判別が終了していない場合には、ステップS400に戻って、次の位置特定分割領域を指定し、分割した全ての位置特定分割領域に対する簡易的な判別が終了するまで、ステップS400〜ステップS420までの簡易的な判別の処理を繰り返す。ステップS430による判定の結果、分割した全ての位置特定分割領域に対する簡易的な判別が終了した場合には、対象物位置特定システム30における簡易的な判別の処理を終了し、ステップS440に進む。
ここで、対象物位置特定システム30によって行われる、ステップS400〜ステップS420までの簡易的な判別の処理について説明する。図11は、本第3の実施形態の対象物位置特定システム30において対象物の位置を簡易的に特定する処理の考え方を説明する図である。
対象物位置特定システム30における対象物の位置特定の処理では、まず、位置特定制御部360が、ステップS400およびステップS410において、第1の実施形態の対象物位置特定システム10におけるステップS200およびステップS210と同様に、入力された画像(図3(a)参照)全体の領域を分割した9つの位置特定分割領域(図3(b)参照)の内、1つ目の位置特定分割領域A1を指定する。これにより、ヒストグラム生成部130は、位置特定制御部360によって指定された1つ目の位置特定分割領域A1に対応する量子化ベクトルの値を量子化ベクトル保存部170から取得し(図5(a−1)参照)、1つ目の位置特定分割領域A1を表す位置特定ヒストグラムを生成し(図5(a−2)参照)、生成した1つ目の位置特定分割領域A1を表す位置特定ヒストグラムを、SVM演算部140に出力する。
その後、ステップS420において、SVM演算部140が、位置特定制御部360からの制御に応じて、ヒストグラム生成部130が生成した1つ目の位置特定分割領域A1を表す位置特定ヒストグラムと、教師データ切り替え部390を介して入力されたそれぞれの抽出教師データのヒストグラムとの類似度を算出する簡易SVM演算を行う。そして、SVM演算部140は、位置特定分割領域A1に対して算出した簡易SVM演算の結果に基づいて得られる、「犬」であるカテゴリとの類似度を表す情報を、位置特定分割領域A1内に「犬」が写っているか否かを簡易的に判別する情報として出力する。
なお、SVM演算部140による簡易SVM演算においても、シーン認識の処理におけるSVM演算部140によるSVM演算と同様に、ヒストグラム生成部130が生成した1つ目の位置特定分割領域A1を表す位置特定ヒストグラムと、それぞれの抽出教師データのヒストグラムとのそれぞれが表す領域の大きさが同等になるように正規化した後に、それぞれのヒストグラムにおける同じ階級同士の度数の差分絶対値を加算する。これにより、SVM演算部140は、1つ目の位置特定分割領域A1内に、シーン認識の処理において類似度が最も高かった「犬」が写っているか否かを、簡易的に判別することができる、それぞれの抽出教師データのヒストグラムと1つ目の位置特定分割領域A1を表す位置特定ヒストグラムとの類似度を表す情報を出力する。なお、SVM演算部140による簡易SVM演算においても、算出した差分絶対値の加算結果の値が最も小さい位置特定分割領域を、対象物である「犬」が写っている位置特定分割領域であると判別し、その位置特定分割領域の位置を特定する情報を出力する。
また、SVM演算部140は、位置特定制御部360から指定された1つ目の位置特定分割領域A1を表す位置特定ヒストグラムに対する簡易SVM演算が完了したとき、1つ目の位置特定分割領域A1を表す位置特定ヒストグラムに対する簡易SVM演算が完了したことを位置特定制御部360に通知する。この通知に応じて、位置特定制御部360は、ステップS430の判定を行い、ステップS400に戻って、2つ目の位置特定分割領域A2を指定する。
そして、ヒストグラム生成部130は、位置特定制御部360によって指定された2つ目の位置特定分割領域A2に対応する量子化ベクトルの値を量子化ベクトル保存部170から取得し(図5(b−1)参照)、2つ目の位置特定分割領域A2を表す位置特定ヒストグラムを生成し(図5(b−2)参照)、生成した2つ目の位置特定分割領域A2を表す位置特定ヒストグラムを、SVM演算部140に出力する。
その後、ステップS420において、SVM演算部140が、位置特定制御部360からの制御に応じて、ヒストグラム生成部130が生成した2つ目の位置特定分割領域A2を表す位置特定ヒストグラムと、教師データ切り替え部390を介して入力されたそれぞれの抽出教師データのヒストグラムとの類似度を算出する簡易SVM演算を行う。そして、SVM演算部140は、位置特定分割領域A2に対して算出した簡易SVM演算の結果に基づいて得られる、「犬」であるカテゴリとの類似度を表す情報を、位置特定分割領域A2内に「犬」が写っているか否かを簡易的に判別する情報として出力する。
以降、同様に、位置特定制御部360が、入力された画像(図3(a)参照)全体の領域を分割した9つの位置特定分割領域(図3(b)参照)を順次指定し、ヒストグラム生成部130が、位置特定制御部360によって指定されたそれぞれの位置特定分割領域を表す位置特定ヒストグラムを順次生成してSVM演算部140に出力する。また、同様に、SVM演算部140が、ヒストグラム生成部130が生成したそれぞれの位置特定分割領域を表す位置特定ヒストグラムと、教師データ切り替え部390を介して入力されたそれぞれの抽出教師データのヒストグラムとの類似度を算出する簡易SVM演算を行う。そして、SVM演算部140は、それぞれの位置特定分割領域に対して算出した簡易SVM演算の結果に基づいて得られる、それぞれの位置特定分割領域内に「犬」が写っているか否かを簡易的に判別する情報を出力する。図11には、SVM演算部140が、対象物が「犬」であるカテゴリに含まれる1500個のヒストグラムの内、10個のヒストグラムが選択された抽出教師データのヒストグラムのそれぞれと、ヒストグラム生成部130が生成した位置特定ヒストグラムのそれぞれとを比較する簡易SVM演算を実行している状態の一例を示している。
また、SVM演算部140は、それぞれの位置特定分割領域における「犬」であるカテゴリとの類似度を表す情報に基づいて、類似度が最も大きい位置特定分割領域を、対象物である「犬」が写っている位置特定分割領域であると判別し、その位置特定分割領域を特定する情報を出力する。
ここまでの処理が、対象物位置特定システム30による対象物の位置特定の処理における、シーン認識の処理において判別した対象物が写っている位置特定分割領域の簡易的な判別の処理である。
続いて、位置特定制御部360は、ステップS430において全ての位置特定分割領域に対する簡易的な判別が終了した場合、SVM演算部140に、シーン認識の処理において類似度が最も高かった対象物(図3に示した処理の一例では「犬」)が写っていると簡易的に判別した位置特定分割領域に対するSVM演算を実行させる。より具体的には、ステップS440において、位置特定制御部360は、SVM演算部140に、シーン認識の処理において類似度が最も高かった「犬」が写っていると簡易的に判別した位置特定分割領域を表す位置特定ヒストグラムと、教師データ群150に含まれる、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリのそれぞれの教師データのヒストグラムとの類似度を算出するSVM演算を実行させる。そして、対象物位置特定システム30が、SVM演算の結果に基づいて得られる、「犬」であるカテゴリとの類似度を表す情報を出力し、対象物位置特定システム30における処理を完了する。
なお、SVM演算部140によるステップS430におけるSVM演算においても、シーン認識の処理におけるSVM演算部140によるSVM演算と同様に、簡易的に判別した位置特定分割領域を表す位置特定ヒストグラムとそれぞれの教師データのヒストグラムとにおける同じ階級同士の度数の差分絶対値を加算する。
このようにして、対象物位置特定システム30でも、入力された画像(図3(a))全体の領域を分割した全ての位置特定分割領域に対する簡易的な判別を繰り返すことによって、それぞれの位置特定分割領域の中で、抽出教師データのヒストグラムとの類似度が最も高い位置特定分割領域を、シーン認識の処理によって判別した「犬」が対象物として写っている位置特定分割領域として簡易的に特定することができる。そして、対象物位置特定システム30では、簡易的に特定した位置特定分割領域の位置を、シーン認識の処理において判別した対象物が写っている位置特定分割領域の位置として、類似度を表す情報を出力することができる。
本実施形態によれば、位置特定制御部(位置特定制御部360)は、位置特定の処理において、SVM演算部140に、位置特定分割領域を表すヒストグラムのそれぞれと、複数の教師データの内、予め定めた条件に応じて選択した一部の教師データ(抽出教師データ)のヒストグラムのそれぞれとを比較するSVM演算を実行させる、対象物位置特定システム(対象物位置特定システム30)が構成される。
上記に述べたように、本第3の実施形態の対象物位置特定システム30でも、第1の実施形態の対象物位置特定システム10と同様に、シーン認識の処理において量子化ベクトル生成部120が生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を、量子化ベクトル保存部170に保存する。これにより、本第3の実施形態の対象物位置特定システム30における対象物の位置特定の処理でも、第1の実施形態の対象物位置特定システム10と同様に、量子化ベクトル保存部170に保存したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、少ない処理で位置特定分割領域毎の位置特定ヒストグラムを生成することができる。
また、本第3の実施形態の対象物位置特定システム30では、対象物の位置特定の処理において、シーン認識の処理において判別した、類似度が最も高かった対象物のカテゴリの全ての教師データのヒストグラムの代わりに、この対象物のカテゴリを代表する抽出教師データのヒストグラムを用いて簡易SVM演算を行う。これにより、本第3の実施形態の対象物位置特定システム30では、対象物が写っている画像内の位置を特定するために行う、ヒストグラム生成部130が生成した位置特定分割領域毎の位置特定ヒストグラムに対するSVM演算を、簡易的に行うことができる。つまり、本第3の実施形態の対象物位置特定システム30における対象物の位置特定の処理では、1つの位置特定ヒストグラムに対すSVM演算を、類似度が最も高かった対象物のカテゴリに含まれる大量の教師データを用いて行うのではなく、同じ対象物のカテゴリに含まれる教師データから予め定めた条件に応じて選択した一部の教師データのヒストグラムを用いて行うことができる。このことにより、本第3の実施形態の対象物位置特定システム30では、詳細なSVM演算を行う必要がある位置特定分割領域を絞り込むことができ、対象物が写っている画像内の位置を特定するために要する演算時間を、第1の実施形態の対象物位置特定システム10よりもさらに短縮することができる。
なお、本第3の実施形態の対象物位置特定システム30でも、第1の実施形態の対象物位置特定システム10と同様に、SVM演算部140が、対象物のカテゴリ毎の類似度を表す情報や、判別した対象物が写っている位置特定分割領域の位置を特定する情報を出力する構成について説明したが、第1の実施形態の対象物位置特定システム10と同様に、SVM演算部140以外の構成要素が出力する構成にすることもできる。例えば、位置特定制御部360に備えた位置特定SVM演算判定部362が、SVM演算部140が行ったぞれぞれの位置特定分割領域に対する簡易SVM演算の結果から得られる対象物のカテゴリとの類似度を表す情報に基づいて、判別した対象物が写っている位置特定分割領域の位置を特定する情報を出力する構成にすることもできる。
なお、本第3の実施形態の対象物位置特定システム30では、教師データ切り替え部390を備え、位置特定制御部360が教師データ切り替え部390を制御することによって、対象物の位置特定の処理においてSVM演算部140がそれぞれの位置特定ヒストグラムに対して行う簡易SVM演算に用いる教師データのヒストグラムを、抽出教師データまたは全ての教師データのいずれか一方に切り替える構成について説明した。しかし、SVM演算部140が簡易SVM演算を行う際に用いる教師データのヒストグラムを切り替える方法は、教師データ切り替え部390による方法に限定されるものではない。例えば、それぞれの教師データに、対象物のカテゴリを代表する教師データ、すなわち、抽出教師データとして選択されているか否かを表すフラグなどの情報を含ませる。そして、位置特定制御部360が、SVM演算部140が簡易SVM演算を行う際に用いる教師データとして、抽出教師データとして選択されていることを表すフラグが含まれている教師データを使用するのか、または抽出教師データとして選択されていないことを表すフラグが含まれている教師データを使用するのかを指定する構成にする。この構成によっても、SVM演算部140がそれぞれの位置特定ヒストグラムに対して行う簡易SVM演算に用いる教師データのヒストグラムを切り替えることができる。この構成であれば、位置特定制御部360が直接、SVM演算部140に、簡易SVM演算を行う際に用いる教師データを指示することができ、対象物位置特定システム30に教師データ切り替え部390を備えなくてもよい。
なお、第2の実施形態の対象物位置特定システム20では、シーン認識の処理においてヒストグラム生成部230が生成した画像全体のヒストグラムを保存するヒストグラム保存部280を備え、シーン認識の処理によって判別した対象物が写っている画像内の位置を簡易的に特定するために、保存した画像全体のヒストグラムを用いる動作を示した。また、本第3の実施形態の対象物位置特定システム30では、簡易SVM演算の処理で用いる教師データを切り替える教師データ切り替え部390を備え、シーン認識の処理によって判別した対象物が写っている画像内の位置を簡易的に特定するために、シーン認識の処理において類似度が最も高かった対象物のカテゴリを代表する抽出教師データのヒストグラムを用いる動作を示した。しかし、シーン認識の処理によって判別した対象物が写っている画像内の位置を簡易的に特定するための構成は、第2の実施形態や本第3の実施形態の構成に限定されるものではない。例えば、シーン認識の処理によって判別した対象物が写っている画像内の位置を簡易的に特定するための構成として、第2の実施形態において示した対象物位置特定システム20の構成と、第3の実施形態において示した対象物位置特定システム30の構成とを、同時に備えた構成にすることもできる。この場合、例えば、シーン認識の処理によって判別した、教師データと対象物との類似度の大きさによって、対象物が写っている画像内の位置を簡易的に特定する方法を、第2の実施形態の対象物位置特定システム20の動作、または本第3の実施形態の対象物位置特定システム30のいずれか一方の動作に切り替えることができる。
<第4の実施形態>
ここで、第2の実施形態の対象物位置特定システム20の構成と、第3の実施形態の対象物位置特定システム30の構成とを同時に備えた、本発明の第4の実施形態について説明する。図12は、本第4の実施形態による対象物位置特定システムの概略構成を示したブロック図である。図12において、対象物位置特定システム40は、局所特徴ベクトル生成部110と、量子化ベクトル生成部120と、ヒストグラム生成部230と、SVM演算部140と、教師データ群150と、位置特定制御部460と、量子化ベクトル保存部170と、ヒストグラム保存部280と、教師データ切り替え部490と、を備えている。
なお、図12に示した対象物位置特定システム40は、図6に示した第2の実施形態の対象物位置特定システム20の構成要素と、図9に示した第3の実施形態の対象物位置特定システム30の構成要素とを合わせた構成である。従って、本第4の実施形態の対象物位置特定システム40の説明においては、第2の実施形態の対象物位置特定システム20の構成要素、および第3の実施形態の対象物位置特定システム30の構成要素と異なる構成要素および動作のみを説明する。
教師データ切り替え部490は、位置特定制御部460からの制御に応じて、SVM演算部140に入力するヒストグラムを切り替える。より具体的には、SVM演算部140が、ヒストグラム生成部230から入力されたそれぞれの位置特定ヒストグラムに対する簡易SVM演算を行う際に入力するヒストグラムを、教師データ群150に含まれるそれぞれの教師データのヒストグラム、ヒストグラム保存部280に保存されている画像全体のヒストグラム、または予め定めた条件に応じて選択された抽出教師データのヒストグラムのいずれか一つのヒストグラムとする。
位置特定制御部460は、対象物位置特定システム40の全体、すなわち、対象物位置特定システム40に備えた局所特徴ベクトル生成部110、量子化ベクトル生成部120、ヒストグラム生成部230、SVM演算部140、および教師データ切り替え部490のそれぞれの動作を制御する。位置特定制御部460は、ヒストグラム生成分割領域指定部161と、位置特定SVM演算判定部462と、を備えている。
位置特定SVM演算判定部462は、対象物位置特定システム40における対象物の位置特定の処理において、教師データ切り替え部490を制御することによって、SVM演算部140が、ヒストグラム生成部230から入力されたそれぞれの位置特定ヒストグラムに対するSVM演算を行う際のヒストグラムを切り替える。なお、位置特定SVM演算判定部462がSVM演算部140に入力するヒストグラムを切り替える際の動作は、第2の実施形態の対象物位置特定システム20に備えた位置特定制御部260内の位置特定SVM演算判定部262と、第3の実施形態の対象物位置特定システム30に備えた位置特定制御部360内の位置特定SVM演算判定部362とを合わせた動作として容易に理解することができるため、詳細な説明は省略する。
このような構成よって、対象物位置特定システム40では、位置特定制御部460による制御によって、第2の実施形態の対象物位置特定システム20または第3の実施形態の対象物位置特定システム30のいずれか一方と同様の動作をすることができる。なお、対象物位置特定システム40の動作は、図7に示した第2の実施形態の対象物位置特定システム20、または図10に示した第3の実施形態の対象物位置特定システム30の動作と同様であるため、詳細な説明は省略する。
本実施形態によれば、対象物位置特定システム40に、ヒストグラム生成部230が生成した、画像の全体を表すヒストグラムを保存するヒストグラム保存部280と、ヒストグラム保存部280に保存された画像の全体を表すヒストグラム、または複数の教師データの内、予め定めた条件に応じて選択した抽出教師データのヒストグラムのいずれか一方を選択して出力する教師データ切り替え部(教師データ切り替え部490)と、をさらに備え、位置特定制御部(位置特定制御部460)は、位置特定の処理において、SVM演算部140に、位置特定分割領域を表すヒストグラムのそれぞれと、教師データ切り替え部を制御することによってこの教師データ切り替え部490から出力されたヒストグラム(ヒストグラム保存部280に保存された画像の全体を表すヒストグラム、または抽出教師データのヒストグラム)とを比較するSVM演算を実行させる、(対象物位置特定システム40)が構成される。
上記に述べたように、本第4の実施形態の対象物位置特定システム40でも、第1の実施形態の対象物位置特定システム10と同様に、量子化ベクトル保存部170に保存したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、少ない処理で位置特定分割領域毎の位置特定ヒストグラムを生成することができる。
また、本第4の実施形態の対象物位置特定システム40では、第2の実施形態の対象物位置特定システム20または第3の実施形態の対象物位置特定システム30のいずれか一方と同様の方法で、対象物が写っている画像内の位置を特定するために行う、ヒストグラム生成部230が生成した位置特定分割領域毎の位置特定ヒストグラムに対するSVM演算を、簡易的に行うことができる。このことにより、本第4の実施形態の対象物位置特定システム40でも、第2の実施形態の対象物位置特定システム20または第3の実施形態の対象物位置特定システム30と同様に、詳細なSVM演算を行う必要がある位置特定分割領域を絞り込むことができ、対象物が写っている画像内の位置を特定するために要する演算時間を、第1の実施形態の対象物位置特定システム10よりもさらに短縮することができる。
なお、対象物が写っている画像内の位置を特定するために行う簡易SVM演算を、第2の実施形態の対象物位置特定システム20の動作または第3の実施形態の対象物位置特定システム30の動作のいずれの動作で行うかは、例えば、シーン認識の処理によって判別した、教師データと対象物との類似度の大きさによって切り替えることが考えられる。より具体的には、シーン認識の処理において判別した対象物のカテゴリとの類似度が80パーセント以上のときには、第2の実施形態の対象物位置特定システム20の動作で簡易SVM演算を行い、シーン認識の処理において判別した対象物のカテゴリとの類似度が60パーセント以上、80パーセント未満のときには、第3の実施形態の対象物位置特定システム30の動作で簡易SVM演算を行うようにすることができる。また、シーン認識の処理において判別した対象物のカテゴリとの類似度が60パーセント未満のときには簡易SVM演算を行わず、第1の実施形態の対象物位置特定システム10の動作で、通常のSVM演算を行うようにすることができる。
上記に述べたように、本発明を実施するための形態によれば、シーン認識の処理において量子化ベクトル生成部が生成したそれぞれのシーン認識分割領域の量子化ベクトルの値を保存する量子化ベクトル保存部を備える。また、本発明を実施するための形態では、量子化ベクトル保存部に保存したそれぞれのシーン認識分割領域の量子化ベクトルの値を用いて、シーン認識の処理によって判別した対象物が写っている画像内の位置を特定するために用いる、予め定めた大きさの位置特定分割領域毎の位置特定ヒストグラムを生成する。これにより、本発明を実施するための形態では、入力された画像に対してシーン認識の処理を行った後に、対象物が写っている画像内の位置を特定するために行う、それぞれの位置特定分割領域に対する対象物の位置特定の処理を、シーン認識の処理と同等の処理を再度行うよりも少ない処理で行うことができる。このことにより、本発明を実施するための形態では、対象物が写っている画像内の位置を特定するために要する演算時間を短縮することができる。
また、本発明を実施するための形態によれば、シーン認識の処理においてヒストグラム生成部が生成した画像全体のヒストグラム、またはシーン認識の処理において類似度が最も高かった対象物のカテゴリを代表する一部の教師データのヒストグラムを用いてSVM演算を行う。これにより、本発明を実施するための形態では、それぞれの位置特定分割領域毎の位置特定ヒストグラムに対するSVM演算を簡易的に行うことができ、シーン認識の処理によって判別した対象物が写っている画像内の位置を簡易的に特定することができる。つまり、本発明を実施するための形態では、シーン認識の処理によって判別した対象物が写っている画像内の位置を特定するために、それぞれの位置特定分割領域に対して行うSVM演算の処理を、シーン認識の処理において類似度が最も高かった対象物のカテゴリに含まれる大量の教師データのヒストグラムを用いて行うのではなく、少ない数のヒストグラムを用いて簡易的に行うことができる。このことにより、本発明を実施するための形態では、対象物が写っている画像内の位置を特定するために要する演算時間を短縮することができる。
なお、本実施形態においては、1つの位置特定分割領域に対する一連の処理(すなわち、位置特定ヒストグラムの生成とSVM演算との処理)が完了した後に、処理が完了したことを表す通知に応じて、次の一連の処理を実行する動作の場合について説明した。しかし、それぞれの位置特定分割領域に対する一連の処理の動作は、本発明を実施するための形態で説明した動作に限定されるものではない。例えば、1つ目の位置特定分割領域を表す位置特定ヒストグラムの生成が完了した後、1つ目の位置特定分割領域に対するSVM演算と同時期に、2つ目の位置特定分割領域を表す位置特定ヒストグラムの生成を行うように制御することもできる。つまり、例えば、1つ目の位置特定分割領域に対するSVM演算と、2つ目の置特定分割領域に対するヒストグラムの生成とを並列に実行するように制御してもよい。
また、本実施形態においては、入力された画像を81個のシーン認識分割領域に分割し、9つの位置特定分割領域に分割した場合の例で説明したが、入力された画像を分割するシーン認識分割領域および位置特定分割領域の数は、本発明を実施するための形態で説明した数に限定されるものではない。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。