JP3659221B2 - 画像認識装置及びその方法 - Google Patents
画像認識装置及びその方法 Download PDFInfo
- Publication number
- JP3659221B2 JP3659221B2 JP2001376805A JP2001376805A JP3659221B2 JP 3659221 B2 JP3659221 B2 JP 3659221B2 JP 2001376805 A JP2001376805 A JP 2001376805A JP 2001376805 A JP2001376805 A JP 2001376805A JP 3659221 B2 JP3659221 B2 JP 3659221B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- model
- local
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、特定の物体を撮影したモデル画像から予め検出対象となる画像特徴を抽出し、入力画像から同様にして抽出した特徴と、モデルの特徴とを照合することにより、入力画像から物体を検出し、その位置を出力する画像認識装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来の画像認識装置は、特開平９−２１６１０号公報や特開２０００−３００６０号公報に記載されたものなどが知られており、図２４、図２５にそれぞれ従来の画像認識装置のブロック構成を示す。
【０００３】
図２４は、特開平９−２１６１０号公報に開示された画像認識装置のブロック構成図であり、画像を入力する画像入力部１１と、抽出対象物の局所モデルを予め格納しているモデル記憶部１２と、入力画像の各部分画像について各局所モデルとのマッチングを行うマッチング処理部１３と、入力画像の各部分画像がどの程度局所モデルに一致しているかによって画像の位置情報も含めたパラメタ空間で抽出対象物の位置を確率的に表示し統合する局所情報統合部１４と、パラメタ空間内で最も確率の高い部分を抽出して入力画像内での抽出対象物の位置を判別して出力する物***置決定部１５から構成されている。
【０００４】
また、図２５は、特開２０００−３００６０号公報に開示された画像認識装置のブロック構成図であり、内蔵する画像メモリに入力されたビデオ信号をＡ／Ｄ変換器で量子化した画像データを貯えている画像入力部１と、抽出した輪郭のＸＹ座標列から画像の中心を求めその中心を原点とする極座標に変換したデータ及び輪郭のＸＹ座標列を貯えている輪郭抽出部２と、輪郭抽出部２からの動径のパワースペクトルを算出するフーリエ変換部３と、輪郭抽出部２で抽出した輪郭内の面積を求める面積演算部４と、フーリエ変換部３で得られた基本波成分と各高調波成分のパワースペクトルのを直流成分との比率に変換し、その特徴データを算出するスケーラ５と、予め学習により特徴データを記憶しておく辞書６と、特徴データと辞書６との差分を判定する判定部７とから構成されている。
【０００５】
【発明が解決しようとする課題】
特開平９−２１６１０号公報に開示された従来の画像認識装置は、対象物体の位置を推定するために画像を局所領域に分割し局所領域ごとのモデルを作成し、また、対象物体の画像面内での回転角度を推定するために任意の回転角モデルを作成するために、膨大なデータ量が必要となるという課題を有していた。また、特開２０００−３００６０号公報に開示された従来の画像認識装置は、入力画像における対象物体の位置が不明な場合には認識が困難であるという課題を有していた。
【０００６】
本発明は、上記従来の課題を解決するもので、少ないデータ量で、画像中の物体を認識することを目的とする。
【０００７】
【課題を解決するための手段】
この課題を解決するために、入力画像から特定の物体を検出する装置において、入力した画像を一定の局所画像として切り出す入力手段と、前記各局所画像の基準点を中心として極座標変換し、極座標変換画像の各空間周波数成分の周波数情報を算出し、入力周波数情報として出力する特徴抽出手段と、モデル画像の周波数情報をモデル周波数情報として物体名と共に予め保持している学習情報データベースと、前記入力周波数情報を前記検出対象物体のモデル画像の周波数情報と照合して検出対象物体の有無を判定する照合手段と、前記照合手段の結果を出力する出力部とを具備したものである。
【０００８】
これにより、本発明は、モデル極座標変換画像を入力画像とすることを特徴とすることによって、極座標変換した局所画像の周波数情報を照合することによって、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できる。
【００１４】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力画像から特定の物体を検出する装置において、画像を入力し、入力した画像から一定サイズの局所領域を入力局所画像として順次切り出して、各局所領域の画像内での位置を入力局所画像位置情報として入力局所画像と共に出力する入力手段と、前記画像入力手段から入力局所画像について、各局所画像の基準点を中心として極座標変換し、極座標変換画像として入力局所画像位置情報と共に出力する極座標変換部と、極座標変換画像の各空間周波数成分の周波数情報を算出し、入力周波数情報と入力局所画像位置情報とを出力する周波数抽出部とを備えた特徴抽出手段と、モデル画像から抽出した各局所画像の基準点を中心として極座標変換したモデル極座標変換画像の周波数情報であるモデル周波数情報とモデル画像内での位置情報であるモデル局所画像位置情報を予め保持している学習情報データベースと、前記特徴抽出手段からの各入力周波数情報をそれぞれモデル周波数情報と照合して、類似したモデル周波数情報を持つモデルの局所画像のモデル画像内での位置の情報を類似局所画像位置情報として前記入力局所画像位置情報と共に出力する画像特徴照合部と、前記各入力局所画像位置情報と類似局所画像位置情報の対からそれぞれ入力画像における対象物体の位置と対象物体の画像平面内での回転角度を推定し、推定した推定位置情報と、推定角度情報とを出力する位置推定部と、前記各推定位置情報と推定角度情報を集計して物体の有無を判断し、物体の位置と角度を出力する集計部とを備えた照合手段と、前記照合手段の結果を出力する出力部とを具備するもので、前記モデル周波数抽出部は前記モデル極座標変換画像を入力画像とすることを特徴とすることによって、極座標変換した局所画像の周波数情報を照合することによって、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００１５】
請求項２に記載の発明は、請求項１記載の画像認識装置において、学習情報データベースのモデル周波数情報とモデル局所画像位置情報は、画像データベースに格納されているモデル画像から前記入力局所画像と同じサイズの局所画像をモデル局所画像として順次切り出して、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することを特徴とするもので、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することにより、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００２１】
請求項３に記載の発明は、画像から特定の物体を検出する方法において、入力した画像から一定サイズの局所領域を順次抽出し、入力局所領域ごとに、基準点を中心とした極座標変換画像における空間周波数成分の周波数情報を入力周波数情報として算出し、各入力周波数情報に対して検出対象物体のモデル画像の局所画像から予め算出しておいた極座標変換画像の周波数情報の中から類似する周波数情報を抽出し、類似した周波数情報を持つ入力局所画像とモデル局所画像の組ごとに入力局所画像の入力画像内での位置とモデル局所画像のモデル画像内での位置から入力画像中の対象物体の位置と角度を推定し、前記推定位置と推定角度の両方が一致するものにより対象が存在すると判断することを特徴とするもので、前記モデル周波数抽出部は前記モデル極座標変換画像を入力画像とすることを特徴とすることによって、極座標変換した局所画像の周波数情報を照合することによって、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００２２】
請求項４に記載の発明は、請求項３記載の画像認識方法において、空間周波数成分の周波数情報は、空間周波数成分の強度または位相のであることを特徴とするもので、周波数情報として画像の各空間周波数成分の強度や位相を用いることにより、小数の周波数情報でモデル画像のスペクトルと入力画像のスペクトルを比較することによって、モデルと入力の画像中の物体の位置によらずに、入力画像の物体の有無を判断して出力する作用を有する。
【００２３】
請求項５に記載の発明は、請求項３記載の画像認識方法において、対象が存在するか判断は、前記推定位置と推定角度の両方が一致するもの数により判断することを特徴とするもので、推定された位置と角度が一致するものの数を集計することにより、画像面内で物体が回転している場合にも１つのモデル画像で物体の有無を判断でき、物体有の場合にはその位置と角度を推定できるという作用を有する。
【００２４】
請求項６に記載の発明は、請求項３記載の画像認識方法において、モデル画像の局所画像から予め算出しておいた極座標変換画像の周波数情報は、画像データベースに格納されているモデル画像から前記入力局所画像と同じサイズの局所画像をモデル局所画像として順次切り出して、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することを特徴とするもので、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することにより、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００２５】
請求項７に記載の発明は、コンピュータにより画像認識を行うプログラムであって、画像から特定の物体を検出する方法において、入力した画像から一定サイズの局所領域を順次抽出し、入力局所領域ごとに、基準点を中心とした極座標変換画像における空間周波数成分の周波数情報を入力周波数情報として算出し、各入力周波数情報に対して検出対象物体のモデル画像の局所画像から予め算出しておいた極座標変換画像の周波数情報の中から類似する周波数情報を抽出し、類似した周波数情報を持つ入力局所画像とモデル局所画像の組ごとに入力局所画像の入力画像内での位置とモデル局所画像のモデル画像内での位置から入力画像中の対象物体の位置と角度を推定し、前記推定位置と推定角度の両方が一致するものにより対象が存在すると判断する画像認識プログラムを記録した記録媒体であり、コンピュータに読み込み実行することにより、極座標変換した局所画像の周波数情報を照合することによって、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００２６】
以下、本発明の実施の形態について、図を用いて説明する。
【００２７】
(実施の形態１)
図１は、本発明の実施の形態１における画像認識装置のブロック構成図を示している。
【００２８】
図１において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、２は入力手段１から濃淡画像を入力して画像特徴を抽出する特徴抽出手段、２１は画像入力部１１から濃淡画像を入力してそのパワースペクトルを算出する周波数抽出部、３は特徴抽出手段２から画像特徴を入力してモデルと照合し入力画像中のモデルの有無を判断する照合手段、３１は周波数抽出部２１からパワースペクトルを入力して予め抽出されているモデルのパワースペクトルとの一致度を求め物体の有無を判断する画像特徴照合部、４は照合手段３から物体の有無の判断結果を入力してそれをディスプレイなどに表示する出力部、５は検出対象物体のモデル画像から算出されたパワースペクトルを物体名と共に予め格納している学習情報データベース、６は検出対象物体のモデル画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、７はモデル画像生成手段６から濃淡画像を入力して対象物体ごとに画像特徴を抽出するモデル生成手段、７１は学習データベース６１から入力した濃淡画像のパワースペクトルを求めて物体名と共に学習情報データベース５に格納するモデル周波数抽出部である。
【００２９】
また、図２は、コンピュータにより画像認識装置を実現した場合のブロック構成図であり、２０１はコンピュータ、２０２はＣＰＵ、２０３はメモリ、２０４はキーボード及びディスプレイ、２０５は画像認識プログラムを読み込むためのＦＤ、ＰＤ、ＭＯ、ＤＶＤなどの蓄積媒体ユニット、２０６〜２０８はＩ／Ｆユニット、２０９はＣＰＵバス、２１０は画像を取り込むためのカメラ、２１１は予め蓄積されている画像を取り込むための画像データベース、２１２はモデル画像のスペクトルを物体名と共に格納している学習情報データベース、２１３は検出された物体の名前をＩ／Ｆユニットを介して出力する出力端子で構成されている。
【００３０】
以上のように構成された画像認識装置について、以下その動作を図３と図４のフローチャートを用いて説明する。図３は、モデル生成手段７の動作を示すフローチャート、図４は、対象物体の有無を判断したい画像データを入力してから結果を出力するまでの画像認識処理の動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図６は、学習情報データベース５に格納されている図５のモデル画像のパワースペクトルを記述した例、図７は、画像入力部１１で入力される入力画像の例、図８は、図７の入力画像のパワースペクトルを記述した例である。
【００３１】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求めるモデルを生成しておくもので、モデル生成手段７の動作を図３のフローチャートを用いて説明する。
【００３２】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像５０１として物体名５０２と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル生成手段７は、画像データベース６１から「物体名：ニッパ」のモデル画像のデータf(x,y)を入力する(ステップ３０１)。入力されたモデル画像のデータf(x,y)は、モデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換f(x,y)→F(u,v)を行い、（数２）の式で各周波数成分(u,v)のパワースペクトルを求める(ステップ３０２)。
【００３３】
【数１】
【００３４】
【数２】
【００３５】
図６のような全ての周波数成分(u,v)のパワースペクトルを物体名と共に学習情報データベース５に格納する(ステップ３０３)。
【００３６】
次に、画像認識処理の動作について、図４のフローチャートを用いて説明する。
【００３７】
まず、検出対象となる図７のような画像データg(x,y)を入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ４０１)。
【００３８】
特徴抽出手段２は、画像入力部１１から画像データg(x,y)を入力し、周波数抽出部２１で（数１）に示す式のf(x,y)にg(x,y)を代入して２次元離散フーリエ変換g(x, y)→G(u, v)を行い、（数２）に示す式のF(u,v)にG(u,v)を代入して各周波数成分(u,v)のパワースペクトルを求める(ステップ４０２)。
【００３９】
照合手段３の画像特徴照合部３１は、周波数抽出部２１から図８に示すような入力画像のパワースペクトルG(u,v)を入力し、学習情報データベースから図６のようなモデル画像のパワースペクトルF(u,v)を入力して、（数３）に代入し、各周波数成分における入力とモデルのパワースペクトルの平方根の差の二乗の総和を、距離distとして求める(ステップ４０３)。
【００４０】
【数３】
【００４１】
距離distが一定閾値Ｔより小さければ(ステップ４０４)、入力画像にニッパがあると判断する(ステップ４０５)。距離が閾値Ｔ以上であれば、入力画像にはニッパは存在しないと判断する(ステップ４０６)。
【００４２】
出力部４は、画像特徴照合部３１で判断した物体の有無を出力する(ステップ４０７)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【００４３】
以上のように、本実施の形態では、モデル周波数抽出部７１が予めモデル画像のパワースペクトルを算出しておき、周波数抽出部２１が入力画像のパワースペクトルを算出し、画像特徴照合部３１が入力画像のパワースペクトルとモデル画像のパワースペクトルの類似度を照合することにより、画像内での物体の位置によらず、物体の有無を判断でき、その効果は大きい。
【００４４】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能である。
【００４５】
また、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【００４６】
(実施の形態２)
図９は、本発明の実施の形態２における画像認識装置のブロック構成図を示す。図９において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、１２は画像入力部１１の画像から一定サイズの局所画像を順次切り出す画像切り出し部、２は入力手段１から画像を入力して画像特徴を抽出する特徴抽出手段、２１は画像切り出し部１２から複数の局所画像を入力しそれぞれに対してパワースペクトルを算出する周波数抽出部、３は特徴抽出手段２から画像特徴を入力してモデルの画像特徴と照合し入力画像中の物体の有無と物体の位置を推定する照合手段、３１は周波数抽出部２１から入力したパワースペクトルを予め算出されているモデルの各局所画像のパワースペクトルと照合し類似したパワースペクトルを持つ入力とモデルの局所画像のそれぞれの画像内での座標を対にして出力する画像特徴照合部、３２は画像特徴照合部３１から入力した座標の対から入力画像中の物体の位置を推定して出力する位置推定部、３３は位置推定部３２が推定した入力画像内での物体の位置を集計して同じ位置が多数あればそこに物体があると判断し物体の位置とともに出力する集計部、４は照合手段３から物体の有無と物体の位置を入力してそれをディスプレイなどに表示する出力部である。
【００４７】
また、５は検出対象物体のモデル画像における各局所画像のパワースペクトルを局所画像のモデル画像内での位置を表す座標と物体名と共に予め格納している学習情報データベース、６は検出対象物体のモデル画像から局所画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、６２は画像データベースからモデル画像を入力して入力の局所画像と同じサイズの局所画像を切り出しその局所画像のモデル画像内での位置の情報と画像データを物体名と共に出力するモデル画像切り出し部、７はモデル画像生成手段６から画像データを入力して画像特徴を抽出し物体名と位置の情報と共に出力するモデル生成手段、７１はモデル画像切り出し部６２から入力した画像データのパワースペクトルを求めて物体名と位置の情報と共に学習情報データベース５に格納するモデル周波数抽出部である。
【００４８】
また、実施の形態１と同様に、図２に示すようにコンピュータにより画像認識装置を実現することも可能である。
【００４９】
以上のように構成された画像認識装置について、以下その動作を図１０と図１１のフローチャートを用いて説明する。図１０は、モデル生成手段７の動作を示すフローチャート、図１１は、画像を入力してから結果を出力するまでの動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図７は、画像入力部１１で入力される入力画像の例、図１２は、画像データベース６１から入力した画像に対してモデル画像切り出し部６２が切り出す領域の例、図１３は、学習情報データベースに格納されるモデルの局所画像のパワースペクトルと物体名と局所画像のモデル画像内での位置の例、図１４は、照合手段３で検出した物体の位置を矩形で表示して出力部４のディスプレイに出力している例である。
【００５０】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求めるモデルを生成しておくもので、モデル生成手段７の動作を図１０のフローチャートを用いて説明する。
【００５１】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像５０１として物体名５０２と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル画像生成手段６のモデル画像切り出し部６２は、画像データベース６１から「物体名：ニッパ」のモデル画像１２００を入力し(ステップ１００１)、図１２に示すような一定サイズの矩形画像１２０１〜１２０４を物体中の特徴的な領域から順次切り出す(ステップ１００２)。
【００５２】
モデル生成手段７は、モデル画像切り出し部６２から入力した各矩形画像１２０１〜１２０４に対して、モデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換を行い、（数２）の式により各周波数成分のパワースペクトルを求め(ステップ１００３)、図１３に示すようにパワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１００４)。
【００５３】
ここで、局所画像のモデル画像内での座標は、モデル画像の左上を原点とし、局所画像の左上角点の座標をモデル画像内の座標系で表した値である。
【００５４】
ステップ１００２で切り出したモデル画像内の全ての局所画像について、ステップ１００３からステップ１００４までの処理を行い、パワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１００５)。
【００５５】
次に、画像認識処理の動作について、図１１のフローチャートを用いて説明する。
【００５６】
まず、検出対象となる図７のような画像データを入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ１１０１)。画像切り出し部１２は、図１２に示すモデルの局所画像と同じサイズの矩形の局所画像を図７の入力画像から一定間隔で切り出して、局所画像の座標と共に出力する(ステップ１１０２)。
【００５７】
ここで、局所画像の座標は、入力画像の左上を原点とし、局所画像の左上角点の座標を入力画像内の座標系で表した値である。
【００５８】
特徴抽出手段２は、画像切り出し部１２から画像データを入力し、周波数抽出部２１で（数１）に示す２次元離散フーリエ変換を行い、（数２）に示す式により各周波数成分のパワースペクトルを求める(ステップ１１０３)。
【００５９】
照合手段３は、周波数抽出部２１からパワースペクトルを入力すると、まず、画像特徴照合部３１で学習情報データベースからモデルの局所画像のパワースペクトルを入力して、（数３）の式に示すように、各周波数成分における入力とモデルのパワースペクトルの平方根の差の二乗の総和を、距離distとして求める。距離distが一定閾値Ｔより小さいものを入力の局所画像に類似したモデルの局所画像として抽出し、入力の局所画像の座標と類似したモデルの局所画像の座標を対にして出力する(ステップ１１０４)。
【００６０】
位置推定部３２は、画像特徴照合部３１から入力とモデルの局所画像の座標の対を入力すると、入力画像中とモデル画像中とで物体は並行移動の関係にあると仮定して、座標の対から入力画像中の物体の位置を推定して出力する(ステップ１１０５)。
【００６１】
入力の全ての局所画像について、ステップ１１０３からステップ１１０５までの処理を行い(ステップ１１０６)、位置推定部３２から出力される位置が同じであるものの数を集計部３３で集計する。
【００６２】
集計した値で一定閾値より大きいものがあれば(ステップ１１０７)、その位置にニッパがあると判断する(ステップ１１０８)。集計した値で一定閾値より大きいものがなければ(ステップ１１０７)、入力画像にはニッパは存在しないと判断する(ステップ１１０９)。
【００６３】
出力部４は、集計部３３で物体有と判断した場合には、その位置を図１４のように矩形領域１４０１で表示して出力する(ステップ１１１０)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【００６４】
以上のように、本実施の形態では、モデル画像切り出し部が予めモデル画像から一定サイズの局所画像を切り出し、モデル周波数抽出部７１が予めモデルの局所画像のパワースペクトルを算出しておき、画像切り出し部１２が入力画像からモデルの局所画像と同じサイズの局所画像を切り出し、周波数抽出部２１が入力の局所画像のパワースペクトルを算出し、画像特徴照合部３１がモデルの局所画像のパワースペクトルの中から入力の各局所画像のパワースペクトルと類似したものをそれぞれ抽出し、位置推定部３２が各々の類似した入力局所画像とモデル局所画像についてその入力画像内での座標とモデル画像内での座標から入力画像における物体の位置をそれぞれ推定し、集計部３３が推定された位置が一致するものの数を集計することにより、画像データを直接用いて照合するよりも少ない量のデータで、一部隠蔽されている場合にも物体の有無を判断でき、物体有の場合にはその位置を推定でき、その効果は大きい。
【００６５】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能であるし、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【００６６】
(実施の形態３)
図１５は、本発明の実施の形態３における画像認識装置のブロック構成図を示す。図１５において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、１２は画像入力部１１の画像から一定サイズの局所画像を順次切り出す画像切り出し部、２は入力手段１から画像を入力して画像特徴を抽出する特徴抽出手段、２０は画像切り出し部１２から入力した各局所画像に対して基準点を中心として極座標変換を行う極座標変換部、２１は極座標変換部２０から入力した各画像に対してパワースペクトルを算出する周波数抽出部、３は特徴抽出手段２から各局所画像の画像特徴を入力してモデルの画像特徴と照合し入力画像中の物体の有無と物体の位置と角度を推定する照合手段、３１は周波数抽出部２１から入力したパワースペクトルを予め算出されているモデルの各局所画像のパワースペクトルと照合し類似したパワースペクトルを持つモデルの局所画像を抽出して入力局所画像とモデルの局所画像の各画像内での座標を対にして出力する画像特徴照合部、３２は画像特徴照合部３１から入力した座標の対から入力画像中の物体の位置と角度を推定して出力する位置推定部、３３は位置推定部３２が推定した入力画像内での物体の位置と角度を集計して同じ位置と角度のものが多数あれば、そこに物体があると判断し位置と角度の値を出力する集計部、４は照合手段３から物体の有無と物体の位置と角度を入力してそれをディスプレイなどに表示する出力部である。
【００６７】
また、５はモデル画像の局所画像を極座標変換した画像のパワースペクトルを局所画像のモデル画像内での位置を表す座標と物体名と共に予め格納している学習情報データベース、６は検出対象物体のモデル画像から局所画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、６２は画像データベースからモデル画像を入力して入力の局所画像と同じサイズの局所画像を切り出しその局所画像のモデル画像内での位置の情報と局所画像データを物体名と共に出力するモデル画像切り出し部、７はモデル画像生成手段６から画像データを入力して画像特徴を抽出し物体名と位置の情報と共に出力するモデル生成手段、７０はモデル画像切り出し部６２から入力した局所画像の基準点を中心として極座標変換するモデル極座標変換部、７１はモデル極座標変換部７０から入力した各画像に対してパワースペクトルを求めて物体名と位置の情報と共に学習情報データベース５に格納するモデル周波数抽出部である。
【００６８】
また、実施の形態１と同様に、図２に示すようにコンピュータにより画像認識装置を実現することも可能である。
【００６９】
以上のように構成された画像認識装置について、以下その動作を図１６と図１７のフローチャートを用いて説明する。図１６は、モデル生成手段７の動作を示すフローチャート、図１７は、画像を入力してから結果を出力するまでの動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図１８は、画像データベース６１から入力した画像に対してモデル画像切り出し部６２が切り出す領域の例、図１９は、画像入力部１１で入力される入力画像の例、図１３は、学習情報データベースに格納されるモデルの局所画像のパワースペクトルと物体名と局所画像のモデル画像内での位置の例、図２０は、照合手段３で検出した物体の位置を矩形で表示して出力部４のディスプレイに出力している例である。
【００７０】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求めるモデルを生成しておくもので、モデル生成手段７の動作を図１６のフローチャートを用いて説明する。
【００７１】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像として物体名と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル画像生成手段６のモデル画像切り出し部６２は、画像データベース６１から「物体名：ニッパ」のモデル画像を入力し(ステップ１６０１)、図１８に示すような一定サイズの円形画像１８０１〜１８０３を物体中の特徴的な領域から順次切り出す(ステップ１６０２)。
【００７２】
モデル生成手段７は、モデル画像切り出し部６２から入力した各円形画像１８０１〜１８０３に対して、モデル極座標変換部７０で円の中心を中心点とする極座標変換を行い、極座標変換後の画像に対してモデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換を行い、（数２）の式により各周波数成分のパワースペクトルを求め(ステップ１６０３)、図１３に示すようにパワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１６０４)。
【００７３】
ここで、局所画像のモデル画像内での座標は、モデル画像の左上を原点とし、局所画像の円の中心の座標をモデル画像内の座標系で表した値である。
【００７４】
ステップ１６０２で切り出したモデル画像内の全ての局所画像について、ステップ１６０３からステップ１６０４までの処理を行行い、パワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１６０５)。
【００７５】
次に、画像認識処理の動作について、図１７のフローチャートを用いて説明する。
【００７６】
まず、検出対象となる図１９のような画像データを入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ１７０１)。画像切り出し部１２は、図１８に示すモデルの局所画像と同じサイズの円形の局所画像を図１９の入力画像から一定間隔で切り出して、局所画像の座標と共に出力する(ステップ１７０２)。
【００７７】
ここで、局所画像の座標は、入力画像の左上を原点とし、局所画像の円の中心の座標を入力画像内の座標系で表した値である。
【００７８】
特徴抽出手段２は、画像切り出し部１２から画像データを入力し、極座標変換部２０で円の中心を中心点とした極座標変換を行った後、周波数抽出部２１で（数１）に示す２次元離散フーリエ変換を行い、（数２）に示す式により各周波数成分のパワースペクトルを求める(ステップ１７０３)。
【００７９】
照合手段３は、周波数抽出部２１からパワースペクトルを入力すると、まず、画像特徴照合部３１で学習情報データベース５からモデルの局所画像のパワースペクトルを入力して、（数３）の式に示すように、各周波数成分における入力とモデルのパワースペクトルの平方根の差の二乗の総和を、距離distとして求める。距離distが一定閾値Ｔより小さいものを入力の局所画像に類似したモデルの局所画像として抽出し、入力の局所画像の座標と類似したモデルの局所画像の座標を対にして出力する(ステップ１７０４)。
【００８０】
位置推定部３２は、画像特徴照合部３１から入力とモデルの局所画像の座標の対を入力すると、座標の対から推定され得る入力画像中の物体の位置・角度の組を全て出力する(ステップ１７０５)。このとき、類似した入力とモデルの局所画像は、画像内の物体が画像面内で任意角度回転していても類似したものとして検出される。よって、物体の位置と角度の推定では、○度回転していると仮定した場合の位置を一定角度ごとに算出して、位置と角度の組を出力する。
【００８１】
入力の全ての局所画像について、ステップ１７０３からステップ１７０５までの処理を行い(ステップ１７０６)、位置推定部３２から出力される位置と角度の組が同じであるものの数を集計部３３で集計する。
【００８２】
集計した値で一定閾値より大きいものがあれば(ステップ１７０７)、その位置・角度にニッパがあると判断する(ステップ１７０８)。集計した値で一定閾値より大きいものがなければ(ステップ１７０７)、入力画像にはニッパは存在しないと判断する(ステップ１７０９)。
【００８３】
出力部４は、集計部３３で物体有と判断した場合には、図２０のように矩形領域２００１で表示して、その位置（５，７２）２００２と角度（１２度）２００３を出力する(ステップ１７１０)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【００８４】
以上のように、本実施の形態では、モデル画像切り出し部が予めモデル画像から一定サイズの局所画像を切り出し、モデル極座標変換部７０が予めモデルの局所画像を極座標変換し、モデル周波数抽出部７１が予め極座標変換後の局所画像のパワースペクトルを算出しておき、画像切り出し部１２が入力画像からモデルの局所画像と同じサイズの局所画像を切り出し、極座標変換部２０が入力の局所画像を極座標変換し、周波数抽出部２１が極座標変換後の局所画像のパワースペクトルを算出し、画像特徴照合部３１がモデルのパワースペクトルの中から入力の各局所画像のパワースペクトルと類似したものをそれぞれ抽出し、位置推定部３２が各々の類似した入力局所画像とモデル局所画像についてその入力画像内での座標とモデル画像内での座標から入力画像における物体の位置と角度をそれぞれ推定し、集計部３３が推定された位置と角度が一致するものの数を集計することにより、画像面内で物体が回転している場合にも１つのモデル画像で物体の有無を判断でき、物体有の場合にはその位置と角度を推定でき、その効果は大きい。
【００８５】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能であるし、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【００８６】
(実施の形態４)
図２１は、本発明の実施の形態４における画像認識装置のブロック構成図を示す。図２１において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、１２は画像入力部１１の画像から一定サイズの局所画像を順次切り出す画像切り出し部、２は入力手段１から画像を入力して画像特徴を抽出する特徴抽出手段、２１は画像切り出し部１２から複数の局所画像を入力しそれぞれに対してパワースペクトルを算出する周波数抽出部、２２は周波数抽出部１１から入力したパワースペクトルを予め算出してある特徴空間にベクトルとして投影する特徴空間投影部、３は特徴抽出手段２から画像特徴を入力してモデルの画像特徴と照合し入力画像中の物体の有無と物体の位置を推定する照合手段、３１は特徴空間投影部２２から入力したベクトルを予め算出されているモデルの各局所画像のベクトルと照合し類似したベクトルを持つ入力とモデルの局所画像のそれぞれの画像内での座標を対にして出力する画像特徴照合部、３２は画像特徴照合部３１から入力した座標の対から入力画像中の物体の位置を推定して出力する位置推定部、３３は位置推定部３２が推定した入力画像内での物体の位置を集計して同じ位置が多数あれば、そこに物体があると判断し物体の位置とともに出力する集計部、４は照合手段３から物体の有無と物体の位置を入力してそれをディスプレイなどに表示する出力部である。
【００８７】
また、５は検出対象物体のモデル画像から抽出した局所画像のパワースペクトルから予め算出しておいた特徴空間のパラメタと各パワースペクトルを特徴空間に投影したときのベクトルと局所画像のモデル画像内での位置を表す座標と物体名とを予め格納している学習情報データベース、６は検出対象物体のモデル画像から局所画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、６２は画像データベースからモデル画像を入力して入力の局所画像と同じサイズの局所画像を切り出しその局所画像のモデル画像内での位置の情報と画像データを物体名と共に出力するモデル画像切り出し部、７はモデル画像生成手段６から画像データを入力して画像特徴を抽出し物体名と位置の情報と共に出力するモデル生成手段、７１はモデル画像切り出し部６２から入力した画像データのパワースペクトルを求めて物体名と位置の情報と共に出力するモデル周波数抽出部、７２はモデル周波数抽出部７１で算出した各モデル局所画像のパワースペクトルをそれぞれベクトルデータにして全てのベクトルから固有空間を生成し各ベクトルを固有空間に射影し固有空間の基底ベクトルと射影したベクトルを物体名と位置の情報と共に学習情報データベース５に格納する特徴空間生成部である。
【００８８】
また、実施の形態１と同様に、図２に示すようにコンピュータにより画像認識装置を実現することも可能である。
【００８９】
以上のように構成された画像認識装置について、以下その動作を図２２と図２３のフローチャートを用いて説明する。図２２は、モデル生成手段７の動作を示すフローチャート、図２３は、画像を入力してから結果を出力するまでの動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図７は、画像入力部１１で入力される入力画像の例、図１２は、画像データベース６１から入力した画像に対してモデル画像切り出し部６２が切り出す領域の例、図１４は、照合手段３で検出した物体の位置を矩形で表示して出力部４のディスプレイに出力している例である。
【００９０】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求め、全てのパワースペクトルを特徴空間に投影するモデルを生成しておくもので、モデル生成手段７の動作を図２２のフローチャートを用いて説明する。
【００９１】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像として物体名と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル画像生成手段６のモデル画像切り出し部６２は、画像データベース６１から「物体名：ニッパ」のモデル画像を入力し(ステップ２２０１)、図１２に示すような一定サイズの矩形画像を物体中の特徴的な領域から順次切り出す(ステップ２２０２)。
【００９２】
モデル生成手段７は、モデル画像切り出し部６２から入力した各矩形画像に対して、モデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換を行い、（数２）の式により各周波数成分のパワースペクトルを求める(ステップ２２０３−１)。
【００９３】
モデル画像切り出し部６２から入力した全ての局所画像について、スッテプ２２０３−１のパワースペクトル算出の処理を行った後(ステップ２２０３−２)、特徴空間生成部７２は、各局所画像のパワースペクトルをベクトルデータとして、全てのパワースペクトルのベクトルから固有空間を生成し、全てのベクトルを固有空間に投影する(ステップ２２０３−３)。
【００９４】
算出した固有空間の基底ベクトルと固有空間投影後の各局所画像のベクトルの座標とを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ２２０４)。
【００９５】
ここで、局所画像のモデル画像内での座標は、モデル画像の左上を原点とし、局所画像の左上角点の座標をモデル画像内の座標系で表した値である。
【００９６】
次に、画像認識処理の動作について、図２３のフローチャートを用いて説明する。
【００９７】
まず、検出対象となる図７のような画像データを入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ２３０１)。画像切り出し部１２は、図１２に示すモデルの局所画像と同じサイズの矩形の局所画像を図７の入力画像から一定間隔で切り出して、局所画像の座標と共に出力する(ステップ２３０２)。
【００９８】
ここで、局所画像の座標は、入力画像の左上を原点とし、局所画像の左上角点の座標を入力画像内の座標系で表した値である。
【００９９】
特徴抽出手段２は、まず、画像切り出し部１２から画像データを入力し、周波数抽出部２１で（数１）に示す２次元離散フーリエ変換を行い、（数２）に示す式により各周波数成分のパワースペクトルを求める。
【０１００】
次に、特徴空間投影部２２で、学習情報データベース５から固有空間の基底ベクトルを入力し、周波数抽出部２１が算出したパワースペクトルのベクトルを、（数４）により次元を落とした固有空間に投影する(ステップ２３０３)。
【０１０１】
【数４】
【０１０２】
照合手段３は、特徴空間投影部２２からベクトルを入力すると、まず、画像特徴照合部３１で学習情報データベースからモデルの局所画像のベクトルを入力して、スッテプ２３０３で用いた低次元の固有空間において入力局所画像のベクトルとモデルの局所画像のベクトルとの距離を求める。距離が一定閾値Ｔより小さいものを入力の局所画像に類似したモデルの局所画像として抽出し、入力の局所画像の座標と類似したモデルの局所画像の座標を対にして出力する(ステップ２３０４)。
【０１０３】
位置推定部３２は、画像特徴照合部３１から入力とモデルの局所画像の座標の対を入力すると、入力画像中とモデル画像中とで物体は並行移動の関係にあると仮定して、座標の対から入力画像中の物体の位置を推定して出力する(ステップ２３０５)。
【０１０４】
入力の全ての局所画像について、ステップ２３０３からステップ２３０５までの処理を行い(ステップ２３０６)、位置推定部３２から出力される位置が同じであるものの数を集計部３３で集計する。
【０１０５】
集計した値で一定閾値Ｓより大きいものがあれば(ステップ２３０７)、その位置にニッパがあると判断する(ステップ２３０８)。集計した値で一定閾値Ｓより大きいものがなければ(ステップ２３０７)、入力画像にはニッパは存在しないと判断する(ステップ２３０９)。
【０１０６】
出力部４は、集計部３３で物体有と判断した場合には、その位置を図１４のように矩形領域１４０２で表示して出力する(ステップ２３１０)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【０１０７】
以上のように、本実施の形態では、モデル画像切り出し部が予めモデル画像から一定サイズの局所画像を切り出し、モデル周波数抽出部７１が予めモデルの局所画像のパワースペクトルを算出し、特徴空間生成部７２がモデルの全てのパワースペクトルから固有空間を算出し、全てのパワーベクトルを固有空間に投影しておき、画像切り出し部１２が入力画像からモデルの局所画像と同じサイズの局所画像を切り出し、周波数抽出部２１が入力の局所画像のパワースペクトルを算出し、特徴空間投影部２２が入力のパワースペクトルを特徴空間生成部７２で生成した固有空間の次元を落とした空間に投影し、画像特徴照合部３１がモデルの局所画像の中から入力の各局所画像と類似したものを低次元の固有空間上でそれぞれ抽出し、位置推定部３２が各々の類似した入力局所画像とモデル局所画像についてその入力画像内での座標とモデル画像内での座標から入力画像における物体の位置をそれぞれ推定し、集計部３３が推定された位置が一致するものの数を集計することにより、よりデータ量の少ない低次元の空間で照合を行い、一部隠蔽されている場合にも物体の有無を判断でき、物体有の場合にはその位置を推定できるので、その効果は大きい。
【０１０８】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能であるし、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【０１０９】
【発明の効果】
以上のように本発明によれば、画像中の物体の位置に依存しない特徴量である周波数情報を、モデル画像と入力画像とで照合することにより、少ないモデルデータで、物体を検出できる。
【０１１０】
また、物体が画像面内で並行移動や回転、あるいは一部隠蔽されていても、精度良く検出できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像認識装置のブロック構成図
【図２】本発明の実施の形態１におけるコンピュータによる画像認識装置のブロック構成図
【図３】本発明の実施の形態１におけるモデル生成手段の処理の流れを示すフローチャート
【図４】本発明の実施の形態１における画像入力部から出力部までの処理の流れを示すフローチャート
【図５】画像データベースが保管しているモデル画像の一例を示す図
【図６】本発明の実施の形態１における学習情報データベースが保管しているモデルのパワースペクトルの一例を示す図
【図７】本発明の実施の形態における入力画像の一例を示す図
【図８】本発明の実施の形態１における入力画像のパワースペクトルの一例を示す図
【図９】本発明の実施の形態２における画像認識装置のブロック構成図
【図１０】本発明の実施の形態２におけるモデル生成手段の処理の流れを示すフローチャート
【図１１】本発明の実施の形態２における画像入力部から出力部までの処理の流れを示すフローチャート
【図１２】本発明の実施の形態２、４におけるモデル画像切り出し部が切り出す矩形領域の一例を示す図
【図１３】本発明の実施の形態２、４における学習情報データベースが保管しているモデルのパワースペクトルの一例を示す図
【図１４】本発明の実施の形態２、４における出力部が出力する検出結果の一例を示す図
【図１５】本発明の実施の形態３における画像認識装置のブロック構成図
【図１６】本発明の実施の形態３におけるモデル生成手段の処理の流れを示すフローチャート
【図１７】本発明の実施の形態３における画像入力部から出力部までの処理の流れを示すフローチャート
【図１８】本発明の実施の形態３におけるモデル画像切り出し部が切り出す円領域の一例を示す図
【図１９】本発明の実施の形態３における入力画像の一例を示す図
【図２０】本発明の実施の形態３における出力部が出力する検出結果の一例を示す図
【図２１】本発明の実施の形態４における画像認識装置のブロック構成図
【図２２】本発明の実施の形態４におけるモデル生成手段の処理の流れを示すフローチャート
【図２３】本発明の実施の形態４における画像入力部から出力部までの処理の流れを示すフローチャート
【図２４】従来の画像認識装置の一例を示すブロック図
【図２５】従来の画像認識装置の別の一例を示すブロック図
【符号の説明】
１ 入力手段
２ 特徴抽出手段
３ 照合手段
４ 出力部
５ 学習情報データベース
６ モデル画像生成手段
７ モデル生成手段
１１ 画像入力部
１２ 画像切り出し部
２０ 極座標変換部
２１ 周波数抽出部
２２ 特徴空間投影部
３１ 画像特徴照合部
３２ 位置推定部
３３ 集計部
６１ 画像データベース
６２ モデル画像切り出し部
７０ モデル極座標変換部
７１ モデル周波数抽出部
７２ 特徴空間生成部
２０１ コンピュータ
２０２ ＣＰＵ
２０３ メモリ
２０４ キーボード／ディスプレイ
２０５ 蓄積媒体ユニット
２０６〜２０８ Ｉ／Ｆユニット
２０９ ＣＰＵバス
２１０ カメラ
２１１ 画像データベース
２１２ 学習情報データベース
２１３ 出力端子
【発明の属する技術分野】
本発明は、特定の物体を撮影したモデル画像から予め検出対象となる画像特徴を抽出し、入力画像から同様にして抽出した特徴と、モデルの特徴とを照合することにより、入力画像から物体を検出し、その位置を出力する画像認識装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来の画像認識装置は、特開平９−２１６１０号公報や特開２０００−３００６０号公報に記載されたものなどが知られており、図２４、図２５にそれぞれ従来の画像認識装置のブロック構成を示す。
【０００３】
図２４は、特開平９−２１６１０号公報に開示された画像認識装置のブロック構成図であり、画像を入力する画像入力部１１と、抽出対象物の局所モデルを予め格納しているモデル記憶部１２と、入力画像の各部分画像について各局所モデルとのマッチングを行うマッチング処理部１３と、入力画像の各部分画像がどの程度局所モデルに一致しているかによって画像の位置情報も含めたパラメタ空間で抽出対象物の位置を確率的に表示し統合する局所情報統合部１４と、パラメタ空間内で最も確率の高い部分を抽出して入力画像内での抽出対象物の位置を判別して出力する物***置決定部１５から構成されている。
【０００４】
また、図２５は、特開２０００−３００６０号公報に開示された画像認識装置のブロック構成図であり、内蔵する画像メモリに入力されたビデオ信号をＡ／Ｄ変換器で量子化した画像データを貯えている画像入力部１と、抽出した輪郭のＸＹ座標列から画像の中心を求めその中心を原点とする極座標に変換したデータ及び輪郭のＸＹ座標列を貯えている輪郭抽出部２と、輪郭抽出部２からの動径のパワースペクトルを算出するフーリエ変換部３と、輪郭抽出部２で抽出した輪郭内の面積を求める面積演算部４と、フーリエ変換部３で得られた基本波成分と各高調波成分のパワースペクトルのを直流成分との比率に変換し、その特徴データを算出するスケーラ５と、予め学習により特徴データを記憶しておく辞書６と、特徴データと辞書６との差分を判定する判定部７とから構成されている。
【０００５】
【発明が解決しようとする課題】
特開平９−２１６１０号公報に開示された従来の画像認識装置は、対象物体の位置を推定するために画像を局所領域に分割し局所領域ごとのモデルを作成し、また、対象物体の画像面内での回転角度を推定するために任意の回転角モデルを作成するために、膨大なデータ量が必要となるという課題を有していた。また、特開２０００−３００６０号公報に開示された従来の画像認識装置は、入力画像における対象物体の位置が不明な場合には認識が困難であるという課題を有していた。
【０００６】
本発明は、上記従来の課題を解決するもので、少ないデータ量で、画像中の物体を認識することを目的とする。
【０００７】
【課題を解決するための手段】
この課題を解決するために、入力画像から特定の物体を検出する装置において、入力した画像を一定の局所画像として切り出す入力手段と、前記各局所画像の基準点を中心として極座標変換し、極座標変換画像の各空間周波数成分の周波数情報を算出し、入力周波数情報として出力する特徴抽出手段と、モデル画像の周波数情報をモデル周波数情報として物体名と共に予め保持している学習情報データベースと、前記入力周波数情報を前記検出対象物体のモデル画像の周波数情報と照合して検出対象物体の有無を判定する照合手段と、前記照合手段の結果を出力する出力部とを具備したものである。
【０００８】
これにより、本発明は、モデル極座標変換画像を入力画像とすることを特徴とすることによって、極座標変換した局所画像の周波数情報を照合することによって、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できる。
【００１４】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力画像から特定の物体を検出する装置において、画像を入力し、入力した画像から一定サイズの局所領域を入力局所画像として順次切り出して、各局所領域の画像内での位置を入力局所画像位置情報として入力局所画像と共に出力する入力手段と、前記画像入力手段から入力局所画像について、各局所画像の基準点を中心として極座標変換し、極座標変換画像として入力局所画像位置情報と共に出力する極座標変換部と、極座標変換画像の各空間周波数成分の周波数情報を算出し、入力周波数情報と入力局所画像位置情報とを出力する周波数抽出部とを備えた特徴抽出手段と、モデル画像から抽出した各局所画像の基準点を中心として極座標変換したモデル極座標変換画像の周波数情報であるモデル周波数情報とモデル画像内での位置情報であるモデル局所画像位置情報を予め保持している学習情報データベースと、前記特徴抽出手段からの各入力周波数情報をそれぞれモデル周波数情報と照合して、類似したモデル周波数情報を持つモデルの局所画像のモデル画像内での位置の情報を類似局所画像位置情報として前記入力局所画像位置情報と共に出力する画像特徴照合部と、前記各入力局所画像位置情報と類似局所画像位置情報の対からそれぞれ入力画像における対象物体の位置と対象物体の画像平面内での回転角度を推定し、推定した推定位置情報と、推定角度情報とを出力する位置推定部と、前記各推定位置情報と推定角度情報を集計して物体の有無を判断し、物体の位置と角度を出力する集計部とを備えた照合手段と、前記照合手段の結果を出力する出力部とを具備するもので、前記モデル周波数抽出部は前記モデル極座標変換画像を入力画像とすることを特徴とすることによって、極座標変換した局所画像の周波数情報を照合することによって、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００１５】
請求項２に記載の発明は、請求項１記載の画像認識装置において、学習情報データベースのモデル周波数情報とモデル局所画像位置情報は、画像データベースに格納されているモデル画像から前記入力局所画像と同じサイズの局所画像をモデル局所画像として順次切り出して、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することを特徴とするもので、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することにより、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００２１】
請求項３に記載の発明は、画像から特定の物体を検出する方法において、入力した画像から一定サイズの局所領域を順次抽出し、入力局所領域ごとに、基準点を中心とした極座標変換画像における空間周波数成分の周波数情報を入力周波数情報として算出し、各入力周波数情報に対して検出対象物体のモデル画像の局所画像から予め算出しておいた極座標変換画像の周波数情報の中から類似する周波数情報を抽出し、類似した周波数情報を持つ入力局所画像とモデル局所画像の組ごとに入力局所画像の入力画像内での位置とモデル局所画像のモデル画像内での位置から入力画像中の対象物体の位置と角度を推定し、前記推定位置と推定角度の両方が一致するものにより対象が存在すると判断することを特徴とするもので、前記モデル周波数抽出部は前記モデル極座標変換画像を入力画像とすることを特徴とすることによって、極座標変換した局所画像の周波数情報を照合することによって、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００２２】
請求項４に記載の発明は、請求項３記載の画像認識方法において、空間周波数成分の周波数情報は、空間周波数成分の強度または位相のであることを特徴とするもので、周波数情報として画像の各空間周波数成分の強度や位相を用いることにより、小数の周波数情報でモデル画像のスペクトルと入力画像のスペクトルを比較することによって、モデルと入力の画像中の物体の位置によらずに、入力画像の物体の有無を判断して出力する作用を有する。
【００２３】
請求項５に記載の発明は、請求項３記載の画像認識方法において、対象が存在するか判断は、前記推定位置と推定角度の両方が一致するもの数により判断することを特徴とするもので、推定された位置と角度が一致するものの数を集計することにより、画像面内で物体が回転している場合にも１つのモデル画像で物体の有無を判断でき、物体有の場合にはその位置と角度を推定できるという作用を有する。
【００２４】
請求項６に記載の発明は、請求項３記載の画像認識方法において、モデル画像の局所画像から予め算出しておいた極座標変換画像の周波数情報は、画像データベースに格納されているモデル画像から前記入力局所画像と同じサイズの局所画像をモデル局所画像として順次切り出して、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することを特徴とするもので、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することにより、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００２５】
請求項７に記載の発明は、コンピュータにより画像認識を行うプログラムであって、画像から特定の物体を検出する方法において、入力した画像から一定サイズの局所領域を順次抽出し、入力局所領域ごとに、基準点を中心とした極座標変換画像における空間周波数成分の周波数情報を入力周波数情報として算出し、各入力周波数情報に対して検出対象物体のモデル画像の局所画像から予め算出しておいた極座標変換画像の周波数情報の中から類似する周波数情報を抽出し、類似した周波数情報を持つ入力局所画像とモデル局所画像の組ごとに入力局所画像の入力画像内での位置とモデル局所画像のモデル画像内での位置から入力画像中の対象物体の位置と角度を推定し、前記推定位置と推定角度の両方が一致するものにより対象が存在すると判断する画像認識プログラムを記録した記録媒体であり、コンピュータに読み込み実行することにより、極座標変換した局所画像の周波数情報を照合することによって、１つのモデル画像中の物体が入力画像面内で任意に回転していても、そのモデル画像を用いて物体の位置と角度を検出できるという作用を有する。
【００２６】
以下、本発明の実施の形態について、図を用いて説明する。
【００２７】
(実施の形態１)
図１は、本発明の実施の形態１における画像認識装置のブロック構成図を示している。
【００２８】
図１において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、２は入力手段１から濃淡画像を入力して画像特徴を抽出する特徴抽出手段、２１は画像入力部１１から濃淡画像を入力してそのパワースペクトルを算出する周波数抽出部、３は特徴抽出手段２から画像特徴を入力してモデルと照合し入力画像中のモデルの有無を判断する照合手段、３１は周波数抽出部２１からパワースペクトルを入力して予め抽出されているモデルのパワースペクトルとの一致度を求め物体の有無を判断する画像特徴照合部、４は照合手段３から物体の有無の判断結果を入力してそれをディスプレイなどに表示する出力部、５は検出対象物体のモデル画像から算出されたパワースペクトルを物体名と共に予め格納している学習情報データベース、６は検出対象物体のモデル画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、７はモデル画像生成手段６から濃淡画像を入力して対象物体ごとに画像特徴を抽出するモデル生成手段、７１は学習データベース６１から入力した濃淡画像のパワースペクトルを求めて物体名と共に学習情報データベース５に格納するモデル周波数抽出部である。
【００２９】
また、図２は、コンピュータにより画像認識装置を実現した場合のブロック構成図であり、２０１はコンピュータ、２０２はＣＰＵ、２０３はメモリ、２０４はキーボード及びディスプレイ、２０５は画像認識プログラムを読み込むためのＦＤ、ＰＤ、ＭＯ、ＤＶＤなどの蓄積媒体ユニット、２０６〜２０８はＩ／Ｆユニット、２０９はＣＰＵバス、２１０は画像を取り込むためのカメラ、２１１は予め蓄積されている画像を取り込むための画像データベース、２１２はモデル画像のスペクトルを物体名と共に格納している学習情報データベース、２１３は検出された物体の名前をＩ／Ｆユニットを介して出力する出力端子で構成されている。
【００３０】
以上のように構成された画像認識装置について、以下その動作を図３と図４のフローチャートを用いて説明する。図３は、モデル生成手段７の動作を示すフローチャート、図４は、対象物体の有無を判断したい画像データを入力してから結果を出力するまでの画像認識処理の動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図６は、学習情報データベース５に格納されている図５のモデル画像のパワースペクトルを記述した例、図７は、画像入力部１１で入力される入力画像の例、図８は、図７の入力画像のパワースペクトルを記述した例である。
【００３１】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求めるモデルを生成しておくもので、モデル生成手段７の動作を図３のフローチャートを用いて説明する。
【００３２】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像５０１として物体名５０２と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル生成手段７は、画像データベース６１から「物体名：ニッパ」のモデル画像のデータf(x,y)を入力する(ステップ３０１)。入力されたモデル画像のデータf(x,y)は、モデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換f(x,y)→F(u,v)を行い、（数２）の式で各周波数成分(u,v)のパワースペクトルを求める(ステップ３０２)。
【００３３】
【数１】
【数２】
図６のような全ての周波数成分(u,v)のパワースペクトルを物体名と共に学習情報データベース５に格納する(ステップ３０３)。
【００３６】
次に、画像認識処理の動作について、図４のフローチャートを用いて説明する。
【００３７】
まず、検出対象となる図７のような画像データg(x,y)を入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ４０１)。
【００３８】
特徴抽出手段２は、画像入力部１１から画像データg(x,y)を入力し、周波数抽出部２１で（数１）に示す式のf(x,y)にg(x,y)を代入して２次元離散フーリエ変換g(x, y)→G(u, v)を行い、（数２）に示す式のF(u,v)にG(u,v)を代入して各周波数成分(u,v)のパワースペクトルを求める(ステップ４０２)。
【００３９】
照合手段３の画像特徴照合部３１は、周波数抽出部２１から図８に示すような入力画像のパワースペクトルG(u,v)を入力し、学習情報データベースから図６のようなモデル画像のパワースペクトルF(u,v)を入力して、（数３）に代入し、各周波数成分における入力とモデルのパワースペクトルの平方根の差の二乗の総和を、距離distとして求める(ステップ４０３)。
【００４０】
【数３】
距離distが一定閾値Ｔより小さければ(ステップ４０４)、入力画像にニッパがあると判断する(ステップ４０５)。距離が閾値Ｔ以上であれば、入力画像にはニッパは存在しないと判断する(ステップ４０６)。
【００４２】
出力部４は、画像特徴照合部３１で判断した物体の有無を出力する(ステップ４０７)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【００４３】
以上のように、本実施の形態では、モデル周波数抽出部７１が予めモデル画像のパワースペクトルを算出しておき、周波数抽出部２１が入力画像のパワースペクトルを算出し、画像特徴照合部３１が入力画像のパワースペクトルとモデル画像のパワースペクトルの類似度を照合することにより、画像内での物体の位置によらず、物体の有無を判断でき、その効果は大きい。
【００４４】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能である。
【００４５】
また、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【００４６】
(実施の形態２)
図９は、本発明の実施の形態２における画像認識装置のブロック構成図を示す。図９において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、１２は画像入力部１１の画像から一定サイズの局所画像を順次切り出す画像切り出し部、２は入力手段１から画像を入力して画像特徴を抽出する特徴抽出手段、２１は画像切り出し部１２から複数の局所画像を入力しそれぞれに対してパワースペクトルを算出する周波数抽出部、３は特徴抽出手段２から画像特徴を入力してモデルの画像特徴と照合し入力画像中の物体の有無と物体の位置を推定する照合手段、３１は周波数抽出部２１から入力したパワースペクトルを予め算出されているモデルの各局所画像のパワースペクトルと照合し類似したパワースペクトルを持つ入力とモデルの局所画像のそれぞれの画像内での座標を対にして出力する画像特徴照合部、３２は画像特徴照合部３１から入力した座標の対から入力画像中の物体の位置を推定して出力する位置推定部、３３は位置推定部３２が推定した入力画像内での物体の位置を集計して同じ位置が多数あればそこに物体があると判断し物体の位置とともに出力する集計部、４は照合手段３から物体の有無と物体の位置を入力してそれをディスプレイなどに表示する出力部である。
【００４７】
また、５は検出対象物体のモデル画像における各局所画像のパワースペクトルを局所画像のモデル画像内での位置を表す座標と物体名と共に予め格納している学習情報データベース、６は検出対象物体のモデル画像から局所画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、６２は画像データベースからモデル画像を入力して入力の局所画像と同じサイズの局所画像を切り出しその局所画像のモデル画像内での位置の情報と画像データを物体名と共に出力するモデル画像切り出し部、７はモデル画像生成手段６から画像データを入力して画像特徴を抽出し物体名と位置の情報と共に出力するモデル生成手段、７１はモデル画像切り出し部６２から入力した画像データのパワースペクトルを求めて物体名と位置の情報と共に学習情報データベース５に格納するモデル周波数抽出部である。
【００４８】
また、実施の形態１と同様に、図２に示すようにコンピュータにより画像認識装置を実現することも可能である。
【００４９】
以上のように構成された画像認識装置について、以下その動作を図１０と図１１のフローチャートを用いて説明する。図１０は、モデル生成手段７の動作を示すフローチャート、図１１は、画像を入力してから結果を出力するまでの動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図７は、画像入力部１１で入力される入力画像の例、図１２は、画像データベース６１から入力した画像に対してモデル画像切り出し部６２が切り出す領域の例、図１３は、学習情報データベースに格納されるモデルの局所画像のパワースペクトルと物体名と局所画像のモデル画像内での位置の例、図１４は、照合手段３で検出した物体の位置を矩形で表示して出力部４のディスプレイに出力している例である。
【００５０】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求めるモデルを生成しておくもので、モデル生成手段７の動作を図１０のフローチャートを用いて説明する。
【００５１】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像５０１として物体名５０２と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル画像生成手段６のモデル画像切り出し部６２は、画像データベース６１から「物体名：ニッパ」のモデル画像１２００を入力し(ステップ１００１)、図１２に示すような一定サイズの矩形画像１２０１〜１２０４を物体中の特徴的な領域から順次切り出す(ステップ１００２)。
【００５２】
モデル生成手段７は、モデル画像切り出し部６２から入力した各矩形画像１２０１〜１２０４に対して、モデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換を行い、（数２）の式により各周波数成分のパワースペクトルを求め(ステップ１００３)、図１３に示すようにパワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１００４)。
【００５３】
ここで、局所画像のモデル画像内での座標は、モデル画像の左上を原点とし、局所画像の左上角点の座標をモデル画像内の座標系で表した値である。
【００５４】
ステップ１００２で切り出したモデル画像内の全ての局所画像について、ステップ１００３からステップ１００４までの処理を行い、パワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１００５)。
【００５５】
次に、画像認識処理の動作について、図１１のフローチャートを用いて説明する。
【００５６】
まず、検出対象となる図７のような画像データを入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ１１０１)。画像切り出し部１２は、図１２に示すモデルの局所画像と同じサイズの矩形の局所画像を図７の入力画像から一定間隔で切り出して、局所画像の座標と共に出力する(ステップ１１０２)。
【００５７】
ここで、局所画像の座標は、入力画像の左上を原点とし、局所画像の左上角点の座標を入力画像内の座標系で表した値である。
【００５８】
特徴抽出手段２は、画像切り出し部１２から画像データを入力し、周波数抽出部２１で（数１）に示す２次元離散フーリエ変換を行い、（数２）に示す式により各周波数成分のパワースペクトルを求める(ステップ１１０３)。
【００５９】
照合手段３は、周波数抽出部２１からパワースペクトルを入力すると、まず、画像特徴照合部３１で学習情報データベースからモデルの局所画像のパワースペクトルを入力して、（数３）の式に示すように、各周波数成分における入力とモデルのパワースペクトルの平方根の差の二乗の総和を、距離distとして求める。距離distが一定閾値Ｔより小さいものを入力の局所画像に類似したモデルの局所画像として抽出し、入力の局所画像の座標と類似したモデルの局所画像の座標を対にして出力する(ステップ１１０４)。
【００６０】
位置推定部３２は、画像特徴照合部３１から入力とモデルの局所画像の座標の対を入力すると、入力画像中とモデル画像中とで物体は並行移動の関係にあると仮定して、座標の対から入力画像中の物体の位置を推定して出力する(ステップ１１０５)。
【００６１】
入力の全ての局所画像について、ステップ１１０３からステップ１１０５までの処理を行い(ステップ１１０６)、位置推定部３２から出力される位置が同じであるものの数を集計部３３で集計する。
【００６２】
集計した値で一定閾値より大きいものがあれば(ステップ１１０７)、その位置にニッパがあると判断する(ステップ１１０８)。集計した値で一定閾値より大きいものがなければ(ステップ１１０７)、入力画像にはニッパは存在しないと判断する(ステップ１１０９)。
【００６３】
出力部４は、集計部３３で物体有と判断した場合には、その位置を図１４のように矩形領域１４０１で表示して出力する(ステップ１１１０)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【００６４】
以上のように、本実施の形態では、モデル画像切り出し部が予めモデル画像から一定サイズの局所画像を切り出し、モデル周波数抽出部７１が予めモデルの局所画像のパワースペクトルを算出しておき、画像切り出し部１２が入力画像からモデルの局所画像と同じサイズの局所画像を切り出し、周波数抽出部２１が入力の局所画像のパワースペクトルを算出し、画像特徴照合部３１がモデルの局所画像のパワースペクトルの中から入力の各局所画像のパワースペクトルと類似したものをそれぞれ抽出し、位置推定部３２が各々の類似した入力局所画像とモデル局所画像についてその入力画像内での座標とモデル画像内での座標から入力画像における物体の位置をそれぞれ推定し、集計部３３が推定された位置が一致するものの数を集計することにより、画像データを直接用いて照合するよりも少ない量のデータで、一部隠蔽されている場合にも物体の有無を判断でき、物体有の場合にはその位置を推定でき、その効果は大きい。
【００６５】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能であるし、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【００６６】
(実施の形態３)
図１５は、本発明の実施の形態３における画像認識装置のブロック構成図を示す。図１５において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、１２は画像入力部１１の画像から一定サイズの局所画像を順次切り出す画像切り出し部、２は入力手段１から画像を入力して画像特徴を抽出する特徴抽出手段、２０は画像切り出し部１２から入力した各局所画像に対して基準点を中心として極座標変換を行う極座標変換部、２１は極座標変換部２０から入力した各画像に対してパワースペクトルを算出する周波数抽出部、３は特徴抽出手段２から各局所画像の画像特徴を入力してモデルの画像特徴と照合し入力画像中の物体の有無と物体の位置と角度を推定する照合手段、３１は周波数抽出部２１から入力したパワースペクトルを予め算出されているモデルの各局所画像のパワースペクトルと照合し類似したパワースペクトルを持つモデルの局所画像を抽出して入力局所画像とモデルの局所画像の各画像内での座標を対にして出力する画像特徴照合部、３２は画像特徴照合部３１から入力した座標の対から入力画像中の物体の位置と角度を推定して出力する位置推定部、３３は位置推定部３２が推定した入力画像内での物体の位置と角度を集計して同じ位置と角度のものが多数あれば、そこに物体があると判断し位置と角度の値を出力する集計部、４は照合手段３から物体の有無と物体の位置と角度を入力してそれをディスプレイなどに表示する出力部である。
【００６７】
また、５はモデル画像の局所画像を極座標変換した画像のパワースペクトルを局所画像のモデル画像内での位置を表す座標と物体名と共に予め格納している学習情報データベース、６は検出対象物体のモデル画像から局所画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、６２は画像データベースからモデル画像を入力して入力の局所画像と同じサイズの局所画像を切り出しその局所画像のモデル画像内での位置の情報と局所画像データを物体名と共に出力するモデル画像切り出し部、７はモデル画像生成手段６から画像データを入力して画像特徴を抽出し物体名と位置の情報と共に出力するモデル生成手段、７０はモデル画像切り出し部６２から入力した局所画像の基準点を中心として極座標変換するモデル極座標変換部、７１はモデル極座標変換部７０から入力した各画像に対してパワースペクトルを求めて物体名と位置の情報と共に学習情報データベース５に格納するモデル周波数抽出部である。
【００６８】
また、実施の形態１と同様に、図２に示すようにコンピュータにより画像認識装置を実現することも可能である。
【００６９】
以上のように構成された画像認識装置について、以下その動作を図１６と図１７のフローチャートを用いて説明する。図１６は、モデル生成手段７の動作を示すフローチャート、図１７は、画像を入力してから結果を出力するまでの動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図１８は、画像データベース６１から入力した画像に対してモデル画像切り出し部６２が切り出す領域の例、図１９は、画像入力部１１で入力される入力画像の例、図１３は、学習情報データベースに格納されるモデルの局所画像のパワースペクトルと物体名と局所画像のモデル画像内での位置の例、図２０は、照合手段３で検出した物体の位置を矩形で表示して出力部４のディスプレイに出力している例である。
【００７０】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求めるモデルを生成しておくもので、モデル生成手段７の動作を図１６のフローチャートを用いて説明する。
【００７１】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像として物体名と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル画像生成手段６のモデル画像切り出し部６２は、画像データベース６１から「物体名：ニッパ」のモデル画像を入力し(ステップ１６０１)、図１８に示すような一定サイズの円形画像１８０１〜１８０３を物体中の特徴的な領域から順次切り出す(ステップ１６０２)。
【００７２】
モデル生成手段７は、モデル画像切り出し部６２から入力した各円形画像１８０１〜１８０３に対して、モデル極座標変換部７０で円の中心を中心点とする極座標変換を行い、極座標変換後の画像に対してモデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換を行い、（数２）の式により各周波数成分のパワースペクトルを求め(ステップ１６０３)、図１３に示すようにパワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１６０４)。
【００７３】
ここで、局所画像のモデル画像内での座標は、モデル画像の左上を原点とし、局所画像の円の中心の座標をモデル画像内の座標系で表した値である。
【００７４】
ステップ１６０２で切り出したモデル画像内の全ての局所画像について、ステップ１６０３からステップ１６０４までの処理を行行い、パワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１６０５)。
【００７５】
次に、画像認識処理の動作について、図１７のフローチャートを用いて説明する。
【００７６】
まず、検出対象となる図１９のような画像データを入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ１７０１)。画像切り出し部１２は、図１８に示すモデルの局所画像と同じサイズの円形の局所画像を図１９の入力画像から一定間隔で切り出して、局所画像の座標と共に出力する(ステップ１７０２)。
【００７７】
ここで、局所画像の座標は、入力画像の左上を原点とし、局所画像の円の中心の座標を入力画像内の座標系で表した値である。
【００７８】
特徴抽出手段２は、画像切り出し部１２から画像データを入力し、極座標変換部２０で円の中心を中心点とした極座標変換を行った後、周波数抽出部２１で（数１）に示す２次元離散フーリエ変換を行い、（数２）に示す式により各周波数成分のパワースペクトルを求める(ステップ１７０３)。
【００７９】
照合手段３は、周波数抽出部２１からパワースペクトルを入力すると、まず、画像特徴照合部３１で学習情報データベース５からモデルの局所画像のパワースペクトルを入力して、（数３）の式に示すように、各周波数成分における入力とモデルのパワースペクトルの平方根の差の二乗の総和を、距離distとして求める。距離distが一定閾値Ｔより小さいものを入力の局所画像に類似したモデルの局所画像として抽出し、入力の局所画像の座標と類似したモデルの局所画像の座標を対にして出力する(ステップ１７０４)。
【００８０】
位置推定部３２は、画像特徴照合部３１から入力とモデルの局所画像の座標の対を入力すると、座標の対から推定され得る入力画像中の物体の位置・角度の組を全て出力する(ステップ１７０５)。このとき、類似した入力とモデルの局所画像は、画像内の物体が画像面内で任意角度回転していても類似したものとして検出される。よって、物体の位置と角度の推定では、○度回転していると仮定した場合の位置を一定角度ごとに算出して、位置と角度の組を出力する。
【００８１】
入力の全ての局所画像について、ステップ１７０３からステップ１７０５までの処理を行い(ステップ１７０６)、位置推定部３２から出力される位置と角度の組が同じであるものの数を集計部３３で集計する。
【００８２】
集計した値で一定閾値より大きいものがあれば(ステップ１７０７)、その位置・角度にニッパがあると判断する(ステップ１７０８)。集計した値で一定閾値より大きいものがなければ(ステップ１７０７)、入力画像にはニッパは存在しないと判断する(ステップ１７０９)。
【００８３】
出力部４は、集計部３３で物体有と判断した場合には、図２０のように矩形領域２００１で表示して、その位置（５，７２）２００２と角度（１２度）２００３を出力する(ステップ１７１０)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【００８４】
以上のように、本実施の形態では、モデル画像切り出し部が予めモデル画像から一定サイズの局所画像を切り出し、モデル極座標変換部７０が予めモデルの局所画像を極座標変換し、モデル周波数抽出部７１が予め極座標変換後の局所画像のパワースペクトルを算出しておき、画像切り出し部１２が入力画像からモデルの局所画像と同じサイズの局所画像を切り出し、極座標変換部２０が入力の局所画像を極座標変換し、周波数抽出部２１が極座標変換後の局所画像のパワースペクトルを算出し、画像特徴照合部３１がモデルのパワースペクトルの中から入力の各局所画像のパワースペクトルと類似したものをそれぞれ抽出し、位置推定部３２が各々の類似した入力局所画像とモデル局所画像についてその入力画像内での座標とモデル画像内での座標から入力画像における物体の位置と角度をそれぞれ推定し、集計部３３が推定された位置と角度が一致するものの数を集計することにより、画像面内で物体が回転している場合にも１つのモデル画像で物体の有無を判断でき、物体有の場合にはその位置と角度を推定でき、その効果は大きい。
【００８５】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能であるし、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【００８６】
(実施の形態４)
図２１は、本発明の実施の形態４における画像認識装置のブロック構成図を示す。図２１において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、１２は画像入力部１１の画像から一定サイズの局所画像を順次切り出す画像切り出し部、２は入力手段１から画像を入力して画像特徴を抽出する特徴抽出手段、２１は画像切り出し部１２から複数の局所画像を入力しそれぞれに対してパワースペクトルを算出する周波数抽出部、２２は周波数抽出部１１から入力したパワースペクトルを予め算出してある特徴空間にベクトルとして投影する特徴空間投影部、３は特徴抽出手段２から画像特徴を入力してモデルの画像特徴と照合し入力画像中の物体の有無と物体の位置を推定する照合手段、３１は特徴空間投影部２２から入力したベクトルを予め算出されているモデルの各局所画像のベクトルと照合し類似したベクトルを持つ入力とモデルの局所画像のそれぞれの画像内での座標を対にして出力する画像特徴照合部、３２は画像特徴照合部３１から入力した座標の対から入力画像中の物体の位置を推定して出力する位置推定部、３３は位置推定部３２が推定した入力画像内での物体の位置を集計して同じ位置が多数あれば、そこに物体があると判断し物体の位置とともに出力する集計部、４は照合手段３から物体の有無と物体の位置を入力してそれをディスプレイなどに表示する出力部である。
【００８７】
また、５は検出対象物体のモデル画像から抽出した局所画像のパワースペクトルから予め算出しておいた特徴空間のパラメタと各パワースペクトルを特徴空間に投影したときのベクトルと局所画像のモデル画像内での位置を表す座標と物体名とを予め格納している学習情報データベース、６は検出対象物体のモデル画像から局所画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、６２は画像データベースからモデル画像を入力して入力の局所画像と同じサイズの局所画像を切り出しその局所画像のモデル画像内での位置の情報と画像データを物体名と共に出力するモデル画像切り出し部、７はモデル画像生成手段６から画像データを入力して画像特徴を抽出し物体名と位置の情報と共に出力するモデル生成手段、７１はモデル画像切り出し部６２から入力した画像データのパワースペクトルを求めて物体名と位置の情報と共に出力するモデル周波数抽出部、７２はモデル周波数抽出部７１で算出した各モデル局所画像のパワースペクトルをそれぞれベクトルデータにして全てのベクトルから固有空間を生成し各ベクトルを固有空間に射影し固有空間の基底ベクトルと射影したベクトルを物体名と位置の情報と共に学習情報データベース５に格納する特徴空間生成部である。
【００８８】
また、実施の形態１と同様に、図２に示すようにコンピュータにより画像認識装置を実現することも可能である。
【００８９】
以上のように構成された画像認識装置について、以下その動作を図２２と図２３のフローチャートを用いて説明する。図２２は、モデル生成手段７の動作を示すフローチャート、図２３は、画像を入力してから結果を出力するまでの動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図７は、画像入力部１１で入力される入力画像の例、図１２は、画像データベース６１から入力した画像に対してモデル画像切り出し部６２が切り出す領域の例、図１４は、照合手段３で検出した物体の位置を矩形で表示して出力部４のディスプレイに出力している例である。
【００９０】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求め、全てのパワースペクトルを特徴空間に投影するモデルを生成しておくもので、モデル生成手段７の動作を図２２のフローチャートを用いて説明する。
【００９１】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像として物体名と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル画像生成手段６のモデル画像切り出し部６２は、画像データベース６１から「物体名：ニッパ」のモデル画像を入力し(ステップ２２０１)、図１２に示すような一定サイズの矩形画像を物体中の特徴的な領域から順次切り出す(ステップ２２０２)。
【００９２】
モデル生成手段７は、モデル画像切り出し部６２から入力した各矩形画像に対して、モデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換を行い、（数２）の式により各周波数成分のパワースペクトルを求める(ステップ２２０３−１)。
【００９３】
モデル画像切り出し部６２から入力した全ての局所画像について、スッテプ２２０３−１のパワースペクトル算出の処理を行った後(ステップ２２０３−２)、特徴空間生成部７２は、各局所画像のパワースペクトルをベクトルデータとして、全てのパワースペクトルのベクトルから固有空間を生成し、全てのベクトルを固有空間に投影する(ステップ２２０３−３)。
【００９４】
算出した固有空間の基底ベクトルと固有空間投影後の各局所画像のベクトルの座標とを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ２２０４)。
【００９５】
ここで、局所画像のモデル画像内での座標は、モデル画像の左上を原点とし、局所画像の左上角点の座標をモデル画像内の座標系で表した値である。
【００９６】
次に、画像認識処理の動作について、図２３のフローチャートを用いて説明する。
【００９７】
まず、検出対象となる図７のような画像データを入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ２３０１)。画像切り出し部１２は、図１２に示すモデルの局所画像と同じサイズの矩形の局所画像を図７の入力画像から一定間隔で切り出して、局所画像の座標と共に出力する(ステップ２３０２)。
【００９８】
ここで、局所画像の座標は、入力画像の左上を原点とし、局所画像の左上角点の座標を入力画像内の座標系で表した値である。
【００９９】
特徴抽出手段２は、まず、画像切り出し部１２から画像データを入力し、周波数抽出部２１で（数１）に示す２次元離散フーリエ変換を行い、（数２）に示す式により各周波数成分のパワースペクトルを求める。
【０１００】
次に、特徴空間投影部２２で、学習情報データベース５から固有空間の基底ベクトルを入力し、周波数抽出部２１が算出したパワースペクトルのベクトルを、（数４）により次元を落とした固有空間に投影する(ステップ２３０３)。
【０１０１】
【数４】
照合手段３は、特徴空間投影部２２からベクトルを入力すると、まず、画像特徴照合部３１で学習情報データベースからモデルの局所画像のベクトルを入力して、スッテプ２３０３で用いた低次元の固有空間において入力局所画像のベクトルとモデルの局所画像のベクトルとの距離を求める。距離が一定閾値Ｔより小さいものを入力の局所画像に類似したモデルの局所画像として抽出し、入力の局所画像の座標と類似したモデルの局所画像の座標を対にして出力する(ステップ２３０４)。
【０１０３】
位置推定部３２は、画像特徴照合部３１から入力とモデルの局所画像の座標の対を入力すると、入力画像中とモデル画像中とで物体は並行移動の関係にあると仮定して、座標の対から入力画像中の物体の位置を推定して出力する(ステップ２３０５)。
【０１０４】
入力の全ての局所画像について、ステップ２３０３からステップ２３０５までの処理を行い(ステップ２３０６)、位置推定部３２から出力される位置が同じであるものの数を集計部３３で集計する。
【０１０５】
集計した値で一定閾値Ｓより大きいものがあれば(ステップ２３０７)、その位置にニッパがあると判断する(ステップ２３０８)。集計した値で一定閾値Ｓより大きいものがなければ(ステップ２３０７)、入力画像にはニッパは存在しないと判断する(ステップ２３０９)。
【０１０６】
出力部４は、集計部３３で物体有と判断した場合には、その位置を図１４のように矩形領域１４０２で表示して出力する(ステップ２３１０)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【０１０７】
以上のように、本実施の形態では、モデル画像切り出し部が予めモデル画像から一定サイズの局所画像を切り出し、モデル周波数抽出部７１が予めモデルの局所画像のパワースペクトルを算出し、特徴空間生成部７２がモデルの全てのパワースペクトルから固有空間を算出し、全てのパワーベクトルを固有空間に投影しておき、画像切り出し部１２が入力画像からモデルの局所画像と同じサイズの局所画像を切り出し、周波数抽出部２１が入力の局所画像のパワースペクトルを算出し、特徴空間投影部２２が入力のパワースペクトルを特徴空間生成部７２で生成した固有空間の次元を落とした空間に投影し、画像特徴照合部３１がモデルの局所画像の中から入力の各局所画像と類似したものを低次元の固有空間上でそれぞれ抽出し、位置推定部３２が各々の類似した入力局所画像とモデル局所画像についてその入力画像内での座標とモデル画像内での座標から入力画像における物体の位置をそれぞれ推定し、集計部３３が推定された位置が一致するものの数を集計することにより、よりデータ量の少ない低次元の空間で照合を行い、一部隠蔽されている場合にも物体の有無を判断でき、物体有の場合にはその位置を推定できるので、その効果は大きい。
【０１０８】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能であるし、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【０１０９】
【発明の効果】
以上のように本発明によれば、画像中の物体の位置に依存しない特徴量である周波数情報を、モデル画像と入力画像とで照合することにより、少ないモデルデータで、物体を検出できる。
【０１１０】
また、物体が画像面内で並行移動や回転、あるいは一部隠蔽されていても、精度良く検出できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像認識装置のブロック構成図
【図２】本発明の実施の形態１におけるコンピュータによる画像認識装置のブロック構成図
【図３】本発明の実施の形態１におけるモデル生成手段の処理の流れを示すフローチャート
【図４】本発明の実施の形態１における画像入力部から出力部までの処理の流れを示すフローチャート
【図５】画像データベースが保管しているモデル画像の一例を示す図
【図６】本発明の実施の形態１における学習情報データベースが保管しているモデルのパワースペクトルの一例を示す図
【図７】本発明の実施の形態における入力画像の一例を示す図
【図８】本発明の実施の形態１における入力画像のパワースペクトルの一例を示す図
【図９】本発明の実施の形態２における画像認識装置のブロック構成図
【図１０】本発明の実施の形態２におけるモデル生成手段の処理の流れを示すフローチャート
【図１１】本発明の実施の形態２における画像入力部から出力部までの処理の流れを示すフローチャート
【図１２】本発明の実施の形態２、４におけるモデル画像切り出し部が切り出す矩形領域の一例を示す図
【図１３】本発明の実施の形態２、４における学習情報データベースが保管しているモデルのパワースペクトルの一例を示す図
【図１４】本発明の実施の形態２、４における出力部が出力する検出結果の一例を示す図
【図１５】本発明の実施の形態３における画像認識装置のブロック構成図
【図１６】本発明の実施の形態３におけるモデル生成手段の処理の流れを示すフローチャート
【図１７】本発明の実施の形態３における画像入力部から出力部までの処理の流れを示すフローチャート
【図１８】本発明の実施の形態３におけるモデル画像切り出し部が切り出す円領域の一例を示す図
【図１９】本発明の実施の形態３における入力画像の一例を示す図
【図２０】本発明の実施の形態３における出力部が出力する検出結果の一例を示す図
【図２１】本発明の実施の形態４における画像認識装置のブロック構成図
【図２２】本発明の実施の形態４におけるモデル生成手段の処理の流れを示すフローチャート
【図２３】本発明の実施の形態４における画像入力部から出力部までの処理の流れを示すフローチャート
【図２４】従来の画像認識装置の一例を示すブロック図
【図２５】従来の画像認識装置の別の一例を示すブロック図
【符号の説明】
１ 入力手段
２ 特徴抽出手段
３ 照合手段
４ 出力部
５ 学習情報データベース
６ モデル画像生成手段
７ モデル生成手段
１１ 画像入力部
１２ 画像切り出し部
２０ 極座標変換部
２１ 周波数抽出部
２２ 特徴空間投影部
３１ 画像特徴照合部
３２ 位置推定部
３３ 集計部
６１ 画像データベース
６２ モデル画像切り出し部
７０ モデル極座標変換部
７１ モデル周波数抽出部
７２ 特徴空間生成部
２０１ コンピュータ
２０２ ＣＰＵ
２０３ メモリ
２０４ キーボード／ディスプレイ
２０５ 蓄積媒体ユニット
２０６〜２０８ Ｉ／Ｆユニット
２０９ ＣＰＵバス
２１０ カメラ
２１１ 画像データベース
２１２ 学習情報データベース
２１３ 出力端子
Claims (7)
- 入力画像から特定の物体を検出する装置において、画像を入力し、入力した画像から一定サイズの局所領域を入力局所画像として順次切り出して、各局所領域の画像内での位置を入力局所画像位置情報として入力局所画像と共に出力する入力手段と、前記画像入力手段から入力局所画像について、各局所画像の基準点を中心として極座標変換し、極座標変換画像として入力局所画像位置情報と共に出力する極座標変換部と、極座標変換画像の各空間周波数成分の周波数情報を算出し、入力周波数情報と入力局所画像位置情報とを出力する周波数抽出部とを備えた特徴抽出手段と、モデル画像から抽出した各局所画像の基準点を中心として極座標変換したモデル極座標変換画像の周波数情報であるモデル周波数情報とモデル画像内での位置情報であるモデル局所画像位置情報を予め保持している学習情報データベースと、前記特徴抽出手段からの各入力周波数情報をそれぞれモデル周波数情報と照合して、類似したモデル周波数情報を持つモデルの局所画像のモデル画像内での位置の情報を類似局所画像位置情報として前記入力局所画像位置情報と共に出力する画像特徴照合部と、前記各入力局所画像位置情報と類似局所画像位置情報の対からそれぞれ入力画像における対象物体の位置と対象物体の画像平面内での回転角度を推定し、推定した推定位置情報と、推定角度情報とを出力する位置推定部と、前記各推定位置情報と推定角度情報を集計して物体の有無を判断し、物体の位置と角度を出力する集計部とを備えた照合手段と、前記照合手段の結果を出力する出力部とを具備することを特徴とする画像認識装置。
- 学習情報データベースのモデル周波数情報とモデル局所画像位置情報は、画像データベースに格納されているモデル画像から前記入力局所画像と同じサイズの局所画像をモデル局所画像として順次切り出して、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することを特徴とする請求項１記載の画像認識装置。
- 画像から特定の物体を検出する方法において、入力した画像から一定サイズの局所領域を順次抽出し、入力局所領域ごとに、基準点を中心とした極座標変換画像における空間周波数成分の周波数情報を入力周波数情報として算出し、各入力周波数情報に対して検出対象物体のモデル画像の局所画像から予め算出しておいた極座標変換画像の周波数情報の中から類似する周波数情報を抽出し、類似した周波数情報を持つ入力局所画像とモデル局所画像の組ごとに入力局所画像の入力画像内での位置とモデル局所画像のモデル画像内での位置から入力画像中の対象物体の位置と角度を推定し、前記推定位置と推定角度の両方が一致するものにより対象が存在すると判断することを特徴とする画像認識方法。
- 空間周波数成分の周波数情報は、空間周波数成分の強度または位相のであることを特徴とする請求項３記載の画像認識方法。
- 対象が存在するか判断は、前記推定位置と推定角度の両方が一致するもの数により判断することを特徴とする請求項３記載の画像認識方法。
- モデル画像の局所画像から予め算出しておいた極座標変換画像の周波数情報は、画像データベースに格納されているモデル画像から前記入力局所画像と同じサイズの局所画像をモデル局所画像として順次切り出して、モデル局所画像の基準点を中心として極座標変換したモデル極座標変換画像の各空間周波数成分の周波数情報を算出することを特徴とする請求項３記載の画像認識方法。
- コンピュータにより画像認識を行うプログラムであって、入力した画像から一定サイズの局所領域を順次抽出し、入力局所領域ごとに、基準点を中心とした極座標変換画像における空間周波数成分の周波数情報を入力周波数情報として算出し、各入力周波数情報に対して検出対象物体のモデル画像の局所画像から予め算出しておいた極座標変換画像の周波数情報の中から類似する周波数情報を抽出し、類似した周波数情報を持つ入力局所画像とモデル局所画像の組ごとに入力局所画像の入力画像内での位置とモデル局所画像のモデル画像内での位置から入力画像中の対象物体の位置と角度を推定し、前記推定位置と推定角度の両方が一致するものにより対象が存在すると判断する画像認識プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001376805A JP3659221B2 (ja) | 2001-12-11 | 2001-12-11 | 画像認識装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001376805A JP3659221B2 (ja) | 2001-12-11 | 2001-12-11 | 画像認識装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003178305A JP2003178305A (ja) | 2003-06-27 |
| JP3659221B2 true JP3659221B2 (ja) | 2005-06-15 |
Family
ID=19184926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001376805A Expired - Fee Related JP3659221B2 (ja) | 2001-12-11 | 2001-12-11 | 画像認識装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3659221B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7379567B2 (en) * | 2003-07-17 | 2008-05-27 | Matsushita Electric Industrial Co., Ltd. | Iris code generation method, individual authentication method, iris code entry device, individual authentication device, and individual certification program |
| JP3977373B2 (ja) * | 2004-12-08 | 2007-09-19 | ザイオソフト株式会社 | 通信端末 |
-
2001
- 2001-12-11 JP JP2001376805A patent/JP3659221B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003178305A (ja) | 2003-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cootes et al. | Robust and accurate shape model fitting using random forest regression voting | |
| JP2815045B2 (ja) | 画像特徴抽出装置，画像特徴解析装置，および画像照合システム | |
| US8254645B2 (en) | Image processing apparatus and method, and program | |
| US6430307B1 (en) | Feature extraction system and face image recognition system | |
| US7873189B2 (en) | Face recognition by dividing an image and evaluating a similarity vector with a support vector machine | |
| Bhattacharya et al. | Offline signature verification using pixel matching technique | |
| JP3218004B2 (ja) | 試験署名検証方法 | |
| Walker et al. | Locating Salient Object Features. | |
| JP4947769B2 (ja) | 顔照合装置および方法並びにプログラム | |
| US7158677B2 (en) | Matching of discrete curves under affine transforms | |
| US8103090B2 (en) | Behavior and pattern analysis using multiple category learning | |
| US20140355832A1 (en) | Method and Device for Following an Object in a Sequence of at Least Two Images | |
| US20100246906A1 (en) | Face recognition | |
| JP4003465B2 (ja) | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 | |
| JP3659221B2 (ja) | 画像認識装置及びその方法 | |
| Holden et al. | Automatic facial point detection | |
| JP2002032766A (ja) | 画像認識装置及びその方法 | |
| JP2004272801A (ja) | データ分析装置およびデータ認識装置 | |
| US7646918B2 (en) | Systems and methods for recognizing objects in an image | |
| Su et al. | Automatic seal imprint verification systems using edge difference | |
| Hammouche et al. | Toward a real time view-invariant 3d action recognition | |
| CN112163589A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| Lindenbaum | On the amount of data required for reliable recognition | |
| Hamouz et al. | Hypotheses-driven affine invariant localization of faces in verification systems | |
| Méndez et al. | Facial landmarks detection using extended profile lbp-based active shape models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050307 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080325 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090325 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |