JP4161659B2 - 画像認識システム及びその認識方法並びにプログラム - Google Patents
画像認識システム及びその認識方法並びにプログラム Download PDFInfo
- Publication number
- JP4161659B2 JP4161659B2 JP2002272601A JP2002272601A JP4161659B2 JP 4161659 B2 JP4161659 B2 JP 4161659B2 JP 2002272601 A JP2002272601 A JP 2002272601A JP 2002272601 A JP2002272601 A JP 2002272601A JP 4161659 B2 JP4161659 B2 JP 4161659B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inter
- input
- partial
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000004364 calculation method Methods 0.000 claims description 59
- 230000001174 ascending effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 68
- 238000000605 extraction Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 38
- 230000010354 integration Effects 0.000 description 20
- 238000012937 correction Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像を用いた物体認識システム及びその認識方法並びに認識用プログラムを記録した記録媒体に関し、特に画像に撮影された対象物体が、辞書に登録された物体かどうかを識別する、あるいは辞書に登録された複数のカテゴリ中の一つに分類する画像認識システム及びその認識方法並びにプログラムに関する。
【０００２】
【従来の技術】
従来の画像による認識システムの一例として、特開平５−２０４４２号公報（顔画像照合装置）がある。これは人間の顔画像を照合するものであり、画像全体をフーリエ解析したフーリエスペクトルパタンの固有ベクトルを用いて照合を行う。
【０００３】
また、特開平１０−１９９１２８号公報（パターン認識装置およびその方法）には複数の入力画像から求められる部分空間と、登録された画像によって張られる部分空間との角度（相互部分空間類似度）によって照合を行う手法が述べられている。図２９に従来の画像認識システムの一例の構成図を示す。従来の画像認識システムの一例は画像入力部２１０と、部分空間間の角度計算部２１１と、認識部２１２と、辞書記憶部２１３とから構成されている。
【０００４】
このような構成を有する従来の画像認識システムはつぎのように動作する。すなわち、画像入力部２１０によって、複数方向で撮影された複数の画像を入力する。次に部分空間間の角度計算部２１１において、部分空間間の角度を計算する。
【０００５】
まず入力画像群をＮ次元部分空間で表現する。具体的には画像全体を１次元特徴データとみなして主成分分析し、Ｎ個の固有ベクトルを抽出する。辞書記憶部２１３には、あらかじめＭ次元の部分空間で表現された辞書データが、カテゴリごとに用意されている。部分空間間の角度計算部２１１において、さらに入力画像のＮ次元部分空間と辞書のＭ次元部分空間との角度を、カテゴリごとに計算する。認識部２１２は、部分空間間の角度計算部２１１において算出された角度を比較し、角度が最も小さいカテゴリを認識結果として出力する。
【０００６】
辞書部分空間の基底ベクトルをΦｍ（ｍ＝１，…．Ｍ）とし、入力部分空間の基底ベクトルをΨｎ（ｎ＝１，…Ｎ）とすると、式（１）または式（２）のｘｉｊを要素に持つ行列Ｘを計算する。
【０００７】
【数１】
【０００８】
【数２】
部分空間間の角度Θの、余弦の二乗は、行列Ｘの最大固有値として求められる。角度が小さいということは、余弦の２乗が大きいことを意味する。すなわち余弦の２乗はパターンの類似度と言い換えることができる。従来の画像認識システムでは行列Ｘの最大固有値を類似度とし、類似度が最大のカテゴリに分類する。
【０００９】
これら従来の画像認識システムに共通するのは、照合時の類似度計算あるいは距離計算を、画像全体から抽出した特徴を用いて一度だけ行うという点である。
【００１０】
【発明が解決しようとする課題】
しかし、対象画像が照明変動によって一部が黒つぶれしている場合や、オクルージョンが発生した場合（対象物体の一部が物陰に隠れている場合）には、画像全体から取得した特徴量が異常になり、正確に照合できないという問題があった。
【００１１】
そこで本発明の目的は、照明変動やオクルージョンの状態に関係なく、入力画像を正しく分類する画像認識システムを提供することにある。
【００１２】
【課題を解決するための手段】
前記課題を解決するために本発明による画像認識システムは、入力画像における複数の部分領域と、登録画像の該当する部分領域との複数のパターン間距離値を算出するパターン間距離算出手段と、前記複数のパターン間距離値を用いて前記入力画像を識別する識別手段とを含む画像認識システムであって、前記識別手段は、前記複数のパターン間距離値の中から距離値の小さい順に所定の数だけを用いて算出された統合距離値を用いて前記入力画像を識別し、かつ、複数のパターン間距離値の中で、統合距離値の算出に用いる距離値の数を、前記複数のパターン間距離値に応じて変化させることを特徴とする。
【００１３】
又、本発明による画像認識方法は、パターン間距離算出手段が入力画像における複数の部分領域と、登録画像の該当する部分領域との複数のパターン間距離値を算出するパターン間距離算出ステップと、識別手段が前記複数のパターン間距離値を用いて前記入力画像を識別する識別ステップとを含む画像認識方法であって、前記識別ステップでは、前記識別手段が前記複数のパターン間距離値の中から距離値の小さい順に所定の数だけを用いて算出された統合距離値を用いて前記入力画像を識別し、かつ、複数のパターン間距離値の中で、統合距離値の算出に用いる距離値の数を、前記複数のパターン間距離値に応じて変化させることを特徴とする。
【００１４】
又、本発明によるプログラムは、パターン間距離算出手段が入力画像における複数の部分領域と、登録画像の該当する部分領域との複数のパターン間距離値を算出するパターン間距離算出ステップと、識別手段が前記複数のパターン間距離値を用いて前記入力画像を識別する識別ステップとを含む画像認識方法のプログラムを実行するコンピュータに、前記識別手段が前記複数のパターン間距離値の中から距離値の小さい順に所定の数だけを用いて算出された統合距離値を用いて前記入力画像を識別し、かつ、複数のパターン間距離値の中で、統合距離値の算出に用いる距離値の数を、前記複数のパターン間距離値に応じて変化させるステップを実行させるためのものであることを特徴とする。
【００１５】
本発明によれば、照明変動やオクルージョンの状態に関係なく、入力画像を正しく分類することが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について添付図面を参照しながら説明する。図１は本発明に係る画像認識システムの第１の実施の形態の構成図である。同図を参照すると、画像認識システムは、入力画像から対象を認識する照合部１と、照合に用いる辞書を格納する辞書格納手段５と、画像から部分領域を抽出するための位置情報を格納した部分領域情報記憶手段６と、登録画像から辞書を生成する登録部７とを含んで構成されている。入力画像の一例として人間の顔画像が挙げられる。この場合、顔パターンの画像中の位置、大きさはあらかじめ一定であることが望ましい。
【００１７】
なお、ここで述べる入力画像とは、実世界を撮影した自然画像だけでなく、空間フィルタを作用させたものやコンピュータグラフィクスで生成されたものを含む２次元のパターン全般を含んでいる。
【００１８】
次に照合部１の動作について説明する。照合部１は、入力画像部分領域抽出手段２と、パターン間距離算出手段３と、領域距離値統合手段１０と、識別手段４とから構成されている。入力された画像に対し、入力画像部分領域抽出手段２において、Ｐ個（Ｐは２以上の整数）の部分領域を設定し、それぞれの部分領域に属する画素値を元に特徴ベクトルを算出する。これを領域別入力特徴ベクトルと呼ぶ。領域別入力特徴ベクトルの一例として、画素値を要素とする特徴ベクトルがあげられる。その他の領域別入力特徴ベクトルを生成する例については後述する。
【００１９】
部分領域の設定に際しては部分領域情報記憶手段６から各部分領域の位置と大きさと形状に関する情報を取得する。
【００２０】
次に部分領域の抽出について説明する。図２は本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。同図を参照すると、入力画像３００は、Ｐ個の矩形の部分領域に均等に分割されている（部分領域分割結果３０２参照）。部分領域分割結果３０２は、一例として横５個、縦４個の、均等に配置された大きさの等しい２０個の部分領域である。部分領域の形状は矩形ではなく、楕円形や、任意の閉曲線で定義することができる。またそれぞれの大きさは均一である必要はない。また、それぞれの部分領域が一部重なり合うように定義することが可能である。部分領域分割結果３０２のように、均一の大きさの矩形が、画像全体に均等に配置された部分領域が定義されているときは、画像処理が簡潔になり高速化されるという利点がある。
【００２１】
部分領域に含まれる画素数は少なくとも２画素以上が必要である。なぜならば、１画素の部分領域とは、所詮１画素に過ぎず、従来の方法と原理的に同等となり、性能向上が図れないからである。実験的な結果からは部分領域の画素数は１６画素程度以上が望ましい。
【００２２】
次にパターン間距離算出手段３の動作について説明する。パターン間距離算出手段３においては、部分領域に分割して得られた領域別入力特徴ベクトルを用いて、登録された各カテゴリの部分領域ごとの辞書データとの間のパターン間距離を算出する。辞書データは辞書格納手段５から読み取る。パターン間距離算出手段３は、Ｐ個の部分領域ごとにパターン間距離値ｄｐ（ｐ＝１，…Ｐ）を算出する。
【００２３】
パターン間距離算出手段３の一例として、図３に示すパターン間距離算出手段４０がある。同図を参照すると、パターン間距離算出手段４０はノルム算出手段４１を含んで構成されている。ノルム距離算出手段４１は、部分領域ごとに、入力特徴ベクトルｘ（ｉ）と辞書特徴ベクトルｙ（ｉ）との差分のノルムを算出する。ノルムの例としてＬ２ノルムがある。Ｌ２ノルムによる距離はユークリッド距離であり、算出方法を式（３）に示す。ただしベクトルの次元数をｎとする。
【００２４】
【数３】
ノルムのもう一つの例としてＬ１ノルムがある。Ｌ１ノルムによる距離の算出方法を式（４）に示す。Ｌ１ノルムによる距離は市街地距離と呼ばれる。
【００２５】
【数４】
次に図２を用いてパターン間距離算出手段４０における部分領域ごとの照合について説明する。同図を参照すると、入力画像３００は識別対象として入力された画像である。登録画像３０１はあらかじめ辞書として登録されている画像である。入力画像３００はＰ個の部分領域に分割され、入力画像領域分割結果３０２が得られる。登録画像３０１も同じＰ個の部分領域に分割され、登録画像領域分割結果３０３が得られる。
【００２６】
入力画像３００の、Ｐ個のそれぞれの部分領域に属する画像データが１次元特徴ベクトルとして抽出され、領域別入力特徴ベクトル３０９として記憶される。Ｐ個の中の一つである部分領域Ａに注目すると、部分領域Ａ入力画像３０４が１次元ベクトルとして部分領域Ａ入力特徴ベクトル３０７に変換される。
【００２７】
同様に登録画像３０１の、Ｐ個のそれぞれの部分領域に属する画像データが１次元特徴ベクトルとして抽出され、領域別辞書特徴ベクトル３１０として記憶される。Ｐ個の中の一つである部分領域A に注目すると、部分領域Ａ登録画像３０５が１次元ベクトルとして部分領域Ａ辞書特徴ベクトル３０８に変換される。
【００２８】
パターン間距離計算は、部分領域ごとに行われる。例えば部分領域Ａ入力特徴データ３０７は、部分領域Ａ辞書特徴ベクトル３０８と比較され、ノルム距離を算出する。このように、Ｐ個すべての部分領域についてノルム距離が独立に算出される。
【００２９】
パターン間距離算出手段３の他の一例として、図４のパターン間距離算出手段５０がある。同図を参照すると、パターン間距離算出手段５０は部分空間投影距離算出手段５１を含んで構成されている。部分空間投影距離算出手段５１は、部分領域ごとに、部分空間投影距離を算出する。
【００３０】
部分空間投影距離によるパターンマッチングは部分空間法と呼ばれており、例えば文献１（前田、村瀬、“カーネル非線形部分空間法によるパターン認識”、電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．６００−６１２，１９９９）などに記載されている。部分空間投影距離は、辞書登録された特徴データ群が張る部分空間と、入力特量ベクトルとの距離値を定義したものである。部分空間投影距離の算出方法の例について述べる。入力特徴ベクトルをＸとする。辞書登録された特徴ベクトル群の平均ベクトルをＶとする。辞書登録された特徴ベクトル群を主成分分析し、固有値の大きなＫ個の固有ベクトルを列とする行列をΨｉ（ｉ＝１、、、Ｋ）とする。本文では、この平均ベクトルＶとＫ個の固有ベクトルによる行列Ψｉを合わせたものを主成分データと呼ぶ。このとき部分空間投影距離ｄｓは式（５）によって算出される。
【００３１】
【数５】
次に、パターン間距離算出手段５０における部分領域ごとの照合について説明する。図５は本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。同図を参照すると、入力画像３４０は識別対象として入力された画像である。登録画像シーケンス３４１は、あらかじめ辞書として登録された、ある１つのカテゴリに属する画像シーケンスである。登録画像シーケンス３４１はＪ個（Ｊは２以上の整数）の登録画像からなる。入力画像３４０はＰ個の部分領域に分割され、入力画像領域分割結果３４２が得られる。登録画像シーケンス３４１も同様にＰ個の部分領域に分割され、登録画像領域分割結果３４３が得られる。
【００３２】
入力画像３４０の、Ｐ個のそれぞれの部分領域に属する画像データが１次元特徴ベクトルとして抽出され、領域別入力特徴ベクトル３４９として記憶される。Ｐ個の中の一つである部分領域Ａに注目すると、部分領域Ａ入力画像３４４が１次元ベクトルとして部分領域Ａ入力特徴ベクトル３４７に変換される。
【００３３】
登録画像シーケンス３４１のＪ個の画像から、それぞれの部分領域ごとに１次元特徴ベクトルが抽出される。抽出されたＪ個の特徴ベクトルから主成分データを算出し、領域別辞書主成分データ３５０として記憶される。Ｐ個の領域の一つである部分領域Ａに注目すると、部分領域Ａに属する特徴データ列である部分領域Ａ登録シーケンス３４５を用いて、部分領域Ａ辞書主成分データ３４８を算出する。
【００３４】
パターン間距離計算は、部分領域ごとに行われる。例えば部分領域Ａ入力特徴データ３４７は、部分領域Ａ辞書主成分ベクトル３４８と比較されて、部分空間投影距離が算出される。このように、Ｐ個すべての部分領域について部分空間投影距離が独立に算出される。
【００３５】
次に領域距離値統合手段１０において、カテゴリごとにＰ個の距離値を用いて、ある関数Ｆ（ｄ１，ｄ２，ｄ３…ｄｐ）を作用させ、一つの統合距離値を算出する。
【００３６】
距離値統合手段１０の一例として、図６の領域距離値統合手段７０がある。領域距離値統合手段は加重平均値算出手段７１を含んで構成されている。領域距離値統合手段７０は、Ｐ個の部分領域の距離値が与えられると、加重平均値算出手段７１は、Ｐ個の距離値の加重平均値Ｄｗを計算して統合距離値として出力する。加重平均値Ｄｗの計算式を式（６）に示す。
【００３７】
【数６】
各領域に対応する重み値ｗはあらかじめ決められた値を用いることができるし、領域内の画像データに適当な関数を作用させて求めても良い。
【００３８】
次に、距離値統合手段１０の一例として、図７に示す領域距離値統合手段８０がある。領域距離値統合手段８０は、距離値ソート手段８２と、距離値上位平均算出手段８１から構成されている。領域距離値統合手段８０は、Ｐ個の部分領域の距離値が与えられると、距離値ソート手段８２においてＰ個の距離値を小さい順にソートし、距離値上位平均算出手段８１において距離値の小さいＰ´個（Ｐ´はＰ未満の整数）の平均値Ｄｐを計算し、統合距離値として出力する。Ｐ´の値については、Ｐの値に応じて予め決めておく方法がある。またＰ´を各部分領域の距離値の関数として定義することにより、Ｐ´の値を動的に変化させる方法がある。また画像全体の明るさ、コントラストに応じてＰ´の値を可変にすることができる。
【００３９】
また、距離値統合手段１０の一例として、Ｐ個の部分領域の距離値の中で予め与えられたしきい値よりも小さいＰ´個（Ｐ´はＰ未満の整数）の平均値を算出するものがある。
【００４０】
次に、距離値統合手段８０で、部分領域の距離値が小さいものだけを用いて統合距離を算出する方法の利点について図８を用いて説明する。図８は本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。入力画像４００と、登録画像４０１を比較することを考える。登録画像４０１は照明の影響で左側に影があり、左側の画像パターンが大きく異なっている。部分領域ごとに距離値を計算した結果を濃淡値で図示すると、部分領域距離値マップ４０４が得られる。黒い領域は距離値が大きく（照合スコアは低い）、白い領域は距離値が小さい（照合スコアは高い）。登録画像左側の影が写った部分領域の照合スコアは低くなっている。直感的に、不明瞭な左側の部分領域を無視して右側の部分領域だけで照合するほうが、より正確な照合結果が得られることがわかる。よって距離値統合手段８０のように、照合スコアの高い（距離値の低い）部分領域のみを考慮した距離値統合手段が有効である。
【００４１】
次に、識別手段４は、距離値統合手段１０から得られた各カテゴリとの統合距離値を比較し、最終的に入力画像が属するカテゴリを出力する。識別手段４の一例として図９に示す識別手段９０がある。同図を参照すると、識別手段９０は、最小値算出手段９１と、しきい値処理手段９２とを含んで構成される。まず最小値算出手段９１において、各カテゴリとの統合距離値の最小値を算出する。次にしきい値処理手段９２において最小値をしきい値と比較し、しきい値よりも小さいときは、最小値が得られたカテゴリを識別結果として出力する。しきい値よりも大きいときは、辞書には存在しないという結果を出力する。
【００４２】
次に登録部７の動作について説明する。登録部７は、登録画像部分領域抽出手段９と、辞書データ生成手段８とを含んで構成されている。登録部７へは登録画像と対応するカテゴリのＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）とが入力される。この画像はカテゴリＩＤによって指定されたカテゴリに属するものとする。登録画像に対し、登録画像部分領域抽出手段９は、部分領域情報６を参照して、Ｐ個の部分領域を設定し、それぞれの部分領域に属する画素値を元に領域別辞書特徴ベクトルを生成する。領域別辞書特徴ベクトルの一例として、画素値を要素とする特徴ベクトルがあげられる。その他の領域別辞書特徴ベクトルを生成する例については後述する。
【００４３】
そして辞書データ生成手段８では領域別辞書特徴ベクトルを、適切な保存形式に変換し、辞書格納手段５に出力する。辞書として主成分データが必要な場合は、辞書特徴ベクトル群の主成分分析を行う。保存形式の一例が図１０に示されている。
【００４４】
辞書データ生成手段８の一例として、図２７の辞書データ生成手段１９０がある。辞書データ生成手段１９０は主成分データ生成手段１９１を含む。主成分データ生成手段１９１は、入力された複数の領域別辞書特徴ベクトル群の主成分分析を行い、領域別主成分データを生成する。
【００４５】
図１０に辞書格納手段５の一例である辞書格納手段１００の構成図を示す。図１０（Ａ）は辞書格納手段１００の全体構成図、図１０（Ｂ）はレコード記憶部１０１の構成図である。辞書格納手段１００はＣ個のレコード記憶部１０１を持ち、各レコードには、レコード番号１０２、領域別辞書データ１０３、カテゴリＩＤ１０４を記憶することができる。領域別辞書データは、Ｐ個の部分領域別の辞書データからなっている。辞書格納手段１００は、同じカテゴリＩＤを持つ複数の辞書レコードを格納することが可能である。領域別辞書データ１０３の具体的なデータは、パターン間距離算出手段３の距離計算方式に依存し、例えばパターン間距離算出手段４０を用いるときは１次元の特徴ベクトルとなり、パターン間距離算出手段５０やパターン間距離算出手段６０を用いるときは、平均ベクトルＶとＫ個の固有ベクトルからなる主成分データとなる。
【００４６】
図１１に、ビデオシーケンスなどの複数枚の入力画像から対象を認識する実施例である照合部２１の構成を示す。本実施例の入力としては、ビデオ映像などの動画像や、同じ物体を撮影した複数枚の静止画像が含まれている。なお、図１と同様の構成部分には同一番号を付し、その説明を省略する。照合部２１は、入力画像列を平均化し、１枚の入力画像を生成する入力画像列平滑化手段２２と、入力画像部分領域抽出手段２と、パターン間距離算出手段３と、識別手段４とを含んで構成されている。照合部２１は、はじめにＮ枚（Ｎは２以上の整数）の入力画像が入力されると、画素ごとにＮ枚の平均を取り、１枚の入力平均画像を生成する。この入力平均画像を入力画像として照合部１と同等の動作を行う。
【００４７】
図１２に、ビデオシーケンスなどの複数枚の入力画像から対象を認識するもう一つの実施例である照合部３１の構成を示す。本実施例の入力としては、ビデオ映像などの動画像や、同じ物体を撮影した複数枚の静止画像が含まれている。なお、図１と同様の構成部分には同一番号を付し、その説明を省略する。照合部３１は、入力画像部分領域抽出手段２と、入力主成分生成部３２と、パターン間距離算出手段３３と、識別手段４とを含んで構成されている。照合部３１は、Ｎ枚の入力画像が入力されると、各画像に対し、入力画像部分領域抽出手段２において、P 個の部分領域を設定し、それぞれの部分領域に属する画像データを抽出する。部分領域の設定に際しては部分領域情報記憶手段６から各部分領域の位置と大きさと形状に関する情報を取得する。次に入力主成分生成部３２において、部分領域ごとの入力主成分データである領域別入力主成分データを算出する。パターン間距離算出手段３３では、得られたＰ個の入力主成分データと、辞書データとを用いて、各カテゴリとの距離値を計算する。各カテゴリとの距離値を元に識別手段において、入力画像列が、どのカテゴリに属するかを判断し、認識結果を出力する。
【００４８】
パターン間距離算出手段３３の例として、図１３に示すパターン間距離算出手段６０がある。パターン間距離算出手段６０は、部分空間間距離算出手段６１とから構成されている。部分空間間距離算出手段６１は、領域別入力主成分データと領域別辞書主成分データを入力として、部分領域ごとに距離値を算出する。
【００４９】
部分空間間距離算出手段６１の実現方法として、部分空間同士の距離を求める方法がある。一例を以下に述べる。辞書主成分データは、辞書平均ベクトルＶ１とＫ個の辞書固有ベクトルΨｉとからなる。入力主成分データは、入力平均ベクトルＶ２とＬ個の入力固有ベクトルΦｉとからなる。まず入力平均ベクトルＶ２と辞書固有ベクトルで張られる部分空間との距離値ｄＭ１を式（７）によって算出する。
【００５０】
【数７】
次に辞書平均ベクトルＶ１と、入力固有ベクトルで張られる部分空間との距離値ｄＭ２を式（８）によって算出する。
【００５１】
【数８】
入力と辞書の部分空間同士の距離は、ｄＭ１とｄＭ２の関数Ｇ（ｄＭ１，ｄＭ２）によって算出される。
【００５２】
関数Ｇの一例として式（９）などがある。
【００５３】
【数９】
ただしαは定数である。
【００５４】
次に、図１４を用いてパターン間距離算出手段６０における部分領域ごとの照合について説明する。図１４は本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。同図を参照すると、入力画像３２０は識別対象として入力された画像シーケンスである。登録画像シーケンス３２１は、あらかじめ辞書として登録された、ある１つのカテゴリに属する画像シーケンスである。入力画像シーケンスはＮ枚、登録画像シーケンス３２１はＪ枚の登録画像からなる。入力画像シーケンス３２０の各画像はＰ個の部分領域に分割され、入力画像領域分割結果３２２が得られる。登録画像シーケンス３４１も同様にＰ個の部分領域に分割され、登録画像領域分割結果３２３が得られる。
【００５５】
入力画像シーケンス３２０の、Ｎ枚の画像から、Ｐ個それぞれの部分領域ごとに１次元特徴ベクトルが抽出される。抽出されたＮ個の特徴ベクトルから主成分データを算出し、領域別入力主成分データ３２９として記憶される。Ｐ個の領域の一つである部分領域A に注目すると、部分領域Ａに属する特徴データ列である部分領域Ａ入力シーケンス３２４を用いて、部分領域Ａ入力主成分データ３２６が算出される。
【００５６】
一方、登録画像シーケンス３２１のＪ枚の画像から、Ｐ個それぞれの部分領域ごとに１次元特徴ベクトルが抽出される。抽出されたＪ個の特徴ベクトルから主成分データを算出し、領域別辞書主成分データ３３０として記憶される。Ｐ個の領域の一つである部分領域Ａに注目すると、部分領域Ａに属する特徴データ列である部分領域Ａ登録シーケンス３２５を用いて、部分領域A 辞書主成分データ３２７が算出される。
【００５７】
パターン間距離計算は、部分領域ごとに行われる。例えば部分領域Ａ入力主成分データ３２６は、部分領域Ａ辞書主成分データ３２７と比較され、部分空間間距離が例えば式（９）によって算出される。Ｐ個すべての部分領域について部分空間間距離が独立に算出される。
【００５８】
次に、入力画像部分領域抽出手段２について詳細に説明する。入力画像部分領域抽出手段３の一例として、図１８の入力画像部分領域抽出手段１１０がある。入力画像部分領域抽出手段１１０は、部分画像取得手段１１１と、特徴抽出手段１１２とを含んでいる。部分画像取得手段１１１は、部分領域情報記憶手段６に格納された部分領域情報を参照し、部分画像の画素値を取得する。特徴抽出手段１１２は、得られた部分画像データを１次元特徴ベクトルに変換する。特徴抽出手段１１２の例として、部分画像の画素値を要素とするベクトルを生成するものがある。また特徴抽出手段１１２の例として、部分画像の画素値に対し、画素値の濃度正規化、ヒストグラム平坦化、フィルタリング等の補正処理を加えたものを特徴ベクトルとするものがある。また、フーリエ変換、ＤＣＴ、ウェーブレット変換を利用した周波数特徴を抽出するものがある。周波数特徴は一般に位置ずれに頑強である。なお周波数特徴への変換は画素値ベクトルに対するフィルタリングの一種である。
【００５９】
周波数特徴を出力する特徴抽出手段１１２の一例として、図１９に示す特徴抽出手段１３０がある。特徴抽出手段１３０は、フーリエスペクトル変換手段１３１を含む。フーリエスペクトル変換手段１３１は、部分領域の画素値のベクトルに対し離散フーリエ変換を施す。特徴抽出手段１３０は、画素値の離散フーリエ変換係数を要素とする特徴ベクトルを出力する。
【００６０】
入力画像部分領域抽出手段２の他の一例として、図２０の入力画像部分領域抽出手段１２０がある。入力画像部分領域抽出手段１２０は、姿勢補正手段１２１と、部分画像取得手段１１１と、特徴抽出手段１１２とを含む。入力画像部分領域抽出手段１２０は、姿勢補正手段１２１によって、特徴を抽出する前に入力画像中の物体の姿勢を適切に補正する。画像中の物体の姿勢を補正するというのは、具体的には、入力画像中の物体が、予め定められた固定方向からカメラで観察した状態になるように、入力画像データ自身を変換することである。姿勢補正手段１２１によって、一定の姿勢に変換された画像データに対し、部分画像取得手段１１１と特徴抽出手段１１２を用いて、領域別入力特徴ベクトルを生成する。入力画像の姿勢を補正することにより、画像中の物体の姿勢変化による照合精度の劣化を改善することができる。また登録側の画像を、入力と同じパラメータの姿勢に補正することで、照合精度を向上させることができる。
【００６１】
図２１を参照して、姿勢補正方法について説明する。一般に姿勢補正のパラメータは、ＸＹＺ軸に沿った移動とＸＹＺ軸回りの回転の合計６個である。図２１では顔画像を例として、様々な方向を向いた顔画像を入力画像として示している。入力画像Ａ１４０は上向き、入力画像Ｂ１４１は右向き、入力画像Ｃ１４２は下向き、入力画像Ｄ１４３は左向きである。それに対して姿勢補正画像１４４は、前記入力画像を、正面向き画像に変換したものである。
【００６２】
前記姿勢補正画像１４４への変換のような姿勢補正方法の一例として、画像データをアフィン変換する方法がある。アフィン変換によって物体の姿勢補正する方法は、たとえば特開２０００−９０１９０号公報に示されている。
【００６３】
また、その他の姿勢補正方法の一例として、図２２及び図２３に示す３次元モデルを使用する方法がある。図２２及び図２３には、人間の顔を想定した３次元モデルが示されており、図２２が楕円体モデル１５１、図２３が標準３次元顔モデル１５２である。標準３次元顔モデルは標準的な人間の顔の形状を表す３次元モデルであり、３次元ＣＡＤソフトや、レンジファインダーによる測定を利用して得ることができる。姿勢補正は、入力画像を３次元モデル上にテクスチャマッピングした後、３次元モデルを移動回転させることによって実現することができる。
【００６４】
次に、登録画像部分領域抽出手段９について詳細に説明する。登録部分領域抽出手段９の一例として、図２４の登録部分領域抽出手段１６０がある。登録部分領域抽出手段１６０は、部分画像取得手段１１１と、特徴抽出手段１１２とを含んでいる。部分画像取得手段１１１と特徴抽出手段１１２の動作についてはすでに述べた。登録部分領域抽出手段１６０は登録画像から領域別辞書特徴ベクトルを生成する。
【００６５】
登録画像部分領域抽出手段９の他の一例として、図２５の登録画像部分領域抽出手段１７０がある。登録画像部分領域抽出手段１７０は、姿勢補正手段１２１と、部分画像取得手段１１１と、特徴抽出手段１１２とを含む。登録画像部分領域抽出手段１７０は、姿勢補正手段１２１によって特徴を抽出する前に登録画像中の物体の姿勢を適切に補正する。
【００６６】
姿勢補正手段１２１によって一定の姿勢に変換された画像データに対し、部分画像取得手段１１１と特徴抽出手段１１２を用いて、領域別辞書特徴ベクトルを生成する。登録画像の姿勢を補正することにより、画像中の物体の姿勢変化による照合精度の劣化を改善することができる。
【００６７】
登録画像部分領域抽出手段９の他の一例として、図２６の登録画像部分領域抽出手段１８０がある。登録画像部分領域抽出手段１８０は、変動画像生成手段１８１と、部分画像取得手段１１１と、特徴抽出手段１１２とを含む。変動画像生成手段１８１は、入力された登録画像を、それ自身を含む複数の変動画像に変換する。変動画像は、入力された画像に対し、姿勢変動、照明変動など、様々な要因によって起こる対象物の見えの変化をシミュレートして変換した画像である。
【００６８】
図２８に、人間の顔を対象とした変動画像の例を示す。入力画像２５０に対し、それ自身を含む７種類の変動画像が生成されている。姿勢変動画像Ａ２５１は、顔を上向きに変換した画像である。姿勢変動画像Ｂ２５２は、顔を右向きに変換した画像である。姿勢変動画像Ｃ２５３は、顔を下向きに変換した画像である。姿勢変動画像Ｄ２５４は、顔を左向きに変換した画像である。これらの姿勢変動画像は、前記姿勢補正手段１２１に用いられた方法を利用して変換することができる。照明変動画像２５５は、入力画像２５０に対して照明による明暗の変化を付加した画像であり、例えば入力画像２５０の画素値を全体的に明るく、または暗くする方法で実現することができる。表情変動画像２５６は、顔の表情を変化させて笑顔に変換した画像である。変換方法は、例えば両方の口もとを上にあげて両目を細くするなどの変形を加えることで実現することができる。元画像２５７は入力画像そのままのデータである。
【００６９】
また変動画像生成手段１８１は、同じ変動でもパラメータを複数段階に変化させたものを複数出力することができる。例えば右向きの姿勢変動の場合には、右１５度回転と右３０度回転と右４５度回転の３種類の変換画像を同時に出力することができる。また、姿勢変動と照明変動など、異なる変動要因を組み合わせた変換を施した画像を出力することができる。
【００７０】
変動画像生成手段１８１によって生成された複数の変動画像群は、部分画像取得手段１１１と特徴抽出手段１１２によって、領域別辞書特徴ベクトル群に変換される。
【００７１】
登録画像部分領域抽出手段１８０によって生成された領域別辞書特徴ベクトル群は、辞書データ生成手段８によって複数の辞書レコードに変換されるか、あるいは図２７に示す辞書データ生成手段１９０によって、主成分データが生成される。主成分データが生成された場合は、図５の概念図に示された方法によって入力画像を照合する。
【００７２】
辞書登録側で変動画像を生成しておくことにより、入力画像中の物体の姿勢や照明環境が変化しても、登録側にあらかじめ想定された変動画像が登録されているため、正確に照合することができる。
【００７３】
次に、図１５を参照して本実施形態の全体の動作について詳細に説明する。図１５は本発明に係る画像認識システムの全体の動作を示すフローチャートである。まず、識別対象の入力画像データを入力する（ステップＡ１）。次に入力画像をＰ個の部分領域に分割し、部分領域ごとに特徴ベクトルの抽出を行う（ステップＡ２）。次に辞書データを参照し、部分領域ごとに登録画像との距離を算出する（ステップＡ３）。次に、Ｐ個の部分領域ごとの距離値を用いて、１つの統合距離値を算出する（ステップＡ４）。登録カテゴリの中で最小の距離値を算出する（ステップＡ５）。次に最小距離がしきい値より小さいかどうかを判定する（ステップＡ６）。最小距離がしきい値よりも小さいときは、最小距離を持つカテゴリを認識結果として出力する（ステップＡ７）。最小距離がしきい値よりも大きいときは、該当カテゴリなしを出力する（ステップＡ８）。
【００７４】
次に図１６を参照して本実施形態の辞書データ学習の動作について説明する。図１６は辞書データ学習の動作を示すフローチャートである。登録画像データと対応するカテゴリＩＤを入力する（ステップＢ１）。次に登録画像をＰ個の部分領域に分割する（ステップＢ２）。次に各部分領域に属する画像データを用いて、部分領域ごとに辞書データを生成する（ステップＢ３）。辞書データを辞書データ格納手段に保存する（ステップＢ４）。以上の動作を必要なだけ繰り返す。
【００７５】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。図１７は本発明の第２の実施の形態の構成図である。本発明の第２の実施の形態は、プログラム制御により動作するコンピュータ２００と、画像認識プログラムを記録した記録媒体２０１と、カメラ２０４と、操作卓２０２と、表示装置２０３とから構成されている。この記録媒体２０１は磁気ディスク、半導体メモリその他の記録媒体であってよい。
【００７６】
コンピュータ２００は、照合部１と登録部７と辞書格納手段５と部分領域情報記憶手段６とを実現するプログラムをロードして実行する。プログラムは記憶媒体２０１に保存され、コンピュータ２００は記憶媒体２０１からプログラムを読み出して実行する。プログラムは図１５と図１６のフローチャートに示す動作を行う。本実施例では入力画像はカメラ２０４から入力され、認識結果は表示装置２０３に表示される。認識の指示、学習の指示は操作卓２０２からオペレータが行う。
【００７７】
【発明の効果】
本発明による画像認識システムによれば、前記入力画像の部分領域とこれと対応する前記登録画像の部分領域とのパターン間距離を算出し、各部分領域の前記パターン間距離に基づき前記入力画像を識別する照合手段を含むため、照明変動や、オクルージョンの状態に関係なく、入力画像を正しく分類することが可能となる。又、本発明による画像認識方法及びプログラムも上記画像認識システムと同様の効果を奏する。
【００７８】
具体的に説明すると、本発明の効果は、画像中の複数の部分領域を独立に照合し、それらの結果を統合することにより、照明変動や、オクルージョンの影響を低減し、入力画像を正しく識別できることである。その理由は、照明変動やオクルージョンによってスコアが異常となる部分領域を、距離値統合時に排除することができるからである。
【図面の簡単な説明】
【図１】本発明に係る画像認識システムの第１の実施の形態の構成図である。
【図２】本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。
【図３】パターン間距離算出手段４０の構成図である。
【図４】パターン間距離算出手段５０の構成図である。
【図５】本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。
【図６】領域距離値統合手段７０の構成図である。
【図７】領域距離値統合手段８０の構成図である。
【図８】本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。
【図９】識別手段９０の構成図である。
【図１０】辞書格納手段１００の構成図である。
【図１１】照合部２１の構成図である。
【図１２】照合部３１の構成図である。
【図１３】パターン間距離算出手段６０の構成図である。
【図１４】本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。
【図１５】本発明に係る画像認識システムの全体の動作を示すフローチャートである。
【図１６】辞書データ学習の動作を示すフローチャートである。
【図１７】本発明の第２の実施の形態の構成図である。
【図１８】入力画像部分領域抽出手段１１０の構成図である。
【図１９】特徴抽出手段１３０の構成図である。
【図２０】入力画像部分領域抽出手段１２０の構成図である。
【図２１】姿勢補正方法を示す概念図である。
【図２２】楕円体モデルの一例を示す図である。
【図２３】標準３次元顔モデルの一例を示す図である。
【図２４】登録画像部分領域抽出手段１６０の構成図である。
【図２５】登録画像部分領域抽出手段１７０の構成図である。
【図２６】登録画像部分領域抽出手段１８０の構成図である。
【図２７】辞書データ生成手段１９０の構成図である。
【図２８】変動画像生成方法を示す概念図である。
【図２９】従来の画像認識システムの一例の構成図である。
【符号の説明】
１ 照合部
２ 入力画像部分領域抽出手段
３ パターン間距離算出手段
４ 識別手段
５ 辞書格納手段
６ 部分領域情報記憶手段
７ 登録部
８ 登録画像部分領域抽出手段
９ 辞書データ生成手段
１０ 領域距離値統合手段
２１ 照合部
２２ 入力画像列平滑化部
３１ 照合部
３２ 入力主成分生成部
３３ パターン間距離算出手段
４０ パターン間距離算出手段
４１ ノルム算出手段
５０ パターン間距離算出手段
５１ 部分空間投影距離算出手段
６０ パターン間距離算出手段
６１ 部分空間間距離算出手段
７０ 領域距離値統合手段
７１ 加重平均値算出手段
８０ 領域距離値統合手段
８１ 距離値ソート手段
８２ 距離値上位平均算出手段
９０ 識別手段
９１ 最小値算出手段
９２ しきい値処理手段
１００ 辞書格納手段
１０１ レコード記憶部
１０２ レコード番号
１０３ 領域別辞書データ
１０４ カテゴリＩＤ
１１０ 入力画像部分領域抽出手段
１１１ 部分画像取得手段
１１２ 特徴抽出手段
１２０ 入力画像部分領域抽出手段
１２１ 姿勢補正手段
１３０ 特徴抽出手段
１３１ フーリエスペクトル変換手段
１４０ 入力画像A
１４１ 入力画像B
１４２ 入力画像C
１４３ 入力画像D
１４４ 姿勢補正画像
１５０ 楕円体モデル
１５１ 標準３次元顔モデル
１６０ 登録画像部分領域抽出手段
１７０ 登録画像部分領域抽出手段
１８０ 登録画像部分領域抽出手段
１８１ 変動画像生成手段
１９０ 辞書データ生成手段
１９１ 主成分データ生成手段
２００ コンピュータ
２０１ 記憶媒体
２０２ 操作卓
２０３ 表示装置
２０４ カメラ
２１０ 画像入力部
２１１ 部分空間間の角度計算部
２１２ 認識部
２１３ 辞書記憶部
２５０ 入力画像
２５１ 姿勢変動画像A
２５２ 姿勢変動画像B
２５３ 姿勢変動画像C
２５４ 姿勢変動画像D
２５５ 照明変動画像
２５６ 表情変動画像
２５７ 元画像
３００ 入力画像
３０１ 登録画像
３０２ 入力画像領域分割結果
３０３ 登録画像領域分割結果
３０４ 部分領域Ａ入力画像
３０５ 部分領域Ａ登録画像
３０６ 照合対
３０７ 部分領域Ａ入力特徴ベクトル
３０８ 部分領域Ａ辞書特徴ベクトル
３０９ 領域別入力特徴ベクトル
３１０ 領域別辞書特徴ベクトル
３２０ 入力画像シーケンス
３２１ 登録画像シーケンス
３２２ 入力画像領域分割結果
３２３ 登録画像領域分割結果
３２４ 部分領域Ａ入力シーケンス
３２５ 部分領域Ａ登録シーケンス
３２６ 部分領域Ａ入力主成分データ
３２７ 部分領域Ａ辞書主成分データ
３２８ 照合対
３２９ 領域別入力主成分データ
３３０ 領域別辞書主成分データ
３４０ 入力画像
３４１ 登録画像シーケンス
３４２ 入力画像領域分割結果
３４３ 登録画像領域分割結果
３４４ 部分領域Ａ入力画像
３４５ 部分領域Ａ登録シーケンス
３４６ 照合対
３４７ 部分領域Ａ入力特徴ベクトル
３４８ 部分領域Ａ辞書主成分データ
３４９ 領域別入力特徴ベクトル
３５０ 領域別辞書主成分データ
４００ 入力画像
４０１ 登録画像
４０２ 低照合スコア部分領域群
４０３ 高照合スコア部分領域群
４０４ 部分領域距離値マップ
【発明の属する技術分野】
本発明は画像を用いた物体認識システム及びその認識方法並びに認識用プログラムを記録した記録媒体に関し、特に画像に撮影された対象物体が、辞書に登録された物体かどうかを識別する、あるいは辞書に登録された複数のカテゴリ中の一つに分類する画像認識システム及びその認識方法並びにプログラムに関する。
【０００２】
【従来の技術】
従来の画像による認識システムの一例として、特開平５−２０４４２号公報（顔画像照合装置）がある。これは人間の顔画像を照合するものであり、画像全体をフーリエ解析したフーリエスペクトルパタンの固有ベクトルを用いて照合を行う。
【０００３】
また、特開平１０−１９９１２８号公報（パターン認識装置およびその方法）には複数の入力画像から求められる部分空間と、登録された画像によって張られる部分空間との角度（相互部分空間類似度）によって照合を行う手法が述べられている。図２９に従来の画像認識システムの一例の構成図を示す。従来の画像認識システムの一例は画像入力部２１０と、部分空間間の角度計算部２１１と、認識部２１２と、辞書記憶部２１３とから構成されている。
【０００４】
このような構成を有する従来の画像認識システムはつぎのように動作する。すなわち、画像入力部２１０によって、複数方向で撮影された複数の画像を入力する。次に部分空間間の角度計算部２１１において、部分空間間の角度を計算する。
【０００５】
まず入力画像群をＮ次元部分空間で表現する。具体的には画像全体を１次元特徴データとみなして主成分分析し、Ｎ個の固有ベクトルを抽出する。辞書記憶部２１３には、あらかじめＭ次元の部分空間で表現された辞書データが、カテゴリごとに用意されている。部分空間間の角度計算部２１１において、さらに入力画像のＮ次元部分空間と辞書のＭ次元部分空間との角度を、カテゴリごとに計算する。認識部２１２は、部分空間間の角度計算部２１１において算出された角度を比較し、角度が最も小さいカテゴリを認識結果として出力する。
【０００６】
辞書部分空間の基底ベクトルをΦｍ（ｍ＝１，…．Ｍ）とし、入力部分空間の基底ベクトルをΨｎ（ｎ＝１，…Ｎ）とすると、式（１）または式（２）のｘｉｊを要素に持つ行列Ｘを計算する。
【０００７】
【数１】
【数２】
【０００９】
これら従来の画像認識システムに共通するのは、照合時の類似度計算あるいは距離計算を、画像全体から抽出した特徴を用いて一度だけ行うという点である。
【００１０】
【発明が解決しようとする課題】
しかし、対象画像が照明変動によって一部が黒つぶれしている場合や、オクルージョンが発生した場合（対象物体の一部が物陰に隠れている場合）には、画像全体から取得した特徴量が異常になり、正確に照合できないという問題があった。
【００１１】
そこで本発明の目的は、照明変動やオクルージョンの状態に関係なく、入力画像を正しく分類する画像認識システムを提供することにある。
【００１２】
【課題を解決するための手段】
前記課題を解決するために本発明による画像認識システムは、入力画像における複数の部分領域と、登録画像の該当する部分領域との複数のパターン間距離値を算出するパターン間距離算出手段と、前記複数のパターン間距離値を用いて前記入力画像を識別する識別手段とを含む画像認識システムであって、前記識別手段は、前記複数のパターン間距離値の中から距離値の小さい順に所定の数だけを用いて算出された統合距離値を用いて前記入力画像を識別し、かつ、複数のパターン間距離値の中で、統合距離値の算出に用いる距離値の数を、前記複数のパターン間距離値に応じて変化させることを特徴とする。
【００１３】
又、本発明による画像認識方法は、パターン間距離算出手段が入力画像における複数の部分領域と、登録画像の該当する部分領域との複数のパターン間距離値を算出するパターン間距離算出ステップと、識別手段が前記複数のパターン間距離値を用いて前記入力画像を識別する識別ステップとを含む画像認識方法であって、前記識別ステップでは、前記識別手段が前記複数のパターン間距離値の中から距離値の小さい順に所定の数だけを用いて算出された統合距離値を用いて前記入力画像を識別し、かつ、複数のパターン間距離値の中で、統合距離値の算出に用いる距離値の数を、前記複数のパターン間距離値に応じて変化させることを特徴とする。
【００１４】
又、本発明によるプログラムは、パターン間距離算出手段が入力画像における複数の部分領域と、登録画像の該当する部分領域との複数のパターン間距離値を算出するパターン間距離算出ステップと、識別手段が前記複数のパターン間距離値を用いて前記入力画像を識別する識別ステップとを含む画像認識方法のプログラムを実行するコンピュータに、前記識別手段が前記複数のパターン間距離値の中から距離値の小さい順に所定の数だけを用いて算出された統合距離値を用いて前記入力画像を識別し、かつ、複数のパターン間距離値の中で、統合距離値の算出に用いる距離値の数を、前記複数のパターン間距離値に応じて変化させるステップを実行させるためのものであることを特徴とする。
【００１５】
本発明によれば、照明変動やオクルージョンの状態に関係なく、入力画像を正しく分類することが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について添付図面を参照しながら説明する。図１は本発明に係る画像認識システムの第１の実施の形態の構成図である。同図を参照すると、画像認識システムは、入力画像から対象を認識する照合部１と、照合に用いる辞書を格納する辞書格納手段５と、画像から部分領域を抽出するための位置情報を格納した部分領域情報記憶手段６と、登録画像から辞書を生成する登録部７とを含んで構成されている。入力画像の一例として人間の顔画像が挙げられる。この場合、顔パターンの画像中の位置、大きさはあらかじめ一定であることが望ましい。
【００１７】
なお、ここで述べる入力画像とは、実世界を撮影した自然画像だけでなく、空間フィルタを作用させたものやコンピュータグラフィクスで生成されたものを含む２次元のパターン全般を含んでいる。
【００１８】
次に照合部１の動作について説明する。照合部１は、入力画像部分領域抽出手段２と、パターン間距離算出手段３と、領域距離値統合手段１０と、識別手段４とから構成されている。入力された画像に対し、入力画像部分領域抽出手段２において、Ｐ個（Ｐは２以上の整数）の部分領域を設定し、それぞれの部分領域に属する画素値を元に特徴ベクトルを算出する。これを領域別入力特徴ベクトルと呼ぶ。領域別入力特徴ベクトルの一例として、画素値を要素とする特徴ベクトルがあげられる。その他の領域別入力特徴ベクトルを生成する例については後述する。
【００１９】
部分領域の設定に際しては部分領域情報記憶手段６から各部分領域の位置と大きさと形状に関する情報を取得する。
【００２０】
次に部分領域の抽出について説明する。図２は本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。同図を参照すると、入力画像３００は、Ｐ個の矩形の部分領域に均等に分割されている（部分領域分割結果３０２参照）。部分領域分割結果３０２は、一例として横５個、縦４個の、均等に配置された大きさの等しい２０個の部分領域である。部分領域の形状は矩形ではなく、楕円形や、任意の閉曲線で定義することができる。またそれぞれの大きさは均一である必要はない。また、それぞれの部分領域が一部重なり合うように定義することが可能である。部分領域分割結果３０２のように、均一の大きさの矩形が、画像全体に均等に配置された部分領域が定義されているときは、画像処理が簡潔になり高速化されるという利点がある。
【００２１】
部分領域に含まれる画素数は少なくとも２画素以上が必要である。なぜならば、１画素の部分領域とは、所詮１画素に過ぎず、従来の方法と原理的に同等となり、性能向上が図れないからである。実験的な結果からは部分領域の画素数は１６画素程度以上が望ましい。
【００２２】
次にパターン間距離算出手段３の動作について説明する。パターン間距離算出手段３においては、部分領域に分割して得られた領域別入力特徴ベクトルを用いて、登録された各カテゴリの部分領域ごとの辞書データとの間のパターン間距離を算出する。辞書データは辞書格納手段５から読み取る。パターン間距離算出手段３は、Ｐ個の部分領域ごとにパターン間距離値ｄｐ（ｐ＝１，…Ｐ）を算出する。
【００２３】
パターン間距離算出手段３の一例として、図３に示すパターン間距離算出手段４０がある。同図を参照すると、パターン間距離算出手段４０はノルム算出手段４１を含んで構成されている。ノルム距離算出手段４１は、部分領域ごとに、入力特徴ベクトルｘ（ｉ）と辞書特徴ベクトルｙ（ｉ）との差分のノルムを算出する。ノルムの例としてＬ２ノルムがある。Ｌ２ノルムによる距離はユークリッド距離であり、算出方法を式（３）に示す。ただしベクトルの次元数をｎとする。
【００２４】
【数３】
【００２５】
【数４】
【００２６】
入力画像３００の、Ｐ個のそれぞれの部分領域に属する画像データが１次元特徴ベクトルとして抽出され、領域別入力特徴ベクトル３０９として記憶される。Ｐ個の中の一つである部分領域Ａに注目すると、部分領域Ａ入力画像３０４が１次元ベクトルとして部分領域Ａ入力特徴ベクトル３０７に変換される。
【００２７】
同様に登録画像３０１の、Ｐ個のそれぞれの部分領域に属する画像データが１次元特徴ベクトルとして抽出され、領域別辞書特徴ベクトル３１０として記憶される。Ｐ個の中の一つである部分領域A に注目すると、部分領域Ａ登録画像３０５が１次元ベクトルとして部分領域Ａ辞書特徴ベクトル３０８に変換される。
【００２８】
パターン間距離計算は、部分領域ごとに行われる。例えば部分領域Ａ入力特徴データ３０７は、部分領域Ａ辞書特徴ベクトル３０８と比較され、ノルム距離を算出する。このように、Ｐ個すべての部分領域についてノルム距離が独立に算出される。
【００２９】
パターン間距離算出手段３の他の一例として、図４のパターン間距離算出手段５０がある。同図を参照すると、パターン間距離算出手段５０は部分空間投影距離算出手段５１を含んで構成されている。部分空間投影距離算出手段５１は、部分領域ごとに、部分空間投影距離を算出する。
【００３０】
部分空間投影距離によるパターンマッチングは部分空間法と呼ばれており、例えば文献１（前田、村瀬、“カーネル非線形部分空間法によるパターン認識”、電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．６００−６１２，１９９９）などに記載されている。部分空間投影距離は、辞書登録された特徴データ群が張る部分空間と、入力特量ベクトルとの距離値を定義したものである。部分空間投影距離の算出方法の例について述べる。入力特徴ベクトルをＸとする。辞書登録された特徴ベクトル群の平均ベクトルをＶとする。辞書登録された特徴ベクトル群を主成分分析し、固有値の大きなＫ個の固有ベクトルを列とする行列をΨｉ（ｉ＝１、、、Ｋ）とする。本文では、この平均ベクトルＶとＫ個の固有ベクトルによる行列Ψｉを合わせたものを主成分データと呼ぶ。このとき部分空間投影距離ｄｓは式（５）によって算出される。
【００３１】
【数５】
【００３２】
入力画像３４０の、Ｐ個のそれぞれの部分領域に属する画像データが１次元特徴ベクトルとして抽出され、領域別入力特徴ベクトル３４９として記憶される。Ｐ個の中の一つである部分領域Ａに注目すると、部分領域Ａ入力画像３４４が１次元ベクトルとして部分領域Ａ入力特徴ベクトル３４７に変換される。
【００３３】
登録画像シーケンス３４１のＪ個の画像から、それぞれの部分領域ごとに１次元特徴ベクトルが抽出される。抽出されたＪ個の特徴ベクトルから主成分データを算出し、領域別辞書主成分データ３５０として記憶される。Ｐ個の領域の一つである部分領域Ａに注目すると、部分領域Ａに属する特徴データ列である部分領域Ａ登録シーケンス３４５を用いて、部分領域Ａ辞書主成分データ３４８を算出する。
【００３４】
パターン間距離計算は、部分領域ごとに行われる。例えば部分領域Ａ入力特徴データ３４７は、部分領域Ａ辞書主成分ベクトル３４８と比較されて、部分空間投影距離が算出される。このように、Ｐ個すべての部分領域について部分空間投影距離が独立に算出される。
【００３５】
次に領域距離値統合手段１０において、カテゴリごとにＰ個の距離値を用いて、ある関数Ｆ（ｄ１，ｄ２，ｄ３…ｄｐ）を作用させ、一つの統合距離値を算出する。
【００３６】
距離値統合手段１０の一例として、図６の領域距離値統合手段７０がある。領域距離値統合手段は加重平均値算出手段７１を含んで構成されている。領域距離値統合手段７０は、Ｐ個の部分領域の距離値が与えられると、加重平均値算出手段７１は、Ｐ個の距離値の加重平均値Ｄｗを計算して統合距離値として出力する。加重平均値Ｄｗの計算式を式（６）に示す。
【００３７】
【数６】
【００３８】
次に、距離値統合手段１０の一例として、図７に示す領域距離値統合手段８０がある。領域距離値統合手段８０は、距離値ソート手段８２と、距離値上位平均算出手段８１から構成されている。領域距離値統合手段８０は、Ｐ個の部分領域の距離値が与えられると、距離値ソート手段８２においてＰ個の距離値を小さい順にソートし、距離値上位平均算出手段８１において距離値の小さいＰ´個（Ｐ´はＰ未満の整数）の平均値Ｄｐを計算し、統合距離値として出力する。Ｐ´の値については、Ｐの値に応じて予め決めておく方法がある。またＰ´を各部分領域の距離値の関数として定義することにより、Ｐ´の値を動的に変化させる方法がある。また画像全体の明るさ、コントラストに応じてＰ´の値を可変にすることができる。
【００３９】
また、距離値統合手段１０の一例として、Ｐ個の部分領域の距離値の中で予め与えられたしきい値よりも小さいＰ´個（Ｐ´はＰ未満の整数）の平均値を算出するものがある。
【００４０】
次に、距離値統合手段８０で、部分領域の距離値が小さいものだけを用いて統合距離を算出する方法の利点について図８を用いて説明する。図８は本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。入力画像４００と、登録画像４０１を比較することを考える。登録画像４０１は照明の影響で左側に影があり、左側の画像パターンが大きく異なっている。部分領域ごとに距離値を計算した結果を濃淡値で図示すると、部分領域距離値マップ４０４が得られる。黒い領域は距離値が大きく（照合スコアは低い）、白い領域は距離値が小さい（照合スコアは高い）。登録画像左側の影が写った部分領域の照合スコアは低くなっている。直感的に、不明瞭な左側の部分領域を無視して右側の部分領域だけで照合するほうが、より正確な照合結果が得られることがわかる。よって距離値統合手段８０のように、照合スコアの高い（距離値の低い）部分領域のみを考慮した距離値統合手段が有効である。
【００４１】
次に、識別手段４は、距離値統合手段１０から得られた各カテゴリとの統合距離値を比較し、最終的に入力画像が属するカテゴリを出力する。識別手段４の一例として図９に示す識別手段９０がある。同図を参照すると、識別手段９０は、最小値算出手段９１と、しきい値処理手段９２とを含んで構成される。まず最小値算出手段９１において、各カテゴリとの統合距離値の最小値を算出する。次にしきい値処理手段９２において最小値をしきい値と比較し、しきい値よりも小さいときは、最小値が得られたカテゴリを識別結果として出力する。しきい値よりも大きいときは、辞書には存在しないという結果を出力する。
【００４２】
次に登録部７の動作について説明する。登録部７は、登録画像部分領域抽出手段９と、辞書データ生成手段８とを含んで構成されている。登録部７へは登録画像と対応するカテゴリのＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）とが入力される。この画像はカテゴリＩＤによって指定されたカテゴリに属するものとする。登録画像に対し、登録画像部分領域抽出手段９は、部分領域情報６を参照して、Ｐ個の部分領域を設定し、それぞれの部分領域に属する画素値を元に領域別辞書特徴ベクトルを生成する。領域別辞書特徴ベクトルの一例として、画素値を要素とする特徴ベクトルがあげられる。その他の領域別辞書特徴ベクトルを生成する例については後述する。
【００４３】
そして辞書データ生成手段８では領域別辞書特徴ベクトルを、適切な保存形式に変換し、辞書格納手段５に出力する。辞書として主成分データが必要な場合は、辞書特徴ベクトル群の主成分分析を行う。保存形式の一例が図１０に示されている。
【００４４】
辞書データ生成手段８の一例として、図２７の辞書データ生成手段１９０がある。辞書データ生成手段１９０は主成分データ生成手段１９１を含む。主成分データ生成手段１９１は、入力された複数の領域別辞書特徴ベクトル群の主成分分析を行い、領域別主成分データを生成する。
【００４５】
図１０に辞書格納手段５の一例である辞書格納手段１００の構成図を示す。図１０（Ａ）は辞書格納手段１００の全体構成図、図１０（Ｂ）はレコード記憶部１０１の構成図である。辞書格納手段１００はＣ個のレコード記憶部１０１を持ち、各レコードには、レコード番号１０２、領域別辞書データ１０３、カテゴリＩＤ１０４を記憶することができる。領域別辞書データは、Ｐ個の部分領域別の辞書データからなっている。辞書格納手段１００は、同じカテゴリＩＤを持つ複数の辞書レコードを格納することが可能である。領域別辞書データ１０３の具体的なデータは、パターン間距離算出手段３の距離計算方式に依存し、例えばパターン間距離算出手段４０を用いるときは１次元の特徴ベクトルとなり、パターン間距離算出手段５０やパターン間距離算出手段６０を用いるときは、平均ベクトルＶとＫ個の固有ベクトルからなる主成分データとなる。
【００４６】
図１１に、ビデオシーケンスなどの複数枚の入力画像から対象を認識する実施例である照合部２１の構成を示す。本実施例の入力としては、ビデオ映像などの動画像や、同じ物体を撮影した複数枚の静止画像が含まれている。なお、図１と同様の構成部分には同一番号を付し、その説明を省略する。照合部２１は、入力画像列を平均化し、１枚の入力画像を生成する入力画像列平滑化手段２２と、入力画像部分領域抽出手段２と、パターン間距離算出手段３と、識別手段４とを含んで構成されている。照合部２１は、はじめにＮ枚（Ｎは２以上の整数）の入力画像が入力されると、画素ごとにＮ枚の平均を取り、１枚の入力平均画像を生成する。この入力平均画像を入力画像として照合部１と同等の動作を行う。
【００４７】
図１２に、ビデオシーケンスなどの複数枚の入力画像から対象を認識するもう一つの実施例である照合部３１の構成を示す。本実施例の入力としては、ビデオ映像などの動画像や、同じ物体を撮影した複数枚の静止画像が含まれている。なお、図１と同様の構成部分には同一番号を付し、その説明を省略する。照合部３１は、入力画像部分領域抽出手段２と、入力主成分生成部３２と、パターン間距離算出手段３３と、識別手段４とを含んで構成されている。照合部３１は、Ｎ枚の入力画像が入力されると、各画像に対し、入力画像部分領域抽出手段２において、P 個の部分領域を設定し、それぞれの部分領域に属する画像データを抽出する。部分領域の設定に際しては部分領域情報記憶手段６から各部分領域の位置と大きさと形状に関する情報を取得する。次に入力主成分生成部３２において、部分領域ごとの入力主成分データである領域別入力主成分データを算出する。パターン間距離算出手段３３では、得られたＰ個の入力主成分データと、辞書データとを用いて、各カテゴリとの距離値を計算する。各カテゴリとの距離値を元に識別手段において、入力画像列が、どのカテゴリに属するかを判断し、認識結果を出力する。
【００４８】
パターン間距離算出手段３３の例として、図１３に示すパターン間距離算出手段６０がある。パターン間距離算出手段６０は、部分空間間距離算出手段６１とから構成されている。部分空間間距離算出手段６１は、領域別入力主成分データと領域別辞書主成分データを入力として、部分領域ごとに距離値を算出する。
【００４９】
部分空間間距離算出手段６１の実現方法として、部分空間同士の距離を求める方法がある。一例を以下に述べる。辞書主成分データは、辞書平均ベクトルＶ１とＫ個の辞書固有ベクトルΨｉとからなる。入力主成分データは、入力平均ベクトルＶ２とＬ個の入力固有ベクトルΦｉとからなる。まず入力平均ベクトルＶ２と辞書固有ベクトルで張られる部分空間との距離値ｄＭ１を式（７）によって算出する。
【００５０】
【数７】
【００５１】
【数８】
【００５２】
関数Ｇの一例として式（９）などがある。
【００５３】
【数９】
【００５４】
次に、図１４を用いてパターン間距離算出手段６０における部分領域ごとの照合について説明する。図１４は本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。同図を参照すると、入力画像３２０は識別対象として入力された画像シーケンスである。登録画像シーケンス３２１は、あらかじめ辞書として登録された、ある１つのカテゴリに属する画像シーケンスである。入力画像シーケンスはＮ枚、登録画像シーケンス３２１はＪ枚の登録画像からなる。入力画像シーケンス３２０の各画像はＰ個の部分領域に分割され、入力画像領域分割結果３２２が得られる。登録画像シーケンス３４１も同様にＰ個の部分領域に分割され、登録画像領域分割結果３２３が得られる。
【００５５】
入力画像シーケンス３２０の、Ｎ枚の画像から、Ｐ個それぞれの部分領域ごとに１次元特徴ベクトルが抽出される。抽出されたＮ個の特徴ベクトルから主成分データを算出し、領域別入力主成分データ３２９として記憶される。Ｐ個の領域の一つである部分領域A に注目すると、部分領域Ａに属する特徴データ列である部分領域Ａ入力シーケンス３２４を用いて、部分領域Ａ入力主成分データ３２６が算出される。
【００５６】
一方、登録画像シーケンス３２１のＪ枚の画像から、Ｐ個それぞれの部分領域ごとに１次元特徴ベクトルが抽出される。抽出されたＪ個の特徴ベクトルから主成分データを算出し、領域別辞書主成分データ３３０として記憶される。Ｐ個の領域の一つである部分領域Ａに注目すると、部分領域Ａに属する特徴データ列である部分領域Ａ登録シーケンス３２５を用いて、部分領域A 辞書主成分データ３２７が算出される。
【００５７】
パターン間距離計算は、部分領域ごとに行われる。例えば部分領域Ａ入力主成分データ３２６は、部分領域Ａ辞書主成分データ３２７と比較され、部分空間間距離が例えば式（９）によって算出される。Ｐ個すべての部分領域について部分空間間距離が独立に算出される。
【００５８】
次に、入力画像部分領域抽出手段２について詳細に説明する。入力画像部分領域抽出手段３の一例として、図１８の入力画像部分領域抽出手段１１０がある。入力画像部分領域抽出手段１１０は、部分画像取得手段１１１と、特徴抽出手段１１２とを含んでいる。部分画像取得手段１１１は、部分領域情報記憶手段６に格納された部分領域情報を参照し、部分画像の画素値を取得する。特徴抽出手段１１２は、得られた部分画像データを１次元特徴ベクトルに変換する。特徴抽出手段１１２の例として、部分画像の画素値を要素とするベクトルを生成するものがある。また特徴抽出手段１１２の例として、部分画像の画素値に対し、画素値の濃度正規化、ヒストグラム平坦化、フィルタリング等の補正処理を加えたものを特徴ベクトルとするものがある。また、フーリエ変換、ＤＣＴ、ウェーブレット変換を利用した周波数特徴を抽出するものがある。周波数特徴は一般に位置ずれに頑強である。なお周波数特徴への変換は画素値ベクトルに対するフィルタリングの一種である。
【００５９】
周波数特徴を出力する特徴抽出手段１１２の一例として、図１９に示す特徴抽出手段１３０がある。特徴抽出手段１３０は、フーリエスペクトル変換手段１３１を含む。フーリエスペクトル変換手段１３１は、部分領域の画素値のベクトルに対し離散フーリエ変換を施す。特徴抽出手段１３０は、画素値の離散フーリエ変換係数を要素とする特徴ベクトルを出力する。
【００６０】
入力画像部分領域抽出手段２の他の一例として、図２０の入力画像部分領域抽出手段１２０がある。入力画像部分領域抽出手段１２０は、姿勢補正手段１２１と、部分画像取得手段１１１と、特徴抽出手段１１２とを含む。入力画像部分領域抽出手段１２０は、姿勢補正手段１２１によって、特徴を抽出する前に入力画像中の物体の姿勢を適切に補正する。画像中の物体の姿勢を補正するというのは、具体的には、入力画像中の物体が、予め定められた固定方向からカメラで観察した状態になるように、入力画像データ自身を変換することである。姿勢補正手段１２１によって、一定の姿勢に変換された画像データに対し、部分画像取得手段１１１と特徴抽出手段１１２を用いて、領域別入力特徴ベクトルを生成する。入力画像の姿勢を補正することにより、画像中の物体の姿勢変化による照合精度の劣化を改善することができる。また登録側の画像を、入力と同じパラメータの姿勢に補正することで、照合精度を向上させることができる。
【００６１】
図２１を参照して、姿勢補正方法について説明する。一般に姿勢補正のパラメータは、ＸＹＺ軸に沿った移動とＸＹＺ軸回りの回転の合計６個である。図２１では顔画像を例として、様々な方向を向いた顔画像を入力画像として示している。入力画像Ａ１４０は上向き、入力画像Ｂ１４１は右向き、入力画像Ｃ１４２は下向き、入力画像Ｄ１４３は左向きである。それに対して姿勢補正画像１４４は、前記入力画像を、正面向き画像に変換したものである。
【００６２】
前記姿勢補正画像１４４への変換のような姿勢補正方法の一例として、画像データをアフィン変換する方法がある。アフィン変換によって物体の姿勢補正する方法は、たとえば特開２０００−９０１９０号公報に示されている。
【００６３】
また、その他の姿勢補正方法の一例として、図２２及び図２３に示す３次元モデルを使用する方法がある。図２２及び図２３には、人間の顔を想定した３次元モデルが示されており、図２２が楕円体モデル１５１、図２３が標準３次元顔モデル１５２である。標準３次元顔モデルは標準的な人間の顔の形状を表す３次元モデルであり、３次元ＣＡＤソフトや、レンジファインダーによる測定を利用して得ることができる。姿勢補正は、入力画像を３次元モデル上にテクスチャマッピングした後、３次元モデルを移動回転させることによって実現することができる。
【００６４】
次に、登録画像部分領域抽出手段９について詳細に説明する。登録部分領域抽出手段９の一例として、図２４の登録部分領域抽出手段１６０がある。登録部分領域抽出手段１６０は、部分画像取得手段１１１と、特徴抽出手段１１２とを含んでいる。部分画像取得手段１１１と特徴抽出手段１１２の動作についてはすでに述べた。登録部分領域抽出手段１６０は登録画像から領域別辞書特徴ベクトルを生成する。
【００６５】
登録画像部分領域抽出手段９の他の一例として、図２５の登録画像部分領域抽出手段１７０がある。登録画像部分領域抽出手段１７０は、姿勢補正手段１２１と、部分画像取得手段１１１と、特徴抽出手段１１２とを含む。登録画像部分領域抽出手段１７０は、姿勢補正手段１２１によって特徴を抽出する前に登録画像中の物体の姿勢を適切に補正する。
【００６６】
姿勢補正手段１２１によって一定の姿勢に変換された画像データに対し、部分画像取得手段１１１と特徴抽出手段１１２を用いて、領域別辞書特徴ベクトルを生成する。登録画像の姿勢を補正することにより、画像中の物体の姿勢変化による照合精度の劣化を改善することができる。
【００６７】
登録画像部分領域抽出手段９の他の一例として、図２６の登録画像部分領域抽出手段１８０がある。登録画像部分領域抽出手段１８０は、変動画像生成手段１８１と、部分画像取得手段１１１と、特徴抽出手段１１２とを含む。変動画像生成手段１８１は、入力された登録画像を、それ自身を含む複数の変動画像に変換する。変動画像は、入力された画像に対し、姿勢変動、照明変動など、様々な要因によって起こる対象物の見えの変化をシミュレートして変換した画像である。
【００６８】
図２８に、人間の顔を対象とした変動画像の例を示す。入力画像２５０に対し、それ自身を含む７種類の変動画像が生成されている。姿勢変動画像Ａ２５１は、顔を上向きに変換した画像である。姿勢変動画像Ｂ２５２は、顔を右向きに変換した画像である。姿勢変動画像Ｃ２５３は、顔を下向きに変換した画像である。姿勢変動画像Ｄ２５４は、顔を左向きに変換した画像である。これらの姿勢変動画像は、前記姿勢補正手段１２１に用いられた方法を利用して変換することができる。照明変動画像２５５は、入力画像２５０に対して照明による明暗の変化を付加した画像であり、例えば入力画像２５０の画素値を全体的に明るく、または暗くする方法で実現することができる。表情変動画像２５６は、顔の表情を変化させて笑顔に変換した画像である。変換方法は、例えば両方の口もとを上にあげて両目を細くするなどの変形を加えることで実現することができる。元画像２５７は入力画像そのままのデータである。
【００６９】
また変動画像生成手段１８１は、同じ変動でもパラメータを複数段階に変化させたものを複数出力することができる。例えば右向きの姿勢変動の場合には、右１５度回転と右３０度回転と右４５度回転の３種類の変換画像を同時に出力することができる。また、姿勢変動と照明変動など、異なる変動要因を組み合わせた変換を施した画像を出力することができる。
【００７０】
変動画像生成手段１８１によって生成された複数の変動画像群は、部分画像取得手段１１１と特徴抽出手段１１２によって、領域別辞書特徴ベクトル群に変換される。
【００７１】
登録画像部分領域抽出手段１８０によって生成された領域別辞書特徴ベクトル群は、辞書データ生成手段８によって複数の辞書レコードに変換されるか、あるいは図２７に示す辞書データ生成手段１９０によって、主成分データが生成される。主成分データが生成された場合は、図５の概念図に示された方法によって入力画像を照合する。
【００７２】
辞書登録側で変動画像を生成しておくことにより、入力画像中の物体の姿勢や照明環境が変化しても、登録側にあらかじめ想定された変動画像が登録されているため、正確に照合することができる。
【００７３】
次に、図１５を参照して本実施形態の全体の動作について詳細に説明する。図１５は本発明に係る画像認識システムの全体の動作を示すフローチャートである。まず、識別対象の入力画像データを入力する（ステップＡ１）。次に入力画像をＰ個の部分領域に分割し、部分領域ごとに特徴ベクトルの抽出を行う（ステップＡ２）。次に辞書データを参照し、部分領域ごとに登録画像との距離を算出する（ステップＡ３）。次に、Ｐ個の部分領域ごとの距離値を用いて、１つの統合距離値を算出する（ステップＡ４）。登録カテゴリの中で最小の距離値を算出する（ステップＡ５）。次に最小距離がしきい値より小さいかどうかを判定する（ステップＡ６）。最小距離がしきい値よりも小さいときは、最小距離を持つカテゴリを認識結果として出力する（ステップＡ７）。最小距離がしきい値よりも大きいときは、該当カテゴリなしを出力する（ステップＡ８）。
【００７４】
次に図１６を参照して本実施形態の辞書データ学習の動作について説明する。図１６は辞書データ学習の動作を示すフローチャートである。登録画像データと対応するカテゴリＩＤを入力する（ステップＢ１）。次に登録画像をＰ個の部分領域に分割する（ステップＢ２）。次に各部分領域に属する画像データを用いて、部分領域ごとに辞書データを生成する（ステップＢ３）。辞書データを辞書データ格納手段に保存する（ステップＢ４）。以上の動作を必要なだけ繰り返す。
【００７５】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。図１７は本発明の第２の実施の形態の構成図である。本発明の第２の実施の形態は、プログラム制御により動作するコンピュータ２００と、画像認識プログラムを記録した記録媒体２０１と、カメラ２０４と、操作卓２０２と、表示装置２０３とから構成されている。この記録媒体２０１は磁気ディスク、半導体メモリその他の記録媒体であってよい。
【００７６】
コンピュータ２００は、照合部１と登録部７と辞書格納手段５と部分領域情報記憶手段６とを実現するプログラムをロードして実行する。プログラムは記憶媒体２０１に保存され、コンピュータ２００は記憶媒体２０１からプログラムを読み出して実行する。プログラムは図１５と図１６のフローチャートに示す動作を行う。本実施例では入力画像はカメラ２０４から入力され、認識結果は表示装置２０３に表示される。認識の指示、学習の指示は操作卓２０２からオペレータが行う。
【００７７】
【発明の効果】
本発明による画像認識システムによれば、前記入力画像の部分領域とこれと対応する前記登録画像の部分領域とのパターン間距離を算出し、各部分領域の前記パターン間距離に基づき前記入力画像を識別する照合手段を含むため、照明変動や、オクルージョンの状態に関係なく、入力画像を正しく分類することが可能となる。又、本発明による画像認識方法及びプログラムも上記画像認識システムと同様の効果を奏する。
【００７８】
具体的に説明すると、本発明の効果は、画像中の複数の部分領域を独立に照合し、それらの結果を統合することにより、照明変動や、オクルージョンの影響を低減し、入力画像を正しく識別できることである。その理由は、照明変動やオクルージョンによってスコアが異常となる部分領域を、距離値統合時に排除することができるからである。
【図面の簡単な説明】
【図１】本発明に係る画像認識システムの第１の実施の形態の構成図である。
【図２】本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。
【図３】パターン間距離算出手段４０の構成図である。
【図４】パターン間距離算出手段５０の構成図である。
【図５】本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。
【図６】領域距離値統合手段７０の構成図である。
【図７】領域距離値統合手段８０の構成図である。
【図８】本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。
【図９】識別手段９０の構成図である。
【図１０】辞書格納手段１００の構成図である。
【図１１】照合部２１の構成図である。
【図１２】照合部３１の構成図である。
【図１３】パターン間距離算出手段６０の構成図である。
【図１４】本発明に係る画像認識システムのパターン間距離算出方式を示す概念図である。
【図１５】本発明に係る画像認識システムの全体の動作を示すフローチャートである。
【図１６】辞書データ学習の動作を示すフローチャートである。
【図１７】本発明の第２の実施の形態の構成図である。
【図１８】入力画像部分領域抽出手段１１０の構成図である。
【図１９】特徴抽出手段１３０の構成図である。
【図２０】入力画像部分領域抽出手段１２０の構成図である。
【図２１】姿勢補正方法を示す概念図である。
【図２２】楕円体モデルの一例を示す図である。
【図２３】標準３次元顔モデルの一例を示す図である。
【図２４】登録画像部分領域抽出手段１６０の構成図である。
【図２５】登録画像部分領域抽出手段１７０の構成図である。
【図２６】登録画像部分領域抽出手段１８０の構成図である。
【図２７】辞書データ生成手段１９０の構成図である。
【図２８】変動画像生成方法を示す概念図である。
【図２９】従来の画像認識システムの一例の構成図である。
【符号の説明】
１ 照合部
２ 入力画像部分領域抽出手段
３ パターン間距離算出手段
４ 識別手段
５ 辞書格納手段
６ 部分領域情報記憶手段
７ 登録部
８ 登録画像部分領域抽出手段
９ 辞書データ生成手段
１０ 領域距離値統合手段
２１ 照合部
２２ 入力画像列平滑化部
３１ 照合部
３２ 入力主成分生成部
３３ パターン間距離算出手段
４０ パターン間距離算出手段
４１ ノルム算出手段
５０ パターン間距離算出手段
５１ 部分空間投影距離算出手段
６０ パターン間距離算出手段
６１ 部分空間間距離算出手段
７０ 領域距離値統合手段
７１ 加重平均値算出手段
８０ 領域距離値統合手段
８１ 距離値ソート手段
８２ 距離値上位平均算出手段
９０ 識別手段
９１ 最小値算出手段
９２ しきい値処理手段
１００ 辞書格納手段
１０１ レコード記憶部
１０２ レコード番号
１０３ 領域別辞書データ
１０４ カテゴリＩＤ
１１０ 入力画像部分領域抽出手段
１１１ 部分画像取得手段
１１２ 特徴抽出手段
１２０ 入力画像部分領域抽出手段
１２１ 姿勢補正手段
１３０ 特徴抽出手段
１３１ フーリエスペクトル変換手段
１４０ 入力画像A
１４１ 入力画像B
１４２ 入力画像C
１４３ 入力画像D
１４４ 姿勢補正画像
１５０ 楕円体モデル
１５１ 標準３次元顔モデル
１６０ 登録画像部分領域抽出手段
１７０ 登録画像部分領域抽出手段
１８０ 登録画像部分領域抽出手段
１８１ 変動画像生成手段
１９０ 辞書データ生成手段
１９１ 主成分データ生成手段
２００ コンピュータ
２０１ 記憶媒体
２０２ 操作卓
２０３ 表示装置
２０４ カメラ
２１０ 画像入力部
２１１ 部分空間間の角度計算部
２１２ 認識部
２１３ 辞書記憶部
２５０ 入力画像
２５１ 姿勢変動画像A
２５２ 姿勢変動画像B
２５３ 姿勢変動画像C
２５４ 姿勢変動画像D
２５５ 照明変動画像
２５６ 表情変動画像
２５７ 元画像
３００ 入力画像
３０１ 登録画像
３０２ 入力画像領域分割結果
３０３ 登録画像領域分割結果
３０４ 部分領域Ａ入力画像
３０５ 部分領域Ａ登録画像
３０６ 照合対
３０７ 部分領域Ａ入力特徴ベクトル
３０８ 部分領域Ａ辞書特徴ベクトル
３０９ 領域別入力特徴ベクトル
３１０ 領域別辞書特徴ベクトル
３２０ 入力画像シーケンス
３２１ 登録画像シーケンス
３２２ 入力画像領域分割結果
３２３ 登録画像領域分割結果
３２４ 部分領域Ａ入力シーケンス
３２５ 部分領域Ａ登録シーケンス
３２６ 部分領域Ａ入力主成分データ
３２７ 部分領域Ａ辞書主成分データ
３２８ 照合対
３２９ 領域別入力主成分データ
３３０ 領域別辞書主成分データ
３４０ 入力画像
３４１ 登録画像シーケンス
３４２ 入力画像領域分割結果
３４３ 登録画像領域分割結果
３４４ 部分領域Ａ入力画像
３４５ 部分領域Ａ登録シーケンス
３４６ 照合対
３４７ 部分領域Ａ入力特徴ベクトル
３４８ 部分領域Ａ辞書主成分データ
３４９ 領域別入力特徴ベクトル
３５０ 領域別辞書主成分データ
４００ 入力画像
４０１ 登録画像
４０２ 低照合スコア部分領域群
４０３ 高照合スコア部分領域群
４０４ 部分領域距離値マップ
Claims (3)
- 入力画像における複数の部分領域と、登録画像の該当する部分領域との複数のパターン間距離値を算出するパターン間距離算出手段と、
前記複数のパターン間距離値を用いて前記入力画像を識別する識別手段とを含む画像認識システムであって、
前記識別手段は、前記複数のパターン間距離値の中から距離値の小さい順に所定の数だけを用いて算出された統合距離値を用いて前記入力画像を識別し、
かつ、複数のパターン間距離値の中で、統合距離値の算出に用いる距離値の数を、前記複数のパターン間距離値に応じて変化させることを特徴とする画像認識システム。 - パターン間距離算出手段が入力画像における複数の部分領域と、登録画像の該当する部分領域との複数のパターン間距離値を算出するパターン間距離算出ステップと、
識別手段が前記複数のパターン間距離値を用いて前記入力画像を識別する識別ステップとを含む画像認識方法であって、
前記識別ステップでは、前記識別手段が前記複数のパターン間距離値の中から距離値の小さい順に所定の数だけを用いて算出された統合距離値を用いて前記入力画像を識別し、
かつ、複数のパターン間距離値の中で、統合距離値の算出に用いる距離値の数を、前記複数のパターン間距離値に応じて変化させることを特徴とする画像認識方法。 - パターン間距離算出手段が入力画像における複数の部分領域と、登録画像の該当する部分領域との複数のパターン間距離値を算出するパターン間距離算出ステップと、
識別手段が前記複数のパターン間距離値を用いて前記入力画像を識別する識別ステップとを含む画像認識方法のプログラムを実行するコンピュータに、
前記識別手段が前記複数のパターン間距離値の中から距離値の小さい順に所定の数だけを用いて算出された統合距離値を用いて前記入力画像を識別し、
かつ、複数のパターン間距離値の中で、統合距離値の算出に用いる距離値の数を、前記複数のパターン間距離値に応じて変化させるステップを実行させるためのプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002272601A JP4161659B2 (ja) | 2002-02-27 | 2002-09-19 | 画像認識システム及びその認識方法並びにプログラム |
| US10/373,167 US7532745B2 (en) | 2002-02-27 | 2003-02-26 | Image recognition system and recognition method thereof, and program |
| US12/409,623 US8027522B2 (en) | 2002-02-27 | 2009-03-24 | Image recognition system and recognition method thereof and program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002-50644 | 2002-02-27 | ||
| JP2002050644 | 2002-02-27 | ||
| JP2002272601A JP4161659B2 (ja) | 2002-02-27 | 2002-09-19 | 画像認識システム及びその認識方法並びにプログラム |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008066928A Division JP2008217803A (ja) | 2002-02-27 | 2008-03-17 | 画像認識システム及びその認識方法並びにプログラム |
| JP2008150018A Division JP4803214B2 (ja) | 2002-02-27 | 2008-06-09 | 画像認識システム及びその認識方法並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003323622A JP2003323622A (ja) | 2003-11-14 |
| JP4161659B2 true JP4161659B2 (ja) | 2008-10-08 |
Family
ID=27759705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002272601A Expired - Lifetime JP4161659B2 (ja) | 2002-02-27 | 2002-09-19 | 画像認識システム及びその認識方法並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7532745B2 (ja) |
| JP (1) | JP4161659B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012226616A (ja) * | 2011-04-20 | 2012-11-15 | Canon Inc | パターン認識装置、パターン認識方法及びプログラム |
| JP2013239211A (ja) * | 2002-02-27 | 2013-11-28 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| US9041828B2 (en) | 2010-08-17 | 2015-05-26 | Canon Kabushiki Kaisha | Imaging apparatus, imaging method, image processing apparatus, and image processing method for a set execution condition |
| US9092662B2 (en) | 2009-12-24 | 2015-07-28 | Canon Kabushiki Kaisha | Pattern recognition method and pattern recognition apparatus |
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Families Citing this family (72)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4161659B2 (ja) * | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | 画像認識システム及びその認識方法並びにプログラム |
| AU2003285161A1 (en) * | 2002-11-08 | 2004-06-03 | Data Flow / Alaska, Inc. | System for uniquely identifying subjects from a target population |
| JP3842233B2 (ja) * | 2003-03-25 | 2006-11-08 | ファナック株式会社 | 画像処理装置及びロボットシステム |
| AU2004285183A1 (en) | 2003-10-30 | 2005-05-12 | Nec Corporation | Estimation system, estimation method, and estimation program for estimating object state |
| EP1722331B1 (en) | 2004-03-03 | 2010-12-01 | NEC Corporation | Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program |
| EP1574988B1 (en) * | 2004-03-08 | 2014-06-18 | Siemens Product Lifecycle Management Software Inc. | Determining and using geometric feature data |
| JP4606955B2 (ja) * | 2004-07-07 | 2011-01-05 | 三星電子株式会社 | 映像認識システム、映像認識方法、映像補正システムおよび映像補正方法 |
| US20060023921A1 (en) * | 2004-07-27 | 2006-02-02 | Sanyo Electric Co., Ltd. | Authentication apparatus, verification method and verification apparatus |
| WO2006030519A1 (ja) * | 2004-09-17 | 2006-03-23 | Mitsubishi Denki Kabushiki Kaisha | 顔認証装置及び顔認証方法 |
| US20060165264A1 (en) * | 2005-01-26 | 2006-07-27 | Hirofumi Saitoh | Method and apparatus for acquiring images, and verification method and verification apparatus |
| FR2884007A1 (fr) * | 2005-03-29 | 2006-10-06 | France Telecom | Procede d'identification de visages a partir d'images de visage, dispositif et programme d'ordinateur correspondants |
| JP2006338092A (ja) * | 2005-05-31 | 2006-12-14 | Nec Corp | パタン照合方法、パタン照合システム及びパタン照合プログラム |
| US7801392B2 (en) | 2005-07-21 | 2010-09-21 | Fuji Xerox Co., Ltd. | Image search system, image search method, and storage medium |
| JP2007026386A (ja) * | 2005-07-21 | 2007-02-01 | Fuji Xerox Co Ltd | 画像検索システム及び方法 |
| US8306277B2 (en) * | 2005-07-27 | 2012-11-06 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method, and computer program for causing computer to execute control method of image processing apparatus |
| JP4708909B2 (ja) * | 2005-08-09 | 2011-06-22 | 富士フイルム株式会社 | デジタル画像の対象物検出方法および装置並びにプログラム |
| JP2007148872A (ja) * | 2005-11-29 | 2007-06-14 | Mitsubishi Electric Corp | 画像認証装置 |
| JP4756589B2 (ja) * | 2005-12-07 | 2011-08-24 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP4196302B2 (ja) | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4905931B2 (ja) * | 2006-07-04 | 2012-03-28 | 富士フイルム株式会社 | 人体領域抽出方法および装置並びにプログラム |
| US8103090B2 (en) * | 2007-01-22 | 2012-01-24 | Honeywell International Inc. | Behavior and pattern analysis using multiple category learning |
| JP4845755B2 (ja) | 2007-01-30 | 2011-12-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| JP4999570B2 (ja) | 2007-06-18 | 2012-08-15 | キヤノン株式会社 | 表情認識装置及び方法、並びに撮像装置 |
| EP2009638A1 (en) * | 2007-06-28 | 2008-12-31 | THOMSON Licensing | Video copy prevention if the difference betweeen the fingerprints before and after its modification is above a threshold |
| JP4974788B2 (ja) | 2007-06-29 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
| JP4950787B2 (ja) * | 2007-07-12 | 2012-06-13 | 株式会社東芝 | 画像処理装置及びその方法 |
| CN101965588A (zh) * | 2008-01-31 | 2011-02-02 | 伊利诺伊大学评议会 | 经高维数据分类的识别 |
| JP5531963B2 (ja) | 2008-11-19 | 2014-06-25 | 日本電気株式会社 | 認証システム、装置、認証方法及びプログラム |
| JP5247480B2 (ja) | 2009-01-13 | 2013-07-24 | キヤノン株式会社 | オブジェクト識別装置及びオブジェクト識別方法 |
| CN102292745B (zh) * | 2009-01-23 | 2015-08-12 | 日本电气株式会社 | 图像签名提取设备 |
| US8270724B2 (en) * | 2009-03-13 | 2012-09-18 | Nec Corporation | Image signature matching device |
| JP5791751B2 (ja) * | 2009-06-18 | 2015-10-07 | キヤノン株式会社 | 画像認識方法及び画像認識装置 |
| JP5538967B2 (ja) * | 2009-06-18 | 2014-07-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| US8498694B2 (en) * | 2009-07-13 | 2013-07-30 | Entrotech, Inc. | Subcutaneous access device and related methods |
| JP5385759B2 (ja) | 2009-10-30 | 2014-01-08 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5424819B2 (ja) | 2009-11-04 | 2014-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP2011113318A (ja) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
| JP5554987B2 (ja) | 2009-12-28 | 2014-07-23 | キヤノン株式会社 | オブジェクト識別装置及びその制御方法 |
| JP5447647B2 (ja) * | 2010-03-08 | 2014-03-19 | 富士通株式会社 | 生体認証装置、生体認証プログラム及び方法 |
| TWI447658B (zh) * | 2010-03-24 | 2014-08-01 | Ind Tech Res Inst | 人臉影像擷取方法與裝置 |
| JP5926881B2 (ja) * | 2010-03-30 | 2016-05-25 | 富士機械製造株式会社 | 画像処理用部品データ作成方法及び画像処理用部品データ作成装置 |
| JP5675145B2 (ja) | 2010-03-30 | 2015-02-25 | キヤノン株式会社 | パターン認識装置及びパターン認識方法 |
| US8400504B2 (en) | 2010-04-05 | 2013-03-19 | King Fahd University Of Petroleum And Minerals | Contamination monitoring of high voltage insulators |
| TWI453680B (zh) | 2010-10-08 | 2014-09-21 | Micro Star Int Co Ltd | 可抑制雜訊及環境影響之臉部辨識方法 |
| KR101760258B1 (ko) * | 2010-12-21 | 2017-07-21 | 삼성전자주식회사 | 얼굴 인식 장치 및 그 방법 |
| WO2012124000A1 (ja) * | 2011-03-17 | 2012-09-20 | 日本電気株式会社 | 画像認識システム、画像認識方法および画像認識用プログラムが格納された非一時的なコンピュータ可読媒体 |
| JP5801601B2 (ja) * | 2011-05-10 | 2015-10-28 | キヤノン株式会社 | 画像認識装置、画像認識装置の制御方法、およびプログラム |
| JP2012252447A (ja) * | 2011-06-01 | 2012-12-20 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP5755046B2 (ja) * | 2011-06-22 | 2015-07-29 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
| JPWO2013035150A1 (ja) * | 2011-09-05 | 2015-03-23 | 株式会社モルフォ | 顔認証システム、顔認証方法、および顔認証プログラム |
| EP2590140A1 (en) | 2011-09-05 | 2013-05-08 | Morpho, Inc. | Facial authentication system, facial authentication method, and facial authentication program |
| KR101901591B1 (ko) * | 2011-11-01 | 2018-09-28 | 삼성전자주식회사 | 얼굴 인식 장치 및 그 제어방법 |
| CN103164713B (zh) | 2011-12-12 | 2016-04-06 | 阿里巴巴集团控股有限公司 | 图像分类方法和装置 |
| US10163063B2 (en) * | 2012-03-07 | 2018-12-25 | International Business Machines Corporation | Automatically mining patterns for rule based data standardization systems |
| JP6056354B2 (ja) * | 2012-10-10 | 2017-01-11 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP6430102B2 (ja) * | 2013-05-21 | 2018-11-28 | 沖電気工業株式会社 | 人物属性推定装置、人物属性推定方法及びプログラム |
| JP6351243B2 (ja) * | 2013-11-28 | 2018-07-04 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP6292911B2 (ja) * | 2014-02-07 | 2018-03-14 | キヤノン株式会社 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
| US10380204B1 (en) | 2014-02-12 | 2019-08-13 | Pinterest, Inc. | Visual search |
| US9524447B2 (en) * | 2014-03-05 | 2016-12-20 | Sizhe Tan | Searching 2D image based on transformed 1D data matching |
| US9058517B1 (en) * | 2014-04-16 | 2015-06-16 | I.R.I.S. | Pattern recognition system and method using Gabor functions |
| US9519618B2 (en) * | 2014-06-03 | 2016-12-13 | Mitsubishi Electric Research Laboratories, Inc. | System and method for determining distance between signals |
| JP6630999B2 (ja) * | 2014-10-15 | 2020-01-15 | 日本電気株式会社 | 画像認識装置、画像認識方法、および、画像認識プログラム |
| JP6490441B2 (ja) * | 2015-02-12 | 2019-03-27 | 株式会社東芝 | 画像評価装置、画像評価方法およびプログラム |
| US9430697B1 (en) * | 2015-07-03 | 2016-08-30 | TCL Research America Inc. | Method and system for face recognition using deep collaborative representation-based classification |
| US9911188B1 (en) * | 2016-04-13 | 2018-03-06 | Yowza LTD. | Highly accurate alignment between three dimensional objects |
| JP6975882B2 (ja) * | 2016-08-08 | 2021-12-01 | パナソニックＩｐマネジメント株式会社 | 照合装置および照合結果表示方法 |
| DE102016115837A1 (de) * | 2016-08-25 | 2018-03-01 | Werner Scholzen | Verfahren für die Urheberschaftsbewertung eines Gemäldes sowie eine entsprechende Verwendung |
| US10747994B2 (en) * | 2016-12-28 | 2020-08-18 | Captricity, Inc. | Identifying versions of a form |
| JP7215485B2 (ja) * | 2018-08-23 | 2023-01-31 | 日本電気株式会社 | 物体照合装置 |
| JP6852779B2 (ja) * | 2019-12-12 | 2021-03-31 | 日本電気株式会社 | 画像認識装置、画像認識方法、および、画像認識プログラム |
| CN113486918B (zh) * | 2021-05-19 | 2024-06-11 | 浙江大华技术股份有限公司 | 基于动态调整特征向量分布趋势的图像识别方法及其设备 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US574775A (en) * | 1897-01-05 | Car-door fastener and protector | ||
| GB2190778B (en) * | 1986-05-19 | 1990-04-25 | Ricoh Kk | Character recognition with variable subdivisions of a character region |
| JPH0343877A (ja) * | 1989-07-12 | 1991-02-25 | Omron Corp | 画像照合装置 |
| JPH0520442A (ja) | 1991-07-17 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像照合装置 |
| JPH0573663A (ja) | 1991-09-17 | 1993-03-26 | Nippon Telegr & Teleph Corp <Ntt> | ３次元物体の画像認識法 |
| JP3123587B2 (ja) * | 1994-03-09 | 2001-01-15 | 日本電信電話株式会社 | 背景差分による動物体領域抽出方法 |
| JPH07254062A (ja) * | 1994-03-14 | 1995-10-03 | Yamatake Honeywell Co Ltd | 指紋照合装置 |
| JP2700440B2 (ja) * | 1994-04-19 | 1998-01-21 | エヌ・ティ・ティ・データ通信株式会社 | 物品識別システム |
| JP3724014B2 (ja) * | 1994-08-25 | 2005-12-07 | ソニー株式会社 | 画像認識装置および画像認識方法 |
| JPH08194716A (ja) | 1995-01-17 | 1996-07-30 | Canon Inc | 画像処理方法及びその装置 |
| JP3305551B2 (ja) | 1995-11-30 | 2002-07-22 | 日本電信電話株式会社 | 特定対称物体判定方法 |
| JPH103544A (ja) | 1996-06-14 | 1998-01-06 | Imeeji Joho Kagaku Kenkyusho | ジェスチャ認識装置 |
| JP2815045B2 (ja) * | 1996-12-16 | 1998-10-27 | 日本電気株式会社 | 画像特徴抽出装置，画像特徴解析装置，および画像照合システム |
| JP3894522B2 (ja) * | 1996-12-17 | 2007-03-22 | 本田技研工業株式会社 | 画像認識法 |
| JP3577908B2 (ja) | 1997-09-04 | 2004-10-20 | 富士通株式会社 | 顔画像認識システム |
| JPH11339049A (ja) | 1998-05-27 | 1999-12-10 | Hitachi Maxell Ltd | カード認証システム |
| JP4087953B2 (ja) | 1998-07-14 | 2008-05-21 | 株式会社東芝 | パターン認識装置及びその方法 |
| JP2000076400A (ja) | 1998-09-01 | 2000-03-14 | Sumitomo Electric Ind Ltd | Ｉｃカード及びアンテナコイル |
| JP2000090190A (ja) | 1998-09-14 | 2000-03-31 | Dainippon Printing Co Ltd | 個別管理情報検査装置 |
| US6263104B1 (en) * | 1998-12-31 | 2001-07-17 | Mcgrew Stephen P. | Method and apparatus for reading and verifying holograms |
| JP3886660B2 (ja) | 1999-03-11 | 2007-02-28 | 株式会社東芝 | 人物認識装置における登録装置及びその方法 |
| JP4398533B2 (ja) * | 1999-03-12 | 2010-01-13 | 富士通株式会社 | 画像追跡装置及び記録媒体 |
| JP4332649B2 (ja) | 1999-06-08 | 2009-09-16 | 独立行政法人情報通信研究機構 | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 |
| JP2001052182A (ja) * | 1999-08-13 | 2001-02-23 | Nippon Telegr & Teleph Corp <Ntt> | 個人認証方法及び個人認証プログラムを記録した記録媒体 |
| JP3848514B2 (ja) * | 2000-02-23 | 2006-11-22 | 富士通株式会社 | 顕著性算出装置及び方法 |
| JP2001283216A (ja) * | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
| JP4443722B2 (ja) | 2000-04-25 | 2010-03-31 | 富士通株式会社 | 画像認識装置及び方法 |
| JP2002024830A (ja) | 2000-07-05 | 2002-01-25 | Nec Corp | 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体 |
| US7221776B2 (en) * | 2001-10-31 | 2007-05-22 | Arcsoft, Inc. | Video stabilizer |
| JP4161659B2 (ja) * | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | 画像認識システム及びその認識方法並びにプログラム |
| KR100601957B1 (ko) * | 2004-07-07 | 2006-07-14 | 삼성전자주식회사 | 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치 |
-
2002
- 2002-09-19 JP JP2002272601A patent/JP4161659B2/ja not_active Expired - Lifetime
-
2003
- 2003-02-26 US US10/373,167 patent/US7532745B2/en not_active Expired - Lifetime
-
2009
- 2009-03-24 US US12/409,623 patent/US8027522B2/en not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013239211A (ja) * | 2002-02-27 | 2013-11-28 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| US9092662B2 (en) | 2009-12-24 | 2015-07-28 | Canon Kabushiki Kaisha | Pattern recognition method and pattern recognition apparatus |
| US9041828B2 (en) | 2010-08-17 | 2015-05-26 | Canon Kabushiki Kaisha | Imaging apparatus, imaging method, image processing apparatus, and image processing method for a set execution condition |
| JP2012226616A (ja) * | 2011-04-20 | 2012-11-15 | Canon Inc | パターン認識装置、パターン認識方法及びプログラム |
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11455864B2 (en) | 2018-07-25 | 2022-09-27 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Also Published As
| Publication number | Publication date |
|---|---|
| US20090190834A1 (en) | 2009-07-30 |
| US20030161504A1 (en) | 2003-08-28 |
| JP2003323622A (ja) | 2003-11-14 |
| US7532745B2 (en) | 2009-05-12 |
| US8027522B2 (en) | 2011-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4161659B2 (ja) | 画像認識システム及びその認識方法並びにプログラム | |
| JP5574033B2 (ja) | 画像認識システム及びその認識方法並びにプログラム | |
| US9053388B2 (en) | Image processing apparatus and method, and computer-readable storage medium | |
| US8300950B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| US7912253B2 (en) | Object recognition method and apparatus therefor | |
| US6671391B1 (en) | Pose-adaptive face detection system and process | |
| Poon et al. | Performance evaluation and comparison of PCA Based human face recognition methods for distorted images | |
| CN110838119B (zh) | 人脸图像质量评估方法、计算机装置及计算机可读存储介质 | |
| US8861803B2 (en) | Image recognition apparatus, image recognition method, and program | |
| JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
| Geetha et al. | 3D face recognition using Hadoop | |
| CN112183422A (zh) | 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质 | |
| Sedai et al. | Evaluating shape and appearance descriptors for 3D human pose estimation | |
| Lv et al. | Real-time face detection based on skin-color model and morphology filters | |
| Verma et al. | Face recognition using open cv | |
| Schimbinschi et al. | Ensemble methods for robust 3D face recognition using commodity depth sensors | |
| Sevcenco et al. | Perfect histogram matching PCA for face recognition | |
| Freitas | 3D face recognition under unconstrained settings using low-cost sensors | |
| Kahraman et al. | Illumination invariant face alignment using multi-band active appearance model | |
| Maity | 3D Ear Biometrics and Surveillance Video Based Biometrics | |
| Chen et al. | UAV-based distributed ATR under realistic simulated environmental effects | |
| Xavier et al. | Face Recognition through Different Facial Expressions for Women Security: A Survey | |
| Fernandes et al. | Recognizing facial images using Gabor wavelets, DCT-neural network, hybrid spatial feature interdependence matrix | |
| Sagar et al. | Automatic Countenance Recognition Using DCT-PCA Technique of Facial Patches with High Detection Rate | |
| Straka et al. | Person independent head pose estimation by non-linear regression and manifold embedding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080609 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080714 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4161659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |