JP4439829B2 - データ分析装置およびデータ認識装置 - Google Patents
データ分析装置およびデータ認識装置 Download PDFInfo
- Publication number
- JP4439829B2 JP4439829B2 JP2003065517A JP2003065517A JP4439829B2 JP 4439829 B2 JP4439829 B2 JP 4439829B2 JP 2003065517 A JP2003065517 A JP 2003065517A JP 2003065517 A JP2003065517 A JP 2003065517A JP 4439829 B2 JP4439829 B2 JP 4439829B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency distribution
- difference
- point
- luminance
- arbitrary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを分析するデータ分析装置に関する。本発明は、また、そのデータ分析装置を用いたデータ認識装置に関し、特に、顔などの画像認識装置として有効なデータ認識装置に関する。
【０００２】
【従来の技術】
最近、顔、音声、指紋、虹彩パターンなどのような、個人の生物測定学的な特徴を利用する個人の識別/認証システムが注目を集めている。それらの中で、顔認識は、それが、人間が行うのと同じであり、特別の設備を使用する必要がないので、人を識別する最も自然で最も有効である方法であると考えられる。顔認識では、個人の顔の特徴抽出が、より効果的なシステムの作成の鍵である。多くの特徴抽出技術が提案されたが、これらの技術はかなり複雑であり、リアルタイムの顔認識へそれらを適用することは困難である。
【０００３】
最近、非常に簡便で、高度に信頼できる、ベクトル量子化（ＶＱ）アルゴリズムに基づいた顔認識方法が提案された（非特許文献１）。
【０００４】
特許文献１及び特許文献２にも同様のデータ認識装置が開示されている。
【０００５】
【特許文献１】
特開２０００−１０１４３７号公報
【０００６】
【特許文献２】
特開２００２−２０３２４１号公報
【０００７】
【非特許文献１】
K.Kotani, C.Qiu, and T.Ohmi, “Face Recognition Using Vector Quantization Histogram Method,” Proc.2002 Int. Conf. on Image Processing, Vol. II of III, pp.II-105-II-108, 2002.
【０００８】
【発明が解決しようとする課題】
この顔認識方法は、顔画像のＶＱ処理によって得られたコードベクトル毎の使用頻度から生成されたヒストグラムが非常に有効な個人の特徴抽出手法として利用された。顔画像に適切なフィルタ処理およびＶＱ処理を適用することによって、顔認識に有用な特徴を抽出することができる。ＡＴ＆Ｔの顔のデータ・ベースでテストした実験結果は、９５．６％の認識率を示した。１．１ＧＨｚのパーソナルコンピュータを使用したとき、一つの画像のための処理時間は、１９４ミリ秒である。ＶＱヒストグラム法はそれ以前の顔認識方法よりはるかに簡便でより速いが、それはビデオレート（動画像は一秒間に３０フレームであり、ビデオレートとは１フレーム分の３３ミリ秒程度の画像認識速度をいう。）認識などの高速データ認識への適用に十分ではない。
【０００９】
本発明の課題は、高い処理速度を達成するデータ分析装置及びそのデータ分析装置を用いたデータ認識装置を提供し、高速データ認識を可能とすることにある。
【００１０】
【課題を解決するための手段】
本発明によるデータ分析装置及びデータ認識装置は、以下のとおりである。
【００１１】
（１） 画像に対して、画像上の任意の一点と第一の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第一の輝度差分とし、前記任意の一点と、前記第一の方向とは異なる第二の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第二の輝度差分とする計算を、前記画像上の複数点について行う差分計算手段と、
上記差分計算手段により前記画像上の複数点の各々について得られた第一の輝度差分と第二の輝度差分で構成されるベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段とを備えたことを特徴とするデータ分析装置。
【００１２】
（２） 上記（１）項に記載のデータ分析装置において、前記頻度分布生成手段により生成される前記複数領域の頻度分布から、少なくとも一部分の領域に対する頻度分布を抽出して特徴データを生成することを特徴とするデータ分析装置。
【００１３】
（３） 上記（１）又は（２）項に記載のデータ分析装置において、前記差分計算手段が前記画像に対して前記計算を行う前に、前記画像に対してフィルタ処理を施すことを特徴とするデータ分析装置。
【００１４】
（４） 少なくとも一つ以上の画像に対する一つ以上の頻度分布の情報を記憶する頻度分布記憶手段と、
画像に対して、画像上の任意の一点と第一の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第一の輝度差分とし、前記任意の一点と、前記第一の方向とは異なる第二の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第二の輝度差分とする計算を、前記画像上の複数点について行う差分計算手段と、
上記差分計算手段により前記画像上の複数点の各々について得られた第一の輝度差分と第二の輝度差分で構成されるベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段と、
前記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較する比較手段とを備えたことを特徴とするデータ認識装置。
【００１５】
（５） 上記（４）項に記載のデータ認識装置において、上記比較手段は、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各頻度分布の中から、所定の比較関数によって特定される頻度分布を選び出すものであることを特徴とするデータ認識装置。
【００１６】
（６） 上記（５）項に記載のデータ認識装置において、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布は、該頻度分布生成手段により生成される前記複数領域の頻度分布から、一部分の領域に対する頻度分布を抽出したものであることを特徴とするデータ認識装置。
【００１７】
（７） 上記（４）〜（６）項のいずれかに記載のデータ認識装置において、前記差分計算手段が前記画像に対して前記計算を行う前に、前記画像に対してフィルタ処理を施すことを特徴とするデータ認識装置。
【００１８】
（８） 入力される画像データに対してフィルタ処理を施すフィルタ手段と、
上記フィルタ手段によりフィルタ処理の施された画像データに対して、画面上の任意の一点のx方向の輝度差分dIxを前記任意の一点の輝度値と前記任意の一点の右側点又は左側点の輝度値との差とし、前記任意の一点のy方向の輝度差分dIyを前記任意の一点の輝度値と前記任意の一点の下側点又は上側点の輝度値との差とする計算を、前記画面上の複数点について行う差分計算手段と、
上記差分計算手段により前記画面上の複数点の各々について得られたx方向の輝度差分とy方向の輝度差分で構成されるベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段と、
少なくとも１つ以上の頻度分布の情報を記憶する頻度分布記憶手段と、
上記頻度分布生成手段により生成された上記入力される画像データに関する頻度分布と上記頻度分布記憶手段内の各頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各頻度分布の中から、所定の比較関数によって特定される頻度分布を選び出す比較手段とを備えたことを特徴とするデータ認識装置。
【００１９】
（９） 入力される画像データに対して複数フィルタ処理を施す複数フィルタ手段と、
上記複数フィルタ手段によりフィルタ処理の施された画像データに対して、画面上の任意の一点のx方向の輝度差分dIxを前記任意の一点の輝度値と前記任意の一点の右側点又は左側点の輝度値との差とし、前記任意の一点のy方向の輝度差分dIyを前記任意の一点の輝度値と前記任意の一点の下側点又は上側点の輝度値との差とする計算を、前記画面上の複数点について行う差分計算手段と、
上記差分計算手段により前記画面上の複数点の各々について得られたx方向の輝度差分とy方向の輝度差分で構成されるベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割り当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段と、
前記複数領域の頻度分布の情報を、複数組、記憶する頻度分布記憶手段と、
上記頻度分布生成手段により生成された上記入力される画像データに関する頻度分布と上記頻度分布記憶手段内の各組の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各組の頻度分布の中から、所定の比較関数によって特定される１組の頻度分布を選び出す比較手段とを備えたことを特徴とするデータ認識装置。
【００２０】
（１０） 上記（５）、（６）、（８）、及び（９）項のいずれかに記載のデータ認識装置において、上記比較手段による比較の結果、上記所定の比較関数によって選び出される頻度分布が上記頻度分布記憶手段内にない場合、上記頻度分布生成手段により生成された頻度分布を上記頻度分布記憶手段に登録する頻度分布登録手段を備えたことを特徴とするデータ認識装置。
【００２１】
【発明の実施の形態】
次に本発明の実施例について図面を参照して説明する。
【００２２】
本発明者等は、高速データ認識（例えばビデオレート顔認識）を可能とする、隣接ピクセル輝度差分量子化(ＡＰＩＤＱ:Adjacent Pixcel Intensity Difference Quantization)ヒストグラム法と呼ばれる新規で非常に簡便で効果的な高速データ認識方法を開発した。
【００２３】
図１は、本発明の一実施例によるデータ認識装置で用いる隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法の処理ステップを示している。
【００２４】
まず、図１を参照して本発明の一実施例で用いる隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法を概略的に説明する。
【００２５】
図１において、顔画像は、後述するローパスフィルタリング（ステップＳ１）を受け、隣接ピクセル輝度差分が計算される（ステップＳ２）。
【００２６】
このステップＳ２において、入力画像中の各ピクセル（画素）位置では、２次元ベクトル（すなわち、水平方向において隣接したピクセル（画素）との輝度差分(dIx)および垂直方向において隣接したピクセル（画素）との輝度差分(dIy)から構成された輝度変化ベクトル）が計算される。入力画像中の各ピクセル位置の２次元ベクトル（dIxおよびdIyから構成された輝度変化ベクトル）は、輝度変化角度（θ）およびその量（r）に関する情報を含んでいる。
【００２７】
画像中のすべてのピクセルに対して計算された輝度変化ベクトルは、ｒ−θ平面にプロットされる（ステップＳ３（θ−r系への座標変換））。
【００２８】
その後、各ベクトルは、そのθ値およびｒ値に関して量子化される（ステップＳ４）。ｒ−θ平面において各量子化された領域に含まれる要素の数を数えることによって、ヒストグラムを生成することができる（ステップＳ５）。顔画像に対してＡＰＩＤＱによって得られたこのヒストグラムは、非常に有効な個人の特徴として利用される。
【００２９】
顔画像の前処理として適切なローパスフィルタとＡＰＩＤＱを組み合わせることによって、顔認識のための有用な特徴を抽出することができる。
【００３０】
実験の結果は、公に利用可能なＡＴ＆Ｔ（American Telephone and Telegraph Company）顔データ・ベースから、４０人の４００の画像(１人当たり１０の画像)に対して９５．７％の認識率を示す。量子化ステップでテーブル参照(ＴＬＵ)法を利用することによって、トータルの認識処理時間は、わずかに３１ミリ秒であり、ビデオレートでの顔認識を可能にする。
【００３１】
次に、図１の隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法の各ステップについて詳細に説明する。
【００３２】
図１に示した隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法は、特徴抽出手続きを除いてＶＱヒストグラム法に非常に似ている。前者（ＶＱヒストグラム）方法は、そのためのＶＱ処理を利用する。ＶＱヒストグラム法は、３３の規則的なコードベクトルから構成された非常に基礎的なコードブックを使用しており、直流成分を除去した輝度変化画像ブロックにＶＱ処理を適用した。これらはＶＱヒストグラム法の本質であるが、処理は単に、ブロックにおける輝度変化の方向および量を検出し量子化するだけである。ＡＰＩＤＱは、同様の処理をより簡便に行うことができる。
【００３３】
図１のステップＳ２について：
図２に示されたように、ＡＰＩＤＱにおいては、入力の顔画像の各ピクセルに対して、水平方向に隣接したピクセルとの輝度差分(dIx)および垂直方向に隣接したピクセルとの輝度差分(dIy)が、次の簡便な減算演算を用いて最初に計算される。
【００３４】
dIx(i、j)=I(i+1,j)-I(i,j)
dIy(i、j)=I(i,j+l)-I(i,j)
【００３５】
図１のステップＳ３について：
計算されたdIx,dIyのペアは、dIx-dIy平面において(0,0)を始点とする単一のベクトル（輝度変化ベクトル）を表わす。入力画像中のピクセルをすべて処理した後に、輝度変化ベクトルの終点は、図３に示されるようなdIx-dIy平面に分布される。輝度変化ベクトルの終点の分布(密度と形)は、入力顔画像の特徴を表わす。直交座標から極座標に座標系を変換することによって、当該ベクトルの角度θおよび距離ｒは輝度変化の方向および量をそれぞれ表わす。
【００３６】
図１のステップＳ４について：
それから、各輝度変化ベクトルはｒ−θ平面において量子化される。量子化テーブルの一例は図４の下方に示されている。量子化テーブル中の数０〜４９は、第０乃至第４９の量子化領域の指数（index numbers）をそれぞれ表わす。
【００３７】
例えば、図４の上方に示された輝度変化ベクトルのθは、３π／８とπ／８との間の領域にあり、その輝度変化ベクトルのｒは内側から３番目の領域（図４の下方の量子化テーブルではｒが２と４との間の領域に対応する）にある。従って、この図４の上方に示された輝度変化ベクトルは、図４の下方の量子化テーブルに基づいて、指数１０の量子化領域として量子化される。
【００３８】
図１のステップＳ５について：
各量子化領域に量子化されたベクトルの数は、カウントされる。カウント数は、横軸を量子化領域の指数０〜４９として生成されるヒストグラム（後に図６として図示）の頻度として棒状に表示される。例えば、図４の上方に図示のベクトルは、ヒストグラムにおける指数１０の１頻度を構成することになる。このヒストグラムは人間の顔の特徴ベクトルになる。
【００３９】
図１のステップＳ６について：
登録ステップＳ６では、このヒストグラムが個人の識別情報としてデータ・ベース１０に保存される。
【００４０】
図１のステップＳ７及びＳ８について：
認識ステップＳ７では、未知の入力顔画像からヒストグラムが作られ、登録された個人ヒストグラムに比較され、最も良くマッチしたものがデータ・ベースマッチングＳ８の認識結果として出力される。ヒストグラム間のマンハッタン距離（ＭＤ）がマッチングの度合いを示すものの一例として使用される。
【００４１】
図１のステップＳ１に戻って、ＡＰＩＤＱの前に、ローパスフィルタリングが、簡便な２次元移動平均フィルタ（moving average filter）を使用して、まず行われることに注意する。このローパスフィルタリングは、高周波ノイズの減少および認識のための最も有効な低周波コンポーネントの抽出にとって不可欠である。
【００４２】
認識アルゴリズムが非常に簡便で、開発された顔の特徴抽出方法が、従来の認識方法とは全く異なるので、単独で用いるだけでなく、最小の追加コストで、認識精度を増加させる形で、従来方法と組み合わせることが容易であり、また、非常に有効である。
【００４３】
次に、本発明を用いた顔認識実験の結果について説明する。
【００４４】
公に利用可能なＡＴ＆Ｔ顔データ・ベースを認識実験のために使用した。各人が、顔の角度、顔の表情、および照明条件で変化を持たせた、１０の顔画像を持った４０人の合計４００の画像が、データ・ベースに含まれてる。各画像は、９２×１１２の解像度を持っている。図５は、ＡＴ＆Ｔのデータ・ベースの典型的な画像のサンプルを示している。各人の１０の画像から、５つの画像が評価入力画像として選択され、残りの５つは、データベース登録画像として登録された。認識実験は、ローテーション法を使用して、２５２（＝１０Ｃ５）回の評価入力画像−データベース登録画像の組合せに対して、実行された。
【００４５】
次に、本発明による認識パフォーマンスについて説明する。
【００４６】
図６は、ヒストグラムの典型的な例を示す。別人のヒストグラムは明らかに異なる。しかしながら、同一人物の異なる画像のヒストグラムは、詳細には小さな違いがあるが、多くの場合類似している。ＡＰＩＤＱによって得られたヒストグラムが人を識別するための非常に有効な個人の特徴であると言える。
【００４７】
認識結果を図７に示す。図７において、認識率はフィルタ・サイズの関数として示されている。フィルタ・サイズは、平均値フィルタのコア(averaging filter core)のサイズを表わす。Ｆ３のサイズは、例えば、３×３フィルタコアのサイズを表わす。“Ｍａｘ”、“Ｍｉｎ”、および“Ａｖｅ”は、２５２（＝１０Ｃ５）回の評価入力画像−データベース登録画像の組合せに対する最良の場合の結果、最悪の場合の結果、および平均結果を、それぞれ表わす。認識率は、Ｆ３からＦ１９までのフィルタ・サイズに対しては、ほとんど一定であり、９５．７％という最も高い平均認識率が得られる。これは、同じ条件下でのＶＱヒストグラム法（９５．６％）の場合とほとんど同じである。認識パフォーマンスを下げる、例えば、しわ、局部的なヘアスタイル、画像取得条件、および時間経過による、詳細な顔の特徴は、ローパスフィルタの適用によって、除外される。顔の大まかな形状のような、重要な各人の顔の特徴だけが抽出される。更に、ＡＰＩＤＱ処理は、照明条件によって変化するピクセル輝度のｄｃ成分を効果的に除外することができる。これらの２つの効果の組合せによって、顔認識のために最も重要な情報を効果的に抽出することができる。
【００４８】
上述したように、ＡＰＩＤＱを使用した顔の特徴抽出に、ローパス・フィルタリングは非常に有効である。異なるサイズのフィルタの使用により異なる特徴を抽出することができることを期待することができる。したがって、より強力な個人の特徴情報は、多数のフィルタ・サイズを使用した多数の認識結果を組み合わせることにより得ることができる。実際上、異なるサイズのフィルタでの認識結果（類似性スコア）は最初に別々に得られ、次に、平均(averaging)により組み合わせられた。図８は、多数の(multiple)フィルタの使用により得られた認識結果を示している。ここで、Ｆ３、Ｆ５、Ｆ１７、およびＦ２３が、３×３、５×５、１７×１７、および２３×２３のフィルタ・サイズをそれぞれ表わしている。多数のフィルタの使用によって、認識率は、２％増加し、約９８％の平均認識率となる。
【００４９】
次に、本発明における認識スピードについて説明する。
【００５０】
認識アルゴリズムは、ＡＮＳＩＣを使用してプログラムされ、かつ、ＰＣ（ＡＭＤ Ａｔｈｒｏｎ １．１ＧＨｚ）上で実行された。ｒ−θ座標における量子化は、簡単な条件付き分岐（“ｉｆ”ステートメント）を介して実施される。ＡＴ＆Ｔデータ・ベース中の一つの画像に対する処理時間は、３７ミリ秒（ローパス・フィルタリングのために１５ミリ秒、ＡＰＩＤＱ処理のために７ミリ秒、およびデータ・ベースマッチングのために１５ミリ秒）であった。ＶＱヒストグラム法のＶＱ処理時間と比較して、ＡＰＩＤＱによって行われた顔の特徴抽出の処理時間は、１６４ミリ秒（ＶＱ）から７ミリ秒（ＡＰＩＤＱ）に減らされた。処理時間の大幅な短縮が達成された。更に、量子化に使用された簡単な条件付き分岐（“ｉｆ”ステートメント）が、計算速度にはそれほど有効でないので、“ｉｆ”ステートメントの代りに、テーブル参照（ＴＬＵ）法を使用することを試みた。ＴＬＵがｒ−θドメインに適用される場合、ＡＰＩＤＱ処理時間は、７ミリ秒から５ミリ秒に減じられた。更に、ＴＬＵは直接dIx-dIyドメインに適用され得る。その場合、ＡＰＩＤＱは、１ミリ秒以内になされ得て、トータル認識時間は３１ミリ秒になる。顔検出処理ステップは含まれないが、ビデオレートでの顔認識が可能になる。
【００５１】
以上説明したように、本発明は、ＡＰＩＤＱヒストグラム法と呼ばれる非常に速く高信頼性の顔認識方法を提供することができた。その顔認識方法は、適切なフィルタリング、輝度変化方向および量の量子化、およびヒストグラム生成および分析に基づく。９５．７％の認識率という大きな優れた顔認識パフォーマンスが、公に利用可能なＡＴ＆Ｔ顔データ・ベースの使用により確認された。
【００５２】
dIx-dIyドメインにテーブル参照（ＴＬＵ）法を直接利用することによって、トータルの認識処理時間は、わずか３１ミリ秒であり、ビデオレートでの顔認識を可能にする。
【００５３】
図１をまとめると、本発明の一実施例によるデータ認識装置は、以下のデータ分析装置１００を備えたものと考えることができる。
【００５４】
すなわち、データ分析装置１００は、
画像に対して、画像上の任意の一点と第一の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第一の輝度差分(dIx)とし、前記任意の一点と、前記第一の方向とは異なる（例えば、前記第一の方向に直交する）第二の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第二の輝度差分(dIy)とする計算を、前記画像上の複数点について行う差分計算手段（図１のＳ２）と、
上記差分計算手段により前記画像上の複数点の各々について得られた第一の輝度差分と第二の輝度差分で構成されるベクトル（輝度変化ベクトル）を所定の領域分割方法により分割された複数領域（図４の量子化テーブルの指数０〜４９にて表わされる領域）の一領域に割り当て、前記複数領域の各領域に割り当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段（図１のＳ３〜Ｓ５）とを備えている。
【００５５】
ここで、所定の領域分割方法は、上記実施例で用いた、輝度変化ベクトルをθ−r系への座標変換によりｒ−θ平面の複数領域の一領域に割り当てる方法に限定されるものではなく、この所定の領域分割方法として他の領域分割方法を用いても良い。
【００５６】
また、上記差分計算手段は、画像データに対して、画面上の任意の一点のx方向の輝度差分dIxを前記任意の一点の輝度値と前記任意の一点の右側点（又は左側点）の輝度値との差とし、前記任意の一点のy方向の輝度差分dIyを前記任意の一点の輝度値と前記任意の一点の下側点（又は上側点）の輝度値との差とする計算を、前記画面上の複数点について行うものであって良い。
【００５７】
なお、このデータ分析装置１００において、前記頻度分布生成手段により生成される前記複数領域の頻度分布から、少なくとも一部分の領域に対する頻度分布を抽出して特徴データを生成するようにしても良い。
【００５８】
本発明の一実施例によるデータ認識装置は、上記データ分析装置１００に加えて、以下の手段を備えているものと考えることができる。
【００５９】
すなわち、データ認識装置は、
少なくとも一つ以上の画像に対する一つ以上の頻度分布の情報を記憶する頻度分布記憶手段（図１のデータ・ベース１０）と、
前記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較する比較手段（図１のＳ８）とを備えている。
【００６０】
好ましくは、上記比較手段は、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各頻度分布の中から、所定の比較関数によって特定される頻度分布を選び出すものである。
【００６１】
なお、このデータ認識装置において、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布は、該頻度分布生成手段により生成される前記複数領域の頻度分布から、一部分の領域に対する頻度分布を抽出したものであっても良い。
【００６２】
なお、データ認識装置は、上記比較手段（図１のＳ８）による比較の結果、上記所定の比較関数によって選び出される頻度分布が上記頻度分布記憶手段内にない場合、上記頻度分布生成手段により生成された頻度分布を上記頻度分布記憶手段に登録する頻度分布登録手段（図１のＳ６）を備え手も良い。
【００６３】
また、データ認識装置は、入力される画像データに対してフィルタ処理を施すフィルタ手段（図１のＳ１）を、更に備え、前記差分計算手段は、このフィルタ手段によりフィルタ処理の施された画像データに対して、差分計算するようにしても良い。
【００６４】
このフィルタ手段（図１のＳ１）は、上記実施例で用いたローパスフィルタに限定されるものではなく、このフィルタ手段として他のフィルタを用いても良い。
【００６５】
代りに、入力される画像データに対して複数フィルタ処理を施す複数フィルタ手段を設け、この複数フィルタ手段によりフィルタ処理の施された画像データに対して、前記差分計算手段が、差分計算するようにしても良い。
【００６６】
この場合、データ認識装置は、前記複数領域の頻度分布の情報を、複数組、記憶する頻度分布記憶手段と、上記頻度分布生成手段により生成された上記入力される画像データに関する頻度分布と上記頻度分布記憶手段内の各組の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各組の頻度分布の中から、所定の比較関数によって特定される１組の頻度分布を選び出す比較手段とを備えても良い。
【００６７】
本発明は、上記実施例で述べた顔認識への適用に限定されるものではなく、一般の画像やその他の大容量データの高速データ認識に適用しても良いことはもちろんである。
【００６８】
【発明の効果】
以上説明したように、本発明によれば、高い処理速度を達成するデータ分析装置及びそのデータ分析装置を用いたデータ認識装置を得られ、高速データ認識や瞬時のデータ認識が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例によるデータ認識装置で用いる隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法の認識処理ステップを示したフローチャートである。
【図２】本発明の一実施例による隣接ピクセル輝度差分計算の説明に使用する図である。
【図３】本発明の一実施例の動作の説明に使用する図であり、（dIx,dIy)ベクトル分布の典型的な例を示した図である。
【図４】本発明の一実施例の動作の説明に使用する図であり、ｒ−θ平面及び量子化テーブルを示した図である。
【図５】本発明の一実施例で使用する、ＡＴ＆Ｔのデータ・ベースの典型的な顔画像のサンプルを示した図である。
【図６】本発明の一実施例の動作の説明に使用する図であり、ヒストグラムの典型的な例を示した図である。
【図７】本発明の一実施例の効果の説明に使用する図であり、認識成功率(Recognition success rate)をフィルタ・サイズの関数として示した図である。
【図８】本発明の一実施例の効果の説明に使用する図であり、多数のフィルタの使用によって得られた認識結果を示した図である。
【符号の説明】
Ｓ１ ローパスフィルタリング
Ｓ２ 隣接ピクセル輝度差分計算
Ｓ３ 座標系変換（θ−r）
Ｓ４ 量子化
Ｓ５ ヒストグラム生成
Ｓ６ 登録
Ｓ７ 認識
Ｓ８ データ・ベースマッチング
１０ データ・ベース
１００ データ分析装置
【発明の属する技術分野】
本発明は、画像データを分析するデータ分析装置に関する。本発明は、また、そのデータ分析装置を用いたデータ認識装置に関し、特に、顔などの画像認識装置として有効なデータ認識装置に関する。
【０００２】
【従来の技術】
最近、顔、音声、指紋、虹彩パターンなどのような、個人の生物測定学的な特徴を利用する個人の識別/認証システムが注目を集めている。それらの中で、顔認識は、それが、人間が行うのと同じであり、特別の設備を使用する必要がないので、人を識別する最も自然で最も有効である方法であると考えられる。顔認識では、個人の顔の特徴抽出が、より効果的なシステムの作成の鍵である。多くの特徴抽出技術が提案されたが、これらの技術はかなり複雑であり、リアルタイムの顔認識へそれらを適用することは困難である。
【０００３】
最近、非常に簡便で、高度に信頼できる、ベクトル量子化（ＶＱ）アルゴリズムに基づいた顔認識方法が提案された（非特許文献１）。
【０００４】
特許文献１及び特許文献２にも同様のデータ認識装置が開示されている。
【０００５】
【特許文献１】
特開２０００−１０１４３７号公報
【０００６】
【特許文献２】
特開２００２−２０３２４１号公報
【０００７】
【非特許文献１】
K.Kotani, C.Qiu, and T.Ohmi, “Face Recognition Using Vector Quantization Histogram Method,” Proc.2002 Int. Conf. on Image Processing, Vol. II of III, pp.II-105-II-108, 2002.
【０００８】
【発明が解決しようとする課題】
この顔認識方法は、顔画像のＶＱ処理によって得られたコードベクトル毎の使用頻度から生成されたヒストグラムが非常に有効な個人の特徴抽出手法として利用された。顔画像に適切なフィルタ処理およびＶＱ処理を適用することによって、顔認識に有用な特徴を抽出することができる。ＡＴ＆Ｔの顔のデータ・ベースでテストした実験結果は、９５．６％の認識率を示した。１．１ＧＨｚのパーソナルコンピュータを使用したとき、一つの画像のための処理時間は、１９４ミリ秒である。ＶＱヒストグラム法はそれ以前の顔認識方法よりはるかに簡便でより速いが、それはビデオレート（動画像は一秒間に３０フレームであり、ビデオレートとは１フレーム分の３３ミリ秒程度の画像認識速度をいう。）認識などの高速データ認識への適用に十分ではない。
【０００９】
本発明の課題は、高い処理速度を達成するデータ分析装置及びそのデータ分析装置を用いたデータ認識装置を提供し、高速データ認識を可能とすることにある。
【００１０】
【課題を解決するための手段】
本発明によるデータ分析装置及びデータ認識装置は、以下のとおりである。
【００１１】
（１） 画像に対して、画像上の任意の一点と第一の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第一の輝度差分とし、前記任意の一点と、前記第一の方向とは異なる第二の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第二の輝度差分とする計算を、前記画像上の複数点について行う差分計算手段と、
上記差分計算手段により前記画像上の複数点の各々について得られた第一の輝度差分と第二の輝度差分で構成されるベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段とを備えたことを特徴とするデータ分析装置。
【００１２】
（２） 上記（１）項に記載のデータ分析装置において、前記頻度分布生成手段により生成される前記複数領域の頻度分布から、少なくとも一部分の領域に対する頻度分布を抽出して特徴データを生成することを特徴とするデータ分析装置。
【００１３】
（３） 上記（１）又は（２）項に記載のデータ分析装置において、前記差分計算手段が前記画像に対して前記計算を行う前に、前記画像に対してフィルタ処理を施すことを特徴とするデータ分析装置。
【００１４】
（４） 少なくとも一つ以上の画像に対する一つ以上の頻度分布の情報を記憶する頻度分布記憶手段と、
画像に対して、画像上の任意の一点と第一の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第一の輝度差分とし、前記任意の一点と、前記第一の方向とは異なる第二の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第二の輝度差分とする計算を、前記画像上の複数点について行う差分計算手段と、
上記差分計算手段により前記画像上の複数点の各々について得られた第一の輝度差分と第二の輝度差分で構成されるベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段と、
前記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較する比較手段とを備えたことを特徴とするデータ認識装置。
【００１５】
（５） 上記（４）項に記載のデータ認識装置において、上記比較手段は、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各頻度分布の中から、所定の比較関数によって特定される頻度分布を選び出すものであることを特徴とするデータ認識装置。
【００１６】
（６） 上記（５）項に記載のデータ認識装置において、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布は、該頻度分布生成手段により生成される前記複数領域の頻度分布から、一部分の領域に対する頻度分布を抽出したものであることを特徴とするデータ認識装置。
【００１７】
（７） 上記（４）〜（６）項のいずれかに記載のデータ認識装置において、前記差分計算手段が前記画像に対して前記計算を行う前に、前記画像に対してフィルタ処理を施すことを特徴とするデータ認識装置。
【００１８】
（８） 入力される画像データに対してフィルタ処理を施すフィルタ手段と、
上記フィルタ手段によりフィルタ処理の施された画像データに対して、画面上の任意の一点のx方向の輝度差分dIxを前記任意の一点の輝度値と前記任意の一点の右側点又は左側点の輝度値との差とし、前記任意の一点のy方向の輝度差分dIyを前記任意の一点の輝度値と前記任意の一点の下側点又は上側点の輝度値との差とする計算を、前記画面上の複数点について行う差分計算手段と、
上記差分計算手段により前記画面上の複数点の各々について得られたx方向の輝度差分とy方向の輝度差分で構成されるベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段と、
少なくとも１つ以上の頻度分布の情報を記憶する頻度分布記憶手段と、
上記頻度分布生成手段により生成された上記入力される画像データに関する頻度分布と上記頻度分布記憶手段内の各頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各頻度分布の中から、所定の比較関数によって特定される頻度分布を選び出す比較手段とを備えたことを特徴とするデータ認識装置。
【００１９】
（９） 入力される画像データに対して複数フィルタ処理を施す複数フィルタ手段と、
上記複数フィルタ手段によりフィルタ処理の施された画像データに対して、画面上の任意の一点のx方向の輝度差分dIxを前記任意の一点の輝度値と前記任意の一点の右側点又は左側点の輝度値との差とし、前記任意の一点のy方向の輝度差分dIyを前記任意の一点の輝度値と前記任意の一点の下側点又は上側点の輝度値との差とする計算を、前記画面上の複数点について行う差分計算手段と、
上記差分計算手段により前記画面上の複数点の各々について得られたx方向の輝度差分とy方向の輝度差分で構成されるベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割り当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段と、
前記複数領域の頻度分布の情報を、複数組、記憶する頻度分布記憶手段と、
上記頻度分布生成手段により生成された上記入力される画像データに関する頻度分布と上記頻度分布記憶手段内の各組の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各組の頻度分布の中から、所定の比較関数によって特定される１組の頻度分布を選び出す比較手段とを備えたことを特徴とするデータ認識装置。
【００２０】
（１０） 上記（５）、（６）、（８）、及び（９）項のいずれかに記載のデータ認識装置において、上記比較手段による比較の結果、上記所定の比較関数によって選び出される頻度分布が上記頻度分布記憶手段内にない場合、上記頻度分布生成手段により生成された頻度分布を上記頻度分布記憶手段に登録する頻度分布登録手段を備えたことを特徴とするデータ認識装置。
【００２１】
【発明の実施の形態】
次に本発明の実施例について図面を参照して説明する。
【００２２】
本発明者等は、高速データ認識（例えばビデオレート顔認識）を可能とする、隣接ピクセル輝度差分量子化(ＡＰＩＤＱ:Adjacent Pixcel Intensity Difference Quantization)ヒストグラム法と呼ばれる新規で非常に簡便で効果的な高速データ認識方法を開発した。
【００２３】
図１は、本発明の一実施例によるデータ認識装置で用いる隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法の処理ステップを示している。
【００２４】
まず、図１を参照して本発明の一実施例で用いる隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法を概略的に説明する。
【００２５】
図１において、顔画像は、後述するローパスフィルタリング（ステップＳ１）を受け、隣接ピクセル輝度差分が計算される（ステップＳ２）。
【００２６】
このステップＳ２において、入力画像中の各ピクセル（画素）位置では、２次元ベクトル（すなわち、水平方向において隣接したピクセル（画素）との輝度差分(dIx)および垂直方向において隣接したピクセル（画素）との輝度差分(dIy)から構成された輝度変化ベクトル）が計算される。入力画像中の各ピクセル位置の２次元ベクトル（dIxおよびdIyから構成された輝度変化ベクトル）は、輝度変化角度（θ）およびその量（r）に関する情報を含んでいる。
【００２７】
画像中のすべてのピクセルに対して計算された輝度変化ベクトルは、ｒ−θ平面にプロットされる（ステップＳ３（θ−r系への座標変換））。
【００２８】
その後、各ベクトルは、そのθ値およびｒ値に関して量子化される（ステップＳ４）。ｒ−θ平面において各量子化された領域に含まれる要素の数を数えることによって、ヒストグラムを生成することができる（ステップＳ５）。顔画像に対してＡＰＩＤＱによって得られたこのヒストグラムは、非常に有効な個人の特徴として利用される。
【００２９】
顔画像の前処理として適切なローパスフィルタとＡＰＩＤＱを組み合わせることによって、顔認識のための有用な特徴を抽出することができる。
【００３０】
実験の結果は、公に利用可能なＡＴ＆Ｔ（American Telephone and Telegraph Company）顔データ・ベースから、４０人の４００の画像(１人当たり１０の画像)に対して９５．７％の認識率を示す。量子化ステップでテーブル参照(ＴＬＵ)法を利用することによって、トータルの認識処理時間は、わずかに３１ミリ秒であり、ビデオレートでの顔認識を可能にする。
【００３１】
次に、図１の隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法の各ステップについて詳細に説明する。
【００３２】
図１に示した隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法は、特徴抽出手続きを除いてＶＱヒストグラム法に非常に似ている。前者（ＶＱヒストグラム）方法は、そのためのＶＱ処理を利用する。ＶＱヒストグラム法は、３３の規則的なコードベクトルから構成された非常に基礎的なコードブックを使用しており、直流成分を除去した輝度変化画像ブロックにＶＱ処理を適用した。これらはＶＱヒストグラム法の本質であるが、処理は単に、ブロックにおける輝度変化の方向および量を検出し量子化するだけである。ＡＰＩＤＱは、同様の処理をより簡便に行うことができる。
【００３３】
図１のステップＳ２について：
図２に示されたように、ＡＰＩＤＱにおいては、入力の顔画像の各ピクセルに対して、水平方向に隣接したピクセルとの輝度差分(dIx)および垂直方向に隣接したピクセルとの輝度差分(dIy)が、次の簡便な減算演算を用いて最初に計算される。
【００３４】
dIx(i、j)=I(i+1,j)-I(i,j)
dIy(i、j)=I(i,j+l)-I(i,j)
【００３５】
図１のステップＳ３について：
計算されたdIx,dIyのペアは、dIx-dIy平面において(0,0)を始点とする単一のベクトル（輝度変化ベクトル）を表わす。入力画像中のピクセルをすべて処理した後に、輝度変化ベクトルの終点は、図３に示されるようなdIx-dIy平面に分布される。輝度変化ベクトルの終点の分布(密度と形)は、入力顔画像の特徴を表わす。直交座標から極座標に座標系を変換することによって、当該ベクトルの角度θおよび距離ｒは輝度変化の方向および量をそれぞれ表わす。
【００３６】
図１のステップＳ４について：
それから、各輝度変化ベクトルはｒ−θ平面において量子化される。量子化テーブルの一例は図４の下方に示されている。量子化テーブル中の数０〜４９は、第０乃至第４９の量子化領域の指数（index numbers）をそれぞれ表わす。
【００３７】
例えば、図４の上方に示された輝度変化ベクトルのθは、３π／８とπ／８との間の領域にあり、その輝度変化ベクトルのｒは内側から３番目の領域（図４の下方の量子化テーブルではｒが２と４との間の領域に対応する）にある。従って、この図４の上方に示された輝度変化ベクトルは、図４の下方の量子化テーブルに基づいて、指数１０の量子化領域として量子化される。
【００３８】
図１のステップＳ５について：
各量子化領域に量子化されたベクトルの数は、カウントされる。カウント数は、横軸を量子化領域の指数０〜４９として生成されるヒストグラム（後に図６として図示）の頻度として棒状に表示される。例えば、図４の上方に図示のベクトルは、ヒストグラムにおける指数１０の１頻度を構成することになる。このヒストグラムは人間の顔の特徴ベクトルになる。
【００３９】
図１のステップＳ６について：
登録ステップＳ６では、このヒストグラムが個人の識別情報としてデータ・ベース１０に保存される。
【００４０】
図１のステップＳ７及びＳ８について：
認識ステップＳ７では、未知の入力顔画像からヒストグラムが作られ、登録された個人ヒストグラムに比較され、最も良くマッチしたものがデータ・ベースマッチングＳ８の認識結果として出力される。ヒストグラム間のマンハッタン距離（ＭＤ）がマッチングの度合いを示すものの一例として使用される。
【００４１】
図１のステップＳ１に戻って、ＡＰＩＤＱの前に、ローパスフィルタリングが、簡便な２次元移動平均フィルタ（moving average filter）を使用して、まず行われることに注意する。このローパスフィルタリングは、高周波ノイズの減少および認識のための最も有効な低周波コンポーネントの抽出にとって不可欠である。
【００４２】
認識アルゴリズムが非常に簡便で、開発された顔の特徴抽出方法が、従来の認識方法とは全く異なるので、単独で用いるだけでなく、最小の追加コストで、認識精度を増加させる形で、従来方法と組み合わせることが容易であり、また、非常に有効である。
【００４３】
次に、本発明を用いた顔認識実験の結果について説明する。
【００４４】
公に利用可能なＡＴ＆Ｔ顔データ・ベースを認識実験のために使用した。各人が、顔の角度、顔の表情、および照明条件で変化を持たせた、１０の顔画像を持った４０人の合計４００の画像が、データ・ベースに含まれてる。各画像は、９２×１１２の解像度を持っている。図５は、ＡＴ＆Ｔのデータ・ベースの典型的な画像のサンプルを示している。各人の１０の画像から、５つの画像が評価入力画像として選択され、残りの５つは、データベース登録画像として登録された。認識実験は、ローテーション法を使用して、２５２（＝１０Ｃ５）回の評価入力画像−データベース登録画像の組合せに対して、実行された。
【００４５】
次に、本発明による認識パフォーマンスについて説明する。
【００４６】
図６は、ヒストグラムの典型的な例を示す。別人のヒストグラムは明らかに異なる。しかしながら、同一人物の異なる画像のヒストグラムは、詳細には小さな違いがあるが、多くの場合類似している。ＡＰＩＤＱによって得られたヒストグラムが人を識別するための非常に有効な個人の特徴であると言える。
【００４７】
認識結果を図７に示す。図７において、認識率はフィルタ・サイズの関数として示されている。フィルタ・サイズは、平均値フィルタのコア(averaging filter core)のサイズを表わす。Ｆ３のサイズは、例えば、３×３フィルタコアのサイズを表わす。“Ｍａｘ”、“Ｍｉｎ”、および“Ａｖｅ”は、２５２（＝１０Ｃ５）回の評価入力画像−データベース登録画像の組合せに対する最良の場合の結果、最悪の場合の結果、および平均結果を、それぞれ表わす。認識率は、Ｆ３からＦ１９までのフィルタ・サイズに対しては、ほとんど一定であり、９５．７％という最も高い平均認識率が得られる。これは、同じ条件下でのＶＱヒストグラム法（９５．６％）の場合とほとんど同じである。認識パフォーマンスを下げる、例えば、しわ、局部的なヘアスタイル、画像取得条件、および時間経過による、詳細な顔の特徴は、ローパスフィルタの適用によって、除外される。顔の大まかな形状のような、重要な各人の顔の特徴だけが抽出される。更に、ＡＰＩＤＱ処理は、照明条件によって変化するピクセル輝度のｄｃ成分を効果的に除外することができる。これらの２つの効果の組合せによって、顔認識のために最も重要な情報を効果的に抽出することができる。
【００４８】
上述したように、ＡＰＩＤＱを使用した顔の特徴抽出に、ローパス・フィルタリングは非常に有効である。異なるサイズのフィルタの使用により異なる特徴を抽出することができることを期待することができる。したがって、より強力な個人の特徴情報は、多数のフィルタ・サイズを使用した多数の認識結果を組み合わせることにより得ることができる。実際上、異なるサイズのフィルタでの認識結果（類似性スコア）は最初に別々に得られ、次に、平均(averaging)により組み合わせられた。図８は、多数の(multiple)フィルタの使用により得られた認識結果を示している。ここで、Ｆ３、Ｆ５、Ｆ１７、およびＦ２３が、３×３、５×５、１７×１７、および２３×２３のフィルタ・サイズをそれぞれ表わしている。多数のフィルタの使用によって、認識率は、２％増加し、約９８％の平均認識率となる。
【００４９】
次に、本発明における認識スピードについて説明する。
【００５０】
認識アルゴリズムは、ＡＮＳＩＣを使用してプログラムされ、かつ、ＰＣ（ＡＭＤ Ａｔｈｒｏｎ １．１ＧＨｚ）上で実行された。ｒ−θ座標における量子化は、簡単な条件付き分岐（“ｉｆ”ステートメント）を介して実施される。ＡＴ＆Ｔデータ・ベース中の一つの画像に対する処理時間は、３７ミリ秒（ローパス・フィルタリングのために１５ミリ秒、ＡＰＩＤＱ処理のために７ミリ秒、およびデータ・ベースマッチングのために１５ミリ秒）であった。ＶＱヒストグラム法のＶＱ処理時間と比較して、ＡＰＩＤＱによって行われた顔の特徴抽出の処理時間は、１６４ミリ秒（ＶＱ）から７ミリ秒（ＡＰＩＤＱ）に減らされた。処理時間の大幅な短縮が達成された。更に、量子化に使用された簡単な条件付き分岐（“ｉｆ”ステートメント）が、計算速度にはそれほど有効でないので、“ｉｆ”ステートメントの代りに、テーブル参照（ＴＬＵ）法を使用することを試みた。ＴＬＵがｒ−θドメインに適用される場合、ＡＰＩＤＱ処理時間は、７ミリ秒から５ミリ秒に減じられた。更に、ＴＬＵは直接dIx-dIyドメインに適用され得る。その場合、ＡＰＩＤＱは、１ミリ秒以内になされ得て、トータル認識時間は３１ミリ秒になる。顔検出処理ステップは含まれないが、ビデオレートでの顔認識が可能になる。
【００５１】
以上説明したように、本発明は、ＡＰＩＤＱヒストグラム法と呼ばれる非常に速く高信頼性の顔認識方法を提供することができた。その顔認識方法は、適切なフィルタリング、輝度変化方向および量の量子化、およびヒストグラム生成および分析に基づく。９５．７％の認識率という大きな優れた顔認識パフォーマンスが、公に利用可能なＡＴ＆Ｔ顔データ・ベースの使用により確認された。
【００５２】
dIx-dIyドメインにテーブル参照（ＴＬＵ）法を直接利用することによって、トータルの認識処理時間は、わずか３１ミリ秒であり、ビデオレートでの顔認識を可能にする。
【００５３】
図１をまとめると、本発明の一実施例によるデータ認識装置は、以下のデータ分析装置１００を備えたものと考えることができる。
【００５４】
すなわち、データ分析装置１００は、
画像に対して、画像上の任意の一点と第一の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第一の輝度差分(dIx)とし、前記任意の一点と、前記第一の方向とは異なる（例えば、前記第一の方向に直交する）第二の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第二の輝度差分(dIy)とする計算を、前記画像上の複数点について行う差分計算手段（図１のＳ２）と、
上記差分計算手段により前記画像上の複数点の各々について得られた第一の輝度差分と第二の輝度差分で構成されるベクトル（輝度変化ベクトル）を所定の領域分割方法により分割された複数領域（図４の量子化テーブルの指数０〜４９にて表わされる領域）の一領域に割り当て、前記複数領域の各領域に割り当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段（図１のＳ３〜Ｓ５）とを備えている。
【００５５】
ここで、所定の領域分割方法は、上記実施例で用いた、輝度変化ベクトルをθ−r系への座標変換によりｒ−θ平面の複数領域の一領域に割り当てる方法に限定されるものではなく、この所定の領域分割方法として他の領域分割方法を用いても良い。
【００５６】
また、上記差分計算手段は、画像データに対して、画面上の任意の一点のx方向の輝度差分dIxを前記任意の一点の輝度値と前記任意の一点の右側点（又は左側点）の輝度値との差とし、前記任意の一点のy方向の輝度差分dIyを前記任意の一点の輝度値と前記任意の一点の下側点（又は上側点）の輝度値との差とする計算を、前記画面上の複数点について行うものであって良い。
【００５７】
なお、このデータ分析装置１００において、前記頻度分布生成手段により生成される前記複数領域の頻度分布から、少なくとも一部分の領域に対する頻度分布を抽出して特徴データを生成するようにしても良い。
【００５８】
本発明の一実施例によるデータ認識装置は、上記データ分析装置１００に加えて、以下の手段を備えているものと考えることができる。
【００５９】
すなわち、データ認識装置は、
少なくとも一つ以上の画像に対する一つ以上の頻度分布の情報を記憶する頻度分布記憶手段（図１のデータ・ベース１０）と、
前記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較する比較手段（図１のＳ８）とを備えている。
【００６０】
好ましくは、上記比較手段は、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各頻度分布の中から、所定の比較関数によって特定される頻度分布を選び出すものである。
【００６１】
なお、このデータ認識装置において、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布は、該頻度分布生成手段により生成される前記複数領域の頻度分布から、一部分の領域に対する頻度分布を抽出したものであっても良い。
【００６２】
なお、データ認識装置は、上記比較手段（図１のＳ８）による比較の結果、上記所定の比較関数によって選び出される頻度分布が上記頻度分布記憶手段内にない場合、上記頻度分布生成手段により生成された頻度分布を上記頻度分布記憶手段に登録する頻度分布登録手段（図１のＳ６）を備え手も良い。
【００６３】
また、データ認識装置は、入力される画像データに対してフィルタ処理を施すフィルタ手段（図１のＳ１）を、更に備え、前記差分計算手段は、このフィルタ手段によりフィルタ処理の施された画像データに対して、差分計算するようにしても良い。
【００６４】
このフィルタ手段（図１のＳ１）は、上記実施例で用いたローパスフィルタに限定されるものではなく、このフィルタ手段として他のフィルタを用いても良い。
【００６５】
代りに、入力される画像データに対して複数フィルタ処理を施す複数フィルタ手段を設け、この複数フィルタ手段によりフィルタ処理の施された画像データに対して、前記差分計算手段が、差分計算するようにしても良い。
【００６６】
この場合、データ認識装置は、前記複数領域の頻度分布の情報を、複数組、記憶する頻度分布記憶手段と、上記頻度分布生成手段により生成された上記入力される画像データに関する頻度分布と上記頻度分布記憶手段内の各組の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各組の頻度分布の中から、所定の比較関数によって特定される１組の頻度分布を選び出す比較手段とを備えても良い。
【００６７】
本発明は、上記実施例で述べた顔認識への適用に限定されるものではなく、一般の画像やその他の大容量データの高速データ認識に適用しても良いことはもちろんである。
【００６８】
【発明の効果】
以上説明したように、本発明によれば、高い処理速度を達成するデータ分析装置及びそのデータ分析装置を用いたデータ認識装置を得られ、高速データ認識や瞬時のデータ認識が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例によるデータ認識装置で用いる隣接ピクセル輝度差分量子化(ＡＰＩＤＱ)ヒストグラム法の認識処理ステップを示したフローチャートである。
【図２】本発明の一実施例による隣接ピクセル輝度差分計算の説明に使用する図である。
【図３】本発明の一実施例の動作の説明に使用する図であり、（dIx,dIy)ベクトル分布の典型的な例を示した図である。
【図４】本発明の一実施例の動作の説明に使用する図であり、ｒ−θ平面及び量子化テーブルを示した図である。
【図５】本発明の一実施例で使用する、ＡＴ＆Ｔのデータ・ベースの典型的な顔画像のサンプルを示した図である。
【図６】本発明の一実施例の動作の説明に使用する図であり、ヒストグラムの典型的な例を示した図である。
【図７】本発明の一実施例の効果の説明に使用する図であり、認識成功率(Recognition success rate)をフィルタ・サイズの関数として示した図である。
【図８】本発明の一実施例の効果の説明に使用する図であり、多数のフィルタの使用によって得られた認識結果を示した図である。
【符号の説明】
Ｓ１ ローパスフィルタリング
Ｓ２ 隣接ピクセル輝度差分計算
Ｓ３ 座標系変換（θ−r）
Ｓ４ 量子化
Ｓ５ ヒストグラム生成
Ｓ６ 登録
Ｓ７ 認識
Ｓ８ データ・ベースマッチング
１０ データ・ベース
１００ データ分析装置
Claims (10)
- 画像に対して、画像上の任意の一点と第一の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第一の輝度差分とし、前記任意の一点と、前記第一の方向とは異なる第二の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第二の輝度差分とする計算を、前記画像上の複数点について行う差分計算手段と、
上記差分計算手段により前記画像上の複数点の各々について得られた第一の輝度差分と第二の輝度差分で構成される２次元ベクトルをその輝度変化の方向および量に関して量子化し、量子化されたベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段とを備えたことを特徴とするデータ分析装置。 - 請求項１に記載のデータ分析装置において、前記頻度分布生成手段により生成される前記複数領域の頻度分布から、少なくとも一部分の領域に対する頻度分布を抽出して特徴データを生成することを特徴とするデータ分析装置。
- 請求項１又は２に記載のデータ分析装置において、前記差分計算手段が前記画像に対して前記計算を行う前に、前記画像に対してフィルタ処理を施すことを特徴とするデータ分析装置。
- 少なくとも一つ以上の画像に対する一つ以上の頻度分布の情報を記憶する頻度分布記憶手段と、
画像に対して、画像上の任意の一点と第一の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第一の輝度差分とし、前記任意の一点と、前記第一の方向とは異なる第二の方向における前記任意の一点の近傍の点との輝度値の差分を前記任意の一点の第二の輝度差分とする計算を、前記画像上の複数点について行う差分計算手段と、
上記差分計算手段により前記画像上の複数点の各々について得られた第一の輝度差分と第二の輝度差分で構成される２次元ベクトルをその輝度変化の方向および量に関して量子化し、量子化されたベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段と、
前記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較する比較手段とを備えたことを特徴とするデータ認識装置。 - 請求項４に記載のデータ認識装置において、上記比較手段は、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布と上記頻度分布記憶手段内の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各頻度分布の中から、所定の比較関数によって特定される頻度分布を選び出すものであることを特徴とするデータ認識装置。
- 請求項５に記載のデータ認識装置において、上記頻度分布生成手段により生成された一つ以上の前記画像に関する頻度分布は、該頻度分布生成手段により生成される前記複数領域の頻度分布から、一部分の領域に対する頻度分布を抽出したものであることを特徴とするデータ認識装置。
- 請求項４〜６のいずれかに記載のデータ認識装置において、前記差分計算手段が前記画像に対して前記計算を行う前に、前記画像に対してフィルタ処理を施すことを特徴とするデータ認識装置。
- 入力される画像データに対してフィルタ処理を施すフィルタ手段と、
上記フィルタ手段によりフィルタ処理の施された画像データに対して、画面上の任意の一点のx方向の輝度差分dIxを前記任意の一点の輝度値と前記任意の一点の右側点又は左側点の輝度値との差とし、前記任意の一点のy方向の輝度差分dIyを前記任意の一点の輝度値と前記任意の一点の下側点又は上側点の輝度値との差とする計算を、前記画面上の複数点について行う差分計算手段と、
上記差分計算手段により前記画面上の複数点の各々について得られたx方向の輝度差分とy方向の輝度差分で構成される２次元ベクトルをその輝度変化の方向および量に関して量子化し、量子化されたベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段と、
少なくとも１つ以上の頻度分布の情報を記憶する頻度分布記憶手段と、
上記頻度分布生成手段により生成された上記入力される画像データに関する頻度分布と上記頻度分布記憶手段内の各頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各頻度分布の中から、所定の比較関数によって特定される頻度分布を選び出す比較手段とを備えたことを特徴とするデータ認識装置。 - 入力される画像データに対して複数フィルタ処理を施す複数フィルタ手段と、
上記複数フィルタ手段によりフィルタ処理の施された画像データに対して、画面上の任意の一点のx方向の輝度差分dIxを前記任意の一点の輝度値と前記任意の一点の右側点又は左側点の輝度値との差とし、前記任意の一点のy方向の輝度差分dIyを前記任意の一点の輝度値と前記任意の一点の下側点又は上側点の輝度値との差とする計算を、前記画面上の複数点について行う差分計算手段と、
上記差分計算手段により前記画面上の複数点の各々について得られたx方向の輝度差分とy方向の輝度差分で構成される２次元ベクトルをその輝度変化の方向および量に関して量子化し、量子化されたベクトルを所定の領域分割方法により分割された複数領域の一領域に割り当て、前記複数領域の各領域に割り当てられたベクトル数をその領域の頻度として、前記複数領域の頻度分布を生成する頻度分布生成手段と、
前記複数領域の頻度分布の情報を、複数組、記憶する頻度分布記憶手段と、
上記頻度分布生成手段により生成された上記入力される画像データに関する頻度分布と上記頻度分布記憶手段内の各組の頻度分布とを比較し、上記頻度分布記憶手段に記憶されている各組の頻度分布の中から、所定の比較関数によって特定される１組の頻度分布を選び出す比較手段とを備えたことを特徴とするデータ認識装置。 - 請求項５、６、８、及び９のいずれかに記載のデータ認識装置において、上記比較手段による比較の結果、上記所定の比較関数によって選び出される頻度分布が上記頻度分布記憶手段内にない場合、上記頻度分布生成手段により生成された頻度分布を上記頻度分布記憶手段に登録する頻度分布登録手段を備えたことを特徴とするデータ認識装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003065517A JP4439829B2 (ja) | 2003-03-11 | 2003-03-11 | データ分析装置およびデータ認識装置 |
| US10/548,760 US7436999B2 (en) | 2003-03-11 | 2004-03-02 | Data analysis device and data recognition device |
| PCT/JP2004/002526 WO2004081872A1 (ja) | 2003-03-11 | 2004-03-02 | データ分析装置およびデータ認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003065517A JP4439829B2 (ja) | 2003-03-11 | 2003-03-11 | データ分析装置およびデータ認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004272801A JP2004272801A (ja) | 2004-09-30 |
| JP4439829B2 true JP4439829B2 (ja) | 2010-03-24 |
Family
ID=32984497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003065517A Expired - Fee Related JP4439829B2 (ja) | 2003-03-11 | 2003-03-11 | データ分析装置およびデータ認識装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7436999B2 (ja) |
| JP (1) | JP4439829B2 (ja) |
| WO (1) | WO2004081872A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8712140B2 (en) * | 2005-04-15 | 2014-04-29 | Intelligent Virus Imaging Inc. | Method of analyzing cell structures and their components |
| US8218834B2 (en) * | 2005-04-15 | 2012-07-10 | Intelligent Virus Imaging Inc. | Method of analyzing cell structures and their components |
| US8238677B2 (en) * | 2008-03-07 | 2012-08-07 | International Business Machines Corporation | Adaptive lossless data compression method for compression of color image data |
| US8260076B1 (en) * | 2009-03-31 | 2012-09-04 | Hewlett-Packard Development Company, L.P. | Constant time filtering |
| TWI384406B (zh) * | 2009-05-26 | 2013-02-01 | Univ Nat Chiao Tung | 人臉辨識與合成方法 |
| US8818714B2 (en) * | 2010-12-10 | 2014-08-26 | Sony Corporation | Portable navigation device and method with active elements |
| JP2013029953A (ja) * | 2011-07-28 | 2013-02-07 | Sony Corp | 画像処理装置および方法 |
| DE102015120967A1 (de) * | 2015-12-02 | 2017-06-08 | Carl Zeiss Ag | Verfahren und Vorrichtung zur Bildkorrektur |
| DE102017112484A1 (de) | 2017-06-07 | 2018-12-13 | Carl Zeiss Ag | Verfahren und Vorrichtung zur Bildkorrektur |
| EP3798592A1 (en) * | 2019-09-27 | 2021-03-31 | Koninklijke Philips N.V. | Multi-/hyperspectral two-dimensional image processing |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3353968B2 (ja) * | 1992-09-25 | 2002-12-09 | オリンパス光学工業株式会社 | 画像処理装置 |
| JPH0737103A (ja) * | 1993-07-23 | 1995-02-07 | Olympus Optical Co Ltd | 傾き角度検出装置 |
| JP3373008B2 (ja) * | 1993-10-20 | 2003-02-04 | オリンパス光学工業株式会社 | 画像像域分離装置 |
| EP1265190B1 (en) * | 1993-12-10 | 2009-06-24 | Ricoh Company, Ltd. | Image recognition method for extracting/recognizing specific image from input image signal |
| JP2000101437A (ja) * | 1998-04-17 | 2000-04-07 | Tadahiro Omi | コ―ドブック方式によるデ―タ分析装置および方法、デ―タ認識装置および方法、記録媒体 |
| JP2002203241A (ja) | 2000-12-28 | 2002-07-19 | Tadahiro Omi | コードブック方式によるデータ認識装置、データ認識方法および記録媒体 |
| US6865295B2 (en) * | 2001-05-11 | 2005-03-08 | Koninklijke Philips Electronics N.V. | Palette-based histogram matching with recursive histogram vector generation |
| US7162076B2 (en) * | 2003-02-11 | 2007-01-09 | New Jersey Institute Of Technology | Face detection method and apparatus |
-
2003
- 2003-03-11 JP JP2003065517A patent/JP4439829B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-02 WO PCT/JP2004/002526 patent/WO2004081872A1/ja active Application Filing
- 2004-03-02 US US10/548,760 patent/US7436999B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7436999B2 (en) | 2008-10-14 |
| JP2004272801A (ja) | 2004-09-30 |
| US20060088212A1 (en) | 2006-04-27 |
| WO2004081872A1 (ja) | 2004-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Baskan et al. | Projection based method for segmentation of human face and its evaluation | |
| CN105426829B (zh) | 基于人脸图像的视频分类方法和装置 | |
| WO2003081532A1 (en) | Method and apparatus for the automatic detection of facial features | |
| Chetty et al. | Automated lip feature extraction for liveness verification in audio-video authentication | |
| CN110348263A (zh) | 一种基于图像识别的二维随机码图像识别与提取方法 | |
| CN106778613A (zh) | 一种基于人脸分割区域匹配的身份验证方法及装置 | |
| KR102458615B1 (ko) | 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법 | |
| CN111339897B (zh) | 活体识别方法、装置、计算机设备和存储介质 | |
| JP4439829B2 (ja) | データ分析装置およびデータ認識装置 | |
| Pigeon et al. | Image-based multimodal face authentication | |
| Thamaraimanalan et al. | Multi biometric authentication using SVM and ANN classifiers | |
| CN111709305A (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
| Winarno et al. | Face recognition based on symmetrical half-join method using stereo vision camera | |
| Mohamed et al. | Automated face recogntion system: Multi-input databases | |
| Bharadi et al. | Multi-instance iris recognition | |
| Krichen et al. | Specific texture analysis for iris recognition | |
| Ribarić et al. | Personal recognition based on the Gabor features of colour palmprint images | |
| JP2000348173A (ja) | 唇抽出方法 | |
| Dhall et al. | Adaptive digital makeup | |
| Cheng et al. | Illumination normalization based on different smoothing filters quotient image | |
| Su et al. | Micro-expression recognition based on the spatio-temporal feature | |
| Prinosil et al. | Facial image de-identification using active appearance model | |
| Saeed | Comparative analysis of lip features for person identification | |
| Ma et al. | A lip localization algorithm under variant light conditions | |
| Belahcene et al. | 3D and 2D face recognition based on image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060810 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |