JPH09134432A - パターン認識方法 - Google Patents
パターン認識方法Info
- Publication number
- JPH09134432A JPH09134432A JP8184352A JP18435296A JPH09134432A JP H09134432 A JPH09134432 A JP H09134432A JP 8184352 A JP8184352 A JP 8184352A JP 18435296 A JP18435296 A JP 18435296A JP H09134432 A JPH09134432 A JP H09134432A
- Authority
- JP
- Japan
- Prior art keywords
- metric
- face
- training data
- pattern recognition
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
観察データを充分に説明する正規濃度の組み合わせから
出発する未管理のメトリック認識学習を用いた顔認識の
方法を提供する。照会対象に対応する最も近い参照デー
タベースを選択するための改良された判定規則を提供す
る。
出発する未管理のメトリック認識学習を用いた顔認識の
方法を提供する。照会対象に対応する最も近い参照デー
タベースを選択するための改良された判定規則を提供す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、観察データを充分
に説明する正規濃度組み合わせ（又は、混成）から出発
する未管理のメトリック学習によるパターン認識に関す
る。特に、本発明は、特徴部分に基づく自動的顔認識の
問題に関する。これは、参照データベースがそれぞれの
顔の単一の観察情報しか含まないような、データの乏し
い場合にも適している。本発明は、照会対象に最も近い
参照データベース要素を選択するための改良された判定
規則を提供する。
に説明する正規濃度組み合わせ（又は、混成）から出発
する未管理のメトリック学習によるパターン認識に関す
る。特に、本発明は、特徴部分に基づく自動的顔認識の
問題に関する。これは、参照データベースがそれぞれの
顔の単一の観察情報しか含まないような、データの乏し
い場合にも適している。本発明は、照会対象に最も近い
参照データベース要素を選択するための改良された判定
規則を提供する。
【０００２】
【従来の技術】メトリック学習とは、ある観察空間から
サンプルが与えられた場合に、「距離」が意味している
ものを推測するプロセスのことを言う。観察情報は、一
般に有限次元実ベクトル空間におけるベクトルにより表
わされる。このプロセスを理解するために、パターン認
識についての二つの従来の方法を説明する。
サンプルが与えられた場合に、「距離」が意味している
ものを推測するプロセスのことを言う。観察情報は、一
般に有限次元実ベクトル空間におけるベクトルにより表
わされる。このプロセスを理解するために、パターン認
識についての二つの従来の方法を説明する。
【０００３】統計的パターン認識法において、パターン
は、一つ以上の出発点に働く何らかの変化プロセスによ
り生成されると一般に考えられる。通常、これらの出発
点は、対象クラスのベクトル平均を表しており、変化プ
ロセスは、これらの平均についての正規濃度によりモデ
ル化されると仮定される。もし各クラスについて多数の
要素をトレーニングに利用できるならば、各クラスにつ
いて平均ベクトル及び共分散行列を推定することが可能
である。クラス自身に対する何らかの事前分布と組み合
わせれば、モデルを与えられた未知のベクトルの事後確
率を簡単に算出できる。しかしながら、各クラスの要素
が僅かしか利用できない場合（おそらく一つしか）、こ
の方法は役に立たなくなる。
は、一つ以上の出発点に働く何らかの変化プロセスによ
り生成されると一般に考えられる。通常、これらの出発
点は、対象クラスのベクトル平均を表しており、変化プ
ロセスは、これらの平均についての正規濃度によりモデ
ル化されると仮定される。もし各クラスについて多数の
要素をトレーニングに利用できるならば、各クラスにつ
いて平均ベクトル及び共分散行列を推定することが可能
である。クラス自身に対する何らかの事前分布と組み合
わせれば、モデルを与えられた未知のベクトルの事後確
率を簡単に算出できる。しかしながら、各クラスの要素
が僅かしか利用できない場合（おそらく一つしか）、こ
の方法は役に立たなくなる。
【０００４】最隣接法において、最隣接を識別するため
に各点にラベルを付す必要はない。しかし、隣接のラベ
ルに基づいて照会対象のラベルを推測するためにラベル
が用いられる。限界（大量のデータ）状態においては、
メトリックは重要でないと主張することもできる。しか
し、殆どすべての現実的な問題の領域においては、メト
リックは確かに重要である。例えば、画素対画素の相関
により満足できる結果が得られるまで十分多くの例を見
てしまうずっと前に、人は数値を分類することができ
る。しかしながらやはり、各クラスの要素が極く僅かし
か与えられない場合、又は、完全に非管理状態の場合に
は、この結果は当てはまらず、良好なメトリックを選択
するために何かできるかどうかは全く明らかでない。
に各点にラベルを付す必要はない。しかし、隣接のラベ
ルに基づいて照会対象のラベルを推測するためにラベル
が用いられる。限界（大量のデータ）状態においては、
メトリックは重要でないと主張することもできる。しか
し、殆どすべての現実的な問題の領域においては、メト
リックは確かに重要である。例えば、画素対画素の相関
により満足できる結果が得られるまで十分多くの例を見
てしまうずっと前に、人は数値を分類することができ
る。しかしながらやはり、各クラスの要素が極く僅かし
か与えられない場合、又は、完全に非管理状態の場合に
は、この結果は当てはまらず、良好なメトリックを選択
するために何かできるかどうかは全く明らかでない。
【０００５】パターン認識技術の一つの用途に、特徴部
分に基づく顔認識の問題がある。最近になって、コンピ
ューターによる自動的顔認識に、再び関心が持たれてい
る。自動的顔認識は、警察のデータベースからの容疑者
の識別から自動金銭出納機での身元確認まで数多くの保
安上の用途を有している。自動的顔認識における研究は
１９６０年代後期に始まったが、進歩は遅かった。主な
問題点は、第一に、特徴部分または画素に基づいた方式
のいずれを用いるかどうかということである。特徴部分
を用いるとすれば、次にはどんな顔の特徴部分である
か。これらの顔の特徴部分は、顔上の点や距離であった
り、或いは、目撃者から得られた言葉や絵「Ｉｄｅｎｔ
ｉｋｉｔ」による説明等であったりする。特徴ベクトル
を決定すると、次にはどのような分類方法を適用するか
を決める必要がある。最後に、データベースの規模、及
び、照明、観察状態、顔の表情における変化により認識
率がどのように上下するかを決定しなければならない。
分に基づく顔認識の問題がある。最近になって、コンピ
ューターによる自動的顔認識に、再び関心が持たれてい
る。自動的顔認識は、警察のデータベースからの容疑者
の識別から自動金銭出納機での身元確認まで数多くの保
安上の用途を有している。自動的顔認識における研究は
１９６０年代後期に始まったが、進歩は遅かった。主な
問題点は、第一に、特徴部分または画素に基づいた方式
のいずれを用いるかどうかということである。特徴部分
を用いるとすれば、次にはどんな顔の特徴部分である
か。これらの顔の特徴部分は、顔上の点や距離であった
り、或いは、目撃者から得られた言葉や絵「Ｉｄｅｎｔ
ｉｋｉｔ」による説明等であったりする。特徴ベクトル
を決定すると、次にはどのような分類方法を適用するか
を決める必要がある。最後に、データベースの規模、及
び、照明、観察状態、顔の表情における変化により認識
率がどのように上下するかを決定しなければならない。
【０００６】非特徴的認識法は、中間的な特徴抽出段階
を介さずに画像に直接的に作用し、しばしば画素に基づ
く方法と呼ばれる。このカテゴリーの中には、テンプレ
ートマッチングと、固有顔(eigenfaces)についてのより
最近の研究が含まれる。テンプレートマッチングは、照
会画像とモデル画像が同じ大きさ、向き、照明特性を有
しているときのみ有効である。これは、多くの作業環境
においてありそうにない非常に限られた状態である。
を介さずに画像に直接的に作用し、しばしば画素に基づ
く方法と呼ばれる。このカテゴリーの中には、テンプレ
ートマッチングと、固有顔(eigenfaces)についてのより
最近の研究が含まれる。テンプレートマッチングは、照
会画像とモデル画像が同じ大きさ、向き、照明特性を有
しているときのみ有効である。これは、多くの作業環境
においてありそうにない非常に限られた状態である。
【０００７】原理的に、特徴部分に基づく方式は、大き
さ、回転及び／または照明の変化に対して不変とするこ
とができ、これらの特性が、このような方法を選択する
動機となっている。最初に報告されたこの分野における
初期の研究においては、データベースにおけるそれぞれ
の顔について「顔・特徴質問票」を手作業で完成させて
いる。被験者は、２２の特徴を用いて、６４〜２５５範
囲の大きさのデータベース中の顔を識別することを要求
された。僅かに５０％の精度しか得られなかった。
さ、回転及び／または照明の変化に対して不変とするこ
とができ、これらの特性が、このような方法を選択する
動機となっている。最初に報告されたこの分野における
初期の研究においては、データベースにおけるそれぞれ
の顔について「顔・特徴質問票」を手作業で完成させて
いる。被験者は、２２の特徴を用いて、６４〜２５５範
囲の大きさのデータベース中の顔を識別することを要求
された。僅かに５０％の精度しか得られなかった。
【０００８】その後の研究は、自動的に顔の特徴を抽出
するという問題に取り組んだものである。「Ｃｏｍｐｕ
ｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｈｕｍａｎ
Ｆａｃｅｓ（顔のコンピューター認識）」と題する本
（Ｂｅｒｋｈａｕｓｅｒ Ｖｅｒｔｅｘ， Ｓｔｕｔｔ
ｇａｒｔ， Ｇｅｒｍａｎｙ， １９７７年）の中で、
Ｋａｎａｄｅは、顔の特徴部分の集合を自動的に抽出
し、顔の特徴の間の距離（及び面積）の比率に基づいた
１６次元の特徴ベクトルを算出し、距離の和に基づいて
２つの顔を比較するシステムについて述べている。２０
個の顔を含むデータベース上で、Ｋａｎａｄｅは自動的
に抽出した顔の特徴部分を用いて、４５〜７５％の認識
率を達成した。２次元の顔の特徴部分の自動的抽出が難
しいことがわかったので、顔の輪郭を用いる方向にかな
りの努力を注いだようである。この場合、自動的な特徴
抽出は、幾分簡単な１次元の問題である。集合分割及び
ユークリッド距離に基づいた分類法を用いて、約１００
％の認識率が主張されている。しかしながら、これらの
実験は、互いに素なトレーニング集合及びテスト集合を
サポートしていなかった。以降の研究で、別のテスト集
合がサポートされ、１１２人分のデータベース上で９６
％の認識精度が報告されている。
するという問題に取り組んだものである。「Ｃｏｍｐｕ
ｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｈｕｍａｎ
Ｆａｃｅｓ（顔のコンピューター認識）」と題する本
（Ｂｅｒｋｈａｕｓｅｒ Ｖｅｒｔｅｘ， Ｓｔｕｔｔ
ｇａｒｔ， Ｇｅｒｍａｎｙ， １９７７年）の中で、
Ｋａｎａｄｅは、顔の特徴部分の集合を自動的に抽出
し、顔の特徴の間の距離（及び面積）の比率に基づいた
１６次元の特徴ベクトルを算出し、距離の和に基づいて
２つの顔を比較するシステムについて述べている。２０
個の顔を含むデータベース上で、Ｋａｎａｄｅは自動的
に抽出した顔の特徴部分を用いて、４５〜７５％の認識
率を達成した。２次元の顔の特徴部分の自動的抽出が難
しいことがわかったので、顔の輪郭を用いる方向にかな
りの努力を注いだようである。この場合、自動的な特徴
抽出は、幾分簡単な１次元の問題である。集合分割及び
ユークリッド距離に基づいた分類法を用いて、約１００
％の認識率が主張されている。しかしながら、これらの
実験は、互いに素なトレーニング集合及びテスト集合を
サポートしていなかった。以降の研究で、別のテスト集
合がサポートされ、１１２人分のデータベース上で９６
％の認識精度が報告されている。
【０００９】
【発明が解決しようとする課題】本発明の目的は、デー
タを十分に説明する統計モデルを先ず発見し、次にこの
モデルからシステムに与えられる照会対象を分類するた
めのメトリックを推定するパターン認識方法を提供する
ことである。
タを十分に説明する統計モデルを先ず発見し、次にこの
モデルからシステムに与えられる照会対象を分類するた
めのメトリックを推定するパターン認識方法を提供する
ことである。
【００１０】ここでは、メトリックという用語は、パタ
ーン分類システムにおいて距離を判断する目的をもつ条
件付き確率を意味するものとする。
ーン分類システムにおいて距離を判断する目的をもつ条
件付き確率を意味するものとする。
【００１１】統計モデルが多変量正規濃度の組み合わせ
からなる場合には、本発明により、パターン認識システ
ムにおいて照会対象を分類するために用いる改良された
判定規則となる自然メトリックが次の数３式で規定され
る。
からなる場合には、本発明により、パターン認識システ
ムにおいて照会対象を分類するために用いる改良された
判定規則となる自然メトリックが次の数３式で規定され
る。
【００１２】
【数３】 ここで、Ｍｋは、ゼロ平均を有するように調整されたＭ
ｋのことである。正規濃度を、ベータ濃度の混合など、
その他の同様な濃度で置き換えても良い。
ｋのことである。正規濃度を、ベータ濃度の混合など、
その他の同様な濃度で置き換えても良い。
【００１３】多くの用途において、多数の特徴が利用で
きるが、データベースの大きさは限られている。このよ
うな場合に、各共分散の対角線上以外の成分に、［０，
１）の値を乗算する簡単な計算法により性能を向上させ
ることができると共に、計算の難しさを低減することが
できる。
きるが、データベースの大きさは限られている。このよ
うな場合に、各共分散の対角線上以外の成分に、［０，
１）の値を乗算する簡単な計算法により性能を向上させ
ることができると共に、計算の難しさを低減することが
できる。
【００１４】混合要素の数が先験的に分っていない場合
には、ある範囲内のすべての値に対してメトリックを学
習し、その結果と組み合わせて単一の合成メトリックを
形成することができる。
には、ある範囲内のすべての値に対してメトリックを学
習し、その結果と組み合わせて単一の合成メトリックを
形成することができる。
【００１５】パターン認識の一つの応用としては、一般
に画像認識があり、顔認識は画像認識の重要な下位分類
である。顔のデータベースに関連する２つの興味ある共
分散がある。第一は、クラス間共分散であり、これはす
べての候補者クラス、即ち、全ての顔の間での特徴部分
の変化度を測定するものである。第二は、クラス内共分
散であって、これは単一のクラス、即ち、一人の顔にお
いて特徴部分の変化度を測定するものである。各クラス
について、個人についての画像が正規に分布していると
仮定するならば、クラス内共分散は明らかに重要であ
る。数幾人かの研究者は、照会対象とデータベース中の
各モデルとの距離の計算において、クラス内共分散を用
いている。しかしながら、クラス内共分散の計算は、個
人（クラス）についての多くの事例を含むトレーニング
集合を必要とする。このようなことは実際には殆どな
く、各クラスについて単一の事例しかトレーニング集合
内に存在しない。
に画像認識があり、顔認識は画像認識の重要な下位分類
である。顔のデータベースに関連する２つの興味ある共
分散がある。第一は、クラス間共分散であり、これはす
べての候補者クラス、即ち、全ての顔の間での特徴部分
の変化度を測定するものである。第二は、クラス内共分
散であって、これは単一のクラス、即ち、一人の顔にお
いて特徴部分の変化度を測定するものである。各クラス
について、個人についての画像が正規に分布していると
仮定するならば、クラス内共分散は明らかに重要であ
る。数幾人かの研究者は、照会対象とデータベース中の
各モデルとの距離の計算において、クラス内共分散を用
いている。しかしながら、クラス内共分散の計算は、個
人（クラス）についての多くの事例を含むトレーニング
集合を必要とする。このようなことは実際には殆どな
く、各クラスについて単一の事例しかトレーニング集合
内に存在しない。
【００１６】この場合には、クラス内共分散を計算する
ことは不可能である。そこで、代わりに用いられるモデ
ルは、あらゆる顔が単一の正規母集団から抽出されると
仮定すると、平均の顔とクラス間共分散の計算を簡単に
行い得る。照会対象とモデルとは、照会対象と平均との
差及びモデルと平均との差を比較することにより行なわ
れる。クラス内共分散よりむしろクラス間共分散を用い
ることにより、マハラノビス距離が計算できる。
ことは不可能である。そこで、代わりに用いられるモデ
ルは、あらゆる顔が単一の正規母集団から抽出されると
仮定すると、平均の顔とクラス間共分散の計算を簡単に
行い得る。照会対象とモデルとは、照会対象と平均との
差及びモデルと平均との差を比較することにより行なわ
れる。クラス内共分散よりむしろクラス間共分散を用い
ることにより、マハラノビス距離が計算できる。
【００１７】この方法の弱点を、次の例によって示す。
個々の特徴部分が、クラス内ではなく、クラス間で大幅
に変化すると仮定する。その場合、クラス間共分散法で
は、全体的な距離判定を構成する際にクラス内共分散に
軽く重みづけを行なう。しかし、クラス内分散が小さい
ことにより、照会対象を１００％正確に分類するのに、
クラス内共分散の特徴部分だけで十分であると思われ
る。それにも拘らず、注意深く計算すれば、クラス間共
分散が、顔の分類の問題に対して優れたしかも簡単な解
決法となることが実験により示唆されている。
個々の特徴部分が、クラス内ではなく、クラス間で大幅
に変化すると仮定する。その場合、クラス間共分散法で
は、全体的な距離判定を構成する際にクラス内共分散に
軽く重みづけを行なう。しかし、クラス内分散が小さい
ことにより、照会対象を１００％正確に分類するのに、
クラス内共分散の特徴部分だけで十分であると思われ
る。それにも拘らず、注意深く計算すれば、クラス間共
分散が、顔の分類の問題に対して優れたしかも簡単な解
決法となることが実験により示唆されている。
【００１８】
【課題を解決するための手段】本発明によれば、トレー
ニングデータの統計モデルとの間のメトリック（差）を
推定し、上記メトリックを用いて入力された照会対照を
分類するパターン認識の方法が得られる。
ニングデータの統計モデルとの間のメトリック（差）を
推定し、上記メトリックを用いて入力された照会対照を
分類するパターン認識の方法が得られる。
【００１９】又、本発明によれば、上記パターン認識の
方法において、上記統計モデルは、多変量正規濃度の組
み合わせからなっているパターン認識の方法（Ｉ）が得
られる。
方法において、上記統計モデルは、多変量正規濃度の組
み合わせからなっているパターン認識の方法（Ｉ）が得
られる。
【００２０】更に、本発明によれば、上記パターン認識
の方法において、上記統計モデルは、多変量正規濃度の
組み合わせと同様な数学的形式を有している第２のパタ
ーン認識の方法（II）が得られる。
の方法において、上記統計モデルは、多変量正規濃度の
組み合わせと同様な数学的形式を有している第２のパタ
ーン認識の方法（II）が得られる。
【００２１】ここでのパターン認識の方法（Ｉ）におい
て、上記メトリックの推定は、数４式として、
て、上記メトリックの推定は、数４式として、
【００２２】
【数４】 で表わされたり、或いはパターン認識の方法（II）にお
いて、上記メトリックの推定は、数５式として、
いて、上記メトリックの推定は、数５式として、
【００２３】
【数５】 で表わされることは好ましい。
【００２４】又、上記パターン認識の方法（Ｉ）や上記
パターン認識の方法（II）において、さらに、対角線上
にない行列要素を減少させることは好ましい。
パターン認識の方法（II）において、さらに、対角線上
にない行列要素を減少させることは好ましい。
【００２５】更に、上記いずれか一つのパターン認識の
方法において、上記トレーニングデータは、顔であるこ
とや指紋であることは好ましい。
方法において、上記トレーニングデータは、顔であるこ
とや指紋であることは好ましい。
【００２６】加えて、本発明によれば、上記パターン認
識の方法において、上記トレーニングデータは、ラベル
付けされたデータが含まれているパターン認識の方法が
得られる。
識の方法において、上記トレーニングデータは、ラベル
付けされたデータが含まれているパターン認識の方法が
得られる。
【００２７】
【発明の実施の形態】以下、本発明の実施例を、添付図
面を参照して詳細に説明する。
面を参照して詳細に説明する。
【００２８】図１を参照すると、顔のデータベースから
抽出された点の集合が示されている。表１は、顔の特徴
部分から算出された３０次元の特徴ベクトルを示してい
る。すべての距離は、虹彩間距離により正規化され、相
似不変性を提供する。
抽出された点の集合が示されている。表１は、顔の特徴
部分から算出された３０次元の特徴ベクトルを示してい
る。すべての距離は、虹彩間距離により正規化され、相
似不変性を提供する。
【００２９】
【表１】 表は、好ましい３０次元のベクトルを示しているが、顔
認識に用いられるベクトルを形成するために、その他の
特徴ベクトルを使用しても差し支えないことは当業者に
は明らかである。
認識に用いられるベクトルを形成するために、その他の
特徴ベクトルを使用しても差し支えないことは当業者に
は明らかである。
【００３０】顔のデータベースをトレーニング集合とし
て用いる際に、特徴部分についての単一クラスモデルを
作成するためにデータベース全体を用いることができる
ことが知られている。この場合、単一モデルは、以降の
顔認識検証全ての基礎となる。他方、反対に、個々の顔
それぞれがそれ自身のクラスとなり、モデルの集合を与
えることもできる。この場合、以降のパターンマッチン
グにおいて、顔の各特徴部分はデータベース中の各クラ
ス（すなわち顔）と比較され、照会されている顔の画像
と最近接距離で整合する画像が選択される。
て用いる際に、特徴部分についての単一クラスモデルを
作成するためにデータベース全体を用いることができる
ことが知られている。この場合、単一モデルは、以降の
顔認識検証全ての基礎となる。他方、反対に、個々の顔
それぞれがそれ自身のクラスとなり、モデルの集合を与
えることもできる。この場合、以降のパターンマッチン
グにおいて、顔の各特徴部分はデータベース中の各クラ
ス（すなわち顔）と比較され、照会されている顔の画像
と最近接距離で整合する画像が選択される。
【００３１】顔のパターンを一つ以上のクラスに区分す
る試みにおいて、（但し、クラスはデータベース中の個
人の数よりも少ない）、混成又は組み合わせモデルが採
用される。この場合、関連した連結された共分散が各区
分に対して算出される。最後に、本明細書中の別の場所
でも述べるように、照会対象と既知の顔の間の距離が、
各区分毎に１つずつ、重み付けされた距離の和として算
出される。最近接整合は、その画像が分類されているク
ラスである。
る試みにおいて、（但し、クラスはデータベース中の個
人の数よりも少ない）、混成又は組み合わせモデルが採
用される。この場合、関連した連結された共分散が各区
分に対して算出される。最後に、本明細書中の別の場所
でも述べるように、照会対象と既知の顔の間の距離が、
各区分毎に１つずつ、重み付けされた距離の和として算
出される。最近接整合は、その画像が分類されているク
ラスである。
【００３２】本発明によれば、区分における距離値すな
わち実質的に同じ値を有する画像群は、クラスとして形
成される。その結果、クラスの数は１より大きく、但
し、各クラス内の画像は１つ以上である。結果として得
られたクラスは、同じ共分散値を用いた、同じ対象につ
いての画像である。
わち実質的に同じ値を有する画像群は、クラスとして形
成される。その結果、クラスの数は１より大きく、但
し、各クラス内の画像は１つ以上である。結果として得
られたクラスは、同じ共分散値を用いた、同じ対象につ
いての画像である。
【００３３】ここで考慮された事例は、上記のＫａｎａ
ｄｅにおいて用いられた技術に対応している。即ち、逆
共分散行列が相似判定から直接用いられる。それによっ
て行われた判定は、もちろん、Σ／２により行われた判
定と同一である。
ｄｅにおいて用いられた技術に対応している。即ち、逆
共分散行列が相似判定から直接用いられる。それによっ
て行われた判定は、もちろん、Σ／２により行われた判
定と同一である。
【００３４】そこで、ｋ個の正規濃度の組み合わせによ
りデータをモデル化することを仮定するのが当然次のス
テップとなる。何らかの方法（例えば、Ｅｘｐｅｃｔａ
ｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ（最大期待値）
（ＥＭ））によりこの組み合わせを学習した後、数６式
の事後確率の計算に進む。
りデータをモデル化することを仮定するのが当然次のス
テップとなる。何らかの方法（例えば、Ｅｘｐｅｃｔａ
ｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ（最大期待値）
（ＥＭ））によりこの組み合わせを学習した後、数６式
の事後確率の計算に進む。
【００３５】
【数６】 照会依存性はないため、各データベース要素に対して１
回ずつ計算され、後で使用するために記録される。１対
の値（Ｑ，Ｙｉ）が与えられると、次の数７式のように
計算できる。
回ずつ計算され、後で使用するために記録される。１対
の値（Ｑ，Ｙｉ）が与えられると、次の数７式のように
計算できる。
【００３６】
【数７】 ｛Ｙｉ｝｜に関してフラットプライヤ（平均的な代表要
素）を仮定すれば、これらの値を簡単に正規化して、
｛Ｐｒ（Ｙｉ｜Ｑ）｝を得、この値から分類を行なうこ
とができる。先に考察した単一の混合要素の場合におい
てと同様に、｛Ｙｉ｝に関して代わりのプライヤ（代表
要素）を使用することもできる。
素）を仮定すれば、これらの値を簡単に正規化して、
｛Ｐｒ（Ｙｉ｜Ｑ）｝を得、この値から分類を行なうこ
とができる。先に考察した単一の混合要素の場合におい
てと同様に、｛Ｙｉ｝に関して代わりのプライヤ（代表
要素）を使用することもできる。
【００３７】この方法は、未管理メトリック学習形式と
して述べられる。ベクトルの集合を考慮して、２つのベ
クトルを与えられた時、第一のベクトルが第二のベクト
ルから発生する確率を与える関数が学習される。これ
は、数学的な意味では、十分なメトリックではない。但
し、失われた特性のいくつかは定義を修正することによ
り補うこともできる。この方法を、特徴ベクトルの単一
集合及び強力な付加的推定から結合濃度を得るものとし
て考えることもできる。
して述べられる。ベクトルの集合を考慮して、２つのベ
クトルを与えられた時、第一のベクトルが第二のベクト
ルから発生する確率を与える関数が学習される。これ
は、数学的な意味では、十分なメトリックではない。但
し、失われた特性のいくつかは定義を修正することによ
り補うこともできる。この方法を、特徴ベクトルの単一
集合及び強力な付加的推定から結合濃度を得るものとし
て考えることもできる。
【００３８】上記説明は、必要な組み合わせ濃度を学習
する詳細については触れておらず、実際、僅かのデータ
しかない場合に単一の多変量正規濃度のパラメータを推
定することについては述べられていない。現実には、
（局部的）最尤混成モデルを得るために公知の最大期待
値（ＥＭ）法を用いることができる。この場合には、単
一濃度を用いた場合と同様に、極く僅かのデータしか得
られないならば、何らかの統計的には平均化された形式
のものが好ましい。この問題を扱うための実用的な技術
について次に説明する。
する詳細については触れておらず、実際、僅かのデータ
しかない場合に単一の多変量正規濃度のパラメータを推
定することについては述べられていない。現実には、
（局部的）最尤混成モデルを得るために公知の最大期待
値（ＥＭ）法を用いることができる。この場合には、単
一濃度を用いた場合と同様に、極く僅かのデータしか得
られないならば、何らかの統計的には平均化された形式
のものが好ましい。この問題を扱うための実用的な技術
について次に説明する。
【００３９】一つの好適な統計装置は、共分散の前に分
散を確信することになる。Σの対角線上にない成分に、
ある尺度係数ｓ ［０，１）を乗算する。１を避けるこ
とにより、さらに、不良条件の行列（０に近い分散はな
いと仮定して）を防ぐというさらなる利点な点が得られ
る。
散を確信することになる。Σの対角線上にない成分に、
ある尺度係数ｓ ［０，１）を乗算する。１を避けるこ
とにより、さらに、不良条件の行列（０に近い分散はな
いと仮定して）を防ぐというさらなる利点な点が得られ
る。
【００４０】ｓを推定する直截的な方法は、［０，１）
のとり得る値の離散的集合を定めることによって始ま
る。次に、多岐交錯妥当検査を用いて、得られたモデル
の各々が、トレーニング集合における以前には見たこと
のないデータ点をどの程度良く予測するかを決定する。
このことから、分布が、可能性の離散的集合上で推定さ
れる。次に、この分布を用いて、得られたモデルのモー
ドや組み合わせを選択する。
のとり得る値の離散的集合を定めることによって始ま
る。次に、多岐交錯妥当検査を用いて、得られたモデル
の各々が、トレーニング集合における以前には見たこと
のないデータ点をどの程度良く予測するかを決定する。
このことから、分布が、可能性の離散的集合上で推定さ
れる。次に、この分布を用いて、得られたモデルのモー
ドや組み合わせを選択する。
【００４１】十分なデータが与えられると、ある成分は
多くの要素を持ち、また他の成分は比較的少ない要素を
有するので、各混成成分に対して異なったｓの値を割り
あてることを試みてもよいことを言っておかなくてはな
らない。多くの要素を持つ成分は、１に近いｓの値を用
いて良好にはたらくことが予測できる。
多くの要素を持ち、また他の成分は比較的少ない要素を
有するので、各混成成分に対して異なったｓの値を割り
あてることを試みてもよいことを言っておかなくてはな
らない。多くの要素を持つ成分は、１に近いｓの値を用
いて良好にはたらくことが予測できる。
【００４２】本発明の実用的な用途の一例は、顔認識に
おいてである。ここで、十分なデータ及び混成モデルが
与えられると、クラス間とクラス内との区別は消失す
る。以下の説明においては、クラス間共分散が用いられ
る。
おいてである。ここで、十分なデータ及び混成モデルが
与えられると、クラス間とクラス内との区別は消失す
る。以下の説明においては、クラス間共分散が用いられ
る。
【００４３】ｚｉｊ及びｚｉｋが、ｉ番目のクラス内の
ｊ番目及びｋ番目の特徴をあらわし、Ｎがデータベース
中の個人の総数をあらわすものとすると、共分散は数８
及び数９式で表わされる。
ｊ番目及びｋ番目の特徴をあらわし、Ｎがデータベース
中の個人の総数をあらわすものとすると、共分散は数８
及び数９式で表わされる。
【００４４】
【数８】 ここで、
【００４５】
【数９】 である。
【００４６】つぎに、この共分散行列は、対角線上にな
い要素に、トレーニングデータにおいて留保されている
数個のサンプルを用いて推定された定数０≦ｃ≦１を乗
算することによって修正される。ここで、十分な照会デ
ータベースの欠如により、ｃは留保されたトレーニング
データを用いては推定されず、照会データを用いて直接
推定される。厳密には、このことは、テスト集合上にト
レーニングの形式を許容することになるため、行うべき
でない。しかしながら、対角線上にない成分に対する重
み付けは、報告されたテストの各々に対して変化させる
ことができたので、ｃは全てのテストに対して固定され
たままになる。０．５の重み付けを対角線上にない成分
に与えることにより良好な結果が与えられるが、対角線
上にない成分に対する重み付けを変えることにより、１
〜２％改善された結果が得られる。この大まかな統計的
平坦化技術は、多くの可能性の一つに過ぎない。この様
な技術は全て、データの乏しい未加工の標本共分散行列
の公知の欠点に対処したものである。
い要素に、トレーニングデータにおいて留保されている
数個のサンプルを用いて推定された定数０≦ｃ≦１を乗
算することによって修正される。ここで、十分な照会デ
ータベースの欠如により、ｃは留保されたトレーニング
データを用いては推定されず、照会データを用いて直接
推定される。厳密には、このことは、テスト集合上にト
レーニングの形式を許容することになるため、行うべき
でない。しかしながら、対角線上にない成分に対する重
み付けは、報告されたテストの各々に対して変化させる
ことができたので、ｃは全てのテストに対して固定され
たままになる。０．５の重み付けを対角線上にない成分
に与えることにより良好な結果が与えられるが、対角線
上にない成分に対する重み付けを変えることにより、１
〜２％改善された結果が得られる。この大まかな統計的
平坦化技術は、多くの可能性の一つに過ぎない。この様
な技術は全て、データの乏しい未加工の標本共分散行列
の公知の欠点に対処したものである。
【００４７】異なる出所からの総計１９５個の画像から
なるモデルデータベースと、幾つかの出所からの９５個
の画像の照会データベースとを用いて、テストを実施し
た。その結果、９５個の画像のうち９２％が正解の、即
ち９７％のアルゴリズム率が得られた。
なるモデルデータベースと、幾つかの出所からの９５個
の画像の照会データベースとを用いて、テストを実施し
た。その結果、９５個の画像のうち９２％が正解の、即
ち９７％のアルゴリズム率が得られた。
【００４８】結論として、各種の大きさ及び人種につい
ての幾つかのデータベース上で顔認識実験を実施したと
ころ、顔上のさまざまな点の間の距離からなる３０次元
の特徴ベクトルを用いて、約９７％の認識率が得られ
た。
ての幾つかのデータベース上で顔認識実験を実施したと
ころ、顔上のさまざまな点の間の距離からなる３０次元
の特徴ベクトルを用いて、約９７％の認識率が得られ
た。
【００４９】以上、顔の研究について説明したが、この
方法は、指紋識別等のその他の画像認識問題に対しても
適用できる。以上、パターン認識を実行する好ましい方
法について説明したが、本発明の趣旨及び範囲を逸脱す
ることなく種々の変形が可能であることはいうまでもな
い。
方法は、指紋識別等のその他の画像認識問題に対しても
適用できる。以上、パターン認識を実行する好ましい方
法について説明したが、本発明の趣旨及び範囲を逸脱す
ることなく種々の変形が可能であることはいうまでもな
い。
【００５０】
【発明の効果】以上に述べた通り、本発明のパターン認
識方法によれば、観察データを充分に説明する正規濃度
の組み合わせから出発する未管理のメトリック認識学習
を用いた顔認識の方法や、照会対象に対応する最も近い
参照データベースを選択するための改良された判定規則
が具現されるようになる。
識方法によれば、観察データを充分に説明する正規濃度
の組み合わせから出発する未管理のメトリック認識学習
を用いた顔認識の方法や、照会対象に対応する最も近い
参照データベースを選択するための改良された判定規則
が具現されるようになる。
【図１】顔パターン認識に用いられる顔の特徴部分から
手作業で抽出された点を含む顔を示す図である。
手作業で抽出された点を含む顔を示す図である。
Claims (14)
- 【請求項１】 トレーニングデータの統計モデルとの間
のメトリック（差）を推定し、上記メトリックを用いて
入力された照会対照を分類することを特徴とするパター
ン認識方法。 - 【請求項２】 上記統計モデルは、多変量正規濃度の組
み合わせからなっていることを特徴とする請求項１に記
載の方法。 - 【請求項３】 上記統計モデルは、多変量正規濃度の組
み合わせと同様な数学的形式を有していることを特徴と
する請求項１に記載の方法。 - 【請求項４】 上記メトリックの推定は、数１式 【数１】 で表わされることを特徴とする請求項２に記載の方法。
- 【請求項５】 上記メトリックの推定は、数２式 【数２】 で表わされることを特徴とする請求項３に記載の方法。
- 【請求項６】 さらに、対角線上にない行列要素を減少
させることを含むことを特徴とする請求項２に記載の方
法。 - 【請求項７】 さらに、対角線上にない行列要素を減少
させることを含むことを特徴とする請求項３に記載の方
法。 - 【請求項８】 上記トレーニングデータは、顔であるこ
とを特徴とする請求項１に記載の方法。 - 【請求項９】 上記トレーニングデータは、顔であるこ
とを特徴とする請求項２に記載の方法。 - 【請求項１０】 上記トレーニングデータは、顔である
ことを特徴とする請求項３に記載の方法。 - 【請求項１１】 上記トレーニングデータは、指紋であ
ることを特徴とする請求項１に記載の方法。 - 【請求項１２】 上記トレーニングデータは、指紋であ
ることを特徴とする請求項２に記載の方法。 - 【請求項１３】 上記トレーニングデータは、指紋であ
ることを特徴とする請求項３に記載の方法。 - 【請求項１４】 上記トレーニングデータは、ラベル付
けされたデータが含まれていることを特徴とする請求項
１に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/503,051 US5774576A (en) | 1995-07-17 | 1995-07-17 | Pattern recognition by unsupervised metric learning |
| US08/503051 | 1995-07-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09134432A true JPH09134432A (ja) | 1997-05-20 |
| JP2868078B2 JP2868078B2 (ja) | 1999-03-10 |
Family
ID=24000567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8184352A Expired - Fee Related JP2868078B2 (ja) | 1995-07-17 | 1996-07-15 | パターン認識方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5774576A (ja) |
| JP (1) | JP2868078B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012221061A (ja) * | 2011-04-05 | 2012-11-12 | Canon Inc | 画像認識装置、画像認識方法、及びプログラム |
| CN111611910A (zh) * | 2020-05-19 | 2020-09-01 | 黄河水利委员会黄河水利科学研究院 | 一种黄河冰坝影像特征识别方法 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5943442A (en) * | 1996-06-12 | 1999-08-24 | Nippon Telegraph And Telephone Corporation | Method of image processing using parametric template matching |
| US6292797B1 (en) * | 1997-08-07 | 2001-09-18 | New York University | Method for determining actionable patterns in a database |
| WO2000033240A1 (en) * | 1998-12-02 | 2000-06-08 | The Victoria University Of Manchester | Face sub-space determination |
| US7280697B2 (en) * | 2001-02-01 | 2007-10-09 | California Institute Of Technology | Unsupervised learning of object categories from cluttered images |
| US6888960B2 (en) * | 2001-03-28 | 2005-05-03 | Nec Corporation | Fast optimal linear approximation of the images of variably illuminated solid objects for recognition |
| WO2003023700A1 (en) * | 2001-09-12 | 2003-03-20 | Supersoftware (International) Pty Ltd | A system and method for vehicle identification |
| US7587062B2 (en) * | 2003-05-09 | 2009-09-08 | Avid Technology, Inc. | Watermarking |
| US7151969B2 (en) * | 2003-06-26 | 2006-12-19 | International Business Machines Corporation | Administering devices in dependence upon user metric vectors with optimizing metric action lists |
| US7783113B2 (en) * | 2004-10-08 | 2010-08-24 | Drvision Technologies Llc | Partition pattern match and integration method for alignment |
| US20070061319A1 (en) * | 2005-09-09 | 2007-03-15 | Xerox Corporation | Method for document clustering based on page layout attributes |
| US8606019B2 (en) * | 2007-04-23 | 2013-12-10 | Nec Corporation | Matching method for two-dimensional pattern, feature extracting method, apparatus used for the methods, and programs |
| US20080270425A1 (en) * | 2007-04-27 | 2008-10-30 | James Cotgreave | System and method for connecting individuals in a social networking environment based on facial recognition software |
| KR101428715B1 (ko) * | 2007-07-24 | 2014-08-11 | 삼성전자 주식회사 | 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및방법 |
| US8320606B1 (en) | 2008-08-29 | 2012-11-27 | Adobe Systems Incorporated | Video watermarking with fast detection |
| US8385590B1 (en) | 2008-11-05 | 2013-02-26 | Adobe Systems Incorporated | Video watermarking with temporal patterns |
| US8213673B2 (en) * | 2009-06-09 | 2012-07-03 | Avio Technology, Inc. | Watermarking of motion pictures |
| US8488873B2 (en) * | 2009-10-07 | 2013-07-16 | Apple Inc. | Method of computing global-to-local metrics for recognition |
| US8566268B2 (en) | 2010-10-08 | 2013-10-22 | International Business Machines Corporation | System and method for composite distance metric leveraging multiple expert judgments |
| US20130156300A1 (en) * | 2011-12-20 | 2013-06-20 | Fatih Porikli | Multi-Class Classification Method |
| US10117309B1 (en) * | 2012-08-17 | 2018-10-30 | Kuna Systems Corporation | Internet protocol security camera with behavior detection |
| US10860683B2 (en) * | 2012-10-25 | 2020-12-08 | The Research Foundation For The State University Of New York | Pattern change discovery between high dimensional data sets |
| CN115240249B (zh) * | 2022-07-07 | 2023-06-06 | 湖北大学 | 人脸识别的特征提取分类度量学习方法、***及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4661913A (en) * | 1984-09-11 | 1987-04-28 | Becton, Dickinson And Company | Apparatus and method for the detection and classification of articles using flow cytometry techniques |
| US5075896A (en) * | 1989-10-25 | 1991-12-24 | Xerox Corporation | Character and phoneme recognition based on probability clustering |
| US5345535A (en) * | 1990-04-04 | 1994-09-06 | Doddington George R | Speech analysis method and apparatus |
| US5491758A (en) * | 1993-01-27 | 1996-02-13 | International Business Machines Corporation | Automatic handwriting recognition using both static and dynamic parameters |
| US5461699A (en) * | 1993-10-25 | 1995-10-24 | International Business Machines Corporation | Forecasting using a neural network and a statistical forecast |
-
1995
- 1995-07-17 US US08/503,051 patent/US5774576A/en not_active Expired - Lifetime
-
1996
- 1996-07-15 JP JP8184352A patent/JP2868078B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012221061A (ja) * | 2011-04-05 | 2012-11-12 | Canon Inc | 画像認識装置、画像認識方法、及びプログラム |
| CN111611910A (zh) * | 2020-05-19 | 2020-09-01 | 黄河水利委员会黄河水利科学研究院 | 一种黄河冰坝影像特征识别方法 |
| CN111611910B (zh) * | 2020-05-19 | 2023-04-28 | 黄河水利委员会黄河水利科学研究院 | 一种黄河冰坝影像特征识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5774576A (en) | 1998-06-30 |
| JP2868078B2 (ja) | 1999-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2868078B2 (ja) | パターン認識方法 | |
| Moghaddam et al. | Probabilistic visual learning for object representation | |
| JP2923913B2 (ja) | 物体認識方法及び装置 | |
| US7254256B2 (en) | Method and computer program product for locating facial features | |
| US7167578B2 (en) | Probabilistic exemplar-based pattern tracking | |
| CN111738143B (zh) | 一种基于期望最大化的行人重识别方法 | |
| Navaratnam et al. | The joint manifold model for semi-supervised multi-valued regression | |
| Toyoda et al. | Random field model for integration of local information and global information | |
| US20070237355A1 (en) | Method and apparatus for adaptive context-aided human classification | |
| US20070239764A1 (en) | Method and apparatus for performing constrained spectral clustering of digital image data | |
| Kotropoulos et al. | Morphological elastic graph matching applied to frontal face authentication under well-controlled and real conditions | |
| JP2005149506A (ja) | 対象物自動認識照合方法および装置 | |
| Kim et al. | Face recognition using the mixture-of-eigenfaces method | |
| CN104966075B (zh) | 一种基于二维判别特征的人脸识别方法与*** | |
| Kalina | Implicitly weighted methods in robust image analysis | |
| Filković et al. | Deep metric learning for person Re-identification and De-identification | |
| Perronnin et al. | A probabilistic model of face mapping with local transformations and its application to person recognition | |
| Sahbi et al. | From coarse to fine skin and face detection | |
| Sahbi et al. | Coarse to fine face detection based on skin color adaption | |
| Huang et al. | Incremental kernel null foley-sammon transform for person re-identification | |
| Haindl et al. | Model-based texture segmentation | |
| Gaston et al. | Matching larger image areas for unconstrained face identification | |
| Paterson et al. | 3D head tracking using non-linear optimization. | |
| Li et al. | Object class recognition using images of abstract regions | |
| Tu et al. | Facial sketch synthesis using 2D direct combined model-based face-specific Markov network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071225 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081225 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091225 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091225 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101225 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101225 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111225 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111225 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |