JP5480532B2 - 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラムに関するものであり、特に、対象物を撮像した入力対象画像中の対象物を隠蔽する隠蔽物の種類に関わらず隠蔽物の有無を検出可能とする画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラムに関するものである。

従来、顔認証装置を例にすると、被写体の人物を撮像した入力画像から人物の顔を含む顔画像を抽出して、予め登録しておいた顔画像と照合することにより本人確認を行う認証装置が知られている。

顔画像を照合する方法としては、入力された顔画像と登録されている顔画像に複数のサンプル点を設定し、両画像の対応を考慮してサンプル点の位置を調整した後、サンプル点の周辺の濃淡値の分布やサンプル点間の距離など、局所的な特徴量に基づいてサンプル点毎に類似度を求め、これをもとに顔全体の類似度を算出する方法が知られている（例えば、非特許文献１、特許文献１、２参照）。

サンプル点の設定方法は、基準となる平均顔画像上に設定したサンプル点をもとに、入力顔画像上や登録顔画像上にサンプル点を仮設定し、サンプル点の位置を変更しながら、平均顔画像のサンプル点に最も対応するサンプル点の位置を探索して確定する方法が知られている（特許文献１、２参照）。

このような認証装置は、一般に、入力画像と登録画像との両画像から抽出した顔の特徴的な部位について、各部位の特徴量同士を比較し、その類似度に基づいて本人認証を行う。しかしながら、被写体の顔にマスクやサングラス等の装着物が装着された入力画像が入力された場合、本人認証の精度が低下するおそれがある。

なぜなら、認証装置は、両画像のいずれか一方において顔の特徴的な部位が装着物等で隠蔽されていた場合、その部位については比較することができないので、本人であっても他人と判定してしまい、認証精度が低下してしまうからである。

かかる問題を解消する技術として、入力画像中の顔における装着物の有無を検出し、眼鏡等の装着物があった場合に、特徴量の抽出位置を調整することによって、装着物の有無に影響されにくい本人認証を可能とした技術が考案されている（例えば、特許文献３参照）。

この技術では、装着物の有無の判定にブースティング（BOOSTING）やＳＶＭ（Super Vector Machine）等の一般的なパターン認識技術が用いられていた。また、別の技術として、目や口などの顔の特定の器官が検出できるかによって、装着物の有無を判定する技術が考案されている（例えば、特許文献４参照）。

特開２００４−１１８７３１号公報 特開２００５−２９３３９９号公報 特開２００７−２８０２５０号公報 特開２０００−２５１０７７号公報

「Face Recognition ｂy Elastic Bunch Graph Matching」(In Intelligent Biometric Techniques in Fingerprint and Face Recognition,eds,L.C.Jain et al. publ. CRC Press, ISBN 0-8493-2055-0, Chapter 11, pp,355-396,(1999).)

しかしながら、ブースティングやＳＶＭ等の一般的なパターン認識技術では、装着物等といった撮像対象の認識を妨げる隠蔽物が画像中に存在するか否かの判定に要する処理付加が増大するおそれがあった。

すなわち、従来のパター認識技術では、隠蔽物の有無を判定するために、入力画像に対して予め想定した様々な隠蔽物の画像パターンを用いたパターンマッチングを行って隠蔽物を検出する必要があるため、パターンマッチングに要する処理量が増大する。また、予め想定していない隠蔽物については検出することができないため、隠蔽物の有無の判定が困難になる。

一方で、目や口の検出可否によって判定する場合も、目や口を隠蔽しない隠蔽物を検出しようとすると、新たに検出する器官が増えて処理量が増大する。例えば、眉毛にかかる前髪を検出場合、新たに眉毛を検出する必要がある。また、目や口と違って眉毛は薄い人も多く、隠蔽物を誤検出する可能性が高い。さらに、頬や額を覆う隠蔽物については、検出できる器官が存在しないので検出できない。

このように従来の技術では、想定している隠蔽物しか検出できない、想定する隠蔽物を増やすと処理量が増大する、隠蔽物の場所によっては検出できない、という課題がある。

本発明は、上記に鑑みてなされたものであって、隠蔽物の種類にかかわらず隠蔽物の有無を判定可能な画像認識装置、画像認識方法、及び画像認識プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明では、対象物に関する基準対象画像と対象物を撮像した入力対象画像との間で、局所的な特徴を比較することによって、前記入力対象画像中の対象物を隠蔽する隠蔽物を検出する画像処理方法であって、前記基準対象画像上に複数のサンプル点を設定する基準対象画像サンプル点設定工程と、前記基準対象画像上に設定されたサンプル点に対応するサンプル点を前記入力対象画像上に設定し、前記基準対象画像上の各サンプル点における特徴量と前記入力対象画像上の各サンプル点における特徴量とを検出し、対応するサンプル点毎に前記基準対象画像の特徴量と前記入力対象画像の特徴量との類似度を算出する類似度算出工程と、前記類似度が所定の類似判定用閾値未満であるサンプル点に基づいて、前記入力対象画像における前記隠蔽物の有無を判定する隠蔽物有無判定工程とを有し、前記隠蔽物有無判定工程は、全ての前記サンプル点内の、あるいは、あらかじめ選択された前記サンプル点のグループ内の、前記類似度が前記類似判定用閾値未満である前記サンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合、前記隠蔽物が有りと判定することを特徴とする画像処理方法を提供することとした。これにより、隠蔽物の種類にかかわらず隠蔽物の有無を検出することができる。特に、全ての前記サンプル点内の、あるいは、あらかじめ選択された前記サンプル点のグループ内の、前記類似度が前記類似判定用閾値未満である前記サンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合、前記隠蔽物が有りと判定することによって、隠蔽物の種類にかかわらず隠蔽物の有無を検出することができる。

また、本発明では、前記グループと特定の隠蔽物とを関連付け、前記グループにおいて前記隠蔽物が有りと判定された場合、前記関連付けられた特定の隠蔽物が検出されたと判定する。これによって、隠蔽物の有無にかかわらず隠蔽物の有無を検出することができる上に、隠蔽物の種類を推定することができる。

また、本発明に係る前記類似度算出工程は、前記特徴量として、前記サンプル点における特徴ベクトルを用い、前記類似度として、特徴ベクトルの類似度を算出する。

また、本発明に係る画像処理方法は、複数の前記基準対象画像上に設定されたサンプル点における特徴ベクトルから部分空間を作成する部分空間作成工程をさらに有し、前記類似度算出工程は、前記基準対象画像の特徴量として、前記サンプル点における前記部分空間を用い、前記入力対象画像の特徴量として、前記サンプル点における特徴ベクトルを用い、前記類似度として、前記部分空間と前記特徴ベクトルの類似度を算出する。

また、本発明では、対象物に関する基準対象画像と対象物を撮像した入力対象画像との間で、局所的な特徴を比較することによって、前記入力対象画像中の対象物を隠蔽する隠蔽物を検出する画像処理方法をコンピュータに実行させるプログラムであって、前記基準対象画像上に設定された複数のサンプル点に対応するサンプル点を前記入力対象画像上に設定し、前記基準対象画像上の各サンプル点における特徴量と前記入力対象画像上の各サンプル点における特徴量を検出し、対応するサンプル点毎に前記基準対象画像の特徴量と前記入力対象画像の特徴量との類似度を算出する類似度算出工程と、前記類似度が所定の類似判定用閾値未満であるサンプル点にもとづいて、前記入力対象画像における前記隠蔽物の有無を判定する隠蔽物有無判定工程とを有し、前記隠蔽物有無判定工程は、全ての前記サンプル点内の、あるいは、あらかじめ選択された前記サンプル点のグループ内の、前記類似度が前記類似判定用閾値未満である前記サンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合、前記隠蔽物が有りと判定する処理をコンピュータに実行させるプログラムを提供することとした。これによって、隠蔽物の種類にかかわらず隠蔽物の有無を検出することができる。特に、全ての前記サンプル点内の、あるいは、あらかじめ選択された前記サンプル点のグループ内の、前記類似度が前記類似判定用閾値未満である前記サンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合、前記隠蔽物が有りと判定することによって、隠蔽物の種類にかかわらず隠蔽物の有無を検出することができる。

また、本発明では、対象物に関する基準対象画像と対象物を撮像した入力対象画像との間で、局所的な特徴を比較することによって、前記入力対象画像中の対象物を隠蔽する隠蔽物を検出する画像処理装置であって、前記基準対象画像上に設定された複数のサンプル点に対応するサンプル点を前記入力対象画像上に設定し、前記基準対象画像上の各サンプル点における特徴量と前記入力対象画像上の各サンプル点における特徴量を検出し、対応するサンプル点毎に前記基準対象画像の特徴量と前記入力対象画像の特徴量との類似度を算出する類似度算出部と、前記類似度が所定の類似判定用閾値未満であるサンプル点にもとづいて、前記入力対象画像における前記隠蔽物の有無を判定する隠蔽物有無判定部とを有し、前記隠蔽物有無判定部は、全ての前記サンプル点内の、あるいは、あらかじめ選択された前記サンプル点のグループ内の、前記類似度が前記類似判定用閾値未満である前記サンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合、前記隠蔽物が有りと判定することを特徴とする画像処理装置を提供することとした。これによって、隠蔽物の種類にかかわらず隠蔽物の有無を検出することができる。特に、全ての前記サンプル点内の、あるいは、あらかじめ選択された前記サンプル点のグループ内の、前記類似度が前記類似判定用閾値未満である前記サンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合、前記隠蔽物が有りと判定することによって、隠蔽物の種類にかかわらず隠蔽物の有無を検出することができる。

本発明によれば、隠蔽物の種類にかかわらず隠蔽物の有無を検出することができる。

図１は、サングラスの有無を判定する場合の処理手順の概要を示す説明図である。 図２は、マスクの有無を判定する処理手順の概要を示す説明図である。 図３は、隠蔽物が存在しない場合の処理手順の概要を示す説明図である。 図４は、本実施形態に係る画像認識処理の概念を説明するための説明図である。 図５は、本実施形態に係る部分空間の概念を説明するための説明図である。 図６は、本実施形態に係る特徴ベクトルの認識部分空間への距離を用いた顔画像上のサンプル点検出の概念を説明する説明図である。 図７は、本実施形態に係る平均顔画像および入力画像上の特徴ベクトルの相関値算出処理の概念を説明する説明図である。 図８は、本実施形態に係る画像認識装置の構成を示す機能ブロック図である。 図９は、本実施形態に係る顔画像データを正規化する正規化処理のフローチャートである。 図１０は、本実施形態に係る顔画像集合から特徴ベクトルの認識部分空間を作成する認識部分空間作成処理のフローチャートである。 図１１は、本実施形態に係る顔画像集合から特徴ベクトルの認識部分空間を修正する認識部分空間修正処理のフローチャートである。 図１２は、本実施形態に係る照合判定処理の処理手順を示すフローチャートである。 図１３は本実施形態に係る画像認識装置のシステム構成を示すブロック図である。

以下、本発明に係る画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラムの一実施形態について、図面を参照して具体的に説明する。本実施形態では、対象物として人物の顔が撮像された入力画像において、顔の認識を妨げる隠蔽物の有無を判定する画像認識装置に対して本発明を適用した場合を例に挙げて説明する。

この画像認識装置は、対象物に関する基準対象画像と対象物を撮像した入力対象画像との間で、局所的な特徴を比較することによって、前記入力対象画像中の対象物を隠蔽する隠蔽物を検出する。

なお、本発明において隠蔽物の有無を判定する撮像対象は、人物の顔に限定するものではなく、指紋や掌紋等といった人物の他の部位や任意の物体であってもよい。また、本実施形態では、隠蔽物の一例としてサングラス及びマスクを想定しているが、本発明は、前髪や手等、撮像対象の一部を隠蔽する可能性のある任意の隠蔽物を想定したものである。

ここでは、まず、図１〜図４を参照して、本実施形態に係る画像認識装置によって隠蔽物の有無を判定する処理手順の概要について説明する。図１は、サングラスの有無を判定する場合の処理手順の概要を示す説明図であり、図２は、マスクの有無を判定する処理手順の概要を示す説明図であり、図３は、隠蔽物が存在しない場合の処理手順の概要を示す説明図であり、図４は、本実施形態に係る画像認識処理の概念を説明するための説明図である。

図１に示すように、本実施形態の画像認識装置は、サングラスＧをかけた撮像対象が撮像された入力画像１６を受付けると、まず、入力画像１６中の入力対象画像（以下、「入力顔画像」という。）のサイズを正規化して、予め用意された基準対象画像のサイズと整合することにより、図１（ａ）に示す入力画像１６を生成する。

ここで、基準対象画像とは、隠蔽物が装着されていない対象物が撮像された画像である。ここでは、基準対象画像として平均顔画像を用いる例を示す。この平均顔画像は、画像集合内の複数の各顔画像を正規化し、各画素の濃淡値を平均化することによって生成される。基準対象画像は、このように平均化された画像に限定されるものではないが、顔のように個々に異なる対象を扱う場合は、平均化された画像が望ましい。平均顔画像は、多くの顔が備える共通の特徴が強調されているため、多様な顔画像に対して、個別の特徴の影響を抑えながら顔らしさを判定することができる。一方で、入力顔画像が誰のものか分かる場合は、当人の顔画像を用いてもよい。

次に、画像認識装置は、図４の１２に示すように平均顔画像中の両目、鼻、口を含む領域に１００個のサンプル点を設定すると共に、図１（ｂ）に示すように、入力顔画像の両目、鼻、口を含む領域にも１００個のサンプル点を設定する。

このとき、画像認識装置は、平均顔画像に設定した各サンプル点の位置と、入力顔画像に設定する各サンプル点の位置とが、それぞれ両顔画像の対応する箇所の位置となるように各サンプル点の位置を設定する。

そして、画像認識装置は、平均顔画像と入力顔画像との対応箇所における各サンプル点の特徴量を算出して、対応箇所の各サンプル点の特徴量同士を対比することにより、各サンプル点における特徴量の類似度を算出する。この類似度は、サンプル点の位置において、平均顔画像と入力顔画像がどの程度類似しているかを表している。なお、各サンプル点に関する特徴量の概念及びその算出方法については、後に詳述する。

図１（ｃ）には、入力顔画像に設定した各サンプル点における平均顔画像との類似度を視覚的に示している。同図では、サンプル点の色が濃い程、そのサンプル点における平均顔画像との類似度が高いことを意味している。

図１（ｃ）に示す例では、入力顔画像の口及び鼻に対応する領域の特徴量の類似度が比較的高くなっており、入力顔画像の両目に対応する領域の特徴量の類似度が比較的低くなっている。

これは、入力画像１６において、入力顔画像中の口が口らしく、鼻が鼻らしく映し出されており、目が目らしく映し出されていないことを意味している。すなわち、この図１（ｃ）から、入力顔画像の両目部分に何かの隠蔽物が存在し、その隠蔽物が両目部分を隠蔽していると推定することができる。

画像認識装置は、この隠蔽物の存在の有無を入力顔画像に設定した各サンプル点における類似度の数値に基づいて判定する。図３（ｄ）は、図３（ｃ）に対応する入力顔画像上の各サンプル点における類似度の値を示している。

図１（ｄ）に示すように、画像認識装置は、各サンプル点における類似度を算出し、そのサンプル点の中から類似度が所定の閾値（ここでは、４０）未満のサンプル点を検出する。本実施形態では、この閾値が本発明における所定の類似判定用閾値に相当する。

そして、画像認識装置は、類似度が閾値未満のサンプル点が存在する隠蔽領域Ａ１が入力顔画像に占める割合に基づいて隠蔽物の存在を検出する。たとえば、画像認識装置は、隠蔽領域Ａ１を構成するサンプル点の個数が入力顔画像全体の３０％を越えた場合に、隠蔽物が存在すると判定する。

また、画像認識装置は、隠蔽領域Ａ１の形状及び存在箇所を判定することによって、存在する隠蔽物が顔のどの部分を隠しているかを推定できる。図１（ｄ）に示す例では、撮像対象の両目に対応するサンプル点のグループＢ１の８割以上を隠蔽する隠蔽領域Ａ１が検出されるため、画像認識装置は、両目が隠れていると推定する。

また、検出すべき隠蔽物の種類に応じてサンプル点を選択し、選択したサンプル点のグループの中で閾値を下回るサンプル点の数により、隠蔽物の有無を判定することもできる。例えば、サングラスＧを検出するときには、両目に対応するサンプル点のグループＢ１を選択し、閾値を下回るサンプル点数が所定の個数（又は割合）以上のとき、サングラスＧを装着していると判定する。

このように、隠蔽物の有無を判定する際、全てのサンプル点内の、あるいは、予め選択されたサンプル点のグループ内の、類似度が類似判定用閾値未満であるサンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合に、隠蔽物が有りと判定するよう画像認識装置を構成してもよい。

また、隠蔽物の有無を判定するために、所定のサンプル点のグループと特定の隠蔽物とを関連付けておき、前記グループにおいて隠蔽物がありと判定された場合、関連付けられた特定の隠蔽物が検出されたと判定するように画像認識装置を構成してもよい。

図２には、撮像対象がマスクＭを装着している場合を示している。図２（ａ）は、正規化した入力画像１６、図２（ｂ）は、サンプル点を設定した入力画像１６である。

ここでは、マスクＭを装着した撮像対象の入力画像１６を受付けているため、各サンプル点における類似度を視覚的に表すと、図２（ｃ）に示すように、入力顔画像の口及び鼻に対応する領域の特徴量の類似度が比較的低くなっており、入力顔画像の両目に対応する領域の特徴量の類似度が比較的高くなる。

これは、入力顔画像において、目が目らしく映し出されており、口が口らしく映し出されておらず、鼻が鼻らしく映し出されていないことを意味している。すなわち、この図２（ｃ）から、入力顔画像の口及び鼻の部分に何かの隠蔽物が存在し、その隠蔽物が口と鼻とを隠蔽していると推定することができる。

このとき、画像認識装置は、図２（ｄ）に示すように、各サンプル点における類似度を算出し、そのサンプル点の中から類似度が所定の閾値（ここでは、４０）未満のサンプル点を検出して、それらのサンプル点から構成される隠蔽領域Ａ２を検出する。

そして、画像認識装置は、隠蔽領域Ａ２を構成するサンプル点の個数が入力顔画像全体の３０％を越えているため、隠蔽物が存在すると判定する。また、口に対応するサンプル点のグループＢ２の８割以上を隠蔽する隠蔽領域Ａ２が検出されるため、画像処理装置は、口が隠れていると推定する。

また、マスクＭを検出するときには、口と鼻を含む領域に対応するサンプル点のグループＣ２を選択し、このグループＣ２内のサンプル点で閾値を下回るサンプル点数が所定の個数（又は割合）以上のとき、マスクＭを装着していると判定してもよい。

また、図３には、撮像対象が顔になにも装着していない場合を示している。図３（ａ）は、正規化した入力画像１６、図３（ｂ）は、サンプル点を設定した入力画像１６である。

ここでは、何の隠蔽物も装着していない撮像対象の入力画像１６を受付けているため、各サンプル点における類似度を視覚的に表すと、図３（ｃ）に示すように、入力顔画像における両目、鼻、口等の顔パーツに対応する各領域の特徴量に関して、それらの類似度が比較的高くなる。なお、頬は、人によって形状が大きく異なるため、平均顔画像との類似度が低くなる傾向にある。

これは、入力顔画像において、撮像対象の目が目らしく、鼻が鼻らしく、口が口らしく映し出されていることを意味している。すなわち、この図３（ｃ）から、入力顔画像上の撮像対象に隠蔽物が存在しないと推定することができる。

このとき、画像認識装置は、図３（ｄ）に示すように、各サンプル点における類似度を算出し、そのサンプル点の中から類似度が所定の閾値（ここでは、４０）未満のサンプル点を検出して、それらのサンプル点から構成される隠蔽領域Ａ３を検出する。

ここで、画像認識装置は、各隠蔽領域Ａ３を構成するサンプル点の個数が入力顔画像全体の３０％に達していないため、この隠蔽領域Ａ３が隠蔽物でないと判定する。なお、頬に相当するサンプル点のグループＢ３については、別途閾値を設定してもよい。すなわち、閾値は、サンプル点毎に違う値を設定してもよい。

このように、本実施形態に係る画像認識装置は、入力顔画像と平均顔画像との対応箇所にそれぞれ複数のサンプル点を設定し、対応する各サンプル点における画像の特徴量同士を対比して、その類似度を算出する。

そして、画像認識装置は、算出した類似度に基づき、入力顔画像における所定の領域に関する類似度がある閾値よりも低い場合に、その領域が隠蔽物により隠されていると推定する。

そのため、この画像認識装置は、隠蔽物の有無を判定するために、入力顔画像に対して予め想定した様々な隠蔽物の画像パターンを用いたパターンマッチングを行って隠蔽物を検出する必要がないので、パターンマッチングに要する処理量を低減することができる。

また、この画像認識装置は、隠蔽物を検出するのではなく、正規化した入力画像に設定されているサンプル点のグループについて、そのサンプル点における平均顔画像との類似度が所定の閾値を下回っていた場合に、その領域が隠蔽物により隠されていると判定するので、予め想定していない隠蔽物であっても、その隠蔽物の有無を検出することができる。

しかも、この画像認識装置は、前述のように隠蔽物を検出することなく、隠蔽物の存在を判定することができるため、たとえば、長い前髪により目が隠蔽されていた場合や、手等で顔の一部が隠蔽されていた場合であっても、前髪や手を隠蔽物として判定することができるので、隠蔽物の種類に左右されることなく隠蔽物の有無を判定することができる。

また、この画像認識装置では、特徴量の類似度が所定の閾値未満のサンプル点により構成される隠蔽領域Ａ１、Ａ２の存在位置や形状に基づいて隠蔽物の種類を推定することができる。

そのため、たとえば、当該画像認識装置を顔画像による本人認証装置に適用した場合に、利用者に対して、顔に装着されている隠蔽物（たとえば、サングラスＧやマスクＭ等）を指摘して、その隠蔽物を取り外すように注意を促すことができる。

次に、本実施形態に係る画像認識装置による画像認識処理について、さらに詳細に説明する。図４は、本実施形態に係る画像認識処理の概念を説明するための説明図である。なお、以下の説明では、入力顔画像における隠蔽物の有無を判定する画像認識処理の一例として、顔認証処理の中で隠蔽物の有無を判定する画像認識処理を例に挙げて説明する。

前述のサンプル点における類似度（局所類似度）は、２つの画像の対応するサンプル点付近の局所画像に関して、どの程度類似しているかを表している。一般的には、類似度が大きいと類似していることを意味する。局所類似度の算出にあたっては、局所画像同士を重ね合わせて一致度を求めたり、局所画像の特徴量をベクトル化して比較するなどの方法が用いられる。

特徴ベクトルを比較する方法には、特徴ベクトル同士を比較する方法と、複数の特徴ベクトルから作成した部分空間と特徴ベクトルを比較する方法などがある。前者では、特徴ベクトル間の距離や角度などを求め、局所類似度を算出する。この距離や角度が小さいと特徴ベクトル同士が類似していることを意味する。基準となる画像が複数ある場合は、まずそれぞれに対して類似度を求め、求めた類似度を平均するなどして局所類似度を求める。後者では、基準となる画像が複数あり、これらから求めた複数の特徴ベクトルから部分空間を作成し、この部分空間と特徴ベクトルとの距離や角度、部分空間へ射影された特徴ベクトルの長さなどを求め、局所類似度を算出する。この距離や角度が小さいとき、または長さが長いとき、特徴ベクトルが部分空間に類似していることを意味する。特徴ベクトルを比較する際に用いる距離には、ユークリッド距離やマラノビス距離などを用いることが出来る。

本実施形態では、局所類似度の算出には、上述のほか任意の方法が使用できる。以下では、顔認証処理の中で求めた局所類似度を用いて、入力画像の顔画像上の隠蔽物の有無を判定する例を述べる。ここでは、特徴ベクトルの角度や距離、部分空間との距離に基づいて求めた局所類似度を用いて、隠蔽物の有無を判定している。また、基準対象画像として、平均顔画像、複数の顔画像や照合用の登録画像を用いている。

図４に示すように、本実施形態における画像認識処理は、オフラインでの学習時処理と照合時処理の２つの大きな処理からなり、学習時処理で顔画像の特徴を学習した知識１３を利用して照合時処理を行うよう構成されている。隠蔽物の有無を判定する処理は、学習処理や照合時処理の中で行われる。

まず、オフラインでの学習時処理の処理手順を説明する。最初に、顔画像集合１０内の各画像に対し、両目、鼻、口の位置を指定する。ただし、ここでは最低限両目の位置を指定すればよい。そして、各顔画像の両目、鼻、口の位置が重なるように正規化し、各画素の濃淡値を平均して平均顔画像１１を作成する。

ここで、「画像集合」とは、複数の人物における身体の所定の部位に関する画像の集まりであり、またある特定の人物に関しても顔の表情や掌の開き加減、撮影角度等の相違によって異なる複数の本人画像を含むものである。

次に、作成された平均顔画像１１上に任意の数のサンプル点を指定する。図４では、平均顔画像１１上に１００個のサンプル点を指定した平均顔画像１１の例１２が示されている。そして、平均顔画像１１の特徴ベクトルと顔画像集合１０内の各画像の特徴ベクトルの相関を用いて、平均顔画像１１上のサンプル点に対応する顔画像集合１０内の各画像上のサンプル点を検出する。

具体的には、平均顔画像１１上のサンプル点に対応する、顔画像集合１０内の各画像上の位置にサンプル点を設定し、特徴ベクトルの相関を求める。そして、サンプル点をずらしながら、相関値が大きくなる位置を求め、サンプル点の位置を決定する。

ここで求めた特徴ベクトルの相関値は、平均顔画像１１を基準対象画像として求めた各画像のサンプル点における局所類似度に相当する。具体的には、図１〜３の（ｄ）に示した類似度に対応する値である。これを用いて、前述の方法により、顔画像集合１０内の各画像上の隠蔽物の有無を検出することが出来る。

そして、検出されたサンプル点上で、顔画像集合１０内の各画像における特徴ベクトルの部分空間を主成分分析の手法を用いて作成する。この部分空間は暫定的なもので、後に修正される。

ここで、「特徴ベクトル」とは、サンプル点周辺における局所的な領域での画素の濃淡値やその濃淡値の変化率等の特徴量の集まりを、実数要素からなるベクトルとして表したものであり、それらの特徴量を各々有する複数の画素の集まりからなるデジタル顔画像が与えられれば容易に作成することができる。

次に、本実施形態で用いられる部分空間の概念について説明する。図５は、本実施形態に係る部分空間の概念を説明するための説明図である。特徴ベクトル空間２０内において、本人の変動部分空間２２は顔の表情や撮影角度等の相違によって異なる複数の本人画像ペアの特徴ベクトルの差から構成される。

また、他人の変動部分空間２１は本人と他人との画像ペアの特徴ベクトルの差から構成される。目的とする部分空間２３は本人の変動部分空間２２の補空間と他人の変動部分空間２１の交わりより導くことができる。以降、このようにして構成された部分空間を「認識部分空間」と呼ぶ。

図４の説明に戻ると、顔画像集合１０内の画像を用いて作成された特徴ベクトルの暫定的な認識部分空間２３は、顔画像集合１０内の各画像における特徴ベクトルの認識部分空間２３への距離に基づいて修正される。

具体的には、顔画像集合１０内の各画像における特徴ベクトルの認識部分空間２３への距離を計算し、その距離が小さくなるような各画像上のサンプル点を検出する。サンプル点が検出されたらそのサンプル点の各画像における特徴ベクトルを基にして新しい認識部分空間２３を作成する。

そして、作成された認識部分空間２３が収束するまで、特徴ベクトルの認識部分空間２３への距離に基づいたサンプル点検出処理と、顔画像集合１０内の各画像のサンプル点における特徴ベクトルを基にした部分空間作成処理とを繰り返し、認識部分空間２３の修正を行う。得られた認識部分空間２３は、顔画像の特徴を学習した知識１３として画像照合時に利用される。

ここで、本実施形態で用いられる、特徴ベクトルの認識部分空間２３への距離を用いた画像のサンプル点の検出の概念について説明する。図６は、本実施形態に係る特徴ベクトルの認識部分空間２３への距離を用いた顔画像上のサンプル点検出の概念を説明する説明図である。

図６において、顔画像の特徴ベクトル３０の認識部分空間２３への距離３１は、その値が小さいほど認識部分空間２３内に抽出された顔の特徴に対応する特徴がその顔画像上に良く現れていることを意味する。すなわち、この距離が小さくなるようにサンプル点を選ぶことにより、平均顔画像１１上のサンプル点に対応したサンプル点をその画像上に設定することができる。

すなわち、この距離が小さくなるようにサンプル点を選ぶことにより、平均顔画像１１上のサンプル点に対応したサンプル点をその画像上に設定することができる。つまり、この距離を小さくすることによって、隠蔽物判定時に入力顔画像と平均顔画像１１との位置の整合性を高める。

図４の説明に戻り、照合時処理の処理手順について説明する。まず、登録顔画像１４における特徴ベクトルの認識部分空間２３への距離を計算し、その距離が小さくなるような登録顔画像１４上のサンプル点を検出する。図４には、登録顔画像１４上にサンプル点を検出した登録顔画像１４の例１５が示されている。

入力画像１６に関しても、登録顔画像１４の場合と同様に、入力画像１６における特徴ベクトルの認識部分空間２３への距離を計算し、その距離が小さくなるような入力画像１６上のサンプル点を検出する。図４には、入力画像１６上にサンプル点を検出した入力画像１６の例１７が示されている。

ここで求めた認識部分空間２３への距離は、認識部分空間２３の作成に用いた複数の顔画像を基準対象画像として求めた、サンプル点における局所類似度に相当する。具体的には、図１〜３の（ｄ）に示した類似度に対応する値である。これを用いて、前述の方法により、入力画像１６上の隠蔽物の有無を検出することが出来る。

登録顔画像１４と入力画像１６上のサンプル点が検出されたら、次に、そのサンプル点において認識部分空間２３内へ射影された登録顔画像１４の特徴ベクトルと入力画像１６の特徴ベクトルを用いて両特徴ベクトルの相関値を認識部分空間２３内で算出する。この処理をすべてのサンプル点に対して行う。

そして、その入力画像１６と登録画像１４の画像ペアに対する相関値の平均値を算出し、画像全体の類似度とする。図４において、登録顔画像１４上に１００個のサンプル点を設定した例１５では、１００個の相関値の平均値（画像全体の類似度）を算出する。そして、その画像全体の類似度に基づいて本人と他人の識別判定を行う。

図７は、本実施形態に係る登録顔画像１４および入力画像１６上の特徴ベクトルの相関値算出処理の概念を説明する説明図である。図７に示されるように、入力画像１６の特徴ベクトルと登録顔画像１４の特徴ベクトルを認識部分空間２３上へ射影する。

そして、射影された入力画像１６の特徴ベクトル４０と射影された登録顔画像１４の特徴ベクトル４１間の相関値を、射影された両特徴ベクトル間のなす角θの余弦、すなわちｃｏｓθで算出する。この値が大きいほど、そのサンプル点における両画像の特徴が類似していることを意味する。

ここで求めた射影された両特徴ベクトルのなす角θにもとづく相関値は、登録顔画像１４を基準対象画像として求めた、サンプル点における局所類似度に相当する。具体的には、図１〜３の（ｄ）に示した類似度に対応する値である。ここでも、これを用いて、前述の方法により、入力画像１６上の隠蔽物の有無を検出することが出来る。なお、認識部分空間２３への射影は、識別判定のための処理である。隠蔽物の検出だけなら、射影されていない特徴ベクトルの相関値を求めてもよい。

次に、顔照合装置を例として、本実施形態に係る画像認識装置の構成について説明する。図８は、本実施形態に係る画像認識装置の構成を示す機能ブロック図である。

図８に示すように、本実施の形態に係る画像認識装置５０は、顔画像入力受付部５１と、正規化処理部５２と、顔画像学習部５３と、登録画像記憶部５４と、登録画像サンプル点検出部５５と、入力画像サンプル点検出部５６と、類似度算出部５７と、照合判定部５８、隠蔽物判定部５９とを備えている。

顔画像入力受付部５１は、学習用の顔画像集合、入力顔画像、登録用顔画像を装置内に取り込むための受付部であり、受け付けた画像を正規化処理部５２に出力する。

正規化処理部５２は、顔画像入力受付部５１から画像を取得し、画像に正規化処理をして各画像の顔のサイズを整合させ、受け取った画像が学習用の顔画像集合の画像であれば顔画像学習部５３へ、登録用顔画像であれば登録画像記憶部５４へ、入力顔画像であれば入力画像サンプル点検出部５６へ正規化した画像を出力する。

顔画像学習部５３は、正規化された顔画像集合を正規化処理部５２から取得し、その顔画像集合１０を用いて平均顔画像１１を作成し、その平均顔画像１１を用いて特徴ベクトルの認識部分空間２３を作成する。

登録画像記憶部５４は、顔画像入力受付部５１に登録用顔画像が受け付けられたときに、正規化処理部５２によって正規化された登録用画像を取得して記憶する。

登録画像サンプル点検出部５５は、登録画像と入力画像１６との間で照合判定が行われる際に、顔画像学習部５３から認識部分空間２３を読み込み、登録画像記憶部５４から登録画像を読み込んで、登録画像における特徴ベクトルの認識部分空間２３への距離を用いて登録画像上のサンプル点を検出する。

入力画像サンプル点検出部５６は、登録画像と入力画像１６との間で照合判定が行われる際に、顔画像学習部５３から認識部分空間２３を読み込み、正規化処理部５２から入力画像１６を読み込んで、入力画像１６における特徴ベクトルの認識部分空間２３への距離を用いて入力画像１６上のサンプル点を検出する。

類似度算出部５７は、登録画像１４と入力画像１６のサンプル点情報と、サンプル点における登録画像１４と入力画像１６の特徴ベクトル情報とを読み込み、対応する各サンプル点における登録画像１４と入力画像１６間の局所類似度を算出する。

照合判定部５８は、類似度算出部５７で得られた登録画像と入力画像１６の全体の類似度を読み込み、その全体の類似度に基づいて登録画像と入力画像１６との照合判定を行い、照合結果を出力する。

隠蔽物判定部５９は、入力画像サンプル点検出部５６で得られた認識部分空間２３と入力画像１６との局所類似度を読み込み、または、類似度算出部５７で得られた登録画像１４と入力画像１６との局所類似度を読み込み、その局所類似度に基づいて入力画像１６中の入力顔画像上に隠蔽物が存在するか否かの判定を行い、その判定結果を出力する。

以降、図４に示された、本実施形態に係る画像認識処理を行う際に、画像認識装置５０で実行される処理について説明する。図９は、本実施形態に係る顔画像データを正規化する正規化処理のフローチャートである。この処理は正規化処理部５２によって行われる。なお、ここでは顔画像入力受付部５１が受け付けた画像が学習用の顔画像集合であった場合を示してある。

まず、平均顔画像１１を仮に設けその画像上に仮の両目位置を設定する（ステップＳ１０１）。次に、顔画像入力受付部５１を通じて顔画像集合１０内の顔画像データを読み出し（ステップＳ１０２）、読み出した各顔画像データの両目、鼻、口の位置を指定する（ステップＳ１０３）。ただし、ここでは最低限両目の位置を指定すればよい。

両目、鼻、口の位置が指定された後、各顔画像データの両目位置が平均顔画像１１の両目位置に重なるようにアフィン変換を行い（ステップＳ１０４）、アフィン変換後の各顔画像データの両目、鼻、口の正規位置を算出する（ステップＳ１０５）。そして、算出された両目、鼻、口の正規位置の平均値を算出し（ステップＳ１０６）、平均顔画像１１の両目、鼻、口の位置を設定する（ステップＳ１０７）。

平均顔画像１１の両目、鼻、口の位置が設定されたら、各顔画像データの両目、鼻、口の位置が平均顔画像１１の両目、鼻、口の位置に重なるようにアフィン変換を行い（ステップＳ１０８）、画像集合１０内の各顔画像の正規化画像を作成する（ステップＳ１０９）。

なお、ここでは顔画像入力受付部５１が受け付けた画像が学習用の顔画像集合１０であった場合を示したが、学習時処理が終了して、受け付けた画像が入力顔画像であった場合には、すでに平均顔画像１１の両目、鼻、口の位置が学習時において設定されているので、顔画像データを読み出し（ステップＳ１０２）、学習した知識に基づいて読み出した顔画像データの両目、鼻、口の位置を指定し（ステップＳ１０３）、顔画像データの両目、鼻、口の位置が平均顔画像１１の両目、鼻、口の位置に重なるようアフィン変換を行い（ステップＳ１０８）、読み込んだ画像の正規化画像を作成する（ステップＳ１０９）処理を行うだけでよい。

次に、顔画像学習部５３において顔画像集合１０から特徴ベクトルの認識部分空間２３を作成する処理について説明する。図１０は、本実施形態に係る顔画像集合１０から特徴ベクトルの認識部分空間２３を作成する認識部分空間作成処理のフローチャートである。

まず、学習用の顔画像集合１０からＮ個の顔画像データを読み込む（ステップＳ２０１）。読み込まれたＮ個の顔画像データの対応する各画素の濃淡値の平均を算出し（ステップＳ２０２）、平均顔画像１１を作成する（ステップＳ２０３）。そして、作成された平均顔画像１１上にＭ個のサンプル点を設定する（ステップＳ２０４）。

同様に、Ｎ個の顔画像集合１０内の各顔画像データ上にも平均顔画像１１上のサンプル点に対応するＭ個のサンプル点を設定し（ステップＳ２０５）、対応するＭ個のサンプル点上で平均顔画像１１とＮ個の各顔画像データの特徴ベクトル間の角度や距離から相関を計算する（ステップＳ２０６）。

続いて、この特徴ベクトル間の相関がある閾値よりも大きいかどうかを調べ（ステップＳ２０７）、相関が大きい場合は、Ｎ個の各顔画像データ上に平均顔画像１１のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ２０８）。相関が小さい場合は、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ２０５）、相関が大きくなるサンプル点が見つかるまでこれらの処理（ステップＳ２０５〜ステップＳ２０７）を繰り返す。所定回数繰り返しても相関が閾値より大きくならないときは、最大の値を相関値とする。

そして、Ｎ個の各顔画像データ上に平均顔画像１１のＭ個のサンプル点に対応するサンプル点を確定（ステップＳ２０８）した後、Ｎ個の各顔画像データ上の各々Ｍ個のサンプル点における特徴ベクトルの認識部分空間２３をＭ個作成する（ステップＳ２０９）。

ここで、平均顔画像１１が主として隠蔽物のない顔画像によるものであれば、各顔画像の隠蔽物の検出が可能である。ステップＳ２０６で算出する特徴ベクトルの相関は、平均顔画像１１と各顔画像データとのサンプル点における局所類似度に相当する。よって、各顔画像の隠蔽物の有無を本発明の方法により検出できる。

なお、図１０の認識部分空間を作成する処理において、図５を用いて説明した認識部分空間２３を求めるための処理が行われる（詳細は特許文献１を参照）。

次に、顔画像学習部５３において、図１０で示された処理により作成された認識部分空間２３を、学習用の顔画像集合１０を用いて修正しながら顔の特徴を学習する具体的な処理について説明する。図１１は、本実施形態に係る顔画像集合１０から特徴ベクトルの認識部分空間２３を修正する認識部分空間修正処理のフローチャートである。

まず、認識部分空間２３の収束計算の最大反復回数を設定し（ステップＳ３０１）、学習用の顔画像集合１０内のＮ個の各顔画像上に平均顔画像１１上のＭ個のサンプル点に対応するＭ個のサンプル点を設定する（ステップＳ３０２）。そして、Ｎ個の各顔画像におけるＭ個の特徴ベクトルの対応するＭ個の認識部分空間２３への距離を計算する（ステップＳ３０３）。

そして、この認識部分空間２３への距離がある閾値よりも小さいかどうかを調べ（ステップＳ３０４）、距離が小さい場合は、Ｎ個の各顔画像データ上に平均顔画像１１上のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ３０５）。距離が大きい場合は、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ３０２）、距離が小さくなるサンプル点が見つかるまでこれらの処理（ステップＳ３０２〜ステップＳ３０４）を繰り返す。

Ｎ個の各顔画像データ上に平均顔画像１１上のＭ個のサンプル点に対応するサンプル点が確定（ステップＳ３０５）されたら、Ｎ個の各顔画像データ上の各々Ｍ個のサンプル点における特徴ベクトルの認識部分空間２３をＭ個作成する（ステップＳ３０６）。そして、この認識部分空間２３が収束したかどうかを調べ（ステップＳ３０７）、収束した場合は学習が終了したとして認識部分空間２３の修正処理を終える。

収束しなかった場合には、次に、収束計算の反復回数が設定した最大反復回数より小さいかどうかを調べ（ステップＳ３０８）、小さくない場合には認識部分空間２３の修正処理を終え、小さい場合には、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直して（ステップＳ３０２）、認識部分空間２３が収束するまでこれらの処理（ステップＳ３０２〜ステップＳ３０８）を繰り返す。

次に、登録画像１４と入力画像１６を照合して本人確認を行う照合判定処理の処理手順を説明する。入力画像１６中の入力顔画像上に隠蔽物が存在するか否かを判定する隠蔽物判定処理が、この照合判定処理の中で行われる。この例では、参照画像１４と入力画像１６との照合時に隠蔽物の存在を判定しているが、すでに述べたように、入力画像１６へサンプル点を設定した時に隠蔽物の存在を判定してもよい。図１２は、実施例１に係る照合判定処理の処理手順を示すフローチャートである。

まず、登録画像サンプル点検出部５５は、登録画像記憶部５４に記憶されている登録画像と顔画像学習部５３により作成された認識部分空間２３のデータを読み込み、登録画像上に平均顔画像１１上のサンプル点に対応するＭ個のサンプル点を設定する（ステップＳ４０１）。そして、対応する各サンプル点上で登録画像の特徴ベクトルの認識部分空間２３への距離を算出する（ステップＳ４０２）。この距離の概念は、図６において既に説明したものである。

その後、この認識部分空間２３への距離がある閾値よりも小さいかどうかを調べ（ステップＳ４０３）、距離が小さい場合は、Ｎ個の各顔画像データ上に平均顔画像１１のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ４０４）。距離が小さくない場合には、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ４０１）、距離が小さくなるサンプル点が見つかるまでこれらの処理（ステップＳ４０１〜ステップＳ４０３）を繰り返す。これらの処理（ステップＳ４０１〜ステップＳ４０４）は、登録画像サンプル点検出部５５にて行われる。

次に、入力画像サンプル点検出部５６は、正規化処理部５２より正規化された入力画像１６と、顔画像学習部５３より作成された認識部分空間データ２３とを読み込み、入力画像１６上に登録顔画像１４上のサンプル点に対応するＭ個のサンプル点を設定する（ステップＳ４０５）。そして、対応する各サンプル点上で入力画像１６の特徴ベクトルの認識部分空間２３への距離を算出する（ステップＳ４０６）。

続いて、この認識部分空間２３への距離がある閾値よりも小さいかどうかを調べ（ステップＳ４０７）、距離が小さい場合は、顔画像データ上に登録顔画像１４のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ４０８）。距離が小さくない場合には、顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ４０５）、距離が小さくなるサンプル点が見つかるまでこれらの処理（ステップＳ４０５〜ステップＳ４０７）を繰り返す。これらの処理（ステップＳ４０５〜ステップＳ４０７）は、入力画像サンプル点検出部５６にて行われる。

なお、入力画像の顔画像上に隠蔽物がある場所のサンプル点においては、顔の特徴を備えない局所画像を認識部分空間と比較することになるため、Ｓ４０６で求めた距離が閾値よりも小さくならない場合もある。この場合は、求めた距離が最小値に収束しているか否かを調べ、収束していればサンプル点を確定する。

登録画像と入力画像１６の対応するサンプル点が確定されると（ステップＳ４０８）、類似度算出部５７は、その確定されたサンプル点間における登録画像と入力画像１６の相関値データを入力画像サンプル点検出部５６から読み込み、各サンプル点における登録画像と入力画像１６間の局所類似度（認識部分空間内の相関値）を算出する（ステップＳ４０９）。

そして、隠蔽物判定部５９は、ステップＳ４０９で算出された各サンプル点における登録画像と入力画像１６間の局所類似度に基づいて、入力画像上に隠蔽物があるか否かの判定を行う（ステップＳ４１０）。隠蔽物判定部５９により隠蔽物がないと判定された場合、照合判定部５８は、ステップＳ４０９で算出された局所類似度の大小に基づいて登録画像と入力画像１６の照合判定を行い（ステップＳ４１２）、登録画像に対応する本人であるかどうかの判定結果を出力して、処理を終了する。

一方、隠蔽物判定部５９は、隠蔽物があると判定した場合、その判定結果を出力して警告すると共に、登録画像と入力画像１６との照合判定を行って（ステップＳ４１１）、処理を終了する。

また、ステップＳ２０８、Ｓ４０４、Ｓ４０８のサンプル点の確定処理において、閾値と相関（局所類似度）を比較しながらサンプル点を確定したが、常に一定数以上のサンプル点の設定と相関の算出を行ない、その中で相関が最大となる点をサンプル点としてもよい。これにより、処理量が大きくなる場合があるが、対応するサンプル点及び、そのサンプル点における局所類似度をより正確に求めることが出来る。

次に、本実施形態に係る画像認識装置のハードウェア構成について説明する。図１３は本実施形態に係る画像認識装置のシステム構成を示すブロック図である。

図１３に示すように、この画像認識装置５０は、インターフェース部６４と、演算制御部６５と、主記憶部６６と、補助記憶部６７とからなり、入力装置６８と、表示装置６９とが接続されている、コンピュータを利用したスタンドアローン型における構成である。

また、この画像認識装置５０には、入力画像１６を取り込むためのＣＣＤカメラ６０がインターフェース部６４を介して接続されており、ＣＣＤカメラ６０は画像入力部６１と、画像メモリ６２と、インターフェース部６３で構成されている。

まず、ＣＣＤカメラ６０の構成について具体的に説明する。画像入力部６１は、被写体である顔からの光をレンズで集光し、ＣＣＤ（Charge Coupled Device）を使用して顔画像を電気信号に変換し、ディジタルデータに変換して顔画像データを画像メモリ６２に記録する。

画像メモリ６２は画像入力部６１のバッファメモリとして利用され、画像認識装置５０が顔画像の入力を受け付けることができない場合に、顔画像データを一時的に記憶する。画像認識装置５０が入力画像１６の受け付け可能な状態となれば、インターフェース部６３を通じて顔画像データが画像認識装置５０に出力される。

次に、画像認識装置５０の構成について具体的に説明する。インターフェース部６４は、演算制御部６５の制御のもと、ＣＣＤカメラ６０からの入力画像１６の受け付けを行い、また入力装置６８からのデータの受け付け、表示装置６９へのデータの受け渡しを行う。

入力装置６８は、キーボード、マウス、タッチパネル等で構成され、画像認識プログラム実行時には、顔画像に対し両目、鼻、口の位置を指定する際や作成された平均顔上にサンプル点を指定する際等に用いられる。

表示装置６９は、ディスプレイモニタであり、画像認識プログラムを実行時には、平均顔画像１１上のサンプル点の表示、入力画像１６上のサンプル点の表示、あるいは隠蔽物判定結果の表示等に用いられる。

補助記憶部６７は、例えば、フロッピー（登録商標）、ディスクドライブ装置（ＦＤＤ）、ハードディスクドライブ装置（ＨＤＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ等からデータを読み込むことができるＣＤドライブ装置、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等からデータを読み込むことができるＤＶＤドライブ装置等である。

本実施形態の画像認識装置５０で実行される画像認識プログラムは、ＦＤ、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭ等に実行可能な形式のファイルで記録されて提供される。そして、フロッピー（登録商標）ディスクドライブ装置、ＣＤドライブ装置またはＤＶＤドライブ等によって読み出されて実行される。

また、学習用の顔画像集合１０内の顔画像データおよび登録用の顔画像データもＦＤ、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭ等により提供され、フロッピー（登録商標）ディスクドライブ装置、ＣＤドライブ装置またはＤＶＤドライブによって読み出されて、学習用の顔画像データは顔画像学習部５３において記憶、処理されるようになっている。

なお、この補助記憶部６７は画像認識装置５０内に直接接続されている必要はなく、補助記憶部６７がネットワーク上に存在する構成であってもよい。例えば、インターネットやＬＡＮ上に顔画像サーバを設置し、学習用の顔画像データ等を記憶して、必要に応じてダウンロードする構成としてもよい。この場合には、画像認識装置５０には、さらにモデムやＬＡＮボード等の通信部を設ける必要がある。

また、本実施形態の画像認識装置５０は、システム全体を制御するＣＰＵ等の演算制御部６５と、ＲＡＭとＲＯＭ等の記憶媒体からなる主記憶部６６が設けられている。ＲＯＭには予めブートプログラム等が記憶されており、ＲＡＭにはＨＤから読み出したＯＳ（オペレーションシステム）の一部および画像認識プログラム等が記憶され、演算制御部６５がこれらのプログラムを実行する。さらに、ＲＡＭには画像認識プログラムの実行時に読み出された各種の顔画像データ、サンプル点データ、演算結果等が記憶される。

上述してきたように、本実施形態に係る画像認識装置５０では、入力画像１６を受付けた際、基準対象画像に設定されたサンプル点と対応する箇所にサンプル点を設定し、そのサンプル点における基準対象画像との局所類似度が所定の閾値未満である箇所を検出することにより、隠蔽物が存在すると判定する。

そのため、この画像認識装置５０は、入力画像１６中の隠蔽物の種類等に依存することなく、隠蔽物の有無を判定することができるので、隠蔽物の有無の判定に要する処理負荷を軽減することができる。

また、この画像認識装置５０は、入力画像１６から検出した隠蔽領域Ａ１〜Ａ３の形状に基づいて、隠蔽物の種類を推定することもできる。

また、本実施形態の画像認識方法を顔認証システムの登録画像１６の登録時に適用することによって、マスク、サングラス、前髪等で極端に顔が隠れている画像を検出して、その画像を登録画像として受付けない顔認証システムを構築することができる。

また、この画像認識方法を監視用のセキュリティーシステムに適用することによって、帽子やサングラス、マスク等で極端に顔を隠している画像を検出して、その画像のみを監視対象とするセキュリティーシステムを構築することができるので、監視員は全ての画像を監視する必要がなくなり、監視員にかかる負荷を軽減することができる。

１０ 顔画像集合
１１ 平均顔画像
１２ １００個のサンプル点を指定した平均顔画像の例
１３ 知識
１６ 入力画像
１７ サンプル点を検出した入力画像の例
２０ 特徴ベクトル空間
２１ 他人の変動部分空間
２２ 本人の変動部分空間
２３ 目的とする認識部分空間
３０ 顔画像の特徴ベクトル
３１ 特徴ベクトルの認識部分空間への距離
４０ 入力画像の特徴ベクトルの認識部分空間への射影
４１ 平均顔画像の特徴ベクトルの認識部分空間への射影
５０ 画像認識装置
５１ 顔画像入力受付部
５２ 正規化処理部
５３ 顔画像学習部
５４ 登録画像記憶部
５５ 登録画像サンプル点検出部
５６ 入力画像サンプル点検出部
５７ 類似度算出部
５８ 照合判定部
５９ 隠蔽物判定部
６１ 画像入力部
６２ 画像メモリ
６３、６４ インターフェース部
６５ 演算制御部（ＣＰＵ）
６６ 主記憶部（ＲＯＭ、ＲＡＭ）
６７ 補助記憶部
６８ 入力装置
６９ 表示装置

Claims (6)

1. 対象物に関する基準対象画像と対象物を撮像した入力対象画像との間で、局所的な特徴を比較することによって、前記入力対象画像中の対象物を隠蔽する隠蔽物を検出する画像処理方法であって、
   前記基準対象画像上に複数のサンプル点を設定する基準対象画像サンプル点設定工程と、
   前記基準対象画像上に設定されたサンプル点に対応するサンプル点を前記入力対象画像上に設定し、前記基準対象画像上の各サンプル点における特徴量と前記入力対象画像上の各サンプル点における特徴量とを検出し、対応するサンプル点毎に前記基準対象画像の特徴量と前記入力対象画像の特徴量との類似度を算出する類似度算出工程と、
   前記類似度が所定の類似判定用閾値未満であるサンプル点に基づいて、前記入力対象画像における前記隠蔽物の有無を判定する隠蔽物有無判定工程と
   を有し、
   前記隠蔽物有無判定工程は、全ての前記サンプル点内の、あるいは、あらかじめ選択された前記サンプル点のグループ内の、前記類似度が前記類似判定用閾値未満である前記サンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合、前記隠蔽物が有りと判定する
   ことを特徴とする画像処理方法。
2. 前記グループと特定の隠蔽物とを関連付け、前記グループにおいて前記隠蔽物が有りと判定された場合、前記関連付けられた特定の隠蔽物が検出されたと判定する請求項１に記載の画像処理方法。
3. 前記類似度算出工程は、前記特徴量として、前記サンプル点における特徴ベクトルを用い、前記類似度として、特徴ベクトルの類似度を算出する請求項１に記載の画像処理方法。
4. 複数の前記基準対象画像上に設定されたサンプル点における特徴ベクトルから部分空間を作成する部分空間作成工程をさらに有し、
   前記類似度算出工程は、
   前記基準対象画像の特徴量として、前記サンプル点における前記部分空間を用い、前記入力対象画像の特徴量として、前記サンプル点における特徴ベクトルを用い、前記類似度として、前記部分空間と前記特徴ベクトルの類似度を算出する請求項１に記載の画像処理方法。
5. 対象物に関する基準対象画像と対象物を撮像した入力対象画像との間で、局所的な特徴を比較することによって、前記入力対象画像中の対象物を隠蔽する隠蔽物を検出する画像処理方法をコンピュータに実行させるプログラムであって、
   前記基準対象画像上に設定された複数のサンプル点に対応するサンプル点を前記入力対象画像上に設定し、前記基準対象画像上の各サンプル点における特徴量と前記入力対象画像上の各サンプル点における特徴量を検出し、対応するサンプル点毎に前記基準対象画像の特徴量と前記入力対象画像の特徴量との類似度を算出する類似度算出工程と、
   前記類似度が所定の類似判定用閾値未満であるサンプル点にもとづいて、前記入力対象画像における前記隠蔽物の有無を判定する隠蔽物有無判定工程と
   を有し、
   前記隠蔽物有無判定工程は、全ての前記サンプル点内の、あるいは、あらかじめ選択された前記サンプル点のグループ内の、前記類似度が前記類似判定用閾値未満である前記サンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合、前記隠蔽物が有りと判定する
   処理をコンピュータに実行させるプログラム。
6. 対象物に関する基準対象画像と対象物を撮像した入力対象画像との間で、局所的な特徴を比較することによって、前記入力対象画像中の対象物を隠蔽する隠蔽物を検出する画像処理装置であって、
   前記基準対象画像上に設定された複数のサンプル点に対応するサンプル点を前記入力対象画像上に設定し、前記基準対象画像上の各サンプル点における特徴量と前記入力対象画像上の各サンプル点における特徴量を検出し、対応するサンプル点毎に前記基準対象画像の特徴量と前記入力対象画像の特徴量との類似度を算出する類似度算出部と、
   前記類似度が所定の類似判定用閾値未満であるサンプル点にもとづいて、前記入力対象画像における前記隠蔽物の有無を判定する隠蔽物有無判定部と
   を有し、
   前記隠蔽物有無判定部は、全ての前記サンプル点内の、あるいは、あらかじめ選択された前記サンプル点のグループ内の、前記類似度が前記類似判定用閾値未満である前記サンプル点の個数が所定の隠蔽物有無判定用閾値より大きい場合、前記隠蔽物が有りと判定する
   ことを特徴とする画像処理装置。