JP3469031B2 - 顔画像登録装置及びその方法 - Google Patents
顔画像登録装置及びその方法Info
- Publication number
- JP3469031B2 JP3469031B2 JP03370497A JP3370497A JP3469031B2 JP 3469031 B2 JP3469031 B2 JP 3469031B2 JP 03370497 A JP03370497 A JP 03370497A JP 3370497 A JP3370497 A JP 3370497A JP 3469031 B2 JP3469031 B2 JP 3469031B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- face image
- input
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、入力された画像中
から顔領域を抽出して自動的に顔を辞書登録する顔画像
登録装置またはその方法に関する。
から顔領域を抽出して自動的に顔を辞書登録する顔画像
登録装置またはその方法に関する。
【０００２】
【従来の技術】顔画像認識技術は、ヒューマンインタフ
ェースあるいはセキュリティシステムの構築には不可欠
な要素技術である。顔画像認識は、顔領域抽出、顔特徴
点抽出、識別からなる。最近の技術動向に関しては、文
献［塩野充、真田英彦“個人認証技術の最近の研究動
向”，信学技報 OSF92-17.］が詳しい。従来の顔画像識
別法は、大きく分ける以下の２つに分類できる。
ェースあるいはセキュリティシステムの構築には不可欠
な要素技術である。顔画像認識は、顔領域抽出、顔特徴
点抽出、識別からなる。最近の技術動向に関しては、文
献［塩野充、真田英彦“個人認証技術の最近の研究動
向”，信学技報 OSF92-17.］が詳しい。従来の顔画像識
別法は、大きく分ける以下の２つに分類できる。
【０００３】１つは、目、鼻、口などの特徴点の位置、
形状、サイズをパラメータ化して特徴ベクトルを生成
し、予め登録されている対象人物の特徴ベクトルとの類
似度を計算する方法である。最も類似度が高い辞書ベク
トルを表す人物を当人と識別する。これらは構造解析的
な手法に分類される。
形状、サイズをパラメータ化して特徴ベクトルを生成
し、予め登録されている対象人物の特徴ベクトルとの類
似度を計算する方法である。最も類似度が高い辞書ベク
トルを表す人物を当人と識別する。これらは構造解析的
な手法に分類される。
【０００４】もう１つの方法は、瞳、鼻などの特徴点を
基準とした２次元affine変換などの幾何学変換により位
置、サイズを正規化された画像と予め登録されている辞
書正規化画像とのパターンの類似度に基いた方法であ
る。前者と同様に最も類似度が高い辞書画像を表す人物
を当人と識別する。これらは従来の文字認識で実用化さ
れている方法でパターン的な手法に分類できる。
基準とした２次元affine変換などの幾何学変換により位
置、サイズを正規化された画像と予め登録されている辞
書正規化画像とのパターンの類似度に基いた方法であ
る。前者と同様に最も類似度が高い辞書画像を表す人物
を当人と識別する。これらは従来の文字認識で実用化さ
れている方法でパターン的な手法に分類できる。
【０００５】上記の２つの手法のどちらの場合も、類似
度としては画像間の相関値や特徴空間中でのユークリッ
ド距離などの統計的な距離を用いる。この識別処理には
文字認識で実用化されている様々なパターン認識理論、
例えば部分空間法［エルッキ・オヤ著 小川秀光、佐藤
誠訳、“パターン認識と部分空間法”産業図書(198
6)］や複合類似度など方法が適用できる。識別法の構成
は［舟久保登“パターン認識”共立出版（1991）］［飯
島泰蔵“パターン認識理論”森北出版（1989）］などに
詳しい。
度としては画像間の相関値や特徴空間中でのユークリッ
ド距離などの統計的な距離を用いる。この識別処理には
文字認識で実用化されている様々なパターン認識理論、
例えば部分空間法［エルッキ・オヤ著 小川秀光、佐藤
誠訳、“パターン認識と部分空間法”産業図書(198
6)］や複合類似度など方法が適用できる。識別法の構成
は［舟久保登“パターン認識”共立出版（1991）］［飯
島泰蔵“パターン認識理論”森北出版（1989）］などに
詳しい。
【０００６】上記の顔認識の実際の適用に際しては、上
記の顔認識処理に加えて使用者の登録、つまり登録者の
顔辞書生成が不可欠になってくる。例えば、部分空間法
を用いた手書き漢字認識では、各文字毎に数百枚の学習
サンプル画像から辞書を生成していた。本発明で対象と
している顔のような３次元物体は、文字に比べて照明条
件、顔向き、表情変化などの形状や輝度の変動が大き
く、さらに大量の学習サンプル画像が必要となってくる
［村瀬洋，シェリー・ナイヤー，“２次元照合による３
次元物体認識”，信学論（D-II）J77-D-II, 11, pp. 21
79-2187, 1994.］。
記の顔認識処理に加えて使用者の登録、つまり登録者の
顔辞書生成が不可欠になってくる。例えば、部分空間法
を用いた手書き漢字認識では、各文字毎に数百枚の学習
サンプル画像から辞書を生成していた。本発明で対象と
している顔のような３次元物体は、文字に比べて照明条
件、顔向き、表情変化などの形状や輝度の変動が大き
く、さらに大量の学習サンプル画像が必要となってくる
［村瀬洋，シェリー・ナイヤー，“２次元照合による３
次元物体認識”，信学論（D-II）J77-D-II, 11, pp. 21
79-2187, 1994.］。
【０００７】従来の辞書生成は、文献［赤松茂，佐々木
努，深町映夫，末永康仁，“濃淡画像マッチングによる
ロバストな正面顔の識別法”，信学論（D-II）, J76-DI
I, 7, pp. 1363-1373, 1993.］、［小松良江，有木康
雄，“部分空間法を用いた向きによらない顔の切り出し
認識”，PRU95-191, pp. 7-14, 1996.］、［M. Turk,
A. P. Pentland: " Face recognition using eigenface
s " , Proc. CVPR 11, pp. 453-458, 1993.］、［Alex
Pentland,Baback Moghaddam, Thad Starner, " View-ba
sed and modular eigenspaces for face recognition "
, CVPR '94, pp.84-91, 1994.］などに見られるよう
に、良好な照明条件下で所定、例えば、正面、左右１５
°、上下１５°刻の方向に登録者の顔を向けて撮影した
画像から人手により顔の切り出し及び画像の選択を行っ
ていた。
努，深町映夫，末永康仁，“濃淡画像マッチングによる
ロバストな正面顔の識別法”，信学論（D-II）, J76-DI
I, 7, pp. 1363-1373, 1993.］、［小松良江，有木康
雄，“部分空間法を用いた向きによらない顔の切り出し
認識”，PRU95-191, pp. 7-14, 1996.］、［M. Turk,
A. P. Pentland: " Face recognition using eigenface
s " , Proc. CVPR 11, pp. 453-458, 1993.］、［Alex
Pentland,Baback Moghaddam, Thad Starner, " View-ba
sed and modular eigenspaces for face recognition "
, CVPR '94, pp.84-91, 1994.］などに見られるよう
に、良好な照明条件下で所定、例えば、正面、左右１５
°、上下１５°刻の方向に登録者の顔を向けて撮影した
画像から人手により顔の切り出し及び画像の選択を行っ
ていた。
【０００８】顔はその日の体調や表情変化、髪、髭の影
響などの生理的な変化が生じ易い。したがって高い認識
率を実現するためには、顔辞書は一定期間毎に更新する
必要がある。しかし頻繁な辞書更新は使用者の負担を高
めることになる。そこで顔認識を使い易くするために
は、使用者に如何に意識させないで負担を軽減して登録
するかが重要になってくる。
響などの生理的な変化が生じ易い。したがって高い認識
率を実現するためには、顔辞書は一定期間毎に更新する
必要がある。しかし頻繁な辞書更新は使用者の負担を高
めることになる。そこで顔認識を使い易くするために
は、使用者に如何に意識させないで負担を軽減して登録
するかが重要になってくる。
【０００９】例えば、情報端末における作業を一時中断
して立ち去る場合に、他人のアクセスを防止する機能を
考える。予め生成した辞書を用いることも考えられる
が、本人同定、他人排除率を上げるためには、できるだ
け直前に生成された辞書画像を用いる方が有効である。
しかし離席の度に辞書登録することは、使用者の負担を
高くするため、使用者が情報機器をアクセス中に意識さ
せないで辞書登録する。
して立ち去る場合に、他人のアクセスを防止する機能を
考える。予め生成した辞書を用いることも考えられる
が、本人同定、他人排除率を上げるためには、できるだ
け直前に生成された辞書画像を用いる方が有効である。
しかし離席の度に辞書登録することは、使用者の負担を
高くするため、使用者が情報機器をアクセス中に意識さ
せないで辞書登録する。
【００１０】ところが登録者に意識させないで収集した
学習サンプルは、通常は目を閉じた場合や、表情が大き
く変化している場合などの学習データとして有効でない
データを含んでいる。これらの誤り画像が含まれている
学習サンプルから辞書生成を行うと辞書の精度が低下し
てしまう。辞書精度を上げるためには、学習データ数を
増やす必要があり、人手による選択ではリアルタイム辞
書生成に対処できない。
学習サンプルは、通常は目を閉じた場合や、表情が大き
く変化している場合などの学習データとして有効でない
データを含んでいる。これらの誤り画像が含まれている
学習サンプルから辞書生成を行うと辞書の精度が低下し
てしまう。辞書精度を上げるためには、学習データ数を
増やす必要があり、人手による選択ではリアルタイム辞
書生成に対処できない。
【００１１】
【発明が解決しようとする課題】従来、顔辞書の生成
は、事前に良好な照明条件下で所定、例えば、正面、左
右１５°、上下１５°毎の方向に登録者の顔を向けさせ
て撮影した顔画像を用いて人手により行っていた。顔は
時間と共に変化する。したがって高い認識率を実現する
ためには顔辞書は一定期間毎に更新する必要がある。し
かし頻繁な辞書更新を行うことは、使用者の負担を高め
ることになる。
は、事前に良好な照明条件下で所定、例えば、正面、左
右１５°、上下１５°毎の方向に登録者の顔を向けさせ
て撮影した顔画像を用いて人手により行っていた。顔は
時間と共に変化する。したがって高い認識率を実現する
ためには顔辞書は一定期間毎に更新する必要がある。し
かし頻繁な辞書更新を行うことは、使用者の負担を高め
ることになる。
【００１２】辞書生成のための自動学習サンプル収集に
関しては、既に出願済みの方法［特願平８−６１４６３
号］を適用すれば実現できる。しかし、依然として被登
録者に意識させないで収集した学習データには辞書生成
に有効でないデータが多数含まれるという課題が残る。
辞書精度を上げるためには、学習データ数を増やす必要
があり、人手による選択ではリアルタイム辞書生成が実
現困難である。
関しては、既に出願済みの方法［特願平８−６１４６３
号］を適用すれば実現できる。しかし、依然として被登
録者に意識させないで収集した学習データには辞書生成
に有効でないデータが多数含まれるという課題が残る。
辞書精度を上げるためには、学習データ数を増やす必要
があり、人手による選択ではリアルタイム辞書生成が実
現困難である。
【００１３】そこで、本発明は、使用者に負担かけず、
かつ、不要な顔画像の登録を排除できて辞書精度を上げ
ることができる顔画像登録装置及びその方法を提供す
る。
かつ、不要な顔画像の登録を排除できて辞書精度を上げ
ることができる顔画像登録装置及びその方法を提供す
る。
【００１４】
【課題を解決するための手段】本発明は、人物の顔画像
を登録している辞書手段を有する顔画像登録装置におい
て、前記人物の画像を入力する画像入力手段と、前記画
像入力手段によって入力された画像中から前記人物の顔
領域の画像である入力顔画像を抽出する顔領域抽出手段
と、前記顔領域抽出手段によって抽出された入力顔画像
が、前記辞書手段に登録可能な顔画像であるか否かを判
断する判断手段と、前記判断手段によって登録可能と判
断された入力顔画像を前記顔画像として前記辞書手段に
登録させる登録手段からなり、前記判断手段は、前記顔
領域抽出手段によって抽出された入力顔画像から顔の特
徴量を抽出し、この抽出された特徴量と、予め複数の入
力画像から抽出された特徴量との対応関係を線形結合に
より表現した場合の誤差を求め、前記誤差が閾値より小
さい場合は登録可能と判断することを特徴とする顔画像
登録装置である。
を登録している辞書手段を有する顔画像登録装置におい
て、前記人物の画像を入力する画像入力手段と、前記画
像入力手段によって入力された画像中から前記人物の顔
領域の画像である入力顔画像を抽出する顔領域抽出手段
と、前記顔領域抽出手段によって抽出された入力顔画像
が、前記辞書手段に登録可能な顔画像であるか否かを判
断する判断手段と、前記判断手段によって登録可能と判
断された入力顔画像を前記顔画像として前記辞書手段に
登録させる登録手段からなり、前記判断手段は、前記顔
領域抽出手段によって抽出された入力顔画像から顔の特
徴量を抽出し、この抽出された特徴量と、予め複数の入
力画像から抽出された特徴量との対応関係を線形結合に
より表現した場合の誤差を求め、前記誤差が閾値より小
さい場合は登録可能と判断することを特徴とする顔画像
登録装置である。
【００１５】また、本発明は、コンピュータが人物の顔
画像を登録するための顔画像登録方法において、前記コ
ンピュータによって前記人物の画像を入力する画像入力
ステップと、前記画像入力ステップにおいて入力された
画像中から前記人物の顔領域の画像である入力顔画像を
前記コンピュータによって抽出する顔領域抽出ステップ
と、前記顔領域抽出ステップにおいて抽出された入力顔
画像が、前記登録可能な顔画像か否かを前記コンピュー
タによって判断する判断ステップと、前記判断ステップ
において登録可能と判断された入力顔画像を前記顔画像
として前記コンピュータによって登録させる登録ステッ
プからなり、前記コンピュータが行う前記判断ステップ
は、前記顔領域抽出手段によって抽出された入力顔画像
から顔の特徴量を抽出し、この抽出された特徴量と、予
め複数の入力画像から抽出された特徴量との対応関係を
線形結合により表現した場合の誤差を求め、前記誤差が
閾値より小さい場合は登録可能と判断することを特徴と
する顔画像登録方法である。
画像を登録するための顔画像登録方法において、前記コ
ンピュータによって前記人物の画像を入力する画像入力
ステップと、前記画像入力ステップにおいて入力された
画像中から前記人物の顔領域の画像である入力顔画像を
前記コンピュータによって抽出する顔領域抽出ステップ
と、前記顔領域抽出ステップにおいて抽出された入力顔
画像が、前記登録可能な顔画像か否かを前記コンピュー
タによって判断する判断ステップと、前記判断ステップ
において登録可能と判断された入力顔画像を前記顔画像
として前記コンピュータによって登録させる登録ステッ
プからなり、前記コンピュータが行う前記判断ステップ
は、前記顔領域抽出手段によって抽出された入力顔画像
から顔の特徴量を抽出し、この抽出された特徴量と、予
め複数の入力画像から抽出された特徴量との対応関係を
線形結合により表現した場合の誤差を求め、前記誤差が
閾値より小さい場合は登録可能と判断することを特徴と
する顔画像登録方法である。
【００１６】上記発明であると、例えば、抽出された顔
領域から求まる特徴量を予め設定された基準とを比較す
ることにより学習データとして有効かの判断を行う。特
徴量としては、瞳、鼻穴、口端などの顔特徴点の大き
さ、位置情報から求まる量あるいはこれらの点を基準に
して正規化を施した画像を用いる。これにより大きく表
情が変化した画像、目を閉じた画像、口を開けた画像な
どを学習画像から自動的に取り除くことが可能になる。
領域から求まる特徴量を予め設定された基準とを比較す
ることにより学習データとして有効かの判断を行う。特
徴量としては、瞳、鼻穴、口端などの顔特徴点の大き
さ、位置情報から求まる量あるいはこれらの点を基準に
して正規化を施した画像を用いる。これにより大きく表
情が変化した画像、目を閉じた画像、口を開けた画像な
どを学習画像から自動的に取り除くことが可能になる。
【００１７】さらにマウス操作、キーボード操作、ボタ
ン操作などの所定の操作を検出して、操作中に入力され
た画像のみを対象として辞書生成を行う。操作中のみを
対象とすることで無駄な学習データ収集の時間が減り効
率的である。また横を向いている場合などの辞書として
有効でない画像を収集する可能性も減る。本発明によれ
ば、入力された画像中から顔領域を抽出して自動的に辞
書登録する装置及び方法を実現できる。
ン操作などの所定の操作を検出して、操作中に入力され
た画像のみを対象として辞書生成を行う。操作中のみを
対象とすることで無駄な学習データ収集の時間が減り効
率的である。また横を向いている場合などの辞書として
有効でない画像を収集する可能性も減る。本発明によれ
ば、入力された画像中から顔領域を抽出して自動的に辞
書登録する装置及び方法を実現できる。
【００１８】
【発明の実施の形態】以下、本発明の一実施例を図１か
ら図７に基づいて説明する。
ら図７に基づいて説明する。
【００１９】パソコン等の情報端末装置において、作業
中を一時中断して端末を離れる際に他人のアクセスを防
止することは必要な機能である。そのため、本実施例で
は、離席時に他人のアクセスを防止する機能を搭載した
情報機器端末装置１０を例にとって説明する。
中を一時中断して端末を離れる際に他人のアクセスを防
止することは必要な機能である。そのため、本実施例で
は、離席時に他人のアクセスを防止する機能を搭載した
情報機器端末装置１０を例にとって説明する。
【００２０】図１は、本実施例に係るセキュリティ付き
情報端末装置１０の概略を示すブロック図である。
情報端末装置１０の概略を示すブロック図である。
【００２１】本装置１０は、画像入力部１１、顔領域抽
出部１２、状況認識部１３、認１１４、辞書生成部１
５、アクセス制御部１６、辞書画像１７、所定動作検出
部１８から構成されている。
出部１２、状況認識部１３、認１１４、辞書生成部１
５、アクセス制御部１６、辞書画像１７、所定動作検出
部１８から構成されている。
【００２２】（画像入力部１１）
画像入力部１１は、認識対象となる人物の画像を入力す
るためのものであり、例えばＴＶカメラからなる。この
画像入力部１１から入力された画像０１はＡ／Ｄ変換器
によりデジタル化されて顔領域抽出部１２に送られる。
例えば、ＴＶカメラは情報端末装置１０のモニタの下部
に設置される。あるいはモニタの四角に設置しても良
い。
るためのものであり、例えばＴＶカメラからなる。この
画像入力部１１から入力された画像０１はＡ／Ｄ変換器
によりデジタル化されて顔領域抽出部１２に送られる。
例えば、ＴＶカメラは情報端末装置１０のモニタの下部
に設置される。あるいはモニタの四角に設置しても良
い。
【００２３】（顔領域抽出部１２）
顔領域抽出部１２は、画像入力部１１から送られてきた
入力画像から顔領域画像０２を常時抽出し続ける。本実
施例では、予め登録された標準顔画像（テンプレート）
を全画面に渡って移動させながら相関値を計算し最も高
い相関値をもっている領域を顔領域とする。相関値の局
所最大点を顔領域候補とする。この顔領域候補における
相関値が設定された閾値より低い場合は、顔が存在しな
いとする。具体的には閾値として最大相関値を１００と
して３０に設定する。顔の向き変化に対応するために複
合類似度などにより複数のテンプレートを用いるとさら
に安定に顔領域を抽出できる。この処理は先に述べたカ
ラー情報に基づく抽出法に置き換えて良い。
入力画像から顔領域画像０２を常時抽出し続ける。本実
施例では、予め登録された標準顔画像（テンプレート）
を全画面に渡って移動させながら相関値を計算し最も高
い相関値をもっている領域を顔領域とする。相関値の局
所最大点を顔領域候補とする。この顔領域候補における
相関値が設定された閾値より低い場合は、顔が存在しな
いとする。具体的には閾値として最大相関値を１００と
して３０に設定する。顔の向き変化に対応するために複
合類似度などにより複数のテンプレートを用いるとさら
に安定に顔領域を抽出できる。この処理は先に述べたカ
ラー情報に基づく抽出法に置き換えて良い。
【００２４】（状況認識部１３）
状況認識部１３では、顔領域抽出結果の時間的な変化か
ら使用者の状態（作業中、離席、着席）を識別して辞書
生成モードと認識モードの切替えを行う。
ら使用者の状態（作業中、離席、着席）を識別して辞書
生成モードと認識モードの切替えを行う。
【００２５】図２に示すように顔領域が検出され始めた
時点Ｔ０からＴ１までの期間に認識モードに設定する。
このモードでは後で述べる認識処理により本人同定処理
を行う。Ｔ１時点で本人と同定された場合はアクセス可
能になる。
時点Ｔ０からＴ１までの期間に認識モードに設定する。
このモードでは後で述べる認識処理により本人同定処理
を行う。Ｔ１時点で本人と同定された場合はアクセス可
能になる。
【００２６】Ｔ１時点以降は辞書生成モードに切替わり
所定動作検出部１８からの辞書生成信号が入力された時
に学習データの収集が行われる。一定期間顔領域を検出
できなくなったら離席したと判断して即座にスクリーン
ロックを起動する。あるいは使用者に光、音声などでそ
の主旨を伝えて使用者の反応を見てから、スクリーンロ
ックを起動しても良い。ここで時刻Ｔ１は対象機種やア
クセス動作の種類により変更可能である。
所定動作検出部１８からの辞書生成信号が入力された時
に学習データの収集が行われる。一定期間顔領域を検出
できなくなったら離席したと判断して即座にスクリーン
ロックを起動する。あるいは使用者に光、音声などでそ
の主旨を伝えて使用者の反応を見てから、スクリーンロ
ックを起動しても良い。ここで時刻Ｔ１は対象機種やア
クセス動作の種類により変更可能である。
【００２７】（認識部１４）
認識部１４は、顔特徴点抽出部１４ａ、正規化画像生成
部１４ｂ、パターンマッチング部１４ｃからなる。図３
に認識部１４のブロック図を示す。
部１４ｂ、パターンマッチング部１４ｃからなる。図３
に認識部１４のブロック図を示す。
【００２８】顔特徴点抽出部１４ａでは、抽出された顔
領域内から瞳、鼻、口橋などの特徴点を抽出する。既に
出願している形状情報とパターン情報を組み合わせた方
法［特願平８−６１４６３号］が適用可能である。
領域内から瞳、鼻、口橋などの特徴点を抽出する。既に
出願している形状情報とパターン情報を組み合わせた方
法［特願平８−６１４６３号］が適用可能である。
【００２９】この方法の基本的な考えは、位置精度の高
い形状情報により特徴点の候補を求め、それをパターン
照合で検証するというものである。本方法は形状情報に
より位置決めを行うので高い位置精度を期待できる。ま
た候補群からの正しい特徴点の選択に、マルチテンプレ
ートを用いたマッチングを適用しているために特徴点の
形状輝度の変動に対してロバストである。処理速度に関
しては、計算コストの少ない分離度フィルターで絞り込
んだ候補に対してのみパターン照合するので全体をパタ
ーン照合する方法に比べ計算量の大幅な削減が実現でき
る。
い形状情報により特徴点の候補を求め、それをパターン
照合で検証するというものである。本方法は形状情報に
より位置決めを行うので高い位置精度を期待できる。ま
た候補群からの正しい特徴点の選択に、マルチテンプレ
ートを用いたマッチングを適用しているために特徴点の
形状輝度の変動に対してロバストである。処理速度に関
しては、計算コストの少ない分離度フィルターで絞り込
んだ候補に対してのみパターン照合するので全体をパタ
ーン照合する方法に比べ計算量の大幅な削減が実現でき
る。
【００３０】この他にも、エッジ情報に基づく方法［A.
L.Yuille, " Feature extractionfrom faces using de
formable templates " , IJCV, vol. 8: 2, pp. 99-11
1, 1992.］［坂本静生，宮尾陽子，田島譲二，“顔画像
からの目の特徴点抽出”，信学論 D-II, Vol. J76-D-I
I, No. 8, pp. 1796-1804, August, 1993. ］や固有空
間法を適用したEigen feature 法［Alex Pentland,Baba
ck Moghaddam,Thad Starner, " View-based and modula
r eigenspaces for face recognition ", CVPR '94, p
p. 84-91, 1994.］、カラー情報に基づく方法［佐々木
努、赤松茂、末永康仁，“顔画像認識のための色情報を
用いた顔の位置合わせ方”，IE91-2, pp. 9-15, 1991.
］が適用可能である。
L.Yuille, " Feature extractionfrom faces using de
formable templates " , IJCV, vol. 8: 2, pp. 99-11
1, 1992.］［坂本静生，宮尾陽子，田島譲二，“顔画像
からの目の特徴点抽出”，信学論 D-II, Vol. J76-D-I
I, No. 8, pp. 1796-1804, August, 1993. ］や固有空
間法を適用したEigen feature 法［Alex Pentland,Baba
ck Moghaddam,Thad Starner, " View-based and modula
r eigenspaces for face recognition ", CVPR '94, p
p. 84-91, 1994.］、カラー情報に基づく方法［佐々木
努、赤松茂、末永康仁，“顔画像認識のための色情報を
用いた顔の位置合わせ方”，IE91-2, pp. 9-15, 1991.
］が適用可能である。
【００３１】正規化画像生成部１４ｂでは、特徴点を基
準にして正規化を施す。図４に瞳、鼻穴を基準にした正
規化処理の例を示す。ベクトルＥ１Ｅ２の向きを平行に
補正してさらにｃ１，ｃ２の上から１／３の点ＣＰを正
規化画像の中心座標、横幅はベクトルＥ１Ｅ２の２倍、
縦幅はベクトルｃ１ｃ２の２倍に設定する。
準にして正規化を施す。図４に瞳、鼻穴を基準にした正
規化処理の例を示す。ベクトルＥ１Ｅ２の向きを平行に
補正してさらにｃ１，ｃ２の上から１／３の点ＣＰを正
規化画像の中心座標、横幅はベクトルＥ１Ｅ２の２倍、
縦幅はベクトルｃ１ｃ２の２倍に設定する。
【００３２】パターンマッチング部１４ｃでは、正規化
画像と辞書画像に蓄えられている顔画像と比較してパタ
ーン類似度を求める。パターン類似度が基準値より高い
場合には、本人であると同定する。基準より小さい場合
には、他人とする。パターンマッチングの方法として
は、相関法、部分空間法、複合類似度法などが適用可能
である。
画像と辞書画像に蓄えられている顔画像と比較してパタ
ーン類似度を求める。パターン類似度が基準値より高い
場合には、本人であると同定する。基準より小さい場合
には、他人とする。パターンマッチングの方法として
は、相関法、部分空間法、複合類似度法などが適用可能
である。
【００３３】（所定動作検出部１８）
所定動作検出部１８は、使用者がキーボード、ボタンプ
ッシュ、または、マウスの操作などの所定の動作を行っ
ているか否かを検出する。検出結果に基づいて辞書生成
部１５を制御する。
ッシュ、または、マウスの操作などの所定の動作を行っ
ているか否かを検出する。検出結果に基づいて辞書生成
部１５を制御する。
【００３４】具体的には、使用者がキーボード操作、ボ
タンプッシュ、マウスの操作などの所定の動作を行って
いることを検知すると、画像入力手段１１に使用者の顔
の正面画像が写っている可能性が高いため、辞書登録す
るのに好適であるために所定の動作を行っている間は辞
書生成信号を辞書生成部１６に送信する。
タンプッシュ、マウスの操作などの所定の動作を行って
いることを検知すると、画像入力手段１１に使用者の顔
の正面画像が写っている可能性が高いため、辞書登録す
るのに好適であるために所定の動作を行っている間は辞
書生成信号を辞書生成部１６に送信する。
【００３５】（辞書生成部１６）
辞書生成部１６は、顔特徴点抽出部１４ａ、フレーム評
価部１６ａ、正規化画像生成部１４ｂ、学習画像記憶部
１６ｂ及び主成分分析部１６ｃからなる。ここで顔特徴
点抽出部１４ａと正規化画像生成部１４ｂは、認識部１
４と共通で使用する。図５に辞書生成部１６のブロック
図を示す。
価部１６ａ、正規化画像生成部１４ｂ、学習画像記憶部
１６ｂ及び主成分分析部１６ｃからなる。ここで顔特徴
点抽出部１４ａと正規化画像生成部１４ｂは、認識部１
４と共通で使用する。図５に辞書生成部１６のブロック
図を示す。
【００３６】辞書生成は、所定動作検出部１８から辞書
生成信号が入力されると学習データの収集が行われる。
生成信号が入力されると学習データの収集が行われる。
【００３７】フレーム評価部１６ｂでは、抽出された顔
特徴点の情報から抽出された顔領域画像０２が辞書生成
に有効か否かを判断する。ここで３つの評価基準を適用
するが、個別あるいは組合せで適用してもよい。
特徴点の情報から抽出された顔領域画像０２が辞書生成
に有効か否かを判断する。ここで３つの評価基準を適用
するが、個別あるいは組合せで適用してもよい。
【００３８】(i) 予め各特徴点の位置関係を規定してお
き、この位置関係が崩れた場合には、学習データとして
有効でないと判断する。例えば、両瞳、鼻穴、口端の位
置関係などである。
き、この位置関係が崩れた場合には、学習データとして
有効でないと判断する。例えば、両瞳、鼻穴、口端の位
置関係などである。
【００３９】(ii)辞書画像１７に蓄えられた固有顔画像
とパターン類似度を評価にする。類似度が基準より小さ
い場合には有効でないと判断する。基準を高くする程、
学習データの均一性を高めることになる。しかし高過ぎ
ると顔向きなどの変化に対応できなくなる。
とパターン類似度を評価にする。類似度が基準より小さ
い場合には有効でないと判断する。基準を高くする程、
学習データの均一性を高めることになる。しかし高過ぎ
ると顔向きなどの変化に対応できなくなる。
【００４０】あるいは辞書画像１７に蓄えられた固有顔
画像の代わりに、事前に正しい特徴点で正規化された学
習画像から生成した辞書画像を用いても良い。
画像の代わりに、事前に正しい特徴点で正規化された学
習画像から生成した辞書画像を用いても良い。
【００４１】さらに顔向きまで考慮すると極端に横を向
いた顔などを除くことが可能である。この場合には、予
め方向１〜Ｎの顔向き毎に準備してある顔辞書パターン
との比較を行って、所定の顔向きの辞書に一致する場合
に辞書生成に有効であると判断する。
いた顔などを除くことが可能である。この場合には、予
め方向１〜Ｎの顔向き毎に準備してある顔辞書パターン
との比較を行って、所定の顔向きの辞書に一致する場合
に辞書生成に有効であると判断する。
【００４２】(iii) 各フレーム毎に抽出された特徴点の
関係を調べて目を閉じた学習データを検出する。新しく
抽出された特徴点の座標は、既にその前のフレーム１〜
４で抽出された特徴点の座標の線形結合で表現できる。
したがって全てのフレームで正しく特徴点が抽出されて
いれば、線形結合した際の誤差が小さくなる。逆に目を
閉じて眉と瞳を間違えた場合などには、誤差が大きくな
る。
関係を調べて目を閉じた学習データを検出する。新しく
抽出された特徴点の座標は、既にその前のフレーム１〜
４で抽出された特徴点の座標の線形結合で表現できる。
したがって全てのフレームで正しく特徴点が抽出されて
いれば、線形結合した際の誤差が小さくなる。逆に目を
閉じて眉と瞳を間違えた場合などには、誤差が大きくな
る。
【００４３】これについて詳細に図６を用いて説明す
る。
る。
【００４４】正射影モデルを仮定すると、３次元モデル
を持たずに、任意の方向から見た顔特徴点の２次元座標
を、式（１）（２）に示すように４枚の画像上で対応付
けられた特徴点の２次元座標の線形結合により表現でき
る［S. Ullman, R. Basri: "Recognition by Linear Co
mbinations of Models, IEEE Trans. PAMI, Vol. 13, N
o. 10, pp. 992-1006, 1991. ］［向川康博、中村裕
一、大田友一、“２枚の顔写真を用いた任意方向の顔画
像の生成”、情処論、Vol. 37, No. 4, pp. 635-644, 1
996.］。この性質を利用して動画像列において既に抽出
されている４枚のフレームにおける正しい特徴点の２次
元座標値（ｘ1 ，ｙ1 ）〜（ｘ4 ，ｙ4 ）から新しく検
出された特徴点の２次元座標値（Ｘ，Ｙ）を検証する。
を持たずに、任意の方向から見た顔特徴点の２次元座標
を、式（１）（２）に示すように４枚の画像上で対応付
けられた特徴点の２次元座標の線形結合により表現でき
る［S. Ullman, R. Basri: "Recognition by Linear Co
mbinations of Models, IEEE Trans. PAMI, Vol. 13, N
o. 10, pp. 992-1006, 1991. ］［向川康博、中村裕
一、大田友一、“２枚の顔写真を用いた任意方向の顔画
像の生成”、情処論、Vol. 37, No. 4, pp. 635-644, 1
996.］。この性質を利用して動画像列において既に抽出
されている４枚のフレームにおける正しい特徴点の２次
元座標値（ｘ1 ，ｙ1 ）〜（ｘ4 ，ｙ4 ）から新しく検
出された特徴点の２次元座標値（Ｘ，Ｙ）を検証する。
【００４５】４フレームの画像に対する特徴点の２次元
座標と新しい座標（Ｘ，Ｙ）から線形結合係数ａi ，ｂ
i ，（ｉ＝１，４）を最小自乗法により求める。今度は
逆に得られた結合係数から近似座標を（ｘ′，ｙ′）を
計算して（Ｘ，Ｙ）との誤差Ｒesを計算する。
座標と新しい座標（Ｘ，Ｙ）から線形結合係数ａi ，ｂ
i ，（ｉ＝１，４）を最小自乗法により求める。今度は
逆に得られた結合係数から近似座標を（ｘ′，ｙ′）を
計算して（Ｘ，Ｙ）との誤差Ｒesを計算する。
【００４６】
【数１】
誤差Ｒesは新しい特徴点の座標誤差を示している。誤差
が閾値より大きい場合は、抽出位置に誤りが生じている
ので、このデータは学習データとして有効でない。
が閾値より大きい場合は、抽出位置に誤りが生じている
ので、このデータは学習データとして有効でない。
【００４７】上記(i) 〜(iii) の評価基準以外にも顔領
域の平均輝度や輝度の分散が基準範囲に入っているか否
かで判断することも可能である。
域の平均輝度や輝度の分散が基準範囲に入っているか否
かで判断することも可能である。
【００４８】学習画像記憶部１６ｂは、上記有効である
と判断された学習データを蓄える。蓄えられた学習デー
タ数が規定の数に達したら主成分分析部１６ｃに学習画
像を送る。
と判断された学習データを蓄える。蓄えられた学習デー
タ数が規定の数に達したら主成分分析部１６ｃに学習画
像を送る。
【００４９】主成分分析部１６ｃでは、学習画像記憶部
１６ｂに蓄えられた画像データに対して主成分分析（Ｋ
Ｌ展開）適用して固有画像を求める。固有値が大きい方
から上位Ｎ個の固有画像を辞書画像１７に蓄える。
１６ｂに蓄えられた画像データに対して主成分分析（Ｋ
Ｌ展開）適用して固有画像を求める。固有値が大きい方
から上位Ｎ個の固有画像を辞書画像１７に蓄える。
【００５０】上記実施例では、動画像からリアルタイム
で辞書生成を行う例を説明したが、動画像から所定動作
検出部からの検出信号が来たフレームだけを一旦メモリ
に蓄えてから行うことも可能である。この場合は、辞書
生成に有効である可能性が高いフレームだけを対象にす
るために、処理の高速化と安定性が計れる。
で辞書生成を行う例を説明したが、動画像から所定動作
検出部からの検出信号が来たフレームだけを一旦メモリ
に蓄えてから行うことも可能である。この場合は、辞書
生成に有効である可能性が高いフレームだけを対象にす
るために、処理の高速化と安定性が計れる。
【００５１】また、上記実施例では、識別にパターン的
な手法である部分空間法を適用しているが、構造的な手
法に置き換えても良い。
な手法である部分空間法を適用しているが、構造的な手
法に置き換えても良い。
【００５２】（本装置１０の動作の説明）
次に、本実施例の動作を図７に沿って説明する。
【００５３】最初のアクセスは、パスワードなどを入力
する通常のログインを行う。あるいは、事前に登録した
使用者の辞書を用いて自動ログインを行うことも可能で
ある。
する通常のログインを行う。あるいは、事前に登録した
使用者の辞書を用いて自動ログインを行うことも可能で
ある。
【００５４】先ず画像入力部１１から入力された画像か
ら顔領域抽出部１２において顔領域が抽出されて状況認
識部１３に送られる。また所定動作検出部１８では、マ
ウス操作、キーボード操作、ボタン操作などの所定動作
検出信号を状況認識部に送る。状況認識部１３では、顔
領域の時間的な有無に基づいて認識モードと辞書生成モ
ードの切替えを行う。また所定動作検出信号に基づいて
学習データを収集するか否かを制御する。
ら顔領域抽出部１２において顔領域が抽出されて状況認
識部１３に送られる。また所定動作検出部１８では、マ
ウス操作、キーボード操作、ボタン操作などの所定動作
検出信号を状況認識部に送る。状況認識部１３では、顔
領域の時間的な有無に基づいて認識モードと辞書生成モ
ードの切替えを行う。また所定動作検出信号に基づいて
学習データを収集するか否かを制御する。
【００５５】先ず時刻Ｔ０からＴ１までは、認識モード
に設定され、前回の使用者本人であるかを同定する。
に設定され、前回の使用者本人であるかを同定する。
【００５６】(i) 認識モード
顔領域は、顔特徴点抽出部１４ａに送られて瞳、鼻穴、
口端が検出される。次にこれらの特徴点を基準に正規化
が施される。正規化画像は、パターンマッチング部１４
ｃで前回使用者の辞書画像との類似度が計算され、類似
度が基準値より高い場合に前回使用していた本人と同定
されてアクセス可能になる。基準値より小さい場合はア
クセスを禁止する。
口端が検出される。次にこれらの特徴点を基準に正規化
が施される。正規化画像は、パターンマッチング部１４
ｃで前回使用者の辞書画像との類似度が計算され、類似
度が基準値より高い場合に前回使用していた本人と同定
されてアクセス可能になる。基準値より小さい場合はア
クセスを禁止する。
【００５７】次に時刻Ｔ１からは、辞書生成モードに設
定される。
定される。
【００５８】(ii)辞書生成モード
所定動作検出部１８が所定動作を検出して所定動作検出
信号がＯＮになっている場合に学習データを収集して辞
書画像を生成する。連続して入力される画像から抽出さ
れた顔領域画像は顔特徴点抽出部１４ａに送られて瞳、
鼻穴、口端が検出される。抽出された特徴点情報はフレ
ーム評価部１６ａに送られて、例えば式（３）から誤差
が計算される。誤差が閾値より小さい場合には学習デー
タとして有効であると判断され学習画像記憶部１６ｂに
蓄えられる。学習画像記憶部１６ｂに規定枚数以上の学
習データが蓄えられたら学習データは主成分分析部１６
ｃに送られて辞書画像が生成される。
信号がＯＮになっている場合に学習データを収集して辞
書画像を生成する。連続して入力される画像から抽出さ
れた顔領域画像は顔特徴点抽出部１４ａに送られて瞳、
鼻穴、口端が検出される。抽出された特徴点情報はフレ
ーム評価部１６ａに送られて、例えば式（３）から誤差
が計算される。誤差が閾値より小さい場合には学習デー
タとして有効であると判断され学習画像記憶部１６ｂに
蓄えられる。学習画像記憶部１６ｂに規定枚数以上の学
習データが蓄えられたら学習データは主成分分析部１６
ｃに送られて辞書画像が生成される。
【００５９】使用者が離席すると即座にスクリーンロッ
クを起動する。再び使用者が着席すると最初の処理に戻
る。
クを起動する。再び使用者が着席すると最初の処理に戻
る。
【００６０】なお、上記説明では所定動作検出部１８が
所定動作を検出して所定動作検出信号がＯＮになってい
る場合に辞書画像を生成していたが、さらに、所定動作
検出信号がＯＦＦにあった後、一定期間（例えば、１分
間）の間は続けて辞書画像を生成してもよい。
所定動作を検出して所定動作検出信号がＯＮになってい
る場合に辞書画像を生成していたが、さらに、所定動作
検出信号がＯＦＦにあった後、一定期間（例えば、１分
間）の間は続けて辞書画像を生成してもよい。
【００６１】（変更例）
次に、情報端末のセキュリティだけではなく、情報端末
のサービスにおける実施例について説明する。
のサービスにおける実施例について説明する。
【００６２】例えば、顔を登録する場合に、顔領域から
得られる特徴量だけではなく、情報端末の操作履歴も同
時に記憶することを考える。顔の情報と同時に登録して
おくことによって、その人間の識別と同時に、端末を操
作していたときに、どのような情報を求めていたのかを
履歴から抽出できる。
得られる特徴量だけではなく、情報端末の操作履歴も同
時に記憶することを考える。顔の情報と同時に登録して
おくことによって、その人間の識別と同時に、端末を操
作していたときに、どのような情報を求めていたのかを
履歴から抽出できる。
【００６３】情報検索を例とすると、使用者は検索式等
を入力する作業を行う。個人識別のために必要な情報に
加え、その検索式、検索内容の履歴をデータベースに蓄
えておく。蓄えられたデータをもとに、使用者の興味あ
る内容を推定、抽出し、新たな情報検索を行って保持し
ておく。
を入力する作業を行う。個人識別のために必要な情報に
加え、その検索式、検索内容の履歴をデータベースに蓄
えておく。蓄えられたデータをもとに、使用者の興味あ
る内容を推定、抽出し、新たな情報検索を行って保持し
ておく。
【００６４】そして使用者が再び、情報端末へのログイ
ン、操作復帰を行った場合、端末に新たに検索した所望
と考えられる情報の提供を自動的に行うサービスが可能
となる。
ン、操作復帰を行った場合、端末に新たに検索した所望
と考えられる情報の提供を自動的に行うサービスが可能
となる。
【００６５】これらの履歴情報は顔の登録情報とリンク
して蓄えられることにより、いつこのような情報を検索
していたかというタイムスタンプの代わりになり、これ
に基づいて、いつの時点の顔の状態に近いのかを認識し
て、その当時の履歴情報に基づいた情報を提示しても良
い。
して蓄えられることにより、いつこのような情報を検索
していたかというタイムスタンプの代わりになり、これ
に基づいて、いつの時点の顔の状態に近いのかを認識し
て、その当時の履歴情報に基づいた情報を提示しても良
い。
【００６６】また、顔の登録の際の検証機構として、表
情検出、認識を用いれば、人間の感情状態に応じた情報
の操作履歴をとることも可能であり、平常時の辞書、笑
ったときの辞書、怒っているときの辞書などを生成する
こともできる。新たに顔認識を行う際に、表情情報に対
応した情報提供を行っても良い。
情検出、認識を用いれば、人間の感情状態に応じた情報
の操作履歴をとることも可能であり、平常時の辞書、笑
ったときの辞書、怒っているときの辞書などを生成する
こともできる。新たに顔認識を行う際に、表情情報に対
応した情報提供を行っても良い。
【００６７】これらは顔登録の更新と情報操作履歴の更
新を継続的に同時に行うことにより、より確かな情報提
供が可能になる。
新を継続的に同時に行うことにより、より確かな情報提
供が可能になる。
【００６８】これらの実施例は情報端末を例に説明した
が、例えばＴＶ、電話など家電製品に置き換えても良
い。
が、例えばＴＶ、電話など家電製品に置き換えても良
い。
【００６９】ＴＶの場合には、リモコンに超小型カメラ
を搭載する。所定の動作はリモコンのボタンを押してい
る動作と定義する。電話の場合には、受話器に超小型Ｃ
ＣＤが搭載して受話器を上げる動作を所定の動作と定義
する。
を搭載する。所定の動作はリモコンのボタンを押してい
る動作と定義する。電話の場合には、受話器に超小型Ｃ
ＣＤが搭載して受話器を上げる動作を所定の動作と定義
する。
【００７０】さらに、本実施例の装置１０を現金自動預
け払い機（以下、ＡＴＭという）に使用してもよい。
け払い機（以下、ＡＴＭという）に使用してもよい。
【００７１】すなわち、使用者の本人確認のためにこの
装置１０を使用することにより、他人による取り忘れ、
現金の横取りなどの不正使用を確実に防止できる。この
場合には、画像入力部１１を、ＡＴＭの操作パネルの近
傍に配置して使用者の顔が確実に写るようにする。ま
た、顔画像と同時に口座番号や更新登録時刻を登録して
おいてもよい。
装置１０を使用することにより、他人による取り忘れ、
現金の横取りなどの不正使用を確実に防止できる。この
場合には、画像入力部１１を、ＡＴＭの操作パネルの近
傍に配置して使用者の顔が確実に写るようにする。ま
た、顔画像と同時に口座番号や更新登録時刻を登録して
おいてもよい。
【００７２】
【発明の効果】以上、本発明によれば、入力された画像
中から新規顔画像を抽出して、これが辞書登録に値する
顔画像か否かを判断して、有効と判断した入力顔画像の
みを登録するために、不要な顔画像の登録を排除できて
辞書精度を上げることができる。
中から新規顔画像を抽出して、これが辞書登録に値する
顔画像か否かを判断して、有効と判断した入力顔画像の
みを登録するために、不要な顔画像の登録を排除できて
辞書精度を上げることができる。
【図１】本実施例の装置のブロック図である。
【図２】本人同定モード及び辞書生成モードの時間的な
変化を示す図である。
変化を示す図である。
【図３】認識部のブロック図である。
【図４】瞳、鼻穴を基準にした正規化処理の例を示す図
である。
である。
【図５】辞書生成部のブロック図である。
【図６】線形結合した際の誤差を使用した説明図であ
る。
る。
【図７】本実施例の動作を説明する図である。
１１ 画像入力部
１２ 顔領域抽出部
１３ 状況認識部
１４ 認識部
１５ 辞書生成部
１６ アクセス制御部
１７ 辞書画像
１８ 所定動作検出部
フロントページの続き
(56)参考文献 特開 平９−35068（ＪＰ，Ａ)
特開 昭58−215883（ＪＰ，Ａ)
特開 平７−141506（ＪＰ，Ａ)
特開 平７−271482（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06T 1/00
G06F 15/00
G06F 17/60
Claims (4)
- 【請求項１】人物の顔画像を登録している辞書手段を有
する顔画像登録装置において、 前記人物の画像を入力する画像入力手段と、 前記画像入力手段によって入力された画像中から前記人
物の顔領域の画像である入力顔画像を抽出する顔領域抽
出手段と、 前記顔領域抽出手段によって抽出された入力顔画像が、
前記辞書手段に登録可能な顔画像であるか否かを判断す
る判断手段と、 前記判断手段によって登録可能と判断された入力顔画像
を前記顔画像として前記辞書手段に登録させる登録手段
からなり、 前記判断手段は、 前記顔領域抽出手段によって抽出された入力顔画像から
顔の特徴量を抽出し、 この抽出された特徴量と、予め複数の入力画像から抽出
された特徴量との対応関係を線形結合により表現した場
合の誤差を求め、 前記誤差が閾値より小さい場合は登録可能と判断する こ
とを特徴とする顔画像登録装置。 - 【請求項２】前記人物の所定の動作を検出する動作検出
手段を有し、 前記判断手段は、 前記動作検出手段が前記所定の動作を検出している間、
または、その検出後一定期間の間に、前記顔領域抽出手
段によって抽出された入力顔画像が前記辞書手段に登録
するための前記顔画像として登録可能か否かを判断する
ことを特徴とする請求項１記載の顔画像登録装置。 - 【請求項３】コンピュータが人物の顔画像を登録するた
めの顔画像登録方法において、前記コンピュータによって 前記人物の画像を入力する画
像入力ステップと、 前記画像入力ステップにおいて入力された画像中から前
記人物の顔領域の画像である入力顔画像を前記コンピュ
ータによって抽出する顔領域抽出ステップと、 前記顔領域抽出ステップにおいて抽出された入力顔画像
が、前記登録可能な顔画像か否かを前記コンピュータに
よって判断する判断ステップと、 前記判断ステップにおいて登録可能と判断された入力顔
画像を前記顔画像として前記コンピュータによって登録
させる登録ステップからなり、 前記コンピュータが行う前記判断ステップは、 前記顔領域抽出手段によって抽出された入力顔画像から
顔の特徴量を抽出し、 この抽出された特徴量と、予め複数の入力画像から抽出
された特徴量との対応関係を線形結合により表現した場
合の誤差を求め、 前記誤差が閾値より小さい場合は登録可能と判断する こ
とを特徴とする顔画像登録方法。 - 【請求項４】前記人物の所定の動作を検出する動作検出
ステップを有し、 前記判断ステップは、 前記動作検出ステップにおいて前記所定の動作を検出し
ている間、または、その検出後一定期間の間に、前記顔
領域抽出ステップにおいて抽出された入力顔画像が前記
顔画像として登録可能か否かを判断することを特徴とす
る請求項３記載の顔画像登録方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03370497A JP3469031B2 (ja) | 1997-02-18 | 1997-02-18 | 顔画像登録装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03370497A JP3469031B2 (ja) | 1997-02-18 | 1997-02-18 | 顔画像登録装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10232934A JPH10232934A (ja) | 1998-09-02 |
| JP3469031B2 true JP3469031B2 (ja) | 2003-11-25 |
Family
ID=12393817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03370497A Expired - Fee Related JP3469031B2 (ja) | 1997-02-18 | 1997-02-18 | 顔画像登録装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3469031B2 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9014487B2 (en) | 2012-07-09 | 2015-04-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US9189681B2 (en) | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, method thereof, and computer-readable storage medium |
| US9214027B2 (en) | 2012-07-09 | 2015-12-15 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9280720B2 (en) | 2012-07-09 | 2016-03-08 | Canon Kabushiki Kaisha | Apparatus, method, and computer-readable storage medium |
| US9292760B2 (en) | 2012-07-09 | 2016-03-22 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9299177B2 (en) | 2012-07-09 | 2016-03-29 | Canon Kabushiki Kaisha | Apparatus, method and non-transitory computer-readable medium using layout similarity |
| US9436706B2 (en) | 2013-09-05 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for laying out images |
| US9501688B2 (en) | 2012-07-09 | 2016-11-22 | Canon Kabushiki Kaisha | Apparatus, processing method and storage medium storing program |
| US9509870B2 (en) | 2013-09-05 | 2016-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium enabling layout varations |
| US9519842B2 (en) | 2012-07-09 | 2016-12-13 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9542594B2 (en) | 2013-06-28 | 2017-01-10 | Canon Kabushiki Kaisha | Information processing apparatus, method for processing information, and program |
| US9558212B2 (en) | 2012-07-09 | 2017-01-31 | Canon Kabushiki Kaisha | Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information |
| US9563823B2 (en) | 2012-07-09 | 2017-02-07 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9846681B2 (en) | 2012-07-09 | 2017-12-19 | Canon Kabushiki Kaisha | Apparatus and method for outputting layout image |
| US9904879B2 (en) | 2013-09-05 | 2018-02-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US10013395B2 (en) | 2012-07-09 | 2018-07-03 | Canon Kabushiki Kaisha | Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images |
| US11087121B2 (en) | 2018-04-05 | 2021-08-10 | West Virginia University | High accuracy and volume facial recognition on mobile platforms |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001148843A (ja) * | 1999-11-18 | 2001-05-29 | Mega Chips Corp | 撮影装置及びこの撮影装置を用いた防犯システム |
| JP4536218B2 (ja) * | 2000-06-19 | 2010-09-01 | オリンパス株式会社 | 合焦装置及び撮像装置 |
| KR100481116B1 (ko) * | 2001-03-09 | 2005-04-07 | 가부시끼가이샤 도시바 | 안면화상 인식장치 |
| JP2003022441A (ja) * | 2001-07-06 | 2003-01-24 | Minolta Co Ltd | 領域抽出方法、領域抽出プログラム、領域抽出プログラムを記録したコンピュータ読取可能な記録媒体、および領域抽出装置 |
| DE10163814A1 (de) * | 2001-12-22 | 2003-07-03 | Philips Intellectual Property | Verfahren und Einrichtung zur Nutzeridentifizierung |
| KR20030065049A (ko) * | 2002-01-29 | 2003-08-06 | 삼성전자주식회사 | 얼굴 인식에 의한 출입 통제 방법 및 그 장치 |
| US7843495B2 (en) | 2002-07-10 | 2010-11-30 | Hewlett-Packard Development Company, L.P. | Face recognition in a digital imaging system accessing a database of people |
| JP4013684B2 (ja) | 2002-07-23 | 2007-11-28 | オムロン株式会社 | 個人認証システムにおける不正登録防止装置 |
| US20040207743A1 (en) | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
| US8159561B2 (en) | 2003-10-10 | 2012-04-17 | Nikon Corporation | Digital camera with feature extraction device |
| JP4556873B2 (ja) * | 2003-10-21 | 2010-10-06 | 日本電気株式会社 | 画像照合システム及び画像照合方法 |
| CN100448267C (zh) | 2004-02-06 | 2008-12-31 | 株式会社尼康 | 数码相机 |
| JP4317465B2 (ja) * | 2004-02-13 | 2009-08-19 | 本田技研工業株式会社 | 顔識別装置、顔識別方法及び顔識別プログラム |
| US20050248681A1 (en) | 2004-05-07 | 2005-11-10 | Nikon Corporation | Digital camera |
| JP4429873B2 (ja) * | 2004-10-29 | 2010-03-10 | パナソニック株式会社 | 顔画像認証装置及び顔画像認証方法 |
| JP4674471B2 (ja) | 2005-01-18 | 2011-04-20 | 株式会社ニコン | デジタルカメラ |
| JP2006244385A (ja) * | 2005-03-07 | 2006-09-14 | Fuji Photo Film Co Ltd | 顔判別装置およびプログラム並びに顔判別装置の学習方法 |
| US7835549B2 (en) | 2005-03-07 | 2010-11-16 | Fujifilm Corporation | Learning method of face classification apparatus, face classification method, apparatus and program |
| JP4324170B2 (ja) | 2005-03-17 | 2009-09-02 | キヤノン株式会社 | 撮像装置およびディスプレイの制御方法 |
| WO2007060980A1 (ja) | 2005-11-25 | 2007-05-31 | Nikon Corporation | 電子カメラおよび画像処理装置 |
| JP4756589B2 (ja) * | 2005-12-07 | 2011-08-24 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP4290164B2 (ja) | 2006-01-31 | 2009-07-01 | キヤノン株式会社 | 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置 |
| JP4810420B2 (ja) | 2006-02-24 | 2011-11-09 | キヤノン株式会社 | 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体 |
| JP4725377B2 (ja) | 2006-03-15 | 2011-07-13 | オムロン株式会社 | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
| US7792355B2 (en) | 2006-03-30 | 2010-09-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and image capturing apparatus |
| JP4811579B2 (ja) * | 2006-04-05 | 2011-11-09 | 大日本印刷株式会社 | 機器の不正使用防止システム及びその方法 |
| JP4182117B2 (ja) | 2006-05-10 | 2008-11-19 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
| JP4110178B2 (ja) | 2006-07-03 | 2008-07-02 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
| JP4656657B2 (ja) | 2006-07-31 | 2011-03-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5091529B2 (ja) * | 2007-04-10 | 2012-12-05 | 株式会社東芝 | 電子機器および録画制御方法 |
| JP4999570B2 (ja) | 2007-06-18 | 2012-08-15 | キヤノン株式会社 | 表情認識装置及び方法、並びに撮像装置 |
| JP2009025874A (ja) * | 2007-07-17 | 2009-02-05 | Nec Corp | 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム |
| JP5064947B2 (ja) | 2007-09-11 | 2012-10-31 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
| KR102559017B1 (ko) * | 2007-09-24 | 2023-07-25 | 애플 인크. | 전자 장치 내의 내장형 인증 시스템들 |
| US8600120B2 (en) | 2008-01-03 | 2013-12-03 | Apple Inc. | Personal computing device control using face detection and recognition |
| JP5137622B2 (ja) | 2008-03-03 | 2013-02-06 | キヤノン株式会社 | 撮影装置及びその制御方法、並びに画像処理装置及びその制御方法 |
| JP5171468B2 (ja) | 2008-08-06 | 2013-03-27 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
| JP5371083B2 (ja) * | 2008-09-16 | 2013-12-18 | Ｋｄｄｉ株式会社 | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 |
| JP5093178B2 (ja) * | 2009-04-06 | 2012-12-05 | 株式会社ニコン | 電子カメラ |
| JP2011044064A (ja) | 2009-08-24 | 2011-03-03 | Nikon Corp | 画像処理装置、および画像処理プログラム |
| JP5480090B2 (ja) * | 2010-09-29 | 2014-04-23 | 株式会社エクシング | カラオケ装置 |
| JP5017476B2 (ja) * | 2011-04-18 | 2012-09-05 | 株式会社東芝 | 顔画像処理装置、顔画像処理方法および電子スチルカメラ |
| US8769624B2 (en) | 2011-09-29 | 2014-07-01 | Apple Inc. | Access control utilizing indirect authentication |
| US9002322B2 (en) | 2011-09-29 | 2015-04-07 | Apple Inc. | Authentication with secondary approver |
| JP5242827B2 (ja) * | 2012-04-18 | 2013-07-24 | 株式会社東芝 | 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法 |
| US11209961B2 (en) | 2012-05-18 | 2021-12-28 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| JP5981789B2 (ja) | 2012-07-09 | 2016-08-31 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US9679224B2 (en) * | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| US9898642B2 (en) | 2013-09-09 | 2018-02-20 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| US10043185B2 (en) | 2014-05-29 | 2018-08-07 | Apple Inc. | User interface for payments |
| JP6486098B2 (ja) | 2014-12-19 | 2019-03-20 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| CN106326816A (zh) * | 2015-06-30 | 2017-01-11 | 芋头科技（杭州）有限公司 | 一种面部识别***及面部识别方法 |
| JP2017167366A (ja) * | 2016-03-16 | 2017-09-21 | Kddi株式会社 | 通信端末、通信方法及びプログラム |
| DK179186B1 (en) | 2016-05-19 | 2018-01-15 | Apple Inc | REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION |
| JP7039183B2 (ja) | 2017-05-31 | 2022-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| KR102185854B1 (ko) | 2017-09-09 | 2020-12-02 | 애플 인크. | 생체측정 인증의 구현 |
| EP4155988A1 (en) | 2017-09-09 | 2023-03-29 | Apple Inc. | Implementation of biometric authentication for performing a respective function |
| US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
| JP6631662B2 (ja) * | 2018-07-11 | 2020-01-15 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、及びプログラム |
| US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
| US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
| JP7345436B2 (ja) * | 2020-06-19 | 2023-09-15 | 京セラ株式会社 | 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム |
-
1997
- 1997-02-18 JP JP03370497A patent/JP3469031B2/ja not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9563823B2 (en) | 2012-07-09 | 2017-02-07 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9214027B2 (en) | 2012-07-09 | 2015-12-15 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9519842B2 (en) | 2012-07-09 | 2016-12-13 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US10055640B2 (en) | 2012-07-09 | 2018-08-21 | Canon Kabushiki Kaisha | Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof |
| US9292760B2 (en) | 2012-07-09 | 2016-03-22 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9299177B2 (en) | 2012-07-09 | 2016-03-29 | Canon Kabushiki Kaisha | Apparatus, method and non-transitory computer-readable medium using layout similarity |
| US10013395B2 (en) | 2012-07-09 | 2018-07-03 | Canon Kabushiki Kaisha | Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images |
| US9501688B2 (en) | 2012-07-09 | 2016-11-22 | Canon Kabushiki Kaisha | Apparatus, processing method and storage medium storing program |
| US9846681B2 (en) | 2012-07-09 | 2017-12-19 | Canon Kabushiki Kaisha | Apparatus and method for outputting layout image |
| US9189681B2 (en) | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, method thereof, and computer-readable storage medium |
| US9280720B2 (en) | 2012-07-09 | 2016-03-08 | Canon Kabushiki Kaisha | Apparatus, method, and computer-readable storage medium |
| US9558212B2 (en) | 2012-07-09 | 2017-01-31 | Canon Kabushiki Kaisha | Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information |
| US9014487B2 (en) | 2012-07-09 | 2015-04-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US9542594B2 (en) | 2013-06-28 | 2017-01-10 | Canon Kabushiki Kaisha | Information processing apparatus, method for processing information, and program |
| US9904879B2 (en) | 2013-09-05 | 2018-02-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US9436706B2 (en) | 2013-09-05 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for laying out images |
| US9509870B2 (en) | 2013-09-05 | 2016-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium enabling layout varations |
| US11087121B2 (en) | 2018-04-05 | 2021-08-10 | West Virginia University | High accuracy and volume facial recognition on mobile platforms |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10232934A (ja) | 1998-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3469031B2 (ja) | 顔画像登録装置及びその方法 | |
| US7158657B2 (en) | Face image recording system | |
| US7120278B2 (en) | Person recognition apparatus | |
| US20190251571A1 (en) | Transaction verification system | |
| JP5010905B2 (ja) | 顔認証装置 | |
| JP4543423B2 (ja) | 対象物自動認識照合方法および装置 | |
| Raghuwanshi et al. | An automated classroom attendance system using video based face recognition | |
| JP2003317101A (ja) | データベース自動更新方法を用いた顔検証方法及びそのシステム | |
| US20100329568A1 (en) | Networked Face Recognition System | |
| JP2003141541A (ja) | 人物認識装置および通行制御装置 | |
| JP4521086B2 (ja) | 顔画像認識装置及び顔画像認識方法 | |
| Haji et al. | Real time face recognition system (RTFRS) | |
| Kumar et al. | Face recognition attendance system using local binary pattern algorithm | |
| KR20200060942A (ko) | 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법 | |
| Meenakshi | Real-Time Facial Recognition System—Design, Implementation and Validation | |
| KR20020022295A (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
| Olufade et al. | Biometric authentication with face recognition using principal component analysis and feature based technique | |
| KR20070118806A (ko) | 임베디드 시스템용 안면 검출방법 | |
| JP3841482B2 (ja) | 顔画像認識装置 | |
| JP2001331804A (ja) | 画像領域検出装置及び方法 | |
| Koodalsamy et al. | Face Recognition using Deep Learning | |
| Nagpal et al. | Biometric techniques and facial expression recognition-A review | |
| KR20070097629A (ko) | 얼굴 인식을 위한 임베디드 시스템 | |
| Candra et al. | Design and Development of Student Attention System using Face Recognition Based on MTCNN and FaceNet | |
| Akinnuwesi Boluwaji et al. | AUTOMATED STUDENTS'ATTEDANCE TAKING IN TERTIARY INSTITUTION USING HYBRIDIZED FACIAL RECOGNITION ALGORITHM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |