JP2002288670A - 顔画像を使用した個人認証装置 - Google Patents

Abstract

(57)【要約】 【課題】対象となるユーザの顔の向きを自動的に検出
し、その顔の向きに応じた顔認識を実行して個人認証を
行う個人認証装置を提供することを目的とする。 【解決手段】この発明の認証装置は、ユーザを撮影する
１つまたは複数のカメラと、前記ユーザの顔を照射する
よう設置された照明手段と、前記カメラの画像出力から
前記ユーザの顔の向きを検出する検出手段と、前記検出
された顔向きに応じて、前記画像出力の顔画像を正面と
正面以外の顔画像に選別する手段と、前記ユーザを正面
から撮影した照合用顔画像のデータベースと、前記選別
手段により選別された前記正面を向いた顔画像を前記照
合用顔画像のデータベースの顔画像と照合し、前記ユー
ザを識別する識別手段と、を備えるという構成をとる。
この発明によると、カメラにより撮影されたユーザの顔
画像から正面を向いた顔画像だけを選択して照合するこ
とが可能になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ヒューマン・イン
ターフェース一般に関連し、より具体的には、画像認識
を利用した個人認証システムに関する。

【０００２】

【従来の技術】個々の人間を識別する個人認証システム
は、セキュリティを必要とする様々な場面に利用するこ
とができる。そのような個人認証システムで用いられる
認識手法の１つに、人間の顔画像から個人を識別する顔
認識を利用する手法がある。

【０００３】人間の顔画像を利用する顔認識では、顔に
マーキングを付けたり、手動による特徴抽出を行ってか
ら顔認識を実行する手法などが提案されてきたが、近
年、完全に非接触な全自動の顔認識手法が提案されてい
る。そのような完全に非接触な全自動の顔認識手法の多
くは、テンプレート・マッチングなどによる特徴抽出の
後で顔画像を正規化し、その正規化画像を顔データベー
スと照合する。顔データベースとの照合に使用すること
ができるアルゴリズムには、正規化相互相関、固有空間
法、ニューラル・ネットワーク（ＮＮ）などがあり、そ
のようなアルゴリズムの結果に基づいて個人認証がなさ
れる。

【０００４】従来技術の顔認識手法は、あらかじめ記憶
された顔データ（顔画像、顔テンプレートなど）に基づ
いて照合を実行するので、その記憶された顔データとは
異なる顔の位置、向き、傾きなどの変化に非常に弱い欠
点がある。例えば、顔認識で使用される顔データベース
に記憶された顔データが正面を向いた顔のテンプレート
である場合、その顔テンプレートとは異なる状態の顔画
像（例えば斜めを向いた顔画像）を正確に認識すること
は困難である。そのため、従来技術の顔認識システム
は、異なる状態の顔画像に対処するために認識処理前に
顔画像の正規化処理を実行するのが一般的である。

【０００５】この正規化処理を実行した場合、入力画像
の顔が所定の顔データ形式（所定の顔のサイズ、顔の位
置、顔の傾き、および画像の明度）にされるので、顔の
認識率は向上するが、従来技術の顔認識は、基本的に入
力画像中の人間の顔向き自体を検出する機能を備えてい
ないので、横向きの顔画像の場合、認識率の低下は避け
られない。したがって、従来技術の顔認識を実行する場
合、対象となるユーザは、カメラに対して常に所定の方
向を向くよう意識しなければならず、ユーザの負担を増
加させていた。

【０００６】入力画像から人間の顔の向きを検出する従
来技術としては、特開平１１−６３９２７号公報、特開
２０００−１１３１８６号公報などがある。さらに松本
ほかによる「顔・視線計測システムの開発と動作認識へ
の応用」（第５回ロボティクス・シンポジア、２０００
／３／２６、２７）の論文では、入力画像から人間の顔
向きだけでなく視線方向も検出し、入力画像からリアル
タイムに顔向きと視線方向を追従するシステムが開示さ
れている。

【０００７】

【発明が解決しようとする課題】しかしながら、これら
の従来の手法は、いずれも人間の顔向きまたは視線方向
を検出するもので、個々の人間を識別する顔認識は実現
されていない。

【０００８】したがって、本発明は、対象となるユーザ
の顔の向きを自動的に検出し、その顔の向きに応じた顔
認識を実行して個人認証を行う個人認証装置を提供する
ことを目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、この発明の認証装置は、ユーザを撮影する１つまた
は複数のカメラと、前記ユーザの顔を照射するよう設置
された照明手段と、前記カメラの画像出力から前記ユー
ザの顔の向きを検出する検出手段と、前記検出された顔
向きに応じて、前記画像出力の顔画像を正面と正面以外
の顔画像に選別する手段と、前記ユーザを正面から撮影
した照合用顔画像のデータベースと、前記選別手段によ
り選別された前記正面を向いた顔画像を前記照合用顔画
像のデータベースの顔画像と照合し、前記ユーザを識別
する識別手段と、を備えるという構成をとる。

【００１０】この発明によると、カメラにより撮影され
たユーザの顔画像から正面を向いた顔画像だけを選択し
て照合することが可能になる。これにより従来技術の個
人認証装置と比較して高精度に個々の人間を識別するこ
とができる。

【００１１】この発明の１つの形態によると、前記認証
装置は、前記検出されたユーザの顔画像を、前記照合用
顔画像のデータベースに記憶されている顔画像と同じサ
イズおよび位置の顔画像に調整する正規化手段を備え、
前記識別手段は、該正規化された画像を該照合用顔画像
のデータベースの顔画像と照合し、該ユーザを識別する
よう構成される。

【００１２】この形態によると、顔画像を顔の位置およ
びサイズに応じて正規化することが可能であり、カメラ
により撮影された顔画像が、照合用顔画像のデータベー
スに記憶されている顔画像と同じサイズおよび位置にさ
れるので、個人認証装置の認識精度を高めることができ
る。

【００１３】この発明の１つの形態によると、前記認証
装置は、前記正規化手段により正規化された画像から予
め定めた画像領域を抽出する抽出手段と、該予め定めた
画像領域の基準データを格納する成否判断データベース
と、該抽出された画像領域を該基準データと照合し、該
正規化手段による正規化の成否を判定する成否判定手段
と、を備えるよう構成される。

【００１４】この形態によると、正規化手段によって正
規化画像が正しく正規化されているかどうかを確認する
ことができる。したがって、個人認証装置に含まれる識
別手段のエラーを低減することが可能になり、安定に動
作する個人認証装置を提供することができる。

【００１５】この発明の１つの形態によると、前記認証
装置は、前記ユーザを複数の顔向きのそれぞれから撮影
した顔向き別の照合用顔画像のデータベースを備え、前
記識別手段は、該ユーザの検出された顔向きに応じた前
記顔向き別の照合用顔画像と該ユーザの横向きの顔画像
とを照合し、該ユーザを識別するよう構成される。

【００１６】この形態によると、カメラにより撮影され
た顔画像の顔向きに応じて、個人認証することが可能に
なる。したがって、ユーザが顔向きを意識することなし
に個人認証を実行する個人認証装置を提供することが可
能になる。

【００１７】この発明の１つの形態によると、前記個人
認証装置の前記顔向き検出手段は、予め定めた１つまた
は複数の顔の特徴部分の基準画像および該基準画像に対
応する３次元座標を格納している特徴点データベースを
含み、該３次元座標が顔の特徴部分にそれぞれ関連付け
られ、該特徴部分の基準画像をテンプレートにして前記
カメラの画像出力から該特徴部分の基準画像に対応する
画像領域を抽出する抽出手段と、該抽出された画像領域
に基づいて、該抽出された画像領域の３次元座標を求め
る手段と、該求められた画像領域の３次元座標と該基準
画像に対応する３次元座標から前記ユーザの顔の向きを
検出する手段と、を含むよう構成される。

【００１８】この形態によると、顔向き検出手段は、３
次元的にユーザの顔向きを検出することが可能になり、
これにより、個人認証装置は、３次元的な顔向きに基づ
いてユーザの顔画像の正規化と識別を処理することがで
きる。

【００１９】この発明の１つの形態によると、前記個人
認証装置の前記照明手段は、前記ユーザの顔を赤外光で
照射するよう構成される。

【００２０】この形態によると、赤外光を照明として使
用することにより、可視光を使用して得られる画像と比
較して、ユーザの周囲の照明変動に対して影響の少ない
画像が得られ、さらにユーザの瞳孔を明瞭に抽出するこ
とが可能になる。

【００２１】この発明の１つの形態によると、前記認証
装置の前記識別手段は、前記画像出力からの顔画像に対
応する顔画像が前記照合用顔画像のデータベースに存在
するか否かを判断する手段を含み、前記画像出力からの
顔画像に対応する顔画像が前記照合用データベースに存
在することに応答して、前記ユーザを登録済みユーザと
判断し、前記画像出力からの顔画像に対応する顔画像が
前記照合用データベースに存在しないことに応答して、
前記ユーザを未登録ユーザと判断するよう構成される。

【００２２】この形態によると、ユーザがデータベース
に登録済みか未登録かが判断され、そのユーザの属性に
応じてそれぞれ異なる処理を実行することが可能にな
る。

【００２３】この発明の１つの形態によると、前記認証
装置は、前記登録済みユーザそれぞれに関連付けられた
複数の環境設定データを記憶する環境設定データベース
と、前記環境設定データに応じて自動車の環境を設定す
る環境設定手段と、を含み、前記ユーザが登録済みユー
ザと判断されたときに、自動車の運転を許可し、前記環
境設定データベースから前記登録済みユーザに関する環
境設定データを読み取り、該登録済みユーザに関する環
境設定データに応じて自動車の環境を設定するよう構成
される。

【００２４】この形態によると、ユーザが登録済みユー
ザである場合に、各ミラーの角度、シート・ポジション
などの環境設定を個々のユーザに応じて自動的に調整す
ることが可能になる。

【００２５】この発明の１つの形態によると、前記認証
装置は、ユーザの身分を証明する身分証明手段を認証す
る認証手段を含み、前記ユーザが未登録ユーザと判断さ
れたときに、前記身分証明手段の提示を前記ユーザに要
求し、前記認証手段で該身分証明手段が認証されること
に応答して該ユーザに自動車の使用許可を与え、前記ユ
ーザにより前記身分証明手段が提示されなかったことお
よび前記認証手段で該身分証明手段が認証されなかった
ことに応答して該ユーザによる自動車の使用を禁止する
よう構成される。

【００２６】この形態によると、鍵、カード鍵、パスワ
ードなどの身分証明手段によって未登録ユーザを管理す
ることが可能になる。本発明の個人認証装置は、これら
の身分証明手段がユーザによって正しく提示されなけれ
ば、自動車の使用を禁止することができる。

【００２７】

【発明の実施の形態】次に本発明の実施例を図面を参照
して説明する。図１は、本発明による個人認証装置を備
えた自動車の１つの実施形態を示す。図１の自動車は、
画像入力部１、サイドミラー２、ルームミラー３、制御
装置５、赤外線照射部６を備える。この実施形態では、
運転席にいるドライバーの顔画像が画像入力部１により
撮影され、その撮影された画像から運転席にいるドライ
バーが認識される。認識されたドライバーがその自動車
のデータベースに予め登録された人物であれば、制御装
置５は、その人物に応じた環境設定（ミラーの角度、ド
ライビング・シートのポジションなど）を参照して、ア
クチュエータにそれぞれ連結されたサイドミラー２、ル
ームミラー３などを調整する。

【００２８】図２は、本実施例における個人認証システ
ムを備えた自動車の機能ブロック図を示す。この機能ブ
ロック図には、画像入力部１、赤外線照射部６、顔向き
・視線検出部１１、顔特徴抽出部１３、個人識別部１
５、環境設定部１７、データベース１９、サイドミラー
・アクチュエータ２１、バックミラー・アクチュエータ
２３、シート・アクチュエータ２５が含まれる。

【００２９】個々のドライバーの情報は、データベース
１９に予め登録されている。登録されているドライバー
情報は、個々のドライバーの顔のデータ、個々のドライ
バーに対応する環境設定情報などである。顔のデータ
は、画像入力部１で撮影された入力画像との照合のため
に個人識別部１５によって使用される。環境設定情報に
は、個々のドライバー応じた各ミラーの角度、シート・
ポジションなどの設定値が含まれる。本発明による個人
認証システムによって運転席にいるドライバーが特定さ
れた場合、環境設定部１７は、その登録された設定値を
参照して、個々のドライバーのためにサイドミラー・ア
クチュエータ２１、バックミラー・アクチュエータ２
３、シート・アクチュエータ２５を制御する。

【００３０】この実施形態における自動車は、図２に示
す各機能ブロックを使用して２種類の動作モードを処理
する。第１の動作モードは、顔向き・視線検出部１１が
実行する顔向き・視線検出モードであり、このモード
は、ドライバーの存在を検出して顔向きと視線方向の状
態を連続的に検出する。第２の動作モードは、個人認証
モードであり、このモードは、顔向き・視線検出モード
で検出されたドライバーを特定して、そのドライバーに
合わせた環境設定を実行する。

【００３１】図１に示す自動車は、通常、顔向き・視線
検出モードで動作しており、ドライバーが運転席にいる
かどうかを監視し、ドライバーが運転席にいる場合、ド
ライバーの顔向きと視線方向を常に監視している。自動
車は、監視された顔向きと視線方向に基づいてドライバ
ーの状態を判断し、それに応じた処理を実行することが
できる。

【００３２】個人認証モードは、ドライバーが車内に乗
り込むのと同時に開始される。個人認証モードが起動さ
れた場合、自動車は、顔向き・視線検出モードで得られ
た顔向きに基づいて顔認識を実行し、運転席にいるドラ
イバーを特定する。ドライバーが特定された場合には、
そのドライバーに合わせた環境設定（ミラーの角度、シ
ート位置の調整）が実行される。顔認識でドライバーが
特定されなかった場合には、運転席にいる人間がデータ
ベース１９に未登録のドライバーである可能性が大きい
ので、未登録者に応じたシーケンスが処理される。

【００３３】どちらの動作モードも画像入力部１で撮影
された画像を使用する。以下に図を参照して、本実施例
で使用される画像入力部１と赤外照射部６を説明する。

【００３４】本実施例では、車内の照明変動による画像
の劣化を低減するために、赤外線照射部６を使用する。
したがって、赤外線照射部６は、近赤外光をドライバー
の顔に照射するようドライバーの前面に設置される。

【００３５】近赤外光を照明として使用する第１の理由
は、照明変動に対するロバスト性を向上させることにあ
る。一般に自動車などの車内の明るさは、屋内外、また
は日中や夜間などの環境変化によって大きく変動する。
また、一方向から強い可視光がドライバーの顔に当たる
場合には、ドライバーの顔面上に陰影のグラデーション
が発生する。このような照明の変動や陰影のグラデーシ
ョンは、画像認識の精度を著しく悪化させる。したがっ
て、本実施例では、ドライバーの正面から赤外線照射部
６により近赤外光を照射して、その近赤外光で画像を撮
影することによって、周囲からの可視光による顔面上の
陰影のグラデーションを低減する。これにより、本実施
例は、可視光を使用して得られる画像と比較して照明変
化による影響を受けにくい利点があり、顔認識の精度を
向上させることができる。

【００３６】近赤外光を使用する第２の理由は、ドライ
バーの瞳孔を明瞭に抽出することが可能な点にある。ド
ライバーの瞳の位置は、視線方向を検出するために使用
されので、瞳を明瞭に撮像することは重要である。ま
た、ドライバー識別の際の正規化処理において、瞳は基
準座標として用いることができるので、瞳を明瞭に撮像
することは、正規化精度の向上、すなわち認識精度の向
上につながる。

【００３７】図３は、画像入力部１の実施例を示す。こ
の実施例では、撮影対象を立体視するために、従来技術
のステレオ法を利用する。したがって、画像入力部１
は、ドライバーの前方に設置された２台のビデオカメラ
（４１、４２）を備える。２台のビデオカメラは、ステ
レオ視でドライバーの顔を撮影することができるよう所
定の位置に固定される。前述したように照明として近赤
外光を使用するので、これらのビデオカメラは、近赤外
光以外の波長の可視光を遮断する可視光遮断フィルタ４
３などで波長帯域をそれぞれ制限される。各ビデオカメ
ラは、カメラ・コントロール・ユニット（４５、４６）
を介してそれぞれ制御される。各カメラ・コントロール
・ユニットは、外部同期信号線を通じて接続され、この
同期信号によって左右のビデオカメラの同期がとられ
る。本発明の個人認証システムは、この様にして撮影さ
れた画像を入力画像として使用することによって、２次
元的な物体認識だけでなく、３次元的な物体認識を処理
することができる。

【００３８】図３に示すように、画像入力部１で撮影さ
れた画像は、従来の画像処理ボード４７を介して様々に
処理されてもよい。例えば、図３の画像処理ボード４７
は、ＮＴＳＣ方式のビデオ信号の入力ポートとして機能
するだけでなく、画像を蓄積するメモリおよび複雑な画
像処理を実行するハードウェア回路を備え、一般的な画
像処理アルゴリズムを高速に実行することができる。例
えばハードウェア回路による画像処理アルゴリズムに
は、斜方投影機構、ハフ変換、２値画像マッチングフィ
ルタ、アフィン変換（画像の回転、拡大、縮小）などの
処理が含まれる。この様な画像処理ボード４７の使用
は、画像処理ボード４７が画像処理の一部を担うことに
よってＥＣＵの演算を緩和し、高速な画像処理を可能に
する。本発明の個人認証システムは、ＥＣＵにより画像
処理ボード４７を制御して画像入力部１により撮影され
た画像の処理を行い、図２に示す各機能ブロックの機能
を実現する。

【００３９】以下に各動作モードの処理を詳細に説明す
る。

【００４０】図２に示すように顔向き・視線検出部１１
は、初期探索部２７、顔向き検出部２９、視線検出部３
１を含み、顔向き・視線検出モードを実行する。この顔
向き・視線検出部１１は、図４と図５は、顔向き・視線
検出部１１が処理する顔向き・視線検出モードの全体的
なフロー図を示す。顔向き・視線検出モードでは、初期
探索部２７、顔向き検出部２９、視線検出部３１がそれ
ぞれ関連して動作し、連続的に撮影される左右の入力画
像から顔向きと視線方向をリアルタイムで検出すること
ができる。

【００４１】図４は、初期探索部２７の処理のフロー図
を示す。顔向き検出部２９の処理は、図５のステップ１
１１からステップ１１７で示され、視線検出部３１の処
理は、図５のステップ１２１からステップ１２５で示さ
れる。顔向き・視線検出モードにおける顔向きと視線方
向のリアルタイム検出は、図５に示すステップ１１１か
らステップ１２５のループ処理により実現される。図４
に示す初期探索部２７は、顔向き・視線検出モードの開
始直後の最初の初期化とリアルタイムでの顔向き・視線
方向検出のエラー回復のために使用される。

【００４２】図４を参照して初期探索部２７の処理を説
明する。初期探索部２７は、入力された画像から人間の
顔が撮影されている画像領域をおおまかに探索する。こ
こでの処理は、顔向き検出部２９のための前処理ともい
える。初期探索部２７が、顔向き検出部２９の処理の前
に、入力画像から顔が撮影されている領域をおおまかに
探索することにより、顔向き検出部２９は、入力画像中
の顔の詳細な解析を高速に実行することができる。

【００４３】最初に、ステップ１０１で画像入力部１か
ら左右のビデオカメラの画像が入力される。次にステッ
プ１０３で、入力画像全体から人間の顔が撮影されてい
る領域がおおまかに探索される。これは、予め記憶され
た初期探索用テンプレート５１を使用して２次元テンプ
レート・マッチングで実行される。

【００４４】初期探索用テンプレート５１の例を図６に
示す。初期探索用テンプレート５９に使用される画像
は、正面を向いた人間の顔を部分的に切り取った画像で
あり、この部分的画像には目、鼻、口などの人間の顔の
特徴的な領域が１つのテンプレートとして含まれてい
る。この初期探索用テンプレート５１は、テンプレート
・マッチングでの処理速度を高めるために、予め低解像
度化されており、さらに照明変動の影響を低減するため
に微分画像にされている。このテンプレートは、複数の
サンプルから作成され予め記憶されている。

【００４５】ステップ１０３での探索は、２次元的なテ
ンプレート・マッチングであるので、右ビデオカメラの
画像かまたは左ビデオカメラの画像のどちらかが使用さ
れる。以下では、右ビデオカメラの画像を使用したテン
プレート・マッチングの例を述べる。

【００４６】右ビデオカメラの画像を使用したテンプレ
ート・マッチングの場合、右画像に対して初期探索用テ
ンプレート５１を使用したテンプレート・マッチングが
実行され、ここでマッチした右画像内の領域が入力画像
中の顔の候補となる。この顔候補をテンプレートとし
て、同様のテンプレート・マッチングが左画像に対して
実行され、そのステレオ・マッチングの結果から顔候補
の３次元的な位置が求められる（ステップ１０５）。

【００４７】ステップ１０７において、これらの処理結
果が評価され、入力画像から顔領域が検出されたかどう
か判断がなされる。入力画像から顔領域が見つかったと
判断された場合、顔向き検出部２９の処理に移る（ステ
ップ１０９）。初期探索部２７で顔領域が見つからなか
った場合、新しい入力画像を使用して一連の処理が繰り
返される。初期探索部２７は、人間の顔が画像入力部１
によって撮影されるまで、この一連の処理を繰り返す。

【００４８】次に図５を参照して顔向き検出部２９と視
線検出部３１の処理を説明する。先に述べたように、顔
向き・視線検出モードは、ドライバーの顔向き、視線方
向をリアルタイムで検出するために、図５に示すステッ
プ１１１からステップ１２５のループを繰り返す。顔向
き検出部２９は、予め定めた特徴点を入力画像から抽出
し、それらの特徴点から顔の３次元位置と顔の向きを求
めることができる。視線検出部３１は、顔向き検出部２
９で得られた特徴点と顔向きに基づき、入力画像から顔
の視線方向を検出する。

【００４９】顔向き検出部２９は、ステップ１１１で、
入力画像からテンプレート・マッチングにより顔の特徴
点を探索する。この探索に使用されるテンプレートは、
データベースに予め記憶された３次元顔特徴点モデル５
３からの画像を使用する。図７に３次元顔特徴点モデル
５３の例を示す。

【００５０】本実施例における３次元顔特徴点モデル５
３は、正面を向いた人間の顔の特徴的な部分を画像から
局所的に切り取った部分的画像（８１〜９１）から生成
される。例えば顔特徴点の画像は、図７に示すように、
左の目尻８１、左の目頭８３、右の目尻８７、右の目頭
８５、口の左端８９、口の右端９１などのように、予め
用意された顔画像から局所的に切り取られて生成され
る。これらの部分的画像のそれぞれは、その画像内で撮
影されている対象物（この例では、左右の目尻と目頭、
口の両端）の３次元位置を表す３次元座標に関連付けら
れ、データベースに記憶されている。本明細書では、こ
れらの３次元座標を有した顔特徴領域の部分的画像を顔
特徴点と呼び、これらの複数の顔特徴点から生成される
顔モデルを３次元顔特徴点モデル５３と呼ぶ。これらの
３次元顔特徴点モデル５３は、複数のサンプルから生成
されデータベースに予め記憶されている。

【００５１】ステップ１１１で、顔向き検出部２９は、
３次元顔特徴点モデル５３に対応する画像領域を入力画
像から探索する。これは、３次元顔特徴点モデル５３の
各特徴点の画像をテンプレートとし、入力画像に対して
２次元マッチングを行うことにより実行される。このマ
ッチングは、右ビデオカメラの画像と左ビデオカメラの
画像のどちらを使用しても構わないが、本実施例では、
右ビデオカメラの画像を使用する。ステップ１１１の探
索の結果、入力画像で撮影されている顔の左右の目頭と
目尻、口の両端の６個の画像が得られる。

【００５２】ステップ１１３では、ステップ１１１の探
索から得られた各特徴点の画像をテンプレートとして、
入力画像の左画像に対してステレオ・マッチングが実行
される。これにより、３次元顔特徴点モデル５３の各特
徴点に対応する入力画像の各特徴点の３次元座標が求め
られる。

【００５３】この実施例の場合、探索された入力画像中
の顔の左右の目尻と目頭、口の両端の画像をテンプレー
トにして、ステレオ・マッチングが実行される。このス
テレオ・マッチングの結果、ドライバーの顔の左右の目
尻と目頭、口の両端の３次元座標がそれぞれ得られる。
したがって、これらの入力画像の特徴点の３次元座標か
ら運転席にいるドライバーの顔の３次元位置を求めるこ
とができる。

【００５４】入力画像の各特徴点に関する３次元座標が
求められた後で、ステップ１１５で予め定めた判断基準
に基づいて特徴点の抽出が成功したかどうかがチェック
される。このステップ１１５で、もし入力画像から各特
徴点が見つからなかったと判断された場合には、初期探
索部２７に戻り、新たな入力画像から顔が撮影されてい
る領域を探索する。

【００５５】ステップ１１５で入力画像から各特徴点が
見つかったと判断された場合、ステップ１１７で３次元
顔特徴点モデル５３を使用して３次元モデル・フィッテ
ィングが実行され、顔の向きが検出される。以下ではこ
の３次元モデル・フィッティングを説明する。

【００５６】先に述べたように、予め記憶されている３
次元顔特徴点モデル５３は、正面を向いた顔の特徴点か
ら生成されている。それに対して入力画像で撮影されて
いる顔は、必ずしも正面を向いているとは限らない。し
たがって、ステップ１１３で得られた入力画像の各特徴
点（観測点）の３次元座標は、正面を向いた３次元顔特
徴点モデル５３の各特徴点の３次元座標から任意の角度
と変位だけずれを有している。したがって、正面を向い
た３次元顔特徴点モデル５３を任意に回転、変位させた
ときに、入力画像の各特徴点と一致する角度と変位が入
力画像中の顔の向きと位置に相当する。

【００５７】入力画像の各特徴点に３次元顔特徴点モデ
ル５３をフィッティングする場合、フィッティング誤差
Ｅは、下記の式で表される。

【数１】 ここで、Ｎが特徴点の数であり、ｘ_ｉがモデル内の各特
徴点の３次元座標であり、ｙ_ｉが入力画像からの各特徴
点の３次元座標を表す。ω_ｉは、各特徴点に関する重み
付け係数であり、入力画像から特徴点の３次元位置を求
めたときのステレオ・マッチングにおける相関値を利用
する。この相関値を利用することによって、それぞれの
特徴点の信頼度を考慮することができる。回転行列は、
Ｒ（φ，θ，ψ）であり、位置ベクトルは、ｔ（ｘ，
ｙ，ｚ）で表され、これらが、この式における変数とな
る。

【００５８】したがって、上記の式におけるフィッティ
ング誤差Ｅを最小にする回転行列Ｒと位置ベクトルｔを
求めれば、入力画像の顔向きと顔位置が求められる。こ
の演算は、最小二乗法または仮想バネモデルを使用した
フィッティング手法などを利用することによって実行さ
れる。

【００５９】図７に示すステップ１２１から１２５で、
視線検出部３１は、顔向き検出部２９で得られた特徴点
と顔向きに基づき、入力画像から顔の視線方向を検出す
る。この際、眼球は、３次元的な球でモデル化され、そ
の球の中心位置が回転中心とされる。この３次元眼モデ
ルは、顔モデルに対する眼球の３次元的な相対位置、眼
球の半径、虹彩の半径をパラメータとする。図８に視線
方向を求める方法の概略を示す。

【００６０】ステップ１２１で、眼球の３次元的な中心
位置６１が、顔向き検出部２９の検出結果に基づいて求
められる。眼の中心位置６１を求めるためのオフセット
・ベクトルは、左右の目の両端の特徴点（５５、５７）
を結ぶ直線の中点から眼の中心位置６１に向かう３次元
ベクトルとして予め定められている（図８の（１））。
したがって、そのオフセット・ベクトル、眼球の半径、
顔の位置、顔の向きを使用して眼球の中心位置６１を求
めることができる（図８の（２））。

【００６１】眼球上の瞳の中心位置５９は、既に目の両
端の位置（５５、５７）が入力画像の特徴点として求め
られているので、その両端の領域でハフ変換を実行する
ことにより容易に得られる（ステップ１２３）。視線方
向は、眼球の中心位置６１と瞳の中心位置５９とを結ぶ
３次元ベクトル（視線ベクトル）として求められる（ス
テップ１２５）。

【００６２】本実施例では、入力画像として左右の画像
を使用したので、右画像、左画像それぞれに対して視線
ベクトルを求めることができる。さらに、両眼に関して
視線ベクトルを求めることができるので、合計４つの視
線ベクトルが求められる。本実施例では、この４つの視
線ベクトルの平均ベクトルを入力画像の視線方向として
使用する。

【００６３】ステップ１２５で、入力画像中の顔の視線
方向が検出された後で、ステップ１１１に戻り、新たな
入力画像を使用して一連の処理が繰り返される。この繰
り返しの結果、ドライバーの顔向き、顔位置、視線方向
の連続的な追従をリアルタイムで実行することが可能に
なる。

【００６４】次に個人認証モードに関して説明する。個
人認証モードは、顔向き・視線検出モードで検出された
ドライバーの顔を、データベースに登録された顔データ
と照合してドライバーを特定する。ドライバーが特定さ
れた場合、個人認証モードは、そのドライバーに応じた
環境設定（ミラーの角度、シート位置など）を実行す
る。図２の機能ブロック図に示すように、個人認証モー
ドは、入力画像の特徴を抽出する顔特徴抽出部１３と、
顔特徴抽出部１３の処理結果に基づいてドライバーを比
較照合する個人識別部１５と、個人識別部１５の結果に
応じて環境設定を処理する環境設定部１７を使用して実
行される。顔向き・視線検出モードの場合、左右両方の
画像を使用して処理を実行したが、個人認証モードの場
合、左右の画像のどちらか１つを使用して処理が実行さ
れる。

【００６５】顔特徴抽出部１３は、正面顔特徴抽出部３
３、横顔特徴抽出部３５を含み、入力画像におけるドラ
イバー１０の顔の向きに応じた処理を実行する。画像入
力部１からの入力画像に撮影されているドライバー１０
の顔向きが顔向き・視線検出部１１により既に検出され
ているので、顔特徴抽出部１３は、入力画像中の顔の向
きに応じた処理を実行することができる。以下に顔特徴
抽出部１３の処理の概要を説明する。

【００６６】顔特徴抽出部１３の処理の１つは、顔向き
・視線検出部１１から入力された画像の正規化処理であ
る。この正規化処理は、顔認識の精度を向上させるため
に入力画像中の顔を所定の顔データ形式（所定の顔のサ
イズ、顔の位置、顔の傾き、および画像の明度）に変換
する。ここで、「顔の傾き」とは、顔画像の回転のこと
である。より具体的に説明すると、顔特徴抽出部１３で
入力される画像中の顔は、任意の顔向きをして傾いてい
る。例えば、図９ａに示すように、入力画像中の顔は、
正面を向いているが画像中で傾いていたり、図９ｃに示
すように横向きで傾いていたりする。正規化処理は、画
像平面上で入力画像を回転することによって画像中の
「顔の傾き」を補正する。例えば、図９ａの場合では、
画像中の顔の傾きは、ｘ軸とｙ軸との交点を回転中心と
し、その画像を角度αだけ回転することによって補正す
ることができる（図９ｂ）。図９ｃの場合でも同様にし
て、画像中の顔の傾きは、ｘ軸とｙ軸との交点を回転中
心とし、画像を角度αだけ回転することにより補正する
ことができる。本明細書では、画像平面上の回転により
補正される顔の角度を「顔の傾き」として参照する。し
たがって、本明細書では、図９ｃのように顔が上を向い
ている場合でも「横向き」として参照され、また顔が下
を向いているような場合も同様に「横向き」として参照
される。

【００６７】顔特徴抽出部１３のもう１つの処理は、顔
画像中の顔向きの選別処理である。この選別処理では、
入力画像は、顔の向きに応じて「正面向き」と「横向
き」に選別される。この処理は、顔向き・視線検出部１
１によって検出された顔向きに基づいて選別される。本
明細書では、正面とは、顔向き・視線検出モードで得ら
れた顔向きがあらかじめ定めた範囲内にある場合を言
う。そのような範囲は、正面顔認識で使用される顔認識
手法の認識可能範囲に応じて定められる。したがって、
あらかじめ定めた範囲以外の顔向きは、横向きであると
判断される。

【００６８】さらに、顔特徴抽出部１３は、個人識別部
１５のために入力画像の特徴抽出処理を実行する。ここ
で実行される特徴抽出処理は、正面顔認識または横顔認
識で使用される顔認識手法に応じて様々である。例え
ば、顔認識手法に固有空間法を使用する場合では、この
特徴抽出処理によって正規化済みの入力画像がベクトル
化され、そのベクトルから入力画像の特徴を表す重みベ
クトルが算出される。ここで得られた重みベクトル（特
徴成分）が個人識別部１５に送られ、データベース１９
に記憶された顔データと比較照合され、個々のドライバ
ーが特定される。

【００６９】図１０は、個人認証モードの全体的なフロ
ーを示す。例えばドライバーが車内に乗り込むことによ
り個人認証モードが開始されると、ステップ３０１で、
顔向き・視線検出モードでの検出結果が特徴抽出部１３
に入力される。ここで特徴抽出部１３に入力されるデー
タは、画像入力部１によって撮影された画像と、その画
像中のドライバーの顔向き、顔位置、視線方向のデータ
などである。先に述べたように、入力画像は左右どちら
の画像を使用してもよい。

【００７０】ステップ３０３で、特徴抽出部１３は、顔
向きに応じた分岐処理を実行する。本発明における個人
認証システムは、それぞれの顔向きで異なる顔認識の手
法を使用することができるので、高精度に顔認識を実行
することができる。

【００７１】例えば、個人認証システムは、正面を向い
た顔の場合には固有空間法を使用し、横を向いた顔の場
合には３次元モデルのマッチングで顔認識をそれぞれ実
行することができる。したがって、本発明によれば入力
画像の顔向きに応じて最適な顔認識手法を選択すること
ができる。

【００７２】個人認証システムで使用することができる
顔認識手法は、固有空間法、テンプレート・マッチン
グ、Gabor Waveletによる手法、ＮＮなどである。本発
明による個人認証システムは、ステップ３０１で顔向
き、視線方向、顔特徴点などの情報を既に得ている。し
たがって、これらの基本情報と正規化処理とをうまく組
み合わせて顔認識を実行すれば、いずれの顔認識手法を
使用しても、精度良く個々のドライバーを識別すること
が可能である。

【００７３】ステップ３０３における顔向きの判断で
は、正面とは、顔向き・視線検出モードで得られた顔向
きがあらかじめ定めた範囲内にある場合を言う。そのよ
うな範囲は、正面顔認識で使用される顔認識手法の認識
可能範囲に応じて定められる。したがって、あらかじめ
定めた範囲以外の顔向きは、横向きであると判断され
る。

【００７４】ステップ３０３で入力画像の顔向きが正面
を向いていると判断された場合、正面顔特徴抽出部３３
は、正面に対する正規化処理と特徴抽出処理を実行す
る。入力画像の顔向きが横向きであると判断された場
合、横顔特徴抽出部３３が、その顔向きに応じた正規化
処理と特徴抽出処理を実行する。ステップ３０３での判
断に応じて、正規化処理、特徴抽出処理、比較照合の処
理が分岐されるので、最初に正面に対する正規化処理、
特徴抽出処理、比較照合に関して説明し、その後で横向
きに対する正規化処理、特徴抽出処理、比較照合を説明
する。

【００７５】ステップ３０５で、正面顔特徴抽出部３３
は、入力画像を所定の顔の形式（顔のサイズ、顔の位
置、顔の傾き）に変換する。すなわち、予めデータベー
スに記憶された顔画像のサイズ、位置、傾きと同じにな
るよう、入力画像の顔のサイズ、位置、傾きを正規化す
る。さらに画像全体の明度も予め定めた値に整えられ
る。

【００７６】本実施例では、個人識別部１５の顔認識手
法は、固有空間法を使用する。ステップ３０５の正規化
処理も画像平面上での１次変換として実行される。顔向
き・視線検出モードにより求めた特徴点を使用すれば、
入力画像における顔のサイズ、位置、傾きなどが容易に
求められるので、この処理は、従来技術と比較して高精
度に正規化を行うことができる。

【００７７】この正面に対する正規化処理の１つの実施
形態では、左右の瞳の中心を結ぶ直線の中点を基準に、
左右の瞳が水平かつ距離が一定値となるようアフィン変
換が実行される。本発明による個人認証システムでは近
赤外画像が使用されるので、瞳を明瞭に抽出することが
可能であり、正規化を高精度に実行することができる。

【００７８】ステップ３０７で入力画像の正規化が正確
に実行されたかどうかがチェックされる。これは、正規
化画像からあらかじめ定めた領域を切り出し、予めデー
タベースに記憶されている成否判断用のテンプレートと
照合することによって実行される。

【００７９】例えば、この成否判断を右眼のテンプレー
トを使用して実行する場合を説明する。この場合、成否
判断用テンプレートは、所定の顔認識の形式（顔のサイ
ズ、顔の位置、顔の傾き）の画像から右眼を中心とし
て、一定の大きさで切り出され生成される。この成否判
断用テンプレートは、十分な人数分のサンプルから作成
され、典型的な眼のテンプレートとして使用される。作
成された成否判断用テンプレートは、成否判断用のデー
タベースに予め記憶されている。

【００８０】ステップ３０５で入力画像が正確に正規化
された場合、正規化画像中の眼は、常に所定の位置に所
定の大きさで存在するはずである。したがって、成否判
断用テンプレートに対応する領域を正規化画像から切り
出して成否判断用テンプレートと照合すれば、正規化の
成否を判断することができる。もし正規化が成功してい
れば、切り出した画像と成否判断用テンプレートとの相
関値は高い値であり、正規化が失敗していれば、相関値
は低い値を示す。したがって、予め判断基準となる相関
値のしきい値を定めておくことにより、正規化の成否を
判断することができる。ここでは、正規化の成否判断を
簡単に説明するために右目だけで説明したが、複数の特
徴的な領域を成否判断用テンプレートにし、これら複数
の成否判断用テンプレートを使用することによって、よ
り正確な正規化の成否判断を実行することができる。

【００８１】ステップ３０７で正面に対する顔向きの正
規化が成功したと判断された場合、ステップ３０８で正
面顔特徴抽出部３３は、個人識別部１５の比較照合のた
めの特徴抽出処理を実行する。ステップ３０７で正面に
対する顔向きの正規化が失敗したと判断された場合に
は、ステップ３０１に戻り、新たな入力画像を使用して
一連の処理が再び繰り返される。

【００８２】先に述べたように、この実施例における正
面に対する顔認識が固有空間法を使用するので、ステッ
プ３０８の特徴抽出処理とステップ３０９の比較照合の
処理も固有空間法に応じた態様で実施される。以下に固
有空間法を使用するステップ３０８と３０９の処理の概
要を説明する。

【００８３】認識対象とされる個々のドライバーの正面
向きの顔画像は、データベースに予め記憶されている。
固有空間法では、そのデータベースに登録された顔画像
から固有ベクトルが生成される。個々のドライバーの顔
を固有空間上で表す顔クラスは、データベース１９に記
憶された個々のドライバーの顔を固有空間に射影するこ
とにより生成される。固有空間法を使用した正面顔認識
では、この顔クラスと正規化された画像の特徴が比較照
合され、この結果から個々のドライバーが特定される。

【００８４】したがって、ステップ３０８で、正面顔特
徴抽出部３３は、正規化画像を固有顔空間に射影し、正
規化画像の特徴を重みベクトルとして抽出する。より具
体的に説明すると、最初に、正規化された入力画像が画
像ベクトル化される。例えば、正規化された入力画像が
ｎ×ｎピクセルからなる画像であれば、その画像から個
々のピクセル値を成分とするｎ^２次元ベクトル（１行、
Ｎ^２列）が生成される。次に、この画像ベクトルが固有
顔空間に射影され、重みベクトルが生成される。例えば
Ｍ個の固有ベクトルがデータベース１９に記憶されてい
る場合、画像ベクトルがＭ次元の固有空間に射影され、
Ｍ個のベクトル成分を有する重みベクトルが生成され
る。Ｍが画像ベクトルの次元数Ｎ^２に対して十分小さけ
れば、重みベクトルは、元の画像に撮影されている顔の
特徴を有しながら元の画像ベクトルより小さな次元のベ
クトルになる。この様にして生成された重みベクトル
は、個人識別部１５に送られる。

【００８５】ステップ３０９で、個人識別部１５は、正
規化画像から得られた重みベクトルを個々のドライバー
の顔クラスと比較照合する。この比較照合の１実施形態
では、各ドライバーの顔クラスと重みベクトルとの固有
顔空間上での距離がそれぞれ求められ、この求められた
距離の大小に基づいて画像中のドライバーが判断され
る。

【００８６】次に、ステップ３１７で、個人識別部１５
は、正規化画像に対応する顔クラスが比較照合（ステッ
プ３０９）により見つかったかどうかを判断する。正規
化画像中の顔がデータベース１９に登録されている人物
の顔であれば、ステップ３０９の比較照合によってその
人物に対応する顔クラスが見つかる。しかしながら、正
規化画像中の顔がデータベース１９に登録されていない
人物の顔の場合、その人物に対応する顔クラスが見つか
らない。したがって、もし、比較照合で対応する顔クラ
スが見つからなければ、ステップ３２１に進み、未登録
者用シーケンスを実行する。比較照合で対応する顔クラ
スが見つかった場合には、運転席にいるドライバーが決
定され、ステップ３１９の登録者用シーケンスが処理さ
れる。登録者用シーケンスと未登録者用シーケンスは、
後で詳細に説明する。

【００８７】この様な固有空間法による顔認識は、射影
時の変換パラメータ（重み成分）の数に応じて演算量を
低減することができるので、入力画像の画素数分の演算
を必要とする正規化相関の手法と比較して、高速な処理
を実現することができる。

【００８８】次に横向きに対する正規化処理と顔認識を
説明する。図１０に示すように、横向きに対する正規化
処理と顔認識の処理のフローは、基本的には正面に対す
る処理（ステップ３０５から３０９）と同様のフローで
ある。しかしながら、ステップ３０３で顔向きに応じて
分岐処理が実行されるので、横向きの顔に対して実行さ
れる正規化処理と顔認識自体は、正面顔に対する処理と
は異なる手法を用いることもできる。

【００８９】横向きに対する顔認識の実施形態には、大
きく分けて２種類の実施形態を使用することができ、そ
れに応じて正規化処理も異なる。第１の実施形態は、個
々のドライバーの顔向き別画像からデータベースを予め
作成しておき、検出された顔向きに応じてそれらの顔向
き別データベースを使用し、顔認識を実行する実施形態
である。この場合、正規化処理は、入力画像から検出さ
れた顔向きに応じて実行される。

【００９０】例えば、図９ｄに示すように、正規化処理
における顔の位置決めの基準点（すなわち図中のｘ軸と
ｙ軸の交点）は、顔向きに応じて様々である。したがっ
て、横向きの入力画像を正規化する場合、画像中の顔向
きに応じて、顔の位置決めの基準点を変えなければなら
ない。このため、横顔特徴抽出部３５は、顔向き・視線
検出部１１で検出された顔向きに応じて正規化処理を実
行する。この場合、正規化の成否判断も、顔向きに応じ
て異なるテンプレートを使用して実行される。これらの
正規化処理および正規化の成否判断は、顔向き別に処理
されることを除いて、正面に対する顔画像と同様の処理
で実行される。横向きに対する比較照合では、顔向き別
に撮影された顔画像の顔向き別データベースに基づい
て、比較照合が実行される。

【００９１】横向きに対する顔認識のもう１つの実施形
態では、入力画像から３次元顔モデルが生成され、その
３次元顔モデルを使用して正規化処理が実行される。こ
の場合、入力画像から予め定めた特徴点が抽出され、そ
の特徴点から入力画像の３次元顔モデルが生成される。
ここで生成された３次元顔モデルは、入力画像が撮影さ
れたときの顔向きで生成された顔モデルである。したが
って、顔向き・視線検出部１１により得られた顔向きに
応じてこの顔モデルを回転すれば、正面を向いた入力画
像の顔モデルが得られる。この実施形態では、入力画像
からの３次元顔モデルの生成とそのモデルの回転処理
が、ステップ３１１の正規化処理に相当する。回転後の
正規化画像は、正面を向いた顔画像と同様に処理するこ
とができるので、正規化処理の成否判断は、正面を向い
た顔の正規化処理の成否判断と同様に処理される。この
実施形態における顔認識は、従来技術の正面を向いた顔
認識手法（例えば固有空間法）を利用して実現すること
ができる。

【００９２】横向きに対する比較照合が実行された後の
ステップ３１７で、個人識別部１５は、対応する顔クラ
スが比較照合により見つかったかどうかを判断する。ス
テップ３１９またはステップ３２１は、ステップ３１７
の判断に応じて処理される。

【００９３】次に、ステップ３１９の登録者用シーケン
スの実施例を説明する。図１１は、登録者用シーケンス
の処理のフロー図を示す。先に述べたようにステップ３
１７において運転席にいるドライバーが決定された場
合、個人識別部１５は、ステップ３２３で、運転席にい
るドライバーに自動車の運転許可を与える。この許可に
より自動車がドライバーにより操作可能になる。ステッ
プ３２５で、個人識別部１５は、決定されたドライバー
に対応する環境設定データをデータベース１９から読み
取り、そのデータを環境設定部１７に送る。ステップ３
２７で、環境設定部１７は、その環境設定データに応じ
て、各アクチュエータを制御してミラーの角度、シート
位置を設定する。

【００９４】図１２は、未登録者用シーケンスの実施例
の処理のフロー図を示す。先に述べたようにステップ３
１７において運転席のドライバーの顔がデータベースに
記憶されていない未登録者の顔であれば、個人識別部１
５は、ドライバーに対して管理者による自動車の使用許
可を要求する。ここで管理者とは、例えば、その自動車
の所有者、その自動車の管理責任者など、その自動車の
使用に対して責任を有する人間である。管理者は、自動
車に対して身分を証明する任意の手段を有する。例え
ば、そのような身分証明手段は、鍵、カード鍵、パスワ
ードなどのセキュリティを確保することが可能な手段で
ある。未登録のドライバーが本発明による自動車を運転
しようとする場合、自動車により管理者の使用許可証明
が要求される。その場合、未登録のドライバーまたは管
理者は、身分証明手段により使用許可を自動車に証明し
なければならない。身分証明手段が自動車に提示されな
ければ、個人識別部１５は、ステップ３３５で未登録ド
ライバーが管理者によって自動車の使用を許可されてい
ないと判断し、ドライバーによる自動車の操作を禁止す
る。身分証明手段が自動車に提示された場合、個人識別
部１５は、未登録のドライバーが新規に登録を希望する
ドライバーであるかどうかを判断する。したがって、運
転席にいる人間が新規に登録を希望するドライバーであ
る場合、ステップ３４１で任意の手段を介してドライバ
ーの新規登録を実行する。運転席にいる人間が新規登録
を希望していなければ、単に一時的に管理者から自動車
の使用許可を受けたドライバーであるので、ステップ３
３９で一時的なドライバーとしての制約つきで自動車の
操作を許可する。

【００９５】上記の実施例では、本発明による個人認証
装置を備えた自動車の例を説明してきたが、本発明は、
自動車での個人認証に限定されるものではなく、他の分
野にも応用することが可能である。

【００９６】図１３は、本発明の個人認証装置のコンピ
ュータへの応用例である。図１３では、画像入力部１が
画像処理ボード４７を介しコンピュータ４０１に接続さ
れて個人認証装置を構成している。コンピュータ４０１
は、モニタ４０２、キーボード４０３、マウス４０４な
どのユーザインターフェースを接続した汎用コンピュー
タである。例えばコンピュータは、「Ｌｉｎｕｘ」とし
て知られるＯＳを使用して動作する。この例では、ある
ユーザがこのコンピュータ４０１を使用する場合、コン
ピュータ４０１に接続された画像入力部１が自動的にそ
のユーザの顔画像を撮影し、それらの画像から個人認証
を実行する。個人認証が成功した場合にだけ、このコン
ピュータ４０１の使用が許可され、そのユーザがコンピ
ュータ４０１を使用することが可能になる。このような
個人認証は、先に述べた顔向き・視線検出部１１、特徴
抽出部１３、個人識別部１５などの機能ブロックをコン
ピュータ４０１で実行することによって実現することが
可能である。

【００９７】この様に本発明は、上記の実施例だけに限
定されるものではなく、多くの分野に応用することが可
能である。

【００９８】

【発明の効果】この発明によると、個人認証装置がユー
ザの顔向きを検出する機能を含むので、その顔向きに応
じた顔認識を実行することができ、従来技術の顔認識と
比較して個人認証の精度を改善することが可能である。

【図面の簡単な説明】

【図１】 本発明による個人認証装置を備えた自動車の
１つの実施形態。

【図２】 本実施例における個人認証システムを備えた
自動車の機能ブロック図。

【図３】 画像入力部の実施例を示す図。

【図４】 初期探索部の処理のフロー図。

【図５】 顔向き検出部と視線検出部の処理のフロー
図。

【図６】 初期探索用テンプレートの例を示す図。

【図７】 ３次元顔特徴点モデルの例を示す図。

【図８】 視線方向を求める方法の概略図。

【図９】 正規化により顔の傾きを補正する例を示す
図。

【図１０】 個人認証モードの全体的なフロー図。

【図１１】 登録者用シーケンスの処理のフロー図。

【図１２】 未登録者用シーケンスの処理のフロー図。

【図１３】 本実施例における個人認証システムを備え
るコンピュータを示す図。

【符号の説明】

１ 画像入力部 ６ 赤外線照射部 １０ ユーザ １１ 顔向き・視線検出部 １３ 特徴抽出部 １５ 個人識別部 １７ 環境設定部 １９ データベース

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B043 AA09 BA04 DA05 EA04 EA08 EA12 EA13 EA15 FA07 GA04 GA13 5B057 AA16 BA02 CA08 CA13 CA16 CD03 CD05 CE12 DA07 DA08 DA20 DB03 DC05 DC08 DC13 DC33 5L096 AA06 AA09 BA04 BA18 CA05 DA02 EA03 EA16 EA43 FA24 FA25 FA67 FA69 HA08 JA09 JA16

Claims (9)

【特許請求の範囲】
1. 【請求項１】 ユーザの認証を行う装置であって、 前記ユーザを撮影する複数のカメラと、 前記ユーザの顔を照射するよう設置された照明手段と、 前記カメラの画像出力から前記ユーザの顔の向きを検出
   する検出手段と、 前記検出された顔向きに応じて、前記画像出力の顔画像
   を正面と正面以外の顔画像に選別する手段と、 前記ユーザを正面から撮影した照合用顔画像のデータベ
   ースと、 前記選別手段により選別された前記正面を向いた顔画像
   を前記照合用顔画像のデータベースの顔画像と照合し、
   前記ユーザを識別する識別手段と、 を備える認証装置。
2. 【請求項２】 前記検出されたユーザの顔画像を、前記
   照合用顔画像のデータベースに記憶されている顔画像と
   同じサイズおよび位置の顔画像に調整する正規化手段を
   備え、前記識別手段は、該正規化された画像を該照合用
   顔画像のデータベースの顔画像と照合し、前記ユーザを
   識別する請求項１に記載の認証装置。
3. 【請求項３】 前記正規化手段により正規化された画像
   から予め定めた画像領域を抽出する抽出手段と、 前記予め定めた画像領域の基準データを格納する成否判
   断データベースと、 前記抽出された画像領域を前記基準データと照合し、前
   記正規化手段による正規化の成否を判定する成否判定手
   段と、を備える請求項２に記載の認証装置。
4. 【請求項４】 前記ユーザを複数の顔向きのそれぞれか
   ら撮影した顔向き別の照合用顔画像のデータベースを備
   え、 前記識別手段は、前記ユーザの検出された顔向きに応じ
   た前記顔向き別の照合用顔画像と該ユーザの正面以外の
   顔画像とを照合し、該ユーザを識別する請求項３に記載
   の認証装置。
5. 【請求項５】 前記顔向き検出手段は、 予め定めた１つまたは複数の顔の特徴部分の基準画像お
   よび該基準画像に対応する３次元座標を格納している特
   徴点データベースを含み、該３次元座標が該顔の特徴部
   分にそれぞれ関連付けられ、 前記特徴部分の基準画像をテンプレートにして前記カメ
   ラの画像出力から該特徴部分の基準画像に対応する画像
   領域を抽出する抽出手段と、 前記抽出された画像領域に基づいて、前記抽出された画
   像領域の３次元座標を求める手段と、 前記求められた画像領域の３次元座標と前記基準画像に
   対応する３次元座標から前記ユーザの顔の向きを検出す
   る手段と、を含む請求項１に記載の認証装置。
6. 【請求項６】 前記照明手段が前記ユーザの顔を赤外光
   で照射する請求項１に記載の認証装置。
7. 【請求項７】 前記識別手段は、前記画像出力からの顔
   画像に対応する顔画像が前記照合用顔画像のデータベー
   スに存在するか否かを判断する手段を含み、 前記画像出力からの顔画像に対応する顔画像が前記照合
   用データベースに存在することに応答して、前記ユーザ
   を登録済みユーザと判断し、 前記画像出力からの顔画像に対応する顔画像が前記照合
   用データベースに存在しないことに応答して、前記ユー
   ザを未登録ユーザと判断する請求項１に記載の認証装
   置。
8. 【請求項８】 前記認証装置は、前記登録済みユーザそ
   れぞれに関連付けられた複数の環境設定データを記憶す
   る環境設定データベースと、 前記環境設定データに応じて自動車の環境を設定する環
   境設定手段と、を含み、 前記ユーザが登録済みユーザと判断されたときに、自動
   車の運転を許可し、前記環境設定データベースから前記
   登録済みユーザに関する環境設定データを読み取り、該
   登録済みユーザに関する環境設定データに応じて自動車
   の環境を設定することを含む請求項７に記載の認証装
   置。
9. 【請求項９】 前記認証装置は、ユーザの身分を証明す
   る身分証明手段を認証する認証手段を含み、 前記ユーザが未登録ユーザと判断されたときに、前記身
   分証明手段の提示を前記ユーザに要求し、 前記認証手段で該身分証明手段が認証されることに応答
   して該ユーザに自動車の使用許可を与え、 前記ユーザにより前記身分証明手段が提示されなかった
   ことおよび前記認証手段で該身分証明手段が認証されな
   かったことに応答して該ユーザによる自動車の使用を禁
   止する請求項７に記載の認証装置。