JP2006134038A - 車載用顔面データ登録装置及び車両における顔面データ登録方法 - Google Patents

Abstract

【課題】 車両における顔面認証に関して、ユーザにそのためだけの時間をとらせることなくバリエーションある認証用画像を採取し、バリエーションある認証用顔面データの候補の登録を効率良く実現する。
【解決手段】 車両の運転状態に応じて車載機器から出力される特定信号（例えばミラー調整信号）が受信可能となるように前記車載機器に接続され、カメラ１０による撮影動作を継続的に実行させる継続的撮影動作を実行し、この継続的撮影動作中に、前記特定信号を受信すると、この特定信号受信の所定時間前から所定時間後までの期間においてカメラ１０により撮影された画像に基づくデータを、認証用顔面データの候補として候補データ記憶手段２４ａに登録する認証用データ採取制御手段（画像処理ユニット２０、車両側コントローラ３０）を設ける。
【選択図】 図１

Description

本発明は、車両における顔面認証に必要な顔面データの候補を採取する技術に関する。

近年、車両において顔面認証により運転者の個人認証を行うことが検討されている。
顔面認証を行う場合は、顔が正面向きなど一方向を向いた画像についてのデータを照合用の元データ（認証用顔面データ）として登録したのみでは、十分な認証の信頼性を得ることはできない。撮影の際に異なった方向を顔が向いている可能性があるためである。また、認証用顔面データの顔の向きが一定であると、認証時のユーザの顔の向きが限定され、使い易くないという問題も生じる。

この対策として、認証用顔面データの元となる認証用画像を各種撮影して登録し、認証用顔面データにバリエーションを持たせることが行われている。例えば、特許文献１では、被撮影者に取るべき姿勢（顔の向き）を各種指示して撮影することによって、バリエーションある画像を確保している。
また特許文献２では、被撮影者が向く可能性が高い方向にカメラを設置する構成となっている。従って、常時撮影を行いその中から順次画像処理を行う構成を取っている。

特開２０００−２５９８３４号公報 特開２００３−３８４９４号公報

ところが、上述した特許文献１の構成では、顔の向きについてバリエーションある画像を得ることが可能となるが、ユーザとしては、その撮影の間束縛されることとなる。また、自動車においては、登録する際に通行する者からいぶかしがられるといったこともある。また、一時に画像を登録すると、車の態様や車の位置と照明灯などの位置関係にて定まる一定の照明環境でのみの画像（つまり、照明環境に関してバリエーションの無い画像）となり、異なる照明環境においては、一致度（登録された認証用画面データとの一致度）が低下し、認証の信頼性が低下する。特に車載用の顔面認証装置では、家屋などの室内用の顔面認証装置と異なり、照明環境が多様であり変化が多いので、一定の照明環境のみの認証用顔面データでは、十分な認証の信頼性が得られないという問題がある。

次に、特許文献２は、常時運転者を撮影し、撮影した画像の特徴を常時抽出して登録する方法である。このため、良好な認証用顔面データが取得できる前提が無いにもかかわらず、画像処理に用いる高速のＣＰＵを常時フル稼働することとなるため、電力消費が高くなる、それに伴う放熱構造が必要になる、等の課題がある。

そこで本発明は、ユーザにそのためだけの時間をとらせることなくバリエーションある認証用画像を採取し、バリエーションある認証用顔面データの候補の登録を効率良く実現できる車載用顔面データ登録装置及び車両における顔面データ登録方法を提供することを目的としている。

本願の車載用顔面データ登録装置は、
車両の運転席に座っている運転者の顔を含む画像が撮影可能なカメラと、
顔面認証に用いる認証用顔面データの候補を登録しておく候補データ記憶手段と、
前記認証用顔面データの候補を自動採取する制御を行う認証用データ採取制御手段とを備え、
前記認証用データ採取制御手段は、
車両の運転状態に応じて車載機器から出力される特定信号であって、運転者の顔が前記カメラに対して特定の方向を向く可能性が高い時に出力される特定信号が受信可能となるように、前記車載機器に接続され、
前記カメラによる撮影動作を継続的に実行させる継続的撮影動作を実行し、この継続的撮影動作中に、前記特定信号を受信すると、この特定信号を受信しているタイミング或いはこのタイミングから所定時間前又は／及び所定時間後までの期間において前記カメラにより撮影された画像に基づくデータを、前記認証用顔面データの候補として前記候補データ記憶手段に登録することにより、前記自動採取を実現するものである。

ここで、前記特定信号としては、例えば、車両のミラー調整時に出力される信号（ミラー調整信号）、車両の操舵時に出力される信号（操舵信号）、車両の制動時に出力される信号（制動信号）、車両の方向指示器操作時に出力される信号（方向指示器信号）、車両の加速時に出力される信号（加速信号）などが有り得る。
なお、ミラー調整信号が特定信号として利用できるのは、ミラー調整時には、必ず調整を行うミラーの方向を運転者の顔が向くためである。一般に助手席側のミラーを調整する場合、大きく顔が横を向くため必ずしも顔面認証用の画像としては適さないが、走行中を前提としているため、調整開始前後に顔が前方向きに戻ると考えられ、その途中経過の顔画像を認証用画像として採用できる。

また、操舵信号が特定信号として利用できるのは、操舵時は、進行方向を見ている可能性が高いためである。なお、「操舵時」とは、所定角の範囲で操舵された状況を意味する。操舵角が小さい場合は、正面を向いている可能性が高く、バリエーションある画像が得られないからである。また、操舵角が大きい場合は、顔が大きく動いている可能性が高く、顔面認証用の画像としては適さないからである。
また、制動信号が特定信号として利用できるのは、走行時に制動操作を行うのは、運転者が前方に減速すべき状況を発見した場合であり、進行方向の前方を向いている可能性が高いからである。なお、制動信号と操舵信号が同時に出力されている場合は、曲線路で減速している状況であるから、操舵信号を優先すべきである。

また、方向指示器信号が特定信号として利用できるのは、方向指示器操作は、右左折、進路変更の際に行われ、この場合運転者は、進路を変更する方向に顔を向ける、もしくは、進路を変更する側の後方から車両などが接近していないことを確認するためにミラーを見るなどするからである。
また、加速信号が特定信号として利用できるのは、発進加速時などの加速中は、運転者が前方を注視しているからである。なお、加速信号と操舵信号が同時に出力されている場合は、曲線路で加速している状況であるから、操舵信号を優先すべきである。

また、「認証用顔面データ」は、認証用画像そのもののデータ、認証用画像を加工した画像データ、認証用画像から特徴抽出を行って得られた特徴データ、のうちの何れかである。また同様に、「カメラにより撮影された画像に基づくデータ」とは、カメラで撮影した画像そのもののデータ、同画像を加工した画像データ、同画像から特徴抽出を行って得られた特徴データ、のうちの何れかである。
なお、認証用データ採取制御手段によるデータ（認証用顔面データの候補）の登録は、前述した所定の期間においてカメラにより撮影された全画像について実行するのではなく、全画像から特定の画像を選択し、選択された画像についてのみ実行するようにしてもよい。
また、こうして認証用顔面データの候補を登録した後には、その候補の中から実際に顔面認証に使用する認証用顔面データを選別することが必要になるが、その選別方法につては、本発明は特に限定されるものではない。なお、認証用顔面データの候補を全て実際に使用する認証用顔面データとして選択する態様（実質的には候補からの選択を行わない態様）であってもよい。

本願の車載用顔面データ登録装置によれば、次のような作用効果が奏される。
即ち、通常は、運転中運転者がいつどこを向いているかは不明である。しかしながら、自動車の運転をしている限り必要に応じて特定の方向を向いていると言える。例えば、ミラー調整を行っている場合は、調整しているミラーの方向を見ている可能性が高い。また、操舵時は進行方向を見ている可能性が高い。また、制動時や加速時には、前方を注視している可能性が高い。また、例えば右折するために右側の方向指示器を出した場合は、右後方を確認するために右側のサイドミラーを見る蓋然性が高い。従って、右の方向指示器が出た際に撮影した画像には、右を向いた運転者の顔が撮影されている可能性が高い。

そして本装置は、このように運転者が向いている方向が限定できる状況、即ち前述の特定信号が出力されている状況において、運転者を撮影した画像に基づくデータを認証用顔面データの候補とするものである。このため、顔の向きに関してバリエーションある認証用顔面データが取得できる可能性の高い特定のタイミング（即ち、前記特定信号が出力されたタイミング）に対してのみ、必要に応じて画像処理を行えば済み、電力消費や発熱を低減して、バリエーションある認証用顔面データの登録を効率良く実現できる。

また本装置は、前記特定信号が出力されるタイミングにおいて、その際に運転席に座っている運転者に対して認証用画像を自動採取するものであり、運転者に画像採取のためだけに特定の動作（例えば、顔の向きを変えさせる動作、運転席に座らせる動作など）を要求するものではない。このため、運転者がそのためだけの時間をとる必要は全くなく、また、画像採取中であることを運転者が意識する必要もない。

また本装置によれば、基本的に前記特定信号が出力される度に、認証用画像の候補が自動採取される。このため、色々な照明環境での認証用画像が採取され、認証用顔面データの候補も色々な照明環境のものが登録される（即ち、照明環境に関してもバリエーションがあるものとなる）。したがって、顔の向きについても、また照明環境に関してもバリエーションがある認証用顔面データの候補が登録でき、認証の信頼性向上や、ユーザの使い易さ向上に大きく貢献できる。

なお、例えば方向指示器を出すタイミングと、それに伴いサイドミラーを確認するタイミングは人によって当然ばらつくため、方向指示器を出す前後のデータを保持しておき、その中から登録候補を選出する態様が望ましい。即ち、特定信号を受信しているタイミングから所定時間前又は／及び所定時間後までの期間において撮影された画像を、認証用画像の候補として決定して少なくとも一時記憶しておき、その中から認証用画像を選択する構成とすることが望ましい。
また特定信号は、１種類であってもよいが、後述するように複数あるのが望ましい。

また、本願の車載用顔面データ登録装置の好ましい態様は、前記特定信号として、前記特定の方向が異なる複数の信号が、前記認証用データ採取制御手段に入力される構成とされ、
前記認証用データ採取制御手段が、前記画像に基づくデータを、前記特定の方向毎に属性を区別して登録するものである。
この態様であると、複数の方向を向いた運転者の顔を含む画像に基づく認証用顔面データの候補が採取でき、顔面認証に使用する認証用顔面データとしても、顔の向きが異なる複数種類のデータが得られることになる。このため、バリエーションの多い認証用顔面データに基づいて、より信頼性の高い顔面認証が可能となる。

また、本願の車載用顔面データ登録装置の好ましい別の態様は、前記認証用データ採取制御手段が、車両のサンバイザ使用時（サンバイザの使用を検出するセンサの検出時）には、前記継続的撮影動作を実行しないか、或いは、前記継続的撮影動作中に前記特定信号を受信しても、前記画像に基づくデータの登録を行わないものである。
この態様であると、認証には不向きな画像（正面から太陽光に照らされているような特殊な照明状態や、サンバイザにより目よりも上の部分の光量が少なく、それよりも下は光量が多い状況での画像）が、認証用画像として無駄に撮影されたり、或いはその画像に基づくデータが無駄に登録されたりしない利点がある。

また、本願の車載用顔面データ登録装置の好ましい別の態様は、前記認証用データ採取制御手段が、前記自動採取の前提条件が成立していない時には、前記継続的撮影動作を実行しないか、或いは、前記継続的撮影動作中に前記特定信号を受信しても、前記画像に基づくデータの登録を行わない構成であり、
前記自動採取の前提条件が、車両の運転席に運転者が座っていること、及び、予め登録されていた認証用顔面データに基づいて前記運転者の個人認証が為されたこと、であるものである。

この態様であると、運転者が運転席に居ないときにまで、認証用画像の採取やそれに基づくデータの登録が無駄になされることが回避される。また、運転者が誰なのかが事前に特定されるため、登録処理が簡単になる。なお、運転者の個人認証を行わないで認証用画像の採取やそれに基づくデータの登録を行ってもよいが、この場合には、採取された認証用画像が、例えば予め登録されたどの運転者の顔なのかを分析し判定する必要が生じる。
なお、車両の運転席に運転者が座っているか否かは、シートベルトの装着状態によって判定できる。通常、運転席のシートベルトの装着状態は、センサによって検出され、非装着状態が表示される構成となっているので、そのセンサの出力から運転席に運転者が座っているか否かを判定できる。

次に、本願の車両における顔面データ登録方法は、車両の運転席に座っている運転者の顔を含む画像を撮影可能なカメラを使用して、顔面認証に用いる認証用顔面データの候補を採取する車両における顔面データ登録方法であって、
車両の運転状態に応じて車載機器から出力される特定信号であって、運転者の顔が前記カメラに対して特定の方向を向く可能性が高い時に出力される特定信号を監視し、
前記カメラによる撮影動作を継続的に実行し、この継続的撮影動作中に、前記特定信号が出力されると、この特定信号が出力されているタイミング或いはこのタイミングから所定時間前又は／及び所定時間後までの期間において前記カメラにより撮影された画像に基づくデータを、前記認証用顔面データの候補として登録するものである。

本願の顔面データ登録方法によれば、運転者が向いている方向が限定できる状況、即ち前述の特定信号が出力されている状況において、運転者を撮影した画像を認証用画像の候補とするものである。このため、顔の向きに関してバリエーションある認証用顔面データが取得できる可能性の高い特定のタイミング（即ち、前記特定信号が出力されたタイミング）に対してのみ、必要に応じて画像処理を行えば済み、電力消費や発熱を低減して、バリエーションある認証用顔面データの候補の登録を効率良く実現できる。

また本方法は、前記特定信号が出力されるタイミングにおいて、その際に運転席に座っている運転者に対して認証用画像を自動採取するものであり、運転者に画像採取のためだけに特定の動作（例えば、顔の向きを変えさせる動作、運転席に座らせる動作など）を要求するものではない。このため、運転者がそのためだけの時間をとる必要は全くなく、また、画像採取中であることを運転者が意識する必要もない。

また本方法によれば、基本的に前記特定信号が出力される度に、認証用画像の候補が自動採取される。このため、色々な照明環境での認証用画像が採取され、認証用顔面データの候補も色々な照明環境のものが登録される（即ち、照明環境に関してもバリエーションがあるものとなる）。したがって、顔の向きについても、また照明環境に関してもバリエーションがある認証用顔面データの候補が登録でき、認証の信頼性向上や、ユーザの使い易さ向上に大きく貢献できる。

本発明によれば、車載用顔面認証に関して、ユーザにそのためだけの時間をとらせることなく、バリエーションある認証用画像の候補を採取し、バリエーションある認証用顔面データの候補の登録を効率良く実現できる。

以下、本発明に係る実施の形態の一例を図面に基づいて説明する。
本例は、車両の運転者の顔面認証を行なう顔面認証装置（車載用顔面データ登録装置を含むもの）であり、図１〜図４により説明する。図１は、顔面認証装置を含むシステム構成を示すブロック図である。図２は、システムの機能や動作を示すＰＡＤ（問題分析図）である。図３は、データの構成例を示す図である。また図４は、カメラの配置を説明する図である。

本例の顔面認証装置は、図１に示すように、カメラ１０と、画像処理ユニット２０と、車両側コントローラ３０とよりなる。車両側コントローラ３０には、車両の他のコントローラや各種センサ（車載機器）からの信号が入力され、車両側コントローラ３０で受信可能となっている。この信号を出力する他のコントローラや各種センサとしては、ブレーキセンサ１、ミラー調整スイッチ２、エンジンコントローラ４、方向指示器コントローラ５、シートベルトスイッチ６、及び舵角センサ７がある。

ここで、ブレーキセンサ１は車両の制動時に、ミラー調整スイッチ２は車両のミラー調整時に、エンジンコントローラ４は車両の加速時に、方向指示器コントローラ５は車両の方向指示器操作時に、シートベルトスイッチ６は運転席のシートベルトが装着された時に、舵角センサ２は車両の操舵時に、それぞれアクティブな信号を出力する。なおこの場合、ブレーキセンサ１、ミラー調整スイッチ２、エンジンコントローラ４、方向指示器コントローラ５、及び舵角センサ２からの信号が、本発明の特定信号に相当する。
また、画像処理ユニット２０と車両側コントローラ３０は、本発明の認証用データ採取制御手段を構成する。
またカメラ１０は、例えばＣＭＯＳカメラ或いはＣＣＤカメラであり、車両の運転席に座っている運転者の顔を含む画像を撮影できる位置に設置される。例えば、図４に示すように、ルームミラーの位置にカメラ１０は配置される。図４において、符号５１はルームミラー、符号５２は左側のドアミラー（右側のドアミラーは図示省略）、符号５３はパーキングブレーキレバー、符号５４はシフトチェンジレバー、符号５５はワイパースイッチ、符号５６はハンドル、符号５７は速度計、符号５８はライトスイッチ及び方向指示器レバー、符号６０はクラッチペダル、符号６１はブレーキペダル、符号６２はアクセルペダル、符号６３は運転席、符号６４は助手席を示す。なお図４の場合、ミラー調整スイッチ２は、ミラー設定スイッチ２ａとミラー作動スイッチ２ｂとよりなる。ミラー設定スイッチ２ａは、左右どちらのドアミラーの向きを調整するかを設定するためのスイッチである。また、ミラー作動スイッチ２ｂは、ミラー設定スイッチ２ａで設定されている側のドアミラーの向きを上下左右に動かすためのスイッチである。

また画像処理ユニット２０は、マイクロコンピュータ（以下、マイコンという）を構成するＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３と、候補データ記憶手段２４ａ（認証用顔面データの候補を登録するもの）と、認証データ記憶手段２４ｂ（候補でなく実際に認証に使用される認証用顔面データを登録するもの）と、カメラインターフェース２５とを備える。
ここで、候補データ記憶手段２４ａは、好ましくは読み出し書き込み消去可能な不揮発性の記憶手段（例えば、ＥＥＰＲＯＭなどの半導体メモリ又はハードディスク）よりなるが、読み出し書き込み消去可能な揮発性の記憶手段（例えば、一般的なＲＡＭなどの半導体メモリ）であってもよい。認証用顔面データの候補のデータが最悪失われても問題にはならないからである。一方、認証データ記憶手段２４ｂは、読み出し書き込み消去可能な不揮発性の記憶手段（例えば、ＥＥＰＲＯＭなどの半導体メモリ又はハードディスク）よりなる。また、認証データ記憶手段２４ｂには、予めその車両を運転する運転者（運転者）の顔面画像を少なくとも１枚登録しておく必要がある。なお、候補データ記憶手段２４ａと認証データ記憶手段２４ｂとが、一つの同じデバイスで構成される態様（例えば、同じ不揮発性メモリの中に、候補データ記憶手段としての領域と、認証データ記憶手段としての領域が設定されている態様）もあり得るし、候補データ記憶手段２４ａが実際にはマイコンを構成するＲＡＭ２３の一部の領域で構成される態様もあり得る。
また、カメラインターフェース２５は、カメラ１０と上記マイコン間の信号の入出力を行なう回路である。
また車両側コントローラ３０は、マイコンを構成するＣＰＵ３１、ＲＯＭ３２、及びＲＡＭ３３を備える。この車両側コントローラ３０のマイコンと、画像処理ユニット２０のマイコンは、コマンド（指令）やデータの授受が可能となるように接続されている。

次に、本装置の機能や動作を図２により説明する。図２は、車両側コントローラ３０の処理を示すＰＡＤ（問題分析図）である。ＰＡＤの各要素（ＰＡＤ箱）は、フローチャートのステップとは異なるが、便宜上以下では、主なＰＡＤ箱に符号Ｓ１、Ｓ２…を付して説明する。
車両側コントローラ３０は、起動すると、まずステップＳ１で、シートベルトスイッチ６からの信号を監視し、運転者席のシートベルトが締められるまで（即ち、シートベルトスイッチ６からのアクティブな信号を受信するまで）待機する。そして、運転者席のシートベルトが締められると（即ち、シートベルトスイッチ６からのアクティブな信号を受信すると）、ステップＳ２に進み、運転者の顔面認証を画像処理ユニット２０に指令する。

なお、認証用顔面データの候補の自動採取（後述するステップＳ５〜Ｓ８）の前に、シートベルトが締められるまで待機し、シートベルトが締められると、まず運転者の顔面認証を行うのは、対象となる運転者が誰であるのかを特定するとともに、特定した運転者が交代などで他人に変わっていないことを確認するためである。また、シートベルト装着を、顔面認証や上記自動採取の前提としているのは、シートベルトを締めることによって、運転者の体の位置が拘束され、認識し易い状態となり易いからである。

なお、上記指令を受けた画像処理ユニット２０は、次のように顔面認証を行なう。即ち、カメラ１０による撮影を行なってその時点の運転者の顔面画像を取得し、この顔面画像から得られた顔面データと認証データ記憶手段２４ｂに登録された認証用顔面データとを比較し、これらデータが所定値以上の一致度で一致するか否かを判定する個人認証を実行する。
そして、一致データ有りの場合（所定値以上の一致度で一致する認証用顔面データが存在した場合）には、その認証用顔面データに対応する運転者として登録されている人（所定値以上の一致度のデータが複数あった場合には、最も一致度の高いデータに対応する者）が現在の運転者であると判定し、その判定結果の情報を車両側コントローラ３０に送信するとともに、それ以降カメラ１０による継続的撮影動作（例えばカメラ１０により周期的に静止画をキャプチャする動作）を実行する。また、一致データ無しの場合（所定値以上の一致度で一致する認証用顔面データが存在しない場合）には、その判定結果の情報を車両側コントローラ３０に送信し、処理を終了する。
また画像処理ユニット２０は、撮影した画像を、少なくとも後述する所定時間（所定時間ＴＡ＋所定時間ＴＢ）の間は、一時記憶する。一時記憶する場所は、候補データ記憶手段２４ａ又は認証データ記憶手段２４ｂでもよいし、ＲＡＭ２３でもよいし、その他の記憶手段でもよく、書込み、読出し、削除ができれば、不揮発性である必要はない。

次に車両側コントローラ３０は、ステップＳ３に進み、上記顔面認証の結果（画像処理ユニット２０から送信される上記判定結果）が一致データ有りの場合には、ステップＳ４に進み、そうでない場合には、１シーケンスの処理を終了する。なお、１シーケンスの処理を終了すると、例えば、実行周期の次のタイミングでステップＳ１に戻って処理を繰り返してもよい。或いは、シートベルトが外されるまで待機し、シートベルトが外されると、ステップＳ１に戻って処理を繰り返す構成でもよい。

そして、ステップＳ４で車両側コントローラ３０は、シートベルトスイッチ６からの信号を監視し、運転者席のシートベルトが外されるまで（即ち、シートベルトスイッチ６からのアクティブな信号を受信できなくなるまで）、ステップＳ５を実行する。
ステップＳ５は、前述の特定信号を監視し、前述の特定信号のいずれかが入力された場合には、ステップＳ６，Ｓ７，Ｓ８を順次実行するものである。
ここで、ステップＳ６は、カメラ１０による撮影動作（前述の認証結果が一致データ有りとなって開始された撮影動作）を、特定信号入力時点から所定時間ＴＢの間だけ継続した後に、終了する処理である。なお、特定信号が入力されると撮影動作を停止させるのは、画像を一時記憶する記憶手段への上書きを防止するとともに、撮影に要する無駄なエネルギ消費を削減するためである。

またステップＳ７は、特定信号入力時点より所定時間ＴＡだけ前より撮影された全ての画像（所定時間ＴＡ＋所定時間ＴＢの間撮影されて一時記憶された全ての画像）を、認証用画像の候補とし、必要に応じてこの中からより好ましい画像を認証用画像の候補として選別する処理（例えば、真後ろを向いた顔の画像等、明らかに認証に不向きな画像を排除する処理）である。なお、認証用画像の候補の選別を実質的に行わない態様（上記所定期間に撮影された画像を全て選別する態様）でもよい。

またステップＳ８は、ステップＳ７で得られた認証用画像のデータ或いはこの画像を画像処理して得られる画像データ又は特徴データを、認証用顔面データの候補として候補データ記憶手段２４ａに登録する処理である。登録される認証用顔面データのデータベース構成等については後述する。
なお、こうして認証用顔面データの候補を登録した後には、その候補の中から実際に顔面認証に使用する認証用顔面データを選別することが必要になるが、その選別方法につては、本発明は特に限定されるものではない。なお、認証用顔面データの候補の全てを実際に使用する認証用顔面データとして選択する態様（実質的には候補からの選択を行わない態様）であってもよい。またこの場合、候補から選別された認証用顔面データは、認証データ記憶手段２４ｂに登録される。
また、登録は、入力された特定信号の種類（顔の方向）に応じて、認証用顔面データの属性を分類して登録する態様が好ましいが、このような分類を行わないで登録する態様でもよい。
また、登録するデータは画像データではなく、人の顔の特徴抽出処理により得た特徴データであることが望ましい。顔面画像データのまま登録するとデータ量が多いため、データベースとして候補データ記憶手段２４ａや認証データ記憶手段２４ｂに多くの容量を必要とするとともに、認証の際に特徴抽出を行う必要が生じる等の問題が有るからである。
また、認証データ記憶手段２４ｂへのデータ登録は、データベースの対応する登録者の登録エリアに登録余地があれば登録し、余地が無ければ候補として保留しておくか破棄する構成でよい。もしくは、既にデータベースに登録されているデータのうち一致率の低いものを削除し、差替える構成でも良い。
また、同様の画像を登録としても価値がないので、抽出された特徴が近似している場合は、取りまとめることが望ましい。

なお、ステップＳ４に処理が進んだ場合に、前述の特定信号が入力されないまま、運転者席のシートベルトが外された場合には、その時点でカメラ１０による撮影動作（継続的撮影動作）が終了するように制御され、ステップＳ６，Ｓ７，Ｓ８は実行されずに１シーケンスの処理が終了する。
また、ステップＳ４に処理が進んだ場合には、運転者席のシートベルトが外されない限り、前述の特定信号が入力される度に、ステップＳ６，Ｓ７，Ｓ８は何回でも実行される。
また、カメラ１０の撮影動作は、運転者席のシートベルトが外されない限り、ステップＳ８が終了した時点で、再度開始される。

また、車両側コントローラ３０は、顔面認証の結果が画像処理ユニット２０から送信されると、それに応じて必要な設定変更やセキュリティ対応などの処理を行う。例えば、エンジン始動の条件として顔面認証が必要とされるシステムの場合、適正な運転者が認証されるとエンジン始動を許可する設定を行う。また、認証された個人の好みの位置姿勢に運転席シートを自動設定するシステムの場合、画像処理ユニット２０から送信された認証結果に基づいて、その運転者の好みとして登録されている位置姿勢に、運転席シートを動かす制御を実行する。
また、認証用顔面データとして顔面画像の特徴データを登録する場合、採取され選別された認証用画像から前記特徴データを抽出する必要があるが、この特徴抽出に必要な顔面領域の検出、器官抽出、特徴点の算出などの処理としては、周知の方法（一般的なパターンマッチング法、グラフを用いる方法など）が使用できるので、説明を省略する。
またなお、ここでは、シートベルトの着用に基づき顔面認証による本人認証を開始する構成としたが、ＥＴＣ等金銭授受を行う際に顔面認証を開始する構成としても良い。
また、顔面認証によって本人が特定できなかった場合、未承認者の無断利用の記録として、顔面データを取得し登録する構成としても良い。

次に、認証用顔面データのデータベース構成の例（データベース構造１，２）と、それに対応する登録方式を、図３により説明する。なお、以下例示するデータベース構造は、候補データ記憶手段２４ａへの認証用顔面データ（候補）の登録に関して適用してもよいし、認証データ記憶手段２４ｂへの認証用顔面データ（候補から実際に使用するものとして選別されたもの）の登録に関して適用してもよい。
（データベース構造１）
まず、図３のデータベース構造１は、分類を行わないで登録する態様のものであり、３名の登録者識別子甲〜丙（個々の運転者に対応する符号）が設定され、登録者毎に６個の記憶領域（データ１〜６）が設けられている。そして、図３に示すデータベース構造１の登録状況の場合、現時点での運転者が乙又は丙であれば、データベースの末尾の領域（乙はデータ６、丙はデータ４）に今回得られたデータを追加登録する。現時点の運転者が、甲である場合には、登録余地が無いため、登録を行わず候補として保留するか破棄する対応が取られる。

（データベース構造２）
次に、図３のデータベース構造２を説明する。認証用顔面データを登録する際は、登録するデータについて顔が向いている方向を加味して、データベースに追加することができる。顔が向いている方向は、画像を撮影した際の前記特定信号によって推定することが可能である。つまり、例えば、右側のミラーを調整する信号に基づいて撮影したのであれば、右向きの顔が撮影されたと推定する。なお、加速信号又は制動信号と操舵信号が同時に出力されている場合は、曲線路で加速又は減速している状況であるから、操舵信号を優先すべきである。

図３に示すデータベース構造２は、このような顔の向きの推定に基づく分類を行って登録する場合の態様であり、３名の登録者毎に、顔の向きが正面の場合の２個の記憶領域（データ１，２）と、顔の向きが右向きの場合の２個の記憶領域（データ３，４）と、顔の向きが左向きの場合の２個の記憶領域（データ５，６）と、が設けられている。

そして、図３に示すデータベース構造２の登録状況の場合、例えば、顔が右を向いていると推定されるデータを登録する際、現在の運転者が甲、乙であれば、右向きの顔を登録する記憶領域に空きが無いため、登録を行わず候補として保留するか破棄する対応を取る。現在の運転者が丙である場合は、右向きの顔データを登録する余地があるため、今回撮影して得られたデータを追加する。

以上説明した本例の車載用顔面認証装置（車載用顔面データ登録装置含む）或いは車両における顔面データ登録方法によれば、次のような作用効果が奏される。
本例は、運転者の顔が向いている方向が限定できる状況、即ち前述の特定信号が出力されている状況において、運転者を撮影した画像に基づくデータを認証用顔面データの候補とするものである。このため、顔の向きに関してバリエーションある認証用顔面データが取得できる可能性の高い特定のタイミング（即ち、前記特定信号が出力されたタイミング）に対してのみ、必要に応じて画像処理を行えば済み、電力消費や発熱を低減して、バリエーションある認証用顔面データの登録を効率良く実現できる。

また本例は、前記特定信号が出力されるタイミングにおいて、その際に運転席に座っている運転者に対して認証用画像を自動採取するものであり、運転者に画像採取のためだけに特定の動作（例えば、顔の向きを変えさせる動作、運転席に座らせる動作など）を要求するものではない。このため、運転者がそのためだけの時間をとる必要は全くなく、また、画像採取中であることを運転者が意識する必要もない。

また本例によれば、基本的に前記特定信号が出力される度に、認証用画像の候補が自動採取される。このため、色々な照明環境での認証用画像が採取され、認証用顔面データの候補も色々な照明環境のものが登録される（即ち、照明環境に関してもバリエーションがあるものとなる）。したがって、顔の向きについても、また照明環境に関してもバリエーションがある認証用顔面データの候補が登録でき、認証の信頼性向上や、ユーザの使い易さ向上に大きく貢献できる。

また本例は、特定信号を受信しているタイミングの所定時間前から所定時間後までの期間において撮影された画像を、認証用画像の候補として決定して少なくとも一時記憶しておき、その中から認証用画像を選択する構成である。このため、前記特定信号が出力される時点と、運転者の顔が特定の方向を向くタイミングとに、若干の時間的ズレがある場合でも、認証用画像として好ましい画像が採取できる。

また本例（前述のデータベース構造２の態様）は、前記特定信号として顔の向きが異なる複数の信号が設定され、特定の方向毎に属性を区別して認証用顔面データを登録する。このため、複数の方向を向いた運転者の顔を含む画像に基づく認証用顔面データの候補が採取でき、顔面認証に使用する認証用顔面データとしても、顔の向きが異なる複数種類のデータが得られることになる。このため、バリエーションの多い認証用顔面データに基づいて、より信頼性の高い顔面認証が可能となる。

また本例では、認証用画像の自動採取の前提条件（車両の運転席に運転者が座っていること、及び、予め認証データ記憶手段２４ｂに登録されていた認証用顔面データに基づいて運転者の個人認証が為されたこと）が成立していない時には、前記継続的撮影動作を実行しない。このため、運転者が運転席に居ないときにまで、認証用画像の採取やそれに基づくデータの登録が無駄になされることが回避される。また、運転者が誰なのかが事前に特定されるため、登録処理が簡単になる。

なお、本発明は上述した形態例に限られず、各種の変形や応用があり得る。
例えば、車両のサンバイザが降りている状況（サンバイザの使用を検出する図示しないセンサの検出時）においては、上記の特定信号が生じても、認証用画像の採取を行わない構成としても良い。サンバイザが降ろされている状況においては、正面から太陽光に照らされているような、特殊な照明状態であり、また、サンバイザにより目よりも上の部分の光量が少なく、それよりも下は光量が多い状況にあって、このような特殊な状態で撮影した画像は、認証には不向きだからである。

また前記形態例では、運転者が特定でき、特定信号が出力された場合に認証用画像を採取する構成としているが、運転者のデータベースに登録余地が無い場合は、画像の採取を行わない構成とすることもできる。
また、認証用画像の採取は、車両のエンジンが始動された後に開始することとしても良い。エンジンが停止している停車状態では、運転者がどちらを向いているか特定し難いからである。

また、例えば操舵信号に応じて認証用画像を撮影した場合など、顔の変位の程度が推定できる場合は、顔の変位の程度毎に認証用顔面データを登録する構成とすることもできる。
また、認証用顔面データの候補からデータを選別して認証データ記憶手段２４ｂに登録する処理は、候補を採取する度に順次データベースに追加登録する構成でもよいが、例えば管理者の特定の操作があったときに、採取しておいた認証用顔面データの候補からデータを選別して認証データ記憶手段２４ｂに登録する態様でもよい。

また、制御系の構成や処理機能の分担は、図１及び図２に示したものに限られないこともいうまでもない。例えば、図１に示す構成において、図２に示した制御処理を、画像処理ユニット２０が全て行う態様（車両側コントローラ３０が、特定信号の伝達と、認証結果に基づく処理を行うだけの態様）であってもよい。

車載用顔面データ登録装置を含むシステム構成を示すブロック図である。 システムの機能や動作を示すＰＡＤ（問題分析図）である。 データの構成例を示す図である。 カメラの配置を説明する図である。

符号の説明

１ ブレーキセンサ（車載機器）
２ ミラー調整スイッチ（車載機器）
４ エンジンコントローラ（車載機器）
５ 方向指示器コントローラ（車載機器）
７ 舵角センサ（車載機器）
１０ カメラ
２０ 画像処理ユニット（認証用データ採取制御手段）
２４ａ 候補データ記憶手段
２４ｂ 認証データ記憶手段
３０ 車両コントローラ（認証用データ採取制御手段）

Claims (10)

1. 車両の運転席に座っている運転者の顔を含む画像が撮影可能なカメラと、
   顔面認証に用いる認証用顔面データの候補を登録しておく候補データ記憶手段と、
   前記認証用顔面データの候補を自動採取する制御を行う認証用データ採取制御手段とを備え、
   前記認証用データ採取制御手段は、
   車両の運転状態に応じて車載機器から出力される特定信号であって、運転者の顔が前記カメラに対して特定の方向を向く可能性が高い時に出力される特定信号が受信可能となるように、前記車載機器に接続され、
   前記カメラによる撮影動作を継続的に実行させる継続的撮影動作を実行し、この継続的撮影動作中に、前記特定信号を受信すると、この特定信号を受信しているタイミング或いはこのタイミングから所定時間前又は／及び所定時間後までの期間において前記カメラにより撮影された画像に基づくデータを、前記認証用顔面データの候補として前記候補データ記憶手段に登録することにより、前記自動採取を実現することを特徴とする車載用顔面データ登録装置
2. 前記特定信号として、前記特定の方向が異なる複数の信号が、前記認証用データ採取制御手段に入力される構成とされ、
   前記認証用データ採取制御手段は、前記画像に基づくデータを、前記特定の方向毎に属性を区別して登録することを特徴とする請求項１に記載の車載用顔面データ登録装置。
3. 前記特定信号には、車両のミラー調整時に出力される信号が、少なくとも含まれることを特徴とする請求項１又は２に記載の車載用顔面データ登録装置。
4. 前記特定信号には、車両の操舵時に出力される信号が、少なくとも含まれることを特徴とする請求項１乃至３の何れかに記載の車載用顔面データ登録装置。
5. 前記特定信号には、車両の制動時に出力される信号が、少なくとも含まれることを特徴とする請求項１乃至４の何れかに記載の車載用顔面データ登録装置。
6. 前記特定信号には、車両の方向指示器操作時に出力される信号が、少なくとも含まれることを特徴とする請求項１乃至５の何れかに記載の車載用顔面データ登録装置。
7. 前記特定信号には、車両の加速時に出力される信号が、少なくとも含まれることを特徴とする請求項１乃至６の何れかに記載の車載用顔面データ登録装置。
8. 前記認証用データ採取制御手段は、
   車両のサンバイザ使用時には、前記継続的撮影動作を実行しないか、或いは、前記継続的撮影動作中に前記特定信号を受信しても、前記画像に基づくデータの登録を行わないことを特徴とする請求項１乃至７の何れかに記載の車載用顔面データ登録装置。
9. 前記認証用データ採取制御手段は、
   前記自動採取の前提条件が成立していない時には、前記継続的撮影動作を実行しないか、或いは、前記継続的撮影動作中に前記特定信号を受信しても、前記画像に基づくデータの登録を行わない構成であり、
   前記自動採取の前提条件は、車両の運転席に運転者が座っていること、及び、予め登録されていた顔面データに基づいて前記運転者の個人認証が為されたこと、であることを特徴とする請求項１乃至８の何れかに記載の車載用顔面データ登録装置。
10. 車両の運転席に座っている運転者の顔を含む画像が撮影可能なカメラを使用して、顔面認証に用いる認証用顔面データの候補を採取する車両における顔面データ登録方法であって、
    車両の運転状態に応じて車載機器から出力される特定信号であって、運転者の顔が前記カメラに対して特定の方向を向く可能性が高い時に出力される特定信号を監視し、
    前記カメラによる撮影動作を継続的に実行し、この継続的撮影動作中に、前記特定信号が出力されると、この特定信号が出力されたタイミング或いはこのタイミングから所定時間前又は／及び所定時間後までの期間において前記カメラにより撮影された画像に基づくデータを、前記認証用顔面データの候補として登録することを特徴とする車両における顔面データ登録方法。

Images