JP4945526B2

JP4945526B2 - 通行制御装置

Info

Publication number: JP4945526B2
Application number: JP2008193988A
Authority: JP
Inventors: 浩慶土橋
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-07-27
Filing date: 2008-07-28
Publication date: 2012-06-06
Anticipated expiration: 2022-05-14
Also published as: JP2008257750A; JP2009002150A; JP2009009588A

Description

本発明は、たとえば、セキュリティ管理などにおいて人物の顔画像を認識する顔画像認識装置を用いて通行者の通行を制御する通行制御装置に関する。

従来、セキュリティ管理などにおいて人物の顔画像を認識する顔画像認識装置にあっては、たとえば、特開２００１−５８３６号公報に開示されているように、認識対象者の顔画像を入力するとともに、認識対象者が自己の識別情報（ＩＤ番号など）を入力することにより、あらかじめ認識対象者の識別情報に対応させて登録されている基準の特徴情報から対応する特徴情報を特定し、入力された顔画像から抽出した特徴情報と照合することで、認識対象者の顔画像を認識するようになっている。
このように、従来の顔画像認識装置は、認識対象者が自己の識別情報を入力することで、登録情報（特徴情報）を特定する方法が採用されていた。

特開２００１−５８３６号公報に開示されているように、認識対象者の識別情報（ＩＤ番号など）を入力するキー入力手段は、キーボードやカードリーダであり、たとえば、キーボードの場合はパーソナルコンピュータを示している。また、認識対象者の識別情報を入力した後に登録情報を選択しており、認識対象者の識別情報入力から認識結果を出力するまでの時間の短縮化については実現されていない。
特開２００１−５８３６号公報

本発明は、顔画像を認識できなかった場合の利便性が向上する通行制御装置を提供することを目的とする。

この発明の通行制御装置は、ドアを開閉制御するものにおいて、認識対象者の少なくとも顔を含む顔画像を入力する画像入力手段と、前記画像入力手段により入力された顔画像から前記認識対象者の顔の特徴量を抽出する特徴量抽出手段と、行先の識別情報に対応する登録者の顔の特徴量を含む登録情報を記憶する特徴量登録手段と、前記認識対象者が行先の識別情報を入力するための入力手段と、この入力手段により入力された行先の識別情報に対応づけて前記特徴量登録手段が記憶している登録者の顔の特徴量と、前記特徴量抽出手段により抽出された前記認識対象者の顔の特徴量とを照合する認識手段と、この認識手段により前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定された場合、前記ドアを開状態にし、前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定されなかった場合、前記ドアを閉状態にするドア制御手段と、前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定されなかった場合、前記画像入力手段により入力された前記認識対象者の顔画像を記録する画像記録手段とを有する。

本発明によれば、顔画像を認識できなかった際の利便性が向上する通行制御装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る顔画像認識装置の構成を概略的に示すものである。この顔画像認識装置は、認識対象者１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ１０１、カメラ１０１の右上方あるいは左上方から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する第１の照明手段としての第１の照明部１０２、カメラ１０１の下方から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する第２の照明手段としての第２の照明部１０３、認識対象者１００の識別情報としてのＩＤ番号（暗証番号でもよい）を入力するキー入力手段としてのテンキー部１０４、および、カメラ１０１から入力された顔画像およびテンキー部１０４から入力されたＩＤ番号を処理して顔画像の認識処理などを行なう処理部１０５から構成されている。

カメラ１０１は、認識対象者１００の顔画像を撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。
第１の照明部１０２は、カメラ１０１の右上方あるいは左上方から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。図２（ａ）（ｂ）に示すように、第１の照明部１０２の光軸とカメラ１０１の光軸とのなす角度が４５度で設置されているが、たとえば、３０度以下のような条件で設置されていてもよい。

すなわち、認識対象者１００の顔に向けて直接光を照射することで、図３に示すように、顔の部位（鼻や目など）による影を顔の片側半分（図中の斜線部分１００ａ）に作っている。また、直接光ではなく、拡散光や間接光であっても、顔の片側半分に影が作れていれば、その効果は何ら変わりない。

第２の照明部１０３は、カメラ１０１の下方から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。図４に示すように、第１の照明部１０２の光軸とカメラ１０１の光軸とのなす角度が４５度で設置されているが、たとえば、３０度以上６０度以下のような条件で設置されていてもよい。すなわち、認識対象者１００の顔に向けて直接光が照射されていればよい。

また、直接光ではなく、拡散光や間接光であってもよいが、第１の照明部１０２と第２の照明部１０３とは同一の種類の光でなくてはならない。さらに、第１の照明部１０２の照度１Ａと第２の照明部１０３の照度２Ａとの関係は、下記式（１）を満たさなければならない。
１Ａ≧２Ａ（１）
これら２つの照明部（第１の照明部１０２、第２の照明部１０３）によって、特に第１の照明部１０２によって、認識対象者１００の顔画像の片側半分に影が作られることになるが、この影が顔の個人ごとに凹凸情報をよく表現しており、個人差が強調され、認識率が向上する。

また、第２の照明部１０３によって、第１の照明部１０２が認識対象者１００の顔に影を作りすぎないように、その影響を和らげている。すなわち、第１の照明部１０２のみでは、認識時と登録時の認識対象者１００とカメラ１０１との距離の違いにより、顔の影の作られ方が異なるが、第２の照明部１０３を用いることにより、その微妙な違いによる認識率の低下が軽減される。

また、認識時の人間の顔と登録時の人間の顔とが、カメラ１０１との距離の違いや左右方向のずれが発生しないように、人間の立ち位置を固定したり、登録時の顔画像の大きさを丸印などで表示させるガイダンス機能を採用する場合には、顔の影の作られ形が異ならないため、第２の照明部１０３を省略してもよい。

さらに、認識対象者１００の顔に照射する第１の照明部１０２の照度１Ａと第２の照明部１０３の照度２Ａとの合計値をＢルックス（ｌｘ）、第１の照明部１０２と第２の照明部１０３を用いたときの認識対象者１００の顔に照射している外光などの照度をＣ（ｌｘ）とすると、
１Ａ＋２Ａ＝Ｂ＞Ｃ（２）
の関係が成り立てば、たとえば、認識対象者１００の後方上にある蛍光灯などの天井照明の影響を軽減できる。
また、第１の照明部１０２と第２の照明部１０３の合計した照度Ｂ（ｌｘ）は、入力される顔画像が飽和状態にならないような範囲で規定される。

なお、本実施の形態では、第１の照明部１０２および第２の照明部１０３は、常時点灯していることを想定しているが、認識対象者１００が本装置に近づいてきたかどうかを感知し、近づいた場合のみ第１の照明部１０２および第２の照明部１０３を点灯させてもよい。
この場合には、たとえば、赤外線センサなどの人間感知器を別途設けることにより実現可能であり、また、カメラ１０１からの入力画像を用いても実現可能である。

次に、処理部１０５について説明する。処理部１０５は、たとえば、コンピュータによって実現可能であり、機能を動作させるために、ハードディスク、ＣＤ−ＲＯＭ、ＭＤ、または、ＦＤなどの記憶媒体に、この機能を実現するためのプログラムを記憶させておく。

なお、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、ＩＤ番号などの個人情報の各情報が登場してくる。そして、認識データというときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報というときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。

以下、処理部１０５の具体的な構成例について、図１を参照して詳細に説明する。処理部１０５は、画像入力手段としての画像入力部１０６、特徴量抽出手段としての特徴量抽出部１０７、認識手段としての認識部１０８、認識対象者１００のＩＤ番号に対応させて基準の特徴量があらかじめ登録（記憶）されている特徴量登録手段としての登録情報保持部１０９、認識部１０８の認識率が所定値以下に低下したとき、そのとき入力された顔画像から得られた特徴量を新たな基準の特徴量として登録情報保持部１０９へ追加登録する特徴量追加手段としての登録情報追加部１１０、および、テンキー部１０４から入力されたＩＤ番号を処理する番号入力処理部１１１から構成されている。

画像入力部１０６は、カメラ１０１から顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、特徴量抽出部１０７に送る。
特徴量抽出部１０７は、画像入力部１０６から得られた認識対象者１００の顔画像を用いて、濃淡情報あるいは部分空間情報などの特徴量を抽出するもので、たとえば、図５に示すように、顔領域検出部１０７Ａ、顔部品検出部１０７Ｂ、および、特徴量生成部１０７Ｃからなり、以下、詳細に説明する。

顔領域検出部１０７Ａは、カメラ１０１で入力された顔画像から顔の領域を検出する。顔領域検出部１０７Ａにおける顔領域の検出方法は、たとえば、あらかじめ用意されたテンプレートと画像中を移動させながら相関値を求めることにより、最も高い相関値をもった場所を顔領域とする。その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔領域検出手段でもよい。

顔部品検出部１０７Ｂは、検出された顔領域の部分の中から、目、鼻の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−II，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。

特徴量生成部１０７Ｃは、検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。

また、認識部１０８で相互部分空間法を用いる場合には、下記に示す手順で特徴量を生成する。なお、相互部分空間法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である。

認識方法として相互部分空間法を用いるときは、上記ｍ×ｎ次元の情報を特徴ベクトルとして算出した後、特徴ベクトルの相関行列（または、共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。

本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルの行列Φを求める。たとえば、入力画像を特徴量抽出部１０７によって処理して得られた時系列的な顔画像データから特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。この部分空間は、人物の同定を行なうための認識辞書として利用する。たとえば、あらかじめ登録しておいて、それを辞書として登録しておけばよい。

また、後で述べるように、部分空間自身を認識を行なうための入力データとしてもよい。したがって、部分空間を算出した結果は、認識部１０８および登録情報保持部１０９に送られる。

認識部１０８は、登録情報保持部１０９に蓄えられた認識データ（部分空間）と特徴量抽出部１０７で得られた特徴量（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１に写っている認識対象者１００が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。

また、カードやＩＤ番号、暗証番号、鍵などを用いて、顔画像による認証を行なう場合には、それぞれの人物のカードや番号などの個人情報に対応する認識データとの類似度を計算し、設定した閾値と比較し、その閾値を越えた場合に、その人物と同定する。

これらカードやＩＤ番号、暗証番号、鍵など入力する手段が必要であるが、たとえば、カードならＩＣカード、ＩＤカード、無線カードなどを用いることで実現できる。ＩＤ番号や暗証番号を用いる場合は、キー入力手段を設ければよい。ＩＤ番号や暗証番号を用いる場合は、後述するテンキー部１０４および番号入力処理部１１１などのキー入力手段を設ければよい。

認識の方法としては、特徴量抽出部１０７の情報を用いる場合は、部分空間法や複合類似度法などを用いる。
ここで、相互部分空間法について説明する。この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。

入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。

認識部１０８は、図６に示すフローチャートのように動作する。まず、認識部１０８は、認識作業を行なうか、同定作業を行なうかによって動作が異なる（ステップＳＴ１）。同定動作を行なう場合は、まず対象とする認識対象者のＩＤ番号を読込む（ステップＳＴ２）。次に、対象とするＩＤ番号に対応した登録情報（部分空間）を登録情報保持部１０９から読出す（ステップＳＴ３）。

次に、上述したように、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ４）。次に、その類似度をあらかじめ設定されている閾値と比較し（ステップＳＴ５，ＳＴ６）、同定結果を出力する（ステップＳＴ７）。

認識作業を行なう場合、認識対象となる登録情報を全て登録情報保持部１０９から読出す（ステップＳＴ８）。そして、それぞれの登録情報との類似度を計算する（ステップＳＴ９）。次に、計算された類似度の中から最大のものを選択し（ステップＳＴ１０）、それを認識結果として出力する（ステップＳＴ１２）。

なお、図６の破線で囲んだステップＳＴ１１のように、最大類似度を閾値判定することによって、認識結果が正しいかどうかを検証することもできる（ステップＳＴ１３）。たとえば、類似度があまりに低い場合には、どの認識対象でもないと判断することもできる。

登録情報保持部１０９は、認識対象者を同定するために利用する部分空間（または、相関行列など）や、登録の際の時刻、日時、場所などの状況情報などを蓄積できる。なお、画像入力データや抽出した特徴量などでもよい。
本実施の形態では、部分空間を保持するだけでなく、部分空間を計算するための前段階の相関行列も保持する形態での説明を行なう。
登録情報保持部１０９は、１人の人物、または、あるＩＤ番号に対応して、１つの認識データを保持する。部分空間は、その取得された時間などの付帯情報とともに記憶される。

次に、登録情報追加部１１０について説明する。登録情報追加部１１０は、認識部１０８における認識率が所定値以下に低下した場合、それを検出して、そのとき入力された顔画像から得られる認識データ（特徴量）を新たな認識データ（基準の特徴量）として登録情報保持部１０９に追加登録する処理を行なう。

すなわち、登録情報追加部１１０は、まず、認識部１０８における認識率が所定値以下に低下したか否か、すなわち、この例では、たとえば、認識部１０８において計算された類似度が判定用基準値よりも低下したことを検出する。次に、登録情報追加部１１０は、計算された類似度が判定用基準値よりも低下したことを検出すると、そのときの特徴量抽出部１０７により抽出された特徴量を新たな基準の特徴量として登録情報保持部１０９に追加登録するものである。

上記類似度低下の判定用基準値としては、あらかじめ認識データ追加判定用レベルを設定しておき、この認識データ追加判定用レベルと計算された類似度とを比較し、計算された類似度がこの認識データ追加判定用レベルよりも低下した場合に、認識データ（基準の特徴量）を追加する必要があると判定する。

また、上記認識データ追加判定用レベル（Ｌａｄｄ）と認識部１０８における認識用閾値（Ｌｒｅｃ）との関係は、下記式（５）を満たさなければならない。
Ｌａｄｄ≧Ｌｒｅｃ（５）
このように、基準の特徴量を複数保持する理由として、ある１人の人物に対応した複数の部分空間を同時に、認識部１０８に渡して認識を行なうことができ、立ち位置による顔画像の変動や顔自体の変動、たとえば、髪型、眼鏡の有無、髭、化粧度合いなどの変化による類似度の低下を軽減することができるためである。

次に、テンキー部１０４および番号入力処理部１１１について説明する。
テンキー部１０４は、ＩＤ番号（あるいは、暗証番号など）を用いて顔画像による認証を行なう場合に、それぞれの人物のＩＤ番号などを入力する手段であり、番号入力処理部１１１は、テンキー部１０４により入力されたＩＤ番号を処理する手段である。

テンキー部１０４は、たとえば、図７（ａ）に示すように、カメラ１０１の右下に配置されており、これにより、ＩＤ番号を入力する人間の手が顔画像の入力の妨げにならないという効果がある。

なお、テンキー部１０４の配設位置は、図７（ａ）に限らない。たとえば、図７（ｂ）に示すように、カメラ１０１の真下、すなわち、カメラ１０１と第２の照明部１０３との間、あるいは、図７（ｃ）に示すように、第２の照明部１０３の下側、さらには、図７（ｄ）に示すように、第２の照明部１０３の下側に各キーが一列に配設されていても、その効果は何ら変わらない。

また、図８（ａ）〜（ｄ）は、図７（ａ）〜（ｄ）にモニタなどの表示部１２３を追加した場合の配設位置の関係を示している。図８（ａ）〜（ｄ）に示すように、モニタなどの表示部１２３を配置することで、カメラ１０１にて撮影されている人間の顔画像を表示することが可能となり、さらに、認識していない時間は、何らかの情報を表示することも可能である。

次に、認識対象者１００のＩＤ番号を用いて顔画像による認証を行なう場合について、テンキー部１０４の入力方法および番号入力処理部１１１の処理方法と顔画像の認識方法との関係について詳細に説明する。

たとえば、人間の顔画像がない場合には、テンキー部１０４により入力されたＩＤ番号を、番号入力処理部１１１において無効とすることで、認識部１０８が動作しないようにしておく。これにより、いたずらや不審者を誤認識することなく、さらに抑制の効果も生じる。

以下、その場合の具体的な処理について、図９に示すフローチャートを参照して説明する。なお、図９のフローチャートは、主に認識部１０８の処理の流れを示している。

テンキー部１０４によりＩＤ番号が入力されると（ステップＳＴ２１）、認識部１０８は、カメラ１０１からの入力画像が存在するか否かを判定する（ステップＳＴ２２）。この判定により入力画像（顔画像）が存在しなければ、認識部１０８は、上記ステップＳＴ２１に戻り、上記動作を繰り返す。すなわち、テンキー部１０４からＩＤ番号が入力されても、カメラ１０１からの入力画像が存在しない場合は、いたずらや誤動作などとみなして、入力されたＩＤ番号を無効とするものである。

さて、ステップＳＴ２２において、入力画像（顔画像）が存在すれば、認識部１０８は、テンキー部１０４からのＩＤ番号は有効とし、そのＩＤ番号に対応した登録情報（部分空間）を登録情報保持部１０９から読出す（ステップＳＴ２３）。次に、認識部１０８は、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ２４）。

次に、認識部１０８は、ステップＳＴ２４で求めた類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ２５，２６）。この比較の結果、［類似度＞閾値］であれば、認識部１０８は、認識結果を出力する（ステップＳＴ２７）。また、［類似度＞閾値］でなければ、認識部１０８は、認識失敗を出力する（ステップＳＴ２８）。

また、テンキー部１０４にてＩＤ番号が入力され始めたら、人間の顔画像がある場合には、顔画像の入力を開始することで、顔画像の入力時間を短縮することができ、さらに、認識までの時間も短縮することができるため、利用者への心理的な時間短縮効果にもつながる。

以下、その場合の具体的な処理について、図１０に示すフローチャートを参照して説明する。なお、図１０のフローチャートは、基本的には図９のフローチャートと同様であるが、異なる点は、ステップＳＴ２２において、入力画像（顔画像）が存在する場合、カメラ１０１からの顔画像の入力（取込み）を開始するステップＳＴ２９が追加された点にあり、その他は図８と同様であるので、説明は省略する。

さらに、テンキー部１０４の入力において、入力されたＩＤ番号の１桁ごとに、それぞれの人物のＩＤ番号などの登録情報を絞り込んでいき、最終的に特定のＩＤ番号を選択する方法も考えられる。この場合、たとえば、ＩＤ番号が４桁の場合には、４桁目の番号が入力された段階で、登録情報保持部１０９内の登録情報を例えば１／１０程度に絞り込み、さらに、３桁目の番号が入力された段階で、例えば１／１００程度に絞り込む、というように逐次登録情報を絞り込みながら選択していくことで、認識までの時間を短縮することが可能となる。

以下、その場合の具体的な処理について、図１１に示すフローチャートを参照して説明する。なお、図１１のフローチャートは、主に認識部１０８の処理の流れを示している。

テンキー部１０４によりＩＤ番号の４桁目が入力されると（ステップＳＴ３１）、認識部１０８は、カメラ１０１からの入力画像が存在するか否かを判定する（ステップＳＴ３２）。この判定により入力画像（顔画像）が存在しなければ、認識部１０８は、上記ステップＳＴ３１に戻り、上記動作を繰り返す。ステップＳＴ３２において、入力画像（顔画像）が存在すれば、認識部１０８は、まず、テンキー部１０４からのＩＤ番号の４桁目に基づき、例えば、登録情報保持部１０９内の登録情報を１／１０程度に絞り込む。さらに、３桁目が入力された段階で、認識部１０８は、例えば、１／１０程度に絞り込まれた登録情報保持部１０９内の登録情報を１／１００程度に絞り込む。認識部１０８は、上記のような登録情報の絞込み処理を、ＩＤ番号の１桁目が入力されるまで繰り返す（ステップＳＴ３３）。

ＩＤ番号の１桁目が入力されると（ステップＳＴ３４）、認識部１０８は、４桁のＩＤ番号を確定する（ステップＳＴ３５）。認識部１０８は、その確定したＩＤ番号に対応した登録情報（部分空間）を、登録情報保持部１０９内の絞り込んだ登録情報から選択して読出す（ステップＳＴ３６）。次に、認識部１０８は、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ３７）。

次に、認識部１０８は、ステップＳＴ３７で求めた類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ３８，３９）。この比較の結果、［類似度＞閾値］であれば、認識部１０８は、認識結果を出力する（ステップＳＴ４０）。また、比較の結果、［類似度＞閾値］でなければ、認識部１０８は、認識失敗を出力する（ステップＳＴ４１）。

次に、第２の実施の形態について説明する。
図１２は、第２の実施の形態に係る顔画像認識装置の構成を概略的に示すものである。第２の実施の形態は、前述した第１の実施の形態に対し、第１の照明部１０２および第２の照明部１０３を削除するとともに、図１３に詳細を示すように、テンキー部１０４の内部、たとえば、各キーが矩形状に配設されたテンキー部１０４内の中心部にカメラ１０１を配設した点が異なり、その他は第１の実施の形態と同様であるので、説明は省略する。

第１の照明部１０２および第２の照明部１０３が削除されているのは、外光照明が安定している場所に設置した場合であり、この場合には外光照明の変動による性能への影響がないためであり、装置としての小形化も実現できる。もちろん、第１の照明部１０２および第２の照明部１０３が設置されていてもかまわない。

また、テンキー部１０４内にカメラ１０１を配置した場合、認識対象である人間に対してカメラの存在を意識させない効果が生じるとともに、装置としての小形化が可能となる。

次に、第３の実施の形態について説明する。
第３の実施の形態は、ＩＤ番号が１桁入力されるごとに絞り込んだ登録情報に対する認識処理を行うものである。上記第１の実施の形態では、ＩＤ番号が１桁入力されるごとに、登録情報を絞り込む動作について説明したが、第３の実施の形態では、ＩＤ番号が１桁入力されるごとに、登録情報を絞り込み、さらに、絞り込んだ登録情報に対する認識処理を実行するものである。

なお、第３の実施の形態が適用される顔画像認識装置の構成は、上記第１の実施の形態、或は、第２の実施の形態で説明した顔画像認識装置と同様であるため、詳細な説明を省略する。

以下、第３の実施の形態に係る第１の動作例について説明する。図１４は、第３の実施の形態に係る第１の動作例を説明するためのフローチャートである。なお、図１４のフローチャートは、主に認識部１０８の処理の流れを示している。また、以下の説明では、ＩＤ番号が３桁の番号で与えられているものとして説明する。

テンキー部１０４により１つ目のＩＤ番号が入力されると（ステップＳＴ５１）、認識部１０８は、カメラ１０１からの入力画像が存在するか否かを判定する（ステップＳＴ５２）。この判定により入力画像（顔画像）が存在しなければ、認識部１０８は、ステップＳＴ５１に戻り、上記動作を繰り返す。すなわち、テンキー部１０４からＩＤ番号が入力されても、カメラ１０１からの入力画像が存在しない場合、認識部１０８は、いたずらや誤動作などとみなして、入力されたＩＤ番号を無効とするものである。

さて、ステップＳＴ５２において、入力画像（顔画像）が存在すれば、認識部１０８は、テンキー部１０４からのＩＤ番号を有効とする。テンキー部１０４にて１つ目の番号が入力された時、すなわち、ＩＤ番号の上位から１桁目の番号が入力された時、認識部１０８は、入力された番号が該当する桁の登録番号に対応するすべての登録情報を絞り込む（ステップＳＴ５３）。次に、認識部１０８は、絞り込んだ登録情報を登録情報保持部１０９から読み出す（ステップＳＴ５４）。認識部１０８は、読み出した登録情報に基づいて部分空間法などにより認識を行うため、各登録情報の部分空間と入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する。絞り込んだ登録情報に対する類似度を全て算出すると、認識部１０８は、算出した類似度のうちで最大となる類似度（最大類似度）を算出する（ステップＳＴ５５）。

次に、認識部１０８は、ステップＳＴ５５で求めた最大類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ５６、５７）。これにより最大類似度＞閾値であれば、認識部１０８は、入力された顔画像と最大類似度の登録情報との照合が成功したものと判断し、当該登録情報に基づいて認識結果を出力する（ステップＳＴ５８）。

また、最大類似度＞閾値でなければ、認識部１０８は、次のテンキー入力を待つ。この状態でＩＤ番号を確定する確定キーの入力がなく、かつ、テンキー部１０４により次の番号（ＩＤ番号の上位から２桁目の番号）が入力された際（ステップＳＴ５９）、認識部１０８は、次に入力された番号に基づいて、前回、絞り込んだ登録情報の中（上位から１桁目の番号で絞り込んだ登録情報）から、さらに、登録情報を絞り込む（ステップＳＴ５３）。

登録情報を絞り込むと、認識部１０８は、前回同様、絞り込んだ登録情報を登録情報保持部１０９から読み出す（ステップＳＴ５４）。認識部１０８は、部分空間法などにより認識を行うため、各登録情報の部分空間と入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する。この際、登録情報が前回よりも絞り込まれるので、認識部１０８は、前回とは異なる認識方法を用いて、登録情報と入力ベクトル又は入力部分空間との類似度を算出するようにしても良い。また、認識部１０８は、上記特徴量抽出部１０７による入力ベクトルまたは入力部分空間の抽出処理を再度行うようにしても良い。

絞り込んだ登録情報に対する類似度を全て算出すると、認識部１０８は、算出した類似度のうちで最大となる類似度（最大類似度）を算出する（ステップＳＴ５５）。に、認識部１０８は、ステップＳＴ５５で求めた最大類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ５６、５７）。この際、登録情報が前回よりも絞り込まれるので、最大類似度と比較される閾値は、前回の閾値よりも低く設定するようにしても良い。

上記の比較により、最大類似度＞閾値であれば、認識部１０８は、入力された顔画像と最大類似度の登録情報との照合が成功したものと判断し、当該登録情報に基づいて認識結果を出力する（ステップＳＴ５８）。

また、最大類似度＞閾値でなければ、認識部１０８は、テンキー部１０４による次の入力を待つ。上記確定キーが入力されずに、テンキー部により次の番号（ＩＤ番号の上位から３桁目の番号）が入力された場合（ステップＳＴ５９）、認識部１０８は、入力された上位から３桁目の番号に基づいて、２回目に絞り込んだ登録情報の中（上位から１桁目と２桁目の番号から絞り込んだ登録情報）から、さらに、該当する登録情報を絞り込む（ステップＳＴ５３）。

登録情報を絞り込むと、認識部１０８は、前回同様、絞り込んだ登録情報を登録情報保持部１０９から読み出す（ステップＳＴ５４）。絞り込んだ登録情報を読み込むと、認識部１０８は、各登録情報の部分空間と入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する。この際、登録情報が前回よりもさらに絞り込まれるので、認識部１０８は、前回とは異なる認識方法を用いて、登録情報と入力ベクトル又は入力部分空間との類似度を算出するようにしても良い。また、認識部１０８は、上記特徴量抽出部１０７による入力ベクトルまたは入力部分空間の抽出処理を再度行うようにしても良い。

絞り込んだ登録情報に対する類似度を全て算出すると、認識部１０８は、算出した類似度のうちで最大となる類似度（最大類似度）を算出する（ステップＳＴ５５）。認識部１０８は、ステップＳＴ５５で求めた最大類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ５６、５７）。この際、登録情報が前回よりも絞り込まれるので、最大類似度と比較される閾値は、前回の閾値よりも低く設定するようにしても良い。

また、最大類似度＞閾値でなければ、認識部１０８は、テンキー部１０４による次の入力を待つ。この状態のままでＩＤ番号の入力完了を示す確定キーが入力されると、認識部１０８は、認識が失敗したものと判断し、認識失敗を出力する。また、テンキー部１０４により入力した番号を取消す取消キーが入力された場合、認識部１０８は、上記ステップＳ５１へ戻り、上記のような処理を繰返し実行する。

なお、上記の説明では、ＩＤ番号が３桁の場合について説明したが、ＩＤ番号が３桁以外の場合であっても、全てのＩＤ番号が確定されるまで、上記ステップＳ５１〜Ｓ５９の処理を実行することにより、上記同様な処理が可能である。
また、認識に失敗した場合に、登録情報追加部１１０で説明したように、そのときの顔画像から得られる認識データを、新たな認識データ（登録情報）として登録情報保持部１０９に保存させることができる。詳しい処理については、同様であるので省略する。

上記のように、第３の実施の形態に係る第１の動作例によれば、ＩＤ番号のうちの１つの番号が入力されるごとに、認識処理を実行し、利用者によるＩＤ番号の入力の途中で、認識に成功した場合、その時点で認識結果を出力するようにしたものである。これにより、登録者に対して、認識結果が得られるまでの時間を短縮することができ、利用者への心理的な時間短縮効果にもつながる。

次に、第３の実施の形態に係る第２の動作例について説明する。図１５は、第３の実施の形態に係る第２の動作例を説明するためのフローチャートである。なお、図１５のフローチャートは、主に認識部１０８の処理の流れを示している。

図１５に示すステップＳＴ７１〜ＳＴ７７、ＳＴ７９は、上記ステップＳＴ５１〜ＳＴ５７、ＳＴ５９と同様である。このため、ステップＳＴ７１〜ＳＴ７７、ＳＴ７９については、詳細な説明を省略する。

すなわち、上記ステップＳＴ７７にて、最大類似度＞閾値である場合、認識部１０８は、入力された顔画像と最大類似度の登録情報との照合が成功したものと判断する。この判断結果に基づき、認識部１０８は、入力された顔画像との照合が成功した登録情報に基づいてＩＤ番号を判定する。認識部１０８は、入力された顔画像との照合が成功した登録情報から判定したＩＤ番号（認識ＩＤ番号）を図示しないメモリ等に保持する。

照合が成功した登録情報から判定したＩＤ番号をメモリに保持すると、認識部１０８は、ＩＤ番号の入力完了を示す確定キーの入力を待つ（ステップＳＴ８０）。この状態で上記確定キーが入力されると、認識部１０８は、利用者により入力されたＩＤ番号（入力ＩＤ番号）を確定する（ステップＳＴ８１）。

これにより利用者が入力したＩＤ番号が確定すると、認識部１０８は、メモリに保持している認識ＩＤ番号と利用者が入力した入力ＩＤ番号とを比較する（ステップＳＴ８３）。
この比較の結果、認識ＩＤ番号と入力ＩＤ番号とが一致すると判断した場合、認識部１０８は、ＩＤ番号に基づく顔画像の認識が成功したと判断し、認識結果を出力する。また、認識ＩＤ番号と入力ＩＤ番号が一致しないと判断した場合、認識部１０８は、ＩＤ番号に基づく顔画像の認識が失敗したと判断し、認識失敗を出力する。

また、認識に失敗した場合に、登録情報追加部１１０で説明したように、そのときの顔画像から得られる認識データを、新たな認識データ（登録情報）として登録情報保持部１０９に保存させることができる。詳しい処理については、上記同様であるので省略する。

上記のように第３の実施の形態に係る第２の動作例によれば、ＩＤ番号のうちの１つの番号が入力されるごとに、認識処理を実行し、ＩＤ番号の入力の途中で、認識に成功した場合、認識に成功した登録情報（最大類似度となった登録情報）から得られるＩＤ番号を保持しておき、利用者によるＩＤ番号の入力完了後に、入力されたＩＤ番号と、認識に成功した登録番号から得られたＩＤ番号とを比較し、両者のＩＤ番号が一致した場合には認識結果を出力し、両者のＩＤ番号が一致しなかった場合には認識が失敗したことを出力するようにしたものである。これにより、認識処理におけるセキュリティ性能の向上が実現できる。

上記のように、第３の実施の形態によれば、認識対象者がＩＤ番号の各桁を入力するごとに、登録情報を絞り込んで認識処理を行う。これにより、認識対象者により入力されるＩＤ番号に基づいて認識処理を行う場合、ＩＤ番号の入力開始から認識結果が得られるまでに要する時間が実質的に短縮できる。

さらに、認識対象者がＩＤ番号の全ての桁を入力する前に特定の登録情報との照合に成功した場合、照合に成功した特定の登録情報を記憶しておき、認識対象者がＩＤ番号の入力を完了した際に、認識対象者が入力したＩＤ番号と認識結果として得られた登録情報のＩＤ番号とが一致するか否かを判定する。これにより、ＩＤ番号の入力が完了した時に、ＩＤ番号が一致するか否かを判断するだけで、認識が成功したか失敗したかを判定でき、ＩＤ番号の入力完了から最終的な判定結果が得られるまでに要する時間が短縮できる。

次に、第４の実施の形態について説明する。
第４の実施の形態は、第１の実施の形態で説明した顔画像認識装置を、通行者の顔画像を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。

なお、ここでは、第４の実施の形態の例として、第１の実施の形態で説明した顔画像認識装置を通行制御装置に適用した場合について説明するが、第２の実施の形態、或は第３の実施の形態で説明した顔画像認識装置を通行制御装置に適用することも可能である。

図１６は、第４の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退場管理を行なうもので、訪問者（通行者）の顔画像を認識して、その認識結果に基づき重要施設の入退場用ドアの開閉制御を行なうものであり、カメラ１０１、第１の照明部１０２、第２の照明部１０３、テンキー部１０４、処理部１０５、認識部１０８の認識結果に応じて重要施設（訪問先）２０１の入退場用ドア２０２の開閉制御を行なう通行制御手段（あるいは、ドア制御手段）としてのドア制御部１１２、および、画像記録手段としての画像記録部１１３から構成されている。

なお、図１６において、ドア制御部１１２および画像記録部１１３以外は図１の顔画像認識装置と同じ構成であるので、同一符号を付して、その説明は省略する。

また、テンキー部１０４には、図１７（ａ）、（ｂ）に示すように、“０”〜“９”の数字と指示キー及び取消キーが設けられているが、図１７（ｃ）、（ｄ）に示すように、別途、呼出しボタン１０４ａが設けても良い。呼出しボタン１０４ａは、認識部１０８の認識結果が、たとえば、図６のステップＳＴ６において、求めた類似度が閾値よりも小さかった場合に、訪問先２０１の内部の住人を呼出す場合に使用するものである。

なお、図１７（ａ）は、各キーが矩形状に配設されたテンキー部１０４の場合を示し、図１７（ｂ）は、各キーが列状（一列）に配設されたテンキー部１０４の場合を示している。

認識部１０８は、たとえば、図６のステップＳＴ６において、求めた類似度が閾値よりも大きかった場合、あるいは、ステップＳＴ１１において、求めた類似度が閾値よりも大きかった場合、ドア制御部１１２に「ドア開」の信号を出力し、求めた類似度が閾値よりも小さかった場合、ドア制御部１１２に「ドア閉」の信号を出力する。

ドア制御部１１２は、認識部１０８から「ドア開」の信号を受取ると、入退場用ドア２０２を開状態に制御して、認識対象者（この場合は訪問者）１００の入場を許可し、「ドア閉」の信号を受取ると、入退場用ドア２０２を閉状態に保持して、訪問者１００の入場を拒否する。

画像記録部１１３は、認識部１０８において、入力された顔画像が認識できなかった場合に、その入力された顔画像を記録するもので、たとえば、ビデオテープレコーダやハードディスク装置などが用いられる。このように、入力された顔画像を記録することで、訪問者の情報を整理したり、不審者の顔画像を調査したりすることが可能となる。

次に、たとえば、マンションのエントランスなどに本装置を設置した例について説明する。この場合には、テンキー部１０４において、訪問先の識別情報として部屋番号を入力することで、登録情報を絞り込むことが可能となり、認識部１０８にて認識できれば入退場用ドア２０２を解錠し、認識できなければ呼出しボタン１０４ａにて目的の訪問先２０１の住人を呼出すこともできる。

以下、その場合の具体的な処理について、図１８に示すフローチャートを参照して説明する。なお、図１８のフローチャートは、主に認識部１０８の処理の流れを示している。また、この例の場合、登録情報保持部１０９には、１つの部屋番号に対応して複数（たとえば、家族全員）の登録情報が保持されているものとする。

テンキー部１０４により部屋番号が入力されると（ステップＳＴ９１）、カメラ１０１からの入力画像が存在するか否かを判定し（ステップＳＴ９２）、入力画像（顔画像）が存在しなければステップＳＴ５１に戻り、上記動作を繰り返す。ステップＳＴ９２において、入力画像（顔画像）が存在すれば、テンキー部１０４からの部屋番号に対応した複数の登録情報（部分空間）を登録情報保持部１０９から読出す（ステップＳＴ９３）。

次に、登録情報保持部１０９から読出した複数の登録情報と入力画像との類似度をそれぞれ計算する（ステップＳＴ９４）。次に、計算された各類似度の中から最大の類似度を選択する（ステップＳＴ９５）。次に、選択した類似度をあらかじめ設定されている閾値と比較し（ステップＳＴ９６，９７）、［類似度＞閾値］であれば、ドア制御部１１２に「ドア開」の信号を出力し（ステップＳＴ９８）、［類似度＞閾値］でなければ、ドア制御部１１２に「ドア閉」の信号を出力する（ステップＳＴ９９）。

なお、上記したように部屋番号ではなく、電話番号などの訪問先２０１の住人固有の番号を入力することにより、それを部屋番号に変換する方法を用いても、その効果は何ら変わらない。

また、たとえば、マンションのエントランスなどにおいて、物理鍵で入退場用ドア２０２が解錠、施錠する場合には、図１９に示すように、物理鍵１１４には、通常、各部屋共通の溝部１１５と部屋個別の溝部（訪問先固有の識別部）１１６が存在する。そこで、物理鍵１１４が挿入された際に、部屋個別の溝部１１６を認識することで、対応する部屋番号を認識することが可能となり、テンキー部１０４の代替えとすることができる。

以下、その場合の具体的な処理について、図２０に示すフローチャートを参照して説明する。なお、図２０のフローチャートは、基本的には図１８のフローチャートと同様であるが、ステップＳＴ１０１の処理のみが異なり、その他の図２０のステップＳ１０２〜Ｓ１０９は、図１８のステップＳ９２〜Ｓ９９と同様である。図２０に示すステップＳＴ１０１では、入退場用ドア２０２の錠に物理鍵１１４が挿入されると、部屋個別の溝部１１６を認識することで、対応する部屋番号を認識する。これ以降の処理は図１８と同様であるので、説明は省略する。
なお、テンキー部１０４の代りに無線カードリーダなどの入力手段を用いても、その効果は何ら変わらない。

このように、第４の実施の形態によれば、第１の実施の形態、第２の実施の形態、或は第３の実施の形態で説明した顔画像認識装置を用いて通行者の通行（訪問者の入退場）を制御することができる。

以上説明したように、上記各実施の形態によれば、テンキー部を認識対象者から見てカメラの右下や真下に配設することで、ＩＤ番号や暗証番号を入力する人間の手が顔画像の入力の妨げにならないという効果が得られる。また、カメラをテンキー部の内部に設置することで、認識対象である人間に対してカメラの存在を意識させないという効果が得られる。

また、テンキー部でのＩＤ番号や暗証番号の入力開始時に顔画像を収集したり、逐次登録情報を選択して行くことで、顔画像の認識時間を著しく短縮できる。さらに、入力された顔画像を認識できなかった際、その入力された顔画像を記録することで、訪問者の情報を整理したり、不審者の顔画像を調査したりすることが可能となる。

本発明の第１の実施の形態に係る顔画像認識装置の構成を概略的に示す構成図。第１の照明部とカメラとの関係を示すもので、（ａ）図は横から見た側面図、（ｂ）は上から見た上面図。第１の照明部による顔画像の例を示す図。第２の照明部とカメラとの関係を示す側面図。特徴量抽出部の構成を概略的に示すブロック図。認識部の認識処理を説明するためのフローチャート。テンキー部の設置例を示す正面図。表示部を有するユニットの設置例を示す正面図。第１の実施の形態に係る認識部の認識処理を説明するためのフローチャート。第１の実施の形態に係る認識部の認識処理を説明するためのフローチャート。第１の実施の形態に係る認識部の認識処理を説明するためのフローチャート。本発明の第２の実施の形態に係る顔画像認識装置の構成を概略的に示す構成図。テンキー部に対するカメラの設置状態を示す平面図。第３の実施の形態に係る認識部の認識処理を説明するためのフローチャート。第３の実施の形態に係る認識部の認識処理を説明するためのフローチャート。本発明の第４の実施の形態にかかる通行制御装置の構成を概略的に示す構成図。テンキー部の構成を説明する平面図。第４の実施の形態に係る認識部の認識処理を説明するためのフローチャート。物理鍵の構成を模式的に示す構成図。第４の実施の形態に係る認識部の認識処理を説明するためのフローチャート。

符号の説明

１０１…カメラ（画像入力手段）、１０２…第１の照明部（第１の照明手段）、１０３…第２の照明部（第２の照明手段）、１０４…テンキー部（キー入力手段）、１０５…処理部、１０６…画像入力部（画像入力手段）、１０７…特徴量抽出部（特徴量抽出手段）、１０８…認識部（認識手段）、１０９…登録情報保持部（特徴量登録手段）、１１０…登録情報追加部（特徴量追加手段）、１１１…番号入力処理部、１１２…ドア制御部（ドア制御手段、通行制御手段）、１１３…画像記録部（画像記録手段）、１１４…物理鍵、１１５…各部屋共通の溝部、１１６…部屋個別の溝部（訪問先固有の識別部）、２０１…重要施設（訪問先）、２０２…入退場用ドア。

Claims

ドアを開閉制御する通行制御装置において、
認識対象者の少なくとも顔を含む顔画像を入力する画像入力手段と、
前記画像入力手段により入力された顔画像から前記認識対象者の顔の特徴量を抽出する特徴量抽出手段と、
行先の識別情報に対応する登録者の顔の特徴量を含む登録情報を記憶する特徴量登録手段と、
前記認識対象者が行先の識別情報を入力するための入力手段と、
この入力手段により入力された行先の識別情報に対応づけて前記特徴量登録手段が記憶している登録者の顔の特徴量と、前記特徴量抽出手段により抽出された前記認識対象者の顔の特徴量とを照合する認識手段と、
この認識手段により前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定された場合、前記ドアを開状態にし、前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定されなかった場合、前記ドアを閉状態にするドア制御手段と、
前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定されなかった場合、前記画像入力手段により入力された前記認識対象者の顔画像を記録する画像記録手段と、
を具備したことを特徴とする通行制御装置。
前記入力手段は、テンキーである、
ことを特徴とする前記請求項１に記載の通行制御装置。
前記行先の識別情報は、行先となる部屋番号である、
ことを特徴とする前記請求項１又は２の何れかに記載の通行制御装置。
前記入力手段は、物理鍵の溝部により行先の識別情報を認識する、
ことを特徴とする前記請求項１に記載の通行制御装置。