JP5033014B2

JP5033014B2 - 顔認証装置

Info

Publication number: JP5033014B2
Application number: JP2008033503A
Authority: JP
Inventors: 睦裕山中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-02-14
Filing date: 2008-02-14
Publication date: 2012-09-26
Anticipated expiration: 2028-02-14
Also published as: JP2009193349A

Description

本発明は、予め登録されたテンプレートと認証のために撮像された顔画像とを用いて人物を認証する顔認証装置に関し、特に、認証用の顔画像として光変調画像を用いる顔認証装置に関するものである。

本出願人は、環境光（例えば、太陽光）の影響を受けない安定した濃淡画像を取得することにより、屋外の太陽光下であっても高い認証精度が確保できる顔認証装置を既に提案している（例えば、特許文献１参照）。この従来装置では、発光ダイオードが発する赤外光を高速変調した変調光を人物の顔に照射し、ＣＣＤからなる撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光だけの顔画像（光変調画像）を取得する。さらに当該従来装置では、光変調画像から人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することにより、テンプレートに対応した人物の顔を認証する。
特開２００６−１５５４２２号公報

しかしながら、上述のように発光ダイオードが発する変調光の反射光成分には、例えば、眼鏡で正反射した反射光成分も含まれており、このように眼鏡に正反射した反射光成分によって顔器官（特に目）の特徴量を抽出することが非常に困難になってしまい、その結果、眼鏡をかけている人物の認証精度が著しく低下する虞がある。

本発明は上記事情に鑑みて為されたものであり、その目的は、眼鏡などに正反射した反射光成分が存在する場合でも認証精度の低下を抑えることができる顔認証装置を提供することにある。

請求項１の発明は、上記目的を達成するために、対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像に基づいて対象空間に存在する人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証する認証手段と、光変調画像において画素値が所定のしきい値以上となる正反射部分を検出する正反射検出手段とを備え、変調光照射手段は、対象空間に照射する変調光のパターンが可変であって、認証手段は、同一の人物が互いに異なる変調光のパターンで撮像された複数枚の光変調画像のうちで、正反射検出手段によって検出される正反射部分の大きさが最小となる光変調画像に対して、正反射検出手段で検出される正反射部分の影響を抑えるように認証処理を行うことを特徴とする。

請求項１の発明によれば、光変調画像において画素値が所定のしきい値以上となる正反射部分を正反射検出手段によって検出し、当該正反射部分の影響を抑えるように認証手段が認証処理を行うので、眼鏡などに正反射した反射光成分が存在する場合でも認証精度の低下を抑えることができる。さらに、正反射検出手段によって検出される正反射部分の大きさが最小となる光変調画像に対して認証処理を行うことで人物の顔の特徴量を容易且つ正確に抽出することが可能となり、その結果、認証精度を向上することができる。

請求項２の発明は、上記目的を達成するために、対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像に基づいて対象空間に存在する人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証する認証手段と、光変調画像において画素値が所定のしきい値以上となる正反射部分を検出する正反射検出手段とを備え、変調光照射手段は、対象空間に照射する変調光のパターンが可変であって、認証手段は、同一の人物が互いに異なる変調光のパターンで撮像された複数枚の光変調画像のうちで、人物の顔を含む領域の画素値が最も大きくなる光変調画像に対して、正反射検出手段で検出される正反射部分の影響を抑えるように認証処理を行うことを特徴とする。

請求項２の発明によれば、光変調画像において画素値が所定のしきい値以上となる正反射部分を正反射検出手段によって検出し、当該正反射部分の影響を抑えるように認証手段が認証処理を行うので、眼鏡などに正反射した反射光成分が存在する場合でも認証精度の低下を抑えることができる。さらに、複数枚の光変調画像のなかから最も信号対ノイズ比が高いと思われる光変調画像を選択して認証処理を行うことで認証精度が向上する。

請求項３の発明は、上記目的を達成するために、対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像に基づいて対象空間に存在する人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証する認証手段と、光変調画像において画素値が所定のしきい値以上となる正反射部分を検出する正反射検出手段とを備え、変調光照射手段は、対象空間に照射する変調光のパターンが可変であって、認証手段は、同一の人物が互いに異なる変調光のパターンで撮像された複数枚の光変調画像のうちで、撮像素子から出力される変調光の反射光成分を含まない画像の画素値の平均値が所定値以下のときは、正反射検出手段によって検出される正反射部分の大きさが最小となる光変調画像を選択して、正反射検出手段で検出される正反射部分の影響を抑えるように認証処理を行い、前記変調光の反射光成分を含まない画像の画素値の平均値が所定値を超えているときは、人物の顔を含む領域の画素値が最も大きくなる光変調画像を選択して、正反射検出手段で検出される正反射部分の影響を抑えるように認証処理を行うことを特徴とする。

請求項３の発明によれば、光変調画像において画素値が所定のしきい値以上となる正反射部分を正反射検出手段によって検出し、当該正反射部分の影響を抑えるように認証手段が認証処理を行うので、眼鏡などに正反射した反射光成分が存在する場合でも認証精度の低下を抑えることができる。さらに、正反射検出手段によって検出される正反射部分の大きさが最小となる光変調画像に対して認証処理を行うか、あるいは、複数枚の光変調画像のなかから最も信号対ノイズ比が高いと思われる光変調画像を選択して認証処理を行うことにより、光変調画像の特性に応じて認証精度を向上することができる。

請求項４の発明は、請求項１〜３の何れか１項の発明において、変調光照射手段は、対象空間に照射する変調光のパターンが可変であって、正反射検出手段は、同一の人物が互いに異なる変調光のパターンで撮像された複数枚の光変調画像の差分画像を求め、当該差分画像から正反射部分を抽出することを特徴とする。

請求項４の発明によれば、正反射部分が精度よく検出できる。

本発明によれば、眼鏡などに正反射した反射光成分が存在する場合でも認証精度の低下を抑えることができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。

図４は、本実施形態の顔認証装置Ａを含む集合住宅用セキュリティシステムのシステム構成例を示している。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、顔認証装置Ａの他に、ロビーインターホンＢ、警報監視盤Ｃ、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆ、システム制御盤Ｇ、テンキー装置Ｈ、各住戸に設置される住宅情報盤（図示せず）などで構成されている。

ロビーインターホンＢは、来訪者を撮像するカメラ、警報監視盤Ｃや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関Ｊの外に設置されている。来訪者がロビーインターホンＢのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンＢから警報監視盤Ｃを経由して、呼出信号並びにロビーインターホンＢのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンＢから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンＢとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンＢ及び住宅情報盤を用いて通話することができる。尚、この種のロビーインターホンＢ、警報監視盤Ｃ、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。

電気錠制御盤Ｄは、共同玄関Ｊに設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤Ｅは、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤Ｆは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Ｇは、住宅情報盤から伝送される制御指令や顔認証装置Ａの認証結果に応じて、電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人がテンキー装置Ｈを操作して当該住人に割り当てられているＩＤ番号を入力すると、顔認証装置Ａでは、テンキー装置Ｈから受け取ったＩＤ番号に対応するテンプレートを用いて当該住人の顔認証を行い、認証できればシステム制御盤Ｇに認証可の情報を伝送する。そしてシステム制御盤Ｇは、顔認証装置Ａから認証可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、顔認証装置Ａによる認証が不可であった場合、システム制御盤Ｇでは、顔認証装置Ａから認証不可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させず、エレベータ制御盤Ｅにエレベータの運転を行わせず、且つ宅配ボックス制御盤Ｆに宅配ボックスを解錠させない。尚、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。

図１（ａ）に本実施形態の顔認証装置Ａのブロック図を示す。本実施形態の顔認証装置Ａは、発光部１、発光制御部２、撮像部３、演算処理部４、テンプレートマッチング処理部５、メモリ部６を備えている。発光部１は、図１（ｂ）に示すように同一平面上で縦横に配置された複数個の発光ダイオード１ａと、これら複数の発光ダイオード１ａを個別、あるいは数個ずつに分けたグループ毎に点灯させる駆動回路（図示せず）とを有している。尚、発光ダイオード１ａは赤外光を発光するものである。発光制御部２は、駆動回路を制御し、非常に高い周波数（例えば、１０メガヘルツ）で発光ダイオード１ａを駆動させることによって、人物のいる対象空間に変調光を照射させる。すなわち、本実施形態では発光部１と発光制御部２とが変調光照射手段に相当する。

撮像部３は、赤外光に感度を有する撮像素子（例えば、ＣＣＤ＜電荷結合素子＞）と、発光制御部２から出力されるタイミング信号に基づき、発光部１の発光周期に同期して、発光時の画素信号と非発光時の画素信号とを個別に出力する信号処理回路とを有するとともに、撮像素子の受光面に赤外光を集光するレンズや、レンズと撮像素子の間に配置される絞りなども有している。演算処理部４は、信号処理回路から出力する発光時の画素信号と非発光時の画素信号とを各々ディジタル信号に変換した後、両者の差分を画素値とする光変調画像を生成する光変調画像生成処理と、光変調画像から特定の特徴を有した領域（人物の顔の領域）を抽出する領域抽出処理と、顔領域から人物の顔の特徴量（例えば、目、鼻、口などの顔器官形状の特徴に対応した情報）を抽出する特徴量抽出処理とを行うものであって、例えば、汎用のマイクロコンピュータに、上記光変調画像生成処理、領域抽出処理、特徴量抽出処理を行わせるプログラムを搭載して実現される。但し、光変調画像生成処理及び領域抽出処理については、特許文献１にも記載されているように既に周知技術であるから詳細な説明は省略する。

テンプレートマッチング処理部５は、演算処理部４の特徴量抽出処理によって抽出された特徴量と、メモリ部６に予め登録（記憶）されているテンプレートとを照合することにより、対象空間に居る人物が予め登録されている人物（本実施形態では集合住宅の住人）か否かを判断する。そして、テンプレートマッチング処理部５による処理結果、すなわち、認証結果（認証可又は認証不可）がシステム制御盤Ｇに伝送される。つまり、本実施形態では演算処理部４とテンプレートマッチング処理部５とで認証手段が構成されている。

システム制御盤Ｇは、顔認証装置Ａから受け取った認証結果が認証可であれば、電気錠制御盤Ｄに電気錠を解錠させるとともにエレベータ制御盤Ｅにエレベータを運転させ、さらに宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、顔認証装置Ａから受け取った認証結果が認証不可であれば、システム制御盤Ｇは電気錠制御盤Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆに対して何の制御も行わない。よって、予め登録されていない人物（集合住宅の住人以外の人物）が勝手に集合住宅内に侵入することを阻止できる。

ところで、発光時画像と非発光時画像の差分を画素値とする光変調画像では、撮像素子における光ショットノイズの影響が相対的に大きくなる。光ショットノイズは、ポアソン分布で記述できる揺らぎを伴い、その標準偏差は光子数の平方根に比例する。故に、光ショットノイズに対する光変調画像の信号対ノイズ比（Ｓ／Ｎ比）は、光変調画像の画素値（輝度レベル）を発光時画像の画素値と非発光時画像の画素値の和の平方根で除算することによって求めることができる。

ここで、図２（ａ）に示すように発光時画像の画素値（画素信号の振幅レベル）Ｙ１が大きく、非発光時画像の画素値Ｙ２が小さいときは両者の差分である光変調画像の画素値Ｙ３（＝Ｙ１−Ｙ２）も相当に大きくなり、発光時画像並びに非発光時画像に含まれる光ショットノイズのノイズ成分Ｎ１，Ｎ２との差も大きくなるため、Ｓ／Ｎ比は充分に大きい値となる。しかしながら、図２（ｂ）に示すように発光時画像の画素値Ｙ１が小さいか、あるいは図２（ｃ）に示すように非発光時画像の画素値Ｙ２が大きいために両者の差が小さい場合、両者の差分である光変調画像の画素値Ｙ３も相当に小さくなり、発光時画像並びに非発光時画像に含まれる光ショットノイズのノイズ成分Ｎ１，Ｎ２との差も小さくなるため、Ｓ／Ｎ比が相当に小さい値となってしまう。つまり、図２（ｄ）に示すように、環境光に対して変調光が強く（光量が大きく）なるほど、Ｓ／Ｎ比が高くなることになる。しかも、Ｓ／Ｎ比が高いほど特徴量の抽出が容易且つ正確に行えるから、結果的に、環境光に対して変調光が強く（光量が大きく）なるほど、認証精度も向上することになる。

一方、人物が装着している眼鏡に変調光が正反射する場合、変調光が強く（光量が大きく）なるほどに正反射成分も増大する。その結果、光変調画像においては、図３（ａ）に示すように人物Ｈが装着している眼鏡Ｇに正反射した反射光成分を含む部分（以下、「正反射部分」と呼ぶ。）Ｘ１１，Ｘ１２，Ｘ２１，Ｘ２２が変調光の光量に応じて大きくなって顔器官（特に目や鼻）と重なってしまい、当該顔器官の特徴量を抽出することが困難になる虞がある。

そこで本実施形態では、対象空間に照射する変調光のパターン（照射方向）を複数通りに切り換えるとともに、各々のパターンで生成され且つ同一人物を撮像した複数枚の光変調画像について、画素値が所定のしきい値以上となる正反射部分Ｘ１１，…を検出する正反射検出処理を演算処理部４で実行する。例えば、発光部１が有する全ての発光ダイオード１ａを明滅させるパターンで生成された光変調画像が図３（ａ）に示すようなものであり、一部の発光ダイオード１ａのみを明滅させる別のパターンで生成された光変調画像が図３（ｂ）に示すようなものであり、他の一部の発光ダイオード１ａのみを明滅させる別のパターンで生成された光変調画像が図３（ｃ）に示すようなものであったとすれば、正反射検出処理で検出される正反射部分Ｘ１１，…の大きさは、図３（ｂ）に示した光変調画像において最も小さくなる。そして、同一の人物が互いに異なる変調光のパターンで撮像された複数枚の光変調画像のうちで、正反射検出処理によって検出される正反射部分Ｘ１１，…の大きさが最小となる光変調画像（図３（ｂ）に示した光変調画像）に対して、演算処理部４が特徴量抽出処理を実行して特徴量を抽出するとともに、当該特徴量とテンプレートとを照合する照合処理をテンプレートマッチング処理部５で行えば、人物の顔の特徴量を容易且つ正確に抽出することが可能となり、その結果、眼鏡などに正反射した反射光成分が存在する場合でも認証精度の低下を抑えることができる。

ここで、上述したように環境光が強いために光変調画像のＳ／Ｎ比が低下するような撮像環境においては（図２（ｃ）参照）、変調光のパターンを複数通りに切り換えて生成された複数枚の光変調画像のうちで、人物の顔を含む領域の画素値が最も大きくなる光変調画像、すなわち、Ｓ／Ｎ比が最も高いと考えられる光変調画像に対して認証処理（特徴量抽出処理及び照合処理）を行うことにより、上述のような撮像環境下における認証精度を向上することができる。

尚、正反射検出処理によって検出される正反射部分Ｘ１１，…の大きさが最小となる光変調画像に対して認証処理を行うか、あるいは、人物の顔を含む領域の画素値が最も大きくなる光変調画像に対して認証処理を行うか、の何れかを演算処理部４において選択するようにしても構わない。例えば、非発光時画像の画素値の平均値が所定値を超えているときはＳ／Ｎ比を優先して後者の光変調画像を選択し、非発光時画像の画素値の平均値が所定値以下のときは正反射部分Ｘ１１，…の影響を抑えるように前者の光変調画像を選択すればよい。

ここで、正反射部分を検出する方法として、上述した画素値をしきい値と比較する方法以外に、一部の発光ダイオード１ａのみを明滅させる別のパターンで生成された光変調画像（図３（ｂ）参照）と、他の一部の発光ダイオード１ａのみを明滅させる別のパターンで生成された光変調画像（図３（ｃ）参照）との差分画像（同一位置の画素同士の画素値の差分を画素値とする画像）を求める方法がある。すなわち、互いに異なるパターンの変調光によって撮像された２枚の光変調画像の差分画像においては、正反射部分（例えば、眼鏡の部分）の画素値が他の部分に比べて極端に大きくなるから、差分画像の画素値が所定のしきい値を超えている部分を正反射部分として抽出することができる。この方法によれば、光変調画像の画素値をしきい値と比較する方法に比較して正反射部分の検出精度を高くできる。

また、図３（ｂ）に示す光変調画像と、図３（ｃ）に示す光変調画像とを合成する画像処理を演算処理部４で実行すれば、図３（ｄ）に示すように、それぞれの光変調画像に存在する正反射部分Ｘ１１，Ｘ１２，Ｘ２１，Ｘ２２を減少（削除）することができる。そして、このように正反射部分Ｘ１１，Ｘ１２，Ｘ２１，Ｘ２２を削除した光変調画像（合成画像）に対して認証処理を実行すれば、認証精度をさらに向上することができる。尚、上述のように２つの光変調画像を合成して正反射部分Ｘ１１，Ｘ１２，Ｘ２１，Ｘ２２を削除する画像処理については、従来周知であるから詳細な説明は省略する。

本発明の実施形態を示し、（ａ）は全体のブロック図、（ｂ）は発光部の概略構成図である。（ａ）〜（ｄ）は同上における光変調画像のＳ／Ｎ比の説明図である。（ａ）〜（ｄ）は同上における正反射検出処理等の説明図である。同上を用いた集合住宅用セキュリティシステムのシステム構成図である。

符号の説明

Ａ顔認証装置
１発光部（変調光照射手段）
２発光制御部（変調光照射手段）
３撮像部
４演算処理部（光変調画像生成手段、領域抽出手段、正反射検出手段、認証手段）
５テンプレートマッチング処理部（認証手段）

Claims

対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像に基づいて対象空間に存在する人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証する認証手段と、光変調画像において画素値が所定のしきい値以上となる正反射部分を検出する正反射検出手段とを備え、
変調光照射手段は、対象空間に照射する変調光のパターンが可変であって、
認証手段は、同一の人物が互いに異なる変調光のパターンで撮像された複数枚の光変調画像のうちで、正反射検出手段によって検出される正反射部分の大きさが最小となる光変調画像に対して、正反射検出手段で検出される正反射部分の影響を抑えるように認証処理を行うことを特徴とする顔認証装置。
対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像に基づいて対象空間に存在する人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証する認証手段と、光変調画像において画素値が所定のしきい値以上となる正反射部分を検出する正反射検出手段とを備え、
変調光照射手段は、対象空間に照射する変調光のパターンが可変であって、
認証手段は、同一の人物が互いに異なる変調光のパターンで撮像された複数枚の光変調画像のうちで、人物の顔を含む領域の画素値が最も大きくなる光変調画像に対して、正反射検出手段で検出される正反射部分の影響を抑えるように認証処理を行うことを特徴とする顔認証装置。
対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像に基づいて対象空間に存在する人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証する認証手段と、光変調画像において画素値が所定のしきい値以上となる正反射部分を検出する正反射検出手段とを備え、
変調光照射手段は、対象空間に照射する変調光のパターンが可変であって、
認証手段は、同一の人物が互いに異なる変調光のパターンで撮像された複数枚の光変調画像のうちで、撮像素子から出力される変調光の反射光成分を含まない画像の画素値の平均値が所定値以下のときは、正反射検出手段によって検出される正反射部分の大きさが最小となる光変調画像を選択して、正反射検出手段で検出される正反射部分の影響を抑えるように認証処理を行い、前記変調光の反射光成分を含まない画像の画素値の平均値が所定値を超えているときは、人物の顔を含む領域の画素値が最も大きくなる光変調画像を選択して、正反射検出手段で検出される正反射部分の影響を抑えるように認証処理を行うことを特徴とする顔認証装置。
変調光照射手段は、対象空間に照射する変調光のパターンが可変であって、正反射検出手段は、同一の人物が互いに異なる変調光のパターンで撮像された複数枚の光変調画像の差分画像を求め、当該差分画像から正反射部分を抽出することを特徴とする請求項１〜３の何れか１項に記載の顔認証装置。