JP3650323B2

JP3650323B2 - 光学的顔画像認識方法及びその装置

Info

Publication number: JP3650323B2
Application number: JP2000307055A
Authority: JP
Inventors: 香椎子小舘; 利江子稲葉; 恵理子渡邉
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2000-10-06
Filing date: 2000-10-06
Publication date: 2005-05-18
Anticipated expiration: 2020-10-06
Also published as: JP2002117406A

Description

【０００１】
【発明の属する技術分野】
本発明は、光学的顔画像認識方法及びその装置に関するものである。
【０００２】
【従来の技術】
デジタルコンピュータによる顔画像認識の手法は、既に発表されている。しかし、デジタルコンピュータの場合、膨大なデータベースとの照合は計算能力の面から困難があり、パスワードなどのデータ呼び出しによる照合がほとんどである。一方、光学的な演算技術を取り入れた場合、膨大なデータベースの照合が容易である。そのような面から光学的に相関演算を行うことはメリットがあるが、これまでに光学的なデータベース検索による顔画像認識の手法は確立されていない。
【０００３】
【発明が解決しようとする課題】
上記したように、従来のデジタルコンピュータによる顔画像認識の手法は、効率の面で問題があり、一方、光学的なデータベース検索による顔画像認識であれば、超光速な演算の実行が可能であり有効であるが、技術的に満足のいくものではなかった。
【０００４】
本発明は、上記状況に鑑みて、超高速な演算を実行することができる光学的顔画像認識方法及びその装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔１〕光学的信号処理部とデジタルコンピュータ部を用いる光学的顔画像認識方法であって、補正用画像およびデータベース画像を出力する光学的メモリシステムを配置し、発光ダイオードからの照射光を受ける電気書込み型液晶空間変調器と、この電気書込み型液晶空間変調器からの出力光を拡散する拡散板と、この拡散板によって拡散された光をコリメートするコリメートレンズと、このコリメートレンズからの平行光線を受ける回折型のバイナリ光学素子アレイと、このバイナリ光学素子アレイからの光を受けるとともに、前記光学メモリシステムからの出力光を受けるハーフミラーとを有する光学的デュプリケートシステムとを配置し、入力画像を前記電気書込み型液晶空間変調器に表示し、バイナリ光学素子アレイを有する光学的デュプリケートシステムにより前記入力画像をチャンネル数分複製し、前記光学的メモリシステムからの補正用画像およびデータベース画像を読み出し、各チャンネル補正用相関信号強度およびデータベース画像との相関信号強度を取得し、下記式により比較値Ｃｉを求め、
【０００６】
【数２】

【０００７】
（ここで、Ｎはデータベース画像数、Ｐ_ijはｉ番目の入力画像に対するｊ番目のデータベース画像との相関信号強度、Ｐ_imaxはｉ番目の入力画像に対する最大の相関信号強度）、この比較値Ｃｉとしきい値との比較を行い、比較値Ｃｉがしきい値より小さい場合は、登録者の顔であり、比較値Ｃｉがしきい値より大きい場合は、登録者の顔ではないと評価することを特徴とする。
【０００８】
〔２〕光学的信号処理部とデジタルコンピュータ部を用いる光学的顔画像認識装置であって、補正用画像およびデータベース画像を出力する光学的メモリシステムと、発光ダイオードと、この発光ダイオードからの照射光を受ける電気書込み型液晶空間変調器と、この電気書込み型液晶空間変調器からの出力光を拡散する拡散板と、この拡散板によって拡散された光をコリメートするコリメートレンズと、このコリメートレンズからの平行光線を受ける回折型のバイナリ光学素子アレイと、このバイナリ光学素子アレイからの光を受けるとともに、前記光学メモリシステムからの出力光を受けるハーフミラーとを有する光学的デュプリケートシステムとを具備し、入力画像を前記電気書込み型液晶空間変調器に表示し、前記光学的デュプリケートシステムにより前記入力画像をチャンネル数分複製し、前記光学的メモリシステムからの補正用画像およびデータベース画像を読み出し、各チャンネルにおいて、入力画像と補正用画像およびデータベース画像との相関信号強度を取得し、その相関信号に基づいて登録者・未登録者の識別のための評価値を求めることを特徴とする。
【０００９】
〔３〕上記〔２〕記載の光学的顔画像認識装置において、前記デジタルコンピュータは、光演算に適した３点指定による大きさの正規化、エッジ抽出・２値化処理の前処理と前記光演算で得られた相関信号からの登録者・未登録者の識別のための評価値を求める後処理を有し、再現性のある最適条件を提供することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
【００１１】
図１は本発明の実施例を示す光学システムの構成図であり、入力画像の複製に光学的なデュプリケート、データベース画像に光メモリを用いたシステムである。図２は本発明の実施例を示す光学的顔画像認識の全体フローチャート、図３はその光並列相関器（ＰＪＴＣ：ＰａｒａｌｌｅｌＪｏｉｎｔＴｒａｎｓｆｏｒｍＣｏｒｒｅｌａｔｏｒ）による演算を行うための前処理の工程図である。ＪＴＣは、大きさに対する依存性が高いため、その正規化が必要となっている。
【００１２】
図１において、Ａは光学的メモリシステム、Ｂは光学的デュプリケートシステム、１はＨｅ−Ｎｅレーザ、２は偏光板、３は対物レンズ、４はピンホール、５は第１のコリメートレンズ、６は第１のハーフミラー、７は第２のハーフミラー、８は第１のミラー、９はフォトリフラクティブ結晶、１０は第２のミラー、１１は第２のコリメートレンズ、１２は発光ダイオード（ＬＥＤ）、１３は電気書き込み型液晶空間光変調器（ＥＳＬＭ）、１４は拡散板、１５は第３のコリメートレンズ、１６はバイナリアレイ光学素子（ＢＺＰＡ）、１７は第３のハーフミラー、１８は光書き込み型液晶空間光変調器（ＯＳＬＭ）、１９は第４のハーフミラー、２０はバイナリアレイ光学素子（ＢＺＰＡ）、２１は光書き込み型液晶空間光変調器（ＯＳＬＭ）、２２は第５のハーフミラー、２３はバイナリアレイ光学素子（ＢＺＰＡ）、２４はＣＣＤカメラである。
【００１３】
図１に示すように、光源は定盤上システムにおいては、Ｈｅ−Ｎｅレーザ１、デュプリケートにはＬＥＤ１２とし、小型化システムにおいては、表１に示すような仕様とした。
【００１４】
【表１】

【００１５】
次に、定盤上システムにおけるシステム過程の説明を行う。
【００１６】
１入力顔画像に対しては、データベースから５つの異なる顔画像を同時に読み出し、５チャンネル同時の並列演算を行っている。光が相関器を一度、通過するのを１ループとすると、１００人のデータベースでは２０ループでよいことになり、演算時間が短縮されている。このフーリエ変換アレイ素子としては、小型・軽量・高効率及び設計の自由度のある回折型のＢＺＰＡ１６，２０，２３を用い、開口は顔画像の情報を失わない大きさである５ｍｍ、焦点距離は相関信号の受光器のＣＣＤカメラ２４のピクセルサイズを考慮した３００ｍｍとした。また、画像表示ＥＳＬＭ１３からの高次回折光の影響がない設計の５並列とした。
【００１７】
以下、図２を参照しながら、光学的顔画像認識のフローを説明する。
【００１８】
（１）まず、デジタルカメラやスキャナなどの画像入力デバイスからのデータ（オリジナルイメージ）の入力を行う（ステップＳ１）。
【００１９】
（２）入力画像をディスプレイに表示する（ステップＳ２）。
【００２０】
（３）次に、３点指定による顔画像の大きさの正規化と切り出し処理を行う（ステップＳ３）。
【００２１】
具体的には、図３（ａ）に示すように、（１）目頭、鼻下点の３点をクリックし、（２）その３点からなる三角形の面積Ｔの計算を行う。次に、図３（ｂ）に示すように、（３）予め実験により確認した正規化の値Ｔ_normになるような倍率（Ｔ_norm／Ｔ）で拡大縮小を行う。次に、図３（ｃ），（ｄ）に示すように、（４）鼻下点を基準として１２８×１２８ピクセルに切り出す。
【００２２】
（４）次に、入力顔画像の前処理を行う（ステップＳ４）。
【００２３】
具体的には、図３（ｅ）に示すように、（１）ソベル（Ｓｏｂｅｌ）フィルタによるエッジ抽出を行う。次に、図３（ｆ）に示すように、（２）横方向（ｘ方向）を１／２に縮小し、（３）全体の２０％が白くなるような２値化処理を行う。
【００２４】
（５）次に、各チャンネル補正及び相関演算の準備を行う（ステップＳ５）。
【００２５】
具体的には、（１）入力画像を電気書き込み型液晶空間光変調器に表示する。次に、（２）光学的デュプリケートにより入力画像をチャンネル数分複製する。次に、（３）光メモリからの補正用画像を読み出し、（４）各チャンネル補正用相関信号強度Ｉｋを取得する。
【００２６】
（６）次に、相関信号の取得及び補正処理を行う（ステップＳ６）。
【００２７】
具体的には、（１）光メモリから画像を読み出す。次に、（２）データベース画像と入力画像の相関信号を取得する。次に、（３）補正処理を行う。これは各チャンネルごとにＩｋで規格化を施すというものである。この補正により相関信号強度のばらつきが４０％程度までなら演算が可能となった。
【００２８】
（７）次に、後処理を行う（ステップＳ７）。
【００２９】
具体的には比較値の計算を行う。ここで、比較値Ｃ_iは、
【００３０】
【数３】

【００３１】
ここで、Ｎはデータベース、Ｐ_ijはｉ番目の入力画像に対するｊ番目のデータベース画像との相関信号強度、Ｐ_imaxはｉ番目の入力画像に対する最大の相関信号強度である。
【００３２】
（８）次に、識別を行う（ステップＳ８）。
【００３３】
具体的には、しきい値との比較を行う。Ｃ_iがしきい値より小さい場合は、登録された顔である。また、Ｃ_iがしきい値より大きい場合は、登録された顔ではない。
【００３４】
以下、各処理について順次説明する。
【００３５】
Ａ．前処理
上記したように、前処理として、目頭、鼻下点の３点を指定し、その３点からなる三角形の面積が一定になるように取得した顔画像の縮小・拡大を行い、鼻下点を基準として認識に用いる画像サイズ１２８×１２８ピクセルに切り出す。
【００３６】
その後、光演算において、透過光量の均一化と、ＳＮ比向上のためにソベルフィルタによるエッジ抽出と全体の２０％を白くする２値化処理を行っている。
【００３７】
以上の前処理により、認識に対するロバスト性を向上させた。
【００３８】
Ｂ．相関演算
本発明の相関演算は、画像認識に適しているといわれているＪＴＣの原理を基に、フーリエ変換用レンズにバイナリ光学素子を適用することで並列演算を可能とした。
【００３９】
データベースからの読み出し、入力画像表示をデジタルコンピュータを用いて制御した場合でも、光演算による処理を行うので、１入力に対し、１００人のデータベースの演算が１３ｓと、高速で処理が可能である。
【００４０】
また、本発明のデュプリケート表示および、光メモリを用いることで、電子・光変換にビデオレートに依存しない超高速な演算を可能とし、処理速度を１ｓ以下に向上させることができる。
【００４１】
Ｃ．フーリエ変換用バイナリ素子の設計手法
ＪＴＣによる演算を空間並列に行うために、フーリエ変換用レンズにＢｉｎａｒｙＺｏｎｅＰｌａｔｅＡｒｒａｙ（ＢＺＰＡ）を適用している。ＢＺＰＡは小型・軽量で設計の自由度が高く、本発明のシステムに適している。このＢＺＰＡの配置設計には、画像表示用の液晶空間光変調器のピクセル構造や光書き込み型液晶空間光変調器の解像度などのデバイス特徴を考慮する必要があり、ＢＺＰＡの設計手法に依る。この設計手法で、ＪＴＣ演算用のＢＺＰＡの自動設計が可能になる。
【００４２】
以下、ＢＺＰＡの設計手法について説明する。
【００４３】
図４は本発明の実施例を示すＢＺＰＡの設計フローチャートである。
【００４４】
（１）まず、認識対象画像サイズの決定を行う（ステップＳ１１）。
【００４５】
すなわち、（ａ）並列度向上のためには画像サイズを最小にする必要がある。また、（ｂ）認識に影響を及ぼさないサイズであることも必要なため、両方を考慮して、認識に影響を及ぼさない最小サイズにする。
【００４６】
（２）次に、開口サイズの決定を行う（ステップＳ１２）。
【００４７】
具体的には、画像を表示するＥＳＬＭのピクセルピッチＰ_eｍｍを考慮する。
【００４８】
Ｄ＝ｘ×Ｐ_e×ｓｑｒｔ（２）
＝Ｐ_eｘ×ｓｑｒｔ（２）ｍｍ
（３）次に、焦点距離の決定を行う（ステップＳ１３）。
【００４９】
干渉縞の空間周波数ｋと焦点距離ｆの間には
ｋ＝ｄ／ｆλ
という関係式が成り立つ。また、干渉縞を書き込むＰＡＬ−ＳＬＭの解像度は、２０％以上の回折効率を得るためには１８ｌｐ／ｍｍ以下となるため、焦点距離ｆは以下の式より求められる。
【００５０】
ｆ≧〔Ｄ／２（ｍｍ）〕／〔１８（ｌｐ／ｍｍ）×λ（ｍｍ）〕
（４）さらに、高次複製像の考慮をする（ステップＳ１４）。
【００５１】
すなわち、ＥＳＬＭのピクセル構造の回折による高次複製像を避けたアレイ化の設計が必要であり、高次回折像は、
λｆ／Ｐ_e
の距離で生じるので、この距離に重ならないように配置を行う。
【００５２】
この設計手法により、表１のデバイス仕様に基づき、設計を行うと、定盤システムでは５チャンネル、小型システム（ＣＯＰａＣ）では４チャンネルの配置となる。
【００５３】
Ｄ．各チャンネル補正
並列演算を行うに当たり問題となるのが、各チャンネルの光強度が均一であるか否かである。これはシステムの小型化を考えた場合、折り返しのミラーの数が多くなり、さらに光源の半導体レーザなどの時空間の光強度分布の変化により各チャンネルで得られる光相関信号強度に１０〜３０％程度の不均一性が生じてしまう。そこで、これを是正するための補正処理が必要となってくる。補正処理の方法としては、まず、毎回の演算ごとに補正用画像を表示し、その相関光強度を補正信号として得る。そして、相関演算で得られた光信号強度を各チャンネルで規格化し、補正された信号Ｐ_ijとする。この補正処理により、相関信号強度のばらつきが４０％程度までなら演算が可能となった。
【００５４】
Ｅ．後処理
得られた相関信号を再度コンピュータに取り込み、後処理として比較値（ＣｏｍｐａｒｉｓｏｎＶａｌｕｅ）を求め、この値により識別を行う。
【００５５】
入力画像のコード番号をｉ、データベース画像のコード番号をｊとし、入力画像ｃｏｄｅ＃ｉに対するデータベース画像ｄａｔａ＃ｊとの相関強度の測定値をＰ_ijとすると、データベース画像の数がＮならば、この相関強度値はｊ＝１からＮまでＮ個得られる。登録者が入力されれば、自己相関値Ｐ_ijは全データベース画像との相関演算信号の光強度より高い値をとり、一方、未登録者が入力された時には、本人がそこに存在しないので、どのＰ_ijも低い値を取る。ここでＰ_i1〜Ｐ_iNの最大値Ｐ_imaxでＰ_ijを１を最大値として規格化すると、登録者の場合にはその最大値（＝１）を除いた他の平均値は低く、未登録者は高くなる。これを入力画像ｃｏｄｅ＃１に対する比較値として表したのが、ＣｏｍｐａｒｉｓｏｎＶａｌｕｅであり、その算出手法を示す。
【００５６】
〔具体的実施例〕
本発明によって、パスワードなどのＩＤレスで顔画像を入力し、大規模データベースからの個人検索および未登録者の排除が高速処理で可能であり、コンピュータなどへのログインや入退室の際のセキュリティチェックも可能である。
【００５７】
コンピュータへのＩＤレス顔パスログインや個人検索などの検討では、実際に実験を行って確認をしている。
【００５８】
また、実現する際に相関演算後の出力面から相関信号のみを効率よく取得するために、不要な成分である０次光をカットするためのマスクを出力面に使用することが必要である。
【００５９】
図５は本発明の実施例を示す０次カットマスク効果を示す図である。
【００６０】
これまで、相関演算を行った結果は、図５（ａ）に示すように、相関信号として必要のない０次光もＣＣＤカメラ内に入ってしまっていた。また、そのために、０次光の強い強度により１次光も強度を引っ張られ影響が及ぼされていた。そこで、本発明の実施例（ＣＯＰａＣにおいて）では、相関信号がＣＣＤカメラに納まるように縮小光学系を組み、４チャンネルの相関信号が取得できる縮小率にした。そのため、図５（ｂ）に示すように相関信号のみの取得が可能となった。
【００６１】
また、相関信号取得のための検出器として、フォトディテクタアレイを用いることにより、より高速な相関処理が可能となり、その可能性も実験的に確かめている。
【００６２】
本発明によれば、顔画像認識に光並列相関器（ＰＪＴＣ）の演算手法を用いて並列処理を可能にしているので、従来の１チャネルの認識技術に比べ、光学的な手法の優位性を充分に活用することができる。
【００６３】
また、本発明の手法は、入力画像としての顔の取得からその正規化、相関演算、後処理まで、ＰＪＴＣを中心として認識に必要な処理をすべて含んでおり、この手法により顔画像認識が可能になる。
【００６４】
また、本発明にかかる顔画像認識システムは、アナログ光演算のデータベース画像としてホログラフィック多重メモリを用いる。さらに、入力画像に対し、光学的デュプリケートを用いることで電子・光子変換に時間（ビデオレートの３０ｍｓ）に依存しない超高速な演算を可能とする。
【００６５】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【００６６】
【発明の効果】
以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【００６７】
（Ａ）顔画像認識に光並列相関器（ＰＪＴＣ）の演算手法を用いて並列処理を可能にしているので、従来の１チャンネルの認識技術に比べ、光学的な手法の優位性を充分に活用することができる。
【００６８】
また、本発明の顔画像認識方法は、入力画像としての顔の取得からその正規化、相関演算、後処理まで、ＰＪＴＣを中心として認識に必要な処理をすべて含んでおり、この手法により、顔画像認識を可能にすることができる。
【００６９】
（Ｂ）顔画像認識装置は、アナログ光演算のデータベース画像としてホログラフィック多重メモリを用い、入力画像に対し光学的デュプリケートを用いることにより、電子・光子変換に時間（ビデオレートの３０ｍｓ）に依存しない超高速な演算を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施例を示す光学的デュプリケートシステムと光学的メモリシステムを含む光学システムの構成図である。
【図２】本発明の実施例を示す光学的顔画像認識の全体フローチャートである。
【図３】本発明の実施例を示す光並列相関器（ＰＪＴＣ）による演算を行うための前処理の工程図である。
【図４】本発明の実施例を示すＢＺＰＡの設計フローチャートである。
【図５】本発明の実施例を示す０次光カットマスク効果を示す図である。
【符号の説明】
Ａ光学的メモリシステム
Ｂ光学的デュプリケートシステム
１Ｈｅ−Ｎｅレーザ
２偏光板
３対物レンズ
４ピンホール
５第１のコリメートレンズ
６第１のハーフミラー
７第２のハーフミラー
８第１のミラー
９フォトリフラクティブ結晶
１０第２のミラー
１１第２のコリメートレンズ
１２発光ダイオード（ＬＥＤ）
１３電気書き込み型液晶空間光変調器（ＥＳＬＭ）
１４拡散板
１５第３のコリメートレンズ
１６，２０，２３バイナリアレイ光学素子（ＢＺＰＡ）
１７第３のハーフミラー
１８，２１光書き込み型液晶空間光変調器（ＯＳＬＭ）
１９第４のハーフミラー
２２第５のハーフミラー
２４ＣＣＤカメラ

Claims

光学的信号処理部とデジタルコンピュータ部を用いる光学的顔画像認識方法であって、
（ａ）補正用画像およびデータベース画像を出力する光学的メモリシステムを配置し、
（ｂ）発光ダイオードからの照射光を受ける電気書込み型液晶空間変調器と、該電気書込み型液晶空間変調器からの出力光を拡散する拡散板と、該拡散板によって拡散された光をコリメートするコリメートレンズと、該コリメートレンズからの平行光線を受ける回折型のバイナリ光学素子アレイと、該バイナリ光学素子アレイからの光を受けるとともに、前記光学メモリシステムからの出力光を受けるハーフミラーとを有する光学的デュプリケートシステムとを配置し、
（ｃ）入力画像を前記電気書込み型液晶空間変調器に表示し、バイナリ光学素子アレイを有する光学的デュプリケートシステムにより前記入力画像をチャンネル数分複製し、前記光学的メモリシステムからの補正用画像およびデータベース画像を読み出し、各チャンネル補正用相関信号強度およびデータベース画像との相関信号強度を取得し、下記式により比較値Ｃｉを求め、

（ここで、Ｎはデータベース画像数、Ｐ_ijはｉ番目の入力画像に対するｊ番目のデータベース画像との相関信号強度、Ｐ_imaxはｉ番目の入力画像に対する最大の相関信号強度）、該比較値Ｃｉとしきい値との比較を行い、比較値Ｃｉがしきい値より小さい場合は、登録者の顔であり、比較値Ｃｉがしきい値より大きい場合は、登録者の顔ではないと評価することを特徴とする光学的顔画像認識方法。
光学的信号処理部とデジタルコンピュータ部を用いる光学的顔画像認識装置であって、
（ａ）補正用画像およびデータベース画像を出力する光学的メモリシステムと、
（ｂ）発光ダイオードと、該発光ダイオードからの照射光を受ける電気書込み型液晶空間変調器と、該電気書込み型液晶空間変調器からの出力光を拡散する拡散板と、該拡散板によって拡散された光をコリメートするコリメートレンズと、該コリメートレンズからの平行光線を受ける回折型のバイナリ光学素子アレイと、該バイナリ光学素子アレイからの光を受けるとともに、前記光学メモリシステムからの出力光を受けるハーフミラーとを有する光学的デュプリケートシステムとを具備し、
（ｃ）入力画像を前記電気書込み型液晶空間変調器に表示し、前記光学的デュプリケートシステムにより前記入力画像をチャンネル数分複製し、前記光学的メモリシステムからの補正用画像およびデータベース画像を読み出し、各チャンネルにおいて、入力画像と補正用画像およびデータベース画像との相関信号強度を取得し、その相関信号に基づいて登録者・未登録者の識別のための評価値を求めることを特徴とする光学的顔画像認識装置。
請求項２記載の光学的顔画像認識装置において、前記デジタルコンピュータは、光演算に適した３点指定による大きさの正規化、エッジ抽出・２値化処理の前処理と前記光演算で得られた相関信号からの登録者・未登録者の識別のための評価値を求める後処理を有し、再現性のある最適条件を提供することを特徴とする光学的顔画像認識装置。