JP7223303B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

特許文献１には、近赤外線カメラによって利用者の虹彩画像を撮影し、当該虹彩画像から生成した虹彩コードと登録者の登録虹彩コードとの類似度に基づいて利用者を認証するシステムが開示されている。

特開２００８－１９７７１３号公報

特許文献１に例示されているシステムは、利用者自身が近赤外線カメラに対する眼の位置合わせを行い、利用者が静止している状態で虹彩画像を撮影することを前提としている。そのため、利用者の利便性の観点から改善の余地があった。

そこで、本発明は、上述の課題に鑑み、虹彩認証における利用者の利便性を向上できる情報処理装置、情報処理システム、情報処理方法及びプログラムを提供することを目的とする。

本発明の一つの観点によれば、虹彩照合システムを制御する情報処理装置であって、第１撮影装置により撮影された画像から照合対象者の視線情報を取得する取得部と、前記照合対象者までの距離を取得する距離情報取得部と、前記視線情報から得られる視線方向と、前記照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように、前記虹彩照合システムを制御する制御部と、を備え、前記制御部は、前記距離に基づいて前記視線方向と前記撮影方向とを対向させる制御に用いられる判定基準を変更する情報処理装置が提供される。

本発明の他の観点によれば、照合対象者の顔の少なくとも一部を含む第１画像を撮影する第１撮影装置と、前記照合対象者の虹彩を含む第２画像を撮影する第２撮影装置と、情報処理装置と、を備えた情報処理システムであって、前記情報処理装置は、前記第１画像に基づいて前記照合対象者の視線情報を取得する取得部と、前記視線情報から得られる前記照合対象者の視線方向と、前記第２撮影装置における撮影方向とが対向するように前記情報処理システムを制御する制御部と、を有し、前記制御部は、前記照合対象者までの距離が所定の基準距離以上である場合には、前記第１画像に基づいて前記視線方向を推定し、前記距離が所定の基準距離未満である場合には、前記第２画像に基づいて前記照合対象者の前記視線方向を推定する情報処理システムが提供される。

本発明のさらに他の観点によれば、虹彩照合システムを制御する情報処理方法であって、第１撮影装置により撮影された画像から照合対象者の視線情報を取得するステップと、前記照合対象者までの距離を取得するステップと、前記視線情報から得られる視線方向と、前記照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように、前記虹彩照合システムを制御するステップと、前記距離に基づいて前記視線方向と前記撮影方向とを対向させる制御に用いられる判定基準を変更するように、前記虹彩照合システムを制御するステップと、を備える情報処理方法が提供される。

本発明のさらに他の観点によれば、虹彩照合システムを制御するコンピュータに、第１撮影装置により撮影された画像から照合対象者の視線情報を取得するステップと、前記照合対象者までの距離を取得するステップと、前記視線情報から得られる視線方向と、前記照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように、前記虹彩照合システムを制御するステップと、前記距離に基づいて前記視線方向と前記撮影方向とを対向させる制御に用いられる判定基準を変更するように、前記虹彩照合システムを制御するステップと、を実行させるためのプログラムが提供される。

本発明によれば、虹彩認証における利用者の利便性を向上できる情報処理装置、情報処理システム、情報処理方法及びプログラムを提供することができる。

第１実施形態における虹彩照合システムの全体構成例を示す図である。 第１実施形態における情報処理装置及び照合装置のハードウェア構成を示すブロック図である。 第１実施形態における情報処理装置及び照合装置の機能を示すブロック図である。 第１実施形態における情報処理装置の処理の一例を示すフローチャートである。 第１実施形態における照合対象者の視線方向の推定方法を説明する図である。 第１実施形態における照合対象者の視線方向の推定方法を説明する図である。 第１実施形態における照合対象者の視線方向の推定方法を説明する図である。 第１実施形態における照合対象者の視線方向の推定方法を説明する図である。 第１実施形態における照合対象者の視線方向の推定方法を説明する図である。 第１実施形態において照合対象者の視線方向と虹彩撮影用カメラの撮影方向とのなす角度を説明する図である。 第１実施形態において照合対象者の視線方向と虹彩撮影用カメラの撮影方向とのなす角度を説明する図である。 第１実施形態における照合装置の処理の一例を示すフローチャートである。 第１実施形態における虹彩照合処理の概略を示す模式図である。 第２実施形態における虹彩照合システムの全体構成例を示す図である。 第２実施形態における照合対象者の視線方向と虹彩撮影用カメラの撮影方向とのなす角度を説明する図である。 第２実施形態における情報処理装置の処理の一例を示すフローチャートである。 第３実施形態における虹彩撮影用カメラと照合対象者との間の距離と検出角度の判定基準値との関係を示すグラフである。 第３実施形態における情報処理装置の処理の一例を示すフローチャートである。 第４実施形態における情報処理装置の機能を示すブロック図である。 第５実施形態における情報処理システムの機能を示すブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
図１は、本実施形態における虹彩照合システム１の全体構成例を示す図である。虹彩照合システム１は、生体照合の一種である虹彩照合の機能を備える。虹彩照合システム１は、照合対象者であるユーザの虹彩を撮影し、登録されている虹彩画像と照合することにより虹彩照合を行う。虹彩の模様は、万人不同かつ終生不変である。そのため、照合時に取得した虹彩の模様と、データベースに予め登録されている虹彩の画像とを照合することにより本人確認が可能である。

本実施形態における虹彩照合システム１は、例えば、空港・海港・国境における入出国のための本人確認、行政機関における本人確認、工場・事業所への入退場のための本人確認、イベント会場への入場時の本人確認等に適用され得る。

図１に示すように、虹彩照合システム１は、情報処理装置１０と、視線検出用カメラ２０と、虹彩撮影用カメラ３０と、距離センサ４０と、通知装置５０と、照合装置６０と、虹彩データベース７０とを備える。各装置は、ＬＡＮ（Local Area Network）やインターネット等のネットワークＮＷに接続されている。

情報処理装置１０は、虹彩照合システム１の中核をなす制御装置である。情報処理装置１０は、例えば、サーバコンピュータである。情報処理装置１０は、視線検出用カメラ２０から受信した照合対象者の画像に基づいて、照合対象者の視線情報を取得する。情報処理装置１０は、視線情報から得られる視線方向と、照合対象者の虹彩照合に用いられる虹彩画像を撮影する撮影装置における撮影方向とを対向させるように虹彩照合システム１の構成機器を制御する。

また、情報処理装置１０は、当該角度が所定の判定基準（角度の許容範囲）を満たす値である場合、虹彩撮影用カメラ３０を制御し、照合対象者の虹彩画像を撮影させる。そして、情報処理装置１０は、照合装置６０を制御し、撮影された照合対象者の虹彩画像と虹彩データベース７０に予め記憶されている登録者の虹彩画像とを照合させる。逆に、情報処理装置１０は、当該角度が所定の判定基準（許容範囲）を満たさない値である場合、通知装置５０を制御して照合対象者に注意喚起を行い、照合対象者の視線方向を虹彩撮影用カメラ３０側に向けさせる。すなわち、本実施形態の情報処理装置１０は、照合対象者の視線方向と撮影装置における撮影方向とのなす角度を低減させるように、通知装置５０を制御する。

視線検出用カメラ２０は、照合対象者の顔、眼等を可視光により撮影し、画像を取得することができる撮影装置（第１撮影装置）である。視線検出用カメラ２０は、照合対象者の顔の少なくとも一部を含む第１画像を撮影する。視線検出用カメラ２０には、撮影後の画像処理に適するように、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサ等を用いたデジタルカメラが用いられ得る。なお、視線検出用カメラ２０は、照合対象者に向けて照明光を照射する光源を備え得る。

虹彩撮影用カメラ３０は、赤外線照射装置３０ａ及び赤外線カメラ３０ｂからなる撮影装置（第２撮影装置）であり、照合対象者の虹彩を含む第２画像を撮影する。赤外線照射装置３０ａは、赤外線ＬＥＤ等の赤外光を発する発光素子を含む。虹彩撮影用カメラ３０における撮影波長は、視線検出用カメラ２０における撮影波長と異なる。具体的には、赤外線照射装置３０ａから照射される赤外線の波長は、例えば、８００ｎｍ程度の近赤外領域であり得る。

赤外線カメラ３０ｂには、赤外線に対して感度を有するように構成された受光素子を備えたＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等を用いたデジタルカメラが用いられ得る。赤外線照射装置３０ａから赤外光を照合対照者の眼に照射し、虹彩で反射した赤外線を赤外線カメラ３０ｂで撮影することにより、虹彩照合に用いられる虹彩画像を撮影することができる。虹彩画像を赤外線により取得することにより、虹彩の色によらず高コントラストな画像が得られ、かつ角膜による反射の影響を低減することができる。なお、本実施形態において、第２画像の解像度は、第１画像の解像度よりも高いものとする。

距離センサ４０は、赤外線等の光線を対象物に向けて照射し、照射された光線が距離センサ４０と対象物との間を往復するのに要する時間に基づいて距離を検出し、検出距離を示す信号を情報処理装置１０へ出力する。

通知装置５０は、情報処理装置１０からの通知制御情報に基づいて、照合対象者に対して視線方向を虹彩撮影用カメラ３０側に向けさせるように注意喚起を行う装置である。通知装置５０は、ディスプレイ５０ａ、ＬＥＤ５０ｂ、及びスピーカ５０ｃの少なくとも一つを含む。本実施形態における通知制御情報は、照合対象者の視線方向を虹彩撮影用カメラ３０側に誘導するための情報を含む。例えば、ディスプレイ５０ａ、ＬＥＤ５０ｂ、及びスピーカ５０ｃは、通知制御情報に基づいて以下のような通知を行う。

ディスプレイ５０ａは、表示領域にテキストメッセージや画像を表示することで、照合対象者の視線方向と虹彩撮影用カメラ３０の撮影方向とのなす角度が所定の判定基準を満たすか否かを照合対象者に通知する。例えば、ディスプレイ５０ａにおいて、画面の色が緑色の場合にはＯＫ、黄色の場合には注意、赤色の場合には要修正であることを通知できる。

ＬＥＤ５０ｂは、点灯／非点灯の切り替えや、点灯色の切り替えを行うことで、照合対象者の視線方向と虹彩撮影用カメラ３０の撮影方向とのなす角度が所定の判定基準を満たすか否か照合対象者に通知する。例えば、ＬＥＤ５０ｂにおいて、点灯色が緑色の場合にはＯＫ、黄色の場合には注意、赤色の場合には要修正であることを通知できる。

スピーカ５０ｃは、アラーム音や案内音声を出力することで、照合対象者の視線方向と虹彩撮影用カメラ３０の撮影方向とのなす角度が所定の判定基準を満たすか否か照合対象者に通知する。例えば、「ランプが点灯しているカメラの方を見てください。」、「視線を少し右にずらしてください。」のような案内音声を出力するとよい。

照合装置６０は、情報処理装置１０からの制御情報に基づいて、虹彩撮影用カメラ３０で撮影された虹彩画像（あるいは特徴量）と、虹彩データベース７０に登録された登録虹彩画像（あるいは特徴量）との照合処理を実行し、照合対象者の認証を行う。

虹彩データベース７０は、照合先となる登録者の眼の画像、眼の画像から検出された虹彩画像、虹彩画像から算出された虹彩の特徴量等を登録者のＩＤと関連付けて記憶するデータベースである。なお、照合装置６０及び虹彩データベース７０は、情報処理装置１０と一体の装置として構成される場合もあり得る。

図２は、本実施形態における情報処理装置１０及び照合装置６０のハードウェア構成例を示すブロック図である。情報処理装置１０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）１５１と、ＲＡＭ（Random Access Memory）１５２と、ＲＯＭ（Read Only Memory）１５３と、ＨＤＤ（Hard Disk Drive）１５４と、通信Ｉ／Ｆ（インターフェース）１５５と、表示装置１５６と、入力装置１５７とを備える。ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、ＨＤＤ１５４、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７は、バス１５８を介して相互に接続される。なお、表示装置１５６及び入力装置１５７は、これらの装置を駆動するための不図示の駆動装置を介してバス１５８に接続されてもよい。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理装置１０の各部を制御する機能を有するプロセッサである。ＲＡＭ１５２は、揮発性記憶媒体から構成され、ＣＰＵ１５１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１５３は、不揮発性記憶媒体から構成され、情報処理装置１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１５４は、不揮発性記憶媒体から構成され、処理に必要なデータ、情報処理装置１０の動作用プログラム等の記憶を行う記憶装置である。

通信Ｉ／Ｆ１５５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１５６は、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等であって、動画、静止画、文字等の表示に用いられる。入力装置１５７は、キーボード、ポインティングデバイス等であって、ユーザが情報処理装置１０を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置１５６及び入力装置１５７は、タッチパネルとして一体に形成されていてもよい。

同様に、照合装置６０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ６５１と、ＲＡＭ６５２と、ＲＯＭ６５３と、ＨＤＤ６５４と、通信Ｉ／Ｆ６５５とを備える。これらの装置は、情報処理装置１０のＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、ＨＤＤ１５４及び通信Ｉ／Ｆ１５５と同様であるため、詳細な説明は省略する。ＣＰＵ６５１、ＲＡＭ６５２、ＲＯＭ６５３、ＨＤＤ６５４及び通信Ｉ／Ｆ６５５は、バス６５８を介して相互に接続される。

なお、図２に示すハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。さらに、本実施形態の一部の機能がネットワークＮＷを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１５４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

図３は、本実施形態における情報処理装置１０及び照合装置６０の機能を示すブロック図である。情報処理装置１０は、画像取得部１１と、視線情報取得部１２と、距離情報取得部１３と、制御部１４と、記憶部１５とを備える。ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムをＲＡＭ１５２にロードして実行する。これにより、ＣＰＵ１５１は、画像取得部１１、視線情報取得部１２、距離情報取得部１３、制御部１４（視線方向推定部１４ａ、角度検出部１４ｂ、判定部１４ｃ、通知制御部１４ｄ、駆動制御部１４ｅ）等の機能を実現する。これらの各部で行われる処理の詳細については後述する。さらに、ＣＰＵ１５１は、ＨＤＤ１５４を制御することにより記憶部１５の機能を実現する。記憶部１５は、画像取得部１１により取得された画像、視線方向の判定基準、顔画像から取得された視線情報等のデータ等を記憶する。

一方、照合装置６０は、画像取得部６１と、虹彩画像抽出部６２と、座標変換部６３と、ブロック分割部６４と、特徴量算出部６５と、照合部６６と、記憶部６７とを備える。ＣＰＵ６５１は、ＲＯＭ６５３等に記憶されたプログラムをＲＡＭ６５２にロードして実行する。これにより、ＣＰＵ６５１は、画像取得部６１、虹彩画像抽出部６２、座標変換部６３、ブロック分割部６４、特徴量算出部６５及び照合部６６の機能を実現する。これらの各部で行われる処理の詳細については後述する。さらに、ＣＰＵ６５１は、ＨＤＤ６５４を制御することにより記憶部６７の機能を実現する。記憶部６７は、画像取得部６１により取得された眼の画像、眼の画像から抽出された虹彩画像、虹彩画像から算出された特徴量等のデータ等を記憶する。

続いて、上述のように構成された虹彩照合システム１の各装置の動作について説明する。図４は、本実施形態における情報処理装置１０の制御処理の一例を示すフローチャートである。なお、図４の処理は一例であり、処理の順序は適宜変更可能である。

先ず、画像取得部１１は、視線検出用カメラ２０において撮影された撮影画像を受信する（ステップＳ１０１）。なお、当該撮影画像は、視線方向の推定に用いられることから、照合対象者の少なくとも顔の一部を含むものとする。

次に、距離情報取得部１３は、距離センサ４０から照合対象者と虹彩撮影用カメラ３０との間の距離を示す信号を距離情報として受信する（ステップＳ１０２）。

次に、視線情報取得部１２は、ステップＳ１０１において受信された撮影画像を解析し、照合対象者の視線情報を取得する（ステップＳ１０３）。なお、本実施形態における視線情報は、照合対象者の顔方向、画像内における眼領域の位置情報、目尻、瞳孔及び虹彩の位置情報等を含むものとする。

次に、制御部１４（視線方向推定部１４ａ）は、照合対象者と虹彩撮影用カメラ３０との間の距離に基づいて照合対象者の視線方向の推定方法を選択する（ステップＳ１０４）。本実施形態では、視線方向の推定方法として２種類の方法を選択できる。具体的には、制御部１４（視線方向推定部１４ａ）は、距離が所定の基準距離以上である場合に、視線情報に含まれる照合対象者の顔方向に基づいて視線方向を推定する（第１の方法）。また、制御部１４（視線方向推定部１４ａ）は、距離が基準距離未満である場合に、視線情報に含まれる照合対象者の瞳孔又は虹彩の位置情報に基づいて視線方向を推定する（第２の方法）。

第１の方法は、例えば以下の通りである。先ず、視線情報取得部１２は、顔画像から抽出された顔領域から、任意の方法によって顔方向を抽出する。視線情報取得部１２は、顔画像から抽出された顔領域から、テンプレー卜マッチングによって左右の目（瞳孔）の位置及び鼻の位置を取得する。次に、視線情報取得部１２は、左右の目の位置の中点と鼻の位置とを結ぶ線を顔の中心線とし、該中心線から顔領域の左端までの距離と該中心線から顔領域の右端までの距離との比率を求める。そして、視線情報取得部１２は、予め記録された左右の比率と顔方向との関係を示すテーブルに基づき、顔領域における左右の比率を用いて左右方向の顔方向を算出する。左右の比率と顔方向との関係を示すテ一ブルは、予め実験やシミュレーションによって決定され、記憶領域に保持される。

同様に、視線情報取得部１２は、顔の構成部分の位置を用いて上下方向の顔方向を算出する。例えば、左右の目の位置を結ぶ線を顔の水平線とし、該水平線から顔領域の上端までの距離と該水平線から顔領域の下端までの距離との比率を求める。そして、視線方向推定部１４ａは、予め記録された上下の比率と顔方向との関係を示すテーブルに基づき、顔領域における上下の比率を用いて上下方向の顔方向を算出する。顔方向は、例えばパン角、チル卜角、及びロール角の３つの角度により表される。視線情報取得部１２は、検出した顔方向を視線情報として記憶領域に保持する。そして、制御部１４（視線方向推定部１４ａ）は、距離が所定の基準距離以上である場合には、視線情報に含まれる照合対象者の顔方向に基づいて視線方向を算出（推定）する。

図５は、照合対象者の顔方向に基づいて視線方向を推定する場合を示している。ここでは、照合対象者の正面方向（図中Ｘ軸方向）に視線検出用カメラ２０が存在する場合に、照合対象者の顔方向が角度θだけ上方を向いている状態を示している。当該方法では、照合対象者が直立状態で真っ直ぐ前を向いたときを基準として、顔がどれだけ傾いているかを検出し、顔方向から視線方向を推定する。

ただし、照合対象者の顔方向と視線方向とは、必ずしも一致するものではない。このため、照合対象者の顔方向に基づく視線方向の推定方法は、虹彩撮影区間内ではなく、照合対象者がカメラから遠い区間（例えば、視線調整区間の入口付近）に位置しているときに適用し、照合対象者に撮影準備を整えさせると好適である。

第２の方法は、例えば以下の通りである。先ず、視線情報取得部１２は、例えば、顔画像から抽出された顔領域から、テンプレー卜マッチングによって左右の目の瞳孔の位置を視線情報として取得する。次に、制御部１４（視線方向推定部１４ａ）は、左右の目のそれぞれについて、人の顔上の所定の基準点からの瞳孔の相対的な位置に基づいて、視線の方向を算出する。所定の基準点は、例えば角膜上での光の反射点であるプルキニエ像の位置や、目頭の位置等である。

そして、制御部１４（視線方向推定部１４ａ）は、予め記録された所定の基準点からの瞳孔の相対的な位置と視線方向との関係を示すテーブルに基づき、顔領域における所定の基準点からの瞳孔の相対的な位置を用いて視線方向を算出する。

瞳孔の相対的な位置と視線方向との関係を示すテーブルは、予め実験やシミュレーションによって決定され、記憶領域に保持される。視線方向は、左右の目のそれぞれについて、例えば方位角及び仰角の２つの角度により表される。視線方向は左右の目の視線方向の平均値により表されてもよい。視線方向推定部１４ａは、算出した視線方向を記憶領域に保持する。

図６Ａ及び図６Ｂは、照合対象者の眼画像において、目頭Ｃを基準点、虹彩Ｉを動点として目頭Ｃと虹彩Ｉの位置関係に基づいて照合対象者の視線方向を推定する場合を示している。図６Ａでは、照合対象者の左眼において、虹彩Ｉが目頭Ｃから離れている。この場合、照合対象者は目尻側を見ていると推定される。これに対し、図６Ｂでは、照合対象者の左眼において、虹彩Ｉが目頭Ｃ側に位置している。この場合、照合対象者は目頭Ｃ側を見ていると推定される。

図７Ａ及び図７Ｂは、赤外線ＬＥＤ等の照射光を照合対象者の顔に照射したときに、照合対象者の眼画像において、角膜反射点Ｒを基準点、瞳孔Ｐを動点として角膜反射点Ｒと瞳孔Ｐの位置関係に基づいて照合対象者の視線方向を推定する場合を示している。図７Ａでは、照合対象者の左眼において、瞳孔Ｐが角膜反射点Ｒよりも目尻側に位置する。この場合、照合対象者は目尻側を見ていると推定される。これに対し、図７Ｂでは、照合対象者の左眼において、瞳孔Ｐが角膜反射点Ｒよりも目頭Ｃ側に位置する。この場合、照合対象者は目頭Ｃ側を見ていると推定される。

図５、図６Ａ、図６Ｂ、図７Ａ及び図７Ｂにおいて、複数の視線方向の推定方法を説明したが、これらの方法は照合対象者とカメラとの距離や導入コストを総合的に勘案して選択すると好適である。例えば、図５に示す顔方向に基づく推定方法は、照合対象者までの距離が遠く、眼の内部を高解像度で撮影できない場合に有効である。これに対し、図６Ａ、図６Ｂ、図７Ａ及び図７Ｂの推定方法は、図５の推定方法よりも高精度での推定が可能である利点があり、特に照合対象者が近距離に存在している場合に有効である。さらに、図６Ａ及び図６Ｂに示す推定方法は、視線検出用カメラ２０（可視カメラ）のみで実装できるため、実装時のコストを抑制できる利点がある。図７Ａ及び図７Ｂの推定方法は、別途の光源として赤外線ＬＥＤ等を必要とするが、図６Ａ及び図６Ｂに示す推定方法よりも推定の精度が高くなる利点がある。

次に、制御部１４（視線方向推定部１４ａ）は、選択された推定方法に基づいて視線情報から照合対象者の視線方向を推定する（ステップＳ１０５）。

次に、制御部１４（角度検出部１４ｂ）は、ステップＳ１０５において推定された視線方向と虹彩撮影用カメラ３０の撮影方向とのなす角度（以下、「検出角度」という。）を検出する（ステップＳ１０６）。

次に、制御部１４（判定部１４ｃ）は、検出角度が所定の判定基準を満たすか否かを判定する（ステップＳ１０７）。ここで、制御部１４（判定部１４ｃ）が、検出角度は所定の判定基準を満たすと判定した場合（ステップＳ１０７：ＹＥＳ）には、処理はステップＳ１０８に移行する。これに対し、制御部１４（判定部１４ｃ）が、検出角度は所定の判定基準を満たさないと判定した場合（ステップＳ１０７：ＮＯ）には、処理はステップＳ１０９に移行する。

図８及び図９は、本実施形態における照合対象者の視線方向と虹彩撮影用カメラ３０の撮影方向とのなす角度を説明する図である。図８では、照合対象者Ｔは、視線調整区間Ｓ１内に存在しており、検出角度がθであることが示されている。検出角度θが所定の判定基準を満たしていない場合には、上述した通知制御部１４ｄは、通知装置５０に制御情報を出力し、視線調整区間Ｓ１内において照合対象者Ｔに視線方向を調整するように注意喚起を行う。

これに対し、図９では、照合対象者Ｔは、視線調整区間Ｓ１よりも虹彩撮影用カメラ３０寄りに設定された虹彩撮影区間Ｓ２内に存在している。また、照合対象者の視線方向と虹彩撮影用カメラ３０の撮影方向とがほぼ一直線上に揃っていることから、検出角度θ（不図示）は十分に小さいことが示されている。すなわち、視線方向は所定の範囲内に収まっている。このような場合、虹彩撮影用カメラ３０の画角に照合対象者の目部分が収まることになる。上述した駆動制御部１４ｅは、判定部１４ｃの判定結果を受けて、虹彩撮影用カメラ３０に対して虹彩画像を撮影させるために制御情報を出力する。

ステップＳ１０８において、制御部１４（判定部１４ｃ）は、照合対象者が虹彩撮影区間内に存在するか否かを判定する。ここで、制御部１４（判定部１４ｃ）が、照合対象者は虹彩撮影区間内に存在すると判定した場合（ステップＳ１０８：ＹＥＳ）には、処理はステップＳ１１０に移行する。これに対し、制御部１４（判定部１４ｃ）が、照合対象者は虹彩撮影区間内に存在しないと判定した場合（ステップＳ１０８：ＮＯ）には、処理はステップＳ１０１に戻る。

ステップＳ１０９において、制御部１４（通知制御部１４ｄ）は、検出角度に基づく各種の情報を照合対象者に通知するための通知制御情報を生成し、通知装置５０を制御すると、処理はステップＳ１０１に戻る。すなわち、制御部１４（通知制御部１４ｄ）は、通知装置５０における通知方法を決定するとともに、通知装置５０において画面表示、音、光等の通知方法によって、照合対象者に対して視線方向を虹彩撮影用カメラ３０側に向けるように注意喚起を行う。

ステップＳ１１０において、制御部１４（駆動制御部１４ｅ）は、虹彩撮影用カメラ３０に制御情報を出力する。すなわち、制御部１４（駆動制御部１４ｅ）は、角度が所定角度以下、かつ、距離が所定距離以下である場合に虹彩撮影用カメラ３０に虹彩画像を撮影させる。

そして、制御部１４（駆動制御部１４ｅ）は、照合装置６０に対して制御情報を出力し（ステップＳ１１１）、虹彩撮影用カメラ３０で撮影された虹彩画像と虹彩データベース７０に予め登録された登録虹彩画像との照合処理を実行させ、処理を終了する。

図１０は、本実施形態における照合装置６０の処理の一例を示すフローチャートである。また、図１１は、虹彩照合処理の概略を示す模式図である。図１０の処理は、照合装置６０が情報処理装置１０から制御情報を受信したときに開始される。

ステップＳ２０１において、画像取得部６１は、照合対象者の眼の画像を取得する。この処理は図１１（ａ）に対応する。取得された画像は記憶部６７に記憶される。典型的には、この画像は赤外線により取得されたものであり、グレースケールの画像である。

ステップＳ２０２において、虹彩画像抽出部６２は、照合対象者の眼の画像の中から、虹彩の領域を判別し、虹彩画像の抽出を行う。この処理は図１１（ｂ）及び図１１（ｃ）に対応する。

虹彩の領域の判別方法の一例を説明する。虹彩画像抽出部６２は、眼の画像から、瞳孔を検出して、その位置を特定する。特定された瞳孔の位置は、記憶部６７に記憶される。瞳孔の形状は、円形として近似することができる。そのため、瞳孔の位置は、例えば、瞳孔の中心座標と半径により表現することができる。なお、瞳孔の領域は、例えば、所定値よりも低い輝度のピクセルを抽出することにより検出することができる。

その後、虹彩画像抽出部６２は、眼の画像から、虹彩を検出し、虹彩の位置を特定する。特定された虹彩の位置は、記憶部６７に記憶される。虹彩の形状は、瞳孔を内包する円環形状として近似することができ、そのため、虹彩の位置は、例えば、虹彩の中心座標、外周半径及び内周半径により表現することができる。虹彩の内周半径は、瞳孔の半径に相当するため、虹彩の位置を示す情報から省略してもよい。なお、虹彩は、例えば、虹彩の外周と強膜（いわゆる白目）との境界における輝度変化を抽出することにより検出することができる。

その後、虹彩画像抽出部６２は、特定された虹彩の部分を切り出すことにより虹彩画像を抽出する。抽出された虹彩画像は記憶部６７に記憶される。

ステップＳ２０３において、座標変換部６３は、座標を変換することにより、虹彩画像の変形を行う。この処理は図１１（ｄ）及び図１１（ｅ）に対応する。座標変換部６３は、図１１（ｄ）及び図１１（ｅ）に示されるように、円環状をなしている虹彩画像を長方形に変換する。この処理は、例えば、虹彩画像の座標系をｘｙ平面座標系からｒθ極座標系に変換することにより行われ得る。この座標変換により、虹彩画像の形状が単純化されるので、特徴量算出の処理が簡略化される。

ステップＳ２０４において、ブロック分割部６４は、長方形に変換された虹彩画像を複数のブロックに分割する。この処理は図１１（ｆ）に対応する。分割数は、例えば、横方向に１２８個、縦方向に１６個（すなわち、合計２０４８個）等であり得る。なお、図１１（ｆ）では理解を容易にするために、虹彩画像自体を切断して複数個に分割しているように表現されているが、画像を複数個に分けることは必須ではない。ステップＳ２０４の処理は、例えば、虹彩画像の各ブロックの輝度と各ブロックの座標の対応関係を取得するという処理であってもよい。

ステップＳ２０５において、特徴量算出部６５は、複数のブロックに分割された虹彩画像に対して特徴量を算出する処理を行う。この処理は図１１（ｇ）に対応する。以下、特徴量算出の具体的な処理方法の一例を説明する。

特徴量算出部６５は、各ブロックにおける虹彩画像の輝度を取得する。このとき、あるブロック（以下、「第１のブロック」という。）の特徴量のコードは、第１のブロックの右隣のブロック（以下、「第２のブロック」という。）との輝度の大小関係により設定される。第１のブロックの輝度から第２のブロックの輝度を減算した差分が第１の閾値よりも大きい場合、第１のブロックの特徴量のコードは「１」となる。第１のブロックの輝度から第２のブロックの輝度を減算した差分が第１の閾値以下であり、第２の閾値よりも大きい場合、第１のブロックの特徴量のコードは「２」となる。第１のブロックの輝度から第２のブロックの輝度を減算した差分が第２の閾値以下である場合、第１のブロックの特徴量のコードは「３」となる。このように、特徴量のコードは、少なくとも３種類の値を有する。

また、第１のブロック又は第２のブロックがまつげ、まぶた等に覆われていて特徴量の算出に用いることができない場合に特徴量のコードを「４」としてもよい。この場合、特徴量のコードは、４種類の値を有する。以下の説明では特徴量のコードは、上述の４種類であるものとする。

図１１（ｇ）には、特徴量のコードを各ブロックの位置に図示した特徴量画像が示されている。図１１（ｇ）の特徴量画像では、特徴量のコードの値「１」、「２」、「３」、「４」がそれぞれ異なるパターンで表示されている。この表示は、例えば色、明るさ、模様等の画像のパターンをコードの値に応じて変えたものであり得る。抽出された特徴量又は特徴量画像は記憶部６７に記憶される。

なお、上述の例では、第２のブロックは第１のブロックの右隣という位置関係を例示したが、左隣等であってもよく、より一般的には、第２のブロックは第１のブロックに隣接しているという位置関係であり得る。

ステップＳ２０６において、照合部６６は、ステップＳ２０５で算出された特徴量と、予め登録されている特徴量とを照合する処理を行う。この処理では、ステップＳ２０５で算出された特徴量と予め登録されている特徴量とを比較して、一致する領域（一致領域）、一致しない領域（不一致領域）、照合ができない領域（照合不能領域）を判定する。例えば、比較対象のコードがいずれも「１」又は「３」である領域は、一致領域であると判定され得る。比較対象のコードの一方が「１」であり、他方が「３」である領域は、不一致領域であると判定され得る。比較対象のコードのうちのいずれかが「４」である領域は照合に用いることができないため照合不能領域と判定され得る。一致領域及び不一致領域の大きさ等から算出される一致度のスコアが所定の閾値を超えている場合に比較対象である２つの特徴量に対応する２つの虹彩画像は同一人物のものであると判定される。照合結果並びに一致領域、不一致領域及び照合不能領域の情報は、記憶部６７に記憶される。なお、特徴量、一致領域、不一致領域及び照合不能領域の情報は、より一般的に虹彩照合に関する照合情報と呼ばれることもある。
ステップＳ２０７において、照合部６６は、ステップＳ２０６における照合結果を情報処理装置１０に出力し、処理を終了する。

以上のように、本実施形態における虹彩照合システム１は、照合対象者の視線方向が虹彩撮影用カメラ３０の撮影方向から所定の閾値を超えて外れている場合に、音声や画面表示等の通知方法によって照合対象者に注意喚起を行える。これにより、照合対象者が静止状態でなくても、ウォークスルーで虹彩画像の撮影を効率的に行える。その結果、虹彩認証に要する時間を短縮できる。

また、本実施形態における虹彩照合システム１は、照合対象者が虹彩撮影用カメラ３０から遠い位置に存在する場合と、近い位置に存在する場合とで視線方向の推定方法を切替えることができる。これにより、虹彩照合システム１は、距離に応じて適切な推定方法を選択できる。

［第２実施形態］
以下、第２実施形態における虹彩照合システム２について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

図１２は、本実施形態における虹彩照合システム２の全体構成例を示す図である。図１２に示すように、本実施形態における虹彩照合システム２は、虹彩撮影用カメラ３０を１台ではなく、複数（Ｎ≧２）台備えている。

図１３は、本実施形態における照合対象者の視線方向と複数の虹彩撮影用カメラ３０の撮影方向とのなす角度を説明する図である。ここでは、４台の虹彩撮影用カメラ３０（３０ａ～３０ｄ）は、撮影方向がそれぞれ異なっている。４台の虹彩撮影用カメラ３０のうち、虹彩撮影用カメラ３０ｃの撮影方向と照合対象者の視線方向とのなす角度が最小値となる。このような場合、本実施形態における情報処理装置１０（制御部１４）は、撮影方向が互いに異なる複数の虹彩撮影用カメラ３０のうちから、検出角度に基づいて選択された虹彩撮影用カメラ３０ｃに虹彩画像を撮影させるように、制御情報を虹彩撮影用カメラ３０ｃに出力する。

図１４は、本実施形態における情報処理装置１０の制御処理の一例を示すフローチャートである。なお、図１４の処理は一例であり、処理の順序は適宜変更可能である。

先ず、画像取得部１１は、視線検出用カメラ２０において撮影された撮影画像を受信する（ステップＳ３０１）。なお、当該撮影画像は、視線方向の推定に用いられることから、照合対象者の少なくとも顔の一部を含むものとする。

次に、距離情報取得部１３は、距離センサ４０から照合対象者と虹彩撮影用カメラ３０との間の距離を示す信号を距離情報として受信する（ステップＳ３０２）。

次に、視線情報取得部１２は、ステップＳ３０１において受信された撮影画像を解析し、照合対象者の視線情報を取得する（ステップＳ３０３）。なお、本実施形態における視線情報は、照合対象者の顔方向、画像内における眼領域の位置情報、目尻、瞳孔及び虹彩の位置情報等を含むものとする。

次に、制御部１４（視線方向推定部１４ａ）は、照合対象者と虹彩撮影用カメラ３０との間の距離に基づいて照合対象者の視線方向の推定方法を選択する（ステップＳ３０４）。具体的には、制御部１４（視線方向推定部１４ａ）は、距離が所定の基準距離以上である場合には、視線情報に含まれる照合対象者の顔方向に基づいて視線方向を推定する。また、制御部１４（視線方向推定部１４ａ）は、距離が基準距離未満である場合には、視線情報に含まれる照合対象者の瞳孔又は虹彩の位置情報に基づいて視線方向を推定する。

次に、制御部１４（視線方向推定部１４ａ）は、選択された推定方法に基づいて、複数の虹彩撮影用カメラ３０のそれぞれについて視線情報から照合対象者の視線方向を推定する（ステップＳ３０５）。すなわち、制御部１４（視線方向推定部１４ａ）は、虹彩撮影用カメラ３０がＮ台設置されている場合には、Ｎ通りの視線方向を推定する。

次に、制御部１４（角度検出部１４ｂ）は、ステップＳ３０５において推定された複数の視線方向と虹彩撮影用カメラ３０の撮影方向とのなす角度をそれぞれ検出する（ステップＳ３０６）。

次に、制御部１４（判定部１４ｃ）は、複数の虹彩撮影用カメラ３０の中から、最小の検出角度に対応する虹彩撮影用カメラ３０を選択する（ステップＳ３０７）。

次に、制御部１４（判定部１４ｃ）は、検出角度が所定の判定基準を満たすか否かを判定する（ステップＳ３０８）。ここで、制御部１４（判定部１４ｃ）が、検出角度は所定の判定基準を満たすと判定した場合（ステップＳ３０８：ＹＥＳ）には、処理はステップＳ３０９に移行する。これに対し、制御部１４（判定部１４ｃ）が、検出角度は所定の判定基準を満たさないと判定した場合（ステップＳ３０９：ＮＯ）には、処理はステップＳ３１０に移行する。

ステップＳ３０９において、制御部１４（判定部１４ｃ）は、照合対象者が虹彩撮影区間内に存在するか否かを判定する。ここで、制御部１４（判定部１４ｃ）が、照合対象者は虹彩撮影区間内に存在すると判定した場合（ステップＳ３０９：ＹＥＳ）には、処理はステップＳ３１１に移行する。これに対し、制御部１４（判定部１４ｃ）が、照合対象者は虹彩撮影区間内に存在しないと判定した場合（ステップＳ３０９：ＮＯ）には、処理はステップＳ３０１に戻る。

ステップＳ３１０において、制御部１４（通知制御部１４ｄ）は、角度に基づく情報を照合対象者に通知するための通知制御情報を生成し、通知装置５０を制御すると、処理はステップＳ３０１に戻る。すなわち、制御部１４（通知制御部１４ｄ）は、通知装置５０における通知方法を決定するとともに、通知装置５０において画面表示、音、光等の通知方法によって、照合対象者に対して視線方向を、最小の検出角度に対応する虹彩撮影用カメラ３０側に向けるように注意喚起を行う。本実施形態における通知例としては、例えば、ディスプレイ５０ａ上に「ＬＥＤが点灯しているカメラを見てください。」、「３番のカメラを見てください。」等のメッセージを表示する方法が挙げられる。

ステップＳ３１１において、制御部１４（駆動制御部１４ｅ）は、虹彩撮影用カメラに制御情報を出力する。すなわち、制御部１４（駆動制御部１４ｅ）は、角度が所定角度以下、かつ、距離が所定距離以下である場合に虹彩撮影用カメラ３０に虹彩画像を撮影させる。

そして、制御部１４（駆動制御部１４ｅ）は、照合装置６０に対して制御情報を出力し（ステップＳ３１２）、虹彩撮影用カメラで撮影された虹彩画像と虹彩データベース７０に予め登録された登録虹彩画像との照合処理を実行させ、処理を終了する。

以上のように、本実施形態における虹彩照合システム２は、撮影方向が互いに異なる複数の虹彩撮影用カメラ３０の中から、検出角度に基づいて実際に虹彩画像を撮影する虹彩撮影用カメラ３０を選択する。照合対象者の視線方向に近い撮影方向に対応する虹彩撮影用カメラ３０が選択されるため、第１実施形態の場合よりも照合対象者は視線方向を調整し易くなる。これにより、虹彩認証時における照合対象者の利便性をさらに向上させることができる。

［第３実施形態］
以下、第３実施形態における虹彩照合システムについて説明する。なお、上述した実施形態の図中において付与した符号と共通する符号は同一の対象を示す。上述した実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

上述した実施形態では、検出角度の判定基準値は照合対象者までの距離にかかわらず、一定であることを前提として説明した。一方、本実施形態は、制御部１４（判定部１４ｃ）が、検出された距離に基づいて照合対象者の視線方向と虹彩撮影用カメラ３０の撮影方向とを対向させる（検出角度を低減させる）制御に用いられる判定基準値を変更する点で第１及び第２実施形態と異なっている。

図１５は、実施形態における虹彩撮影用カメラ３０と照合対象者との間の距離と検出角度の判定基準値との関係を示すグラフである。ここでは、虹彩撮影用カメラ３０と照合対象者との間の距離を横軸に、距離に応じた判定基準値を縦軸として、距離と判定基準値との関係性の一例を示している。距離Ｄ１からＤ２の区間は、視線調整区間Ｓ１を示している。また、距離Ｄ３からＤ２の区間は、虹彩撮影区間Ｓ２を示している。なお、距離がＤ３よりも短い場合や距離がＤ１よりも長い場合には、虹彩撮影及び視線検出を行わないため、判定基準値は定義されていない。図１５の例では、視線調整区間Ｓ１内で照合対象者がカメラに近付くにつれて、判定基準値はＣ１からＣ２に減少していくことを示している。そして、虹彩撮影区間Ｓ２においては、判定基準値はＣ２で一定となっている。

図１６は、本実施形態における情報処理装置１０の制御処理の一例を示すフローチャートである。なお、図１６の処理は一例であり、処理の順序は適宜変更可能である。

先ず、画像取得部１１は、視線検出用カメラ２０において撮影された撮影画像を受信する（ステップＳ４０１）。なお、当該撮影画像は、視線方向の推定に用いられることから、照合対象者の少なくとも顔の一部を含むものとする。

次に、距離情報取得部１３は、距離センサ４０から照合対象者と虹彩撮影用カメラ３０との間の距離を示す信号を距離情報として受信する（ステップＳ４０２）。

次に、視線情報取得部１２は、ステップＳ４０１において受信された撮影画像を解析し、照合対象者の視線情報を取得する（ステップＳ４０３）。なお、本実施形態における視線情報は、照合対象者の顔方向、画像内における眼領域の位置情報、目尻、瞳孔及び虹彩の位置情報等を含むものとする。

次に、制御部１４（視線方向推定部１４ａ）は、照合対象者と虹彩撮影用カメラ３０との間の距離に基づいて照合対象者の視線方向の推定方法を選択する（ステップＳ４０４）。具体的には、本実施形態の制御部１４（視線方向推定部１４ａ）は、距離が所定の基準距離以上である場合には、視線情報に含まれる照合対象者の顔方向に基づいて視線方向を推定する。これに対し、制御部１４（視線方向推定部１４ａ）は、距離が基準距離未満である場合には、視線情報に含まれる照合対象者の瞳孔又は虹彩の位置情報に基づいて視線方向を推定する。

次に、制御部１４（視線方向推定部１４ａ）は、選択された推定方法に基づいて、視線情報から照合対象者の視線方向を推定する（ステップＳ４０５）。なお、制御部１４（視線方向推定部１４ａ）は、虹彩撮影用カメラ３０がＮ台設置されている場合には、Ｎ通りの視線方向を推定する。

次に、制御部１４（角度検出部１４ｂ）は、ステップＳ４０５において推定された視線方向と虹彩撮影用カメラ３０の撮影方向とのなす角度を検出する（ステップＳ４０６）。

次に、制御部１４（判定部１４ｃ）は、検出された距離に基づいて検出角度の判定基準値を選択する（ステップＳ４０７）。

次に、制御部１４（判定部１４ｃ）は、検出角度が所定の判定基準を満たすか否かを判定する（ステップＳ４０８）。ここで、制御部１４（判定部１４ｃ）が、検出角度は所定の判定基準を満たすと判定した場合（ステップＳ４０８：ＹＥＳ）には、処理はステップＳ４０９に移行する。これに対し、制御部１４（判定部１４ｃ）が、検出角度は所定の判定基準を満たさないと判定した場合（ステップＳ４０９：ＮＯ）には、処理はステップＳ４１０に移行する。

ステップＳ４０９において、制御部１４（判定部１４ｃ）は、照合対象者が虹彩撮影区間内に存在するか否かを判定する。ここで、制御部１４（判定部１４ｃ）が、照合対象者は虹彩撮影区間内に存在すると判定した場合（ステップＳ４０９：ＹＥＳ）には、処理はステップＳ４１１に移行する。これに対し、制御部１４（判定部１４ｃ）が、照合対象者は虹彩撮影区間内に存在しないと判定した場合（ステップＳ４０９：ＮＯ）には、処理はステップＳ４０１に戻る。

ステップＳ４１０において、制御部１４（通知制御部１４ｄ）は、角度に基づく情報を照合対象者に通知するための通知制御情報を生成し、通知装置５０を制御すると、処理はステップＳ４０１に戻る。すなわち、制御部１４（通知制御部１４ｄ）は、通知装置５０における通知方法を決定するとともに、通知装置５０において画面表示、音、光等の通知方法によって、照合対象者に対して視線方向を虹彩撮影用カメラ３０側に向けるように注意喚起を行う。

ステップＳ４１１において、制御部１４（駆動制御部１４ｅ）は、虹彩撮影用カメラに制御情報を出力する。すなわち、制御部１４（駆動制御部１４ｅ）は、角度が所定角度以下、かつ、距離が所定距離以下である場合に虹彩撮影用カメラ３０に虹彩画像を撮影させる。

そして、制御部１４（駆動制御部１４ｅ）は、照合装置６０に対して制御情報を出力し（ステップＳ４１２）、虹彩撮影用カメラで撮影された虹彩画像と虹彩データベース７０に予め登録された登録虹彩画像との照合処理を実行させ、処理を終了する。

以上のように、本実施形態における虹彩照合システムは、照合対象者の視線方向と虹彩撮影用カメラ３０の撮影方向とのなす角度、すなわち、ずれ量の適否を判定するための判定基準値を距離に応じて変更できる。このため、精度が要求されない位置では判定基準値を緩やかに、精度が要求される位置では判定基準値を厳しく定義することで、視線方向の調整を効率化するとともに、高精度での虹彩画像の撮影が可能となる。

［第４実施形態］
図１７は、本実施形態における情報処理装置１００の機能を示すブロック図である。情報処理装置１００は、虹彩照合システムを制御する情報処理装置であって、第１撮影装置により撮影された画像から照合対象者の視線情報を取得する取得部１１０と、視線情報から得られる視線方向と、照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように虹彩照合システムを制御する制御部１２０と、を備える。本実施形態における情報処理装置１００によれば、虹彩認証における利用者の利便性を向上できる。

［第５実施形態］
図１８は、本実施形態における情報処理システム５００の機能を示すブロック図である。情報処理システム５００は、照合対象者の顔の少なくとも一部を含む第１画像を撮影する第１撮影装置５１０と、照合対象者の虹彩を含む第２画像を撮影する第２撮影装置５２０と、情報処理装置５３０と、を備える。情報処理装置５３０は、第１画像に基づいて照合対象者の視線情報を取得する取得部５３１と、視線情報から得られる照合対象者の視線方向と、第２撮影装置における撮影方向とが対向するように、情報処理システム５００を制御する制御部５３２と、を有する。本実施形態における情報処理システム５００によれば、虹彩認証における利用者の利便性を向上できる。

［変形実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

上述した実施形態では、虹彩撮影用カメラ３０は固定された状態であることを前提として説明した。制御部１４（駆動制御部１４ｅ）は、視線情報に基づいて、角度が低減される方向に虹彩撮影用カメラ３０を駆動させてもよい。この場合、上述の実施形態とは異なり、照合対象者に対する注意喚起を行う必要がなくなる。このため、施設の利用者（照合対象者）は、認証処理を意識せずに通行できるようになる利点がある。

上述した第２実施形態では、複数の虹彩撮影用カメラ３０のうち、検出角度が最小となる撮影装置において虹彩画像を撮影する場合について説明した。しかし、制御部１４は、撮影方向が互いに異なる複数の虹彩撮影用カメラ３０が撮影した虹彩画像群のうちから、角度に基づいて虹彩画像を選択し、選択画像に基づいて照合装置６０に照合処理を実行させてもよい。例えば、制御部１４は、撮影方向が互いに異なる複数の撮影装置が撮影した虹彩画像群のうちから、最小の検出角度に対応する虹彩撮影用カメラ３０が撮影した虹彩画像を選択してもよい。この場合、画像の選択が容易となる利点がある。同様に、角度が許容範囲にある虹彩撮影用カメラ３０が撮影した虹彩画像を選択してもよい。この場合、角度が最小ではないものの、画像の品質が高く、より虹彩照合に適する画像を選択できる利点がある。

上述の実施形態では、視線検出用カメラ２０（第１撮影装置）により撮影された撮像画像（以下、「第１画像」という。）を解析することで、照合対象者の視線方向を検出する方法について説明した。しかし、視線検出用カメラ２０ではなく、虹彩撮影用カメラ３０により撮影された画像（以下、「第２画像」という。）に基づいて視線方向を推定してもよい。例えば、制御部１４（視線方向推定部１４ａ）は、照合対象者までの距離が所定の基準距離以上である場合には、第１画像に基づいて視線方向を推定し、距離が所定の基準距離未満である場合には、第２画像に基づいて照合対象者の視線方向を推定してもよい。虹彩撮影用カメラ３０が撮影した第２画像の解像度は、視線検出用カメラ２０が撮影した第１画像の解像度よりも高い。このため、視線方向の推定の精度を向上できる利点がある。

上述の実施形態では、距離センサ４０によって照合対象者までの距離を検出する場合について説明したが、距離の検出方法はこれに限られない。照合対象者までの距離は、視線検出用カメラ２０（第１撮影装置）により取得される構成としてもよい。すなわち、視線検出と距離検出を同一カメラで行う場合もあり得る。例えば、視線検出用カメラ２０が撮影した撮影画像の中に、距離及び大きさが既知である物体が含まれている場合、同画像における照合対象者と物体の大きさを比較することで距離を推定できる。この場合、距離センサ４０を省略できるため、ハードウェア構成を簡略化できる利点がある。

上述の実施形態では、虹彩画像に基づく認証処理のみを実行していたが、他の認証方法と組み合わせてもよい。例えば、照合装置６０は、第１画像と登録者の登録顔画像との照合結果に基づいて照合対象者を認証する顔認証と、第２画像と登録者の登録虹彩画像との照合結果に基づいて照合対象者を認証する虹彩認証からなる二要素認証を実行してもよい。二要素認証を実行することにより、認証精度を向上させることができる。

また、照合装置６０は、顔認証において登録者として認証された照合対象者を、虹彩認証における認証対象とする二段階認証を実行してもよい。顔認証によって照合対象者の数が絞り込まれるため、１対Ｎの虹彩画像認証における速度を向上させることができる。

上述の第２実施形態においては、虹彩撮影用カメラ３０の選択処理と併せて、照合対象者に対する通知処理を実行する場合について説明したが、通知処理を省略したシステム構成もあり得る。この場合、照合対象者は視線方向の調整が不要となる利点がある。

上述した実施形態では、視線方向は角度により表され、視線方向と撮影方向とのなす角度に基づいて虹彩画像を撮影するか否かを判定する場合について説明した。しかし、視線方向は、瞳孔の中心と瞳に写った反射像との位置の差により表されてもよい。すなわち、瞳孔の中心と瞳に写った反射像とが一致する場合には、照合対象者の視線方向と虹彩撮影用カメラ３０の撮影方向とが対向していると判定できる。情報処理装置１０は、視線方向として、必ずしも角度を算出しなくてもよい。

上述の第１の実施形態では、撮影する虹彩撮影用カメラ３０が１台である場合について説明したが、Ｎ（Ｎ≧２）台の虹彩撮影用カメラ３０のうち、撮影するカメラが予め１台に仮決めしておく構成も有り得る。この場合、照合対象者の視線方向と既定の虹彩撮影用カメラ３０の撮影方向とのなす角度が所定の範囲にない場合にのみ、照合対象者の視線方向と他の虹彩撮影用カメラ３０の撮影方向とのなす角度を算出し、適切なカメラを選択するとよい。また、第２実施形態と同様に、視線方向と撮影方向とのなす角度をＮ通り算出し、照合対象者の視線方向に最も近い撮影方向に対応するカメラを選択してもよい。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
虹彩照合システムを制御する情報処理装置であって、
第１撮影装置により撮影された画像から照合対象者の視線情報を取得する取得部と、
前記視線情報から得られる視線方向と、前記照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように、虹彩照合システムを制御する制御部と、
を備える情報処理装置。

（付記２）
前記制御部は、前記視線方向に基づく情報を前記照合対象者に通知するための通知制御情報を生成する、
付記１に記載の情報処理装置。

（付記３）
前記通知制御情報は、前記視線方向を前記第２撮影装置側に誘導するための情報を含む、
付記２に記載の情報処理装置。

（付記４）
前記制御部は、前記撮影方向が互いに異なる複数の前記第２撮影装置のうちから、前記視線方向に基づいて選択された前記第２撮影装置に前記虹彩画像を撮影させる、
付記１乃至３のいずれかに記載の情報処理装置。

（付記５）
前記制御部は、前記撮影方向が互いに異なる複数の前記第２撮影装置のうちから、前記視線方向と前記撮影方向とのなす角度が最小となる前記第２撮影装置に前記虹彩画像を撮影させる、
付記４に記載の情報処理装置。

（付記６）
前記制御部は、前記視線情報に基づいて、前記視線方向と前記撮影方向とのなす角度が低減される方向に前記第２撮影装置を駆動させる、
付記１乃至３のいずれかに記載の情報処理装置。

（付記７）
前記制御部は、前記撮影方向が互いに異なる複数の前記第２撮影装置が撮影した虹彩画像群のうちから、前記視線方向と前記撮影方向とのなす角度に基づいて前記虹彩画像を選択する、
付記１乃至３のいずれかに記載の情報処理装置。

（付記８）
前記制御部は、前記撮影方向が互いに異なる複数の前記第２撮影装置が撮影した虹彩画像群のうちから、前記視線方向と前記撮影方向とのなす角度が最小である前記虹彩画像を選択する、
付記７に記載の情報処理装置。

（付記９）
前記照合対象者までの距離を取得する距離情報取得部をさらに備え、
前記制御部は、前記距離に基づいて前記視線方向と前記撮影方向とを対向させる制御に用いられる判定基準を変更する、
付記１乃至８のいずれかに記載の情報処理装置。

（付記１０）
前記照合対象者までの距離を取得する距離情報取得部をさらに備え、
前記制御部は、前記視線方向が所定の範囲に含まれ、かつ、前記距離が所定距離以下である場合に前記第２撮影装置に前記虹彩画像を撮影させる、
付記１乃至８のいずれかに記載の情報処理装置。

（付記１１）
前記照合対象者までの距離を取得する距離情報取得部をさらに備え、
前記制御部は、前記距離が所定の基準距離以上である場合には、前記視線情報に含まれる前記照合対象者の顔方向に基づいて前記視線方向を推定し、前記距離が前記基準距離未満である場合には、前記視線情報に含まれる前記照合対象者の瞳孔又は虹彩の位置情報に基づいて前記視線方向を推定する、
付記１乃至８のいずれかに記載の情報処理装置。

（付記１２）
前記制御部は、前記視線情報に含まれる前記照合対象者の瞳孔又は虹彩の位置情報に基づいて前記視線方向を推定する、
付記１乃至１０のいずれかに記載の情報処理装置。

（付記１３）
照合対象者の顔の少なくとも一部を含む第１画像を撮影する第１撮影装置と、
前記照合対象者の虹彩を含む第２画像を撮影する第２撮影装置と、
情報処理装置と、
を備えた情報処理システムであって、
前記情報処理装置は、
前記第１画像に基づいて前記照合対象者の視線情報を取得する取得部と、
前記視線情報から得られる前記照合対象者の視線方向と、前記第２撮影装置における撮影方向とが対向するように前記情報処理システムを制御する制御部と、
を有する情報処理システム。

（付記１４）
前記第２画像の解像度は、前記第１画像の解像度よりも高い、
付記１３に記載の情報処理システム。

（付記１５）
前記第２撮影装置における撮影波長は、前記第１撮影装置における撮影波長と異なる、
付記１４に記載の情報処理システム。

（付記１６）
前記制御部は、前記照合対象者までの距離が所定の基準距離以上である場合には、前記第１画像に基づいて前記視線方向を推定し、前記距離が所定の基準距離未満である場合には、前記第２画像に基づいて前記照合対象者の前記視線方向を推定する、
付記１３乃至１５のいずれかに記載の情報処理システム。

（付記１７）
前記距離を検出し、前記情報処理装置へ出力する距離センサをさらに備える、
付記１６に記載の情報処理システム。

（付記１８）
前記距離は、前記第１撮影装置により取得される、
付記１７に記載の情報処理システム。

（付記１９）
前記第１画像と登録者の登録顔画像との照合結果に基づいて前記照合対象者を認証する顔認証と、前記第２画像と前記登録者の登録虹彩画像との照合結果に基づいて前記照合対象者を認証する虹彩認証とを実行する照合装置をさらに備える、
付記１３乃至１８のいずれかに記載の情報処理システム。

（付記２０）
前記照合装置は、前記顔認証において前記登録者として認証された前記照合対象者を、前記虹彩認証における認証対象とする、
付記１９に記載の情報処理システム。

（付記２１）
虹彩照合システムを制御する情報処理方法であって、
第１撮影装置により撮影された画像から照合対象者の視線情報を取得するステップと、
前記視線情報から得られる視線方向と、前記照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように、前記虹彩照合システムを制御するステップと、
を備える情報処理方法。

（付記２２）
虹彩照合システムを制御するコンピュータに、
第１撮影装置により撮影された画像から照合対象者の視線情報を取得するステップと、
前記視線情報から得られる視線方向と、前記照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように、前記虹彩照合システムを制御するステップと、
を実行させるためのプログラムが記録された記録媒体。

ＮＷ・・・ネットワーク １,２・・・虹彩照合システム
１０・・・情報処理装置 １１・・・画像取得部
１２・・・視線情報取得部 １３・・・距離情報取得部
１４・・・制御部 １４ａ・・・視線方向推定部
１４ｂ・・・角度検出部 １４ｃ・・・判定部
１４ｄ・・・通知制御部 １４ｅ・・・駆動制御部
１５・・・記憶部
２０・・・視線検出用カメラ（第１撮影装置）
３０・・・虹彩撮影用カメラ（第２撮影装置）
４０・・・距離センサ
５０・・・通知装置 ５０ａ・・・ディスプレイ
５０ｂ・・・ＬＥＤ ５０ｃ・・・スピーカ
６０・・・照合装置 ６１・・・画像取得部
６２・・・虹彩画像抽出部 ６３・・・座標変換部
６４・・・ブロック分割部 ６５・・・特徴量算出部
６６・・・照合部 ６７・・・記憶部
７０・・・虹彩データベース
１００・・・情報処理装置 １１０・・・取得部
１２０・・・制御部
１５１,６５１・・・ＣＰＵ １５２,６５２・・・ＲＡＭ
１５３,６５３・・・ＲＯＭ １５４,６５４・・・ＨＤＤ
１５５,６５５・・・通信Ｉ／Ｆ １５６・・・表示装置
１５７・・・入力装置 １５８,６５８・・・バス
５００・・・情報処理システム ５１０・・・第１撮影装置
５２０・・・第２撮影装置 ５３０・・・情報処理装置
５３１・・・取得部 ５３２・・・制御部

Claims (8)

1. 虹彩照合システムを制御する情報処理装置であって、
   第１撮影装置により撮影された画像から照合対象者の視線情報を取得する取得部と、
   前記照合対象者までの距離を取得する距離情報取得部と、
   前記視線情報から得られる視線方向と、前記照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように、前記虹彩照合システムを制御する制御部と、
   を備え、
   前記制御部は、前記距離に基づいて前記視線方向と前記撮影方向とを対向させる制御に用いられる判定基準を変更する情報処理装置。
2. 前記制御部は、前記視線方向が所定の範囲に含まれ、かつ、前記距離が所定距離以下である場合に前記第２撮影装置に前記虹彩画像を撮影させる、
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記距離が所定の基準距離以上である場合には、前記視線情報に含まれる前記照合対象者の顔方向に基づいて前記視線方向を推定し、前記距離が前記基準距離未満である場合には、前記視線情報に含まれる前記照合対象者の瞳孔又は虹彩の位置情報に基づいて前記視線方向を推定する、
   請求項１に記載の情報処理装置。
4. 照合対象者の顔の少なくとも一部を含む第１画像を撮影する第１撮影装置と、
   前記照合対象者の虹彩を含む第２画像を撮影する第２撮影装置と、
   情報処理装置と、
   を備えた情報処理システムであって、
   前記情報処理装置は、
   前記第１画像に基づいて前記照合対象者の視線情報を取得する取得部と、
   前記視線情報から得られる前記照合対象者の視線方向と、前記第２撮影装置における撮影方向とが対向するように前記情報処理システムを制御する制御部と、
   を有し、
   前記制御部は、前記照合対象者までの距離が所定の基準距離以上である場合には、前記第１画像に基づいて前記視線方向を推定し、前記距離が所定の基準距離未満である場合には、前記第２画像に基づいて前記照合対象者の前記視線方向を推定する情報処理システム。
5. 前記距離を検出し、前記情報処理装置へ出力する距離センサをさらに備える、
   請求項４に記載の情報処理システム。
6. 前記距離は、前記第１撮影装置により取得される、
   請求項５に記載の情報処理システム。
7. 虹彩照合システムを制御する情報処理方法であって、
   第１撮影装置により撮影された画像から照合対象者の視線情報を取得するステップと、
   前記照合対象者までの距離を取得するステップと、
   前記視線情報から得られる視線方向と、前記照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように、前記虹彩照合システムを制御するステップと、
   前記距離に基づいて前記視線方向と前記撮影方向とを対向させる制御に用いられる判定基準を変更するように、前記虹彩照合システムを制御するステップと、
   を備える情報処理方法。
8. 虹彩照合システムを制御するコンピュータに、
   第１撮影装置により撮影された画像から照合対象者の視線情報を取得するステップと、
   前記照合対象者までの距離を取得するステップと、
   前記視線情報から得られる視線方向と、前記照合対象者の虹彩照合に用いられる虹彩画像を撮影する第２撮影装置における撮影方向とが対向するように、前記虹彩照合システムを制御するステップと、
   前記距離に基づいて前記視線方向と前記撮影方向とを対向させる制御に用いられる判定基準を変更するように、前記虹彩照合システムを制御するステップと、
   を実行させるためのプログラム。

Images