JP7276427B2 - 画像処理装置、方法、システム、及びプログラム - Google Patents

Description

本開示は、画像処理装置、方法、システム、及びコンピュータ可読媒体に関し、特に虹彩を用いる認証の用途に用いられ得る画像処理装置、方法、システム、及びコンピュータ可読媒体に関する。

虹彩を用いる生体認証が知られている。この生体認証では、撮像装置を用いて被験者の虹彩が撮像され、撮像された虹彩のパターンから特徴量が抽出される。被験者を認証する場合、抽出された特徴量とあらかじめデータベースに登録された特徴量とが照合され、照合スコアに基づいて合否が判断される。一方、認証対象の被験者を登録する場合、抽出された特徴量がデータベースに追加される。

非特許文献１に記載されるように、瞳孔を取り囲むドーナツ型の組織である虹彩は、非常に複雑なパターンで、人それぞれに固有のものとなる。また、虹彩の撮像においては、被験者の目に近赤外光が照射される。

非特許文献２に記載されるように、虹彩の撮像においては、虹彩の半径を１００画素から１４０画素で表現できる解像度で虹彩映像が撮像される。また、被験者の目に照射される近赤外光の波長は７００ｎｍから９００ｎｍとなる。

細矢、「虹彩による認証システムについて」、生体医工学44(1), page33-39, 2006 Daugman, "How Iris Recognition Works," https://www.cl.cam.ac.uk/~jgd1000/irisrecog.pdf

虹彩の直径は約１ｃｍであり、その半径を１００画素で表現しようとすると、５０μｍ粒度となる。このように、虹彩のパターンは微細なため、被験者と撮像手段との距離が長い、撮像する視野が広い、及び被験者が移動するなど条件で、認証や照合できる品質で虹彩パターンを撮像することが困難である。

本開示は、上記事情に鑑み、認証や照合できる品質で虹彩パターンを撮像することが可能な画像処理装置、方法、システム、及びコンピュータ可読媒体を提供することを目的とする。

上記目的を達成するために、本開示は、第１の態様として、同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段と、前記虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段と、被験者を誘導するための誘導手段と、前記被験者に光を照らす照明手段と、前記全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、前記誘導手段の映像及び音声の少なくとも一方の提示、及び、前記照明手段の光の照射のうち少なくとも１つを制御する制御手段とを備え、前記制御手段は、前記虹彩撮像手段の画像の読み出しを制御し、前記制御手段は、前記画像の読み出しの制御では、画像の読出しの対象となる注視領域を設定し、前記制御手段は、更に、過去の情報を記憶しておき、同じ被験者に対して画像処理する場合、前記被験者の目領域を過去に利用した注視領域でカバーできたか否かを判断し、カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する画像処理システムを提供する。

本開示は、第２の態様として、被験者の虹彩を撮像するための虹彩撮像手段の画像の読み出しを制御する制御手段を備え、前記制御手段は、前記画像の読出しの制御では、画像の読み出しの対象となる注視領域を設定し、前記制御手段は、更に、過去の情報を記憶しておき、同じ被験者に対して画像処理する場合、前記被験者の目領域を過去に利用した注視領域でカバーできたか否かを判断し、カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する画像処理装置を提供する。

本開示は、第３の態様として、同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、被験者を誘導するための誘導手段の映像及び音声の少なくとも一方の提示、及び、前記被験者に光を照らす照明手段の光の照射のうち少なくとも１つを実施する画像処理方法を提供する。

本開示は、第４の態様として、被験者の虹彩を撮像するための虹彩撮像手段の画像の読み出しを制御し、同じ被験者に対して画像処理する場合、過去に利用された、画像の読み出しの対象となる注視領域で前記被験者の目領域をカバーできたか否かを判断し、カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する画像処理方法を提供する。

本開示は、第５の態様として、同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、被験者を誘導するための誘導手段の映像及び音声の少なくとも一方の提示、及び、前記被験者に光を照らす照明手段の光の照射のうち少なくとも１つを実施する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体を提供する。

本開示は、第６の態様として、被験者の虹彩を撮像するための虹彩撮像手段の画像の読み出しを制御し、同じ被験者に対して画像処理する場合、過去に利用された、画像の読み出しの対象となる注視領域で前記被験者の目領域をカバーできたか否かを判断し、カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体を提供する。

本開示に係る画像処理装置、方法、システム、及びコンピュータ可読媒体は、認証や照合できる品質で虹彩パターンを撮像することができる。

本開示の第１実施形態に係る画像処理システムを示すブロック図。 虹彩撮像制御の様子を示す図。 画像処理システムにおける動作手順を示すフローチャート。 本開示の第２実施形態に係る画像処理システムにおける動作手順を示すフローチャート。 コンピュータ装置の構成例を示すブロック図。

本開示の実施の形態の説明に先立ち、課題を定量化する。以下では、Automated border control systems（ＡＢＣ）の運用条件などで想定される下記の条件を例として説明する。被験者と撮像手段の距離（被験者とゲートの間の距離）は２ｍであり、水平視野、すなわち被験者１人の両目をカバーできる水平方向の範囲は０．２ｍであるとする。また、垂直視野、すなわち、典型的には男性である背の高い被験者の目から、典型的には女性である背の低い被験者の目までカバーできる垂直方向の範囲は０．４ｍであるとする。また、ゲートに対する被験者の歩行速度（移動速度）は、成人のゆっくりとした歩行速度の平均値、例えば１ｍ／ｓであるとする。

上記運用条件で、画素ピッチ５μｍのイメージセンサ、絞りＦ２で焦点距離２００ｍｍのレンズが用いられることを仮定すると、撮像手段には、後述するように、３２Ｍ画素の高解像度と１００ｆｐｓ（frame per second）の高フレームレートの両方が要求される。

解像度について、撮像装置から２ｍ離れた位置において水平０．２ｍの視野を確保するためには、撮像装置には水平方向に４０００画素（０．２［ｍ］÷５０［μｍ］＝４０００）が必要となる。また、撮像装置から２ｍ離れた位置において垂直０．４ｍの視野を確保するためには、撮像装置には垂直方向に８０００画素（０．４［ｍ］÷５０［μｍ］＝８０００）が必要となる。結果として、撮像装置には３２Ｍ画素の解像度が要求される。

一方、上記レンズが用いられる場合で、許容錯乱円径が０．０３ｍｍの場合、２ｍ先に確保できる被写界深度は約１ｃｍとなる。被験者の歩行速度が１ｍ／ｓの場合、被験者が被写体深度１ｃｍを通過する時間は１［ｃｍ］÷１００［ｃｍ／ｓ］＝０．０１秒である。この場合、歩行する被験者の虹彩が合焦した瞬間０．０１秒を捉えるためには、撮像装置には１００ｆｐｓ（１［秒］÷１００［ｆｐｓ］＝０．０１秒の時間分解能）の性能が要求される。

３２Ｍ画素の高解像度と１００ｆｐｓの高フレームレートを１台で満たせる撮像機器は普及品では存在しない。このため、上記運用条件にて、認証や照合できる品質で虹彩パターンを撮像することが困難である。以上で、課題の定量化の説明を終了する。

以下、図面を参照しつつ、本開示の実施の形態を説明する。図１は、本開示の第１実施形態に係る画像処理システムを示す。画像処理システムは、全体撮像器１００、誘導器２００、照明器３００、虹彩撮像器４０１～４０４、及び制御器５００を有する。なお、図１では、虹彩撮像器の数を４台としているが、虹彩撮像器の台数は特に限定されない。虹彩撮像器の数は、カバーしたい視野範囲や、利用できる虹彩撮像器の解像度などに応じて、適宜設定され得る。

全体撮像器（全体撮像手段）１００は、背の高い被験者から背の低い被験者までの全体をカバーできるように、広い視野範囲で被験者を撮像する。全体撮像器１００は、被験者を顔で認証できる解像度を備えていてもよい。

制御器（制御手段）５００は、全体撮像器１００から供給される全体映像を監視し、誘導器（誘導手段）２００、照明器（照明手段）３００、及び複数の虹彩撮像器（虹彩撮像手段）４０１～４０４を制御する。制御器５００の機能は、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。制御器５００は、全体撮像器１００から供給される全体映像、又は外部入力に基づいて被験者に対する生体認証の開始を判断する。

制御器５００が実施する制御は、誘導制御、照明制御、及び虹彩撮像制御を含む。制御器５００は、誘導制御では、被験者を誘導するための誘導制御情報を誘導器２００に供給する。誘導器２００は、誘導制御情報に基づいて被験者を誘導する。誘導器２００は、例えばディスプレイやスピーカなどを含む。誘導器２００は、例えば、生体認証を開始することを提示するための映像や音声をディスプレイやスピーカで提示する。また、誘導器２００は、虹彩撮像器に被験者の視線を誘導させるための映像や音声などをディスプレイやスピーカで提示する。

制御器５００は、照明制御では、被験者に照明光を照射するための照明制御情報を照明器３００に供給する。照明器３００は、照明制御情報に基づいて被験者に光（例えば近赤外光）を照射する。照明器３００は、光源であるＬＥＤ（Light Emitting Diode）や同期信号発生器を含む。照明器３００から被験者に照射される光量は、ＬＥＤへの供給電流値、ＬＥＤの点灯時間、及び点灯周期で決定される、照明制御情報は、これらの数値を含む。ＬＥＤを常時点灯させない場合、ＬＥＤの点灯周期は、複数の虹彩撮像器４０１～４０４のフレームレートと同期される。

制御器５００は、虹彩撮像制御では、全体撮像器１００から供給される全体映像に基づいて、複数の虹彩撮像器４０１～４０４のうち、被験者の目を含む領域を好適に撮像できる虹彩撮像器を決定する。また、制御器５００は、決定した虹彩撮像器内で高速に読み出す注視領域の垂直位置を決定する。

図２は、虹彩撮像制御の様子を示す図である。図２を用いて、虹彩撮像制御の詳細を説明する。ここでは、虹彩撮像器４０１～４０４に、１２Ｍ画素（水平４０００画素、垂直３０００画素）かつ６０ｆｐｓの汎用カメラが使用される場合を想定する。そのようなカメラは、産業用カメラなどで普及品となりつつある。虹彩で認証できる粒度の５０μｍで撮像する場合、各虹彩撮像器の水平視野と垂直視野はそれぞれ０．２ｍ（４０００×５０［μｍ］＝０．２［ｍ］）と０．１５ｍ（３０００×５０［μｍ］＝０．１５［ｍ］）となる。

複数の虹彩撮像器４０１～４０４は、垂直方向に互いに積み重ねられるように配置される。このとき、複数の虹彩撮像器４０１～４０４のそれぞれは、隣接する虹彩撮像器との間で映像領域が一部重複するように配置される。虹彩撮像器４０１～４０４は、例えば隣接する虹彩撮像器間で、映像領域が２．５ｃｍ重複するように配置される。その場合、２ｍ先の合焦位置にて、４台で水平０．２ｍと垂直０．４５ｍ（（０．１５－０．０２５）＋（０．１５－０．０２５－０．０２５）＋（０．１５－０．０２５－０．０２５）＋（０．１５－０．０２５）ｍ）の視野を確保できる。つまり、水平０．２ｍと垂直０．４ｍの要求視野を確保できる。なお、図面と上述した説明により、各虹彩撮像器は同じ視野範囲であり、互いに異なる位置に配置されることが分かる。

各虹彩撮像器のフレームレートが６０ｆｐｓである場合、そのままでは要求フレームレート１００ｆｐｓを満たせない。ここで、産業用カメラなどでは、注視領域モードがある。注視領域モードでは、画面全体ではなく、注視領域として設定された部分領域のみが読み出される。このような注視領域モードを利用することで、フレームレートを高めることができる。

制御器５００は、任意の虹彩撮像器に注視領域を設定し、その虹彩撮像器から注視領域の画像を読み出す。図２の例では、画面半分の水平４０００画素、垂直１５００画素の部分領域が注視領域として設定される例が示されている。この場合、１フレームあたりの画素数が全体の１／２となるため、全画面を読み出す場合のフレームレート６０ｆｐｓの２倍の１２０ｆｐｓにフレームレートを高めることができる。ただし、部分領域の水平視野と垂直視野は、それぞれ０．２ｍと０．７５ｍとなる。なお、人の両目は水平方向に並ぶ。このため、注視領域モードにおいては、両目を撮像できるように、水平ではなく垂直の画素数を削減することが好ましい。

上記した隣接する虹彩撮像器で映像領域が重複する範囲で目領域が撮像されない条件では、目領域を撮像する虹彩撮像器は４台の虹彩撮像器４０１～４０４のうちの何れか１台のみとなる。また、１２０ｆｐｓで読み出させる条件は、その虹彩撮像器内の部分領域となる。制御器５００は、複数の虹彩撮像器４０１～４０４のうち目領域を好適に撮像できる虹彩撮像器を推定し、その虹彩撮像器内で高速に読み出す注視領域の垂直位置を推定する。

上記推定は、次に示す方法で実現できる。全体撮像器１００は、被験者を顔で認証できる解像度を有しており、制御器５００は、全体撮像器１００で撮像された全体映像における被験者の目位置を導出する。制御器５００は、全体撮像器１００と各虹彩撮像器のカメラパラメータと配置関係とを用いて、全体映像における被験者の目位置に対応する虹彩撮像器と、その撮像器内で存在する目位置を導出する。注視領域モードを利用することで、水平０．２ｍ及び垂直０．４ｍよりも広い視野と１００ｆｐｓより高い時間分解能とを、汎用カメラを用いて実現できる。

なお、上記した注視領域モードで垂直位置を変更すると、撮像開始までに遅延が発生する。このため、上記の推定においては、被験者が虹彩撮像器の合焦位置である２ｍ先よりも先、例えば３ｍ先で撮像される映像を用いればよい。３ｍ先の被験者を顔で認証できる解像度は２Ｍ画素程度のカメラでも実現可能であり、全体撮像器１００には、虹彩撮像カメラより低いスペックのカメラを利用できる。

制御器５００は、上述した虹彩撮像制御に基づいて、虹彩撮像器４０１～４０４のそれぞれに虹彩撮像情報を供給する。制御器５００は、被験者の目領域をうつす虹彩撮像器には、注視領域の垂直位置を含む虹彩撮像情報を供給する。制御器５００は、その他の虹彩撮像器については、任意の虹彩撮像情報を供給してもよい。制御器５００は、例えば虹彩映像の総データ量を削減する目的で、虹彩映像の供給停止の情報を含む虹彩撮像情報をその他の虹彩撮像器に供給してもよい。

虹彩撮像器４０１～４０４は、それぞれ、制御器５００から供給される虹彩撮像情報に基づいて、虹彩映像を制御器５００に供給する。このとき、虹彩撮像器４０１～４０４は、虹彩撮像情報を用いて制御器５００から設定された注視領域の画像（虹彩映像）を、制御器５００に出力する。虹彩撮像器４０１～４０４は、注視領域の虹彩映像に対して非可逆圧縮を適用し、圧縮した虹彩映像を制御器５００に出力してもよい。例えば、虹彩撮像器４０１～４０４は、量子化（画素ごとに圧縮）、予測符号化と量子化（複数の画素の組で圧縮）、又は変換符号化と量子化との組み合わせ（複数の画素の組で圧縮）を用いて、注視領域の虹彩映像を圧縮する。制御器５００は、虹彩撮像器４０１～４０４から供給される虹彩映像を用いて、背景技術で述べた認証や登録を行う。制御器５００は、次の被験者が存在する場合、あるいは、認証や登録に失敗した場合、次の処理に戻る。

続いて、動作手順を説明する。図３は、画像処理システムにおける動作手順を示す。制御器５００は、誘導制御を行い、誘導器２００を用いて被験者を誘導する（ステップＳ１００１）。制御器５００は、照明制御を行い、照明器３００を用いて被験者に赤外光を照射する（ステップＳ１００２）。制御器５００は、上述した虹彩撮像制御を行い、複数の虹彩撮像器４０１～４０４を用いて撮像された虹彩の画像（虹彩映像）を取得する（ステップＳ１００３）。ステップＳ１００３で取得された虹彩映像は、虹彩認証や登録のために使用される。ステップＳ１００３では、制御器５００は、上述したように、ある被験者に対して虹彩撮像器４０１～４０４の全てから虹彩映像を得る必要はない。制御器５００は、被験者の目領域を撮像している虹彩撮像器から、虹彩映像を取得する。

制御器５００は、ステップＳ１００３で取得した虹彩映像を用いて虹彩認証を行い、或いは虹彩映像を登録する（ステップＳ１００４）。制御器５００は、次の被験者がいるか否か、或いは再認証若しくは再登録を行うか否かを判断する（ステップＳ１００５）。次の被験者がいる場合、又は再認証若しくは再登録を行うと判断された場合、処理はステップＳ１００１に戻り、誘導制御から処理が実施される。

なお、本実施形態の全体撮像器１００が顔で認証できる解像度を備えており、被験者を顔認証するため特徴量をデータベースに保有しており、かつ、被験者を虹彩認証するための特徴量をデータベースに保有してない場合、本開示に係る装置は、顔認証に基づいて被験者を特定し、抽出したその虹彩の特徴量をデータベースに登録する用途にも使用できる。また、本開示に係る装置は、虹彩撮像制御で得られる目位置情報、又は、虹彩撮像器で得られた虹彩映像を認証若しくは登録する際に得られる目位置情報に基づいて被験者の身長情報を推定し、データベースに登録する用途にも使用できる。さらに、本開示に係る装置は、推定した身長情報を用いて、複数の虹彩撮像器から目領域を好適に撮像できる虹彩撮像器と同撮像器内で高速に読み出す注視領域の垂直位置の決定や校正に用いることができる。

本実施形態では、要求される０．２ｍ×０．４ｍの視野に対応する高解像度と時間分解能０．０１秒に相当する高フレームレートの性能を、汎用カメラの組み合わせで達成できる。結果として、被験者と撮像手段の距離が長い、撮像する視野が広い、及び被験者が移動する条件で、認証や照合できる品質で虹彩パターンを撮像することを容易にした。

次いで、本開示の第２実施形態を説明する。本実施形態に係る画像処理システムの構成は図１に示される画像処理システムの構成と同様でよい。本実施形態は、被験者の目位置のゆらぎに起因する認証や登録のやり直し率を低減することを目的とする。本実施形態において、制御器５００は、画像処理方法を実施する画像処理装置としても機能する。

本実施形態において、制御器５００は、過去に目領域を撮像した虹彩撮像器の情報、虹彩撮像器内で高速に読み出した注視領域の垂直位置の情報、及び、高速に読み出した注視領域内で検出した目の垂直位置の時系列の情報を記憶する。制御器５００は、同じ被験者を再び生体認証する際に、過去の生体認証において、被験者の目領域を注視領域でカバーできたか否かを判断する。制御器５００は、カバーできなかった場合、目領域を好適に撮像できる虹彩撮像器と虹彩撮像器内で高速に読み出す注視領域の垂直位置を校正する。他の点は、第１実施形態と同様でよい。

ここで、目位置のゆらぎとは虹彩撮像器で撮像される目領域の上下の動きを指す。歩行に伴う頭部の上下のゆれ幅は数ｃｍあり、第１実施形態の場合で示したように、１２０ｆｐｓで読み出せる垂直視野は７．５ｃｍしかない。特に、合焦位置（２ｍ先）を被験者が通過する瞬間に、虹彩撮像器４０１～４０４のうちで隣接する２台の境界領域（重複する映像領域）に目領域が位置する場合、歩行に伴う頭部の上下のゆれに起因して、制御器５００決定した注視領域で目領域をカバーできない可能性がある。

続いて、以後の説明のため、過去に目領域を撮像した虹彩撮像器の情報、撮像器内で高速に読み出した注視領域の垂直位置の情報、及び高速に読み出した注視領域内で検出した目の垂直位置の時系列の情報を定義する。

過去に目領域を撮像した虹彩撮像器の情報をｃｎ（ｋ）とする。ここで、ｋはインデックスであり、ｃｎ（ｋ）は、ｋ回前に生体認証したときの情報であることを表す。ｃｎ（０）は、直前に生体認証したときの情報を表すとする。また、本実施形態では虹彩撮像器の台数が４台であり、虹彩撮像器４０１～４０４のそれぞれに番号１～４がアサインされるものとする。その場合、ｃｎ（ｋ）の値域は１から４となる。

虹彩撮像器内で高速に読み出した注視領域の垂直位置の情報をｃｙ（ｋ）とする。ここで、ｋはインデックスであり、ｃｙ（ｋ）は、ｋ回前に生体認証したときの情報であることを表す。ｃｙ（０）は、直前に生体認証したときの情報であるとする。第１実施形態と同様に、虹彩撮像器の垂直画素数は３０００画素であり、注視領域の垂直方向の高さは１５００画素であるとする（図２を参照）。その場合、ｃｙ（ｋ）の値域は０から１５００（３０００画素から注視領域の垂直画素数１５００画素を減じた値）となる。

高速に読み出した注視領域内で検出した目の垂直位置の時系列の情報をｅｙ（ｔ（ｋ））とする。ここで、ｋはインデックスであり、ｔ（ｋ）はｋ回前の生体認証時の時刻を表す。ｓｔ（ｋ）をインデックスｋでの撮像開始時刻とし、ｅｔ（ｋ）をインデックスｋでの撮像終了時刻とすると、ｔ（ｋ）は、ｓｔ（ｋ）≦ｔ（ｋ）＜ｅｔ（ｋ）で表される。以後の説明を簡略化するために、ｓｔ（ｋ）とｅｔ（ｋ）の時間差を２秒とすると、１２０ｆｐｓの撮影にてこの時間差に含まれるフレーム枚数は２４０枚となる。また、本実施形態では注視領域の垂直画素数は１５００画素であり、注視領域内で目を検出できた場合におけるｅｙ（ｔ（ｋ））の値域は０から１５００となる。注視領域内で目を検出できなかった場合は、ｅｙ（ｔ（ｋ））の値は－１とする。以上で、それぞれの情報の定義を終了する。

制御器５００は、同じ被験者を再び生体認証する際、注視領域カバー判断処理を実施する。制御器５００は、注視領域カバー判断処理では、同じ被験者を再び生体認証する際に、被験者の目領域を過去に注視領域でカバーできたか否かを判断する。この判断は、例えば、次に示すやり方で実施される。

制御器５００は、被験者を過去に生体認証したときに対応するインデックスｋを決定する。インデックスｋは、単純にやり直しを想定して直前ｋ＝０としてもよいし、システムに明示的にｋを入力するのでもよい。制御器５００は、インデックスｋに対応する期間ｓｔ（ｋ）≦ｔ（ｋ）＜ｅｔ（ｋ）において、ｅｙ（ｔ（ｋ））の値が－１となる回数ｃｏ（ｋ）を計算する。制御器５００は、例えば、２秒間に撮像された２４０枚の画像のうち、何枚の画像において目が検出できなかったかをカウントする。制御器５００は、回数ｃｏ（ｋ）が所定の回数を超えた場合、被験者の目領域を過去に注視領域でカバーできなかったと判断する。以上で、注視領域カバー判断処理の説明を終了する。

制御器５００は、被験者の目領域を過去に注視領域でカバーできなかったと判断した場合、注視領域校正処理を実施する。制御器５００は、注視領域校正処理では、同じ被験者を再び生体認証する際に、目領域を好適に撮像できる虹彩撮像器と虹彩撮像器内で高速に読み出す注視領域の垂直位置とを校正する。校正は、例えば、次に示すやり方で実施される。

制御器５００は、被験者を過去に生体認証した時に対応するインデックスｋを決定する。インデックスｋは、単純にやり直しを想定して直前ｋ＝０としてもよいし、システムに明示的にｋを入力するのでもよい。制御器５００は、インデックスｋに対応するｃｎ（ｋ）に対応する虹彩撮像器、及びｃｙ（ｋ）に対応する注視領域の垂直位置が、第１実施形態で説明した虹彩撮像制御で導出された虹彩撮像器及び注視領域の垂直位置と合致するか否かを判断する。制御器５００は、合致すると判断した場合、校正が必要と判断する。

制御器５００は、校正が必要と判断した場合、インデックスｋに対応する期間ｓｔ（ｋ）≦ｔ（ｋ）＜ｅｔ（ｋ）において、ｅｙ（ｔ（ｋ））が－１以外の値となる場合での平均値ａｙ（ｋ）を計算する。ここで、平均値ａｙ（ｋ）は、目領域が注視領域内に存在する場合の垂直位置を示す。平均値ａｙ（ｋ）の値が、注視領域の垂直中心位置７５０（＝１５００／２）より小さくなるほど目領域が注視領域の上側にはみ出すことを示し、７５０より大きくなるほど目領域が注視領域の下側にはみ出すことを示す。

制御器５００は、平均値ａｙ（ｋ）が７５０以下の場合、７５０－ａｙ（ｋ）の画素数だけ上にずれた注視領域が読み出されるように、虹彩撮像器と注視領域の垂直位置とを校正する。同様に、平均値ａｙ（ｋ）が７５０より大きい場合、ａｙ（ｋ）－７５０の画素数だけ下にずれた注視領域が読み出されるように、虹彩撮像器と注視領域の垂直位置を校正する。

なお、上記では、－１以外となる場合でのｅｙ（ｔ（ｋ））の平均値を平均値ａｙ（ｋ）として計算する例を説明したが、本開示はこれには限定されない。例えば、各フレームでの焦点スコアなども記憶しておき、焦点が合っているフレームに限定して計算した平均値を平均値ａｙ（ｋ）としてもよい。さらには、記憶容量を削減するために、ｅｙ（ｔ（ｋ））そのものではなく、ｃｏ（ｋ）とａｙ（ｋ）を記憶しておくようにしてもよい。以上で、注視領域校正処理の説明を終了する。

続いて、動作手順を説明する。図４は、画像処理方法を含む画像処理システムにおける動作手順を示す。制御器５００は、誘導制御を行い、誘導器２００を用いて被験者を誘導する（ステップＳ２００２）。制御器５００は、照明制御を行い、照明器３００を用いて被験者に光を照射する（ステップＳ２００２）。ステップＳ２００１及びＳ２００２は、図３のステップＳ１００１及びＳ１００２と同様でよい。制御器５００は、虹彩撮像制御を行い、虹彩の撮像に用いられる虹彩撮像器と、その虹彩撮像器内での注視領域の垂直位置を決定する（ステップＳ２００３）。

制御器５００は、生体認証のやり直しか否かを判断する（ステップＳ２００４）。制御器５００は、生体認証のやり直しではないと判断した場合、ステップＳ２００３で決定された虹彩撮像器の注視領域の画像（虹彩映像）を取得し、虹彩映像を用いて虹彩認証を行い、或いは虹彩映像を登録する（ステップＳ２００７）。制御器５００は、次の被験者がいるか否か、或いは再認証若しくは再登録を行うか否かを判断する（ステップＳ２００８）。次の被験者がいる場合、又は再認証若しくは再登録を行うと判断された場合、処理はステップＳ２００１に戻り、誘導制御から処理が実施される。

制御器５００は、ステップＳ２００４で生体認証のやり直しであると判断した場合、上述した注視領域カバー判断処理を行い、被験者の目領域を過去に注視領域でカバーできたか否かを判断する（ステップＳ２００５）。制御器５００は、被験者の目領域を過去に注視領域でカバーできていなかったと判断した場合、上述した注視領域校正処理を行う（ステップＳ２００６）。その後、処理はステップＳ２００７へ進み、校正された虹彩撮像器の注視領域の画像が取得され、虹彩認証又は虹彩映像の登録が実施される。次の被験者がいる場合、又は再認証若しくは再登録を行うと判断された場合、処理はステップＳ２００１に戻り、誘導制御から処理が実施される。

本実施形態では、制御器５００は、同じ被験者の生体認証のやり直しの場合に、被験者の目領域を過去に注視領域でカバーできたか否かを判断する。制御器５００は、被験者の目領域を過去に注視領域でカバーできていない場合は、注視領域校正処理を行い、注視領域を校正する。過去の情報を用いて注視領域を校正することで、今回の生体認証において、被験者の目領域を注視領域でカバーできる確率を高めることができる。従って、本実施形態では、目位置のゆらぎに起因する画像の再取得、及び認証や登録のやり直し率を低減できる。

なお、図２では、水平４０００画素×垂直１５００画素の部分領域が注視領域として設定される例を示したが、本開示はこれには限定されない。注視領域の形状は矩形には限定されず、また注視領域の数も１つには限定されない。制御器５００は、例えば全体撮像器１００で撮像された全体映像（俯瞰映像）から被験者の右目及び左目の位置を導出し、右目の位置に対応した注視領域と、左目の位置に対応した注視領域とを虹彩撮像器に設定してもよい。その場合、虹彩撮像器は、右目の虹彩映像、及び左目の虹彩映像を制御器５００に供給する。注視領域の形状は、矩形であってもよいし、楕円形であってもよい。制御器５００は、俯瞰映像に代えて、虹彩撮像器が撮像した虹彩映像に基づいて被験者の右目及び左目の位置を導出してもよい。例えば、制御器５００は、図２に示される部分領域を一旦注視領域として設定し、その注視領域の映像から右目及び左目の位置を導出してもよい。その場合、制御器５００は、導出した右目及び左目の位置に基づいて、右目の位置に対応した部分領域と、左目の位置に対応した部分領域とを、それぞれ注視領域として虹彩撮像器に設定してもよい。

上記各実施形態において、制御器５００は、コンピュータ装置として構成され得る。図５は、制御器５００に用いられ得る情報処理装置（コンピュータ装置）の構成例を示す。情報処理装置６００は、制御部（ＣＰＵ：Central Processing Unit）６１０、記憶部６２０、ＲＯＭ（Read Only Memory）６３０、ＲＡＭ（Random Access Memory）６４０、通信インタフェース（ＩＦ：Interface）６５０、及びユーザインタフェース６６０を有する。

通信インタフェース６５０は、有線通信手段又は無線通信手段などを介して、情報処理装置６００と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース６６０は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース６６０は、キーボード、マウス、及びタッチパネルなどの入力部を含む。

記憶部６２０は、各種のデータを保持できる補助記憶装置である。記憶部６２０は、必ずしも情報処理装置６００の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介して情報処理装置６００に接続されたクラウドストレージであってもよい。ＲＯＭ６３０は、不揮発性の記憶装置である。ＲＯＭ６３０には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＣＰＵ６１０が実行するプログラムは、記憶部６２０又はＲＯＭ６３０に格納され得る。

上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、情報処理装置６００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

ＲＡＭ６４０は、揮発性の記憶装置である。ＲＡＭ６４０には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ６４０は、データなどを一時的に格納する内部バッファとして用いられ得る。ＣＰＵ６１０は、記憶部６２０又はＲＯＭ６３０に格納されたプログラムをＲＡＭ６４０に展開し、実行する。ＣＰＵ６１０がプログラムを実行することで、例えば誘導制御、照明制御、虹彩撮像制御、注視領域カバー判断処理、及び注視領域校正処理を含む各種制御が実行される。

以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。

例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段と、
前記虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段と、
被験者を誘導するための誘導手段と、
前記被験者に光を照らす照明手段と、
前記全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、前記誘導手段の映像及び音声の少なくとも一方の提示、及び、前記照明手段の光の照射のうち少なくとも１つを制御する制御手段とを備え、
前記制御手段は、前記虹彩撮像手段の画像の読み出しを制御し、
前記制御手段は、前記画像の読み出しの制御では、画像の読出しの対象となる注視領域を設定し、
前記制御手段は、更に、過去の情報を記憶しておき、同じ被験者に対して画像処理する場合、前記被験者の目領域を過去に利用した注視領域でカバーできたか否かを判断し、カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する画像処理システム。

［付記２］
前記制御手段は、前記複数の虹彩撮像手段の画像の読み出しを実施し、
前記制御手段は、前記複数の虹彩撮像手段の画像の読み出しでは、前記全体撮像手段で撮像された映像に基づいて、前記複数の虹彩撮像手段のうち前記被験者の目を撮像できる虹彩撮像手段を特定し、該特定した虹彩撮像手段に前記被験者の目の位置を含む注視領域を設定し、前記特定した虹彩撮像手段から前記注視領域の映像を取得する付記１に記載の画像処理システム。

［付記３］
前記複数の複数の虹彩撮像器は垂直方向に積み重ねられており、
前記制御手段は、前記注視領域の設定では、前記複数の虹彩撮像器のうち、画像の読み出しに用いられる虹彩撮像器を決定し、該決定した虹彩撮像器の撮像範囲内に前記注視領域を設定し、
前記制御手段は、前記決定される画像の読み出しに用いられる虹彩撮像器及び当該虹彩撮像器内に設定される注視領域が、過去の情報における虹彩撮像器及び注視領域と同じ場合、前記虹彩撮像手段の画像の読み出しを校正する付記１又は２に記載の画像処理システム。

［付記４］
被験者の虹彩を撮像するための虹彩撮像手段の画像の読み出しを制御する制御手段を備え、
前記制御手段は、前記画像の読出しの制御では、画像の読み出しの対象となる注視領域を設定し、
前記制御手段は、更に、過去の情報を記憶しておき、同じ被験者に対して画像処理する場合、前記被験者の目領域を過去に利用した注視領域でカバーできたか否かを判断し、カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する画像処理装置。

［付記５］
前記虹彩撮像手段は、垂直方向に積み重ねられた複数の虹彩撮像器を含み、
前記制御手段は、前記注視領域の設定では、前記複数の虹彩撮像器のうち、画像の読出しに用いられる虹彩撮像器を決定し、該決定した虹彩撮像器の撮像範囲内に前記注視領域を設定し、
前記制御手段は、前記決定される画像の読み出しに用いられる虹彩撮像器及び当該虹彩撮像器内に設定される注視領域が、過去の情報における虹彩撮像器及び注視領域と同じ場合、前記虹彩撮像手段の画像の読み出しを校正する付記４に記載の画像処理装置。

［付記６］
前記過去の情報は過去に撮像された注視領域における目領域の位置を示す情報を含み、
前記制御手段は、前記目領域の位置を示す情報に基づいて、前記虹彩撮像手段の画像の読み出しを校正する付記４又は５に記載の画像処理装置。

［付記７］
前記過去の情報は過去に撮像された注視領域に目領域が含まれるか否かを示す情報を含み、
前記制御手段は、前記目領域が含まれるか否かを示す情報に基づいて、前記被験者の目領域を過去に利用した注視領域でカバーできたか否かを判断する付記４から６何れか１つに記載の画像処理装置。

［付記８］
前記制御手段は、前記虹彩撮像手段の撮像範囲よりも広い範囲を撮像する全体撮像手段が撮像した画像を用いて、前記虹彩撮像手段の画像の読み出しを制御する付記４から７何れか１つに記載の画像処理装置。

［付記９］
同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、被験者を誘導するための誘導手段の映像及び音声の少なくとも一方の提示、及び、前記被験者に光を照らす照明手段の光の照射のうち少なくとも１つを実施する画像処理方法。

［付記１０］
被験者の虹彩を撮像するための虹彩撮像手段の画像の読み出しを制御し、
同じ被験者に対して画像処理する場合、過去に利用された、画像の読み出しの対象となる注視領域で前記被験者の目領域をカバーできたか否かを判断し、
カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する画像処理方法。

［付記１１］
同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、被験者を誘導するための誘導手段の映像及び音声の少なくとも一方の提示、及び、前記被験者に光を照らす照明手段の光の照射のうち少なくとも１つを実施する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

［付記１２］
被験者の虹彩を撮像するための虹彩撮像手段の画像の読み出しを制御し、
同じ被験者に対して画像処理する場合、過去に利用された、画像の読み出しの対象となる注視領域で前記被験者の目領域をカバーできたか否かを判断し、
カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

この出願は、２０１９年２月１８日に出願された日本出願特願２０１９－０２６９３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００：全体撮像器
２００：誘導器
３００：照明器
４０１～４０４：虹彩撮像器
５００：制御器
６００：情報処理装置

Claims (8)

1. 同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段と、
   前記虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段と、
   被験者を誘導するための誘導手段と、
   前記被験者に光を照らす照明手段と、
   前記全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出しを制御する制御手段とを備え、
   前記制御手段は、前記画像の読み出しの制御では、画像の読出しの対象となる注視領域を設定し、
   前記制御手段は、更に、過去の情報を記憶しておき、同じ被験者に対して画像処理する場合、前記被験者の目領域を過去に利用した注視領域でカバーできたか否かを判断し、カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する画像処理システム。
2. 前記制御手段は、前記複数の虹彩撮像手段の画像の読み出しでは、前記全体撮像手段で撮像された映像に基づいて、前記複数の虹彩撮像手段のうち前記被験者の目を撮像できる虹彩撮像手段を特定し、該特定した虹彩撮像手段に前記被験者の目の位置を含む注視領域を設定し、前記特定した虹彩撮像手段から前記注視領域の映像を取得する請求項１に記載の画像処理システム。
3. 前記複数の虹彩撮像手段は垂直方向に積み重ねられており、
   前記制御手段は、前記注視領域の設定では、前記複数の虹彩撮像手段のうち、画像の読み出しに用いられる虹彩撮像手段を決定し、該決定した虹彩撮像手段の撮像範囲内に前記注視領域を設定し、
   前記制御手段は、前記決定される画像の読み出しに用いられる虹彩撮像手段及び当該虹彩撮像手段内に設定される注視領域が、過去の情報における虹彩撮像手段及び注視領域と同じ場合、前記虹彩撮像手段の画像の読み出しを校正する請求項１又は２に記載の画像処理システム。
4. 被験者の虹彩を撮像するための虹彩撮像手段の画像の読み出しを制御する制御手段を備え、
   前記制御手段は、前記画像の読出しの制御では、画像の読み出しの対象となる注視領域を設定し、
   前記制御手段は、更に、過去の情報を記憶しておき、同じ被験者に対して画像処理する場合、前記被験者の目領域を過去に利用した注視領域でカバーできたか否かを判断し、カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する画像処理装置。
5. 前記過去の情報は過去に撮像された注視領域における目領域の位置を示す情報を含み、
   前記制御手段は、前記目領域の位置を示す情報に基づいて、前記虹彩撮像手段の画像の読み出しを校正する請求項４に記載の画像処理装置。
6. 前記過去の情報は過去に撮像された注視領域に目領域が含まれるか否かを示す情報を含み、
   前記制御手段は、前記目領域が含まれるか否かを示す情報に基づいて、前記被験者の目領域を過去に利用した注視領域でカバーできたか否かを判断する請求項４又は５に記載の画像処理装置。
7. 被験者の虹彩を撮像するための虹彩撮像手段の画像の読み出しを制御し、
   同じ被験者に対して画像処理する場合、過去に利用された、画像の読み出しの対象となる注視領域で前記被験者の目領域をカバーできたか否かを判断し、
   カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する画像処理方法。
8. 被験者の虹彩を撮像するための虹彩撮像手段の画像の読み出しを制御し、
   同じ被験者に対して画像処理する場合、過去に利用された、画像の読み出しの対象となる注視領域で前記被験者の目領域をカバーできたか否かを判断し、
   カバーできていなかったと判断した場合、前記虹彩撮像手段の画像の読み出しを校正する処理をコンピュータに実行させるためのプログラム。

Images