JP7444240B2 - 画像処理システム、撮像システム、画像処理方法および画像処理プログラム - Google Patents

Description

この開示は、画像処理システム、撮像システム、画像処理方法および非一時的なコンピュータ可読媒体に関する。

眼に含まれる虹彩を用いる生体認証（虹彩認証）が知られている。この生体認証では、対象者の撮像画像に含まれる対象者の虹彩を表す画像領域の特徴量が抽出され、抽出された特徴量がデータベースに登録される。たとえば特許文献１では、カメラを用いて異なる照明条件で撮像した複数の虹彩画像から、相対的に認証性能が高い特徴量を選択して登録する虹彩認証システムが開示されている。

国際公開第２００５／１０９３４４号

この開示は、上述の技術を改善するためのものである。

この開示の第１の態様に係る画像処理システムは、検出部と、特定部と、特徴抽出部とを備える。前記検出部は、対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する。前記特定部は、検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する。前記特徴抽出部は、特定された前記眼領域の特徴量を抽出する。前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出される。前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出される。

この開示の第２の態様に係る撮像システムは、撮像装置と画像処理装置とを備える。前記撮像装置は、対象者を撮像し、第１画像を生成する。前記画像処理装置は、前記第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出部と、検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定部と、特定された前記眼領域の特徴量を抽出する特徴抽出部と、を有する。前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出される。前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出される。

この開示の第３の態様に係る画像処理方法は、検出ステップと、特定ステップと、特徴抽出ステップとを備える。前記検出ステップは、対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する。前記特定ステップは、検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する。前記特徴抽出ステップは、特定された前記眼領域の特徴量を抽出する。前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出される。前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出される。

この開示の第４の態様に係る非一時的なコンピュータ可読媒体は、検出ステップと、特定ステップと、特徴抽出ステップとを備える画像処理方法をコンピュータに実行させる画像処理プログラムが格納されている。前記検出ステップは、対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する。前記特定ステップは、検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する。前記特徴抽出ステップは、特定された前記眼領域の特徴量を抽出する。前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出される。前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出される。

実施形態１にかかる画像処理システムの構成を示すブロック図である。 実施形態１にかかる画像処理システムの処理を示すフローチャートである。 実施形態２にかかる撮像システムの概略構成図である。 実施形態２にかかる撮像システムの構成を示すブロック図である。 実施形態２にかかる撮像システムの処理を示すフローチャートである。 実施形態２にかかる画像処理装置の登録処理を示すフローチャートである。 実施形態３にかかる画像処理装置の登録処理における表示の一例を説明するための図である。 実施形態３にかかる画像処理装置の登録処理における表示の一例を説明するための図である。 実施形態４にかかる撮像システムの構成を示すブロック図である。 実施形態４にかかる画像処理装置の第２評価値算出処理を示すフローチャートである。 実施形態４にかかる画像処理装置の第２評価値算出処理を説明するための図である。 実施形態５にかかる撮像システムの概略構成図である。 実施形態５にかかる撮像システムの構成を示すブロック図である。 実施形態５にかかる画像処理装置の第２評価値算出処理を示すフローチャートである。 実施形態５にかかる画像処理装置の第２評価値算出処理を説明するための図である。 実施形態５にかかる光源アレイの光の照射パターンに対する反射パターンを説明するための図である。 実施形態５にかかる光源アレイの光の照射パターンに対する反射パターンを説明するための図である。 実施形態６にかかる撮像システムの概略構成図である。 実施形態６にかかる撮像システムの構成を示すブロック図である。 実施形態６にかかる撮像システムの処理を示すフローチャートである。 実施形態１～６にかかるコンピュータの構成図である。

以下、実施形態を通じてこの開示を説明するが、請求の範囲にかかる開示を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施形態１＞
まず図１～２を用いて、この開示の実施形態１について説明する。図１は、実施形態１にかかる画像処理システム１０の構成を示すブロック図である。画像処理システム１０は、検出部１０２と、特定部１０４と、特徴抽出部１０７とを備える。
検出部１０２は、対象者が撮像された第１画像から、第１評価値に基づいて、候補領域を検出する。ここで第１評価値は、眼であることの確からしさを示し、第１画像に基づいて設定される画像領域に対して算出される。また候補領域は、対象者の眼を表すと推定される画像領域である。
特定部１０４は、検出された候補領域から、第２評価値に基づいて、眼を表す画像領域である眼領域を特定する。ここで第２評価値は、眼であることの確からしさを示し、検出された候補領域に基づいて設定される画像領域に対して算出される。また眼領域は、眼を表す画像領域である。
特徴抽出部１０７は、特定された眼領域の特徴量を抽出する。

次に図２を用いて、画像処理システム１０の画像処理方法について説明する。図２は、実施形態１にかかる画像処理システム１０の処理を示すフローチャートである。
次にステップＳ１０において、検出部１０２は、第１評価値に基づいて、対象者が撮像された第１画像から候補領域を検出する。
次にステップＳ１２において、特定部１０４は、第２評価値に基づいて、検出された候補領域から眼領域を特定する。
そしてステップＳ１４において、特徴抽出部１０７は、特定された眼領域の特徴量を抽出する。

ここで上述の特許文献１に記載の方法では、データベースに登録される特徴量の認証性能は、複数の撮像画像から抽出された特徴量の間で相対的に優れていると判定されたものである。しかし対象者とカメラとの距離が長い、カメラの撮像視野が広い、または対象者が移動するなどの条件下で撮影した場合、得られる撮像画像は眼以外の部位を多く含む場合がある。このような場合に上述の特許文献１に記載の方法では、登録される特徴量の認証性能が低下する可能性がある。

しかし本実施形態１の構成によれば、画像処理システム１０は、眼であることの確からしさを示す２段階の異なる評価値に基づいて、眼領域を特定する。したがって撮像された第１画像に眼以外の部分を表す画像領域が含まれている場合であっても、誤った特徴量を抽出し、登録することを回避することができる。これにより登録された特徴量を用いて認証処理を行う場合の認証性能を向上させることができる。

＜実施形態２＞
次に、図３～６を用いて、この開示の実施形態２について説明する。図３は、実施形態２にかかる撮像システム２の概略構成図である。撮像システム２は、生体認証を行うコンピュータシステムであり、対象者Ｐの眼を含む注視領域を撮像し、撮像された画像に含まれる生体認証情報である特徴量を抽出し、抽出した特徴量を登録する。ここで生体認証は、本実施形態２では虹彩認証である。撮像システム２は、撮像装置２０と、画像処理システム（以下、画像処理装置と呼ぶ）１２と、データベース３０とを備える。

撮像装置２０は、対象者Ｐを撮像し、撮像画像である第１画像Ｉ１を生成するコンピュータ等である。撮像装置２０は、撮像器２００と、制御部２０６とを有する。

撮像器２００は、対象者Ｐの眼、特に虹彩を撮像し、第１画像Ｉ１を生成するためのカメラである。撮像器２００は、ＣＣＤ（電荷結合素子）およびＣＭＯＳ（相補型金属酸化膜半導体）素子等の撮像素子を有する。撮像器２００の撮像面は、対象者Ｐの光学像を電気信号に変換する不図示の光電変換部が二次元的に配列された画素アレイを含む。本実施形態２で撮像器２００は、産業用カメラなどで普及品となりつつある、１２Ｍ画素（水平４０００画素、垂直３０００画素）かつ６０ｆｐｓの汎用カメラで構成されてよい。
撮像器２００は、キャプチャボリューム内に位置する対象者Ｐの眼を含む注視領域を好適に撮像可能なように設置されている。

制御部２０６は、撮像器２００に接続され、撮像器２００の撮像動作の制御を行う。また制御部２０６は、撮像器２００から第１画像Ｉ１を取得し、第１画像Ｉ１を画像処理装置１２に供給する。

画像処理装置１２は、第１画像Ｉ１から対象者Ｐの眼、特に虹彩にかかる特徴量を抽出するコンピュータ等である。画像処理装置１２は、抽出した特徴量をデータベース３０に登録する。
ここで本図に示すように、撮像器２００により生成された第１画像Ｉ１は、対象者Ｐの眼を含む身体の少なくとも一部が撮像される。たとえば対象者Ｐと撮像器２００との距離が長い、撮像器２００の視野が広い、または対象者Ｐが移動するなどの条件下で撮影した場合、第１画像Ｉ１は、眼に加えてまたは代えて、眼以外の部位を表す画像領域を含む場合がある。一例として髪を表す画像領域は、眼の黒目部分と類似する画素値を有する。また鼻の穴を表す画素領域においては、黒目部分と類似する画素値の画素が黒目部分と類似する略円形状を形成している。したがって、画像処理装置１２が第１画像Ｉ１から眼領域を検出する場合、これらの部位を表す画像領域も眼を表すと推定され、誤検出される場合がある。

本実施形態２では画像処理装置１２は、第１画像Ｉ１から対象者Ｐの眼を表すと推定される画像領域である候補領域が検出された場合に、候補領域から対象者Ｐの眼を表す画像領域である眼領域を特定する。以下では、画像処理装置１２が第１画像Ｉ１から複数の候補領域（本図に示すＣ１～Ｃ５）を検出した場合について説明するが、画像処理装置１２が第１画像Ｉ１から１つの候補領域を検出した場合も同様である。

なおデータベース３０は、画像処理装置１２に接続され、生体認証に用いられる対象者Ｐの眼、特に虹彩にかかる特徴量を記憶する記憶媒体である。

図４は、実施形態２にかかる撮像システム２の構成を示すブロック図である。上述の通り、撮像システム２は、画像処理装置１２と、撮像装置２０と、データベース３０とを備える。撮像装置２０およびデータベース３０については説明を省略する。

画像処理装置１２は、第１画像取得部１２０と、検出部１２２と、特定部１２４と、特徴抽出部１２７と、登録処理部１２８とを有する。

第１画像取得部１２０は、撮像装置２０の制御部２０６から第１画像Ｉ１を取得する。第１画像Ｉ１は対象者Ｐの身体の少なくとも一部が撮像された撮像画像である。第１画像取得部１２０は、取得した第１画像Ｉ１を検出部１２２に供給する。

検出部１２２は、評価対象の画像領域である第１評価対象領域の各々に対して、眼であることの確からしさを示す第１評価値を算出する。第１評価対象領域は、第１画像Ｉ１に基づいて設定される画像領域である。ここで本実施形態２では第１評価対象領域は、第１画像Ｉ１内に設定される画像領域である。しかしこれに代えて、第１評価対象領域は、所定の画素数になるように第１画像Ｉ１を変換して生成された画像内に設定される画像領域であってもよい。

ここで検出部１２２は第１評価対象領域の各々に対して、当該領域に含まれる画素の画素値の分布に基づいて第１評価値を算出する。画素値は、輝度値または明度等を含む。そして検出部１２２は、第１評価値に基づいて、第１画像Ｉ１から複数の候補領域を検出する。検出部１２２は、検出された複数の候補領域にかかる情報を特定部１２４に供給する。

特定部１２４は、検出された複数の候補領域の各々を新たな評価対象とし、評価対象の画像領域である第２評価対象領域の各々に対して、眼であることの確からしさを示す第２評価値を算出する。第２評価対象領域は、検出された候補領域に基づいて設定される画像領域である。第２評価対象領域は、各候補領域であってもよく、第１画像Ｉ１に含まれる各候補領域に応じた画像領域である抽出領域であってもよい。また第２評価対象領域は、各候補領域または各抽出領域を所定の画素数になるように変換して生成された画像内に設定される画像領域であってもよい。

ここで特定部１２４は、第２評価対象領域の各々に対して、当該領域に含まれる画素の画素値の分布に基づいて第２評価値を算出する。したがって第１評価値は、第１画像Ｉ１に基づいて設定される画像領域に対して算出される評価値であるのに対して、第２評価値は、検出された候補領域に基づいて設定される画像領域に対して算出される評価値である点で相違する。
そして特定部１２４は、このような第２評価値に基づいて１または複数の候補領域から眼領域を特定する。特定部１２４は、特定された眼領域にかかる情報を特徴抽出部１２７に供給する。

特徴抽出部１２７は、特定された眼領域の特徴量を所定の方法で抽出する。
登録処理部１２８は、データベース３０に接続され、眼領域の特徴量にかかる情報をデータベース３０に登録する処理を行う。

図５は、実施形態２にかかる撮像システム２の処理を示すフローチャートである。
まずステップＳ２０において、撮像システム２の撮像装置２０の制御部２０６は、撮像器２００を制御し、撮像器２００に対象者Ｐの眼を含む身体の少なくとも一部を撮像する動作を実行させる。撮像器２００は撮像画像である第１画像Ｉ１を生成し、第１画像Ｉ１を制御部２０６に供給する。そして制御部２０６は、第１画像Ｉ１を画像処理装置１２に送信する。

次にステップＳ２２において、画像処理装置１２は、第１画像Ｉ１に基づいて後述する特徴量の登録処理を実行し、特徴量をデータベース３０に登録する。

次にステップＳ２４において、撮像装置２０の制御部２０６は、次の対象者Ｐがいるか否か、あるいは再登録を行うか否かを判定する。制御部２０６は、次の対象者Ｐがいる、または再登録を行うと判断した場合（ステップＳ２４：ＹＥＳ）、処理をステップＳ２０に戻し、そうでない場合（ステップＳ２４でＮＯ）、処理を終了する。

次に図５に示すステップＳ２２にかかる画像処理装置１２の登録処理について、図６を用いて説明する。図６は、実施形態２にかかる画像処理装置１２の登録処理を示すフローチャートである。
まずステップＳ３０において、画像処理装置１２の第１画像取得部１２０は、撮像装置２０の制御部２０６から第１画像Ｉ１を取得する。第１画像取得部１２０は、第１画像Ｉ１を検出部１２２に供給する。

次にステップＳ３１において、検出部１２２は、第１画像Ｉ１に基づいて複数の第１評価対象領域を設定し、各第１評価対象領域に対して第１評価値を算出する。第１評価値の算出処理は、物体検出における任意の手法を用いて行われてよい。以下に手法の一例を示す。

（第１評価値算出手法１）
たとえば検出部１２２は、第１画像Ｉ１に対して二値化処理等を行い、第１画像Ｉ１に含まれる画素を、画素値が所定閾値以上である画素と、それ以外の画素に分類する。そして検出部１２２は、各第１評価対象領域について、所定閾値以上の画素値を有する画素に対して細線化処理およびハフ変換等を行い、所定閾値以上の画素値を有する画素が形成する形状と所定の略円形形状との間の一致度を算出する。所定の略円形形状は、人物の黒目、特に瞳孔の形状に従って定められてよい。

（第１評価値算出手法２）
たとえば検出部１２２は、各第１評価対象領域について、所定の略円形形状の画素値分布を有するテンプレートとの間の一致度を算出する。

（第１評価値算出手法３）
たとえば検出部１２２は、第１画像Ｉ１に対して所定サイズの探索窓を走査させ、探索窓内の明暗差の組み合わせ、輝度分布の組み合わせまたは輝度の勾配方向の分布の組み合わせ等に基づいて、第１評価値を算出する。この場合、第１画像Ｉ１上において探索窓と重なり合う画像領域が第１評価対象領域となる。そして第１評価値は、このような第１評価対象領域におけるＨａａｒ－Ｌｉｋｅ特徴量、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（ＬＢＰ）特徴量またはＨｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量等に基づくものであってよい。

（第１評価値算出手法４）
たとえば検出部１２２は、第１画像Ｉ１または上述の第１画像Ｉ１の変換画像を入力とする学習済の畳み込みニューラルネットワーク（ＣＮＮ）を用いて、第１評価対象領域に対する特徴量を予測する。ここでこのＣＮＮは、Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ）を含んでよい。この場合第１評価対象領域は、入力画像に設定されるデフォルトボックスに相当する。

次にステップＳ３２において、検出部１２２は、予め定められた閾値（第１閾値）以上の第１評価値を有する第１評価対象領域があるか否かを判定する。検出部１２２は、当該第１評価対象領域があると判定した場合（ステップＳ３２：ＹＥＳ）処理をステップＳ３３に進め、そうでない場合（ステップＳ３２：ＮＯ）処理を終了する。

ステップＳ３３において、検出部１２２は、第１閾値以上の第１評価値を有する第１評価対象領域を候補領域として決定する。これにより、検出部１２２は複数の候補領域を検出する。そして検出部１２２は、複数の候補領域にかかる情報を特定部１２４に供給する。

次にステップＳ３４において、特定部１２４は、候補領域の各々についてその候補領域に基づく画像領域を第２評価対象領域として設定し、第２評価対象領域に対して第２評価値を算出する。ここで候補領域に基づく画像領域は、候補領域、抽出領域、あるいは候補領域または抽出領域を所定の画素数となるように変換して生成された画像領域のいずれかであってよい。
たとえば実施形態２で特定部１２４は、上述のステップＳ３１に示す第１評価値算出手法１～４のうち、ステップＳ３１において検出部１２２が第１評価値算出処理に採用しなかった手法を用いて第２評価値を算出してよい。ただしこのとき「検出部１２２」を「特定部１２４」に、「第１画像Ｉ１」および「第１評価対象領域」を「第２評価対象領域」に、「第１評価値」を「第２評価値」に読み替える。
また、特定部１２４は、第２評価対象領域の各々について、ステップＳ３１～３３において検出部１２２が検出した人物の黒目、特に瞳孔部分に相当する画像領域のピントがどの程度合っているかを第２評価値として算出してもよい。具体的には、特定部１２４は、第２評価対象領域の各々について、輝度レベルに対して高速フーリエ変換を用いて周波数スペクトル分布を算出し、所定周波数域のスペクトル強度に基づいて第２評価値を算出してよい。また特定部１２４は、第２評価対象領域の各々について、輝度値をラプラシアン微分して得られた値に基づいて第２評価値を算出してもよい。

次にステップＳ３５において、特定部１２４は、予め定められた閾値（第２閾値）以上の第２評価値を有する第２評価対象領域があるか否かを判定する。特定部１２４は、当該第２評価対象領域があると判定した場合（ステップＳ３５：ＹＥＳ）処理をステップＳ３６に進め、そうでない場合（ステップＳ３５：ＮＯ）処理を終了する。

次にステップＳ３６において、特定部１２４は、第２閾値以上の第２評価値を有する第２評価対象領域に対応する候補領域を、眼領域として特定する。そして特定部１２４は、特定した眼領域にかかる情報を特徴抽出部１２７に供給する。

次にステップＳ３７において、特徴抽出部１２７は、眼領域の特徴量を抽出する。たとえば特徴抽出部１２７は、入力画像から生体認証に用いられる特徴量ベクトルを出力する学習済のＣＮＮを用いて、特定された眼領域の特徴量を算出する。なおこの入力画像は、特定した眼領域の画像であってよい。特徴抽出部１２７は、算出した眼領域の特徴量にかかる情報を登録処理部１２８に供給する。

そしてステップＳ３８において、登録処理部１２８は、眼領域の特徴量にかかる情報をデータベース３０に登録する。

なお第２評価値は、検出部１２２の検出結果が虹彩認証情報を抽出するためにどの程度適した眼であるかを評価する指標であってもよい。ステップＳ３７において、特徴抽出部１２７が虹彩認証情報にかかる特徴量を抽出する場合、入力画像の中心からできるだけ近い位置に瞳孔部分に相当する画像領域の中心が配置されていることが望ましい。このときステップＳ３４において、特定部１２４は、第２評価対象領域の各々について、ステップＳ３１～３３で検出部１２２が検出した黒目、特に瞳孔部分に相当する画像領域の中心と第２評価対象領域の中心との間の距離を第２評価値として算出してよい。このとき特定部１２４は、当該距離を予測する学習済のＣＮＮを用いてよい。このＣＮＮは軽量な構成で実現することができるため、画像処理装置１２は、計算コストを削減しつつ、精度の高い特徴量抽出を行うことが可能となる。

また画像処理装置１２は、特徴量の登録処理だけではなく、特徴量の更新処理をしてもよい。この場合、ステップＳ３８に代えて、登録処理部１２８は、データベース３０に含まれる対象者Ｐのレコードの眼領域の特徴量にかかる情報を更新する。また画像処理装置１２は、抽出された特徴量に基づいて、認証処理を行ってもよい。この場合、ステップＳ３８に代えて、登録処理部１２８は、抽出された特徴量とデータベース３０に記憶される特徴量との照合を行い、一致する特徴量があるか否かを判定することで認証処理を行う。

このように実施形態２によれば、画像処理装置１２は、眼であることの確からしさを示す２段階の異なる評価値に基づいて、眼領域を特定する。したがってカメラの撮像視野が広いなどの条件下で撮影した場合に、撮像された第１画像に眼以外の部分を表す画像領域が含まれているときであっても、誤った特徴量を抽出し、登録することを回避することができる。これにより登録された特徴量を用いて認証処理を行う場合の認証性能を向上させることができる。

また実施形態２の画像処理装置１２によれば、２段階の評価値の算出が自動で行われる。このため検出された領域が眼であるか否かをオペレータが確認する必要はなくなり、オペレータの負担を軽減することができる。またこれにより登録処理のリアルタイム性を確保することができる。

＜実施形態３＞
次に図７～８を用いて、この開示の実施形態３について説明する。実施形態３は、候補領域または第２評価対象領域を表示部に表示させることに特徴を有する。実施形態３の撮像システム２は、実施形態２の撮像システム２と同様の構成および機能を有し、実施形態３の画像処理装置１２は、実施形態２の画像処理装置１２と同様の構成および機能を有するコンピュータ等である。ただし実施形態３の画像処理装置１２は、登録処理において候補領域または第２評価対象領域を表示する表示部をさらに備える点で実施形態２と相違する。
図７～８は、実施形態３にかかる画像処理装置１２の登録処理における表示の一例を説明するための図である。

たとえば図６に示すステップＳ３５で第２閾値以上の第２評価値を有する第２評価対象領域があると判定した場合、特定部１２４は、ステップＳ３６に代えて、図７に示すように表示部に第２評価対象領域またはこれに対応する候補領域を表示させる。このとき特定部１２４は、オペレータに対して表示した領域を眼領域の特徴量を登録するか否かについて入力を促してよい。特定部１２４は登録する旨の入力を受け付けたことに応じて、表示にかかる領域にかかる候補領域を眼領域として特定する。

また特定部１２４は、図６に示すステップＳ３５に代えて、図８に示すように各候補領域または各第２評価対象領域を、対応する第２評価値の大きさの順番に応じた番号を付して表示部に表示させる。特定部１２４は番号に代えてまたは加えて、各領域に対応する第２評価値を表示部に表示させてよい。そして特定部１２４は、オペレータに対して表示した領域のうち特徴量を登録する眼領域の選択を促してよい。特定部１２４は選択を受け付けたことに応じて、選択された領域にかかる候補領域を眼領域として特定する。

＜実施形態４＞
次に図９～１１を用いて、この開示の実施形態４について説明する。実施形態４は、第２評価値の算出に、候補領域に応じた抽出領域に基づいて生成された第２画像が用いられることに特徴を有する。
図９は、実施形態４にかかる撮像システム３の構成を示すブロック図である。実施形態４にかかる撮像システム３は、実施形態２～３にかかる撮像システム２と基本的に同様の構成および機能を有する。ただし撮像システム３は、画像処理装置１２に代えて画像処理装置１３を備える。

画像処理装置１３は、基本的に画像処理装置１２と同様の構成および機能を有するコンピュータ等である。ただし画像処理装置１３は、特定部１２４に代えて特定部１３４を有する。
特定部１３４は、特定部１２４と基本的に同様の機能を有するが、抽出画像生成部１３５と、評価部１３６とを含む。

抽出画像生成部１３５は、第１画像Ｉ１から候補領域に応じた抽出領域を切り出し、切り出された抽出領域に基づいて第２画像Ｉ２を生成する。つまり本実施形態４では、第２画像Ｉ２が第２評価対象領域となる。第２画像Ｉ２は、後続の眼評価モデルに応じて予め定められた画素数を有する。抽出画像生成部１３５は、第２画像Ｉ２を評価部１３６に供給する。
評価部１３６は、第２画像Ｉ２を入力データとする学習済の眼評価モデルを用いて、第２評価値を算出する。本実施形態４で学習済の眼評価モデルは、第２画像Ｉ２から第２評価値を出力する学習済のＣＮＮを含む。評価部１３６は、算出した第２評価値に基づいて１または複数の候補領域から眼領域を特定する。そして評価部１３６は、特定された眼領域にかかる情報を特徴抽出部１２７に供給する。

次に図１０を用いて、図１１を参照しながら、図６に示すステップＳ３４に対応する特定部１３４の第２評価値算出処理について説明する。図１０は、実施形態４にかかる画像処理装置１３の第２評価値算出処理を示すフローチャートである。図１１は、実施形態４にかかる画像処理装置１３の第２評価値算出処理を説明するための図である。なお、後述するＸ１、ＸＣ１、ＸＥ１、ＸＣ２、Ｙ１、ＹＣ１、ＹＥ１およびＹＣ２は、すべて自然数である。

まずステップＳ４０において、画像処理装置１３の特定部１３４の抽出画像生成部１３５は、第１画像Ｉ１から抽出領域を特定し、抽出領域を切り出す。ここで図１１に示すように、たとえば第１画像Ｉ１は、幅方向の画素数がＸ１であり、高さ方向の画素数がＹ１である。また複数の候補領域のうちの１つである候補領域Ｃ１は、幅方向の画素数がＸＣ１であり、高さ方向の画素数がＹＣ１である。このとき抽出画像生成部１３５は、候補領域Ｃ１の中心点を中心に、幅方向の画素数がＸＥ１（≧ＸＣ１）であり、高さ方向の画素数がＹＥ１（≧ＹＣ１）である画像領域を、候補領域Ｃ１に応じた抽出領域Ｅ１として特定する。抽出画像生成部１３５は、他の候補領域についても同様に抽出領域を特定する。

次にステップＳ４２において、抽出画像生成部１３５は、各候補領域について、特定した抽出領域を第１画像Ｉ１から切り出し、切り出された抽出領域を用いて予め定められた画素数を有する第２画像Ｉ２を生成する。図１１に示すように、候補領域Ｃ１について生成された第２画像Ｉ２は幅方向の画素数がＸＣ２であり、高さ方向の画素数がＹＣ２である画像である。ＸＣ２およびＹＣ２は、学習済の眼評価モデルに応じて予め定められた値、たとえば３００であってよい。抽出画像生成部１３５は、画素数がＸＥ１×ＹＥ１からＸＣ２×ＹＣ２になるように抽出領域Ｅ１を変換することによって、第２画像Ｉ２を生成する。すなわち抽出画像生成部１３５は、抽出領域Ｅ１を拡大、縮小、伸張、または圧縮変換して、第２画像Ｉ２を生成してよい。たとえば抽出領域Ｅ１を拡大または縮小する場合、抽出画像生成部１３５は、抽出領域Ｅ１に含まれる所定の画素と周囲の画素との間隔を変更し、その間の画素を補間してよい。また抽出領域Ｅ１を伸張する場合、抽出画像生成部１３５は、引き伸ばす方向の画素について、画素同士の間隔を拡げ、その間の画素を補間してよい。また抽出領域Ｅ１を圧縮する場合、抽出画像生成部１３５は、縮める方向の画素について、画素同士の間隔を狭め、適宜画素を補間してよい。

なお抽出画像生成部１３５は、生成した第２画像Ｉ２に対して、適宜画素値の正規化処理を行ってよい。正規化処理は、二値化処理を含んでよい。そして抽出画像生成部１３５は、第２画像Ｉ２を評価部１３６に供給する。

次にステップＳ４４において、評価部１３６は、図１１に示すように第２画像Ｉ２を学習済の眼評価モデルのＣＮＮの入力層に入力する。

次にステップＳ４６において、評価部１３６は、図１１に示すように学習済の眼評価モデルのＣＮＮの出力層から第２評価値Ｓを取得する。これにより評価部１３６は、候補領域に対応する第２評価値Ｓを算出する。

次にステップＳ４８において、評価部１３６は、すべての候補領域について第２評価値Ｓの算出が完了したか否かを判定する。評価部１３６は、完了したと判定すれば（ステップＳ４８：ＹＥＳ）処理を終了し、そうでなければ（ステップＳ４８：ＮＯ）処理をステップＳ４０に戻す。

このように実施形態４によれば、画像処理装置１３は、第１画像Ｉ１から不要領域が排除された抽出領域に基づく第２画像Ｉ２から第２評価値Ｓを算出する。なお第２画像Ｉ２は、候補領域Ｃの中心、つまり瞳孔を中心とし、予め定められた画像サイズにリサイズされている。したがって第１評価値による検出と比べて計算コストを抑えつつ、より精密な眼評価を行うことができる。これにより実施形態２～３と同様の効果を得ながら、より認証性能の高い特徴量を登録することが可能となる。

＜実施形態５＞
次に図１２～１７を用いて、この開示の実施形態５について説明する。実施形態５は、対象者Ｐに照射した光の照射パターンに基づいて第２評価値を算出することに特徴を有する。
図１２は、実施形態５にかかる撮像システム４の概略構成図である。実施形態５の撮像システム４は、実施形態４の撮像システム３と基本的には同様の構成および機能を有する。ただし実施形態５の撮像システム４は、撮像装置２０に代えて撮像装置２４を、画像処理装置１３に代えて画像処理装置１４を備える。

撮像装置２４は、撮像装置２０と基本的に同様の構成および機能を有するが、制御部２０６に代えて、光源アレイ２４４および制御部２４６を有する。

光源アレイ２４４は、対象者Ｐに対して予め定められた照射パターンを有する光を照射する。光源アレイ２４４は、近赤外光を照射してよい。光源アレイ２４４は、対象者Ｐの眼に反射パターンが形成されるように光を照射する。なお光源アレイ２４４は、対象者Ｐの眼のうち、虹彩部分を除く瞳孔部分に反射パターンが形成されるように光を照射することが望ましい。光源アレイ２４４は、このように対象者Ｐの眼、特に瞳孔に光を照射するために、想定される対象者Ｐの立ち位置と、撮像器２００が設置される位置とに基づいて定められる位置に設置されてよい。本実施形態５では光源アレイ２４４は、複数の光源を含む。このとき照射パターンは、光源アレイ２４４の各光源の配置および各光源の照射方向によって定められてよい。たとえば光源アレイ２４４は、撮像器２００の光軸方向を中心に、光軸方向および高さ方向に直交する方向（つまり、対象者Ｐの左右方向）に対称に配置された右側光源アレイと左側光源アレイとを有してよい。右側光源アレイおよび左側光源アレイはそれぞれ、対象者Ｐに対して高さ方向に所定の間隔で光が照射されるように複数の光源が配置されてよい。

制御部２４６は、制御部２０６の機能に加えて、光源アレイ２４４の動作を制御する。光源アレイ２４４が光を照射したことに応じて、制御部２４６は、撮像器２００の撮像動作を制御し、撮像器２００から第１画像Ｉ１を取得する。そして制御部２４６は、第１画像Ｉ１を画像処理装置１４に供給する。

図１３は、実施形態５にかかる撮像システム４の構成を示すブロック図である。上述の通り、撮像システム４は、撮像装置２４と、画像処理装置１４と、データベース３０とを備える。ここでは画像処理装置１４の構成についてのみ説明する。

画像処理装置１４は、画像処理装置１３と基本的に同様の構成および機能を有するコンピュータ等である。ただし画像処理装置１４は、特定部１３４に代えて特定部１４４を有する。
特定部１４４は、抽出画像生成部１４５と、評価部１４６とを含む。

抽出画像生成部１４５は、抽出画像生成部１３５と基本的に同様の機能を有し、第１画像Ｉ１から候補領域に応じた抽出領域を切り出し、切り出された抽出領域に基づいて第２画像Ｉ２を生成する。
評価部１４６は、光源アレイ２４４の光が対象者Ｐに照射されたことに応じて候補領域に形成された反射パターンに基づいて、第２評価値を算出する。

次に図１４を用いて、図１５を参照しながら、図６に示すステップＳ３４に対応する特定部１４４の第２評価値算出処理について説明する。図１４は、実施形態５にかかる画像処理装置１４の第２評価値算出処理を示すフローチャートである。なお図１０に示すステップと同様のステップについては、同一の記号を付して適宜説明を省略する。また図１５は、実施形態５にかかる画像処理装置１４の第２評価値算出処理を説明するための図である。

ステップＳ６０において、図１０に示すステップＳ４０と同様に、画像処理装置１４の特定部１４４の抽出画像生成部１４５は、第１画像Ｉ１から抽出領域を特定し、抽出領域を切り出す。ここで図１５に示すように、抽出画像生成部１４５は、ＸＣ１×ＹＣ１の画素数を有する候補領域Ｃ１の中心点を中心にＸＥ１×ＹＥ１の画素数を有する画像領域を、候補領域Ｃ１に応じた抽出領域Ｅ１に特定する。ＸＥ１およびＹＥ１は、後述するテンプレートの画素数に応じて予め定められてよい。

次にステップＳ６２において、抽出画像生成部１４５は各候補領域について、特定した抽出領域Ｅ１を第１画像Ｉ１から切り出し、切り出された抽出領域Ｅ１を用いて第２画像Ｉ２を生成する。図１５に示すように、第２画像Ｉ２は、抽出領域Ｅ１と同様にＸＥ１×ＹＥ１の画素数を有してよい。すなわち抽出画像生成部１４５は、抽出領域Ｅ１の画素の変換を行うことなく、切り出した抽出領域Ｅ１を第２画像Ｉ２に置き換えてよい。しかしこれに限らず、抽出画像生成部１４５は、図１０に示すステップＳ４２と同様に、抽出領域Ｅ１が画素数ＸＣ２×ＹＣ２となるように画素を変換して第２画像Ｉ２を生成してもよい。なおＸＣ２およびＹＣ２は、後述するテンプレートの画素数に応じて予め定められてよい。そして抽出画像生成部１４５は、第２画像Ｉ２を評価部１４６に供給する。

次にステップＳ６４において、評価部１４６は、光源アレイ２４４の照射パターンに対応する角膜の反射パターンに基づいて生成されたテンプレートを取得する。テンプレートは、光源アレイ２４４の照射パターンに対応する角膜の反射パターンに応じた画素値分布を有してよい。

次にステップＳ６６において、評価部１４６は第２画像Ｉ２に対してテンプレートをマッチングさせ、第２画像Ｉ２とテンプレートとの間の一致度を算出する。図１５に示すように、候補領域が眼領域である場合には、第２画像Ｉ２の瞳孔に相当する領域に角膜の反射パターンに類似する反射パターンＲが映し出される。本図では照射パターンは左右対称の形状を有し、反射パターンＲは角膜反射により照射パターンに応じた略左右対称の形状を有する。一例として反射パターンＲは、左側の反射パターンおよび右側の反射パターンを含み、いずれの反射パターンも高さ方向に互いに略規則的な間隔で配列するスポットを含んでいる。なお候補領域が眼領域以外である場合には、照射した光が散乱するため、このような反射パターンＲは得られない。したがって候補領域が眼領域である場合には、テンプレートとの間の一致度が相対的に高くなる。

次にステップＳ６８において、評価部１４６は候補領域に対応する一致度を第２評価値とする。これにより、評価部１４６は候補領域に対応する第２評価値を算出する。

なおステップＳ６０に示す処理は省略されてもよい。この場合、ステップＳ６２において「抽出領域」は「候補領域」に、「ＸＥ１」は「ＸＣ１」に、「ＹＥ１」は「ＹＣ１」に読み替えられる。

なお実施形態５では評価部１４６は、テンプレートマッチングを用いて候補領域に対する第２評価値を算出した。しかしこれに限らず、評価部１４６は第２画像Ｉ２を入力データとする学習済の反射パターン評価モデルを用いて、第２評価値を算出してもよい。学習済の反射パターン評価モデルは、反射パターンＲが映し出された第２画像Ｉ２から第２評価値を出力する学習済のＣＮＮを含む。

なお反射パターンＲの検出をより容易にするため、光源アレイ２４４が照射する光の照射パターンは、非対称形状を有することが好ましい。図１６～１７は、実施形態５にかかる光源アレイ２４４の光の照射パターンに対する反射パターンＲを説明するための図である。図１６および１７には、候補領域Ｃ１に対応する、反射パターンＲが映し出された第２画像Ｉ２が示されている。
図１６および図１７に示すように、候補領域が眼領域である場合には、反射パターンＲは角膜反射により照射パターンの非対称形状に応じた非対称形状を有する。なお候補領域が眼領域以外である場合には、照射した光が散乱するため、このような反射パターンＲは得られない。

図１６は、一例として左側の反射パターンが、高さ方向に互いに不規則的な間隔で配列するスポットを含む場合の第２画像Ｉ２を示す。したがって左側の反射パターンおよび右側の反射パターンは、破線で示す第２画像Ｉ２の中心軸に対して非対称となる。このとき光源アレイ２４４は、右側光源アレイおよび左側光源アレイを有し、左側光源アレイは、対象者Ｐに対して高さ方向に不規則な間隔で光が照射されるように複数の光源が配置されてよい。

図１７は、一例として反射パターンＲが、スポット形状が非対称形状であるスポットを含む場合の第２画像Ｉ２を示す。この場合の照射パターンは、複数の光源の異なるスポット径の光が合成されることによって形成されてよい。
またこの場合の照射パターンは、単一の光源の光に対してフィルタ等によりスポット形状を非対称に成形することで形成されてよい。このとき光源アレイ２４４は複数の光源に代えて、単一の光源であってもよい。

このように実施形態５によれば、撮像システム４の光源アレイ２４４が光を照射して、候補領域に対応する対象者Ｐの身体部分に、予め定められた照射パターンに対応する反射パターンを形成させる。そして画像処理装置１４は、候補領域における反射パターンに基づいて第２評価値を算出する。したがって、候補領域が眼領域であるかをより精密に評価することができる。これにより実施形態２～３と同様の効果を得ながら、より認証性能の高い特徴量を登録することが可能となる。

＜実施形態６＞
次に図１８～２０を用いて、この開示の実施形態６について説明する。実施形態６は、対象者Ｐの全体撮像画像に基づいて撮像器および光源アレイが制御されることに特徴を有する。

図１８は、実施形態６にかかる撮像システム６の概略構成図である。また図１９は、実施形態６にかかる撮像システム６の構成を示すブロック図である。実施形態６にかかる撮像システム６は、実施形態５の撮像システム４と基本的には同様の構成および機能を有する。ただし実施形態６の撮像システム６は、撮像装置２４に代えて撮像装置２６を備える。
撮像装置２６は、撮像装置２４と基本的に同様の構成および機能を有するが、撮像器２００および制御部２４６に代えて、複数の個別撮像器２６０と全体撮像器２６２と制御部２６６とを有する。

複数の個別撮像器２６０は、各々が撮像器２００と同様の機能を有するカメラであるが、同じ視野範囲で互いに異なる位置に配置される。

全体撮像器２６２は、対象者Ｐの全体を撮像するためのカメラである。全体撮像器２６２は、対象者Ｐの身長が高い場合から低い場合までカバーできるように、個別撮像器２６０の視野範囲より広い視野範囲で対象者Ｐを撮像する。なお全体撮像器２６２は、対象者Ｐの顔、特に眼周辺の位置を推定できる程度の解像度を有しているものとする。そして全体撮像器２６２は、対象者Ｐの全体撮像画像を生成する。

制御部２６６は、制御部２４６と基本的に同様の機能を有するが、全体撮像器２６２の画像に基づいて眼に対して好適に光を照射させるように光源アレイ２４４の動作を制御する。また制御部２６６は、全体撮像器２６２から供給される全体撮像画像に基づいて、眼を好適に撮像できる個別撮像器２６０を選択し、選択した個別撮像器２６０の撮像動作を制御する。

図２０は、実施形態６にかかる撮像システム６の処理を示すフローチャートである。図５に示すステップと同様のステップについては、同一の記号を付して説明を省略する。

まずステップＳ７０において、撮像システム６の撮像装置２６の制御部２６６は、全体撮像器２６２を制御し、全体撮像器２６２に対象者Ｐの全体を撮像する動作を実行させる。全体撮像器２６２は全体撮像画像を生成し、制御部２６６に供給する。

次にステップＳ７２において、制御部２６６は、全体撮像器２６２によって供給された全体撮像画像における対象者Ｐの眼周辺の位置を推定する。そして制御部２６６は、全体撮像器２６２と各個別撮像器２６０のカメラパラメータと配置関係とを用いて、全体撮像画像における対象者Ｐの眼周辺の位置に対応する個別撮像器２６０を選択する。

ステップＳ７４において、制御部２６６は、導出された眼周辺の位置と、対象者Ｐおよび全体撮像器２６２の間の配置関係とに応じて、光源アレイ２４４の配置および光軸の向きのうちの少なくとも１つを調整する。そして制御部２６６は、光源アレイ２４４に対して対象者Ｐへの光の照射を実行させる。

次にステップＳ７６において、制御部２６６は、選択された個別撮像器２６０を制御し、個別撮像器２６０に対象者Ｐの眼を含む身体の少なくとも一部を撮像する動作を実行させる。個別撮像器２６０は撮像画像である第１画像Ｉ１を生成し、第１画像Ｉ１を制御部２６６に供給する。そして制御部２６６は、第１画像Ｉ１を画像処理装置１４に送信する。

このように実施形態６によれば、撮像システム６は、全体撮像画像から眼周辺の位置を推定し、推定された位置に基づいて光源アレイ２４４の位置を調整し、また眼を好適に撮像する個別撮像器２６０を選択する。これにより実施形態２～５と同様の効果を得ながら、より認証性能の高い特徴量を登録することが可能となる。

上述の実施形態１～６ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。

なお上述の実施形態１～６では、この開示をハードウェアの構成として説明したが、この開示は、これに限定されるものではない。この開示は、上述の撮像制御処理、登録処理、光源制御処理等の各種処理を、後述するプロセッサ１０１０にコンピュータプログラムを実行させることにより実現することも可能である。

図２１は、実施形態１～６にかかるコンピュータ１９００の構成図の一例である。図２１に示すように、コンピュータ１９００は、システム全体を制御するための制御処理部１０００を備えている。この制御処理部１０００には、データバス等のバスラインを介して、入力装置１０５０、記憶装置１２００、記憶媒体駆動装置１３００、通信制御装置１４００、および入出力Ｉ／Ｆ１５００が接続されている。

制御処理部１０００は、プロセッサ１０１０と、ＲＯＭ１０２０と、ＲＡＭ１０３０とを備えている。
プロセッサ１０１０は、ＲＯＭ１０２０や記憶装置１２００等の各種記憶部に記憶されたプログラムに従って、各種の情報処理や制御を行う。
ＲＯＭ１０２０は、プロセッサ１０１０が各種制御や演算を行うための各種プログラムやデータが予め格納されたリードオンリーメモリである。

ＲＡＭ１０３０は、プロセッサ１０１０にワーキングメモリとして使用されるランダムアクセスメモリである。このＲＡＭ１０３０には、本実施形態１～６による各種処理を行うための各種エリアが確保可能になっている。

入力装置１０５０は、キーボード、マウスおよびタッチパネル等のユーザからの入力を受け付ける入力装置である。たとえばキーボードは、テンキー、各種機能を実行するための機能キーおよびカーソルキー等の各種キーが配置されている。マウスは、ポインティングデバイスであり、表示装置１１００に表示されたキーやアイコン等をクリックすることで対応する機能の指定を行う入力装置である。タッチパネルは、表示装置１１００の表面に配置される入力機器で、表示装置１１００に画面表示された各種操作キーに対応した、ユーザのタッチ位置を特定し、当該タッチ位置に対応して表示された操作キーの入力を受け付ける。

表示装置１１００は、例えばＣＲＴや液晶ディスプレイ等が使用される。この表示装置には、キーボードやマウスによる入力結果が表示されたり、最終的に検索されたイメージ情報が表示されたりするようになっている。また表示装置１１００は、コンピュータ１９００の各種機能に応じて、タッチパネルから必要な各種操作を行うための操作キーを画像表示する。

記憶装置１２００は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。
この記憶装置１２００に使用される記憶媒体は、主としてハードディスク等が使用されるが、後述の記憶媒体駆動装置１３００で使用される非一時的なコンピュータ可読媒体を使用するようにしてもよい。
記憶装置１２００は、データ格納部１２１０、プログラム格納部１２２０および図示しないその他の格納部（例えば、この記憶装置１２００内に格納されているプログラムやデータ等をバックアップするための格納部）等を有している。プログラム格納部１２２０には、本実施形態１～６における各種処理を実現するためのプログラムが格納されている。データ格納部１２１０には、本実施形態１～６にかかる各種データベースの各種データを格納する。

記憶媒体駆動装置１３００は、プロセッサ１０１０が外部の記憶媒体（外部記憶媒体）からコンピュータプログラムや文書を含むデータ等を読み込むための駆動装置である。
ここで、外部記憶媒体とは、コンピュータプログラムやデータ等が記憶される非一時的なコンピュータ可読媒体をいう。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また各種プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路並びに記憶媒体駆動装置１３００を介して、各種プログラムをコンピュータ１９００に供給できる。

つまりコンピュータ１９００は、制御処理部１０００のプロセッサ１０１０が、記憶媒体駆動装置１３００にセットされた外部の記憶媒体から各種プログラムを読み込んで、記憶装置１２００の各部に格納する。

そして、コンピュータ１９００が各種処理を実行する場合、記憶装置１２００から該当プログラムをＲＡＭ１０３０に読み込み、実行するようになっている。但しコンピュータ１９００は、記憶装置１２００からではなく、記憶媒体駆動装置１３００により外部の記憶媒体から直接ＲＡＭ１０３０にプログラムを読み込んで実行することも可能である。また、コンピュータによっては各種プログラム等を予めＲＯＭ１０２０に記憶させておき、これをプロセッサ１０１０が実行するようにしてもよい。さらに、コンピュータ１９００は、各種プログラムやデータを、通信制御装置１４００を介して他の記憶媒体からダウンロードし、実行するようにしてもよい。

通信制御装置１４００は、コンピュータ１９００と他のパーソナルコンピュータやワードプロセッサ等の各種外部電子機器との間をネットワーク接続するための制御装置である。通信制御装置１４００は、これら各種外部電子機器からコンピュータ１９００にアクセスすることを可能とする。

入出力Ｉ／Ｆ１５００は、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続するためのインターフェースである。

なお、プロセッサ１０１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）およびＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等が用いられてもよい。また、これらのうち複数個を並列に用いてもよい。

請求の範囲、明細書、および図面中において示したシステムおよび方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

以上、実施形態を参照してこの開示を説明したが、この開示は上記によって限定されるものではない。この開示の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出部と、
検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定部と、
特定された前記眼領域の特徴量を抽出する特徴抽出部と、
を備え、
前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出される、
画像処理システム。
（付記２）
前記特定部は、予め定められた照射パターンを有する光が前記対象者に照射されたことに応じて前記候補領域に形成された反射パターンに基づいて、前記第２評価値を算出する評価部を有する、
付記１に記載の画像処理システム。
（付記３）
前記照射パターンは、非対称形状を有する
付記２に記載の画像処理システム。
（付記４）
前記特定部は、
前記第１画像から前記候補領域に応じた抽出領域を切り出し、切り出された前記抽出領域に基づいて第２画像を生成する抽出画像生成部と、
前記第２画像を入力データとする学習済の眼評価モデルを用いて、前記第２評価値を算出する評価部と
を有する、
付記１から３のいずれか一項に記載の画像処理システム。
（付記５）
対象者を撮像し、第１画像を生成する撮像装置と、
前記第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出部と、検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定部と、特定された前記眼領域の特徴量を抽出する特徴抽出部と、を有する画像処理装置と、
を備え、
前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出される、
撮像システム。
（付記６）
前記対象者に対して予め定められた照射パターンを有する光を照射する光源アレイをさらに備える
付記５に記載の撮像システム。
（付記７）
前記照射パターンは、非対称形状を有する
付記６に記載の撮像システム。
（付記８）
前記撮像装置は、
同じ視野範囲で互いに異なる位置に配置される複数の個別撮像器と、
前記個別撮像器の視野範囲より広い視野範囲で撮像する全体撮像器と、
をさらに有する、
付記５から７のいずれか一項に記載の撮像システム。
（付記９）
対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出ステップと、
検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定ステップと、
特定された前記眼領域の特徴量を抽出する特徴抽出ステップと、
を備え、
前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出される、
画像処理方法。
（付記１０）
対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出ステップと、
検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定ステップと、
特定された前記眼領域の特徴量を抽出する特徴抽出ステップと、
を備え、
前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出される、
画像処理方法をコンピュータに実行させる画像処理プログラムが格納された、
非一時的なコンピュータ可読媒体。

２，３，４，６ 撮像システム
１０ 画像処理システム
１２，１３，１４ 画像処理装置
２０，２４，２６ 撮像装置
３０ データベース
１０２，１２２ 検出部
１２０ 第１画像取得部
１０４，１２４，１３４，１４４ 特定部
１０７，１２７ 特徴抽出部
１２８ 登録処理部
１３５，１４５ 抽出画像生成部
１３６，１４６ 評価部
２００ 撮像器
２０６，２４６，２６６ 制御部
２４４ 光源アレイ
２６０ 個別撮像器
２６２ 全体撮像器
Ｐ 対象者
Ｉ１ 第１画像
Ｉ２ 第２画像
Ｃ１～５ 候補領域
Ｅ１ 抽出領域
Ｓ 第２評価値
１０００ 制御処理部
１０１０ プロセッサ
１０２０ ＲＯＭ
１０３０ ＲＡＭ
１０５０ 入力装置
１１００ 表示装置
１２００ 記憶装置
１２１０ データ格納部
１２２０ プログラム格納部
１３００ 記憶媒体駆動装置
１４００ 通信制御装置
１５００ 入出力Ｉ／Ｆ
１９００ コンピュータ

Claims (10)

1. 対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出部と、
   検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定部と、
   特定された前記眼領域の特徴量を抽出する特徴抽出部と、
   を備え、
   前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
   前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出され、
   前記特定部は、予め定められた照射パターンを有する光が前記対象者に照射されたことに応じて前記候補領域に形成された反射パターンに基づいて、前記第２評価値を算出する評価部を有し、
   前記照射パターンは、非対称形状を有する
   画像処理システム。
2. 前記特定部は、
   前記第１画像から前記候補領域に応じた抽出領域を切り出し、切り出された前記抽出領域に基づいて第２画像を生成する抽出画像生成部と、
   前記第２画像を入力データとする学習済の眼評価モデルを用いて、前記第２評価値を算出する評価部と
   を有する、
   請求項１に記載の画像処理システム。
3. 対象者を撮像し、第１画像を生成する撮像装置と、
   前記第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出部と、検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定部と、特定された前記眼領域の特徴量を抽出する特徴抽出部と、を有する画像処理装置と、
   を備え、
   前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
   前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出され、
   前記対象者に対して予め定められた照射パターンを有する光を照射する光源アレイをさらに備え、
   前記照射パターンは、非対称形状を有する
   撮像システム。
4. 前記撮像装置は、
   同じ視野範囲で互いに異なる位置に配置される複数の個別撮像器と、
   前記個別撮像器の視野範囲より広い視野範囲で撮像する全体撮像器と、
   をさらに有する、
   請求項３に記載の撮像システム。
5. 対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出ステップと、
   検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定ステップと、
   特定された前記眼領域の特徴量を抽出する特徴抽出ステップと、
   を備え、
   前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
   前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出され、
   前記特定ステップは、予め定められた照射パターンを有する光が前記対象者に照射されたことに応じて前記候補領域に形成された反射パターンに基づいて、前記第２評価値を算出する評価ステップを有し、
   前記照射パターンは、非対称形状を有する
   画像処理方法。
6. 対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出ステップと、
   検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定ステップと、
   特定された前記眼領域の特徴量を抽出する特徴抽出ステップと、
   を備え、
   前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
   前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出され、
   前記特定ステップは、予め定められた照射パターンを有する光が前記対象者に照射されたことに応じて前記候補領域に形成された反射パターンに基づいて、前記第２評価値を算出する評価ステップを有し、
   前記照射パターンは、非対称形状を有する
   画像処理方法をコンピュータに実行させる画像処理プログラム。
7. 対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出部と、
   検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定部と、
   特定された前記眼領域の特徴量を抽出する特徴抽出部と、
   を備え、
   前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
   前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出され、
   前記特定部は、
   前記第１画像から前記候補領域に応じた抽出領域を切り出し、切り出された前記抽出領域に基づいて第２画像を生成する抽出画像生成部と、
   前記第２画像を入力データとする学習済の眼評価モデルを用いて、前記第２評価値を算出する評価部と
   を有し、
   前記抽出画像生成部は、
   前記候補領域を中心とし、予め定められた画像サイズにリサイズされた第２画像を生成する
   画像処理システム。
8. 対象者を撮像し、第１画像を生成する撮像装置と、
   前記第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出部と、検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定部と、特定された前記眼領域の特徴量を抽出する特徴抽出部と、を有する画像処理装置と、
   を備え、
   前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
   前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出され、
   前記特定部は、
   前記第１画像から前記候補領域に応じた抽出領域を切り出し、切り出された前記抽出領域に基づいて第２画像を生成する抽出画像生成部と、
   前記第２画像を入力データとする学習済の眼評価モデルを用いて、前記第２評価値を算出する評価部と
   を有し、
   前記抽出画像生成部は、
   前記候補領域を中心とし、予め定められた画像サイズにリサイズされた第２画像を生成する
   撮像システム。
9. 対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出ステップと、
   検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定ステップと、
   特定された前記眼領域の特徴量を抽出する特徴抽出ステップと、
   を備え、
   前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
   前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出され、
   前記特定ステップは、
   前記第１画像から前記候補領域に応じた抽出領域を切り出し、切り出された前記抽出領域に基づいて第２画像を生成する抽出画像生成ステップと、
   前記第２画像を入力データとする学習済の眼評価モデルを用いて、前記第２評価値を算出する評価ステップと
   を有し、
   前記抽出画像生成ステップは、
   前記候補領域を中心とし、予め定められた画像サイズにリサイズされた第２画像を生成する
   画像処理方法。
10. 対象者が撮像された第１画像から、第１評価値に基づいて、前記対象者の眼を表すと推定される画像領域である候補領域を検出する検出ステップと、
    検出された前記候補領域から、第２評価値に基づいて、前記眼を表す画像領域である眼領域を特定する特定ステップと、
    特定された前記眼領域の特徴量を抽出する特徴抽出ステップと、
    を備え、
    前記第１評価値は、前記眼であることの確からしさを示し、前記第１画像に基づいて設定される画像領域に対して算出され、
    前記第２評価値は、前記眼であることの確からしさを示し、検出された前記候補領域に基づいて設定される画像領域に対して算出され、
    前記特定ステップは、
    前記第１画像から前記候補領域に応じた抽出領域を切り出し、切り出された前記抽出領域に基づいて第２画像を生成する抽出画像生成ステップと、
    前記第２画像を入力データとする学習済の眼評価モデルを用いて、前記第２評価値を算出する評価ステップと
    を有し、
    前記抽出画像生成ステップは、
    前記候補領域を中心とし、予め定められた画像サイズにリサイズされた第２画像を生成する
    画像処理方法をコンピュータに実行させる画像処理プログラム。

Images