JP2016093253A - 瞳孔検出用光源装置の制御方法 - Google Patents

Abstract

【課題】対象者と光源との間の距離が変化した場合に、対象者と光源との距離の変化に対応して瞳孔の輝度を一定に保つことが可能な瞳孔検出用光源装置の制御方法を提供する。【解決手段】対象者の瞳孔を明るくする第１発光素子と、第１発光素子と比して対象者の瞳孔を暗くする第２発光素子と、を備える光源の制御方法は、第１発光素子にパルス電流を供給すると共に明瞳孔画像を取得するステップＳ１と、第２発光素子にパルス電流を供給すると共に暗瞳孔画像を取得するステップＳ２と、差分画像を計算するステップＳ３と、差分画像から瞳孔輝度レベルを取得するステップＳ４と、瞳孔輝度レベルの目標値を取得された瞳孔輝度レベルにより除した値を、光源の発光量に乗じて、次の画像取得時の光源３の発光量を決定するステップＳ５と、決定された発光量で光源を発光させるためのパルス電流を光源に供給するステップＳ６と、を備える。【選択図】図４

Description

本発明は、瞳孔検出用光源装置の制御方法に関する。

人間の視線を検出するための方法として、対象者の顔画像を撮影し、撮影された画像から瞳孔を検出し、瞳孔の位置に基づいて視線を検出する方法がある。瞳孔の位置を検出するための方法として、次の瞳孔検出方法が知られている。この瞳孔検出方法では、一の光源により瞳孔を明るく照らし、瞳孔が明るく映った明瞳孔画像を撮影する。また、他の光源により瞳孔を暗く照らし、瞳孔が暗く映った暗瞳孔画像を撮影する。次に、明瞳孔画像と暗瞳孔画像との画素値の差分を計算することにより、瞳孔以外の部分を打ち消すとともに、画素値が打ち消されない部分として瞳孔を検出する。明瞳孔画像及び暗瞳孔画像を撮影するための光源として、例えば非特許文献１に記載の光源が知られている。

Yoshinobu Ebisawa、「Unconstrained pupil detection technique using two light sources and the image difference method」、「Visualization and Intelligent Design on Engineering and Architecture II」、1995年6月、pp.79-89

上述したような、明瞳孔画像と暗瞳孔画像との画素値の差分により瞳孔を検出する技術においては、光源の光量を適切な大きさに調節することが好ましい。光源の光量が大きすぎる場合には、明瞳孔画像において瞳孔の輝度が飽和する。ここで、視線の検出には、光源からの光が対象者の角膜において反射された像である角膜反射が用いられる。この角膜反射は、明瞳孔画像上において、瞳孔の像に重なるように映る場合が多い。したがって、光源からの過大な光によって瞳孔の輝度が飽和した場合、角膜反射が明瞳孔画像上において消失し、その結果、視線の検出ができなくなる。一方、光源の光量が小さすぎる場合には、例えば周囲が明るい環境等、対象者の瞳孔が小さくなった場合に、明瞳孔画像及び暗瞳孔画像における瞳孔の輝度差が小さくなり、瞳孔を検出することができなくなる。

非特許文献１に記載の光源では、瞳孔の輝度を一定にするための瞳孔面積とＬＥＤ電流との関係式が予め求められている。なお、瞳孔面積とは、対象者の瞳孔の面積である。ＬＥＤ電流とは、光源としてのＬＥＤに供給される電流である。そして、この瞳孔面積とＬＥＤ電流との関係式に基づいてＬＥＤ電流の大きさを調節することにより、瞳孔の輝度を一定に調節する。

しかしながら、非特許文献１に記載の光源の制御方法では、対象者と光源との距離が変化すると、瞳孔面積とＬＥＤ電流との間の関係を一つの式として表すことができなくなる。したがって、瞳孔面積とＬＥＤ電流との関係式によって瞳孔輝度を一定に保つことができなくなる。一方、視線検出用光源として応用範囲を広げるためには、対象者と光源との間の距離が変化した場合にも、距離の変化に対応して瞳孔の輝度を一定にできることが求められている。

そこで、本発明は、対象者と光源との間の距離が変化した場合に、対象者と光源との距離の変化に対応して瞳孔の輝度を一定に保つことが可能な瞳孔検出用光源装置の制御方法を提供することを目的とする。

発明者は、鋭意研究の結果、瞳孔の差分画像における瞳孔輝度が光源の光量に比例することを見出し、本発明をするに至った。

本発明の一形態に係る瞳孔検出用光源装置の制御方法は、対象者の顔に光を照射することにより対象者の瞳孔を明るくする明瞳孔画像用光源と、対象者の顔に光を照射することにより明瞳孔画像用光源と比して対象者の瞳孔を暗くする暗瞳孔画像用光源と、を備える瞳孔検出用光源装置の制御方法であって、明瞳孔画像用光源にパルス電流を供給すると共に対象者の顔の画像を明瞳孔画像として取得するステップと、暗瞳孔画像用光源にパルス電流を供給すると共に対象者の顔の画像を暗瞳孔画像として取得するステップと、明瞳孔画像と暗瞳孔画像との差分画像を計算するステップと、差分画像から対象者の瞳孔輝度レベルを取得するステップと、瞳孔輝度レベルの目標値を取得された瞳孔輝度レベルにより除した値を、明瞳孔画像用光源及び暗瞳孔画像用光源にパルス電流を供給した際の明瞳孔画像用光源及び暗瞳孔画像用光源の発光量に乗ずることにより、次の明瞳孔画像及び次の暗瞳孔画像を取得する際の明瞳孔画像用光源及び暗瞳孔画像用光源の発光量を決定するステップと、明瞳孔画像用光源及び暗瞳孔画像用光源を、決定された発光量で発光させるためのパルス電流を明瞳孔画像用光源及び暗瞳孔画像用光源に供給するステップと、を備える。

この瞳孔検出用光源装置の制御方法では、瞳孔輝度レベルの目標値を取得された瞳孔輝度レベルにより除した値を、明瞳孔画像用光源及び暗瞳孔画像用光源にパルス電流を供給した際の明瞳孔画像用光源及び暗瞳孔画像用光源の発光量に乗ずることにより、次の明瞳孔画像及び次の暗瞳孔画像を取得する際の明瞳孔画像用光源及び暗瞳孔画像用光源の発光量を決定する。なお、本明細書において、発光量とは、瞬時発光強度の時間積分を意味する。ただし、瞬時発光強度とは、カメラの露光期間内の任意の時刻における発光の強さを意味する。また、パルス電流がパルス的に与えられるのは、基本的に、露光期間内だけ光源に電流を流すからであり、本明細書においては、露光期間外の発光はないものとする。ここで、発明者が見出したように、瞳孔の差分画像における瞳孔輝度は、光源の発光量に比例する。したがって、上述したようにして明瞳孔画像用光源及び暗瞳孔画像用光源の発光量を決定すると、次に取得される瞳孔輝度レベルは、前回取得された瞳孔輝度レベルと、瞳孔輝度レベルの目標値を取得された瞳孔輝度レベルにより除した値と、を乗じた値、すなわち瞳孔輝度レベルの目標値に対応する。したがって、対象者と光源との距離の変化に対応して瞳孔の輝度を一定に保つことができる。

明瞳孔画像用光源及び暗瞳孔画像用光源の発光量を決定するステップでは、パルス電流の時間幅を用いて発光量を決定してもよい。明瞳孔画像用光源及び暗瞳孔画像用光源の発光量は、明瞳孔画像用光源及び暗瞳孔画像用光源に供給されるパルス電流の時間幅に比例する。また、パルス電流の時間幅は、高精度に制御することが容易である。したがって、対象者と光源との距離の変化に対応して、瞳孔の輝度をより正確に一定に保つことができる。

なお、明瞳孔画像用光源及び暗瞳孔画像用光源の発光量を決定するステップでは、パルス電流の電流量を用いて発光量を決定してもよい。例えば、ローリングシャッター方式のカメラを使用する場合、パルス電流の電流量を用いて発光量を決定すると、カメラのシャッターを開く時間を最適な長さに設定できるため、瞳孔の検出及び追尾の失敗を防止でき、且つ画像のブレを抑制することにより瞳孔検出の精度の低下を抑制することができる。ただし、本発明の一形態では、ローリングシャッター方式のカメラを使用する場合には限定されず、その他の方式のカメラを使用してもよい。

明瞳孔画像用光源及び暗瞳孔画像用光源の発光量を決定するステップを、差分画像の所定数のフレーム（例えば１フレーム）毎に繰り返し実行してもよい。この場合には、差分画像の所定数のフレーム毎という短い時間間隔で発光量の決定が行われる。したがって、対象者と光源との間の距離の変化に対して速やかに対応して、瞳孔の輝度を一定に保つことができる。

明瞳孔画像用光源及び暗瞳孔画像用光源の発光量を決定するステップでは、瞳孔輝度レベルとして、対象者の両眼のうち瞳孔輝度レベルが小さい方の目の瞳孔輝度レベルを用いてもよい。例えば、対象者が顔をカメラに対して正対させていない場合、又は対象者の左右の眼球の瞳孔径が異なる場合等には、対象者の左眼の瞳孔輝度レベルと、対象者の右眼の瞳孔輝度レベルとが異なる場合がある。この場合には、瞳孔輝度レベルが小さい方の目の瞳孔輝度レベルを用いるため、瞳孔輝度を過大に評価することにより光量が不足して角膜反射が検出できなくなることを防止することができる。

明瞳孔画像用光源及び暗瞳孔画像用光源の発光量を決定するステップでは、対象者の瞳孔を検出できなかった場合に、パルス電流の時間幅を複数の異なる値に順次設定して瞳孔検出を行い、対象者の瞳孔を検出できた場合のパルス電流の時間幅に基づいてパルス電流の時間幅を決定してもよい。対象者の瞳孔を検出できない場合の例として、対象者が閉眼している場合が挙げられる。この場合、瞳孔面積はゼロとみなせる。このため、小さな面積の瞳孔を検出できる程度に光量を大きくするために、パルス電流の時間幅を最大とする制御が行われ得る。しかしながら、パルス電流の時間幅を最大とすると、次に対象者が開眼した場合に、光源の光量が過大となり、瞳孔輝度が飽和してしまう場合がある。特に、差分画像を取得する頻度が低い場合、又は画像の取得から瞳孔輝度の検出までの遅延時間が長い場合には、パルス電流の時間幅が最大のまま、瞳孔面積が最大となる場合がある。この場合には、以後、瞳孔の検出ができない状態が継続するおそれがある。ここで、上述したように、パルス電流の時間幅を複数の異なる値に設定して瞳孔検出を行うと、パルス電流の時間幅が適切な値となった場合に、対象者の瞳孔を検出でき、その後、前のフレームでの瞳孔輝度を考慮してパルス電流の時間幅を適切に設定することにより、瞳孔の輝度を一定に保つことがより確実に可能となる。

明瞳孔画像用光源の発光量及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記明瞳孔画像の輝度と前記暗瞳孔画像の輝度とのバランスが取れるように、前記発光量を決定してもよい。この場合、明瞳孔画像と暗瞳孔画像との差分をとることにより、差分画像における対象者の瞳孔以外の部分の輝度がほぼゼロとなるため、瞳孔を正しく検出するための閾値の設定が容易となる。

前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の少なくとも一方は、複数の発光素子を各々含む複数のグループを構成する複数の発光素子を有し、前記グループを構成する複数の発光素子に供給されるパルス電流の時間幅及び電流量の少なくとも一方は、前記グループ毎に互いに異なっていてもよい。この場合、グループ毎にパルス電流の時間幅又は電流量を適宜調整することにより、明瞳孔画像及び暗瞳孔画像の輝度をより適切に調整することができる。

例えば、前記明瞳孔画像用光源が有する複数の発光素子は、前記グループとして第１のグループを構成し、前記暗瞳孔画像用光源が有する複数の発光素子は、前記グループとして第２のグループ及び第３のグループを構成し、前記第１のグループを構成する複数の発光素子は、前記対象者の瞳孔からの光をカメラに導入するために前記カメラに設けられた開口部の周囲に配置され、前記第２のグループを構成する複数の発光素子は、前記第１のグループを構成する複数の発光素子に近接して配置され、前記第３のグループを構成する複数の発光素子は、前記第１のグループを構成する複数の発光素子から離間して配置され、前記パルス電流を前記明瞳孔画像用光源及び前記暗瞳孔画像用光源に供給するステップでは、前記第２のグループを構成する複数の発光素子に供給されるパルス電流の時間幅及び電流量は、対象者の瞳孔輝度によらず一定であってもよい。この場合、例えば対象者が眼鏡をかけていれば、第１グループを構成する発光素子と第２グループを構成する発光素子からの光が反射されて、明瞳孔画像と暗瞳孔画像の両方に眼鏡反射像が生じる。ここで、前記第２のグループを構成する複数の発光素子は、前記第１のグループを構成する複数の発光素子に近接して配置されているため、眼鏡反射像はほぼ同じ位置に生じる。このため、明瞳孔画像と暗瞳孔画像の差分をとると、眼鏡反射像がほぼ消失する。これにより、対象者が眼鏡をかけている場合であっても、瞳孔を正しく検出することができる。

差分画像を計算するステップでは、対象者の瞳孔の周辺の輝度である瞳孔周辺輝度が等しくなるように明瞳孔画像及び暗瞳孔画像の少なくとも一方の画素値を調整した後に明瞳孔画像と暗瞳孔画像との差分を計算することにより差分画像を計算してもよい。この場合、瞳孔の周辺等の瞳孔以外の部分における明瞳孔画像と暗瞳孔画像での輝度が等しくなるため、差分をとることにより瞳孔以外の部分における輝度値がほぼゼロとなる。一方、差分をとることにより、瞳孔における輝度値は大きな値となる。このため、瞳孔を検出するための閾値の決定を容易に行うことができる。

明瞳孔画像用光源及び暗瞳孔画像用光源のいずれにも電流を供給せずに対象者の顔の画像を無照明画像として取得するステップと、明瞳孔画像と無照明画像との差分である差分明瞳孔画像を取得するステップと、暗瞳孔画像と無照明画像との差分である差分暗瞳孔画像を取得するステップと、をさらに備え、差分画像を計算するステップでは、対象者の瞳孔の周辺の輝度である瞳孔周辺輝度が等しくなるように差分明瞳孔画像及び差分暗瞳孔画像の少なくとも一方の画素値を調整した後に差分明瞳孔画像を差分暗瞳孔画像で除算することにより差分画像を計算してもよい。この場合、瞳孔周辺輝度が等しい状態で差分明瞳孔画像が差分暗瞳孔画像で除算されるため、除算結果において、瞳孔の周辺等の瞳孔以外の部分において除算結果がほぼ１となる。一方、除算により、瞳孔における輝度値は大きな値となる。このため、瞳孔を検出するための閾値の決定を容易に行うことができる。

上記の瞳孔検出用光源装置の制御方法を、時分割で複数の瞳孔に対して実行してもよい。この場合、複数の対象者の瞳孔のそれぞれに対して、対象者と光源との距離の変化に対応して瞳孔の輝度を一定に保つことができる。

本発明によれば、対象者と光源との間の距離が変化した場合に、対象者と光源との距離の変化に対応して瞳孔の輝度を一定に保つことができる。

瞳孔検出用光源装置を含む瞳孔検出装置の構成を示す平面図である。 光源の配置の一例を示す図である。 瞳孔検出装置の機能構成を示す図である。 本実施形態の瞳孔検出用光源装置の制御方法による処理を示すフローチャートである。 パルス電流の時間幅を複数の値に設定する場合の処理を示すフローチャートである。 パルス電流の時間幅を複数の値に設定する場合の別の処理を示すフローチャートである。 光源の配置の別の例を示す図である。 二つの瞳孔を結ぶ直線の上における明瞳孔画像及び暗瞳孔画像の輝度分布を示す図である。 二つの瞳孔を結ぶ直線の上における明瞳孔画像、暗瞳孔画像及び無照明画像の輝度分布を示す図である。 二つの瞳孔を結ぶ直線の上における明瞳孔画像及び暗瞳孔画像の輝度分布を示す図である。 パルス電流の時間幅を一定とした場合の瞳孔面積及び輝度の時間変化を示すグラフである。 本実施形態の瞳孔検出用光源の制御方法を適用した場合の瞳孔面積、パルス電流の時間幅、及び輝度の時間変化を示すグラフである。 従来の方法を適用した場合の瞳孔面積、パルス電流の時間幅、及び瞳孔輝度の時間変化を示すグラフである。

以下、図面を参照しつつ本発明に係る瞳孔検出用光源装置の制御方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

（瞳孔検出用光源装置を備えた視線検出装置）
まず、本実施形態の制御方法により制御される瞳孔検出用光源装置を備えた瞳孔検出装置の構成について、図面を参照しながら説明する。本瞳孔検出装置は、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させるポインティングデバイスや、瞳孔と角膜反射を検出してモニター画面上の注視点位置を検出する注視点検出装置、瞳孔と鼻孔を検出して頭部姿勢を検出する頭部姿勢検出装置、瞳孔の動きを監視して運転者の眠気を検知する眠気検知システム等として利用される。

図１は、本発明の好適な一実施形態である瞳孔検出装置１０を示す平面図である。同図に示すように、瞳孔検出装置１０は、対象者Ａの頭部画像を撮影する２台のカメラである左カメラ２Ａ及び右カメラ２Ｂと、左カメラ２Ａの前面に設けられた光源３Ａと、右カメラ２Ｂの前面に設けられた光源３Ｂと、左カメラ２Ａ、右カメラ２Ｂ及び光源３Ａ，３Ｂと接続された制御装置１とを備えている。光源３Ａ及び光源３Ｂは、特許請求の範囲の記載における瞳孔検出用光源装置に相当する。なお、本明細書において、左カメラ２Ａ及び右カメラ２Ｂをまとめてカメラ２と記載し、光源３Ａ及び光源３Ｂをまとめて光源３と記載する場合がある。

瞳孔検出装置１０は、左カメラ２Ａ及び右カメラ２Ｂによって、対象者Ａの瞳孔が明るく映し出された明瞳孔画像と、対象者Ａの瞳孔が暗く映し出された暗瞳孔画像とを取得する。そして、瞳孔検出装置１０は、明瞳孔画像と暗瞳孔画像との差分を計算することにより、対象者Ａの瞳孔以外の部分の画素値を相殺し、対象者Ａの瞳孔の位置を検出する。そして、瞳孔検出装置１０は、左カメラ２Ａ及び右カメラ２Ｂによって検出された対象者Ａの瞳孔の位置に基づいて、対象者Ａの視線を検出する。

ここで、明瞳孔画像及び暗瞳孔画像における瞳孔の明るさとは、相対的な明るさを意味する。すなわち、明瞳孔画像における瞳孔の明るさは、暗瞳孔画像における瞳孔の明るさと比べて、相対的に明るい。なお、明瞳孔画像内における瞳孔と瞳孔以外の部分との明るさについては、特に限定されない。例えば、直射日光下などの周囲の照度が明るい状況にでは、明瞳孔画像において、対象者Ａの顔面の輝度と比較して、対象者Ａの瞳孔の輝度が暗くてもよい。また、例えば、夜間など周囲の照度が暗い状況では、暗瞳孔画像において、対象者Ａの顔面の輝度と比較して、対象者Ａの瞳孔の輝度が明るくてもよい。

また、瞳孔検出装置１０は、明瞳孔画像及び暗瞳孔画像から、対象者Ａの角膜上における光源３Ａ及び光源３Ｂからの光の反射点である、角膜反射を検出してもよい。この場合には、瞳孔検出装置１０は、瞳孔の位置及び角膜反射の位置に基づいて対象者Ａの瞳孔を検出することができる。

左カメラ２Ａ及び右カメラ２Ｂは、対象者Ａの顔画像を生成できる撮像手段であれば特定の種類の物には限定されない。一例として、画像データをリアルタイム性が高く処理できるという点で、左カメラ２Ａ及び右カメラ２Ｂは、ＣＣＤ、ＣＭＯＳ等の撮像素子を内蔵するデジタルカメラであってもよい。本実施形態では、左カメラ２Ａ及び右カメラ２Ｂのフレームレートは、それぞれ６０ｆｐｓである。また、左カメラ２Ａ及び右カメラ２Ｂの露光時間は、それぞれ５００マイクロ秒である。また、光源３Ａと光源３Ｂの相互間での光の影響を防ぐために、左カメラ２Ａと右カメラ２Ｂのカメラの撮影タイミングの同期は、左カメラ２Ａと右カメラ２Ｂの撮影タイミングの差が、露光時間である５００マイクロ秒以下にならないように、ずらして設定される。

図２に、左カメラ２Ａの光軸Ｌ１が延びる方向から左カメラ２Ａを見た場合、及び右カメラ２Ｂの光軸Ｌ２が延びる方向から右カメラ２Ｂを見た場合の光源３の構成を示す。光源３は、対象者Ａに対向するリング状の台座部３０を備えている。台座部３０には、対象者Ａの瞳孔からの光を左カメラ２Ａ又は右カメラ２Ｂに導入するために、円形の開口部４が設けられている。左カメラ２Ａの光軸Ｌ１及び右カメラ２Ｂの光軸Ｌ２は、それぞれ開口部４のほぼ中心を通る。左カメラ２Ａ及び右カメラ２Ｂは、開口部４を通して対象者Ａの画像を取得する。光源３は、第１発光素子３１と、第２発光素子３２と、を備えている。第１発光素子３１は、対象者Ａの顔を明るくするように、対象者Ａの顔に光を照射する明瞳孔画像用光源として機能する。第２発光素子３２は、第１発光素子３１と比して対象者Ａの瞳孔を暗くするように、対象者Ａの顔に光を照射する暗瞳孔画像用光源として機能する。すなわち、第１発光素子３１を発光させた状態で左カメラ２Ａ又は右カメラ２Ｂにより撮影された画像は、明瞳孔画像となる。第２発光素子３２を発光させた状態で左カメラ２Ａ又は右カメラ２Ｂにより撮影された画像は、暗瞳孔画像となる。後述するように、第１発光素子３１の発光量及び発光時間と、第２発光素子３２の発光量及び発光時間は、対象者Ａの顔における瞳孔以外の部分の輝度のバランスが明瞳孔画像と暗瞳孔画像との間でとれるように、適宜調整される。

第１発光素子３１は、例えば、台座部３０において、開口部４の周囲にリング状に等間隔に複数埋め込まれている。第２発光素子３２は、例えば、台座部３０において、第１発光素子３１の周囲にリング状に等間隔に複数埋め込まれている。第１発光素子３１は、第２発光素子３２と比して、開口部４に近い側に位置していることが好ましい。これは、左カメラ２Ａの光軸Ｌ１及び右カメラ２Ｂの光軸Ｌ２に近い角度から対象者Ａに照射された光ほど、対象者Ａの眼球内において反射されて左カメラ２Ａ及び右カメラ２Ｂに届きやすいという性質による。すなわち、左カメラ２Ａの光軸Ｌ１及び右カメラ２Ｂの光軸Ｌ２に近い角度から対象者Ａに光を照射しながら撮影した画像では、対象者Ａの瞳孔が明るく映りやすい。

第１発光素子３１が出力する光の中心波長は、第２発光素子３２が出力する光の中心波長と比較して、短いことが好ましい。一例として、第１発光素子３１は、例えば８５０ｎｍの中心波長を有する光を出力し、第２発光素子３２は、例えば９４０ｎｍの中心波長を有する光を出力する。このように第１発光素子３１及び第２発光素子３２の発光波長を設定する理由は、短波長の光が、長波長の光と比して、対象者Ａの眼球内の組織において吸収されにくいという性質を有しているからである。この性質により、短波長の光を照射しながら撮影された画像での瞳孔の輝度は、長波長の光を照射しながら撮影された画像での瞳孔の輝度と比較して、明るくなる。

なお、左カメラ２Ａ、右カメラ２Ｂ及び光源３Ａ，３Ｂは、対象者Ａが眼鏡をかけていたときの顔画像における反射光の写り込みを防止しやすくする目的で、対象者Ａの顔の高さよりも低い位置（例えば、光軸Ｌ１又は光軸Ｌ２の水平面に対する傾斜角が２０〜３５度となり、光軸Ｌ１又は光軸Ｌ２が対象者Ａの方向を向くような位置）に設けられることが好ましい。

制御装置１は、左カメラ２Ａ及び右カメラ２Ｂによる撮像、及び光源３Ａ，３Ｂによる照明光の照射を制御するとともに、左カメラ２Ａ及び右カメラ２Ｂによって取得された対象者Ａの顔の画像に基づいて、対象者Ａの瞳孔を検出及び追尾する処理を実行する。

制御装置１の機能的構成を図３に示す。制御装置１は、明瞳孔画像取得部１１、暗瞳孔画像取得部１２、差分画像計算部１３、瞳孔輝度取得部１４、時間幅決定部１５、及び電流供給部１６を備えている。

明瞳孔画像取得部１１は、左カメラ２Ａ及び右カメラ２Ｂから明瞳孔画像を取得するとともに、取得した明瞳孔画像を差分画像計算部１３に出力する。暗瞳孔画像取得部１２は、左カメラ２Ａ及び右カメラ２Ｂから暗瞳孔画像を取得するとともに、取得した暗瞳孔画像を差分画像計算部１３に出力する。

差分画像計算部１３は、明瞳孔画像取得部１１から取得した明瞳孔画像と、暗瞳孔画像取得部１２から取得した暗瞳孔画像との差分を計算する。具体的には、差分画像計算部１３は、明瞳孔画像及び暗瞳孔画像の対応する画素間の輝度の差分を計算することにより、差分画像を生成する。差分画像計算部１３は、生成した差分画像を瞳孔輝度取得部１４へ出力する。

瞳孔輝度取得部１４は、差分画像計算部１３から取得した差分画像から、対象者Ａの瞳孔に相当する部分を特定し、この部分の輝度を出力する。瞳孔輝度取得部１４により行われる処理の一例は、次の通りである。まず、瞳孔輝度取得部１４は、差分画像を２値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、瞳孔輝度取得部１４は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。注視点抽出を行う場合には、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、求まる楕円の式から瞳孔中心を算出する。また、瞳孔輝度取得部１４は、角膜反射は、明瞳孔画像の瞳孔の近傍から瞳孔輝度よりも高い閾値で２値化し、輝度を考慮した重心として求める。瞳孔輝度は、楕円フィッティングした結果得られる楕円の面積ではなく、２値化して得られた瞳孔を構成する画素の輝度平均で与える。

時間幅決定部１５は、瞳孔輝度取得部１４から出力された、対象者Ａの瞳孔の輝度に基づいて、第１発光素子３１及び第２発光素子３２に供給されるパルス電流の時間幅を決定する。なお、第１発光素子３１及び第２発光素子３２の発光量は、第１発光素子３１及び第２発光素子３２に供給されるパルス電流の時間幅に比例する。したがって、時間幅決定部１５は、パルス電流の時間幅を用いて、第１発光素子３１及び第２発光素子３２の発光量を決定しているといえる。

時間幅決定部１５がパルス電流の時間幅を決定するにあたって、瞳孔検出装置１０による実際の視線検出動作が開始されるのに先立って、明瞳孔画像と暗瞳孔画像での輝度のバランスを取るために、以下の初期調整が行われる。まず、第１発光素子３１の発光量を最大にして明瞳孔画像を取得し、第２発光素子３２の発光量を最大にして暗瞳孔画像を取得する。これは、特に高照度下では、第１発光素子３１及び第２発光素子３２の発光量が大きいほど、瞳孔検出がしやすくなるためである。なお、画像が明るすぎる場合には、例えば、カメラ２のレンズの絞りを絞る、カメラ２のゲインを下げる、露光時間を短くする、等の方法により、画像の明るさを適正な範囲に調節することができる。しかしながら、高照度下では一般に瞳孔が小さいため、明瞳孔画像と暗瞳孔画像との輝度差も小さい。このときにカメラ２のゲインを下げると、さらに明瞳孔画像と暗瞳孔画像との輝度差が小さくなるため、瞳孔検出には不利になる。露光時間を短くすることについても同様のことがいえるが、露光時間を短くすることに伴ってパルス電流の時間幅も短くすれば、第１発光素子３１及び第２発光素子３２に流す電流を大きくすることができ、単位時間当たりの発光量が増加する。このとき、露光時間内の発光量（単位時間当たりの発光量とパルス電流の時間幅との積）は変化しないとしても、露光時間が短くなった分だけ、第１発光素子３１及び第２発光素子３２による光以外の外部光（例えば太陽光）による影響を小さくできるため、瞳孔検出には有利に働く。レンズの絞りを絞った場合、被写界焦点深度を長くできるため、対象者Ａの頭部がカメラ２に対して前後に動く場合に、焦点の合う範囲を広げることができ、さらに有利である。

次に、取得された明瞳孔画像及び暗瞳孔画像のうち、対象者の顔部分の輝度が高い方を、対象者の顔部分の輝度が低い方の輝度に合わせるように、第１発光素子３１又は第２発光素子のいずれかの発光量を調節する。発光量の調節は、例えば、第１発光素子３１又は第２発光素子３２へ供給されるパルス電流の時間幅を調節することにより行われる。なお、この場合には、パルス電流の大きさは一定に維持される。第１発光素子３１及び第２発光素子に供給されるパルス電流の立ち上がり特性及び立ち下がり特性が良好であれば、パルス電流の時間幅と画像の明るさ（輝度値）との間には、線形関係が成立する。なお、第１発光素子３１及び第２発光素子３２の発光は、左カメラ２Ａ及び右カメラ２Ｂの露光の開始とともに開始するものとする。このようにして、明瞳孔画像と暗瞳孔画像の、対象者Ａの顔部分における輝度のバランスをとることで、明瞳孔画像と暗瞳孔画像との差分画像において瞳孔以外の部分を相殺させ、当該部分の輝度レベルを０にすることができる。また、このように明瞳孔画像と暗瞳孔画像の輝度のバランスが取れたときの、第１発光素子３１と第２発光素子３２との発光量の比を、輝度比ａとする。

この輝度比ａを用いると、第１発光素子３１に供給されるパルス電流の時間幅Ｔ_Ｂと、第２発光素子３２に供給されるパルス電流の時間幅Ｔ_Ｄとの関係は、次の式（１）により表される。
Ｔ_Ｄ＝ａ・Ｔ_Ｂ ・・・（１）

時間幅決定部１５によるパルス電流の時間幅の決定の仕方の一例を次に示す。最新の明瞳孔画像と最新の暗瞳孔画像との差分画像から得られる瞳孔輝度レベルをＳ^ｉとし、第１発光素子３１に供給した最新のパルス電流の時間幅をＴ_Ｂ ^ｉとし、次の差分画像で得られる瞳孔輝度の目標値をＳ^ｉ＋１とし、第１発光素子３１に供給する次のパルス電流の時間幅をＴ_Ｂ ^ｉ＋１として、第１発光素子３１に与えるパルス電流の時間幅を次の式（２）で与える。
Ｔ_Ｂ ^ｉ＋１＝Ｔ_Ｂ ^ｉ（Ｓ^ｉ＋１／Ｓ^ｉ） ・・・（２）

そして、第２発光素子３２に与えるパルス電流の時間幅を次の式（３）で与える。
Ｔ_Ｄ ^ｉ＋１＝ａ・Ｔ_Ｂ ^ｉ＋１ ・・・（３）

なお、上記のように差分画像から瞳孔を検出する場合、理想的には明瞳孔画像の輝度と暗瞳孔画像の輝度とのバランスが取れていることが好ましい。すなわち、瞳孔部以外において、明瞳孔画像と暗瞳孔画像の輝度とが等しいことが好ましい。なぜなら、差分画像において、瞳孔部以外の輝度値が完全にゼロになれば、瞳孔を正しく検出するための閾値の指定が容易となるからである。しかしながら、明瞳孔画像の輝度と暗瞳孔画像の輝度とのバランスが必ずしも取れていなくても、明瞳孔画像又は暗瞳孔画像から瞳孔を直接検出するよりは、差分画像から瞳孔を検出する方が、閾値の指定は容易である。このように明瞳孔画像の輝度と暗瞳孔画像の輝度とのバランスが取れていなくても、式（１）〜（３）を用いてパルス電流の時間幅を制御してもよい。なぜなら、式（１）〜（３）は全て線形式であるため、明瞳孔画像と暗瞳孔画像における瞳孔以外の部分の輝度差と瞳孔部の輝度差との間には比例関係が成立するからである。

また、対象者の両眼の瞳孔輝度レベルが異なる場合には、瞳孔輝度レベルとして、対象者の両眼のうち瞳孔輝度レベルが小さい方の目の瞳孔輝度レベルを用いてもよい。

電流供給部１６は、時間幅決定部１５により決定された時間幅のパルス電流を、左カメラ２Ａ又は右カメラ２Ｂの露光のタイミングに同期された所定のタイミングで、第１発光素子３１及び第２発光素子３２に供給する。

なお、上述した制御装置１の各機能は、ＣＰＵ、ＲＡＭ等のハードウェア上に所定のソフトウェアを読み込ませることにより、ＣＰＵの制御のもとで、入力デバイス及び出力デバイスを動作させるとともにＲＡＭにおけるデータの読み出し及び書き込みを行うことにより実現される。

（瞳孔検出用光源装置の制御方法）
次に、図４を参照して、光源３Ａ，３Ｂの制御方法について説明する。まず、明瞳孔画像取得部１１が、カメラ２から明瞳孔画像を取得する（ステップＳ１）。次に、暗瞳孔画像取得部１２が、カメラ２から暗瞳孔画像を取得する（ステップＳ２）。次に、差分画像計算部１３が、明瞳孔画像と暗瞳孔画像との画素値の差分を計算することにより、差分画像を計算する（ステップＳ３）。次に、瞳孔輝度取得部１４が、差分画像から対象者Ａの瞳孔輝度を取得する（ステップＳ４）。次に、時間幅決定部１５が、対象者Ａの瞳孔輝度に基づいて、第１発光素子３１及び第２発光素子３２に供給されるパルス電流の時間幅を決定する（ステップＳ５）。最後に、電流供給部１６が、時間幅決定部１５により決定された時間幅のパルス電流を、第１発光素子３１及び第２発光素子３２に供給する（ステップＳ６）。

このステップＳ１〜Ｓ６の一連の処理は、左カメラ２Ａ及び右カメラ２Ｂが１フレームの画像を撮影するごとに、繰り返し行われてもよい。すなわち、ステップＳ５の処理が、差分画像の１フレーム毎に繰り返し実行されてもよい。また、瞳孔輝度の時間変化の度合いが小さい場合には、全てのフレームの画像についてステップＳ１〜Ｓ６の一連の処理を行わないようにしてもよい。例えば、所定数のフレームの画像を撮影するごとに１回だけステップＳ５の処理を行うようにして、他のフレームの画像についてはステップＳ５の処理を省略し、前回撮影されたフレームに対して決定されたパルス電流の時間幅をそのまま用いるようにしてもよい。

なお、パルス電流の時間幅が過大又は過小な場合には、瞳孔の検出ができなくなる場合がある。例えば、対象者Ａが閉眼した場合には、瞳孔の面積はゼロとみなすことができる。この場合、小さい面積の瞳孔を検出するために、光量を大きくしようとして、パルス電流の時間幅が最大に設定される。このとき、対象者Ａが徐々に目を開く場合、又はパルス電流の時間幅の設定が十分な頻度で行われている場合には、対象者Ａの瞳孔の面積が徐々に増えるため、それに応じてパルス電流の時間幅も徐々に減少し、適正な値に設定される。しかしながら、対象者Ａが急に眼を開く場合であって、かつパルス電流の時間幅の設定の頻度が低い場合には、パルス電流の時間幅が最大に設定されたまま、対象者Ａの瞳孔の面積が最大となる。このような場合には、第１発光素子３１及び第２発光素子３２の発光量が過大となり、瞳孔検出がうまく行えない場合がある。瞳孔検出がうまく行えない場合には、第１発光素子３１及び第２発光素子３２の発光量は最大のまま推移し、その結果、瞳孔検出がうまく行えない状態が長時間継続するおそれがある。

そこで、対象者の瞳孔の検出ができなくなった場合にも、パルス電流の時間幅を適正な値に設定するために、対象者の瞳孔を検出できなかった場合に、パルス電流の時間幅を複数の異なる値に順次設定して瞳孔検出を行い、対象者の瞳孔を検出できた場合のパルス電流の時間幅に基づいて、その後のパルス電流の時間幅を決定するようにしてもよい。

そのような処理について、図５を参照して説明する。まず、第１発光素子３１及び第２発光素子３２に供給されるパルス電流の時間幅を所定の値として明瞳孔画像及び暗瞳孔画像を撮影し、これらの明瞳孔画像及び暗瞳孔画像に基づいて、瞳孔を検出する（ステップＳ１１）。次に、ステップＳ１１において瞳孔の検出に成功したか否かを判定する（ステップＳ１２）。瞳孔を検出できた場合は（ステップＳ１２：ＹＥＳ）、そのまま処理を終了する。瞳孔を検出できなかった場合は（ステップＳ１２：ＮＯ）、パルス電流の時間幅を再設定する（ステップＳ１３）。その後、再びステップＳ１１に戻り、再設定された時間幅のパルス電流を第１発光素子３１及び第２発光素子３２に供給して、瞳孔を検出する。

ここで、ステップＳ１３において設定されるパルス電流の時間幅としては、複数の異なる値を予め定めておく。パルス電流の時間幅の数は、２通りでもよく、３通り以上の値でもよい。パルス電流の時間幅の数を２通りとする場合、パルス電流の時間幅の１つは、例えば、設定可能な最大の時間幅とする。この時間幅は、通常は、高照度下で、対象者Ａの瞳孔が最小となった場合のために用いられる。パルス電流の時間幅のもう１つは、低照度下（例えば暗闇の中）で対象者Ａの瞳孔が最大となった場合でも瞳孔輝度が飽和しない程度の小さな値に設定する。

さらに、対象者の頭と左カメラ２Ａ及び右カメラ２Ｂとの間の距離が変動する場合には、２通りのパルス電流の時間幅のいずれでも、対象者の瞳孔を検出できない場合も考えられる。このような場合には、ステップＳ１３において、３通り以上のパルス電流の時間幅の数を設定するようにしてもよい。なお、設定されるパルス電流の時間幅の数が少なければ、瞳孔検出に失敗してから瞳孔検出に成功するまでの時間を確率的に短くすることができる。

実際には、パルス電流の時間幅を変更してから、得られる瞳孔輝度が変化するまでには、遅延が起こる。遅延の原因としては、露光時間、画像の取り込みに要する時間（例えばカメラ２から制御装置１内のメモリまでの転送時間）、画像処理に要する時間等が挙げられる。この遅延のため、第１の時間幅を与えてから、その結果、瞳孔検出ができないと確認され、続いて第２の時間幅を与え、その結果、瞳孔が検出されるまでの間に、長時間を要する。すなわち、画像上に瞳孔が存在するにもかかわらず瞳孔が検出できない状態が長時間続くこととなる。例えば、画像の取り込みが開始されてから瞳孔輝度が検出されるまでに６フレームの遅延があるとすると、２種類の時間幅を交互に与える場合、最長で、６フレームの２倍の１２フレームの間、瞳孔が検出できないこととなる。３種類の時間幅を順次与える場合は、最長、６フレームの３倍の１８フレームの間、瞳孔が検出できないことになる。このように瞳孔が検出できない状態が長時間続くことは好ましくない。

そこで、図６に示すように処理を行ってもよい。まず、瞳孔を検出する（ステップＳ２１）。次に、ステップＳ２１において瞳孔の検出に成功したか否かを判定する（ステップＳ２２）。瞳孔を検出することができた場合は（ステップＳ２２：ＹＥＳ）、そのまま処理を終了する。これらのステップＳ２１及びＳ２２は、図５に示したステップＳ１１及びＳ１２と同様である。

次に、ステップＳ２２において、瞳孔を検出することができなかった場合（ステップＳ２２：ＮＯ）、パルス電流の時間幅を複数の異なる値に設定して繰り返して瞳孔検出を行う（ステップＳ２３）。続いて、瞳孔を検出できたか否かを判定する（ステップＳ２４）。瞳孔を検出できた場合には（ステップＳ２４：ＹＥＳ）、このときの瞳孔輝度を計測し、計測された瞳孔輝度に対する時間幅（すなわち、その瞳孔輝度を得るためのパルス電流の時間幅）を基準にし、次のフレームからは、式（１）〜（３）に基づいてパルス電流の時間幅を決定する。このときのパルス電流の時間幅に基づいてパルス電流の時間幅を決定する（ステップＳ２５）。瞳孔を検出できなかった場合には（ステップＳ２４：ＮＯ）、再びステップＳ２３に戻る。

なお、ステップＳ２４において瞳孔を検出することができた場合でも（ステップＳ２４：ＹＥＳ）、さらに次のフレームでは、不適切なパルス電流の時間幅が与えられて瞳孔を検出できない場合がある。例えば、２種類の時間幅を２フレーム毎に交互に与えたとすると、一方の時間幅を与えた時には瞳孔を検出することができても、次のもう一方の時間幅を与えた時には瞳孔を検出することができない場合がある。しかしながら、この場合でも、先の２フレームで与えた時間幅で、次に与える最適な時間幅を決定することができる。そして、後の２フレームでは瞳孔を検出することができなくても、さらに次の２フレームでは瞳孔を検出することができることが一般的である。

そこで、瞳孔を検出することができない場合でも、処理を中止することなく、所定のフレーム数の間は、最後（最近）に検出された瞳孔輝度に応じたパルス電流の時間幅を与える。例えば、２種類の時間幅を交互に与える場合は、２フレームまで（明瞳孔画像と暗瞳孔画像の１セット分の時間、３３．３ミリ秒）は、瞳孔を検出することができない１セットを、単に一時的に瞳孔を検出することができなかったとして無視する。また、３種類の時間幅を順次与える場合は、４フレーム（明瞳孔画像と暗瞳孔画像の２セット分の時間、６６．６ミリ秒）まで瞳孔を検出することができないことがあっても、処理を中止せずに、最後に与えた時間幅をそのまま与え続ける。

ただし、瞳孔を検出することのできないフレームの数が所定のフレーム数（例えば、６フレーム分（１００ミリ秒））を超えた場合は、対象者Ａが閉眼していたり、カメラ２の撮影範囲（すなわち画面内）から対象者Ａの顔が外れていたりして瞳孔を検出することができないと推定して、再度、瞳孔を検出することが最後にできたときに決定した時間幅をリセットして、複数の値の異なる時間幅を順次与えていく。そして、再度、初めて瞳孔が検出された場合の瞳孔輝度に応じて、時間幅を決定する。

なお、カメラ２として高速度カメラ（例えば１秒間に２０００フレーム以上の画像を撮影できるカメラ）を用いた場合には、次のようにして瞳孔を検出することができる。まず、明瞳孔画像と暗瞳孔画像に加えて、光源３を点灯させない状態で無照明画像を取得する。次いで、明瞳孔画像から無照明画像を差分して差分明瞳孔画像を得て、暗瞳孔画像から無照明画像を差分して差分暗瞳孔画像を得る。差分明瞳孔画像を差分暗瞳孔画像で除算すると、瞳孔部以外の顔の部分はほぼ一定値で、瞳孔部だけが、瞳孔部以外の顔の部分よりも大きな値を示す。したがって、瞳孔部であるか否かを判定するための閾値を一定の値として瞳孔を検出することができる。

前述した、明瞳孔画像から暗瞳孔画像を差分する方法では、理想的には、両画像の瞳孔部以外の顔の部分で等しい輝度になるように式（１）のａの値を求める必要がある。これに対し、明瞳孔画像と暗瞳孔画像に加えて無照明画像を得る方法では、明瞳孔画像及び暗瞳孔画像から無照明画像が差分されているため、除算によっても瞳孔部を瞳孔部以外と区別できる。しかも、除算を用いたことにより、瞳孔部以外の顔の部分における除算結果はほぼ一定値となる。このため、差分明瞳孔画像と差分暗瞳孔画像、さらにはこれらの元である明瞳孔画像と暗瞳孔画像との輝度のバランスの許容範囲（即ち式（１）のａの値の範囲）は広くなるという利点を有する。

また、一般に、光源３の光量が強いほど、外乱光に強くなる。このため、特に高照度下などで瞳孔が小さい場合には、最大光量が高いほど良い光源であるといえる。しかし、特に、高光量の光源を設けるには大きなスペースが必要であるため、光源３の光量を高めることには限界がある。ここで、明瞳孔画像用光源である第１発光素子３１と暗瞳孔画像用である第２発光素子３２のうちいずれか一方でも光量が強ければ、瞳孔検出には有利に働く。この場合、単に明瞳孔画像から暗瞳孔画像を差分して瞳孔検出をする場合は、画像差分の有効性を十分に引き出すためには、明瞳孔画像の輝度と暗瞳孔画像の輝度とのバランスをある程度取る必要がある。このため、必然的に、第１発光素子３１と第２発光素子３２のうち光量の大きい側の光量を、第１発光素子３１と第２発光素子３２のうち光量の小さい側に合わせて低下させる必要がある。このため、光源の最大光量を有効に使用できない傾向がある。これに対し、差分明瞳孔画像を差分暗瞳孔画像により除算する場合には、差分明瞳孔画像と差分暗瞳孔画像との間の輝度のバランスの許容範囲が広いため、第１発光素子３１及び第２発光素子３２をそれぞれ最大光量で発光させることができる。しかしながら、差分明瞳孔画像と差分暗瞳孔画像との間のバランスを取る必要がある場合には、無照明画像を利用する場合であっても、無照明画像を利用しない場合と同様に、式（１）〜（３）を利用してパルス電流の時間幅を制御すればよい。

上述した明瞳孔画像用光源及び暗瞳孔画像用光源では、いずれも、明瞳孔画像用光源又は暗瞳孔画像用光源が有する多数の発光素子（例えばＬＥＤ）は、１つのグループを構成している。しかしながら、明瞳孔画像用光源及び暗瞳孔画像用光源の少なくとも一方が有する複数の発光素子が、発光素子の複数のグループを構成していてもよい。ここで、グループとは、制御装置１により、点灯及び消灯のタイミング、供給される電流量が同様に制御される複数の発光素子からなる群を意味する。グループに含まれる複数の発光素子に供給されるパルス電流の時間幅及び電流量の少なくとも一方は、グループ毎に異なっていてもよい。この場合でも、明瞳孔画像用光源の全体、及び暗瞳孔画像用光源の全体による瞳孔輝度を利用して、次に発光素子に供給されるパルス電流の時間幅を式（２）により決定する点は、明瞳孔画像用光源及び暗瞳孔画像光源がそれぞれ１つのグループの発光素子により構成される場合と同様である。

明瞳孔画像用光源及び暗瞳孔画像用光源の少なくとも一方が有する複数の発光素子が複数のグループを構成している一例として、国際特許出願番号ＰＣＴ／ＪＰ２０１４／０６２１８３に記載の眼鏡反射対応光源装置がある。眼鏡反射対応光源装置は、対象者が眼鏡をかけている場合に、眼鏡によって反射された光によって生じる眼鏡反射像が対象者の瞳孔として誤検出されることを抑制できる光源装置である。図７に、カメラの光軸が延びる方向から見た場合の、眼鏡反射対応光源装置における光源の配置の一例を示す。

眼鏡反射対応光源装置としての光源５は、明瞳孔画像用光源と暗瞳孔画像用光源とを備える。明瞳孔画像用光源は、複数の発光素子５１を有する。暗瞳孔画像用光源は、複数の発光素子５２，５３を有する。発光素子５１，５２，５３は、例えば、開口部５４を有するケーシング５５に埋め込まれて、カメラの前面に配置されている。

複数の発光素子５１は、第１のグループを構成する。複数の発光素子５２は、第２のグループを構成する。複数の発光素子５３は、第３のグループを構成する。複数の発光素子５１は、カメラに設けられた開口部５４の周囲に、例えば等間隔に並ぶように配置されている。

複数の発光素子５２は、複数の発光素子５１に近接して配置されている。すなわち、発光素子５２からの光の反射による像は、発光素子５１からの光の反射による像とほぼ同じ位置に生じる。一例として、複数の発光素子５２は、開口部５４及び複数の発光素子５１を囲むように配置されている。

複数の発光素子５３は、複数の発光素子５１から離間して配置されている。一例として、複数の発光素子５３は、開口部５４を挟んで対称な位置に配置されている。

発光素子５１，５２，５３は、次の通りに点灯するように制御される。明瞳孔画像の取得時には、発光素子５１が点灯する。暗瞳孔画像の取得時には、発光素子５２及び発光素子５３が点灯する。

対象者Ａが眼鏡をかけている場合、明瞳孔画像の取得時には、発光素子５１による眼鏡反射像が生じる。一般的には眼鏡反射像の輝度は高い。そのため、明瞳孔画像における眼鏡反射像の輝度は飽和する。

暗瞳孔画像の取得時には、発光素子５２による眼鏡反射像が生じる。発光素子５２は発光素子５１に近接して配置されているため、暗瞳孔画像における眼鏡反射像は、明瞳孔画像における眼鏡反射像とほぼ同じ位置に生じる。暗瞳孔画像における眼鏡反射像の輝度もまた飽和する。

ここで、明瞳孔画像と暗瞳孔画像との差分をとると、眼鏡反射像は相殺される。例えば、輝度値が０〜２５５の２５６段階である場合には、明瞳孔画像及び暗瞳孔画像における眼鏡反射像の輝度値は、いずれも最大値２５５であるため、これらを差分すると、０になる。差分明瞳孔画像を差分暗瞳孔画像で割り算する場合も同様のことが成り立つ。差分明瞳孔画像及び差分暗瞳孔画像は、それぞれ明瞳孔画像及び暗瞳孔画像から、同じ無照明画像を差分して得られる。したがって、眼鏡反射像の輝度が明瞳孔画像及び暗瞳孔画像の双方において飽和していれば、差分明瞳孔画像と差分暗瞳孔画像では、眼鏡反射像は同一の輝度値を示す。このため、差分明瞳孔画像を差分暗瞳孔画像で除算すると、眼鏡反射像の部分における除算結果は１となる。一方、瞳孔部における除算結果は１より大きい。したがって、眼鏡反射が瞳孔検出の障害にならない。

なお、発光素子５２の発光量が発光素子５１，５３の発光量と比較して非常に小さい場合でも、眼鏡反射像の部分における輝度を飽和させることができる。したがって、発光素子５２の発光量は、常時、眼鏡反射像の部分における輝度を飽和させるだけの弱い発光としてよい。すなわち、発光素子５２に供給されるパルス電流の時間幅及び電流量は一定であってもよい。この場合、発光素子５１及び発光素子５３のみの発光量を互いに比例するように調整すれば足りる。発光素子５２の発光量は、発光素子５１及び発光素子５３の発光量と比較して非常に弱い。このため、発光素子５２は、瞳孔輝度を一定化するにあたって、大きな誤差の要因にはならない。

（瞳孔周辺輝度を用いた輝度比ａの調節）
明瞳孔画像と暗瞳孔画像との差分画像を計算するにあたっては、単に明瞳孔画像と暗瞳孔画像との間で対応する各画素の差分値を計算することに代えて、明瞳孔画像と暗瞳孔画像とで瞳孔周辺輝度が等しくなるように明瞳孔画像及び暗瞳孔画像の少なくとも一方の画素値を調整し、その後に明瞳孔画像と暗瞳孔画像との差分を計算してもよい。以下、そのような方法及びその利点について説明する。

眼鏡反射対応光源装置では、対象者から見た場合の発光素子５３とカメラの開口部５４との間の角度が大きくなるように、発光素子５３が配置される場合がある。例えば、発光素子５３を開口部５４に関して左右対称に離間させて配置することは、各発光素子５３によって生じる角膜反射を区別するために好ましい。この場合、発光素子５１には指向性があるため、発光素子５１，５２のみを備える単純な２重リングの光源装置と比較して、対象者との光源との距離の変化に伴い、発光素子５１〜５３の発光量と発光素子５３によるカメラ画像に写る顔の明るさとの間に線形関係が得られにくくなる。高速度カメラを使用した場合は、明瞳孔画像と暗瞳孔画像との間で対象者の顔における輝度のバランスが取れていなくても、あまり問題はない。しかしながら、前述したように、通常の速度の（例えばフレームレートが６０ｆｐｓである）カメラで明瞳孔画像と暗瞳孔画像との単なる差分により瞳孔を検出する場合には、明瞳孔画像と暗瞳孔画像との間の輝度のバランスが取れていることが望ましい。明瞳孔画像と暗瞳孔画像との間の輝度のバランスを取るためには、式（１）の輝度比ａを自動的に調整する必要がある。次にその方法について記載する。

明瞳孔の輝度と暗瞳孔の輝度とを計測するには、まず、明瞳孔画像と暗瞳孔画像との差分画像において、２値化等により、対象者の瞳孔に対応する領域である瞳孔領域（画素）を決定し、明瞳孔画像及び暗瞳孔画像における瞳孔領域（画素）の輝度を求める。通常は、瞳孔を含む小領域にウィンドウを与えて、角膜反射に基づき位置を補正しながら明瞳孔画像と暗瞳孔画像との差分を求める。これにより、対象者の頭部移動があっても、瞳孔を追尾しながら、瞳孔中心を正確に検出できる（特開２００８−０２９７０２号公報を参照）。したがって、ウィンドウの中の領域において瞳孔領域以外の部分（虹彩の部分を含む）を含む輝度ヒストグラムを作成し、この輝度ヒストグラムに現れる瞳孔部と瞳孔部以外のピークから、瞳孔部と瞳孔部以外の部分の輝度を算出することができる。なお、ウィンドウは狭い範囲であるので、顔全体を対象とする輝度ヒストグラムにおけるピークと比較して、ウィンドウの中を対象とする輝度ヒストグラムにおけるピークは鋭くなる。このことは、例えば、文献「Automated Windowing Processing for Pupil Detection (Y.Ebisawa, K.Tokunou, S.Tsukahara) Proceedings of the 23th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 4 pages, Istanbul, Turkey 25-28 Oct. 2001.」に記載されている。このようにして求めた、ウィンドウの中の領域における瞳孔部以外の部分の輝度を、顔の明るさに代わりに利用する。この方法では、顔全体の輝度よりも瞳孔に近い位置において瞳孔に近い位置での輝度を決定するので、明瞳孔画像の輝度と暗瞳孔画像の輝度との正確なバランス調整を行うことが好ましい。

以下、明瞳孔画像と暗瞳孔画像の輝度のバランスの調整方法について説明する。図８の（Ａ）は、互いに差分される明瞳孔画像と暗瞳孔画像における、一人の対象者の２個の瞳孔を通る直線状の輝度分布を表す。曲線Ｃ_Ｂは、明瞳孔画像の輝度を示す。曲線Ｃ_Ｄは、暗瞳孔画像の輝度を示す。瞳孔１について、明瞳孔画像の瞳孔輝度をＰ_Ｂ、暗瞳孔画像の瞳孔輝度をＰ_Ｄとし、明瞳孔画像の瞳孔周辺輝度をＢ_Ｂ、暗瞳孔画像の瞳孔周辺輝度をＢ_Ｄとする。なお、瞳孔周辺輝度とは、上述のウィンドウ内の瞳孔部以外の部分の輝度を意味する。ここで、明瞳孔画像と暗瞳孔画像との光量のバランスが不適切であり（例えば暗瞳孔画像の方が暗い）、Ｂ_Ｂ＝ｂＢ_Ｄ（ｂ＞０）の関係があるとする。Ｂ_ＢとＢ_Ｄとを等しくするには、例えば、暗瞳孔画像用光源の発光パルス幅Ｔ_Ｄをｂ倍するか、明瞳孔画像用光源の発光パルス幅Ｔ_Ｂを１／ｂ倍する補正操作をすればよい。以下、暗瞳孔画像用光源の発光パルス幅Ｔ_Ｄをｂ倍する場合について説明する。上記の補正操作により、図８の（Ｂ）のように、瞳孔以外の全体の輝度がほぼ一致する。ただし、このとき、暗瞳孔画像における瞳孔輝度Ｐ_Ｄもｂ倍され、補正後の暗瞳孔の輝度Ｐ_Ｄ’は、Ｐ_Ｄ’＝ｂＰ_Ｄで表される。したがって、補正操作後の瞳孔部の輝度差Ｐ_Ｓ’は、次式（１’）で表される。

目標とする瞳孔部の輝度差がＰ_Ｓ ^ｉ＋１が、Ｐ_Ｓ’に対してｃ倍であるとすると（Ｐ_Ｓ ^ｉ＋１＝ｃＰ_Ｓ’）、以上より、目標とする明瞳孔画像用光源と暗瞳孔画像用光源との発光時間は、それぞれ次の式（２’）、式（３’）で表される値とすればよい。

ただし、実際には、一般に、光源以外の周囲光の成分が明瞳孔画像及び暗瞳孔画像に含まれている。すなわち、いわば、明瞳孔画像及び暗瞳孔画像にはバイアスが含まれている。式（１’）〜（３’）は、この周囲光を無視している。そのため、次のフレームにおいて、明瞳孔画像及び暗瞳孔画像の輝度は必ずしも目標の輝度には達せず、遅延を伴う。しかしながら、その間、対象者に変化がなければ、明瞳孔画像及び暗瞳孔画像の輝度は、数フレーム後には収束する形で目標値にほぼ達する。

（無照明画像を用いた輝度比ａの調節）
さらに、明瞳孔画像と暗瞳孔画像との差分画像を計算するにあたって、単に明瞳孔画像と暗瞳孔画像との間で対応する各画素の差分値を計算することに代えて、差分明瞳孔画像と差分暗瞳孔画像との間で瞳孔周辺輝度が等しくなるように差分明瞳孔画像及び差分暗瞳孔画像の少なくとも一方の画素値を計算し、その後に明瞳孔画像と暗瞳孔画像との差分を計算してもよい。なお、差分明瞳孔画像は、明瞳孔画像と無照明画像との差分により得られる画像である。差分暗瞳孔画像は、暗瞳孔画像と無照明画像との差分により得られる画像である。以下、そのような方法及びその利点について説明する。

先に、無照明画像を得る場合には、明瞳孔画像と暗瞳孔画像とのバランスを取る必要はあまりないと述べた。なぜなら、前述したように、明瞳孔画像及び暗瞳孔画像から無照明画像を差分することにより周囲光成分を除外して差分明瞳孔画像及び差分暗瞳孔画像を得て、その後、差分明瞳孔画像を差分暗瞳孔画像で除算して除算画像を得るために、除算画像における瞳孔部以外の輝度がほぼ一定値になるからである。しかしながら、除算結果の画像における瞳孔部以外の輝度の値は、差分明瞳孔画像と差分暗瞳孔画像の瞳孔部以外の輝度比によって変化する。瞳孔部を厳密に検出するには、閾値を厳密に決定する必要がある。閾値を厳密に決定する方法の１つとして、差分明瞳孔画像と差分暗瞳孔画像とにおいて、ｐ−ｔｉｌｅ法等により輝度の高い部分を選択し、両画像の当該部分をサンプリングして輝度比を求め、求められた輝度比よりもわずかに高い閾値を設定することが好適である。厳密に閾値を決定することが好ましい理由を次に述べる。

図９は、眼鏡反射が表れている場合の、図８の（Ａ）と同様の輝度分布を示す。図９には、更に無照明画像の輝度分布も加えられている。曲線Ｃ_Ｎは、無照明画像の輝度分布を示す。眼鏡反射部は、明瞳孔画像と暗瞳孔画像において共に輝度が飽和している。図９の例では、暗瞳孔画像の方が明瞳孔画像よりも全体的に輝度が低いが、眼鏡反射により輝度が飽和している部分のみにおいては、輝度が等しい。よって、眼鏡反射部については、差分明瞳孔画像での画素値と差分暗瞳孔画像での画素値は等しくなる。したがって、除算画像においては、瞳孔部の輝度は１よりもずっと大きく、顔の部分の輝度は１よりやや大きくなるのに対して、眼鏡反射部の輝度はちょうど１になる。この場合、閾値を例えば２や３等、顔の部分より大きな値に設定すればよい。

また、図９の例とは逆に、顔領域において暗瞳孔画像の方が明瞳孔画像より明るい場合には、除算画像において、顔の部分の輝度は１よりやや小さくなり、眼鏡反射部の輝度は１となり、瞳孔部の輝度は通常１を超える。したがって、画素値が１より大きい部分を瞳孔とすればよい。しかしながら、顔領域において暗瞳孔画像が明瞳孔画像より明るい場合において、瞳孔が非常に小さくなったときに（即ち、明瞳孔画像と暗瞳孔画像とのバランスが取れている場合の差分画像における瞳孔輝度が非常に小さいときに）、図１０に示すように、瞳孔部分において、暗瞳孔画像の方が明瞳孔画像より明るくなることがある。このような場合には、除算結果の値は、顔の部分でも瞳孔部分でも１より小さくなり、眼鏡反射部では１となる。そのため、瞳孔部のみを検出することが難しくなる。したがって、瞳孔部において暗瞳孔画像の方が明瞳孔画像より明るくなることがないように、瞳孔を明瞳孔画像と暗瞳孔画像とのバランスを取ることが好ましい。基本的には、明瞳孔画像と暗瞳孔画像とにおける瞳孔以外の部分の輝度を等しくすることにより、閾値を設定することが最も容易となる。このためには、差分明瞳孔画像及び差分暗瞳孔画像を明瞳孔画像及び暗瞳孔画像に置き換えて、式（１）〜（３）及び式（１’）〜（３’）を適用すればよい。

（対象者が複数人である場合）
複数の対象者が存在する場合に、上述した瞳孔検出用光源装置の制御方法を、時分割方式によって、複数の瞳孔に対して、対象者毎に実行するようにしてもよい。前述したように、一般に、差分画像における瞳孔輝度は、左右の眼で異なる。また、複数の対象者が画像中に存在し、２つを超える瞳孔を同時に検出する場合には、瞳孔輝度が対象者間で大きく異なる場合がある。このような場合でも、全ての瞳孔輝度を一定化する方法について次の方法が考えられる。この方法は、特に、高速度カメラを使用した場合に有効である。

例えば、対象者が２名おり、各瞳孔を追尾しながら、明瞳孔画像と暗瞳孔画像との単なる差分法により瞳孔を検出する場合を考える。まず、最初の２フレーム（明瞳孔画像と暗瞳孔画像）では、前回の対象者１の右眼瞳孔から得られた情報に基づいて、対象者１の右眼瞳孔の輝度を一定化するように光源の光量を調整する。次の２フレームでは、対象者１の左眼瞳孔の輝度を一定化するように光源の光量を調整する。次の２フレームでは、対象者２の右眼瞳孔の輝度を一定化するように光源の光量を調整する。最後に、次の２フレームでは、対象者２の左眼瞳孔の輝度を一定化するように光源の光量を調整する。以上のように、対象者１の右眼瞳孔、対象者１の左眼瞳孔、対象者２の右眼瞳孔、対象者２の左眼瞳孔のそれぞれの輝度を一定化する調整を繰り返す。

別の方法としては、まず、対象者１の右眼瞳孔、対象者１の左眼瞳孔、対象者２の右眼瞳孔、対象者２の左眼瞳孔の順に光源の光量を調整しながら、全て明瞳孔画像を得る。続けて、同じ順に光源の光量を調整しながら、暗瞳孔画像を得る。このようにして、明瞳孔画像と暗瞳孔画像の取得を繰り返すようにしてもよい。

以上により、差分画像中に映っている各瞳孔について、差分画像における瞳孔の輝度を一定化することができる。ただし、このとき、調整においては、前回一定化を図ったときの当該瞳孔画像の輝度情報から光源の光量を決定する必要はなく、当該瞳孔が検出できた、可能な限り最新の画像中の当該瞳孔の輝度情報に基づいて、光源の光量を決定してもよい。以上のように、いわゆるタイムスライス法により、瞳孔輝度を一定化した画像を得ることができる。なお、ここで述べたのは、１台のカメラについてである。２台以上のカメラを使用する場合は、複数のカメラの間で同期をずらして同様の手順を実行することにより、光源の光量を一定化できる。

なお、上述したように、上記の方法は、高速度カメラを使用した場合に特に有効である。これは、次の理由による。存在する瞳孔の数が多く、且つ光源の光量が、注目対象の瞳孔を検出できない程度の大きさである場合に、瞳孔が検出できないために、通常の速度の（例えばフレームレートが６０ｆｐｓ程度の）カメラでは、当該瞳孔が一度検出できてから次に検出できるまでの時間が長くなる。このため、瞳孔の移動の予測がはずれて、角膜反射に基づく差分位置補正もうまくできず、追尾が難しくなる。高速度カメラであれば、このような問題は生じにくい。

（実験例）
次に、上述した光源の制御方法を用いて対象者の瞳孔を検出した実験例とその結果について説明する。この実験は、左カメラ２Ａ及び右カメラ２Ｂを、パーソナルコンピュータのディスプレイ装置の近傍に配置し、対象者としての被験者をディスプレイ装置の前に座らせて行われた。本実験において、被験者は、その頭部をディスプレイ装置に対して前後方向に３段階にステップ状に移動させた。そして、被験者の頭部の移動に合わせて、被験者の頭部の位置、差分画像上における被験者の瞳孔の面積、第１発光素子３１及び第２発光素子３２に供給されるパルス電流の時間幅（パルス幅）、被験者の右眼、左眼それぞれの瞳孔輝度及びその平均輝度が記録された。被験者の瞳孔の位置は、世界座標系Ｚ座標として示されている。ここで、世界座標系Ｚ座標とは、ディスプレイ装置の表示面に対して垂直方向にＺ軸をとり、左カメラ２Ａ及び右カメラ２Ｂの位置をＺ座標がゼロであるとし、左カメラ２Ａ及び右カメラ２Ｂから離れる方向にＺ軸の正方向をとった場合の座標である。また、被験者の瞳孔の面積は、ピクセル数として示されている。

また、本実験においては、１秒間に３０回ずつ、明瞳孔画像と暗瞳孔画像とを交互に撮影し、時間的に隣り合う明瞳孔画像と暗瞳孔画像とを組み合わせることにより、１秒間に６０フレームの差分画像を得た。実験では、撮影時間を１８秒間とし、１０８０フレームの差分画像を得た。

図１１は、パルス電流の時間幅を一定とした場合の結果である。図１１（Ａ）は、フレーム数に対する被験者の瞳孔の位置の世界座標系Ｚ座標の変化を表す。図１１（Ｂ）は、フレーム数に対する被験者の瞳孔のピクセル数の変化を表す。図１１（Ｃ）は、フレーム数に対する輝度値の変化を表す。

図１１（Ａ）に示されるように、被験者は、１８０フレーム前後で左カメラ２Ａ及び右カメラ２Ｂに近づき、その後、４２０フレーム、７８０フレーム前後で左カメラ２Ａ及び右カメラ２Ｂから離れる動作を行った。このとき、図１１（Ｂ）に示されるように、被験者の瞳孔のピクセル数は、概ね、左カメラ２Ａ及び右カメラ２Ｂからの距離の２乗に反比例するように変動した。すなわち、被験者の瞳孔が左カメラ２Ａ及び右カメラ２Ｂに近づくと、瞳孔のピクセル数は増大し、被験者の瞳孔が左カメラ２Ａ及び右カメラ２Ｂから遠ざかると、瞳孔のピクセル数は減少した。また、図１１（Ｃ）に示されるように、被験者の瞳孔が左カメラ２Ａ及び右カメラ２Ｂに近づくと、瞳孔の輝度は増大し、被験者の瞳孔が左カメラ２Ａ及び右カメラ２Ｂから遠ざかると、瞳孔の輝度は減少した。ただし、瞳孔のピクセル数と瞳孔の輝度との間には、単純な比例関係は成立していない。例えば、フレーム番号２４０から３６０までの左瞳孔のピクセル数は約４５０であり、このときの左瞳孔の輝度は約５２である。これらの比は４５０／５２＝８．７である。これに対し、フレーム番号６０から１２０までの左瞳孔のピクセル数は約２３０であり、このときの左瞳孔の輝度は約３６である。これらの比は２３０／３６＝６．４である。すなわち、２つの比の間には、約３５％の違いがある。したがって、被験者の頭部が左カメラ２Ａ及び右カメラ２Ｂに対して前後に移動した場合、瞳孔のピクセル数と瞳孔の輝度との間には、単純な比例関係が成立しないことが分かる。

次に、図１２は、本実施形態の制御方法により、パルス電流の時間幅を調節した場合の結果である。図９（Ａ）は、フレーム数に対する被験者の瞳孔の位置の世界座標系Ｚ座標の変化を表す。図１２（Ｂ）は、フレーム数に対する被験者の瞳孔のピクセル数の変化を表す。図１２（Ｃ）は、フレーム数に対するパルス電流の時間幅の変化を表す。図１２（Ｄ）は、フレーム数に対する輝度値の変化を表す。

本実施形態の制御方法では、図１２（Ｃ）に示されるように、被験者の瞳孔の位置が左カメラ２Ａ及び右カメラ２Ｂから遠ざかるにつれて、パルス電流の時間幅がやや増加するように、パルス電流の時間幅が設定された。これにより、図１２（Ｄ）に示されるように、被験者の瞳孔の輝度が時間に対してほぼ一定に維持された。なお、図１２（Ｄ）に示されるように、６０フレーム間（すなわち１秒間）に５〜６回程度の、輝度の細かい振動が見られた。この振動が生じた原因は、左カメラ２Ａ及び右カメラ２Ｂから制御装置１への画像データの転送に、ＲＳ−２３２Ｃという比較的低速なインターフェースを用いたため、データ転送遅延が起こったことによると考えられる。

次に、図１３は、従来のように、瞳孔の面積に基づいてパルス電流の時間幅を調節した場合の結果である。図１３（Ａ）は、フレーム数に対する被験者の瞳孔の位置の世界座標系Ｚ座標の変化を表す。図１３（Ｂ）は、フレーム数に対する被験者の瞳孔のピクセル数の変化を表す。図１３（Ｃ）は、フレーム数に対するパルス電流の時間幅の変化を表す。図１３（Ｄ）は、フレーム数に対する輝度値の変化を表す。

図１３の場合では、実験を容易にするために、次の手順により実験を行った。最初に瞳孔が検出できた時に瞳孔画素数Ｓを計数し、そのときのパルス電流の時間幅Ｉに対応する数値を乗算した値が、目標瞳孔輝度値Ｂと係数ａとの積に等しくなるように係数ａを求めた。すなわち、Ｓ×Ｉ＝ａ×Ｂが成立するように、係数ａを求めた。その後、瞳孔画素数Ｓに応じて、Ｓ×Ｉ＝ａ×Ｂが成立するように、パルス電流の時間幅Ｉを設定した。すなわち、パルス電流の時間幅Ｉが瞳孔画素数Ｓに反比例するように、パルス電流の時間幅Ｉを設定した。

図１３（Ｄ）に示されるように、瞳孔の面積に基づいてパルス電流の時間幅を調節した場合には、被験者の頭部の移動に応じて、瞳孔の輝度の値が一定となっていない。すなわち、被験者の瞳孔が左カメラ２Ａ及び右カメラ２Ｂから離れるにつれて、瞳孔の輝度の値が増加した。

なお、図１１に示したように、瞳孔のピクセル数と瞳孔の輝度との間には、単純な比例関係が成立しない。このことの理由は、いくつか考えられる。一つは、第１発光素子３１及び第２発光素子３２として、指向性のある程度強い（±１５度程度）ＬＥＤを使用しているため、被験者の顔に照射される光にムラができることである。また、より大きな理由の一つとして考えられるのは、瞳孔の明るさが、瞳孔から見込んだ第１発光素子３１及び第２発光素子３２と、開口部４と、の間の角度に依存することである。この瞳孔の明るさの角度依存性により、被験者の頭部が左カメラ２Ａ及び右カメラ２Ｂに近づくと、第１発光素子３１及び第２発光素子３２と、開口部４と、の間の角度が大きくなり、暗くなる。さらに、別の一つの理由として、瞳孔が、その前方に角膜というレンズを有しているため、どのような明るさで光るかを単純には予想し難いという理由も考えられる。

以上述べたように、光源３の制御方法では、瞳孔輝度レベルの目標値を取得された瞳孔輝度レベルにより除した値を、第１発光素子３１及び第２発光素子３２にパルス電流を供給した際の第１発光素子３１及び第２発光素子３２の発光量に乗ずることにより、次の明瞳孔画像及び次の暗瞳孔画像を取得する際の第１発光素子３１及び第２発光素子３２の発光量を決定する。ここで、発明者が見出したように、瞳孔の差分画像における瞳孔輝度は、光源３の発光量に比例する。したがって、上述したようにして第１発光素子３１及び第２発光素子３２の発光量を決定すると、次に取得される瞳孔輝度レベルは、前回取得された瞳孔輝度レベルと、瞳孔輝度レベルの目標値を取得された瞳孔輝度レベルにより除した値と、を乗じた値、すなわち瞳孔輝度レベルの目標値に対応する。したがって、対象者Ａと光源３との距離の変化に対応して瞳孔の輝度を一定に保つことができる。

また、光源３の制御方法では、発光量として、パルス電流の時間幅を用いている。第１発光素子３１及び第２発光素子３２の発光量は、第１発光素子３１及び第２発光素子３２に供給されるパルス電流の時間幅に比例する。また、パルス電流の時間幅は、高精度に制御することが容易である。したがって、対象者と光源との距離の変化に対応して、瞳孔の輝度をより正確に一定に保つことが可能である。

また、第１発光素子３１及び第２発光素子３２の発光量を決定するステップを、差分画像の１フレーム毎に繰り返し実行した場合には、差分画像の１フレーム毎という短い時間間隔でパルス電流の決定が行われる。したがって、対象者Ａと光源３との間の距離の変化に対して速やかに対応して、瞳孔の輝度を一定に保つことができる。

また、例えば、対象者Ａが顔をカメラに対して正対させていない場合等には、対象者Ａの左眼の瞳孔輝度レベルと、対象者Ａの右眼の瞳孔輝度レベルとが異なる場合がある。このような場合に、第１発光素子３１及び第２発光素子３２の発光量を決定するステップで、瞳孔輝度レベルとして、対象者Ａの両眼のうち瞳孔輝度レベルが小さい方の目の瞳孔輝度レベルを用いた場合には、瞳孔輝度レベルが小さい方の目の瞳孔輝度レベルを用いるため、瞳孔輝度を過大に評価することにより光量が不足して角膜反射が検出できなくなることを防止することができる。

第１発光素子３１及び第２発光素子３２の発光量を決定するステップでは、対象者Ａの瞳孔を検出できなかった場合に、パルス電流の時間幅を複数の異なる値に順次設定して瞳孔検出を行い、対象者Ａの瞳孔を検出できた場合のパルス電流の時間幅に基づいてパルス電流の時間幅を決定してもよい。対象者Ａの瞳孔を検出できない場合の例として、対象者Ａが閉眼している場合が挙げられる。この場合、瞳孔面積はゼロとみなせる。このため、小さな面積の瞳孔を検出できる程度に光量を大きくするために、パルス電流の時間幅を最大とする制御が行われ得る。しかしながら、パルス電流の時間幅を最大とすると、次に対象者Ａが開眼した場合に、光源の光量が過大となり、瞳孔輝度が飽和してしまう場合がある。特に、差分画像を取得する頻度が低い場合、又は画像の取得から瞳孔輝度の検出までの遅延時間が長い場合には、パルス電流の時間幅が最大のまま、瞳孔面積が最大となる場合がある。この場合には、以後、瞳孔の検出ができない状態が継続するおそれがある。ここで、上述したように、パルス電流の時間幅を複数の異なる値に設定して瞳孔検出を行うと、パルス電流の時間幅が適切な値となった場合に、対象者Ａの瞳孔を検出でき、その後、パルス電流の時間幅を適切に設定して、瞳孔の輝度を一定に保つことがより確実に可能となる。

以上、本発明は、上述の実施形態に限定されるものではない。例えば、第１発光素子３１及び第２発光素子３２の発光量の調節は、ＰＷＭ（Pulse Width Modulation）制御によってもよい。即ち、第１発光素子３１及び第２発光素子３２に対して、一定の繰り返し周波数（例えば２５０ｋＨｚ又は５００ｋＨｚ）で多数回のパルス電流を繰り返し供給し、繰り返しの一周期あたりの電流の流れている時間幅と電流の流れていない時間幅（即ちデューティ比）を変化させることで光量を変化させてもよい。

また、第１発光素子３１及び第２発光素子３２の発光量を調節するために、第１発光素子３１及び第２発光素子３２に供給されるパルス電流の時間幅を変更することに代えて、第１発光素子３１及び第２発光素子３２に供給されるパルス電流の大きさ（電流量）を変更してもよい。すなわち、パルス電流の電流量を用いて第１発光素子３１及び第２発光素子３２の発光量を決定してもよい。特に、カメラ２としてローリングシャッター方式のカメラを使用する場合、電流量によって発光量を決定することが好ましい。ローリングシャッター方式のカメラでは、画像の上部から順次、数ラインずつが露光される。したがって、パルス電流の時間幅を短くした場合、光源３の光が画像に反映されるのは、画像全体のうちの一部の領域に限られてしまう。この領域に、対象者Ａの２つの目が含まれていれば、瞳孔は検出可能であるが、頭部が移動する場合は、閉眼により瞳孔が画像中に存在しない場合もあるため、瞳孔の追尾が難しく、現実的ではない。全体が均等に光源３に照らされた画像を得るためには、光源３が点灯している期間の全体にわたって、全ラインのシャッターが開いている必要がある。したがって、パルス電流の時間幅を増加させることにより発光量を強めようとすると、シャッターが開いている時間をさらに長くしなければならない。しかしながら、その場合、画像にブレが生じて、瞳孔中心検出精度が低下し、結果的に注視点検出精度も低下するという問題が生じる。このため、パルス電流の時間幅は固定値にして、パルス電流の電流量を変化させることにより発光量を決定する方が有利になる。

３，３Ａ，３Ｂ，５…光源（瞳孔検出用光源装置）、３１…第１発光素子（明瞳孔画像用光源）、３２…第２発光素子（暗瞳孔画像用光源）、５１…発光素子（明瞳孔画像用光源）、５２，５３…発光素子（暗瞳孔画像用光源）。

Claims (14)

1. 対象者の顔に光を照射することにより前記対象者の瞳孔を明るくする明瞳孔画像用光源と、前記対象者の顔に光を照射することにより前記明瞳孔画像用光源と比して前記対象者の瞳孔を暗くする暗瞳孔画像用光源と、を備える瞳孔検出用光源装置の制御方法であって、
   前記明瞳孔画像用光源にパルス電流を供給すると共に前記対象者の顔の画像を明瞳孔画像として取得するステップと、
   前記暗瞳孔画像用光源にパルス電流を供給すると共に前記対象者の顔の画像を暗瞳孔画像として取得するステップと、
   前記明瞳孔画像と前記暗瞳孔画像との差分画像を計算するステップと、
   前記差分画像から前記対象者の瞳孔輝度レベルを取得するステップと、
   瞳孔輝度レベルの目標値を前記取得された瞳孔輝度レベルにより除した値を、前記明瞳孔画像用光源及び前記暗瞳孔画像用光源にパルス電流を供給した際の前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量に乗ずることにより、次の明瞳孔画像及び次の暗瞳孔画像を取得する際の前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップと、
   前記明瞳孔画像用光源及び前記暗瞳孔画像用光源を、前記決定された発光量で発光させるためのパルス電流を前記明瞳孔画像用光源及び前記暗瞳孔画像用光源に供給するステップと、
   を備える、瞳孔検出用光源装置の制御方法。
2. 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記パルス電流の時間幅を用いて前記発光量を決定する、請求項１に記載の瞳孔検出用光源装置の制御方法。
3. 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記パルス電流の電流量を用いて前記発光量を決定する、請求項１に記載の瞳孔検出用光源装置の制御方法。
4. 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップを、前記差分画像の所定数のフレーム毎に繰り返し実行する、請求項１〜３のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
5. 前記所定数のフレームは、１フレームである、請求項４に記載の瞳孔検出用光源装置の制御方法。
6. 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記瞳孔輝度レベルとして、対象者の両眼のうち瞳孔輝度レベルが小さい方の目の瞳孔輝度レベルを用いる、請求項１〜５のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
7. 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記対象者の瞳孔を検出できなかった場合に、前記パルス電流の時間幅を複数の異なる値に設定して瞳孔検出を行い、前記対象者の瞳孔を検出できた場合のパルス電流の時間幅に基づいてパルス電流の時間幅を決定する、請求項１〜６のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
8. 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記対象者の瞳孔を検出できなかった場合に、前記パルス電流の時間幅を複数の異なる値に順次設定して繰り返して瞳孔検出を行い、最初に前記対象者の瞳孔を検出できたときの前記対象者の瞳孔輝度を計測し、前記瞳孔輝度に対応する前記パルス電流の時間幅に基づいてパルス電流の時間幅を決定する、請求項１〜６のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
9. 前記明瞳孔画像用光源の発光量及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記明瞳孔画像の輝度と前記暗瞳孔画像の輝度とのバランスが取れるように、前記発光量を決定する、請求項１〜８のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
10. 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の少なくとも一方は、複数の発光素子を各々含む複数のグループを構成する複数の発光素子を有し、前記グループを構成する複数の発光素子に供給されるパルス電流の時間幅及び電流量の少なくとも一方は、前記グループ毎に互いに異なる、請求項１〜９のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
11. 前記明瞳孔画像用光源が有する複数の発光素子は、前記グループとして第１のグループを構成し、
    前記暗瞳孔画像用光源が有する複数の発光素子は、前記グループとして第２のグループ及び第３のグループを構成し、
    前記第１のグループを構成する複数の発光素子は、前記対象者の瞳孔からの光をカメラに導入するために前記カメラに設けられた開口部の周囲に配置され、
    前記第２のグループを構成する複数の発光素子は、前記第１のグループを構成する複数の発光素子に近接して配置され、
    前記第３のグループを構成する複数の発光素子は、前記第１のグループを構成する複数の発光素子から離間して配置され、
    前記パルス電流を前記明瞳孔画像用光源及び前記暗瞳孔画像用光源に供給するステップでは、前記第２のグループを構成する複数の発光素子に供給されるパルス電流の時間幅及び電流量は、対象者の瞳孔輝度によらず一定である、請求項１０に記載の瞳孔検出用光源装置の制御方法。
12. 前記差分画像を計算するステップでは、前記対象者の瞳孔の周辺の輝度である瞳孔周辺輝度が等しくなるように前記明瞳孔画像及び前記暗瞳孔画像の少なくとも一方の画素値を調整した後に前記明瞳孔画像と前記暗瞳孔画像との差分を計算することにより差分画像を計算する、請求項１〜１１のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
13. 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源のいずれにも電流を供給せずに前記対象者の顔の画像を無照明画像として取得するステップと、
    前記明瞳孔画像と前記無照明画像との差分である差分明瞳孔画像を取得するステップと、
    前記暗瞳孔画像と前記無照明画像との差分である差分暗瞳孔画像を取得するステップと、
    をさらに備え、
    前記差分画像を計算するステップでは、前記対象者の瞳孔の周辺の輝度である瞳孔周辺輝度が等しくなるように前記差分明瞳孔画像及び前記差分暗瞳孔画像の少なくとも一方の画素値を調整した後に前記差分明瞳孔画像を前記差分暗瞳孔画像で除算することにより差分画像を計算する、請求項１〜１１のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
14. 請求項１〜１３のいずれか一項に記載の瞳孔検出用光源装置の制御方法を、時分割で複数の瞳孔に対して実行する、瞳孔検出用光源装置の制御方法。

Images