JP6370168B2 - 照明撮像装置及びそれを備えた視線検出装置 - Google Patents

Description

本発明は、ローリングシャッタ方式で撮像素子を駆動する照明撮像装置、及び、それを備えた視線検出装置に関する。

特許文献１に記載の注視点検出方法は、２台以上のカメラと、これらのカメラの開口部外側に設けた光源とを用いて、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成し、これらの画像に基づいて、カメラと瞳孔を結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルを計算し、このベクトルをもとに各カメラの基準線に対する対象者の視線の方向を所定の関数を用いて計算する。

さらに、各カメラに対応して計算した視線の方向が近くなるように前記関数を補正し、補正された関数を用いて視線の方向を計算して視線の所定の平面上の交点を求めることによって対象者の所定平面上の注視点を検出することができる。

特許文献１に記載の注視点検出方法においては、前記光源として、互いに異なる波長の光を出力する発光素子が設けられており、これらの発光素子を交互に発光させることによって、一方の発光素子によって対象者の目に照明光が照射されたときに明瞳孔画像を生成し、他方の発光素子によって照明光が照射されたときに暗瞳孔画像を生成する。

国際公開２０１２／０２０７６０号公報

一般に、カメラの撮像素子の駆動には、グローバルシャッタ方式とローリングシャッタ方式がある。グローバルシャッタ方式では、一画面（フレーム）の全画素が同時に露光されるのに対して、ローリングシャッタ方式では、画面の垂直方向上側から順に露光を行うため、一画面中であっても垂直方向の位置によって、画素の露光タイミングが異なる。

また、視線検出においては、光源から対象者への検知光の出射と、撮像素子における露光とを同期させるために、一般的には、撮像素子のＶＳＹＮＣ信号（垂直同期信号）をトリガーにして、光源から出射する光の波長などを切り替える制御を行っている。このような制御は、一画面の全画素を同時に露光させるグローバルシャッタ方式の場合には影響ないが、ローリングシャッタ方式で駆動する場合には、画面の垂直方向位置によって露光のタイミングが異なるため、撮像素子から取得した１フレーム分の画面中に、光源の切換え前の画像と切換え後の画像が混在してしまう。例えば、光源の切換えによって検知光の波長を変更する場合では、切換えの前後で撮像される画像は異なるものとなることから、視線検出が可能な瞳孔画像を得ることができず、検出に支障をきたすおそれがあった。

そこで本発明は、ローリングシャッタ方式で駆動する撮像素子を備え、この撮像素子によって視線検出に適した画像を得ることのできる照明撮像装置、及び、それを備えた視線検出装置を提供することを目的とする。

上記課題を解決するために、本発明の対象者の目に検知光を与えて瞳孔中心と角膜反射光の中心を検出するための照明撮像装置は、対象者の目に検知光を与える光源と、所定の周期で検知光を切換えて出射させるように光源を制御する光源制御部と、複数の画素が水平方向及び垂直方向に配列された撮像素子を備え、この撮像素子をローリングシャッタ方式で駆動することにより、対象者の目を含む画像を取得する撮像体と、１回の前記検知光の出射期間に、前記ローリングシャッタ方式で前記撮像素子を少なくとも２フレーム分駆動して、同じ検知光が照射されているときの画像のみを取得する露光制御部と、を備えることを特徴としている。

これにより、周期的に行われる検知光の切換えの前後の画像が混在して取得されることがなくなり、同じ検知光が照射されている１フレーム分の画像を取得できるようになり、視線検出に適した画像を得ることができる。さらに、撮像素子の駆動方式をローリングシャッタ方式とすることにより、安価な照明撮像装置を提供することが可能となる。

本発明の照明撮像装置はさらに、光源は、第１波長の検知光と、第１波長よりも長い波長の第２波長の検知光とを切換えて出射し、光源制御部は、前記所定の周期ごとに、第１波長の検知光と第２波長の検知光を切換えて出射させることを特徴としている。

あるいは、本発明の照明撮像装置はさらに、前記光源は、前記撮像素子に近い位置にある第１光源と、前記撮像素子に対して前記第１光源よりも離れた位置にある第２光源とを備え、
前記光源制御部は、前記所定の周期で、前記第１光源と前記第２光源から検知光を切換えて出射させることを特徴としている。

上記手段では、撮像素子に近い位置にある光源と離れた位置にある光源を選択することで、明瞳孔画像と暗瞳孔画像とを取得することが可能となるため、第１光源と第２光源を同一種類の光源で構成することができ、これにより、光源の選択の自由度が上がり、部品コストの低下に資することができる。

本発明の照明撮像装置において、撮像素子は、ＣＭＯＳであることが好ましい。
これにより、撮像素子を安価に構成することができる。

本発明の視線検出装置は、上述のいずれかの照明撮像装置と、撮像体で取得した画像から瞳孔画像を抽出する瞳孔画像抽出部と、瞳孔画像抽出部で抽出した瞳孔画像から瞳孔中心を算出する瞳孔中心算出部と、瞳孔画像抽出部で抽出した瞳孔画像から角膜反射光の中心を検出する角膜反射光中心検出部と、瞳孔中心と角膜反射光の中心とから対象者の視線方向を算出する視線方向算出部と、を備えることを特徴としている。

これにより、１つのフレーム中に異なる検知光による画像が混在しないようになるため、精度の高い視線検出を行うことができる。

本発明によると、１回の検知光の出射期間に、ローリングシャッタ方式で撮像素子を少なくとも２フレーム分駆動させ、同じ検知光が与えられているときの画像のみを取得することにより、周期的に行われる検知光の切り替えの前後の画像が混在して取得されることがなくなるため、視線検出に適した画像を得ることができる。

本発明の実施形態に係る照明撮像装置を含む視線検出装置の構成を示す正面図である。 本発明の実施形態に係る照明撮像装置を含む視線検出装置の構成を示すブロック図である。 対象者の目の視線の向きとカメラとの関係を模式的に示す平面図である。 瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。 撮像素子からの画像取得タイミングと光源の発光タイミングを模式的に示す図である。 撮像素子からの画像取得タイミングと光源の発光タイミングの比較例を模式的に示す図である。

以下、本発明の実施形態に係る照明撮像装置及び視線検出装置について図面を参照しつつ詳しく説明する。

＜視線検出装置の構造＞
図１は、本実施形態の照明撮像装置を含む視線検出装置の構成を示す正面図、図２は、本実施形態の照明撮像装置を含む視線検出装置の構成を示すブロック図である。

本実施形態の照明撮像装置は、図２に示す、第１光源１１ならびに第２光源２１と、２つの光源制御部３１、３２と、撮像体としての第１カメラ１２ならびに第２カメラ２２と、露光制御部３３とを備える。

また、本発明の視線検出装置は、図２に示すように、２つの受像装置１０、２０と、演算制御部ＣＣとを備え、自動車の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。

図１に示すように、２つの受像装置１０、２０は、それぞれが備えるカメラ１２、２２の光軸１２Ｃ、２２Ｃが所定距離Ｌ１０だけ離間するように配置されている。カメラ１２、２２は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有している。この撮像素子は、露光制御部３３によって、ローリングシャッタ方式で駆動され、運転者の目を含む顔の画像を取得する。撮像素子では、水平方向及び垂直方向に配列された複数の画素で光が検出される。

図１と図２に示すように、受像装置１０は、第１光源１１と第１カメラ１２とを備え、第１光源１１は、１２個のＬＥＤ（発光ダイオード）光源１１１からなる。これらのＬＥＤ光源１１１は、カメラ１２のレンズ１２Ｌの外側において、それらの光軸１１１Ｃとカメラ１２の光軸１２Ｃとが距離Ｌ１１だけ離れて円状になるように配置されている。受像装置２０は、第２光源２１と第２カメラ２２とを備え、第２光源２１は、１２個のＬＥＤ光源２１１からなる。これらのＬＥＤ光源２１１は、第２カメラ２２のレンズ２２Ｌの外側において、それらの光軸２１１Ｃと第２カメラ２２の光軸２２Ｃとが距離Ｌ２１だけ離れて円状になるように配置されている。

また、カメラ１２、２２においては、光源１１、２１から出射される検知光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、瞳孔画像抽出部４０における瞳孔画像の抽出や、視線方向算出部４５における視線方向の算出を精度良く行うことができる。

第１光源１１のＬＥＤ光源１１１、及び、第２光源２１のＬＥＤ光源２１１は、検知光として同じ波長の赤外光、例えば波長が８５０ｎｍの赤外光（近赤外光）を出射し、この検知光を対象者の目に与えることができるように配置されている。ここで、８５０ｎｍは、人の目の眼球内での光吸収率が低い波長であり、この光は眼球の奥の網膜で反射されやすい。

第１カメラ１２とＬＥＤ光源１１１の光軸間距離Ｌ１１は、視線検出装置と対象者としての運転者との距離を考慮して、第１カメラ１２と第２カメラ２２の光軸間距離Ｌ１０に対して十分に短くしている。そのため、第１光源１１は第１カメラ１２に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２２とＬＥＤ光源２１１の光軸間距離Ｌ２１は、第１カメラ１２と第２カメラ２２の光軸間距離Ｌ１０に対して十分に短くしているため、第２光源２１は第２カメラ２２に対して互いの光軸が略同軸であるとみなすことができる。

これに対して、第１カメラ１２と第２カメラ２２の光軸間距離Ｌ１０を十分に長くしているため、第１光源１１及び第１カメラ１２の各光軸と、第２光源２１及び第２カメラ２２の各光軸とは、同軸ではない。以下の説明においては、上記配置を、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。

演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、図２に示す各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。

演算制御部ＣＣには、光源制御部３１、３２と、露光制御部３３と、画像取得部３４、３５と、瞳孔画像抽出部４０と、瞳孔中心算出部４３と、角膜反射光中心検出部４４と、視線方向算出部４５とが設けられている。

光源制御部３１及び光源制御部３２は、露光制御部３３からの指示信号にしたがって、所定の周期ごとに、第１光源１１と第２光源２１から交互に検知光を出射するように制御する。

露光制御部３３は、第１光源１１と第２光源２１のいずれか一方からの検知光の出射期間において、ローリングシャッタ方式で撮像素子を少なくとも２フレーム分ずつ駆動させ、このとき、同じ検知光が照射されている画像のみを取得する。

例えば、図５に示すように、同じ光源が点灯しているときに、最初のフレームの画像データは破棄し、２フレーム目の画像データをライン毎に取得することで、必ず、同じ検知光が照射されている画像を得ることができる。

さらに詳しくは、１ライン毎に画像を取得するタイミングを決めている水平同期信号に着目すると、１つの光源が点灯しているときに、カメラから水平同期信号が２回出力されるが、最初の水平同期信号直後から２回目の水平同期信号直前までの間で露光された１ライン分の画素で得られた画像データを取得することで、必ず、同じ検知光が照射されている画像を得ることができる。

なお、この方式では、同じ光源が点灯しているときに２フレーム分のデータ量の画像が取得されるが、使用されるのは１フレーム分の画像データであるため、使用しない１フレーム分の画像データは、画像取得部３４、３５で取得した後で削除されるか、画像取得部３４、３５において、その後に取得される画像データで上書きされる。

画像取得部３４、３５で取得された画像は、フレームごとに瞳孔画像抽出部４０に読み込まれる。瞳孔画像抽出部４０は、明瞳孔画像検出部４１と暗瞳孔画像検出部４２とを備えている。明瞳孔画像検出部４１では、以下の明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が検出され、暗瞳孔画像検出部４２では、以下の暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が検出される。

（ａ）明瞳孔撮影条件
（ａ−１）第１光源１１の点灯期間に、これと略同軸の第１カメラ１２で画像を取得、
（ａ−２）第２光源２１の点灯期間に、これと略同軸の第２カメラ２２で画像を取得、
（ｂ）暗瞳孔撮影条件
（ｂ−１）第１光源１１の点灯期間に、これと非同軸の第２カメラ２２で画像を取得、
（ｂ−２）第２光源２１の点灯期間に、これと非同軸の第１カメラ１２で画像を取得、

＜明瞳孔画像と暗瞳孔画像＞
図３は、対象者の目５０の視線の向きと受像装置１０，２０との位置関係を模式的に示す平面図である。図４は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図３（Ａ）と図４（Ａ）では、対象者の視線方向ＶＬが受像装置１０と受像装置２０との中間に向けられており、図３（Ｂ）と図４（Ｂ）では、視線方向ＶＬがカメラの光軸１２Ｃの方向へ向けられている。

目５０は前方に角膜５１を有し、その後方に瞳孔５２と水晶体５３が位置している。そして最後部に網膜５４が存在している。

第１光源１１の波長８５０ｎｍは、網膜５４に至る眼球内での吸収率が低いため、この波長の光は網膜５４で反射されやすい。受像装置１０に設けられた第１光源１１が点灯したときに、第１光源１１と略同軸の第１カメラ１２で取得される画像では、網膜５４で反射された赤外光が瞳孔５２を通じて検出され、瞳孔５２が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部４１で抽出される。これは、受像装置２０に設けられた第２光源２１が点灯したときに、これと略同軸の第２カメラ２２で取得される画像についても同様である。

これに対して、受像装置１０に設けられた第１光源１１を点灯したときに、受像装置２０に設けられた第１光源１１と非同軸の第２カメラ２２で画像を取得する場合には、網膜５４で反射された赤外光が第２カメラ２２にほとんど入射しないため、瞳孔５２が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部４２で抽出される。これは、受像装置２０の第２光源２１が点灯したときに、受像装置１０に設けられた非同軸の第１カメラ１２で取得される画像についても同様である。

瞳孔画像抽出部４０では、明瞳孔画像検出部４１で検出された明瞳孔画像から暗瞳孔画像検出部４２で検出された暗瞳孔画像がマイナスされて、瞳孔５２の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号は、瞳孔中心算出部４３に与えられる。瞳孔中心算出部４３では、瞳孔画像信号が画像処理されて二値化され、瞳孔５２の形状と面積に対応する部分のエリア画像を算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔５２の中心位置として算出される。あるいは、瞳孔画像の輝度分布により瞳孔５２の中心位置が算出されてもよい。

また、暗瞳孔画像検出部４２で検出された暗瞳孔画像信号は、角膜反射光中心検出部４４に与えられる。暗瞳孔画像信号は、図３と図４に示す、角膜５１の反射点５５から反射された反射光による輝度信号が含まれている。角膜５１の反射点５５からの反射光はプルキニエ像を結像するものであり、図４に示すように、第１カメラ１２の撮像素子には、きわめて小さい面積のスポット画像が取得される。角膜反射光中心検出部４４では、スポット画像が画像処理されて、角膜５１の反射点５５からの反射光の中心が求められる。

瞳孔中心算出部４３で算出された瞳孔中心算出値と角膜反射光中心検出部４４で算出された角膜反射光中心算出値は、視線方向算出部４５に与えられる。視線方向算出部４５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

図３（Ａ）に示す場合では、人の目５０の視線方向ＶＬが、第１カメラ１２の撮像光軸１２Ｃと第２カメラ２２の撮像光軸１３Ｃの中間に向けられている。このとき、図４（Ａ）に示すように、角膜５１からの反射点５５の中心が瞳孔５２の中心と一致している。これに対して、図３（Ｂ）に示す場合では、人の目５０の視線方向ＶＬが、撮像光軸１３Ｃの外側方向へ向けられている。このとき、図４（Ｂ）に示すように、瞳孔５２の中心と角膜５１からの反射点５５の中心とが位置ずれする。

視線方向算出部４５では、瞳孔５２の中心と、角膜５１からの反射点５５の中心との直線距離αが算出される（図４（Ｂ））。また瞳孔５２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔５２の中心と反射点５５の中心とを結ぶ線とＸ軸との傾き角度βが算出される。さらに、前記直線距離αと前記傾き角度βとから、視線方向ＶＬが算出される。

視線方向算出部４５において、視線方向ＶＬを精度良く算出するためには、瞳孔５２の中心座標と反射点５５の中心座標を高精度に検出することが必要である。

＜撮像動作＞
以上の構成の照明撮像装置及び視線検出装置においては、所定の周期ごとに、第１光源１１と第２光源２１を交互に発光させる。第１光源１１が点灯している期間に、第１カメラ１２と第２カメラ２２で同時に撮像が行われる。このとき第１カメラ１２で明瞳孔画像が取得され、第２カメラ２２で暗瞳孔画像が取得される。第２光源２１が点灯している期間も、第１カメラ１２と第２カメラ２２で同時に撮像が行われる。このときは、第１カメラ１２で暗瞳孔画像が取得され、第２カメラ２２で明瞳孔画像が取得される。

このときの撮像動作を第１カメラ１２に着目すると、第１光源１１と第２光源２１の発光が交互に切換えられているときに、第１カメラ１２で撮像を継続していることになり、第２カメラ２２に着目すると、第１光源１１と第２光源２１の発光が交互に切換えられているときに、第２カメラ２２が撮像を継続していることになる。

第１カメラ１２の撮像動作は、第１光源１１の発光の１期間に、撮像素子をローリングシャッタ方式で少なくとも２フレーム分駆動させ、２フレーム目のライン画像を取得することで、第１光源１１が発光しているときのライン画像のみを得ることができる。第２光源２１が発光したときも、発光の１期間に、第１カメラ１２の撮像素子をローリングシャッタ方式で少なくとも２フレーム分駆動させ、２フレーム目のライン画像を取得することで、第２光源２１は発光しているときのライン画像のみを得ることができる。

これは第２カメラ２２においても同じであり、第１光源１１の発光の１期間に、撮像素子をローリングシャッタ方式で少なくとも２フレーム分駆動させ、第２光源２１が発光したときも、発光の１期間に、撮像素子をローリングシャッタ方式で少なくとも２フレーム分駆動させる。

以下、図５を参照して、第１光源１１と第２光源２１を交互に発光させ、それぞれの光源の１回の発光期間に、第２カメラ２２の撮像素子を２フレーム分駆動させる例について説明する。図５（Ａ）は、撮像素子からの画像取得タイミングを示し、（Ｂ）は第１光源１１と第２光源２１の発光期間を示す。図５の撮像タイミングは、第２カメラ２２の撮像素子においても同じである。

図５（Ａ）において、Ｈ０００、Ｈ１００、Ｈ２００、Ｈ３００、Ｈ４００、Ｈ５００、Ｈ６００、Ｈ７００、及び、Ｈ８００は、撮像素子において垂直方向の上から下側へ順に並んだ画素のラインをそれぞれ示している。撮像素子は、ローリングシャッタ方式で、これらのラインごとに駆動される。また、図５（Ａ）のＶＳＹＮＣ１〜ＶＳＹＮＣ１０は、カメラ１２、２２から画像取得部３４、３５に与えられる垂直同期信号であって、画像取得部３４、３５は、これらの垂直同期信号に同期して、対応するカメラの撮像素子の画素のラインに対応する撮像データを取り込む。

また、Ａ１１〜Ａ１９、Ａ２１〜Ａ２９、Ａ３１〜Ａ３９、Ａ４１〜Ａ４９、Ａ５１〜Ａ５９、Ａ６１〜Ａ６９、Ａ７１〜Ａ７９、Ａ８１〜Ａ８９、及び、Ａ９１〜Ａ９９は、撮像素子の各画素ラインに対応する撮像データを取り込むタイミングを示しており、水平同期信号を意味している。

図５（Ｂ）は、第１光源１１からの検知光の出射期間Ｉ１１、Ｉ１２、Ｉ１３と、第２光源２１からの検知光の出射期間Ｉ２１、Ｉ２２とを示している。図５（Ｂ）に示す例では、光源１１、２１の発光時間は同じであり、一定の周期で交互に発光している。

図５（Ａ）に示すＶＳＹＮＣ１、２，３，４、・・・は、カメラのフレームレートにより決定される。

また、照明撮像装置及び視線検出装置の使用環境によって、例えば周囲環境の明るさの変化に応じて、ＶＳＹＮＣ１、ＶＳＹＮＣ２、ＶＳＹＮＣ３、・・・の各フレームにおける露光時間を、それぞれ独立させて変化させてもよく、これに合わせて、光源１１、２１の発光時間を変化させてもよい。

図５において、第１光源１１からの検知光が発光している期間Ｉ１１において、撮像素子は、ＶＳＹＮＣ１、およびＶＳＹＮＣ２の２フレーム分の画像データを取得する。ＶＳＹＮＣ２のタイミングにおいて、画像取得部３４では、水平同期信号Ａ１１直後〜Ａ２１直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、次に、水平同期信号Ａ１２直後〜Ａ２２直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、次に、水平同期信号Ａ１３直後〜Ａ２３直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、これが繰り返される。

第１光源１１が点灯している期間Ｉ１１においては、垂直同期信号ＶＳＹＮＣ１の１フレーム分と、ＶＳＹＮＣ２の１フレーム分の駆動とが行われるが、ＶＳＹＮＣ２の画像データを用いることで、第１光源１１が点灯しているときの画像のみを１フレーム分取得することができる。

これは、第２光源２１が点灯しているときの期間Ｉ２１でも同じである。このときも、垂直同期信号ＶＳＹＮＣ３の１フレーム分と、ＶＳＹＮＣ４間の１フレーム分の駆動とが行われる。このときも、ＶＳＹＮＣ４のタイミングにおいて水平同期信号Ａ３１直後〜Ａ４１直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、次に、水平同期信号Ａ３２直後〜Ａ４２直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、次に、水平同期信号Ａ３３直後〜Ａ４３直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、これが繰り返される。ＶＳＹＮＣ４の画像データを用いることで、第２光源２１が点灯しているときの画像のみを１フレーム分取得することができる。

図６は比較例を示している。この比較例では、第１光源１１が点灯している期間Ｉ１１、Ｉ１２、Ｉ１３、・・・においてローリングシャッタは１フレーム分のみ駆動され、第２光源２１が点灯している期間Ｉ２１、Ｉ２２、Ｉ２３、・・・においてもローリングシャッタが１フレーム分のみ駆動される。この場合には、水平同期信号Ｂ１３〜Ｂ２３，Ｂ２４〜Ｂ２４などにおいて、１ライン分の露光時間内に第１光源１１の発光期間Ｉ１１と第２光源２１の発光期間Ｉ２１が混在してしまい、第１光源１１の発光と第２光源の発光とにより画像を個別に取得できなくなる。

以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）所定の周期ごとに光源１１、２１から検知光を出射させ、１回の検知光の出射に対して、ローリングシャッタ方式で撮像素子を少なくとも２フレーム分駆動させることにより、周期的に行われる検知光の切り替えの前後の画像が混在して取得されることがなくなり、同じ検知光が照射されている１フレーム分の画像が得られる。このため、照明条件の異なる画像が混在しない、視線検出に適した画像を得ることができる。

（２）撮像素子の駆動方式をローリングシャッタ方式とすることにより、安価な照明撮像装置を提供することが可能となる。

（３）第１カメラ１２の撮像素子の光軸が、第１光源１１の光軸とは略同軸である一方第２光源２１の光軸とは非同軸であり、また、第２カメラ２２の撮像素子の光軸が、第２光源２１の光軸とは略同軸である一方第１光源１１の光軸とは非同軸であることから、撮像素子と光源の光軸が略同軸か非同軸かによって、明瞳孔画像と暗瞳孔画像のどちらを検出するかを選択可能となる。このため、第１光源１１と第２光源２１を同一種類の光源で構成することができ、これにより、光源の選択の自由度が上がり、部品コストの低下に資することができる。

（４）カメラ１２、２２の撮像素子をＣＭＯＳで構成することにより、撮像素子を安価に構成することができる。

（５）上述の照明撮像装置を用いて瞳孔画像を取得することにより、１つのフレーム中に異なる検知光による画像が混在しないようになるため、精度の高い視線検出を行うことができる。

以下に変形例について説明する。
（１）上記実施形態では、第１光源１１と第２光源２１から同じ波長の検知光を交互又は同時に出射し、光源と略同軸のカメラで撮影した画像から明瞳孔用画像を検出し、光源と非同軸のカメラで撮影した画像から暗瞳孔画像を検出していた。これに対して、第１光源１１からの検知光と第２光源２１からの検知光の波長を異なるものにし、それぞれの光源と略同軸のカメラで対象者の目の画像を取得してもよい。

この場合、第１光源１１と第２光源２１の検知光の波長としては、例えば、一方の光源からの検知光の波長（第１波長）を８５０ｎｍとし、他方の光源からの検知光の波長（第２波長）を第１波長より長い９４０ｎｍとする。ここで、８５０ｎｍが、人の目の眼球内で光吸収率が低く網膜で反射されやすいのに対して、９４０ｎｍは、人の目の眼球内で光吸収率が高い波長であり、網膜で反射されにくい。なお、人の目の眼球内、あるいは網膜上等での光吸収率や光反射率の高低の関係が同様であれば、８５０ｎｍと９４０ｎｍ以外の波長の組み合わせとしてもよい。また、光源とカメラについては、上述の実施形態のように２組設ける形に限定されずに、例えば、カメラは１台として、このカメラに対して略同軸となるように、第１波長の検知光を出射する光源と第２波長の検知光を出射する光源を配置する構成も可能である。

光源からの検知光の波長をこのように設定した場合、波長８５０ｎｍの検知光を与える光源と略同軸のカメラで取得した画像により明瞳孔画像を検出することができ、波長９４０ｎｍの検知光を与える光源と略同軸のカメラで取得した画像により暗瞳孔画像を検出することができる。

（２）光源とカメラについては、上述の実施形態のように２組設ける形に限定されず、例えば、カメラは１台として、このカメラに対して略同軸の光源と非同軸の光源を設ける構成や、光源を１台として、この光源に対して略同軸のカメラと非同軸のカメラを設ける構成も可能である。

本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。

以上のように、本発明に係る照明撮像装置は、ローリングシャッタ方式で撮像素子を駆動し、周期的に照明条件が変化する装置に有用である。

１０、２０ 受像装置
１１ 第１光源
１２ 第１カメラ
１２Ｃ 光軸
２１ 第２光源
２２ 第２カメラ
２２Ｃ 光軸
３１、３２ 光源制御部
３３ 露光制御部
３４、３５ 画像取得部
４０ 瞳孔画像抽出部
４１ 明瞳孔画像検出部
４２ 暗瞳孔画像検出部
４３ 瞳孔中心算出部
４４ 角膜反射光中心検出部
４５ 視線方向検出部
５０ 目

Claims (4)

1. 対象者の目に検知光を与えて瞳孔中心と角膜反射光の中心を検出する照明撮像装置において、
   対象者の目に検知光を与える光源と、
   所定の周期で前記検知光を切換えて出射させるように前記光源を制御する光源制御部と、
   複数の画素が水平方向及び垂直方向に配列された撮像素子を備え、この撮像素子をローリングシャッタ方式で駆動することにより、前記対象者の目を含む画像を取得する撮像体と、
   １回の前記検知光の出射期間に、前記ローリングシャッタ方式で前記撮像素子を少なくとも２フレーム分駆動して、同じ検知光が照射されているときの画像のみを取得する露光制御部と、
   を備え、
   前記光源は、第１波長の検知光と、前記第１波長よりも長い波長の第２波長の検知光とを出射し、
   前記光源制御部は、前記所定の周期で前記第１波長の検知光と前記第２波長の検知光を切換えて出射させることを特徴とする照明撮像装置。
2. 対象者の目に検知光を与えて瞳孔中心と角膜反射光の中心を検出する照明撮像装置において、
   対象者の目に検知光を与える光源と、
   所定の周期で前記検知光を切換えて出射させるように前記光源を制御する光源制御部と、
   複数の画素が水平方向及び垂直方向に配列された撮像素子を備え、この撮像素子をローリングシャッタ方式で駆動することにより、前記対象者の目を含む画像を取得する撮像体と、
   １回の前記検知光の出射期間に、前記ローリングシャッタ方式で前記撮像素子を少なくとも２フレーム分駆動して、同じ検知光が照射されているときの画像のみを取得する露光制御部と、
   を備え、
   前記光源は、前記撮像素子に近い位置にある第１光源と、前記撮像素子に対して前記第１光源よりも離れた位置にある第２光源とを備え、
   前記光源制御部は、前記所定の周期で、前記第１光源と前記第２光源から検知光を切換えて出射させることを特徴とする照明撮像装置。
3. 前記撮像素子は、ＣＭＯＳであることを特徴とする請求項１または請求項２に記載の照明撮像装置。
4. 請求項１から請求項３のいずれか１項に記載の照明撮像装置と、
   前記撮像体で取得した画像から瞳孔画像を抽出する瞳孔画像抽出部と、
   前記瞳孔画像抽出部で抽出した瞳孔画像から瞳孔中心を算出する瞳孔中心算出部と、
   前記瞳孔画像抽出部で抽出した瞳孔画像から角膜反射光の中心を検出する角膜反射光中心検出部と、
   前記瞳孔中心と前記角膜反射光の中心とから前記対象者の視線方向を算出する視線方向算出部と、
   を備えることを特徴とする視線検出装置。

Images