JP2007029712A - 視線検出装置 - Google Patents

Abstract

【課題】眼鏡の有無に関わらずに運転者の視線を精度良く検出する。
【解決手段】可視光領域から赤外線領域（例えば、約１０００ｎｍ程度の波長領域）に亘って撮影可能な赤外線カメラ２１に、赤外線ＬＥＤ２２から運転者の眼球に向けて照射される赤外線の波長（例えば、８８０ｎｍ程度）よりも短い波長（例えば、約８００ｎｍ以下）の可視光および近赤外線の透過率が相対的に低く設定されたフィルタ２４を備えた。自車両のウィンドウＷには、合わせガラスの中間膜として、赤外線を反射する赤外線反射フィルム４１を備え、ウィンドウＷの内面上には、赤外線を吸収する赤外線吸収被覆層４２を設けた。視線算出部は、赤外線カメラ２１の撮影により得られる画像データに基づき、虹彩の中心位置とプルキニエ像の中心位置とを検出し、視線ベクトルおよび視線の対象位置を算出する。
【選択図】図２

Description

本発明は、視線検出装置に関する。

従来、例えば可視光領域から近赤外線領域に亘る光源からの照射光に対するプルキニエ像（つまり、角膜表面における照射光の反射像）をカメラにより撮影した眼球像から検出し、この検出結果に基づいて検出対象者の視線を検出する視線検出装置が知られている（例えば、特許文献１参照）。この視線検出装置では、例えば検出対象者が眼鏡を装着している場合に、この眼鏡のレンズ面に可視光の反射率を低下させる増透被覆を設けることによって、光源からの照射光が眼鏡により反射されてしまうことを抑制するようになっている。
特開２００３−５４４号公報

しかしながら、上記従来技術の一例に係る視線検出装置によれば、検出対象者の眼鏡のレンズ面に増透被覆を設けるという煩雑な手間が必要となり、眼鏡を装着した適宜の検出対象者の視線を容易に検出することが困難であるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、眼鏡の有無に関わらずに検出対象者の視線を精度良く検出することが可能な視線検出装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の視線検出装置は、自車両の乗員の眼球を撮影する撮影手段（例えば、実施の形態での赤外線カメラ２１）と、前記乗員の眼球に赤外線を照射する赤外線照射手段（例えば、実施の形態での赤外線ＬＥＤ２２）と、前記赤外線照射手段による照射実行時に前記撮影手段の撮影により得られる画像に基づき前記乗員の視線を検出する視線検出手段（例えば、実施の形態での視線算出部３６）と、自車両のウィンドウに設けられ、自車両の外部の赤外線が前記ウィンドウを透過して自車両の内部に侵入することを抑制する赤外線透過抑制部材（例えば、実施の形態での赤外線反射フィルム４１）と、前記撮影手段に設けられ、前記撮影手段の内部に可視光が入射することを抑制する可視光入射抑制部材（例えば、実施の形態でのフィルタ２４）とを備えることを特徴としている。

上記構成の視線検出装置によれば、赤外線透過抑制部材により自車両の外部から内部へと赤外線が侵入することは抑制されることから、赤外線照射手段により照射された赤外線を撮影する際に他の赤外線によるノイズの発生を抑制することができる。しかも、可視光入射抑制部材により撮影手段の内部に可視光が入射することは抑制されることから、例えば乗員が眼鏡を装着している際に、自車両の外部からウィンドウを透過して内部に侵入した可視光が乗員の眼鏡で反射され、この反射光が赤外線照射手段により照射されて眼球で反射された赤外線と共に撮影手段に到達する場合であっても、例えば乗員の眼球のプルキニエ像（つまり角膜表面における赤外線の反射像）や虹彩や瞳孔等のように視線を検知するために必要とされる各種の情報を精度良く検出することができ、視線検出の検出精度が低下することを防止することができる。

さらに、請求項２に記載の本発明の視線検出装置は、自車両のウィンドウに設けられ、自車両の内部の赤外線が反射することを抑制する赤外線反射抑制部材（例えば、実施の形態での赤外線吸収被覆層４２）を備えることを特徴としている。

上記構成の視線検出装置によれば、赤外線反射抑制部材により乗員の眼球以外のウィンドウで赤外線が反射されてしまうことは抑制されることから、例えば乗員の眼球のプルキニエ像（つまり角膜表面における赤外線の反射像）や虹彩や瞳孔等のように視線を検知するために必要とされる各種の情報を、より一層、精度良く検出することができる。

さらに、請求項３に記載の本発明の視線検出装置は、前記赤外線照射手段に設けられ、赤外線の照射方向を規制する照射方向規制手段（例えば、実施の形態でのカバー２２ａ）を備えることを特徴としている。

上記構成の視線検出装置によれば、照射方向規制手段により赤外線照射手段から照射される赤外線が乗員の眼球以外の箇所に到達することは抑制されることから、視線検出の検出精度を向上させることができる。

さらに、請求項４に記載の本発明の視線検出装置では、前記赤外線照射手段は、照射光のスペクトル分布の放射照度を、太陽光のスペクトル分布の放射照度以下とすることを特徴としている。

上記構成の視線検出装置によれば、乗員の眼に照射される照射光のスペクトル分布の放射照度が太陽光の放射照度を超えてしまうことを防止することにより、照射光に起因する眼の負担が増大することを抑制することができる。
また、例えば撮影手段の受光感度分布が太陽光のスペクトル分布と同等あるいは類似している場合には、この撮影手段の受光感度を有効利用することができ、赤外線照射手段による照射光の出力が過剰に増大することを防止することができる。

さらに、請求項５に記載の本発明の視線検出装置では、前記赤外線照射手段は、赤外領域から可視領域に亘る照射光を照射することを特徴としている。

上記構成の視線検出装置によれば、赤外領域に加えて、可視領域に亘る照射光を乗員の眼球に照射することにより、例えば夜間等において乗員の瞳孔が相対的に拡がっている場合や、例えばウィンドウの赤外線反射フィルムや赤外線吸収被覆層等によって、あるいは、夜間時において赤外領域の外光が自車両の内部に侵入することが抑制されている状態で、赤外線照射手段による赤外線の照射量を増大させる必要がある場合であっても、可視領域の照射光によって乗員の瞳孔を相対的に小さくすることができ、網膜に到達する赤外領域の照射量を低減させることができる。

本発明の視線検出装置によれば、赤外線照射手段により照射された赤外線を撮影する際に他の赤外線によるノイズの発生を抑制することができ、乗員が眼鏡を装着している場合であっても、乗員の視線を検知するために必要とされる各種の情報を精度良く検出することができ、視線検出の検出精度が低下することを防止することができる。
さらに、請求項２に記載の視線検出装置によれば、自車両の内部の赤外線がウィンドウで反射されて散乱することは抑制され、視線検出の検出精度を向上させることができる。
さらに、請求項３に記載の視線検出装置によれば、赤外線照射手段から照射される赤外線が乗員の眼球以外の箇所に到達することは抑制され、視線検出の検出精度を向上させることができる。
さらに、請求項４に記載の視線検出装置によれば、赤外線照射手段から照射される照射光に起因する眼の負担が増大することを抑制することができる。また、撮影手段の受光感度を有効利用することができ、赤外線照射手段による照射光の出力が過剰に増大することを防止することができる。
さらに、請求項５に記載の視線検出装置によれば、可視領域の照射光によって乗員の瞳孔を相対的に小さくすることができ、網膜に到達する赤外領域の照射量を低減させることができる。

以下、本発明の一実施形態に係る視線検出装置について添付図面を参照しながら説明する。
本実施の形態による視線検出装置１０は、例えば図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された検出制御装置１１と、視線センサ１２とを備えて構成されている。

視線センサ１２は、例えば図２に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えばＣＣＤカメラやＣＭＯＳカメラ等の可視光領域から赤外線領域（例えば、約１０００ｎｍ程度の波長領域）に亘って撮影可能な赤外線カメラ２１と、運転者の眼球に向けて赤外線を照射する赤外線発光ダイオード（赤外線ＬＥＤ）２２と、画像処理部２３とを備えて構成されている。

赤外線カメラ２１は、検出制御装置１１の制御により赤外線ＬＥＤ２２から運転者の眼球に向けて照射された赤外線の反射を撮影する。また、赤外線カメラ２１には、赤外線ＬＥＤ２２から照射される赤外線の波長（例えば、８８０ｎｍ程度）よりも短い波長（例えば、約８００ｎｍ以下）の可視光および近赤外線の透過率が相対的に低く設定されたフィルタ２４が備えられている。

画像処理部２３は、赤外線カメラ２１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して検出制御装置１１へ出力する。
なお、赤外線ＬＥＤ２２には、赤外線の照射方向を運転者の眼球に向かう方向に規制するカバー２２ａが備えられている。
なお、この画像処理部２３は、検出制御装置１１に備えられてもよく、この場合には、画像処理部２３は、後述する画像取得部３２からの出力に所定の画像処理を行う。

検出制御装置１１は、赤外線ＬＥＤ２２の発光状態を制御する発光制御部３１と、視線センサ１２から画像データが入力される画像取得部３２と、虹彩検出部３４と、プルキニエ像検出部３５と、視線算出部３６とを備えて構成されている。

画像取得部３２は、発光制御部３１から出力される赤外線ＬＥＤ２２の発光状態を制御する制御指令に基づき、赤外線ＬＥＤ２２による赤外線の照射実行時に視線センサ１２の撮影により得られた画像データを取得する。

虹彩検出部３４は、画像取得部３２から入力される画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、虹彩の中心位置を検出する。
プルキニエ像検出部３５は、画像取得部３２から入力される画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、角膜表面における赤外線の反射像であるプルキニエ像の中心位置を検出する。
視線算出部３６は、虹彩の中心位置と、プルキニエ像の中心位置から算出される眼球中心位置とに基づき視線ベクトルを算出し、この視線ベクトルに基づき視線の対象位置を算出する。

そして、自車両のウィンドウＷには、合わせガラスの中間膜として、赤外線を反射する半導体金属酸化物等からなる赤外線反射材を含む赤外線反射フィルム４１が備えられ、さらに、ウィンドウＷの内面上には、赤外線を吸収する導電性酸化物等からなる赤外線吸収材を含む赤外線吸収被覆層４２が設けられている。
つまり、自車両の外部の外光のうち、可視領域の外光はウィンドウＷを透過して自車両の内部に侵入可能であることに対して、赤外領域の外光は赤外線反射フィルム４１で反射されることにより、赤外領域の外光が自車両の内部に侵入することは抑制されている。
また、自車両の内部の赤外線は赤外線吸収被覆層４２で吸収されることにより、自車両の内部の赤外線が赤外線反射フィルム４１で反射されて散乱することは抑制されている。

本実施の形態による視線検出装置１０は上記構成を備えており、次に、この視線検出装置１０の動作について説明する。

先ず、例えば図３に示すように、赤外線カメラ２１の検知領域の波長および赤外線ＬＥＤ２２から照射される赤外線の波長に対して、自車両の外部の外光の波長は可視領域から赤外領域に亘って分布している。
この外光が自車両のウィンドウＷを透過する際には、例えば図４に示すように、赤外線反射フィルム４１によって、可視領域よりも波長が長い赤外領域（例えば、約８００ｎｍ以上の波長領域）の成分が除去される。

さらに、自車両のウィンドウＷを透過して自車両の内部に侵入した外光が赤外線カメラ２１に到達する際には、例えば図４に示すように、赤外線カメラ２１に具備されたフィルタ２４によって可視領域（例えば、約８００ｎｍ以下の波長領域）の成分が除去されることから、最終的には赤外線反射フィルム４１およびフィルタ２４によって赤外線カメラ２１に外光が入射することは防止あるいは抑制されることになる。

ここで、赤外線ＬＥＤ２２から照射される赤外線の波長（例えば、８８０ｎｍ程度）が、赤外線カメラ２１のフィルタ２４によって除去される波長よりも長く設定され、かつ、例えば図５に示すように、赤外線カメラ２１の検知領域範囲内の値となるように設定されることで、赤外線ＬＥＤ２２により照射されて運転者の眼球で反射された赤外線は、外光の影響が除去あるいは低減された状態で、赤外線カメラ２１により撮影される。

上述したように、本実施の形態による視線検出装置１０によれば、運転者が眼鏡を装着しているか否かに関わらずに、例えば虹彩やプルキニエ像等のように視線を検知するために必要とされる各種の情報を精度良く検出することができ、視線検出の検出精度が低下することを防止することができる。

つまり、外光の赤外領域は自車両の内部に侵入することが抑制され、さらに、外光の可視領域は、赤外線カメラ２１に入射することが抑制されることから、例えば運転者が眼鏡を装着している際に、太陽光線等の撮影環境での可視光線が眼鏡で反射され、この反射光が赤外線ＬＥＤ２２から照射されて眼球で反射した赤外線と共に赤外線カメラ２１に到達する場合であっても、例えば運転者の眼球の虹彩やプルキニエ像等のように視線を検知するために必要とされる各種の情報を精度良く検出することができ、視線検出の検出精度が低下することを防止することができる。

しかも、自車両の内部の赤外線は赤外線吸収被覆層４２で吸収されることにより、自車両の内部の赤外線が赤外線反射フィルム４１で反射されて散乱することは抑制され、また、赤外線ＬＥＤ２２には、赤外線の照射方向を運転者の眼球に向かう方向に規制するカバー２２ａが備えられていることから、運転者の眼球で反射した赤外線以外の赤外線が赤外線カメラ２１により撮影されてしまうことを抑制することができ、視線検出の検出精度を向上させることができる。

なお、上述した実施の形態においては、ウィンドウＷの中間膜として赤外線反射フィルム４１を備え、ウィンドウＷの内面上に赤外線吸収被覆層４２を設けるとしたが、これに限定されず、例えばウィンドウＷの中間膜４１として赤外線を吸収する赤外線吸収被覆層を備えてもよい。
つまり、自車両の外部の赤外線が自車両の内部に侵入することを抑制するためにウィンドウＷに設けられる赤外線透過抑制手段は、赤外線を抑制する方法として吸収または反射を利用し、かつ、形態がフィルムまたは被覆層であり、かつ、配置位置がウィンドウＷの外面上または内面上、あるいは、多層ガラスでの中間層であり、これらの方法および形態および配置位置の適宜の組み合わせにより構成可能である。
また、自車両の内部の赤外線がウィンドウＷで反射することを抑制するためにウィンドウＷに設けられる赤外線反射抑制手段は、赤外線の反射を抑制する方法として吸収を利用し、かつ、形態がフィルムまたは被覆層であり、かつ、配置位置がウィンドウＷの外面上または内面上、あるいは、多層ガラスでの中間層であり、これらの方法および形態および配置位置の適宜の組み合わせにより構成可能であり、好ましくは、配置位置が内面側に設定される。そして、赤外線透過抑制手段が、赤外線を抑制する方法として吸収を利用する場合には、赤外線反射抑制手段を省略可能である。
例えばウィンドウＷの中間膜４１として赤外線吸収被覆層を備える場合には、自車両の外部の外光のうち、可視領域の外光はウィンドウＷを透過して自車両の内部に侵入可能であることに対して、赤外領域の外光および自車両の内部の赤外線は赤外線吸収被覆層により吸収され、ウィンドウＷで反射されて散乱することは抑制される。

なお、上述した実施の形態においては、虹彩検出部３４を備え、虹彩の中心位置と、プルキニエ像の中心位置から算出される眼球中心位置とに基づき視線ベクトルおよび対象位置を算出するとしたが、これに限定されず、例えば瞳孔を検出する瞳孔検出部を備え、瞳孔の中心位置と、プルキニエ像の中心位置から算出される眼球中心位置とに基づき視線ベクトルおよび対象位置を算出してもよい。
さらには、虹彩の中心位置と、瞳孔の中心位置との双方を用いることで、検出精度を向上させることが可能である。
なお、赤外線透過抑制手段および赤外線反射抑制手段は、好ましくは、車両のウィンドウの全周に亘って設けられる。

なお、上述した実施の形態において、視線センサ１２は、所定波長（例えば、８８０ｎｍ程度）の赤外線を照射する赤外線発光ダイオード（赤外線ＬＥＤ）２２を備えるとしたが、これに限定されず、例えば赤外領域から可視領域に亘る領域において異なる波長の照射光を照射する複数の発光ダイオードを備えてもよい。
この変形例においては、異なる波長の照射光を照射する複数の発光ダイオードに対して、例えば各発光ダイオードに対する通電電流の電流値を変更する、あるいは、例えば各発光ダイオードに対する通電電流の電流値は同等とした状態で、各波長毎に発光ダイオードの個数を変更する、あるいは、これらの２つの方法を組み合わせることにより、例えば図６に示すように、太陽光のスペクトル分布の放射照度以下となる照射光を得るようになっている。

例えば各発光ダイオードに対する通電電流の電流値を変更する場合には、各発光ダイオードの波長が可視領域から赤外領域に向かうことに伴い、通電電流の電流値が減少傾向に変化するように設定する。
また、例えば各発光ダイオードに対する通電電流の電流値は同等とした状態で、各波長毎に発光ダイオードの個数を変更する場合には、各発光ダイオードの波長が可視領域から赤外領域に向かうことに伴い、発光ダイオードの個数が減少傾向に変化するように設定する。

これにより、例えば図７（ａ）に示すように、可視領域Ｖから赤外領域Ｒに亘る所定の波長領域において、波長が可視領域Ｖから赤外領域Ｒに向かうことに伴い、エネルギー（つまり放射照度）が減少傾向に変化する照射光ＩＲを得るようになっている。
この変形例においては、例えば図７（ｂ）に示すように、上述した実施の形態の赤外線ＬＥＤ２２により照射されるほぼ赤外領域のみの照射光に比べて、照射光に可視領域の成分が含まれることから、例えば夜間等において乗員の瞳孔が相対的に拡がっている場合や、例えばウィンドウＷの赤外線反射フィルム４１や赤外線吸収被覆層４２等によって、あるいは、夜間時において赤外領域の外光が自車両の内部に侵入することが抑制されている状態で、運転者の眼球に対する赤外線の照射量を増大させる必要がある場合であっても、可視領域の照射光によって運転者の瞳孔を相対的に小さくすることができ、網膜に到達する赤外線の照射量を低減させることができる。

しかも、運転者の眼球に照射される照射光のスペクトル分布の放射照度が太陽光の放射照度以下となるよう設定することにより、照射光に起因する眼の負担が増大することを抑制することができる。
また、例えば赤外線カメラ２１の受光感度分布が太陽光のスペクトル分布と同等あるいは類似している場合には、この赤外線カメラ２１の受光感度を有効利用することができ、発光ダイオードによる照射光の出力が過剰に増大することを防止することができる。

本発明の一実施形態に係る視線検出装置の構成図である。 図１に示す視線センサを搭載した車両の車室内を車幅方向に沿って見た図である。 赤外線カメラの検知領域の波長および赤外線ＬＥＤから照射される赤外線の波長および自車両の外部の外光の波長の一例を示す図である。 自車両の外部の外光のうち、赤外線反射フィルムによって除去される赤外領域の成分と、赤外線カメラのフィルタによって除去される可視領域の成分との一例を示す図である。 赤外線カメラの検知領域の波長および赤外線ＬＥＤから照射される赤外線の波長の一例を示す図である。 本発明の実施の形態の変形例に係る照射光のスペクトル分布の一例を示すグラフ図である。 図７（ａ）は本発明の実施の形態の変形例に係る照射光のスペクトル分布の一例を示すグラフ図であり、図７（ｂ）は本発明の実施の形態に係る照射光のスペクトル分布の一例を示すグラフ図である。

符号の説明

１０ 視線検出装置
２１ 赤外線カメラ（撮影手段）
２２ 赤外線ＬＥＤ（赤外線照射手段）
２２ａ カバー（照射方向規制手段）
２４ フィルタ（可視光入射抑制部材）
３６ 視線算出部（視線検出手段）
４１ 赤外線反射フィルム（赤外線透過抑制部材）
４２ 赤外線吸収被覆層（赤外線反射抑制部材）

Claims (5)

1. 自車両の乗員の眼球を撮影する撮影手段と、
   前記乗員の眼球に赤外線を照射する赤外線照射手段と、
   前記赤外線照射手段による照射実行時に前記撮影手段の撮影により得られる画像に基づき前記乗員の視線を検出する視線検出手段と、
   自車両のウィンドウに設けられ、自車両の外部の赤外線が前記ウィンドウを透過して自車両の内部に侵入することを抑制する赤外線透過抑制部材と、
   前記撮影手段に設けられ、前記撮影手段の内部に可視光が入射することを抑制する可視光入射抑制部材と
   を備えることを特徴とする視線検出装置。
2. 自車両のウィンドウに設けられ、自車両の内部の赤外線が反射することを抑制する赤外線反射抑制部材を備えることを特徴とする請求項１に記載の視線検出装置。
3. 前記赤外線照射手段に設けられ、赤外線の照射方向を規制する照射方向規制手段を備えることを特徴とする請求項１または請求項２に記載の視線検出装置。
4. 前記赤外線照射手段は、照射光のスペクトル分布の放射照度を、太陽光のスペクトル分布の放射照度以下とすることを特徴とする請求項１から請求項３の何れかひとつに記載の視線検出装置。
5. 前記赤外線照射手段は、赤外領域から可視領域に亘る照射光を照射することを特徴とする請求項１から請求項４の何れかひとつに記載の視線検出装置。
   
   

Images